JP6857371B2 - 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 - Google Patents

Description

様々なソースから取得される情報のフュージョンを通じて周辺物体のモーションを予測することによって、事故の危険を回避して安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＦＯＲ ＳＵＰＰＯＲＴＩＮＧ ＳＡＦＥＲ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ ＷＩＴＨＯＵＴ ＤＡＮＧＥＲ ＯＦ ＡＣＣＩＤＥＮＴ ＢＹ ＥＳＴＩＭＡＴＩＮＧ ＭＯＴＩＯＮＳ ＯＦ ＳＵＲＲＯＵＮＤＩＮＧ ＯＢＪＥＣＴＳ ＴＨＲＯＵＧＨ ＦＵＳＩＯＮ ＯＦ ＩＮＦＯＲＭＡＴＩＯＮ ＦＲＯＭ ＭＵＬＴＩＰＬＥ ＳＯＵＲＣＥＳ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ， ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝

本発明は、自律走行車両に使用されるための方法及び装置に関し、より詳細には、様々なソース（ｓｏｕｒｃｅ）から取得される情報のフュージョン（ｆｕｓｉｏｎ）を通じて周辺物体のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置に関する。

近年、自動車安全支援システムと自律走行システムとが急速に発展して、知能型自動車サービスの技術である協力走行技術が提案されている。

従来の協力走行技術は、自動車間の協力レベルによって大きく３つの技術に分類されるが、一つは個別の自動車中心の自律走行技術であり、もう一つは護送（ｃｏｎｖｏｙ）技術であり、また他の一つは、群集走行（ｐｌａｔｏｏｎｉｎｇ）技術である。

護送（Ｃｏｎｖｏｙ）技術は、車両の移動パターン及びフォーメーションを保持して遂行される技術であって、リーディング車両なしに各運転者がそれらの車両を運転することを特徴とする。これと同様に、群集走行（Ｐｌａｔｏｏｎｉｎｇ）技術は、車両の移動パターン及びフォーメーションを保持して遂行される。しかし、群集走行技術は、少なくとも一つのリーディング車両及び少なくとも一つの後続車両を含む。ここで、前記後続車両は運転者の介入なしに前記リーディング車両の運行に従って制御されることを特徴とする。

すなわち、群集走行の間に、後続車両のステアリングホイール、アクセル、ブレーキなどを制御することのできる少なくとも一つのリーディング車両のアシストによって、各自律走行車両がそれらの間の距離を保持しながら安全に走行することができる。

群集走行には様々な長所がある。例えば、空気抵抗を低くして燃費を向上させて、排気ガスの排出量を減らすことができる。また、多数の車両が交通法規を遵守することで道路の運営効率性も高めることができる。

一方、自律走行車両は、他の自律走行車両及び／又は非自律走行車両と共に道路を走行することができる。すなわち、道路条件、運転者条件などの様々な変数によって、自律走行車両がそれ自体のモードを半自律走行モード、自律走行モード、一般走行モードに切り換えることができる。

したがって、従来の群集走行技術においては、自律走行車両が走行している道路に事故が発生した場合、適切に対応できなければ２次事故につながり得る問題点がある。

本発明は、上述した問題点を全て解決することをその目的とする。

本発明は、自律走行車両をもって、車両群集走行（ｐｌａｔｏｏｎｉｎｇ）のうち少なくとも一つの事故発生の際に適切に対応し得るようにすることを他の目的とする。

また、本発明は、前記自律走行車両をもって、事故の危険性が高い一つ以上の周辺物体を回避し得るようにすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。

本発明の一態様によると、イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション（ｍｏｔｉｏｎ）を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法において、（ａ）学習装置が、対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第１ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させるプロセス、及び前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第２ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセスを遂行する段階；（ｂ）前記学習装置が、第３ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、統合特徴マップを生成させる段階；（ｃ）前記学習装置が、第４ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させる段階；及び（ｄ）前記学習装置が、第１ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記学習装置が、（ｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第２ＦＣ演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、（ｉｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第２プーリング演算を適用して前記通信基盤の特徴マップを生成させる。

一実施例において、前記（ｃ）段階で、前記学習装置が、前記第４ニューラルネットワークをもって、（ｉ）前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び（ｉｉ）それぞれの前記周辺物体に関するローカル情報に対応する前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させる。

一実施例において、前記（ｃ）段階で、前記学習装置が、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成する。

一実施例において、前記（ｂ）段階で、前記学習装置は、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート（ｃｈａｎｎｅｌ−ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｎｇ）して臨時の特徴マップを生成し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として具現された前記第３ニューラルネットワークをもって、前記第３ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第３ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させる。

一実施例において、前記第３ニューラルネットワークは、前記ＲＮＮの一種であるＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークとして具現される。

一実施例において、前記学習装置は、前記第１ロスレイヤをもって、（ｉ）前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合、前記第Ｔ時点以後の時点である第Ｔ＋１時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び（ｉｉ）前記予測周辺モーション情報を参照して、前記モーションロスを生成させる。

一実施例において、（ｅ）前記学習装置が、前記第１ないし前記第４ニューラルネットワークの学習が完了した状態で、第５ニューラルネットワークをもって、学習が完了した前記第４ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させる段階；及び（ｆ）前記学習装置が、第２ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって、前記第５ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階；をさらに含む。

一実施例において、前記（ａ）段階で、前記学習装置が、前記第１ニューラルネットワークに含まれている第１コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１プーリングレイヤをもって、前記第１特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１プーリング済み特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１ＦＣレイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用して前記イメージ基盤の特徴マップを生成させる。

本発明の他の態様によると、イメージ及び通信を介して取得される各情報のフュージョンを使用して一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト方法において、（ａ）（１）学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第１ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第２ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、（２）前記学習装置が、第３ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、（３）前記学習装置が、第４ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、（４）前記学習装置が、第１ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第１ニューラルネットワークをもって、前記テスト用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させるプロセス、及び前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第２ニューラルネットワークをもって、前記テスト用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセスを遂行する段階；（ｂ）前記テスト装置が、前記第３ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させる段階；及び（ｃ）前記テスト装置が、前記第４ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させる段階；を含むことを特徴とする方法が提供される。

一実施例において、（ｄ）前記テスト装置が、前記第１ないし前記第４ニューラルネットワークを使用して学習が完了した第５ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させる段階；をさらに含む。

一実施例において、（ｅ）前記テスト装置が、前記テスト用対象車両が群集走行（ｐｌａｔｏｏｎｉｎｇ）を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整する段階；をさらに含む。

一実施例において、前記テスト装置が、前記テスト用対象車両との前記関連度が前記臨界値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援する。

一実施例において、前記（ｃ）段階で、前記テスト装置が、前記第４ニューラルネットワークをもって、（ｉ）前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び（ｉｉ）それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させる。

一実施例において、前記（ｃ）段階で、前記テスト装置が、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成する。

本発明のまた他の態様によると、イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション（ｍｏｔｉｏｎ）を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習装置において、一つ以上のインストラクションを格納する少なくとも一つのメモリと、（Ｉ）対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第１ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させ、前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第２ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセス、（ＩＩ）第３ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、統合特徴マップを生成させるプロセス、（ＩＩＩ）第４ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させるプロセス、及び（ＩＶ）第１ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、前記第１乃至前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第２ＦＣ演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、（ｉｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第２プーリング演算を適用して前記通信基盤の特徴マップを生成させる。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記第４ニューラルネットワークをもって、（ｉ）前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び（ｉｉ）それぞれの前記周辺物体に関するローカル情報に対応する、前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させる。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成する。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート（ｃｈａｎｎｅｌ−ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｎｇ）して臨時の特徴マップを生成し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として具現された前記第３ニューラルネットワークをもって、前記第３ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第３ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させる。

一実施例において、前記第３ニューラルネットワークは、前記ＲＮＮの一種であるＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークとして具現される。

一実施例において、前記プロセッサは、前記第１ロスレイヤをもって、（ｉ）前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合、前記第Ｔ時点以後の時点である第Ｔ＋１時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び（ｉｉ）前記予測周辺モーション情報を参照して、前記モーションロスを生成させる。

一実施例において、前記プロセッサは、（Ｖ）前記第１ないし前記第４ニューラルネットワークの学習が完了した状態で、第５ニューラルネットワークをもって、学習が完了した前記第４ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させるプロセス、及び（ＶＩ）第２ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって前記第５ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスをさらに遂行する。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記第１ニューラルネットワークに含まれている第１コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１プーリングレイヤをもって、前記第１特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１プーリング済み特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１ＦＣレイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用して前記イメージ基盤の特徴マップを生成させる。

本発明のまた他の態様によると、イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト装置において、一つ以上のインストラクションを格納する少なくとも一つのメモリと、（Ｉ）（１）学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第１ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第２ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、（２）前記学習装置が、第３ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、（３）前記学習装置が、第４ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、（４）前記学習装置が、第１ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって、前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第１ニューラルネットワークをもって、前記テスト用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させ、前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第２ニューラルネットワークをもって、前記テスト用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセス、（ＩＩ）前記第３ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させるプロセス、及び（ＩＩＩ）前記第４ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする装置が提供される。

一実施例において、前記プロセッサが、（ＩＶ）前記第１ないし前記第４ニューラルネットワークを使用して学習が完了した第５ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させるプロセスをさらに遂行する。

一実施例において、前記プロセッサが、（Ｖ）前記テスト用対象車両が群集走行（ｐｌａｔｏｏｎｉｎｇ）を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整するプロセスをさらに遂行する。

一実施例において、前記プロセッサが、前記テスト用対象車両との前記関連度が前記閾値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援する。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記第４ニューラルネットワークをもって、（ｉ）前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び（ｉｉ）それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させる。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成する。

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明によると、自律走行車両をもって、車両群集走行（ｐｌａｔｏｏｎｉｎｇ）のうち少なくとも一つの事故が発生した際に適切に対応し得るようにする効果がある。

また、本発明によると、前記自律走行車両をもって、事故の危険が高い一つ以上の周辺物体を回避し得るようにする効果がある。

本発明の前記及び他の目的並びに特徴は、以下の添付図面とともに提供された好ましい実施例の説明において明らかにされる。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

図１は、本発明の一実施例にしたがって、様々なソース（ｓｏｕｒｃｅ）から取得される情報のフュージョン（ｆｕｓｈｉｏｎ）を通じて周辺物体のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法を遂行する学習装置の構成を簡略に示した図面である。 図２ａは、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を簡略に示したフローチャートである。 図２ｂは、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を簡略に示したフローチャートである。 図３は、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を遂行するために使用される統合特徴マップがどのような方式で生成されるのかについての一例示を簡略に示した図面である。 図４は、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を遂行するために使用される第１ないし第５ニューラルネットワークがどのような方式で学習されるのかについての一例示を簡略に示した図面である。 図５は、本発明の一実施例による前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援するテスト方法を簡略に示したフローチャートである。

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、様々なソース（ｓｏｕｒｃｅ）から取得される情報のフュージョンを通じて周辺物体のモーション（ｍｏｔｉｏｎ）を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法を遂行する学習装置の構成を示した図面である。

図１を参照すると、前記学習装置１００は、追って詳細に説明する構成要素である第１ないし第５ニューラルネットワーク１３０ないし１７０及び第１ないし第２ロスレイヤ１３０ないし１７０を含むことができる。前記第１ないし前記第５ニューラルネットワーク１３０ないし１７０及び前記第１ないし前記第２ロスレイヤ１３０ないし１７０の入出力及び演算の過程は、それぞれ少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０により行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５が後述する様々なインストラクションを格納した状態であり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記各インストラクションを実行することができ、追って説明する前記各インストラクションを実行することによって、本発明のプロセスを遂行することができる。このように前記学習装置１００が描写されたからといって、前記学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体（ｍｅｄｉｕｍ）またはその他のコンピューティング要素が統合された形態である統合プロセッサを含む場合を排除するわけではない。

ここで、前記第１ロスレイヤ１８０と前記第２ロスレイヤ１９０とは、同一の個体であり得るが、以下の説明では便宜上、二つを区分する。

以上、本発明の一実施例による前記学習装置１００の前記構成について説明したところ、以下、前記学習方法についてさらに具体的に説明する。前記学習方法のフローを説明するために、図２ａ及び図２ｂを参照する。

図２ａ及び図２ｂは、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を簡略に示したフローチャートである。

図２ａを参照すると、前記学習装置１００は、前記第１ニューラルネットワーク１３０をもって、少なくとも一つの状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させるプロセスを遂行することができる（Ｓ０１−１）。また、前記学習装置１００は、前記第２ニューラルネットワーク１４０をもって、状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記状況通信情報に対応する少なくとも一つの通信基盤の特徴マップを生成させるプロセスを遂行することができる（Ｓ０１−２）。

以後、前記学習装置１００は、前記第３ニューラルネットワーク１５０をもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、統合特徴マップを生成させることができる（Ｓ０２）。そして、前記学習装置１００は、前記第４ニューラルネットワーク１６０をもって、前記統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、予測周辺モーション情報を生成させることができる（Ｓ０３）。ここで、前記予測周辺モーション情報は、特定の時間範囲の間における前記周辺物体のモーションを予測した結果であり得る。次に、前記学習装置１００は、前記第１ロスレイヤ１８０をもって、前記予測周辺モーション情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち少なくとも一部を学習させることができる（Ｓ０４）。図２ａの下端部分及び図２ｂの上端部分の「Ａ」は、特定のプロセスではなく図２ａのプロセスと図２ｂのプロセスとが連続するものであることを示す単純な表記である。

図２ａの前記Ｓ０１ないし前記Ｓ０４段階を繰り返して前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち少なくとも一部が学習された後、図２ｂを参照すると、追加のプロセスとして、前記学習装置１００は、前記第５ニューラルネットワーク１７０をもって、学習が完了した前記第４ニューラルネットワーク１６０から出力された前記予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、予測危険情報を生成させることができる（Ｓ０５）。以後、前記学習装置１００は、前記第２ロスレイヤ１９０をもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって、前記第５ニューラルネットワーク１７０のパラメータのうち少なくとも一部を学習させることができる（Ｓ０６）。

以上、本発明の前記学習方法のフローについて簡略に説明したところ、これについて以下にてさらに具体的に説明することにする。

まず、前記学習装置１００は、前記対象車両に搭載された少なくとも一つのカメラを通じて前記少なくとも一つの状況イメージを取得し、前記対象車両に搭載された少なくとも一つの通信モジュールを通じて前記状況通信情報を取得することができる。ここで、前記状況イメージは、前記カメラを利用して前記対象車両の周辺を撮影した結果であり得、前記状況通信情報は、前記周辺物体のメタデータを含む、前記周辺物体から伝達された情報であり得る。ここで、前記周辺物体は、Ｖ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を介して前記対象車両と連結され、前記対象車両から第１閾値以下の距離に位置する物体である。

このように前記状況イメージ及び前記状況通信情報が取得されると、前記学習装置１００は、前記第１ニューラルネットワーク１３０及び第２ニューラルネットワーク１４０をもって、それぞれ前記状況イメージ及び前記状況通信情報を加工して、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップを生成させることができる。

前記第１ニューラルネットワーク１３０について説明すると、これは少なくとも一つの第１コンボリューションレイヤ、少なくとも一つの第１プーリングレイヤ、及び少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤを含むことができる。すなわち、前記学習装置１００は、前記第１コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１特徴マップを生成させ、前記第１プーリングレイヤをもって、前記第１特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１プーリング済み特徴マップを生成させ、前記第１ＦＣレイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用して前記イメージ基盤の特徴マップを生成させることができる。このような前記第１ニューラルネットワーク１３０の構成が必須ではなく、それ自体に入力されたイメージから特徴マップを抽出することができるのであれば、どのような構成でも前記第１ニューラルネットワーク１３０に使用され得るはずである。

これとは異なり、前記第２ニューラルネットワーク１４０は、少なくとも一つの第２ＦＣレイヤ及び少なくとも一つの第２プーリングレイヤを含むことができる。すなわち、前記学習装置１００は、第２ＦＣレイヤをもって、前記対象車両から前記第１閾値以下の距離に位置した前記周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む状況通信情報に少なくとも一つの第２ＦＣ演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させることができる。その後、前記学習装置１００は、前記第２プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第２プーリング演算を適用して前記通信基盤の特徴マップを生成させることができる。

ここで、前記対象車両の周辺全般の光景に関する一般的な情報を「グローバル情報」とし、前記周辺全般の光景に含まれている前記周辺物体それぞれに関する細分化された情報を「ローカル情報」とするならば、前記イメージ基盤特徴マップ及び前記通信基盤の特徴マップは、前記グローバル情報を含むものと見なすことができる。これは、前記イメージ基盤特徴マップが、前記周辺全般の光景を含む前記状況イメージを加工することによって生成されており、前記通信基盤の特徴マップが、それぞれの前記周辺物体に対する前記通信基盤のメタデータベクトルをプーリングすることによって生成されたためである。これと比較して、前述の通信基盤のメタデータベクトルは、前記ローカル情報を含むものとして見なすことができるであろう。以後説明するが、このような２種類の情報、すなわち前記グローバル情報と前記ローカル情報とは共に使用されることによって、前記対象車両をもって、その周辺の各モーションを予測するように支援することができる。しかし、前記グローバル情報のみを使用する実施例も可能である。以下では、（ｉ）前記Ｖ２Ｘ通信を介して取得された前記グローバル情報のうちの一部を含む前記通信基盤の特徴マップと、（ｉｉ）前記カメラを通じて取得された前記グローバル情報のうちの他の一部を含む前記イメージ基盤の特徴マップを統合して、より豊富なグローバル情報が反映される前記統合特徴マップを生成する方法について説明することにする。

すなわち、前記学習装置１００は、前記第３ニューラルネットワーク１５０をもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、前記統合特徴マップを生成させることができる。ここで、前記第３ニューラルネットワーク１５０は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の形態として具現されたものであり得る。ひいては、前記第３ニューラルネットワークは、前記ＲＮＮの一種であるＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークの形態として具現され得るであろう。前記統合特徴マップがどのような方式で生成され得るのかについてさらに詳細に説明するために図３を参照することにする。

図３は、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を遂行するために使用される前記統合特徴マップがどのような方式で生成されるのかについての一例示を簡略に示した図面である。

図３を参照すると、前記学習装置１００は、１×Ｍ_２サイズの前記イメージ基盤の特徴マップ及び１×Ｍ_２サイズの前記通信基盤の特徴マップをチャンネルごとにコンカチネート（ｃｈａｎｎｅｌ−ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｎｇ）して臨時の特徴マップを生成し、前記ＬＳＴＭネットワークとして具現された前記第３ニューラルネットワーク１５０をもって、前記第３ニューラルネットワーク１５０に以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第３ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させることができる。図３において、実線で表示された一部分は、現在の時点、すなわち第Ｔ時点に生成された、イメージ基盤の特徴マップ、通信基盤の特徴マップ、臨時の特徴マップ、及び統合特徴マップを意味し、点線で表示された残りの部分は、以前の時点、すなわち第Ｔ−２及び第Ｔ−１時点に生成された、イメージ基盤の特徴マップ、通信基盤の特徴マップ、臨時の特徴マップ、及び統合特徴マップを意味する。前記第３ニューラルネットワーク１５０は、それぞれの時点ごとに入力された臨時の特徴マップを加工して前記統合特徴マップを生成しながら、前記状態ベクトルをアップデートすることができる。このように過去の前記第Ｔ−２及び前記第Ｔ−１時点でアップデートされた前記状態ベクトルが、現在の前記第Ｔ時点における臨時の特徴マップを加工する過程で使用されるところ、過去の情報が前記統合特徴マップを生成するプロセスに反映されると見なすことができる。前記状態ベクトルを使用するこのような用法は、通常の技術者に周知のものであるため、さらに詳しい説明は省略することにする。

図３には、前記第２ニューラルネットワーク１４０から出力された、Ｎ×Ｍ_２サイズの出力マトリクスが示されている。前記イメージ基盤の特徴マップを生成する過程の間に、前記出力マトリクスは、後述されるＮ×Ｍ_１サイズの入力マトリクスに含まれている前記状況通信情報に対応するＮ個のイメージ基盤のメタ特徴ベクトルを含む。このようなイメージ基盤のメタ特徴ベクトルについては追って説明する。

前記統合特徴マップが生成されると、前記学習装置１００は、前記第４ニューラルネットワーク１６０をもって、前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記予測周辺モーション情報を生成させることができる。前記第４ニューラルネットワークは、コンボリューションレイヤ、プーリングレイヤ、及びＦＣレイヤのうち少なくとも一部を含むことができ、前記第４ニューラルネットワーク演算は、これらのレイヤのうち少なくとも一部を使用した演算であり得る。

以下では、前記グローバル情報のみを使用する上述の実施例と異なり、前記グローバル情報及び前記ローカル情報を共に使用する他の実施例について説明することにする。

すなわち、前記学習装置１００は、前記第４ニューラルネットワーク１６０をもって、（ｉ）前記カメラ及び前記通信モジュールを通じて取得された前記グローバル情報に対応する前記統合特徴マップ、及び（ｉｉ）それぞれの前記周辺物体に関する前記ローカル情報に対応する、前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを列（ｃｏｌｕｍｎ）ベクトルとして含むメタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させることができる。具体的に、（ｉ）前記通信基盤のメタ特徴ベクトルを収集し、（ｉｉ）前記収集された通信基盤のメタ特徴ベクトルを使用して一つのマトリクスを生成することによって、前記メタ特徴マップが生成された状態であり得る。このような実施例の場合、前記Ｖ２Ｘ通信を介して取得された前記ローカル情報の一部分のみが前記メタ特徴マップに反映されると見なすことができる。

上述の実施例と異なり、前記ローカル情報の前記一部分とともに、前記カメラから取得された前記ローカル情報の他の一部分も前記メタ特徴マップに反映される他の実施例が存在し得る。すなわち、前記学習装置１００は、前記状況イメージに物体検出演算を適用することによって、前記周辺物体に対するイメージ基盤のメタデータを生成し、これを加工して生成された前記一つ以上のイメージ基盤のメタ特徴ベクトルを追加として使用することによってメタ特徴マップを生成することができる。一例示として、前記イメージ基盤のメタ特徴ベクトルは、それぞれの前記イメージ基盤のメタデータを構成要素として含むことができる。または、前記状況イメージではなく、それぞれの前記周辺物体を含むそれぞれの個別イメージが加工されて前記イメージ基盤のメタ特徴ベクトルを生成することができ、前記イメージ基盤のメタ特徴ベクトルが前記メタ特徴マップを生成するために使用され得ることもある。

前記実施例のうち少なくとも一つを使用して前記予測周辺モーション情報が生成されると、前記学習装置１００は、これを利用して前記第１ないし前記第５ニューラルネットワーク１３０ないし１７０を学習することができる。ここで、前記第１ないし前記第５ニューラルネットワーク１３０ないし１７０の学習過程に関する実施例が多数存在するので、これらを個別に順に説明することにする。

まず、前述したように、前記第１ないし前記第３ニューラルネットワーク１３０ないし１５０は、前記グローバル情報を反映した前記統合特徴マップを生成するための構成であり、前記第４ニューラルネットワーク１６０は、前記統合特徴マップを利用して前記予測周辺モーション情報を生成するための構成である。このような各ニューラルネットワークと比較して、前記第５ニューラルネットワーク１７０は、前記予測周辺モーション情報を参照して前記予測危険情報を生成するための構成であり得る。これに基づいて、一実施例によると、前記学習装置１００は、前記第１ロスレイヤ１８０を利用して前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち少なくとも一部を学習することができる。このような過程を繰り返すことによって、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータの学習が完了し、前記第１ないし第４ニューラルネットワーク１３０ないし１６０が前記第５ニューラルネットワーク１７０を学習するのに使用され得る。このような実施例について説明するために、図４を参照することにする。

図４は、本発明の一実施例にしたがって、前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記学習方法を遂行するために使用される前記第１ないし前記第５ニューラルネットワークがどのように学習されのるかに関する例示を簡略に示した図面である。

図４を参照すると、前記予測周辺モーション情報が取得されると、前記学習装置１００は、前記第１ロスレイヤ１８０をもって、前記予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して前記モーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち少なくとも一部を学習させることができる。ここで、前記原本正解周辺モーション情報は、前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合に、前記第Ｔ時点以後の時点である第Ｔ＋１時点における前記周辺物体の位置情報及び速度情報を参照して生成されたものであり得る。

前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち前記少なくとも一部の学習が完了した状態で、前記学習装置１００は、前記第５ニューラルネットワーク１７０をもって、前記第４ニューラルネットワーク１６０から出力された前記予測周辺モーション情報に前記第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が第２閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させることができる。例えば、前記関連度は、前記事故の起きた位置とその際の前記対象車両の位置との間の距離を利用して計算され得るが、これに限定されるわけではない。

そして、前記学習装置１００は、前記第２ロスレイヤ１９０をもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して前記危険ロスを生成させ、前記危険ロスを参照してバックプロパゲーションを遂行することによって、前記第５ニューラルネットワーク１７０のパラメータのうち少なくとも一部を学習させることができる。ここで、前記原本正解危険情報は、前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合、前記第Ｔ時点以後の時点である前記第Ｔ＋１時点における前記対象車両またはその周辺に事故が発生したか否かに関する情報を参照して生成されたものであり得る。

前述の実施例とは異なる実施例として、前記第１ないし前記第５ニューラルネットワーク１３０ないし１７０が一回に学習される実施例が存在するので、これについて説明する。すなわち、前記学習装置１００は、学習されていない前記第４ニューラルネットワークにより生成された前記予測周辺モーション情報が取得されると、前記第５ニューラルネットワーク１７０をもって、前記予測周辺モーション情報に前記第５ニューラルネットワーク演算を適用して、前記予測危険情報を生成させることができる。つまり、本実施例で使用される前記予測周辺モーション情報は、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０の学習が完了した後に生成されたものではなく、これらが学習される途中に生成されたものであり得る。以後、前記学習装置１００は、一つのロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照してロスを生成させ、前記ロスを使用してバックプロパゲーションを遂行することによって、前記第５ニューラルネットワーク１７０のパラメータのうち少なくとも一部を学習させることができる。

前記第１ないし前記第５ニューラルネットワーク１３０ないし１７０が学習されると、本発明のテスト方法を遂行するために使用され得る。これについて、以下、図５を参照して説明することにする。

図５は、本発明の一実施例による前記様々なソースから取得される情報のフュージョンを通じて前記周辺物体の前記モーションを予測することによって、前記事故の危険を回避して前記安全な自律走行を遂行するように支援する前記テスト方法を示した図面である。

図５を参照すると、まず、（１）前記学習装置１００が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、前記第１ニューラルネットワーク１３０をもって、前記学習用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、前記第２ニューラルネットワーク１４０をもって、前記学習用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、（２）前記学習装置１００が、前記第３ニューラルネットワーク１５０をもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、（３）前記学習装置が、前記第４ニューラルネットワーク１６０をもって、前記学習用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、（４）前記学習装置が、前記第１ロスレイヤ１８０をもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第１ニューラルネットワーク１３０をもって、前記テスト用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させるプロセス、及び前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第２ニューラルネットワーク１４０をもって、前記テスト用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセスを遂行することができる。

また、前記テスト装置が、前記第３ニューラルネットワーク１５０をもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させることができる。

その後、前記テスト装置が、前記第４ニューラルネットワーク１６０をもって、前記テスト用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における一つ以上のテスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させることができる。

以後、前記テスト装置は、前記第１ないし前記第４ニューラルネットワーク１３０ないし１６０を使用して学習が完了した前記第５ニューラルネットワーク１７０をもって、前記テスト用予測周辺モーション情報に前記第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が前記第２閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させることができる。

前記テスト用予測危険情報が生成されると、前記テスト装置は、前記テスト用対象車両が群集走行（ｐｌａｔｏｏｎｉｎｇ）を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整することができる。例えば、前記テスト用予測危険情報が、前記テスト用対象車両の周辺に事故が起きる確率が第３閾値より高いことを示す場合、前記事故に備えるために、群集の全体的な速度を落とすように前記群集走行パラメータが調整され得るはずである。または、前記テスト用予測危険情報が、前記テスト用対象車両の周辺に前記事故が起きる確率が前記第３閾値より低いことを示す場合、効率性のために、群集の全体的な速度を高めるか群集のフォーメーションを速度を中心として変更するように前記群集走行パラメータが調整され得る。

以上のプロセスとは別途に、前記テスト装置は、周辺の事故を検出し、これに関する情報を前記テスト用周辺物体と共有することができる。具体的に、前記テスト装置は、前記テスト用対象車両との関連度が前記第２閾値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して、前記自律走行を遂行するように支援することができる。一例として、前記テスト用対象車両が前記群集走行を遂行していた場合、前記テスト装置は、前記群集走行をしばらくの間停止して前記群集を解体し、前記テスト用対象車両をもって、前記特定の事故を回避するように支援することができ、前方に事故が起きた場合は前記テスト用対象車両の速度を落とし、後方に事故が起きた場合は前記テスト用対象車両の速度を高めることによって前記特定の事故を回避することができる。

以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

1. イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション（ｍｏｔｉｏｎ）を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習方法において、
   （ａ）学習装置が、対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第１ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させるプロセス、及び前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第２ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセスを遂行する段階；
   （ｂ）前記学習装置が、第３ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、統合特徴マップを生成させる段階；
   （ｃ）前記学習装置が、第４ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させる段階；及び
   （ｄ）前記学習装置が、第１ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階；
   を含むことを特徴とする方法。
2. 前記（ａ）段階で、
   前記学習装置が、（ｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第２ＦＣ演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、（ｉｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第２プーリング演算を適用して前記通信基盤の特徴マップを生成させることを特徴とする請求項１に記載の方法。
3. 前記（ｃ）段階で、
   前記学習装置が、前記第４ニューラルネットワークをもって、（ｉ）前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び（ｉｉ）それぞれの前記周辺物体に関するローカル情報に対応する前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させることを特徴とする請求項１に記載の方法。
4. 前記（ｃ）段階で、
   前記学習装置が、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成することを特徴とする請求項３に記載の方法。
5. 前記（ｂ）段階で、
   前記学習装置は、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート（ｃｈａｎｎｅｌ−ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｎｇ）して臨時の特徴マップを生成し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として具現された前記第３ニューラルネットワークをもって、前記第３ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第３ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させることを特徴とする請求項１に記載の方法。
6. 前記第３ニューラルネットワークは、前記ＲＮＮの一種であるＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークとして具現されることを特徴とする請求項５に記載の方法。
7. 前記学習装置は、前記第１ロスレイヤをもって、（ｉ）前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合、前記第Ｔ時点以後の時点である第Ｔ＋１時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び（ｉｉ）前記予測周辺モーション情報を参照して、前記モーションロスを生成させることを特徴とする請求項１に記載の方法。
8. （ｅ）前記学習装置が、前記第１ないし前記第４ニューラルネットワークの学習が完了した状態で、第５ニューラルネットワークをもって、学習が完了した前記第４ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させる段階；及び
   （ｆ）前記学習装置が、第２ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって、前記第５ニューラルネットワークのパラメータのうち少なくとも一部を学習させる段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
9. 前記（ａ）段階で、
   前記学習装置が、前記第１ニューラルネットワークに含まれている第１コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１プーリングレイヤをもって、前記第１特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１プーリング済み特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１ＦＣレイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用して前記イメージ基盤の特徴マップを生成させることを特徴とする請求項１に記載の方法。
10. イメージ及び通信を介して取得される各情報のフュージョンを使用して一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト方法において、
    （ａ）（１）学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第１ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第２ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、（２）前記学習装置が、第３ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、（３）前記学習装置が、第４ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、（４）前記学習装置が、第１ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第１ニューラルネットワークをもって、前記テスト用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させるプロセス、及び前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第２ニューラルネットワークをもって、前記テスト用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセスを遂行する段階；
    （ｂ）前記テスト装置が、前記第３ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させる段階；及び
    （ｃ）前記テスト装置が、前記第４ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させる段階；
    を含むことを特徴とする方法。
11. （ｄ）前記テスト装置が、前記第１ないし前記第４ニューラルネットワークを使用して学習が完了した第５ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させる段階；
    をさらに含むことを特徴とする請求項１０に記載の方法。
12. （ｅ）前記テスト装置が、前記テスト用対象車両が群集走行（ｐｌａｔｏｏｎｉｎｇ）を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整する段階；
    をさらに含むことを特徴とする請求項１１に記載の方法。
13. 前記テスト装置が、前記テスト用対象車両との前記関連度が前記臨界値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援することを特徴とする請求項１２に記載の方法。
14. 前記（ｃ）段階で、
    前記テスト装置が、前記第４ニューラルネットワークをもって、（ｉ）前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び（ｉｉ）それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させることを特徴とする請求項１０に記載の方法。
15. 前記（ｃ）段階で、
    前記テスト装置が、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成することを特徴とする請求項１４に記載の方法。
16. イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上の周辺物体の一つ以上のモーション（ｍｏｔｉｏｎ）を予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援する学習装置において、
    一つ以上のインストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）対象車両に搭載された少なくとも一つのカメラを通じて少なくとも一つの状況イメージが取得されると、第１ニューラルネットワークをもって、前記状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記状況イメージに対応する少なくとも一つのイメージ基盤の特徴マップを生成させ、前記対象車両に搭載された少なくとも一つの通信モジュールを通じて状況通信情報が取得されると、第２ニューラルネットワークをもって、前記状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記状況通信情報に対応する通信基盤の特徴マップを生成させるプロセス、（ＩＩ）第３ニューラルネットワークをもって、前記イメージ基盤の特徴マップ及び前記通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、統合特徴マップを生成させるプロセス、（ＩＩＩ）第４ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における前記周辺物体のモーション予測結果である予測周辺モーション情報を生成させるプロセス、及び（ＩＶ）第１ロスレイヤをもって、前記予測周辺モーション情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することによって、前記第１乃至前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
17. 前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記対象車両から閾値以下の距離に位置する周辺物体それぞれに対する通信基盤のメタデータをそれぞれの通信基盤のメタデータベクトルとして含む前記状況通信情報に少なくとも一つの第２ＦＣ演算を適用して、それぞれの前記通信基盤のメタデータベクトルに対応する通信基盤のメタ特徴ベクトルを生成させ、（ｉｉ）前記第２ニューラルネットワークに含まれている少なくとも一つの第２プーリングレイヤをもって、前記通信基盤のメタ特徴ベクトルに少なくとも一つの第２プーリング演算を適用して前記通信基盤の特徴マップを生成させることを特徴とする請求項１６に記載の装置。
18. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記第４ニューラルネットワークをもって、（ｉ）前記カメラ及び前記通信モジュールを通じて取得されたグローバル情報に対応する前記統合特徴マップ、及び（ｉｉ）それぞれの前記周辺物体に関するローカル情報に対応する、前記通信基盤の特徴マップが生成される過程で使用された一つ以上の通信基盤のメタ特徴ベクトルを含むメタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記予測周辺モーション情報を生成させることを特徴とする請求項１６に記載の装置。
19. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記カメラを通じて取得された前記周辺物体に対するイメージ基盤のメタデータに対応する一つ以上のイメージ基盤のメタ特徴ベクトル及び前記通信基盤のメタ特徴ベクトルを参照して、前記メタ特徴マップを生成することを特徴とする請求項１８に記載の装置。
20. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記通信基盤の特徴マップ及び前記イメージ基盤の特徴マップをチャンネルごとにコンカチネート（ｃｈａｎｎｅｌ−ｗｉｓｅ ｃｏｎｃａｔｅｎａｔｉｎｇ）して臨時の特徴マップを生成し、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として具現された前記第３ニューラルネットワークをもって、前記第３ニューラルネットワークに以前に入力された情報に対応する状態ベクトルを使用して前記臨時の特徴マップに前記第３ニューラルネットワーク演算を適用することによって、前記統合特徴マップを生成させることを特徴とする請求項１６に記載の装置。
21. 前記第３ニューラルネットワークは、前記ＲＮＮの一種であるＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークとして具現されることを特徴とする請求項２０に記載の装置。
22. 前記プロセッサは、前記第１ロスレイヤをもって、（ｉ）前記状況イメージ及び前記状況通信情報が所定の第Ｔ時点に対応する場合、前記第Ｔ時点以後の時点である第Ｔ＋１時点における前記周辺物体の位置情報及び速度情報を参照して取得された前記原本正解周辺モーション情報、及び（ｉｉ）前記予測周辺モーション情報を参照して、前記モーションロスを生成させることを特徴とする請求項１６に記載の装置。
23. 前記プロセッサは、（Ｖ）前記第１ないし前記第４ニューラルネットワークの学習が完了した状態で、第５ニューラルネットワークをもって、学習が完了した前記第４ニューラルネットワークから出力された予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含む予測危険情報を生成させるプロセス、及び（ＶＩ）第２ロスレイヤをもって、前記予測危険情報及びこれに対応する原本正解危険情報を参照して少なくとも一つの危険ロスを生成させ、前記危険ロスを使用してバックプロパゲーションを遂行することによって前記第５ニューラルネットワークのパラメータのうち少なくとも一部を学習させるプロセスをさらに遂行することを特徴とする請求項１６に記載の装置。
24. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記第１ニューラルネットワークに含まれている第１コンボリューションレイヤをもって、前記状況イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１プーリングレイヤをもって、前記第１特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１プーリング済み特徴マップを生成させ、前記第１ニューラルネットワークに含まれている第１ＦＣレイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用して前記イメージ基盤の特徴マップを生成させることを特徴とする請求項１６に記載の装置。
25. イメージ及び通信を介して取得される各情報のフュージョンを使用して、一つ以上のテスト用周辺物体の一つ以上のモーションを予測することによって、事故の危険を回避して安全な自律走行を遂行するように支援するテスト装置において、
    一つ以上のインストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（１）学習装置が、学習用対象車両に搭載された少なくとも一つの学習用カメラを通じて少なくとも一つの学習用状況イメージが取得されると、第１ニューラルネットワークをもって、前記学習用状況イメージに少なくとも一つの第１ニューラルネットワーク演算を適用して、前記学習用状況イメージに対応する少なくとも一つの学習用イメージ基盤の特徴マップを生成させるプロセス、及び前記学習用対象車両に搭載された少なくとも一つの学習用通信モジュールを通じて学習用状況通信情報が取得されると、第２ニューラルネットワークをもって、前記学習用状況通信情報に少なくとも一つの第２ニューラルネットワーク演算を適用して、前記学習用状況通信情報に対応する学習用通信基盤の特徴マップを生成させるプロセスを遂行し、（２）前記学習装置が、第３ニューラルネットワークをもって、前記学習用イメージ基盤の特徴マップ及び前記学習用通信基盤の特徴マップに少なくとも一つの第３ニューラルネットワーク演算を適用して、学習用統合特徴マップを生成させ、（３）前記学習装置が、第４ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの第４ニューラルネットワーク演算を適用して、特定の時間範囲の間における学習用周辺物体のモーション予測結果である学習用予測周辺モーション情報を生成させ、（４）前記学習装置が、第１ロスレイヤをもって、前記学習用予測周辺モーション情報及びこれに対応する原本正解周辺モーション情報を参照して少なくとも一つのモーションロスを生成させ、前記モーションロスを使用してバックプロパゲーションを遂行することによって、前記第１ないし前記第４ニューラルネットワークのパラメータのうち少なくとも一部を学習させた状態で、テスト用対象車両に搭載された少なくとも一つのテスト用カメラを通じて少なくとも一つのテスト用状況イメージが取得されると、前記第１ニューラルネットワークをもって、前記テスト用状況イメージに前記第１ニューラルネットワーク演算を適用して、前記テスト用状況イメージに対応する少なくとも一つのテスト用イメージ基盤の特徴マップを生成させ、前記テスト用対象車両に搭載された少なくとも一つのテスト用通信モジュールを通じてテスト用状況通信情報が取得されると、前記第２ニューラルネットワークをもって、前記テスト用状況通信情報に前記第２ニューラルネットワーク演算を適用して、前記テスト用状況通信情報に対応する少なくとも一つのテスト用通信基盤の特徴マップを生成させるプロセス、（ＩＩ）前記第３ニューラルネットワークをもって、前記テスト用イメージ基盤の特徴マップ及び前記テスト用通信基盤の特徴マップに前記第３ニューラルネットワーク演算を適用して、テスト用統合特徴マップを生成させるプロセス、及び（ＩＩＩ）前記第４ニューラルネットワークをもって、前記テスト用統合特徴マップに前記第４ニューラルネットワーク演算を適用して、前記特定の時間範囲の間における前記テスト用周辺物体のモーション予測結果であるテスト用予測周辺モーション情報を生成させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
26. 前記プロセッサが、（ＩＶ）前記第１ないし前記第４ニューラルネットワークを使用して学習が完了した第５ニューラルネットワークをもって、前記テスト用予測周辺モーション情報に少なくとも一つの第５ニューラルネットワーク演算を適用して、前記特定の時間範囲の間に前記テスト用対象車両との関連度が閾値以上である事故が起きる確率に関する情報を含むテスト用予測危険情報を生成させるプロセスをさらに遂行することを特徴とする請求項２５に記載の装置。
27. 前記プロセッサが、（Ｖ）前記テスト用対象車両が群集走行（ｐｌａｔｏｏｎｉｎｇ）を通じて前記自律走行を遂行している場合、前記テスト用予測危険情報を参照して群集走行パラメータを調整するプロセスをさらに遂行することを特徴とする請求項２６に記載の装置。
28. 前記プロセッサが、前記テスト用対象車両との前記関連度が前記閾値以上である特定の事故が実際に発生して検出された場合、前記特定の事故に関する情報を前記テスト用周辺物体と共有し、前記テスト用対象車両をもって、前記特定の事故により発生する危険な状況を回避するための走行戦略を参照して前記自律走行を遂行するように支援することを特徴とする請求項２７に記載の装置。
29. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記第４ニューラルネットワークをもって、（ｉ）前記テスト用カメラ及び前記テスト用通信モジュールを通じて取得されたテスト用グローバル情報に対応する前記テスト用統合特徴マップ、及び（ｉｉ）それぞれの前記テスト用周辺物体に関するテスト用ローカル情報に対応する、前記テスト用通信基盤の特徴マップが生成される過程で使用された一つ以上のテスト用通信基盤のメタ特徴ベクトルを含むテスト用メタ特徴マップに、前記第４ニューラルネットワーク演算を適用して前記テスト用予測周辺モーション情報を生成させることを特徴とする請求項２５に記載の装置。
30. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記テスト用カメラを通じて取得された前記テスト用周辺物体に対するテスト用イメージ基盤のメタデータに対応する一つ以上のテスト用イメージ基盤のメタ特徴ベクトル及び前記テスト用通信基盤のメタ特徴ベクトルを参照して、前記テスト用メタ特徴マップを生成することを特徴とする請求項２９に記載の装置。
    

Images