JP7042937B2

JP7042937B2 - 因果推論を用いた危険物体識別のためのシステム及びその方法

Info

Publication number: JP7042937B2
Application number: JP2021018598A
Authority: JP
Inventors: イーチェン・チェン; チェンシ・リ
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2020-02-26
Filing date: 2021-02-08
Publication date: 2022-03-28
Anticipated expiration: 2041-02-08
Also published as: US20210264167A1; CN113312954A; JP2021136020A; US11544935B2

Description

（関連出願の相互参照）
本出願は、２０２０年２月２６日に出願された米国特許仮出願第６２／９８１，７８５号の優先権を主張し、参照により本明細書に明示的に組み込まれる。

危険物体識別は、ドライバー中心の危険性評価に向けての必須のステップであり得る。人間のドライバーは、危険物体を識別し、安全に運転するために、その危険性を評価する能力を有し得る。例えば、交差点で左に旋回する間、ドライバーは、関連する物体（例えば、対向車両又は横断する歩行者）に効率的に注意を払い、意思決定のためにその危険性を評価することができる。

インテリジェント自動運転システムでは、そのような能力を持つシステムを可能にすることが重要であり得る。最終的な目標を達成するために、危険物体識別のための既存の取り組みは、大量の処理能力を利用しながら、多数の入力を受容することにより、ノイズが多く、時間がかかる方法で危険物体をラベリングすることを含み、危険物体を識別するための明示的な推論を提供していない。

一態様によれば、自車両の運転シーンの少なくとも１つの画像を受信することと、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するためのマスクを実施することと、を含む、因果推論を用いた危険物体識別のためのコンピュータ実施方法である。コンピュータ実施方法は、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するためのマスクを実施することも含む。コンピュータ実施方法は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することを更に含む。少なくとも１つの動的物体は、運転挙動に対して最も高い影響レベルを有する危険物体として識別される。

別の態様によれば、命令を記憶しているメモリを含み、命令が、プロセッサによって実行されると、プロセッサに、自車両の運転シーンの少なくとも１つの画像を受信することと、少なくとも１つの画像を分析して、自車両の運転シーン内の動的物体を検出及び追跡することと、を行わせる、因果推論を用いた危険物体識別のためのシステム及び方法である。命令はまた、プロセッサに、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するために、マスクを実施させることも行わせる。命令は、プロセッサに、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することも更に行わせる。少なくとも１つの動的物体は、運転挙動に対して最も高い影響レベルを有する危険物体として識別される。

更に別の態様によれば、コンピュータによって実行されると、自車両の運転シーンの少なくとも１つの画像を受信することと、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するためにマスクを実施することと、を含む方法をプロセッサが実行する命令を記憶する、非一時的コンピュータ可読記憶媒体である。方法はまた、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するためのマスクを実施することを含む。方法は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することを更に含む。少なくとも１つの動的物体は、運転挙動に対して最も高い影響レベルを有する危険物体として識別される。

本開示に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、明細書及び図面を通して、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び進歩は、添付図面と併せて読むと、例示的な実施形態の以下の詳細な説明を参照することによって最も良く理解されるであろう。

本開示の例示的実施形態による、因果推論を用いた危険物体識別のための例示的なシステムの概略図である。

本開示の例示的な実施形態による、動的物体を含む運転シーンの自中心図である。

本開示の例示的な実施形態による、動的物体を含む運転シーンの俯瞰図である。

本開示の例示的な実施形態による、運転シーンから電子的に除去された少なくとも１つの動的物体を含む運転シーンの自中心図である。

本開示の例示的な実施形態による、運転シーンから電子的に除去された少なくとも１つの動的物体を含む運転シーンの俯瞰図である。

本開示の例示的実施形態による、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化のレベルを分析し、１つ以上の動的物体を危険物体として分類する反復処理の方法のプロセスフロー図である。

本開示の例示的な実施形態による、因果推論を用いた危険物体識別のための方法のプロセスフロー図である。

以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実施に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。

本明細書で使用される場合、「バス」とは、コンピュータ内部又はコンピュータ間の他のコンピュータ構成要素に操作可能に接続された、相互接続されたアーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、媒体配向システム輸送（Media Oriented Systems Transport、ＭＯＳＴ）、コントローラエリアネットワーク（Controller Area network、ＣＡＮ）、ローカル相互接続ネットワーク（Local Interconnect Network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する、車両バスであってもよい。

本明細書で使用される場合、「コンピュータ通信」とは、２つ以上のコンピューティングデバイス（例えば、コンピュータ、パーソナルデジタルアシスタント、セルラー電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）転送などであってもよい。コンピュータ通信は、例えば、とりわけ、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネットシステム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、ポイントツーポイントシステム、回路スイッチングシステム、パケットスイッチングシステムを介して発生し得る。

本明細書で使用される場合、「ディスク」とは、例えば、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックであってもよい。更に、ディスクは、ＣＤ－ＲＯＭ（compact disk ROM、コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（CD recordable drive、ＣＤ－Ｒドライブ）、ＣＤ書き換え可能ドライブ（CD rewritable drive、ＣＤ－ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（digital video ROM、ＤＶＤ－ＲＯＭ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御する又は割り振る、オペレーティングシステムを記憶することができる。

本明細書で使用される場合、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含み得る。不揮発性メモリには、例えば、ＲＯＭ（read only memory、読取り専用メモリ）、ＰＲＯＭ（programmable read only memory、プログラマブル読取り専用メモリ）、ＥＰＲＯＭ（erasable PROM、消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（electrically erasable PROM、電気的消去可能なＰＲＯＭ）が含まれ得る。揮発性メモリには、例えば、ＲＡＭ（random access memory、ランダムアクセスメモリ）、同期ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）が含まれ得る。メモリは、コンピューティングデバイスのリソースを制御する又は割り振る、オペレーティングシステムを記憶することができる。

本明細書で使用される場合、「モジュール」は、機能（複数可）若しくは行動（複数可）を実行するため、並びに／又は別のモジュール、メソッド、及び／若しくはシステムからの機能若しくは行動を引き起こすための、命令を記憶する非一時的コンピュータ可読媒体、機械上で実行される命令、ハードウェア、ファームウェア、機械で実行中のソフトウェア、及び／又はそれぞれの組み合わせを含むが、これらに限定されない。モジュールはまた、論理、ソフトウェア制御マイクロプロセッサ、別個の論理回路、アナログ回路、デジタル回路、プログラムされた論理デバイス、実行命令を含むメモリデバイス、論理ゲート、ゲートの組み合わせ、及び／又は他の回路構成要素を含んでもよい。複数のモジュールは、１つのモジュールに組み合わされてもよく、単一モジュールは、複数のモジュール間に分散されてもよい。

「操作可能な接続」、又はエンティティが「操作可能に接続される」ことによる接続は、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。操作可能な接続は、無線インターフェース、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

本明細書で使用される場合、「プロセッサ」は、信号を処理し、一般的なコンピューティング及び演算機能を行う。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他の手段を含んでもよい。一般に、プロセッサは、複数の単一及びマルチコアのプロセッサ及びコプロセッサ並びに他の複数の単一及びマルチコアのプロセッサ及びコプロセッサアーキテクチャを含む、多種の様々なプロセッサであってもよい。プロセッサは、様々な機能を実行するための様々なモジュールを含んでもよい。

本明細書で使用される場合、「車両」は、１人以上の人間の乗員を運ぶことができ、任意の形態のエネルギーによって電力供給される、任意の移動車両を指し得る。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクータ、ボート、ゴーカート、アミューズメントライドカー、鉄道輸送、水上バイク、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。更に、「車両」という用語は、１人以上の人間の乗員を運ぶことができ、電気電池によって電力供給される１つ以上の電気モータによって、完全に又は部分的に電力供給される、電気車両（electric vehicle、ＥＶ）を指し得る。ＥＶは、電池電気自動車（battery electric vehicle、ＢＥＶ）及びプラグインハイブリッド電気自動車（plug-in hybrid electric vehicle、ＰＨＥＶ）を含んでもよい。追加的に、「車両」という用語は、任意の形態のエネルギーによって動力を供給される、自律型車両及び／又は自動運転型車両を指し得る。自律型車両は、１人以上の人間の乗員を運んでいても運んでいなくてもよい。更に、「車両」という用語は、所定の経路又は自由移動車両で自動化又は非自動化される車両を含んでもよい。

本明細書で使用される場合、「値」及び「レベル」とは、とりわけ、百分率、非数値、離散的な状態、離散値、連続値などの数値、又は他の種類の値若しくはレベルを含むことができるが、これらに限定されない。「Ｘの値」又は「Ｘのレベル」という用語は、この詳細な説明全体を通じて、及び特許請求の範囲で使用される場合、Ｘの２つ以上の状態を区別するための任意の数値又は他の種類の値を指す。例えば、場合によっては、Ｘの値又はレベルは、０％～１００％の割合として与えられてもよい。他の場合には、Ｘの値又はレベルは、１～１０の範囲の値であり得る。更に他の場合では、Ｘの値又はレベルは数値でなくてもよいが、「非Ｘ」、「わずかにｘ」、「ｘ」、「非常にｘ」、及び「極ｘ」などの所与の離散した状態と関連付けることができる。
Ｉ．システムの概要

ここで図面を参照すると、表示は、１つ以上の例示的な実施形態を例示する目的のためであり、限定する目的のためではなく、図１は、本開示の例示的な実施形態による、因果推論を用いた危険物体識別のための例示的システム１００の概略図である。システム１００の構成要素、並びに本明細書で考察される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、様々な実施形態のために異なるアーキテクチャに組み合わされるか、省略されるか、又は編成されてもよい。

一般的に、システム１００は、自車両１０２を含んでもよい。自車両１０２は、１種類以上の環境内で走行し得る自動車、ロボット、フォークリフト、自転車／オートバイ、車椅子／スクータなどを挙げることができるが、これらに限定されない。簡略化のために、本開示は、乗用車（例えば、車）としての自車両１０２に対するシステム１００の実施形態を説明する。自車両１０２は、とりわけ、１つ以上のアプリケーション、オペレーティングシステム、自車両システム、及びサブシステムユーザインターフェースを実行する電子制御ユニット（electronic control unit、ＥＣＵ）１０４を含む。ＥＣＵ１０４はまた、因果推論を介して危険物体識別を提供するように構成され得る危険物体因果性識別アプリケーション（因果性識別アプリケーション）１０６を実行してもよい。

以下でより詳細に説明するように、因果性識別アプリケーション１０６は、自車両１０２が１種類以上の環境内で走行しているときに、自車両１０２の周囲環境の画像を受信するように構成されてもよい。因果性識別アプリケーション１０６は、画像からの自車両１０２の運転シーンを分析するように構成されてもよい。運転シーンは、自車両１０２が操作されているときに、自車両１０２の所定の近傍を含んでもよい。因果性識別アプリケーション１０６は、自車両１０２の運転シーンの画像を分析して、停止、前進継続／加速、直進、右折、左折、右合流、左合流などを含むがこれらに限定されない１つ以上の運転挙動を検出するように構成されていてもよい。因果性識別アプリケーション１０６はまた、自車両１０２の運転シーンの画像を分析して、自車両１０２の運転シーン内に位置し得る１つ以上の動的物体を検出及び追跡するように構成されていてもよい。１つ以上の動的物体は、自車両１０２の運転シーン内に含まれる１つ以上の道路上で走行する交通参加者を含んでもよい。具体的には、１つ以上の動的物体は、自車両１０２の運転シーン内を走行する追加の車両、歩行者、自転車などを含んでもよいが、これらに限定されない。周囲の動的物体は、自車両１０２の前方に、自車両１０２の経路を横切って、自車両１０２に隣接して、自車両１０２の現在の車線に合流して、自車両１０２の後方などに位置してよい。

動的物体のそれぞれを検出及び追跡すると、因果性識別アプリケーション１０６は、画像内に捕捉された動的物体のそれぞれを電子的に除去するためのマスクを実施するように構成されてもよい。後述するように、マスクは、ニューラルネットワーク１０８を使用して実施されて、自車両１０２の運転シーンの画像内に含まれる各動的物体を電子的に除去することによって、因果的効果を反復的に促すことができる。そうすることによって、アプリケーション１０６は、運転シーン内の動的物体のそれぞれに関連し得る１つ以上の運転挙動に対して因果的効果を定量化するように構成されていてもよい。したがって、自車両１０２の運転シーン内に捕捉された動的物体それぞれを独立して除去することを利用して、自車両１０２の運転シーン内のそれぞれの動的物体の存在に基づいて呈され得る特定の運転挙動に対するそれぞれの除去された動的物体の因果的効果を評価することができる。

動的物体のそれぞれを独立して電子的に除去することによって、因果性識別アプリケーション１０６は、それぞれの動的物体が自車両１０２の運転シーン内に含まれなかった場合に、運転挙動に関連付けられ得る変化レベルを評価することができる。変化レベルは、特定の運転挙動をもたらすそれぞれの動的物体の存在がなければ、運転挙動が変化する量に関係し得る。別の言い方をすれば、画像を考慮すると、アプリケーション１０６は、各動的物体を運転シーンの残りの部分から個別に除去することによって介入する。したがって、アプリケーション１０６は、その特定の動的オブジェクトの除去に基づいて因果的効果を反復的にシミュレートする、その特定の動的物体の不在下で、対応する行動を予測するように構成されていてもよい。

したがって、因果性識別アプリケーション１０６は、自車両１０２の運転シーン内に位置する動的物体それぞれの間の因果関係レベルと、自車両１０２の動作に対して呈される特定の運転挙動と、を識別する。因果性識別アプリケーション１０６は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析し、それによって、各動的物体に関連付けられた因果性スコアを割り当てるように構成されていてもよい。因果性スコアは、静的物体のそれぞれの電子的除去に関連する変化レベルに基づいて、各動的物体の存在と特定の運転挙動（例えば、自車両１０２の停止）との間の因果関係に関連付けられていてもよい（例えば、特定の運転物体の存在がなければ、自車両１０２は停止しておらず、加速を維持し得る）。

一実施形態では、因果性スコアは、因果関係レベルに関連付けられ得る範囲（例えば、１～１０）の一部として含まれてもよい。したがって、運転シーン内の動的物体のそれぞれは、運転挙動の変化レベルにおける影響のその独立した電子的除去及び分析時に、それぞれの因果性スコアが割り当てられてもよい。したがって、運転挙動に最も影響を及ぼし得る動的物体は、自車両１０２のドライバーに特定の運転挙動（例えば、自車両１０２の停止など）を実施させる原因となるので、自車両１０２の運転シーン内に配置され得る周辺の動的物体よりも高い因果性スコアが割り当てられてもよい。

１つの構成では、因果性識別アプリケーション１０６は、運転シーン内の他の動的物体に対して最も高い因果性スコアが割り当てられた、自車両１０２の運転シーン内に位置する動的物体のうちの１つ以上を更に判定してもよい。因果性識別アプリケーション１０６は、特定の動的物体（複数可）を危険物体として更に分類することができる。換言すれば、因果性識別アプリケーション１０６は、特定の運転挙動に対して最も高い影響レベルに関連付けられ得る危険物体として、運転挙動に対して最も実質的な因果的効果を引き起こす１つ以上の動的物体を分類することができる。因果性識別アプリケーション１０６の機能は、アプリケーション１０６が単に画像フレームレベルにおける戦略的な挙動ラベル（例えば、前進、停止、直進、左折、右折など）を必要とするので、最小限の注釈を必要とする。したがって、運転シーンの撮像画像フレーム毎に重要な物体位置を分類し、ラベル化する必要はない。

図２Ａ～２Ｄを参照すると、因果性識別アプリケーション１０６の機能の例示的な例であり、因果性識別アプリケーション１０６は、自車両１０２の運転シーンの画像２００を受信するように構成されていてもよい。図示するように、図２Ａ及び図２Ｂの運転シーンの俯瞰図において、運転シーンは、自車両１０２よりも前方、かつ自車両１０２に隣接して位置する追加の車両として構成されている動的物体２０２～２０８を含んでもよい。自車両１０２を停止する運転挙動に基づいて、自車両１０２は、動的物体２０２の後方で停止するように操作される。

例示的な実施形態では、画像２００を受信すると、因果性識別アプリケーション１０６が、動的物体２０２～２０８のそれぞれを検出及び追跡するように構成されてもよい。アプリケーション１０６は、動的物体２０２～２０８のそれぞれに独立してマスクを適用して、画像２００からそれらを電子的に除去し、それによって画像２００を修復するように構成されていてもよい。したがって、画像２００は、他の動的物体を更に含む一方で、動的物体２０２～２０８のうちの１つを独立して含まない運転シーンとして分析することができる。

図２Ｃに示すように、例えば、動的物体２０２は、運転シーンから除去されるようにマスクされ、他方の動的物体２０４～２０８は運転シーン内に残る。それにより、アプリケーション１０６は、それぞれの動的物体２０２～２０８の各々についてこのマスキングを完了し、運転シーンを評価して、それぞれの動的物体２０２のそれぞれの除去に基づいて、運転挙動の変化レベル又は停止を判定するように構成されている。したがって、因果性識別アプリケーション１０６は、動的物体２０２～２０８のそれぞれが存在しない運転シーンを独立して分析し、停止運転挙動に対して変化レベルを判定してもよい。

図２Ａ及び２Ｂに示すように、動的物体２０４～２０８は、自車両１０２の周辺に位置し、アプリケーション１０６は、それによって、運転シーンからのそれらの除去が、自車両１０２を停止させる運転挙動に対して高い変化レベルをもたらさない可能性があると判定することができる。つまり、アプリケーション１０６は、動的物体２０４～２０８が運転シーン内に含まれていなかった場合、動的物体２０２が自車両１０２よりも先に停止しているため、自車両１０２を停止させる運転挙動が高度に変化しない可能性があると判定することができる。

一方、図２Ｃ及び図２Ｄに示すように、因果性識別アプリケーション１０６は、自車両１０２の経路が遮断されなくなったため、動的物体２０２の電子的な除去に基づいて、自車両１０２の停止運転挙動に対する高い変化レベルを判定することができる。したがって、因果性識別アプリケーション１０６は、運転シーン内でのそれぞれの存在に基づいて、停止から非停止／加速という運転挙動の変化に関連する変化レベルに基づいて、動的物体２０２に対して最も高い因果性スコアを割り当ててもよく、かつ動的オブジェクト２０４～２０８の各々に対して、より低い因果性スコアを割り当ててもよい。因果性識別アプリケーション１０６は、特定の動的物体２０２を、自車両１０２を停止する運転挙動に対して最も実質的な因果的効果をもたらし得る危険物体として、更に分類してもよい。

再び図１を参照すると、ＥＣＵ１０４に加えて、自車両１０２はまた、車両カメラシステム１１０及び記憶ユニット１１２を含む複数の構成要素を含んでもよい。１つ以上の実施形態では、ＥＣＵ１０４は、マイクロプロセッサ、１つ以上の特定用途向け集積回路（複数可）（application-specific integrated circuit、ＡＳＩＣ）、又は他の同様のデバイスを含んでもよい。ＥＣＵ１０４はまた、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、自車両１０２の複数の構成要素と通信するためのバスラインを含むことができる。ＥＣＵ１０４はまた、自車両１０２内で（例えば、１つ以上の構成要素間で）データを内部に送信し、外部ホスト型コンピューティングシステム（例えば、自車両１０２の外部）と通信するための通信デバイス（図示せず）を含んでもよい。

車両カメラシステム１１０は、自車両１０２の周囲環境の１つ以上の画像（例えば、自車両１０２が走行している車道の画像）を捕捉するために、１つ以上の方向で、かつ１つ以上のエリアにおいて位置決めされ得るカメラ（図示せず）のうちの１つ以上を含み得る。車両カメラシステム１１０の１つ以上のカメラは、限定されるものではないが、自車両ダッシュボード、自車両バンパ、自車両前方照明ユニット、自車両フェンダ、及びフロントガラスの異なる部分を含む、自車両１０２の外部前部分に配設され得る。一実施形態では、１つ以上のカメラは、ＲＧＢ映像／画像を捕捉し得るＲＧＢカメラとして構成されてもよい。１つ以上のカメラは、物体の外観に関する豊富な情報、並びに自車両１０２と自車両１０２の周囲環境内の動的物体との間の相互作用を捕捉するように構成することができる。

他の実施形態では、１つ以上のカメラは、三次元画像の形態で、環境情報を捕捉するように構成された立体カメラとして構成されてもよい。１つ以上の構成では、１つ以上のカメラは、ＲＧＢ画像／映像として自車両１０２の運転シーンを捕捉するように構成されてもよい。車両カメラシステム１１０は、１つ以上のＲＧＢ画像／映像（例えば、画像のシーケンス）を、分析すべき因果性に対して伝達される画像データに変換するように構成されていてもよい。

概して、ＥＣＵ１０４は、記憶ユニット１１２内に記憶される１つ以上のアプリケーション、オペレーティングシステム、自車両システム、及びサブシステムユーザインターフェースなどを実行するために、記憶ユニット１１２と通信してもよい。一実施形態では、記憶ユニット１１２は物体データセット１１４を記憶してもよい。物体データセット１１４は、様々な種類の運転シーン（例えば、２車線幹線道路、３車線幹線道路、交差点、入口／出口ランプ、車道サークル）、様々な種類の運転シーン内の動的物体の様々な位置、様々な種類の運転シーン内の様々な動的物体に関連付けられた因果性スコア、及び適用可能な場合には、危険物体としての様々な動的物体の指定に関連する電子データセットとして構成されていてもよい。説明したように、自車両１０２の運転シーン内に位置する動的物体のそれぞれに関連付けられた因果性スコアを決定し、各運転シーンの危険物体を分類すると、因果性識別アプリケーション１０６は、物体データセット１１４にアクセスして、物体データセット１１４に、運転シーンの種類、様々な種類の運転シーン内の動的物体の様々な位置、様々な種類の運転シーン内の様々な動的物体に関連付けられた因果性スコア、及び適用可能であれば、様々な動的物体の危険物体としての指定を入力するように構成されていてもよい。

いくつかの実施形態では、因果性識別アプリケーション１０６は、物体データセット１１４にアクセスして記憶されているデータを検索し、物体データセット１１４に記憶されているものと類似の種類の運転シーンにおいて類似の位置にある動的物体に危険スコアを効率的に割り当てるように構成されてもよい。したがって、物体データセット１１４は、１つ以上の将来の時点において、様々な運転シーンに位置する様々な動的物体に危険スコアを割り当てるために、様々なノードに関連付けられたモデルとして構成されてもよい。したがって、因果性識別アプリケーション１０６が、動的物体のそれぞれの除去に対して運転挙動に関連付けられた変化レベルを分析する反復処理と、変化レベルに基づいて、運転挙動の因果関係に関連付けられた因果性スコアを割り当てることと、１つ以上の動的物体を危険物体として割り当てることと、を実行すると、アプリケーション１０６は、物体データセット１１４上にそれぞれのデータを記憶することができる。一つ以上の将来の時点で、因果性識別アプリケーション１０６は、それによって、対話型プロセスを実行することなく、物体データセット１１４上に記憶されている類似の種類の運転シーンにおける類似の位置にある動的物体に危険スコアを割り当てることができる。

いくつかの実施形態では、因果性識別アプリケーション１０６は、様々な種類の運転シーンにおける様々な動的物体に関連付けられた因果性スコア及び様々な動的物体の危険物体としての指定に基づいて、１つ以上の運転挙動を実行するように、自車両１０２の１つ以上の車両システム及び／又は制御ユニット（図示せず）を制御するように、１つ以上のコマンドをＥＣＵ１０４に送信することによって、自車両１０２の自律／半自律動作を制御するために利用され得る入力を提供するように構成されていてもよい。

例示的な実施形態では、記憶ユニット１１２は、ニューラルネットワーク１０８を記憶するように構成され得る。ニューラルネットワーク１０８は、車両カメラシステム１１０によって提供される画像フレームを分析するように構成されている畳み込みニューラルネットワーク（Convolutional Neural Networks、ＣＮＮ）として構成されてもよい。一実施形態では、ニューラルネットワーク１０８は、処理ユニット１１６によって制御されてもよい。処理ユニット１１６は、画像データの形態で入力されたデータを分析するために機械学習／深層学習を利用するように、かつマスクＲ－ＣＮＮ１２０及び長・短期記憶モジュール（Long short-term memory、ＬＳＴＭ）１１８を利用して人工知能機能を提供するように構成されていてもよい。以下に説明するように、マスクＲ－ＣＮＮ１２０は、各運転シーン内に含まれる全ての動的物体を、時間を通して検出及び追跡するように構成されていてもよい。ＬＳＴＭ１１８は、時刻ｔにおいて、自車両特徴及び物体特徴を更新するように構成されていてもよい。

１つの構成では、因果性識別アプリケーション１０６は、車両カメラシステム１１０によって提供される画像データに関連付けられた画像フレームから抽出された各運転シーン上で、バイナリマスク及び物体トラックレットのシーケンスを実行するためにニューラルネットワーク１０８を利用するように構成されていてもよい。ニューラルネットワーク１０８は、自車両１０２に関連付けられた自機能を得るために、部分的畳み込み及び平均プーリングを完了するように構成されていてもよい。ニューラルネットワーク１０８は、動的物体を含む各画像フレームの部分のそれぞれの周囲の境界ボックスを計算することにより、関心領域プーリングアライン（Region of Interest pooling Align、ＲＯＩＡｌｉｇｎ）を実行してもよい。ニューラルネットワーク１０８は、それによって、動的物体のそれぞれに関連付けられた画像フレームの関心領域を等しいサイズのボックスに分割して、動的物体特徴を判定するために、それらに対して双線形補間を適用することができる。ニューラルネットワーク１０８はまた、各特徴を時間的にモデル化するように構成されていてもよく、かつ各運転シーンの視覚的表現を形成するために情報を伝播して、畳み込みマスクを使用して個別にマスクされ、トラックレットから除去される、動的物体のそれぞれの除去に対して、運転挙動に関連した変化レベルを分析するための反復処理を実行してもよい。したがって、ニューラルネットワーク１０８の機能は、因果性識別アプリケーション１０６が、変化レベルに基づいて、運転挙動との因果関係に関連付けられた因果性スコアを割り当て、１つ以上の動的物体を危険物体として更に分類することを可能にする。
ＩＩ．危険物体の因果性識別アプリケーション及び関連方法

因果性識別アプリケーション１０６の構成要素を、例示的な実施形態に従い、図１を参照して説明する。例示的な実施形態では、因果性識別アプリケーション１０６は、記憶ユニット１１２上に記憶され、自車両１０２のＥＣＵ１０４によって実行され得る。別の実施形態では、因果性識別アプリケーション１０６は、外部ホスト型コンピューティングインフラストラクチャ上に記憶され得、自車両１０２のテレマティクス制御ユニット（図示せず）によってアクセスされて、自車両１０２のＥＣＵ１０４によって実行され得る。

ここで、因果性識別アプリケーション１０６の一般的な機能について考察する。例示的な実施形態では、因果性識別アプリケーション１０６は、因果推論を用いた危険物体識別のために構成され得る複数のモジュール１２２～１２６を含んでもよい。複数のモジュール１２２～１２６は、データ受信モジュール１２２、物体マスキングモジュール１２４、及び因果性判定モジュール１２６を含んでもよい。しかしながら、因果性識別アプリケーション１０６は、モジュール１２２～１２６の代わりに含まれる１つ以上の追加のモジュール及び／又はサブモジュールを含み得ることが理解される。

図３は、本開示の例示的実施形態による、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化のレベルを分析し、１つ以上の動的物体を危険物体として分類する反復処理の方法３００のプロセスフロー図である。図３は、図１の構成要素を参照して説明されるが、図３の方法３００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法３００は、ブロック３０２に進み得、ここで方法３００は、自車両１０２の周囲環境と関連付けられた画像を受信することを含んでもよい。

例示的な実施形態では、因果性識別アプリケーション１０６のデータ受信モジュール１２２は、自車両１０２の車両カメラシステム１１０によって提供され得る、自車両１０２の周囲環境の捕捉された画像と関連付けられ得る画像データを受信するように構成されてもよい。上述のように、画像データは、車両カメラシステム１１０に動作可能に接続された１つ以上のカメラによって捕捉された、自車両１０２の周囲環境内に位置する動的物体の１つ以上のＲＧＢ画像／映像に関連してもよい。いくつかの実施形態では、データ受信モジュール１２２は、１つ以上の時点において評価されるように、記憶ユニット１１２上に画像データをパッケージ化し、記憶してもよい。

方法３００は、ブロック３０４に進み得、ここで方法３００は、自車両１０２の運転シーン内で動的物体を検出し、追跡することを含んでもよい。一実施形態では、データ受信モジュール１２２は、画像データを評価するように構成されていてもよく、自車両１０２の運転シーンを含む画像データから画像フレームを抽出してもよい。一実施形態では、データ受信モジュール１２２は、時刻ｔにおいて捕捉された特定の画像フレーム、時刻ｔの前（例えば、ｔ－１、ｔ－２、ｔ－ｎ）に捕捉された複数の画像フレーム、及び現在の時刻ｔの後（例えば、ｔ＋１、ｔ＋２、ｔ＋ｎ）に捕捉された複数の画像フレームを評価し、停止、進入継続／加速、直進、右折、左折、右合流、左合流などを含むがこれらに限定されない、自車両１０２の１つ以上の運転挙動を検出するように構成されていてもよい。データ受信モジュール１２２は、更に、ニューラルネットワーク１０８を利用して、時刻ｔにおける画像フレーム内で捕捉された自車両１０２の走行シーン内に位置し得る１つ以上の動的物体を検出し、追跡するように構成されていてもよい。

具体的には、データ受信モジュール１２２は、ニューラルネットワーク１０８を利用して、画像フレーム内に含まれる動的物体のそれぞれの周りのそれぞれの境界ボックスを計算するように構成されていてもよい。換言すれば、ニューラルネットワーク１０８は、運転シーン内に位置する動的物体のそれぞれの周囲の境界ボックスを計算するように構成されていてもよい。１つの構成では、マスクＲ－ＣＮＮ１２０及びディープソート（図示せず）を適用し、時間を通してあらゆる動的物体を検出及び追跡することができる。上述のように、動的物体表現を抽出するために、ＲＯＩアラインを用いてもよい。時刻ｔにおいて、自車両特徴及び動的物体特徴は、ＬＳＴＭ１１８を用いて更新される。したがって、ニューラルネットワーク１０８によって実行されるこの時間モデリング処理は、自車両１０２のダイナミクスと運転シーン内に位置する動的物体を捕捉し、ニューラルネットワーク１０８は、検出及び追跡データをデータ受信モジュール１２２に出力することができる。

引き続き図３を参照すると、方法３００は、ブロック３０６に進むことができ、方法３００は、動的物体のそれぞれの上でマスクを実施することを含み得る。例示的な実施形態では、ニューラルネットワーク１０８からの検出及び追跡データを受信すると、データ受信モジュール１２２は、それぞれのデータを因果性識別アプリケーション１０６の物体マスキングモジュール１２４に通信するように構成されていてもよい。物体マスキングモジュール１２４は、ニューラルネットワーク１０８を利用して、機械学習／深層習処理を実行して、運転シーン内に位置する動的物体のそれぞれを含む、境界ボックスのそれぞれの中にカプセル化された画像フレームの画素のサブセット上に１チャネルバイナリマスクを提供するように構成されていてもよい。

例示的な実施形態では、ニューラルネットワーク１０８は、各動的物体が単独で除去され、その除去が分析されて、特定の除去された動的物体に対して運転挙動の変化レベルを出力するように、動的物体のそれぞれに独立して関連付けられた画素のそれぞれを電子的に除去し、置換するために画像修復を完了させることができる。特に、ニューラルネットワーク１０８によって実行される画像修復は、各層において畳み込み結果がマスクされていない領域のみに依存するため、マスクされた領域でのハルシネーションを可能にする、マスク及び再正規化された畳み込み演算に基づいている。この演算は、介入のために各動的物体を独立して除去することを可能にする。

一実施形態では、マスクの画素値は、デフォルトで１に設定される。運転シーンから除去される動的物体の画素値は０に設定される。物体レベルの表現を得るために、ニューラルネットワーク１０８は、メッセージ受渡しを用いて（上述したように）ＬＳＴＭ１１８によって更新される自車両特徴及び物体特徴を集約するように構成されている。

式中、ｇは集約された特徴として定義され、ｈ_ｅは時間モデリング後に得られた自車両の特徴を表し、

はＮ個の物体特徴であり、

は連結演算を示す。

１つの構成では、物体レベルにおける表現を操作するために、ニューラルネットワーク１０８は、電子的に除去された動的物体の位置において、値を０に設定する。マスクは、部分的な畳み込みから抽出された特徴に影響を及ぼし、選択された物体のメッセージを残りの部分から切り離す。最後に、この表現ｇは、完全に接続された層を通過し、ドライバー挙動の最終的な分類が得られる。

方法３００は、ブロック３０８に進んでもよく、方法３００は、動的物体の各々に対して運転挙動に関連付けられた変化レベルを分析することと、動的物体のそれぞれに関連付けられた因果性スコアを割り当てることを含んでもよい。例示的な実施形態では、運転シーン内に含まれる各動的物体が除去されると、物体マスキングモジュール１２４が、特定の動的物体の除去に関するデータを、因果性識別アプリケーション１０６の因果性判定モジュール１２６に通信するように構成されていてもよい。

一実施形態では、因果判定決定モジュール１２６は、トレーニング運転モデルを用いて分析されるように、ニューラルネットワーク１０８を通して、各除去された動的物体のない運転シーンを通過させるように構成されていてもよい。ニューラルネットワーク１０８は、それによって、２つの代替的な運転挙動（例えば、停止／前進）の予測因果性スコアを出力してもよく、運転シーンを分析して、画像フレームに含まれる運転シーンから電子的に除去されるように、動的物体の存在下での動的物体の存在下、及び動的物体の非存在下での２つの運転挙動に関連する変化レベルを判定してもよい。換言すれば、因果性判定モジュール１２６は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することができ、それによって、変化レベルに基づいて運転挙動との因果関係に関連付けられた因果性スコアを割り当ててもよい。

具体的には、ニューラルネットワーク１０８は、因果性判定モジュール１２６が、自車両１０２の運転シーン内に位置する動的物体それぞれの間の因果関係のレベル、及び自車両１０２の動作に対して呈された特定の運転挙動を判定することを可能にし得る。因果性判定モジュール１２６は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析し、それによって、各動的物体に関連付けられた因果性スコアを割り当てるように構成されていてもよい。因果性スコアは、静的物体のそれぞれの電子的除去に関連する変化レベルに基づいて、各動的物体の存在と特定の運転挙動（例えば、停止対前進）との間の因果関係に関連付けられていてもよい（例えば、特定の運転物体の存在がなければ、自車両１０２は停止せず、前進し得る）。

説明されるように、因果性スコアは、因果関係レベルに関連付けられ得る範囲の一部として含まれてもよい。したがって、運転シーン内の動的物体のそれぞれは、運転挙動の変化レベルにおける影響のその独立した電子的除去及び分析時に、それぞれの因果性スコアが割り当てられてもよい。ニューラルネットワーク１０８は、自車両１０２の運転シーン内に位置し得る周辺の動的物体よりも、より高い影響レベルを有する動的物体に、より高い因果性スコアを有する運転挙動を割り当てるように構成されていてもよい。

引き続き図３を参照すると、方法３００は、ブロック３１０に進むことができ、方法３００は、１つ以上の危険物体を判定することを含み得る。例示的な実施形態では、運転シーン内に含まれる動的物体のそれぞれに関連付けられた因果性スコアを割り当てると、因果性判定ジュール１２６は、最も高い因果性スコアが割り当てられた自車両１０２の運転シーン内に位置する動的物体のうちの１つ以上を判定するように構成されていてもよい。因果性判定モジュール１２６は、最も高い因果性スコアが割り当てられた１つ以上のそれぞれの物体を、危険物体として更に分類してもよい。換言すれば、因果判定モジュール１２６は、運転挙動に対して最も実質的な因果的効果をもたらす１つ以上の動的物体を、危険物体として分類してもよい。

図４は、本開示の例示的な実施形態による、因果推論を用いた危険物体識別のための方法４００のプロセスフロー図である。図４は、図１の構成要素を参照して説明されるが、図４の方法４００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法４００は、ブロック４０２において開始することができ、方法４００は、自車両１０２と関連付けられた運転シーンの少なくとも１つの画像を受信することを含み得る。

方法４００は、ブロック４０４に進み得、方法４００は、少なくとも１つの画像を分析し、自車両１０２の運転シーン内で動的物体を検出し、追跡することを含み得る。方法４００は、ブロック４０６に進むことができ、方法４００は、少なくとも１つの画像内に捕捉された動的物体のそれぞれを除去するためのマスクを実施することを含み得る。方法４００は、ブロック４０８に進むことができ、方法４００は、動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することを含み得る。一実施形態では、少なくとも１つの動的物体は、運転挙動に対して最も高い影響レベルを有する危険物体として識別される。

上述の説明から、本発明の様々な例示的な実施形態がハードウェアで実施され得ることが明らかであるべきである。更に、様々な例示的な実施形態は、本明細書で詳細に説明される操作を行うために少なくとも１つのプロセッサによって読み取り及び実行され得る、揮発性又は不揮発性メモリなどの非一時的機械可読記憶媒体上に記憶された命令として実施されてもよい。機械可読記憶媒体は、パーソナルコンピュータ又はラップトップコンピュータ、サーバ、又は他のコンピューティングデバイスなどの機械によって読み取り可能な形態で情報を記憶するための任意の機構を含んでもよい。したがって、非一時的機械可読記憶媒体は、一時信号を除外するが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び同様の記憶媒体を含むがこれらに限定されない揮発性及び不揮発性メモリの両方を含んでもよい。

本明細書の任意のブロック図は、本発明の原理を具現化する例示的な回路の概念図を表すことを当業者は理解すべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、機械可読媒体に実質的に表され、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されるであろう。

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実施が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、現在予測されていない、又は予期されていない様々な代替例、修正例、変形例、又は改良例を連続的に行うことができ、これらも添付の特許請求の範囲によって包含されることが意図される。

Claims

因果推論を用いた危険物体識別のためのコンピュータ実施方法であって、
自車両の運転シーンの少なくとも１つの画像を受信することと、
前記少なくとも１つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも１つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも１つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を含む、コンピュータ実施方法。
前記少なくとも１つの画像を受信することが、前記自車両の周囲環境のＲＧＢ画像を受信することと、前記動的物体を含む前記自車両の前記運転シーンを含む画像フレームを抽出することと、を含み、前記動的物体が、前記運転シーン内に位置する交通参加者を含む、請求項１に記載のコンピュータ実施方法。
前記少なくとも１つの画像を分析することが、画像フレーム内に含まれる各動的物体の周囲の境界ボックスを計算することと、ニューラルネットワークによって実行される時間モデリングプロセスを実行して、前記自車両及び前記動的物体を検出及び追跡することと、を含む、請求項１に記載のコンピュータ実施方法。
前記動的物体のそれぞれを除去するために前記マスクを実施することが、前記運転シーン内に位置する各動的物体を含む前記境界ボックス内にカプセル化された前記画像フレームの画素のサブセット上に１チャネルバイナリマスクを提供するための機械学習処理を実行することを含む、請求項３に記載のコンピュータ実施方法。
前記ニューラルネットワークが、前記動的物体のそれぞれに関連付けられた画素のそれぞれを独立して電子的に除去し、置換するために画像修復を完了し、前記ニューラルネットワークによって実行される前記画像修復が、マスクされた領域内でハルシネーションを可能にするマスクされ、かつ再正規化された畳み込み演算に基づく、請求項４に記載のコンピュータ実施方法。
前記マスクが、部分畳み込みから抽出された特徴に影響を及ぼし、前記除去された動的物体のメッセージを前記運転シーンの残りの部分から切り離す、請求項１に記載のコンピュータ実施方法。
前記変化レベルを分析することが、前記動的物体が前記運転シーンから除去されるときに、前記動的物体が存在する場合と、前記動的物体が存在しない場合との２つの運転挙動に関連する前記変化レベルを判定することを含む、請求項１に記載のコンピュータ実施方法。
前記動的物体のそれぞれに、前記変化レベルに基づいて、前記運転挙動との因果関係に関連付けられた、因果性スコアが割り当てられる、請求項７に記載のコンピュータ実施方法。
前記運転シーン内に含まれる追加の動的物体と比較して、前記少なくとも１つの動的物体に最も高い因果性スコアが割り当てられていると判定することに基づいて、前記少なくとも１つの動的物体が前記危険物体として識別される、請求項８に記載のコンピュータ実施方法。
因果推論を用いた危険物体識別のためのシステムであって、
命令を記憶しているメモリを備え、前記命令が、プロセッサによって実行されると、前記プロセッサに、
自車両の運転シーンの少なくとも１つの画像を受信することと、
前記少なくとも１つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも１つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも１つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を行わせる、システム。
前記少なくとも１つの画像を受信することが、前記自車両の周囲環境のＲＧＢ画像を受信することと、前記動的物体を含む前記自車両の前記運転シーンを含む画像フレームを抽出することと、を含み、前記動的物体が、前記運転シーン内に位置する交通参加者を含む、請求項１０に記載のシステム。
前記少なくとも１つの画像を分析することが、画像フレーム内に含まれる各動的物体の周囲の境界ボックスを計算することと、ニューラルネットワークによって実行される時間モデリングプロセスを実行して、前記自車両及び前記動的物体を検出及び追跡することと、を含む、請求項１０に記載のシステム。
前記動的物体のそれぞれを除去するために前記マスクを実施することが、前記運転シーン内に位置する各動的物体を含む前記境界ボックス内にカプセル化された前記画像フレームの画素のサブセット上に１チャネルバイナリマスクを提供するための機械学習処理を実行することを含む、請求項１２に記載のシステム。
前記ニューラルネットワークが、前記動的物体のそれぞれに関連付けられた画素のそれぞれを独立して電子的に除去し、置換するために画像修復を完了し、前記ニューラルネットワークによって実行される前記画像修復が、マスクされた領域内でハルシネーションを可能にするマスクされ、かつ再正規化された畳み込み演算に基づく、請求項１３に記載のシステム。
前記マスクが、部分畳み込みから抽出された特徴に影響を及ぼし、前記除去された動的物体のメッセージを前記運転シーンの残りの部分から切り離す、請求項１０に記載のシステム。
前記変化レベルを分析することが、前記動的物体が前記運転シーンから除去されるときに、前記動的物体が存在する場合と、前記動的物体が存在しない場合との２つの運転挙動に関連する前記変化レベルを判定することを含む、請求項１０に記載のシステム。
前記動的物体のそれぞれに、前記変化レベルに基づいて、前記運転挙動との因果関係に関連付けられた、因果性スコアが割り当てられる、請求項１６に記載のシステム。
前記運転シーン内に含まれる追加の動的物体と比較して、前記少なくとも１つの動的物体に最も高い因果性スコアが割り当てられていると判定することに基づいて、前記少なくとも１つの動的物体が前記危険物体として識別される、請求項１７に記載のシステム。
命令を記憶している非一時的コンピュータ可読記憶媒体であって、前記命令がコンピュータによって実行されると、プロセッサが方法を実行し、前記方法が、
自車両の運転シーンの少なくとも１つの画像を受信することと、
前記少なくとも１つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも１つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも１つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を含む、非一時的コンピュータ可読記憶媒体。
前記運転シーン内に含まれる追加の動的物体と比較して、前記変化レベルに基づく前記運転挙動との因果関係に関連付けられた、最も高い因果性スコアが前記少なくとも１つの動的物体に割り当てられていると判定することに基づいて、前記少なくとも１つの動的物体が前記危険物体として識別される、請求項１９に記載の非一時的コンピュータ可読記憶媒体。