JP5690322B2 - 交通に参加するオブジェクトを監視し、予測するコンピュータを備える乗り物 - Google Patents

Description

本発明は、運動制御、予測、および状態推定のための確率論の適用に関する。本発明の適用分野は、特に、都市中心部で自動車を運転しているときといった、実際の自動車およびロボット工学の環境におけるものである。

本発明は、特に、自車（ｅｇｏ−ｃａｒ）の観点から他の物理的な（実際の）交通オブジェクトの挙動を予測し、分析するという問題に焦点を当てる。物理的交通オブジェクトは、例えば、自車に関係する周辺域内の車両、ロボット、動物、人間などとすることができる。自車は自動車または車両であり、好ましくは車両の一部であるコンピュータ装置を使用して他の交通に参加するオブジェクトの挙動を予測するために、ビデオカメラなどといったセンサを使用して自車の観点から環境が監視される。加えて、または代替として、無線インターフェースを介して自車に接続される、リモートコンピュータ処理リソースが使用されてもよい。

本発明は、任意の航空、陸上または海上の交通において応用される。これに対応して、「自車」は、陸上、海上、または航空の乗り物、ならびにこれらの任意の組み合わせとすることができる。

最新技術では、そのような交通オブジェクトの現在位置を推定し、またはそのようなオブジェクトの将来状態を予測することが知られている。オブジェクトの状態とは、例えば、当該オブジェクトの位置、進行方向および／または速度などの表現である。最新技術では数種類の技法が利用される。

数学的に最も正確な手法はベイズの確率論を使用する。しかし、ベイズの推定は、周知のカルマンフィルタによって正確に解くことのできる、ガウス雑音分布および線形状態遷移を有するシステムを除いて、連続する状態について正確に解くことができない。工学的用途では、カルマンフィルタは、多くの場合、近似的に使用される。

粒子フィルタを使用した解や、あまり多くはないがベイジアン・ヒストグラム・フィルタを使用した解など、ますます多く他の近似解がベイズの推定に使用されるようになってきている（例えば、「Ｔｈｒｕｎ，Ｓ．ｅｔ ａｌ．，Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｒｏｂｏｔｉｃｓ，ＭＩＴ Ｐｒｅｓｓ（２００５）」など）。

あらゆる公知の手法において、オブジェクトの実際の状態が正確に知られることは決してない。というのは、フィルタが得る情報はセンサによって提供される情報のみであり、センサは、雑音があり、ともすれば誤ってさえいる状態特性を観測するからである。ベイズの手法は、状態についての確率分布を使用することによってこれを考慮に入れ、この確率分布は、あるセンサ入力が与えられた場合にある内部状態が真である確率を表すものである。この内部状態の確率分布から、実際の状態を推定することができる。

このいわゆるセンサモデルおよび感覚情報を推測するプロセスを「フィルタステップ」という。現在の測定値を将来の測定値と併せて使用するためには、すべての過去の測定値を表す内部状態が将来へと伝えられる必要がある。これは、いわゆる「予測ステップ」においてシステムダイナミクスを考慮する（順モデルを含む）遷移モデルによって行われる。

ある最新技術のベイズ法は、オブジェクトの将来状態を予測するための順モデルとして運動モデルを使用する。

普通、オブジェクトは、幾何学空間内の点として表される。予測を向上させるために、特開２００９−２２３５０４号公報では、内部状態として、監視対象の先行車の形状モデルも使用する。

ある手法は、さらにいわゆる状況（context、コンテキスト）情報を使用して順モデルを直接適応させてセンサ情報を検証する。状況情報は、自車の現在状態を越えたところの情報である。例えば、自車の周辺の他のオブジェクトや特定の道路環境（例えば、道路形状、交差点での交通規制など）を、自車の状況を表すものとみなすことができる。

例えば、独国特許出願公開第１０２００７０４９５１６号（ＤＥ１０２００７０４９５１６）では、車線情報を状況情報として使用し、車線領域内で車両存在の確率により高く重み付けする。しかし、車線が、普通、車両の将来の挙動にも影響を及ぼすことは考慮されない。

また車線（レーン）情報は、オブジェクトについての確定的事前定義軌道によって予測を生成するのに使用することもできる（例えば、「Ａｌｔｈｏｆｆ，Ｍ．，Ｒｅａｃｈａｂｉｌｉｔｙ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ ｓａｆｅｔｙ ａｓｓｅｓｓｍｅｎｔ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｃａｒｓ，ＰｈＤ Ｔｈｅｓｉｓ，Ｔｅｃｈｎｉｓｃｈｅ Ｕｎｉｖｅｒｓｉｔａｔ Ｍｕｎｃｈｅｎ（２０１０）」や、「Ｂａｒｔｈ，Ａ．＆ Ｆｒａｎｋｅ，Ｕ．，Ｗｈｅｒｅ ｗｉｌｌ ｔｈｅ ｏｎｃｏｍｉｎｇ ｖｅｈｉｃｌｅ ｂｅ ｔｈｅ ｎｅｘｔ ｓｅｃｏｎｄ？，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，１０６８−１０７３（２００８）」など）。

他の手法は、軌道(trajectory、経路)を設定する問題を無視し、むしろ、軌道がある他の機構によって提供されると仮定した軌道処理に焦点を当てる。例えば、国際公開第２０１１／００９００９号パンフレットでは、ヒューリスティックスを利用して各軌道のリスクを評価するために、２以上の軌道を生成するよう提案している。

特開２０１１−１２３７１４号公報では、方向指示灯を使用して、方向転換の時点を出力として生成する。しかしこの文献では、車両間の相対位置を使用するにすぎず、道路知識も、提示される監視対象エージェント（ａｇｅｎｔ）の確率分布も考慮されない。

国際公開第２００８／１２７４６５号パンフレットでは、危険の大きさを推測するために、運転者の生理学データを、車両間の距離、横方向車線位置、ハンドル角度、前後方向加速度、および速度と併用する学習法を使用する。

しかし、確定的情報が組み合わされるときに、車両位置、距離、速度、および加速度の測定値の曖昧さが想定されない。

米国特許出願公開第２０１０／００５７３６１号明細書では、交通に参加するオブジェクト状態の個々の離散化確率予測を、位置および関連付けられる不確実値の形で使用する。

離散化予測は不確実性楕円へと集約される。車両間の衝突を回避するための適切な挙動を推定する目的で、適切な回避「力」を生成するために、異なる車両の楕円間のオーバーラップが評価される。

「Ｂｒｅｃｈｔｅｌ，Ｓ．ｅｔ ａｌ．，Ｐｒｏｂａｂｉｌｉｓｔｉｓｃｈｅｓ Ｂｅｌｅｇｔｈｅｉｔｓｆｉｌｔｅｒ ｚｕｒ Ｓｃｈａｔｚｕｎｇ ｄｙｎａｍｉｓｃｈｅｒ Ｕｍｇｅｂｕｎｇｅｎ ｕｎｔｅｒ Ｖｅｒｗｅｎｄｕｎｇ ｍｕｌｔｉｐｌｅｒ Ｂｅｗｅｇｕｎｇｓｍｏｄｅｌｌｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｔｈ Ｆａｃｈｇｅｓｐｒａｃｈ Ａｕｔｏｎｏｍｅ Ｍｏｂｉｌｅ Ｓｙｓｔｅｍｅ，４９−５６（２００９）」、および「Ｇｉｎｄｅｌｅ，Ｔ．ｅｔ ａｌ．，Ａ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌ ｆｏｒ ｅｓｔｉｍａｔｉｎｇ ｄｒｉｖｅｒ ｂｅｈａｖｉｏｒｓ ａｎｄ ｖｅｈｉｃｌｅ ｔｒａｊｅｃｔｏｒｉｅｓ ｉｎ ｔｒａｆｆｉｃ ｅｎｖｉｒｏｎｍｅｎｔｓ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ（ＩＴＳＣ），１３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，１６２５−１６３１（２０１０）」では、動的ベイズネットを使用して、状況情報に基づいて交通に参加するオブジェクトの軌道を予測する。挙動のスクリプトが予測のために事前に生成される。

次いで、挙動および局所状況により軌道確率分布が決定される。しかし、状況は、「可能な状況の有限集合」と突き合わせされる。したがって、アルゴリズムは、状況の集合内に含まれない予測外の状況に適用することができない。さらに、異なる潜在的車両状態が区別されず、そのため、異なる挙動を、車両の異なる離散化された確率的状態に適用することができない。

上記の概要は、最新技術の技法を、確定的手法および確率的手法においてグループ化し得ることを示している。ある予測手法は、他のエージェントの状態の前方投影に焦点を当て、単純に情報を補間することにより、他のエージェントの現在の推定状態を将来状態の予測に使用する。他のある予測手法は、例えば進路のような状況情報を組み込むことにより、状況依存の予測を生成するが、普通は、ただ１つの（最適な）経路軌道(path trajectory)または限られた代替経路軌道の集合だけを予測し、同時の複数の状況による影響を許容しない。

特開２００９−２２３５０４号公報 独国特許出願公開第１０２００７０４９５１６号 国際公開第２０１１／００９００９号パンフレット 特開２０１１−１２３７１４号公報 国際公開第２００８／１２７４６５号パンフレット 米国特許出願公開第２０１０／００５７３６１号明細書

Ｔｈｒｕｎ，Ｓ．ｅｔ ａｌ．，Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｒｏｂｏｔｉｃｓ，ＭＩＴ Ｐｒｅｓｓ（２００５） Ａｌｔｈｏｆｆ，Ｍ．，Ｒｅａｃｈａｂｉｌｉｔｙ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ ｓａｆｅｔｙ ａｓｓｅｓｓｍｅｎｔ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｃａｒｓ，ＰｈＤ Ｔｈｅｓｉｓ，Ｔｅｃｈｎｉｓｃｈｅ Ｕｎｉｖｅｒｓｉｔａｔ Ｍｕｎｃｈｅｎ（２０１０） Ｂａｒｔｈ，Ａ．＆ Ｆｒａｎｋｅ，Ｕ．，Ｗｈｅｒｅ ｗｉｌｌ ｔｈｅ ｏｎｃｏｍｉｎｇ ｖｅｈｉｃｌｅ ｂｅ ｔｈｅ ｎｅｘｔ ｓｅｃｏｎｄ？，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，１０６８−１０７３（２００８） Ｂｒｅｃｈｔｅｌ，Ｓ．ｅｔ ａｌ．，Ｐｒｏｂａｂｉｌｉｓｔｉｓｃｈｅｓ Ｂｅｌｅｇｔｈｅｉｔｓｆｉｌｔｅｒ ｚｕｒ Ｓｃｈａｔｚｕｎｇ ｄｙｎａｍｉｓｃｈｅｒ Ｕｍｇｅｂｕｎｇｅｎ ｕｎｔｅｒ Ｖｅｒｗｅｎｄｕｎｇ ｍｕｌｔｉｐｌｅｒ Ｂｅｗｅｇｕｎｇｓｍｏｄｅｌｌｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｔｈ Ｆａｃｈｇｅｓｐｒａｃｈ Ａｕｔｏｎｏｍｅ Ｍｏｂｉｌｅ Ｓｙｓｔｅｍｅ，４９−５６（２００９） Ｇｉｎｄｅｌｅ，Ｔ．ｅｔ ａｌ．，Ａ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌ ｆｏｒ ｅｓｔｉｍａｔｉｎｇ ｄｒｉｖｅｒ ｂｅｈａｖｉｏｒｓ ａｎｄ ｖｅｈｉｃｌｅ ｔｒａｊｅｃｔｏｒｉｅｓ ｉｎ ｔｒａｆｆｉｃ ｅｎｖｉｒｏｎｍｅｎｔｓ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ（ＩＴＳＣ），１３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，１６２５−１６３１（２０１０）

本発明は、上記最新技術の欠点を克服することを目指し、特に、状況情報を活用して、予測の遷移モデルのために順モデルを直接適応させることを目指すものである。本発明は、同時に複数の影響を許容することを目指すものである。本発明は、一般に、交通参加オブジェクトなど、他の実際のオブジェクトの挙動の改善された予測を提供しようとするものである。交通の安全性が改善され、自動化制御プログラムおよびシステムにおける安全のための付加機構が提供されるはずである。

上記目標を達成するために、本発明は、自車に搭載された技術システムを利用する。このシステムは、好ましくは搭載されているコンピュータ装置に信号を供給するビデオカメラなどといったセンサを使用して、例えば道路外形（曲がり、交差点など）その他の実際のオブジェクトの位置など、周囲の様子を観測する。さらに、自車パラメータ（自己運動を示すパラメータなど）を、例えば、自車のＣＡＮバスから得ることができる。また、道路外形および他のオブジェクトに関する状態情報も、地図知識、ＧＰＳ、車両間の通信、レーダ、およびカメラから推測することができる。あらゆる情報は、異なる交通参加オブジェクトの挙動に影響を及ぼす状況を表すものとみなすことができる。よって、この情報を状況情報と呼ぶ。

本発明の概要は、この状況情報を利用して他の交通参加オブジェクトの挙動を監視し、予測することである。このように、本発明は、運転者支援システムおよび自律性車両（乗り物）制御システムに使用するためのものである。

システムは、自動車を安全に制御するための適正な運転挙動を導き出してもよく、運転者支援システムにおいて警告その他の情報信号を発してもよい。

そのようなシステムの例が、それぞれ、自動車線追従システムや、予期される車線離脱についての警告システムである。

特に、本発明は、少なくとも１つの交通参加オブジェクトの状態を予測するための方法を対象とし、この方法は、センサから供給される情報を使用して、少なくとも１つのオブジェクトの現在状態の近似的確率分布を求めるステップと、標準的なベイジアンフィルタリングの概念を使用して近似的確率分布を更新することにより少なくとも１つのオブジェクトの将来状態を予測するステップとを含み、この方法は、それぞれが状況情報に従って決定される現在状態から潜在的将来状態までの潜在的状態軌道を表す少なくとも１つのアトラクタ関数を使用して予測するステップを変更することを特徴とする。

各オブジェクト状態は、近似的確率分布（ＡＰＤ）によって表される。オブジェクトの状態は、少なくとも、オブジェクトの位置およびオブジェクトの速度を含み得る。ＡＤＰは、オブジェクトまたはエージェントの潜在的状態を近似的に表す確率分布である。本発明に最も適用可能なのは離散化ＡＰＤであるが、モジュラー連続ＡＰＤ（混合ガウスモデルなど）も使用することができる。離散化ＡＤＰには、例えば、確率格子や粒子など、異なる技法を適用することができ、その場合各節点または粒子はある確率質量を表す。

特定の現在のオブジェクト状態を関連付けられる確率質量と共に考慮に入れ、さらに、現在の道路および交通の状況を考慮に入れれば、アトラクタおよび対応するアトラクタ関数（ＡＦ）を推測することによって潜在的な意図的オブジェクト挙動を推論することができる。

考慮される交通状況情報は、潜在的な車両操縦、道路条件、交差状況、交通標識、または監視対象エージェントから送出される意図指示器（方向指示器や、車両間の（Ｖ２Ｖ）通信によって提供される情報など）といった要因を含んでいてよい。状況情報は車線知識を含んでいてよく、車線知識は、道路地図と併用されるカメラ、レーダセンサ、ＧＰＳといった任意の種類のセンサによって提供されてもよく、複数のセンサの組み合わせによって提供されてもよい。

アトラクタは、将来の位置、進行方向および／または速度の組み合わせといった、エージェントの潜在的な（意図的な）目標状態である。ＡＦは、目標状態（アトラクタ）および開始状態（現在状態）を、オブジェクトがアトラクタに到達するための最尤の状態空間軌道へ変換する関数である。

状態空間軌道は、エージェント状態の将来への従来の投影を変更するのに使用される。変更された投影は、次いで、後続の近似的確率分布によって吸収することができる。結果として得られるオブジェクト状態の予測表現は、危険で、異常な状況およびエージェントを推測するのに使用することができる。推測は、自車のコントローラに危機的状況を知らせるのに使用されてもよく、必要な場合には、予防的制御コマンドを発行するのに使用されてもよい。また本発明では、曖昧なエージェント状態の取り込みを可能にする確率地図を利用して、自車と他の監視対象エージェントとの確率質量のオーバーラップを算出することにより、リスクまたは危険を推測することもできる。

好ましくは、この方法は、少なくとも１つのアトラクタ関数について周囲のオブジェクトに関する状況情報を提供するためにセンサを用いて感知を行うステップをさらに含み、センサは、１台または複数のカメラ、レーダ、レーザスキャナ、および／または車両間の通信システムのようなものである。

好ましくは、この方法は、少なくとも１つのアトラクタ関数について静的環境に関する状況情報を提供するためにセンサを用いて環境感知を行うステップをさらに含み、センサは、１台または複数のカメラ、レーダ、レーザスキャナ、ＧＰＳ／ナビゲーションシステム、またはインフラストラクチャ車両間通信システムなどである。

好ましくは、この方法は、少なくとも１つのオブジェクトの新しい現在状態の改善された判定を得るために、少なくとも１つのオブジェクトについて複数の将来状態予測を絶えず行うステップと、入ってくる感覚情報を用いて各予測をフィルタリングするステップとをさらに含む。

好ましくは、少なくとも１つのオブジェクトの予測される将来状態と観測される将来状態との差が、システムが、監視オブジェクトの挙動を正常または異常として分類することを可能にする。

好ましくは、少なくとも１つのオブジェクトの将来状態の予測の結果として予測される近似的確率分布が得られることを使用して、少なくとも１つのオブジェクトについての可能性の高い運動の軌道を導出することができる。

好ましくは、観測される将来状態と現在状態の確率分布との比較を使用して、どのアトラクタ関数が少なくとも１つのオブジェクトの挙動を決定づけたか推測することができる。

好ましくは、少なくとも１つのオブジェクトの予測される将来状態の関数として、視覚信号または音響信号が生成され、あるいは、ハンドル、アクセル、ブレーキといった車両の作動機構が操作される。

加えて、または代替として、例えば安全ベルトプレテンション装置といった車両の安全装置の状態が、少なくとも１つのオブジェクトの予測される将来状態の関数として変更されてもよい。

好ましくは、この方法は、対応する制御システムにおいてロボット工学の安全のために使用される。

本発明は、少なくとも１つのオブジェクトの状態を予測するための装置をさらに対象とし、装置は、少なくとも１つのオブジェクトの現在状態の近似的確率分布を求める手段と、標準的なベイジアンフィルタリングの概念を使用して近似的確率分布を更新することにより少なくとも１つのオブジェクトの将来状態を予測する手段とを備え、装置は、それぞれが状況情報に従って決定される現在状態から潜在的将来状態までの潜在的状態軌道を表す少なくとも１つのアトラクタ関数を使用して予測するステップを変更するように適合されていることを特徴とする。

上記方法の焦点は、（ａ）潜在的な現在および将来のエージェント状態を表すＡＰＤと、（ｂ）潜在的な将来目標状態へ向かう状態確率の分散された流れに動的に影響を及ぼすＡＦとを組み合わせることによって、周囲のエージェントの挙動を監視することに存する。

オブジェクト状態へのＡＦの適用は事前に定義されず状況に依存し、その場合状況は、（ａ）環境の現在状態（道路の交差やカーブした道路など）と、（ｂ）エージェントの現在の潜在的状態とを含む。ＡＦは、道路情報が与えられれば自由に選択することができ、推定されるエージェント状態から独立している。このようにして、確率分布の形の非確定的車両状態を、所与の状況情報を考慮に入れて将来へ投影することができ、状況情報は、現在のアトラクタおよび対応するＡＦを決定する。

本発明の方法は、他の交通に参加するオブジェクトの潜在的将来状態のより正確な確率分布をもたらす（「将来」とは秒単位の範囲内に存するものと予期される）。そのような予測は、運転者支援システムにも自律性車両制御システムにも非常に有用である。

以下で、本発明をより詳細なステップにおいて説明し、図で例示する。

車両のコンピュータ装置によって行われる予測時の情報の流れを示す図である。 交差点場面の一例を示す図である。 フィードフォワードベースの確率分布の操作の様々な例を示す図である。 フィルタリングを有する情報の流れを示す図である。 車線追従ＡＦを用いて目標とされる方向を決定するアトラクタの具体例を示す図である。

以下の処理はすべて、好ましくは自動車、オートバイまたはスクータである、陸上、航空または海上の車両の搭載式コンピュータ装置によって行われ得ることを理解すべきである。

車両はさらに、コンピュータ装置に信号を供給し、コンピュータ装置がそれに基づいてセンサの入力フィールドに存在する１つまたは複数の交通参加オブジェクトの（１つまたは複数の）状態の表現を生成することのできる少なくとも１台のセンサ、好ましくはカメラを備える。状態は、以下のパラメータのうちの１つまたは複数によって定義され得る。

・ 位置
・ 方向、および
・ 速度（ならびにそれらの任意の導関数）
図１に、提案の予測を生成するための方法の反復ステップ［０］〜［５］を示す。ステップ［０］で、自車は、適切な近似的確率分布（「ＡＰＤ」）によって他の車両の状態を表す。その一例が離散化確率分布であり、離散化確率分布では、各離散化状態がある確率質量(probability mass)を有し、確率質量はエージェントが実際にこの状態にある確率を指定する。オブジェクトの状態推定は少なくともオブジェクトの位置および速度を含み得るが、加えて、この情報のより高次の導関数（場合によっては数桁の）ならびにそれぞれの分散(variance)推定値も含んでいてよい。

例えば、一つまたは複数のセンサを使用して監視される環境の面に格子が割り当てられていてもよい。各格子点はさらに平均速度推定値および分散速度推定値も含んでいてよい。よって確率質量は、本質的に、オブジェクトが格子節点の周辺にある確率を推定し、そうである場合、その速度推定値は、速度の平均推定値および分散推定値に従って分布される。

地図および街路情報は、多くの場合、十分に利用できる。この種の情報は、センサベースの情報もそうであるが、ステップ［１］で潜在的な運転目標(driving goals)（すなわちアトラクタ(attractor、誘引子）の決定を可能にし、潜在的な運転目標は、状況に依存して動的に決定される。運転目標は、道路をたどる、次の交差点でわき道に入るなど、どちらかと言えば単純なものとすることができる。他のエージェントの（潜在的に択一的な）意図および対応する目標のそのような予想は、可能性の高い直近の将来の位置および速度を予測するのに使用される。

ステップ［２］で、この方法は、前方予測を生成する前に、どの（１つまたは複数の）潜在的目標状態に、関連する確率質量を有するどの離散化状態から到達することができるかを動的に判定する。 目標状態が現在状態内のある一定の距離の範囲内にある場合、潜在的な目標ベースのアトラクタが、好ましくは状態推定値だけに適用される。アトラクタの影響が制限されることにより、アトラクタが状態を局所的にのみ変更することを確実にすることができる。

ＡＦは、例えば最小の加速を伴うものなど、現在状態から開始し、目標状態で終了する最適な状態空間軌道を決定するのに使用される。好ましくは、ある加速値を下回る可能な状態空間軌道がない場合には、この目標状態のＡＦは特定の開始状態について考慮されない。ＡＦは、確率質量の投影、すなわち、各目標状態および対応するＡＦの尤度に従った確率質量の分配を決定するために適用することができる。

図２に、自車のいくつかの開始（現在）状態を例示する。ある開始状態について、この特定の状態に適用される潜在的アトラクタが決定される。プロセスは、好ましくは、各離散化状態推定値（すなわちグレーで描かれているその他の格子点）に適用される。

状態推定値の原因となるＡＦを決定した後、ステップ［３］で、関連付けられる確率質量を次の反復（ｔ＋１）へ投影することができる。確率質量は、個々の状態推定値と組み合わされた、ＡＦによって決定される数および方向に依存して、２つ以上のより小さい分布へ展開させてもよい。ＡＦが適用されない場合には、好ましくは、従来技術の予測方式の場合と同様に、各状態の確率質量はＡＦを考慮せずに前方投影される。

図２には、確率質量投影ステップが例示されており、このステップは離散化状態推定値ごとに行われる。特に、図２には、丸で表示された局在化された離散状態を有する交差点場面の一例が詳細に示されている。開始状態（黒丸）に依存して、アトラクタ状態の尤度が決定される。この場合、現在の開始状態（すなわちオブジェクトの現在の位置、速度、および方向）を仮定してアトラクタ状態Ａ１に到達することはできない。２つの残りのアトラクタ状態Ａ２およびＡ３について、開始状態の確率質量を投影するためにアトラクタ関数（Ａ２およびＡ３に至る実線）が使用される。ＡＦと状態推定値の組み合わせから得られる投影される確率質量は、結果としてアトラクタ関数に沿った２つの確率地点をもたらす。

ＡＦの情報を使用して順モデルに影響を及ぼすために、フィードフォワード関数が適合される。様々な可能な解を使用することができる。ＡＦと運動順(kinetic forward)モデルとのベイズ融合を様々なやり方で実行することができる（図３）。そのために、ＡＦから導出された状態空間軌道を使用して、状態ベースの進行方向および速度の大きさが変更される。図３には、所与のアトラクタ状態に起因するある状態推定値（破線の分布）および結果として得られるＡＦ（矢印）が与えられた場合のフィードフォワードベースの確率分布の操作の様々な例が、変更された分布（実線の分布）をもたらすことが示されている。図３の上には、方向（ｘ軸）の単純な操作が示されている。図３の中央には、最大ハンドル操作角を考慮した方向操作が示されている。図３の下には、２つの択一的アトラクタによる分布分割(distribution split)が示されている。

ステップ［４］で、投影された確率質量は、連続したＡＰＤによって最終的に吸収される。例えば、格子内の離散化状態は、オーバーラップするすべての投影される部分的確率質量を吸収する。オーバーラップする確率質量は積算され、またこれらの確率質量は、結果として得られる対応する速度推定値の平均値および分散も決定する。詳細には、速度推定値の平均値および分散は、個々の部分的確率質量によって重み付けされた、入ってくる個々の速度を平均することによって求めることができる。分散も同様に求めることができる。

ステップ［５］で、吸収された確率質量を使用して、数回の反復にわたってプロセスが実行され、さらに先までの予測が生成され得る。どの反復においても、確率的感覚モデルが与えられれば、予測される状態が新しい感覚情報と比較され得る。この情報は、ベイズ・センサ融合を使用して各節点において確率質量を適応させることにより、システム状態へ組み込まれてもよい。すなわち、予測される状態は、入ってくる感覚情報によってフィルタリングされる。フィルタリング予測サイクルをさらに図４において例示する。

図４には、エージェントを監視するための反復ステップが提案されている。フィルタ段が測定値を予測される状態情報と組み合わせる。予測ステップが、エージェント状態情報と状況依存ＡＦとに基づいてフィードフォワード予測を考慮する。近似的な離散化確率分布のために、フィードフォワードおよびアトラクタに基づく情報は、潜在的状態（例えば格子内の節点や粒子フィルタ法における粒子など）ごとに局所的に組み合わされる。結果として期待される車両状態の分布表現が得られ、次いで、次に利用可能な測定値が与えられれば、それを再度フィルタリングすることができる。

前述のように、本発明は、追加状況情報を使用して、状態情報を超えた予測ステップを改善する方法および装置を提案するものである。

潜在的目標としての追加の状況情報を使用して、順モデルを直接適応させることができる。そのために、本発明はＡＦの使用を提案する。これらのＡＦは、任意の可能な状態表現に適用することができる。ＡＦは、個々の状態推定値および意図される目標だけに依存する。図２、図３、および図５には、ＡＦの一般概念およびＡＦの例が示されている。図２および図３には、１つまたは２つのアトラクタが与えられた場合に、ＡＦがどのようにして状態ベースの進行方向を変更し得るかが示されている。

図５には、車線ベースのＡＦの具体例が示されている。車線の外部に位置する状態について、ＡＦは、どのようにして車線に入るべきかの方向を決定する。車線内の状態は、さらに速度も考慮して車線の中央へ向けて誘引され、よって、状態推定値によって与えられる推定進行方向および速度が変更される（適応効果の例については図３参照）。図５の例では、カーブした道路形状を表すために、計５個のアトラクタを例として定義した。

特に図５には、車線追従ＡＦを用いて目標とされる方向を決定するアトラクタの具体例が示されている。開始状態の方向は開始状態に含まれるフィードフォワード方向情報を指し、アトラクタ状態の方向は、関連するアトラクタ（例えば図５の左部分のＡ４など）から生じる方向を指す。細線は、開始状態とアトラクタ状態との組み合わせ、すなわち結果として得られるアトラクタ関数によって決定される最尤の軌道を表示する。図５の左側では、自動車位置が車線内にあり、関連するアトラクタ状態としてＡ４が示されている。右側には、車線に入る自動車の例が示されている。この場合、最初の関連アトラクタはＡ３であり、結果として得られる軌道はＡＦ３である。車線およびＡ３に近づくときに、関連アトラクタは（小さい黒線で表示される）Ａ４に切り替わり、次に、アトラクタ関数ＡＦ４が車両の軌道を決定づける。最後に、車両が車線上に乗るときには、Ａ５が関連アトラクタになり、アトラクタ関数ＡＦ５が予測される将来軌道を表す。

図５に示すアトラクタの例は道路形状を表しているが、提案の発明は静的環境の表現だけに限定されないことに留意されたい。例えば、新しい交通車両が幹線道路へ進入する進入車線があり、幹線道路上を走行している車両が新しく入ってくる車両のための空きを作る必要がある場合に、幹線道路上での車線変更を表すのにアトラクタを使用することもできる。別の種類のアトラクタは、ある他の車両が経路をふさいでいるために通常の走行経路をたどることができない場合に、回避スペースを表示し得る。一般に、提案のアトラクタの概念は、（動いている）エージェントの任意の目標状態の表現に適用される。どんな実際の適用についても、目標とされる軌道の平滑度や計算処理などのような追加要件に基づいて、アトラクタの数および状態（位置）が定義される必要がある。

競合するＡＦの尤度に重み付けするために、方向指示や車両間通信といった追加情報が使用されてもよい。そのような情報は、適用可能なＡＦの尤度に比例して確率質量を分配するのに使用される。図２には確率質量の分配が例示されており、図３には、進行方向がどのように影響され得るかが例示されている。

本発明の別の特徴は、上記の方法を新しい感覚情報によってフィルタリングせずに反復して実行することができることである。ＡＦを使用しないと、確率フローは、この場合、運動学的制約条件のみに従うはずであり、入ってくる感覚情報によって鮮明化されることはないはずである。したがって、ＡＦなしの予測は、急速に拡散する確率分布を生じるはずである。感覚情報なしで長期予測を実行するために、ＡＦを組み込むことにより確率フローがより可能性の高い領域へ制約される。そのような長期予測が誤ったモデルの仮定（ＡＦ）を使用する場合、予測される将来時における実際の感覚情報との比較は大きな差（仮定と比較した「驚き」）を示すことになり、よって、危険な予期しない状況がすばやく検出される。正しいモデルの仮定は、より優れた予測性能、他のエージェントの監視、および不良な雑音のある感覚情報の補正を導く。

本発明が提案する方法を用いれば、監視対象の交通に関するいくつかの推論が可能である。最も単純な推論は、より正確な状態推定を生成するための感覚情報の連続したフィルタリングである。他のエージェントのより正確な状態推定を再度使用すれば、最適な自車制御をより適切に決定することもでき、より効果的で妥当な警告信号を推論することもできる。

通常のフィルタリングに加えて、予測状態推定は、他のエージェントの挙動を評価するのに使用することもできる。評価の範囲は、感知される状態情報が概ね予測と一致する場合の正常な挙動から、感知される状態情報が予測に著しく反する場合の不規則な挙動にまで及ぶ可能性があり、おそらくは数回反復して測定される。さらに、挙動は、挙動が予測に完全に反する場合には、「予測不能」と評価されてもよい。これらの評価は、妥当な警告信号を発するために、または自車制御に影響を及ぼすために再使用されてもよい。

最後に、数台の自動車の予測される状態推定と、予測される自車の状態とを使用して、状況の緊急度を推測することができる。すなわち、状況が、個々のエージェント状態の潜在的状態の予測される確率質量のオーバーラップに依存した「危険」尺度上で評価され得る。強いオーバーラップは強い事故の危険を示し、ほとんどオーバーラップがないことは概ね安全な状況に相当する。この情報もやはり、情報（警告）信号を発したり、自車制御に影響を及ぼしたりするのに使用されてよい。

提案の方法を実行する装置は、交通の安全性を向上させると共に、自動化エージェント制御プログラムにおける安全のための付加機構を提供するのに役立つであろう。

要約すると、本発明は、監視対象エージェントの将来状態の予測を改善するための、エージェント状態のＡＰＤとＡＦとの分散された動的組み合わせを提案するものである。ＡＦは、エージェント自体に典型的に使用される運動モデルを超えた状況情報（進路、交差点など）の組み込みを可能にする。ＡＰＤとの組み合わせにより、確率分布の異なる部分空間における異なるＡＦの選択的適用が可能になる。

ＡＦとして状況を含めることにより環境内のエージェントの局所的離散化確率分布を生成するための新規の技法は、以下のように使用され得る。

ａ）自動車のシナリオにおいて、周囲の交通の参加者（agents、エージェント）ごとにそのような予測を絶えず生成し、入ってくる感覚情報を用いて予測をフィルタリングすることによりエージェントを監視すること。

ｂ）将来の時点についての予測を生成し、後で、この将来の時点において、予測を対応する感覚情報と比較することにより異常な状況または危険な状況を検出すること。予測されるエージェント状態と観測されるエージェント状態との差に基づいて、監視されるエージェントに関する推測を導き出すことができる。

ｃ）エージェントの現在の挙動を推測すること。（例えば直線走行するか左折するかなどのような）いくつかの異なるアトラクタ関数が適用できる場合、観測される状態と確率分布とを比較すれば、どのアトラクタ関数がエージェント状態を決定づけたか（すなわち、エージェントがどのアトラクタに従ったか）推測することができ、よって、エージェントの現在の挙動意図が示される。

ｄ）将来の時点の予測から可能性の高いエージェント状態軌道を導出し、この情報を、例えば、運転者に危険な運転操作について警告する、衝突回避操作を行うなどのような、自己制御戦略の推測のために使用すること。

本発明は、運転者支援システム、自律性車両、および自律ロボット工学用途全般を対象とするものである。エージェントは、自動車、バス、トラックを含む他の車両とすることができるが、自転車、ならびに動物および人間とすることもできる。ロボット工学分野全般では、同様の予測技術が上記エージェントにも、他のロボットの状態を予測するのにも使用され得る。

Claims (11)

1. 少なくとも１つの物理的交通オブジェクトの状態をコンピュータにより予測する方法であって、
   前記コンピュータの入力部が、センサからのセンサ情報を受信するステップと、
   前記コンピュータの演算部が、前記センサ情報に基づいて、当該センサ情報において表された前記少なくとも１つのオブジェクトの現在状態の近似的確率分布を算出するステップと、
   前記演算部が、ベイジアンフィルタリングの概念を使用して前記近似的確率分布を更新することにより、前記少なくとも１つのオブジェクトの将来状態を予測するステップと、
   を含み、
   前記方法は、前記演算部が少なくとも１つのアトラクタ関数を使用して前記予測するステップを変更し、それぞれのアトラクタ関数が、状況情報に従って決定される前記現在状態から潜在的将来状態までの潜在的状態軌道を表すことを特徴とする、前記方法。
2. 前記少なくとも１つのアトラクタ関数について周辺のオブジェクトに関する状況情報を提供するためにセンサを用いて感知を行うステップをさらに含み、
   前記センサが、１台または複数のカメラ、レーダ、レーザスキャナ、または車両間通信システムである、請求項１に記載の方法。
3. 前記少なくとも１つのアトラクタ関数について静的環境に関する状況情報を提供するためにセンサを用いて環境感知を行うステップをさらに含み、
   前記センサが、１台または複数のカメラ、レーダ、レーザスキャナ、ＧＰＳ／ナビゲーションシステム、またはインフラストラクチャ車両間通信システムである、請求項１または２に記載の方法。
4. 前記演算部が、前記少なくとも１つのオブジェクトの新しい現在状態の改善された判定を得るために、前記少なくとも１つのオブジェクトについて複数の将来状態予測を絶えず行うステップと、
   前記演算部が、入力される前記センサ情報を用いて各予測をフィルタリングするステップと、
   をさらに含む、
   請求項１〜３のいずれか１項に記載の方法。
5. 前記演算部により、前記少なくとも１つのオブジェクトの予測される将来状態と観測される将来状態との差に基づいて、監視オブジェクトの挙動が正常または異常として分類される、請求項１〜４のいずれか１項に記載の方法。
6. 前記演算部により、前記少なくとも１つのオブジェクトの前記将来状態の前記予測の結果として予測される近似的確率分布が得られることを使用して、前記少なくとも１つのオブジェクトについての可能性の高い運動の軌道が導出される、請求項１〜５のいずれか１項に記載の方法。
7. 前記演算部により、前記観測される将来状態と前記現在状態の確率分布との比較を使用して、どのアトラクタ関数が前記少なくとも１つのオブジェクトの前記挙動を決定づけたかが推測される、請求項５に記載の方法。
8. 前記予測するステップにおいて予測される前記少なくとも１つのオブジェクトの前記将来状態の関数として、視覚信号または音響信号が生成され、あるいは、ハンドル、アクセル、ブレーキといった車両の作動機構が操作される、請求項１〜７のいずれか１項に記載の方法。
9. 対応する制御システムにおいてロボット工学の安全のために使用される、請求項１〜７のいずれか１項に記載の方法。
10. 少なくとも１つのオブジェクトの状態を予測するための装置であって、
    センサ手段と、
    前記センサ手段によって感知される前記少なくとも１つのオブジェクトの現在状態の近似的確率分布を求める、前記センサ手段から信号を供給されるように機能的に接続された手段と、
    ベイジアンフィルタリングの概念を使用して前記近似的確率分布を更新することにより、前記少なくとも１つのオブジェクトの将来状態を予測する手段と、を備え、
    前記装置は、少なくとも１つのアトラクタ関数を使用して前記予測するステップを変更するように適合されており、それぞれのアトラクタ関数が、状況情報に従って決定される前記現在状態から潜在的将来状態までの潜在的状態軌道を表すことを特徴とする、前記装置。
11. 請求項１０に記載の装置が搭載されている、陸上、航空または海上の乗り物。

Images