JP6860586B2 - 物体の動作を予測する方法 - Google Patents

Description

本発明は、物体の動作を予測する方法に関する。

本発明はまた、物体の動作を予測する計算実体に関する。

本発明は更に、コンピュータに物体の動作を予測する方法を実行させるプログラムを記憶する非一時的コンピュータ可読媒体に関する。

本発明はおおむねどのような種類の物体にも適用可能であるが、本発明を自立ロボットなどの運搬手段との関連で説明する。

自立・自動運転には、静的及び動的障害物を避けながら作業を続けることが可能な運搬手段の安全な軌道を定めることが求められる。自立運転装置の予測能力は、円滑さ及び快適さ要求を満たすためにも重要である。

従来の予測又は評価手法には、不正確及びノイズ測定の存在が含まれる。そのような手法の例として、カルマンブーシーフィルタがあげられる。この用途について、物体動作予測の従来の手法は、未加工の測定データをローカル座標又はグローバル座標にマッピングした後現在動作及び過去動作に基づいて物体の動作を直接評価することである。従来のほとんどの手法は測定値は信頼性に欠けると仮定するため、物体動作を判定する前にこのノイズ測定を改善しその後その結果だけを用いて将来の物体動作を予測することを試みる。

従来の動作計画は、リアルタイムフィードバックデータを用いることによりリアルタイム軌道を生成することである。しかし、物体の動作を知ることは、近い将来起きるかもしれない潜在的衝突を解決するための情報を提供する。この情報を用いて、例えば、ロボットは限定された将来の計画対象期間のための連続軌道を作成することができる。

物体の動作は当然時間変動するため、将来の物体動作を特定することは困難である。物体の動作は、線形又は非線形な関係を持って経時的に変化する。

図１は、経時的な物体動作の複数の変化を示す。発生する明白な課題が図２に示されている。それらの課題は以下の２つの項目に分類される。
１．物体の速度：この物体が静的か動的か及びこの物体がおおよそどのくらいの速度で移動するかについての情報。
２．物体の移動方向：物体の移動先についての情報。

従って、本発明の実施形態により取り組まれる課題の１つは、物体の動作を予測する際より高い精度を可能にすることである。

本発明の実施形態により取り組まれる更なる課題の１つは、物体の円滑かつ信頼できる動作を提供することである。

一実施形態において、本発明は、物体の動作を予測する方法であって、前記物体の動作は予測された将来センサー読み取り値群に基づいて予測され、前記予測された将来センサー読み取り値群は１つ又は複数の距離センサーの現在測定データに基づいて計算される、方法を提供する。

更なる実施形態において、本発明は、物体の動作を予測する計算実体であって、１つ又は複数の距離センサーのデータを受信する入力インターフェースと、前記物体の予測された動作を出力する出力インターフェースと、プロセッサ及びメモリを備え予測された将来センサー読み取り値群に基づいて前記物体の動作を予測する計算手段とを備え、前記予測された将来センサー読み取り値群は１つ又は複数の距離センサーの現在測定データに基づいて計算される、計算実体を提供する。

更なる実施形態において、本発明は、コンピュータに物体の動作を予測する方法を実行させるプログラムを記憶する非一時的コンピュータ可読媒体であって、前記物体の動作は予測されたセンサー読み取り値群に基づいて予測され、予測された前記センサー読み取り値群は現在時刻での１つ又は複数の距離センサー群のデータに基づいて計算される、非一時的コンピュータ可読媒体を提供する。

「物体」とは、特に請求項において、好ましくは明細書において、その最も広い意味で解釈されるべきであり、あらゆる静的又は動的な物理的実体に関する。

「物体」に関する「動作」とは、その最も広い意味で解釈されるべきであり、好ましくは請求項において、特に明細書において、物体の状態及び／又は運動に関連する物体に関する情報を意味する。

「障害」とは、その最も広い意味で解釈されるべきであり、好ましくは請求項において、特に明細書において、別の物体の軌道や経路などを横切ることができる場合がありセンサーによって検出可能なあらゆる種類の物体を意味する。

「計算装置」「計算実体」などの用語は、特に請求項において、好ましくは明細書において、パーソナルコンピュータ、タブレット、携帯電話、サーバ、ルーター、スイッチなどの、計算を行う装置を指し、１つ又は複数のコアを有する１つ又は複数のプロセッサを備える。これらは、本発明の１つ又は複数の実施形態の対応するステップを実行するように構成されたアプリケーションを記憶するメモリに接続可能であってもよい。アプリケーションは、それらのプロセッサがその上で動作可能なメモリにソフトウェアベースでインストールされてもよく、及び／又はハードウェアベースでインストールされてもよい。計算装置又は計算実体は、計算される対応するステップが最適なやり方で実行されるように構成されてもよい。例えば、異なるステップが単一のプロセッサの異なるコア上で並列に実行されてもよい。また、各計算装置又は各計算実体が同一で単一の計算装置を形成してもよい。

「コンピュータ可読媒体」は、計算装置やコンピュータとともに利用でき情報の保存が可能なあらゆる種類の媒体を意味してもよい。この情報はコンピュータのメモリに読み込み可能な任意の種類のデータであってよい。例えば、この情報に前記コンピュータで実行するプログラムコードが含まれてもよい。コンピュータ可読媒体の例としては、テープ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイ、ＤＡＴ、ミニディスク、ソリッドステートディスク（ＳＳＤ）、フロッピーディスク、ＳＤカード、ＣＦカード、メモリスティック、ＵＳＢスティック、ＥＰＲＯＭ、ＥＥＰＲＯＭなどがあげられる。

更なる特徴、利点、及び更なる実施形態が以下に記載される、又は明らかになる場合がある。

前記物体の動作は、更に前記１つ又は複数の距離センサーの過去測定データに基づいて予測されてもよい。これにより、物体の動作のより正確な予測が可能になる。

点クラスタリングが前記１つ又は複数の距離センサーの現在及び過去測定データと２つの点間の距離に基づく現在物体状態データに対して行われて１つ又は複数のクラスタを生成してもよく、前記物体の動作を予測するために将来クラスタ群が予測され前記物体が予測されたクラスタの中で特定される。これにより、物体の動作の予測精度が高まる。

少なくとも２つの異なる予測方法を用いて方法に依存した予測された将来センサー読み取り値群を計算してもよい。これにより、物体の動作予測のロバスト性と精度が一層高まる。これは、異なる予測方法の結果を組み合わせることでより精密でロバストな物体動作予測が得られるからである。

前記予測されたセンサー読み取り値群を取得するために、前記少なくとも２つの異なる予測方法の前記方法に依存した予測された将来センサー読み取り値群は重み付けされかつ組み合わされてもよい。これにより、予測された前記センサー読み取り値群のより精密な組み合わせを非常にフレキシブルなやり方で提供することが可能になる。

前記予測された将来センサー読み取り値群は、計算中、ガウス過程近似法を用いて修正されてもよい。これにより、ガウス過程近似法で修正された傾向に基づいてコンピュータセンサー測定値群を予測することが可能になる。ガウス過程近似法は、例えば、非特許文献Snelson, Edward, Ghahramani, Z. “Local and global sparse Gaussian process approximations”, Gatsby Computational Neuroscience Unit, University College London, UKに開示されている。

将来クラスタが該クラスタの動作のためにカルマンフィルターを用いて予測されてもよい。カルマンフィルターは経時的に観察された統計ノイズなどを含む一連の測定値を用いて線形２次評価を提供し、カルマンフィルタリングの出力は単一の測定値に基づくものより精密である傾向のある未知の変数の評価を提供する。カルマンフィルタリングは、例えば、非特許文献Kalman, R.E., 1960, “A new approach to linear filtering and prediction problems”, Journal of Basic Engineering 82:35.Doi:10.111.5/1.3662552に開示されている。

前記予測されたセンサー読み取り値群を計算するために、１つ又は複数の距離センサーの過去データが用いられてもよい。これにより、物体の動作予測精度が更に高まる。これは、過去のデータを用いて物体の動作予測の計算をオンライン又はオフラインでトレーニングすることができるからである。

前記物体の予測された動作を計算する際前記物体の動作予測フィードバックが含まれてもよい。これにより更に、物体自体の動作フィードバックを考慮して物体の動作予測を洗練することができる。

前記距離センサー群は光検出と測距（ＬＩＤＡＲ）センサー群の形で提供されてもよい。ＬＩＤＡＲセンサーは光の検出及び測距を可能にする、すなわち、ＬＩＤＡＲセンサーは、例えば、レーザーなどの光を用いて光の距離及び速度の測定を可能にする。

本発明の内容を有利なやり方で設計し発展させる方法がいくつもある。このため、独立請求項に従属する請求項、及び以下の図示された例としての本発明の更なる実施形態の説明を参照されたい。図に補助された本発明の更なる実施形態の説明と関連して、本発明の内容の更なる実施形態及び更なる進歩が説明されよう。

図１は、時間変動する物体の動作を示す。 図２は、物体の動作及び操舵を決定する方法を示す。 図３は、本発明の一実施形態によるシステムを示す。 図４は、本発明の更なる実施形態によるステップの一部を示す。 図５は、本発明の一実施形態による方法の一部を示す。 図６は、本発明の更なる実施形態による方法の一部を示す。 図７は、本発明の更なる実施形態による方法の一部を示す。 図８は、本発明の更なる実施形態による方法の一部を示す。 図９は、本発明の更なる実施形態による方法のステップを示す。

図１は、時間変動の物体の動作を示す。図１には、現在時刻ｔ＝０での物体位置から始まる時間変動する物体の動作が示されている。物体はその後時間ｔにわたってｘ−ｙ方向に移動する。

図２は、物体の動作及び操舵を決定する方法を示す。図２には、自動車などの運搬手段の物体移動のパラメータが示されている。例えば、物体の速度は静的であってもよく動的であってもよい、すなわち、運搬手段は移動する又は移動しない。運搬手段が移動する、すなわち、「動的」である場合、物体速度は「遅い」か「速い」に分類されてもよい。ここで、「遅い」は特定のしきい値未満の速度を意味し、「速い」は、物体の最大可能速度までの特定のしきい値を超える速度を意味する。物体速度を考慮して、移動方向も「前方」又は「後方」に、当然物体の操舵は両方向、すなわち、「前方」又は「後方」の「左側」又は「右側」に分類されてもよい。

図３は本発明の一実施形態によるシステムを示す。図３には、物体動作予測アプリケーションのシステムアーキテクチャが示されている。図３では、センサー測定値を予測する、すなわち、通常のやり方で物体移動の結果を予測する代わりにセンサーが次のタイミングステップで読み取るであろう値を予測する。物体動作予測のシステムアーキテクチャは、図３のクローズドループのブロック図で示すことができる。

このシステムアーキテクチャは６つの主要ブロックを含む。ブロック（１）は、物体がそこに移動することになっているミッションゴール（基準値）を含む。ブロック（２）は、データベースにより道路形状及び陸標環境の形で提供されたマップデータ、例えば、デジタルマップを提供する。ブロック（３）ではフィードバック測定ブロック（６）からの入力が受信され、将来時間における物体動作がブロック（４）における動作計画への出力として予測及び修正される。ブロック（５）はブロック（４）から時間依存軌道を受信する物体に対し軌道制御を提供し、実際の運搬手段制御パラメータである操舵角度及び速度を生成する。ブロック（７）は物体動作ブロック（３）に、計画された軌道に基づく運搬手段の更新将来軌道及び現在の運搬手段状態を提供する。

図４は、本発明の更なる実施形態によるシステムの一部を示す。図４では、物体の動作がブロック図の形で示されている。ブロック（３）は少なくとも３つの予測処理を含む。

１．処理１：距離行列予測：この処理はセンサー測定値予測処理である。この処理は現在測定時刻（ｔ）において距離センサー（例えば、ＬＩＤＡＲセンサー）から入力データを取り出し、将来のセンサー読み取り値を予測する。予測されたセンサー読み取り値に基づいて物体の動作を計算する。
２．処理２：点予測：この処理はクラスタリングアルゴリズムを用いる物体位置予測処理である。この処理は現在測定時刻（ｔ）において距離センサー（ＬＩＤＡＲ）から入力データを取り出す。物体の代表点を見つけるために点をクラスタに分類し、現在及び過去のクラスタに基づいて将来時間における新しいクラスタを予測する。その後この新しいクラスタの物体点を見つける。
３．処理３：物体動作予測の最終処理は、処理１、２による２つの点予測の結果のマージである。この処理３はこれまでの２つの処理１、２の予測を統合し、新しい位置を各点及びこれまでの処理１、２により導かれた関連する標準偏差に割り当てる。このブロック３はまた運搬手段の現在及び将来の位置を受け取り、この情報を、例えば、障害位置を修正するために用いる。

図５は、本発明の一実施形態による方法の一部を示す。より詳細な図５には、処理１、すなわち、距離行列予測が示されている。

距離予測を、将来距離センサー測定値、例えば、ＬＩＤＡＲセンサーの将来測定値を予測することにより実行する。この予測は以下のステップを含む。
・参照符号６で示される過去測定データで予測システムをトレーニングする。過去及び現在のセンサー測定値を蓄積しトレーニングシステムに送信する。この情報に基づいて、トレーニングシステムは予測実体の新しい構成を計算する。例えば、計算リソースが利用可能である場合、この構成を周期的な時刻に、又は連続して、又は特定の条件で更新してもよい。
・過去データを用いて現在センサー読み取り値の傾向を予測する。
・現在センサー測定値を予測値と比べることにより予測誤差を決定する。
・予測傾向を修正する。各読み取り値は点分散に変換される分散を有する。
・参照符号３で示されるガウス過程近似法で修正された傾向に基づいて将来センサー測定値を予測する。
・予測された距離測定値を実際の点位置に変換する。

センサー（参照符号１）からの実際の測定データと過去データを組み合わせて現在センサー読み取り値の傾向を予測する。予測誤差を決定し、予測傾向を修正する。現在及び過去測定データ（参照符号６）をスケーリングした後、ガウス過程近似法（参照符号３）で修正した傾向を用いて将来センサー測定値を予測する。再スケーリング（参照符号４）を行うことにより距離予測（参照符号５）を得る。

図５において、将来時点からの情報のマッピングはガウス過程近似法に基づいて行われる。性能を向上させるため、空間ＡＲＩＭＡ予想器を用いた平行段階を用いてもよく、その後異なる方法に基づく上記の２つの予測を統合する。予測手段として追加的に又は代替的に用いることができる他の方法として、例えば、ランダムフォレスト又はブートストラップニューラルネットワークがあげられる。最後の予測は、例えば、重みが、例えば、予測誤差に反比例する場合がある各方法の線型結合により計算される。予測方法のいくつかをオフラインでトレーニングして複数の予測を組み合わせる計算要求を削減してもよい。複数の予測方法に基づくそのようなアンサンブル予測が図６に概略的に示されている。

図７は、本発明の更なる実施形態による方法の一部を示す。図７では、処理２、すなわち、クラスタリングに基づく点予測が図４に示されるように示されている。

未加工測定値であるため、センサー、軌道追跡、及び物体動作検出からのデータは複数の（データ）点を含んでいる。この処理は、（データ）点クラスタリング法を用い将来クラスタにおいて物体の代表点を見つけることにより将来物体動作を予測する。

将来物体動作の予測は以下のステップにより実行される。
・運搬手段座標における全ての測定データ、距離データ型距離センサー測定値（参照符号２）、及び運搬手段状態データ（参照符号１）をグローバル座標に送信する（参照符号３）。換言すれば、現在時刻におけるセンサー測定値は運搬手段座標を基準にしている。従って、このセンサー情報を用いるには、全てのセンサー測定データをグローバル座標に変換して共通基準を持つ必要がある。この処理は一般的な従来の手法により行ってもよい。
・点の大きさ（距離）を考慮することにより現在測定値の点をクラスタリングする（参照符号４）。換言すれば、センサー測定値のグローバル情報を取得した後、得られた点群を、従来のクラスタリング手法、すなわち、ｋ平均法や（密度ベースの）dbscan、又は図８に示す統計モデル、密度、平均、及び分散に基づく本発明の一実施形態による方法を用いてそれらをグループにクラスタリングすることにより物体に変換する。
・クラスタを連続する時刻でマッチさせる。
・現在クラスタ及び過去クラスタ（参照符号７）に基づいて将来クラスタ（参照符号５）を予測する。換言すれば、クラスタの動作を、過去の時刻からの過去クラスタデータを用いて前もって、例えば、現在クラスタの５〜１０秒前に予測する。
・クラスタ動作を、例えば、物体追跡用カルマンフィルター又はオプティカルフローを用いて、若しくは進化的アルゴリズムなどの機械学習に基づく本発明の実施形態に従って処理する。
・物体の将来代表点を予測する（参照符号６）。（シフトベクトルにより表される）点動作は、それが属するクラスタ動作から引き出される。各点に新しい位置と分散を割り当ててもよい。換言すれば、最後のステップは、物体を表すことができる点を予測することである、すなわち、クラスタの重心が物体の重心「ＣＧ」であると仮定される。（これは従来のＣＧ計算法によって行うことができる。）

要約すると、クラスタリング処理なしに直接点を決定する従来のアルゴリズム又は方法とは異なり、点を予測する前にクラスタを予測する。点群は常に、例えば、センサー感度により引き起こされる内部又は外部障害からのノイズで汚染される。点群は動的である、すなわち、経時的に分裂又は結合しうる。これは、点群から直接点を予測した場合点群が分離又は結合する際大きな変動が発生することがあるが、クラスタリングを用いた場合安定性が得られ点予測での変動が少なくなりより正確な将来物体動作予測が提供されることを意味する。

図７は、本発明の更なる実施形態による方法の一部を示す。図８では、クラスタリング予測の原則が異なる時刻で示されている。

単一点動作予測は信頼性に欠ける場合があるため、点のグループがクラスタリングに基づくものである場合グループ点予測を用いてもよい。グループは消滅するため、連続時点上の統合又は分離、若しくは遷移マトリックスが用いられる。行列のエントリーは、連続時点での各クラスタの遷移の確率を表す。遷移確率は、図８に示されるように将来におけるクラスタの質量中心の位置を引き出すために用いられる。処理１、２を実行した後、処理３、すなわち、物体動作予測の最後の処理が現在及び将来ＬＩＤＡＲ測定値からの物体予測の２つの予測結果を組み合わせる。

単一の予測実体の出力は結果を比べる組み合わせシステムに送信されてもよく、将来の計画対象期間における各時点の、関連誤差を有する最も可能性の高い物体位置を決定する。

将来の物体動作を最終決定するために、以下を行う。
・２つの方法からの点のマッチングを以下に従って行なう。
−ある点がマッチしなかった場合、その予測分散は最大値になるが、その将来位置は検討される。
−ある点が再現される、すなわち、２つの方法においてマッチする場合、分散は２つの予測の分散及び距離に比例する。
・マッチした点に従って修正された軌道に基づいて物体位置を修正する。

図９は、本発明の更なる実施形態による方法のステップを示す。図９には、以下のステップを含む将来時点における物体の位置を計算する方法が示されている。
１）近似関数を用いてセンサー測定値を予測する。
２）クラスタリングベースの方法を用いて物体動作を予測する。
３）将来の物体動作を達成するために２つの予測結果を組み合わせる。

ここで、予測精度を向上させるために軌道追跡を提供する駆動モジュールからの更新軌道が用いられ、自立・自動運転のために動作計画の出力は変更されてもよい。計画された軌道が、単一の予測方法において、すなわち、センサー測定値予測法及び物体動作予測法において、かつ物体の将来動作を補正するための組み合わせシステムにおいて検討されてもよい。動作計画者により生成される動作計画が、運搬手段を操舵、加速、及び減速する運搬手段操縦・軌道制御システムにより用いられてもよい。

要約すると、本発明は以下を提供又は可能にする。
１）距離測定値予測を用いる物体動作予測。
ａ）センサー測定値予測のための過去ＬＩＤＡＲデータを用いた関数のトレーニング。
ｂ）関数近似に基づく将来ＬＩＤＡＲ測定値のオンライン予測。
ｃ）ガウス過程関数近似。
ｄ）複数の予測器の組み合わせ（アンサンブル）（予測方法：空間ＡＲＩＭＡ、ランダムフォレスト、ブートストラップニューラルネットワーク）。
２）より高精度かつロバストな物体動作予測のための距離及び物理予測器を含む予測方法の結果の組み合わせ。

要約すると、本発明は自立ロボットの動作計画を可能にする、特に、より精密な将来既知状況を作る。本発明は更に連続軌道を提供する。本発明は更に、操舵、進行方向、及び速度を円滑に変更できる、すなわち、ロボットが予測された将来物体にぶつからない安定した物体動作予測システムを提供する。本発明は更に、距離及び点予測を組み合わせることにより誤差と分散を減少させるロバスト性の向上した予測を提供する。

ここで説明した本発明の変形例や他の実施形態が、本発明が関係し上記の説明や添付の図面に示された内容の恩恵を受ける当業者により想到されよう。従って、本発明は開示された特定の実施形態に限定されるべきではなく、変形例や他の実施形態が添付の特許請求の範囲に含まれることが意図されていると理解すべきである。ここでは特定の用語が使われているが、それらは限定する目的ではなく一般的及び説明的意味で使われている。

Claims (10)

1. 物体の動作を予測する方法であって、
   前記物体の動作は予測された将来の距離センサー読み取り値群に基づいて予測され、
   前記予測された将来の距離センサー読み取り値群は１つ又は複数の距離センサーの現在測定データに基づいて計算され、
   点クラスタリングが前記１つ又は複数の距離センサーの現在及び過去測定データと２つの点間の距離に基づく現在物体状態データに対して行われて１つ又は複数のクラスタを生成し、
   将来クラスタ群が予測され前記物体が予測されたクラスタの中で特定され、特定した結果を用いて前記物体の動作を予測する、方法。
2. 前記物体の動作は、更に前記１つ又は複数の距離センサーの過去測定データに基づいて予測される、請求項１に記載の方法。
3. 少なくとも２つの異なる予測方法を用いて方法に依存した予測された将来センサー読み取り値群を計算する、請求項１または請求項２に記載の方法。
4. 前記予測されたセンサー読み取り値群を取得するために、前記少なくとも２つの異なる予測方法の前記方法に依存した予測された将来センサー読み取り値群が重み付けされかつ組み合わされる、請求項３に記載の方法。
5. 前記予測された将来センサー読み取り値群は、計算中、ガウス過程近似法を用いて修正される、請求項１から請求項４までのうちのいずれか１項に記載の方法。
6. 将来クラスタが該クラスタの動作のためにカルマンフィルターを用いて予測される、請求項１から請求項５までのうちのいずれか１項に記載の方法。
7. 前記物体の予測された動作を計算する際前記物体の動作フィードバックが含まれる、請求項１から請求項６までのうちのいずれか１項に記載の方法。
8. 前記距離センサー群はＬＩＤＡＲセンサー群の形で提供される、請求項１から請求項７までのうちのいずれか１項に記載の方法。
9. 物体の動作を予測する計算実体であって、
   １つ又は複数の距離センサーのデータを受信する入力インターフェースと、
   前記物体の予測された動作を出力する出力インターフェースと、
   プロセッサ及びメモリを備え予測された将来の距離センサー読み取り値群に基づいて前記物体の動作を予測する計算手段とを備え、
   前記予測された将来の距離センサー読み取り値は１つ又は複数の距離センサーの現在測定データに基づいて計算され、
   前記計算手段は、点クラスタリングを前記１つ又は複数の距離センサーの現在及び過去測定データと２つの点間の距離に基づく現在物体状態データに対して行って１つ又は複数のクラスタを生成し、将来クラスタ群を予測し前記物体を予測したクラスタの中で特定し、特定した結果を用いて前記物体の動作を予測する、計算実体。
10. コンピュータに物体の動作を予測する方法を実行させるプログラムを記憶する非一時的コンピュータ可読媒体であって、
    前記物体の動作は予測された距離センサー読み取り値群に基づいて予測され、予測された前記距離センサー読み取り値群は現在時刻での１つ又は複数の距離センサー群のデータに基づいて計算され、
    点クラスタリングが前記１つ又は複数の距離センサーの現在及び過去測定データと２つの点間の距離に基づく現在物体状態データに対して行われて１つ又は複数のクラスタを生成し、
    将来クラスタ群が予測され前記物体が予測されたクラスタの中で特定され、特定した結果を用いて前記物体の動作を予測する、非一時的コンピュータ可読媒体。

Images