JP6272217B2 - 移動する物体の近傍の自由空間を推定する方法および装置 - Google Patents

Description

この発明は、包括的には、自由空間推定に関し、より詳細には、カメラシステムによって取得された画像から自由空間を推定することに関する。

自律ナビゲーション及びコンピュータービジョンの分野では、自由空間は、移動する物体が他の物体と衝突することなく操縦することができる、当該移動する物体の前方のエリア、例えば、車両、ボート、又はロボットの前方又は後方のエリアとして定義される。この自由空間の別称は、運転可能空間(drivable space)である。

正確なマップ及びローカライゼーションシステムを用いることによって、自律ナビゲーションは、移動する物体に対して、地点Ａから地点Ｂにその経路に沿っていずれの障害物にも衝突することなく進行するようにインクリメンタルナビゲーション(incremental navigation：漸近的ナビゲーション)方向を提供する。これを行うには、障害物を回避するのに必要となる重要な情報、及びこの重要な情報を取得する最も費用効果の高い手法を知ることが必要である。

自律ナビゲーションに最も重要な情報は自由空間である。自由空間は、ステレオカメラを用いて推定することができることがよく知られている。例えば、ステレオカメラシステムを用いると、地表平面と、この地表平面上の障害物とを推定することが可能である。占有グリッドの概念は、自由空間推定に密接に関係している。占有グリッドは、あらゆるセルが環境の占有エビデンス(occupancy evidence)をモデル化する２次元(２Ｄ)グリッドを指し、通常、走査型ＬＩＤＡＲ及び超音波センサーのアレイ等の、環境の平面スライス上で距離を測定する３次元(３Ｄ)センサーを用いて推定される。

自由空間推定問題には、スティクセル世界(stixel world)表現が用いられてきた。スティクセル世界は、地表平面と、障害物を表す地上の垂直なスティックのセットとを用いた、世界の単純化したモデルを指す。このモデルは、２つの曲線を用いて画像をコンパクトに表すことができる。第１の曲線は、カメラの前方の最も大きな自由空間を囲む地表平面上に延びるものであり、第２の曲線は、自由空間の境界にある全ての垂直な障害物の高さ(垂直座標)を示すものである。スティクセル世界は、ステレオカメラから取得された奥行きマップを用いて求めることができる。ステレオ画像から奥行きマップを求めるアルゴリズムには、準大域ステレオマッチング法(ＳＧＭ)等の幾つかのアルゴリズムがある。スティクセルは、動的計画法(ＤＰ)を用いてステレオ画像から奥行きマップを明示的に推定することなく求めることもできる。それらの技法は、立体視センサー又は３Ｄセンサーを用いて奥行きを暗黙的又は明示的に求める。

システムの複雑度及びコストを低減するには、移動する物体に搭載された単眼カメラによって取得された画像のシーケンス、すなわちビデオから自由空間を求めることが望まれている。ステレオビデオの代わりに単眼ビデオを用いてこの問題を解決する際には、幾つかの課題がある。他のセグメンテーション問題とは異なり、色又はエッジに完全に依拠することが可能ではない。例えば、道路のビデオには、横断歩道及び車線区分線からの強い勾配が存在することが多い。水面の場合には、近傍のボート、建物、又は空からの反射が存在することが多い。平面の道路に依拠するホモグラフィーに基づく特徴は、道路が平坦でないことに起因して正確でない場合がある。さらに、移動する物体は、単眼の自由空間推定において更なる課題を有する。

単一の画像から幾何学的レイアウト推定を実行する方法が知られている。所与の画像内のピクセルを地表、建物、及び空に分類することが可能である。この分類は、建物のポップアップ３Ｄモデルを取得するのに用いられてきた。シーンは、画像を上部領域、中部領域、及び下部領域に分割する２本の水平曲線を用いてモデル化することができる。画像を領域にセグメンテーションするこの問題は、大域最適法を用いて行うことができることが示されている。

動的計画法を列方向(column-wise：カラムワイズ)マッチングに用いるという一般的なアイデアが、建物の３Ｄモデルを推定するのに用いられてきており、都市シーンをモデル化するための高さマップの幾つかの層を取り扱うために一般化されている。

単眼ビデオは、同時ローカライゼーションマッピング(ＳＬＡＭ)法によって用いられてきた。それらの方法のほとんどは、疎な点群を提供し、自律ナビゲーションに最も重要な情報である自由空間を明示的に推定するものではない。

本発明者らが知る限りでは、従来技術のコンピュータービジョン技法を用いた水面のボートの自由空間推定方法は分かっていない。シーンの画像内の水面のセグメンテーションは、近傍の障害物又は空が水面で反射する等のその鏡面のような性質に起因して特に困難である。色及びエッジ等の特徴は、そのような状況の下では十分に機能しない。

この発明の実施の形態は、単眼カメラによってシーンから取得されたビデオ、すなわち画像のシーケンスから、移動する物体の近傍の自由空間を推定する方法を提供する。この方法は、路上の車両及び水面のボートの自律ナビゲーションに用いることができる。この方法は、動的計画法(ＤＰ)を用いて、移動する物体の前方又は後方で取得された画像を自由空間及び障害物にセグメンテーションする。

立体視センサー又は３Ｄセンサーを用いる従来の手法と異なり、この発明は、単眼カメラによって取得されたビデオを用いてこの問題を解決することを可能にしている。この発明の方法は、水面及び道路の外観、エッジ情報、連続した画像間のホモグラフィー、並びに平滑性等の幾つかの画像特徴及び幾何学的特徴に依拠している。これらの特徴は、目的関数又はエネルギー関数のポテンシャルの集合を求めるのに用いられる。

自由空間推定問題は、マルコフ確率場(ＭＲＦ)における最適化問題として定式化される。ＭＲＦは、各ノードが画像内のピクセルの列に対応する１次元(１Ｄ)グラフとして定義される。この発明のグラフは１Ｄチェーンを形成するので、ＤＰを用いて正確な推論を行うことができる。ＭＲＦのエネルギー関数のパラメーターは、手動で設定することもできるし、構造化サポートベクターマシン(ＳＶＭ)を用いてトレーニング画像のシーケンスから自動的に求めることもできる。

この発明の方法は、単眼キューしか用いていないが、自由空間を確実に推定する。この発明の方法は、単眼ビデオから求められたオプティカルフロー、及びカメラの動きを推定するとともに単眼ビデオ内の複数のフレームを複数の画像として用いることによって求められる奥行きマップ等の他の単眼キューを組み込むこともできる。この発明の主要な焦点は単眼カメラシステムにあるが、ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューを組み込むこともできる。

本発明者らは、建物ではなく困難な交通条件を有するシーンに関心があり、また、海上シーンにも関心がある。さらに、ビデオシーケンスにわたって平滑に変化する自由空間セグメンテーションが取得される。

自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。 自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。 この発明の実施の形態による自由空間を推定する方法の流れ図である。 この発明の実施の形態によるエネルギー関数のパラメーターを求める方法の流れ図である。 この発明の実施の形態による、自由空間とこの自由空間に対応する曲線とを求めるのに用いられる１次元グラフである。

図２Ａに示すように、この発明の実施の形態は、移動する物体上に配置されたカメラシステムによってシーンから取得された画像のシーケンス２０１から、移動する物体の近傍の自由空間１０１を推定する方法を提供する。対応する自由空間を有する路上の車両及び水面のボートから取得された例示の画像は、それぞれ図１Ａ及び図１Ｂに示されている。カメラシステムは、単眼ビデオシステムとすることができるし、ステレオカメラシステム又はマルチカメラシステムとすることもできる。

この発明の実施の形態に従って求められるような自由空間は、或るロケーションから別のロケーションに移動する車両の自律ナビゲーション、停泊又は係留中のボートの操縦、車両の駐車、及び自動電気掃除機等のロボットの移動等の複数の用途において用いることができる。

先ず、１Ｄグラフ３０１(図３参照)が作成される(２１０)。この１Ｄグラフでは、各ノードは、画像内のピクセルの列に対応し、各エッジは、近接した列を接続する。次に、エッジ、外観、ホモグラフィー、幾何学的状況、及び平滑性に基づいて画像から特徴が求められる(２２０)。これらの特徴は、上記グラフに基づいて自由空間推定のためのエネルギー関数を作成する(２３０)のに用いられる。これらの特徴は、画像内のオプティカルフロー、又は単眼ビデオシーケンスから求められた奥行きマップに基づくこともできる。次に、動的計画法が用いられ、エネルギー関数を最大化することによって自由空間１０１が推定される(２４０)。

エネルギー関数は、対応する重みパラメーターを有する、特徴によって求められたポテンシャル関数の和として定義される。重みパラメーターは、手動で設定することもできるし、図２Ｂに示すように、学習アルゴリズムを用いることによって間違いのないデータ(ground truth annotation)を有するトレーニング画像のシーケンス２５０から自動的に求めることもできる。パラメーターを学習するために、最初に、トレーニング画像のシーケンス２５０を用いて、１Ｄグラフが作成され(２１０)、特徴が求められ(２２０)、エネルギー関数が作成される(２３０)。次に、構造化ＳＶＭを用いて、重みパラメーター２７０が推定される(２６０)。この方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力／出力インターフェースに接続されたプロセッサ２００において実行することができる。

単眼自由空間推定
具体的には、図１に示すように、本発明者らは、船舶ナビゲーション及び都市ナビゲーションの双方の状況において単眼イメージが与えられた場合の自由空間の推定に関心がある。この目標を達成するために、ピクセルの各画像列ｙ_ｉについて障害物の垂直座標を推定する問題が、マルコフ確率場(ＭＲＦ)における推論の問題として表現される。図３に示すように、ＭＲＦは、１Ｄグラフ３０１として表され、その解は、画像における１Ｄ曲線３１０を提供する。

１Ｄグラフ３０１は、画像のｗ個の列に対応する、ｙ_ｉによって示されるノードの集合を含む。各ノードは離散変数を表し、これらの離散変数の値は、画像内のｈ個の行によって与えられるラベルの集合から得られる。これらのラベルは、最下部のピクセルがラベル１を有し、最上部のピクセルがラベルｈを有するように順序付けられている。グラフ上のエネルギー最大化問題を解き、これらのノードをラベル付けすることによって、１Ｄ曲線３１０が取得される。この曲線の下方のエリアが、車両又はボートの近傍の自由空間１０１を規定する。この１Ｄ曲線は、車両、ロボット、及びボートの前方又はおそらく後方の近傍の自由空間を推定するのに用いることができる。

以下では、エネルギー関数、ポテンシャル、推論、及びパラメーター学習に関する詳細を提供する。

エネルギー関数
ビデオ内の時刻ｔにおける画像をＩ_ｔで示すことにする。画像の寸法はｗ×ｈである。ここで、ｗ及びｈは、それぞれ幅及び高さである。上記問題は、ｗ個の離散変数ｙ_ｉ，ｉ∈｛１，…，ｗ｝があり、各変数がｈ個の離散ラベルｙ_ｉ∈｛１，…，ｈ｝からの値を取ることができるようにモデル化される。

１Ｄグラフ３０１ Ｇ＝｛Ｖ，Ｅ｝を考えることにする。ここで、頂点はＶ＝｛１，…，ｗ｝であり、エッジは(ｉ，ｉ＋１)∈Ｅ，ｉ∈｛１，…，ｗ−１｝である。ｙ_ｉの状態は、地表平面よりも常に上にある水平線３２０よりも決して上にならないように更に制限することができる。水平線の推定値は、カメラシステムの構成(例えば、カメラの位置及び視野)に基づいて手動で求めることもできるし、トレーニング画像のセットを用いて自動的に求めることもでき、この推定値を用いて、推論手順においてラベルを制限することができる。したがって、水平線の推定値は、シーン内の障害物の垂直座標を制限するのに用いことができる。

画像Ｉ_ｔの曲線３１０を求めるために、画像Ｉ_ｔ−１からの特徴も用いられる。この発明のエネルギー関数Ｅは以下のとおりである。

ここで、Ｔは転置演算子であり、ｙ＝(ｙ_１，…，ｙ_ｗ)であり、エネルギー関数のポテンシャルφは、以下のように１変数項及び２変数項に分解される。

１変数ポテンシャルはφ_ｕ(ｙ_ｉ)であり、２変数ポテンシャルはφ_ｐ(ｙ_ｉ，ｙ_ｊ)である。１変数項及び２変数項の重みパラメーターは、それぞれｗ_ｕ及びｗ_ｐである。重みパラメーターは、

として形成することができる。これらのパラメーターは、手動で設定されるか、又は構造予測技法を用いてトレーニング画像のセットから学習される。ここで、

は、１変数ポテンシャルの集合を指し、これらについては、次に、より詳細に説明する。

外観
それぞれが５つの成分を有する２つのガウス混合モデル(ＧＭＭ)を用いて、道路又は水面、及び背景の外観モデルがモデル化される。ここで、道路及び水面という用語は、区別なく用いることができる。ＧＭＭは、各ピクセルが道路若しくは水面、又は背景である確率を求めるのに用いられる。対象シーンに固有のＧＭＭは、期待値最大化(ＥＭ)法を用いて、間違いのないデータを有するトレーニング画像２５０から求めることができる。ＧＭＭは、間違いのないデータを有する道路／水及び背景を含む画像を用いることによって、より一般的なシーンについても求めることができる。

この発明の目標は、曲線が道路と非道路との間(又は水面と障害物との間)の境界に位置するように自由空間を推定することである。この目標を達成するために、以下のように、ラベルの周囲のパッチにおける分布のエントロピーを考慮したポテンシャルが導出される。

ここで、エントロピーＨ(ｉ，ｊ)は、各ピクセルロケーション(ｉ，ｊ)を中心としたパッチ内の道路／非道路(又は水面／非水面)ピクセルの分布に関して求められる。エントロピーＨ(ｉ，ｊ)は、道路／非道路ピクセル間の境界の近傍では高いはずである。曲線は、障害物及び道路の最も接近した集合間の境界を通過するので、画像の最下部を通過する曲線について最大値を達成する累積和が用いられる。この関数は、曲線が、非ゼロのＨ(ｉ，ｋ)値を有するピクセルを通過することも保証する。この推定値は、かなりの雑音を有する可能性がある。

曲線を平滑化するために、各ピクセルについて道路である確率を表すロケーション事前確率が求められる。この確率は、トレーニングデータから曲線よりも下にある道路ピクセルの実験的なカウントを求めることによって推定される。次に、全ての画像において道路であるピクセルが求められ、それらのピクセルのエントロピーがゼロにされる。これは、控え目な推定値ではあるが、それにもかかわらず、結果をかなり平滑化する。

エッジ
グラウンドトゥルース曲線は、地表平面と障害物との間の境界にある。この曲線が輪郭と一致している方がよいことを符号化したものであるエッジポテンシャルが導出される。画像には多くの輪郭が存在する場合があるが、この曲線は、画像の最下部の近傍に位置するエッジであることが好ましい。これらのエッジは、シーンの３Ｄ空間において最も近いエッジに対応する。これを考慮に入れるために、以下のようにエッジエビデンス(edge evidence)を累算する以下のポテンシャルが定義される。

ここで、(ｉ，ｊ)ピクセルにエッジが存在するときはｅ(ｉ，ｊ)＝１であり、そうでないときはゼロである。

幾何学的状況
単一の画像が与えられると、この画像内のピクセルを地表、建物(水平に向いている)、及び空に分類することが可能である。Ｇ(ｉ，ｊ)が、この分類に基づいて、ピクセルが地表であるか否かに対応するブールラベルを指すものとする。本発明者らは、最も大きな自由空間を囲む曲線を得ることに関心があるので、以下のポテンシャルを用いる。

ホモグラフィー
画像シーケンスにわたって平滑である自由空間を取得することが重要である。１つの可能性は、或る画像内のノードと直前の画像内のノードとの間のペアになった接続を考慮することによって、２つの連続した画像内の曲線を併せて推定することである。この結果、画像Ｉ_ｔ内のピクセルｐ(ｉ，ｊ)のラベル付けは、画像Ｉ_ｔ−１内のｐ(ｉ’，ｊ’)の近接ピクセルを用いて制約され、これによって、１Ｄチェーンでもなく木構造グラフでもない２Ｄグラフが得られる。その結果、推論はＮＰ困難となる。

したがって、画像にわたって平滑性を課すとともに、それでも、推論中は１Ｄグラフを維持するために、ホモグラフィーが用いられる。近傍のピクセルにわたる平滑性を用いる代わりに、地表平面に基づいてホモグラフィー行列が求められる。これによって、或る画像内の地表のピクセルから直前の画像内の地表の対応するピクセルへの１対１マッピングが与えられる。これによって、或る画像内の自由空間曲線と別の画像内の自由空間曲線との間のマッピングも提供される。以下の式によって与えられるように、画像Ｉ_ｔ内の(ｉ，ｊ)におけるピクセルロケーションを画像Ｉ_ｔ−１内のロケーション(ｉ’，ｊ’)におけるピクセルにマッピングするホモグラフィー行列をＨ(ｔ，ｔ−１)とする。

このようにすることで、ポテンシャルは、以下のように記述することができる。

ここで、ｕ∈Ｕ＼ホモグラフィーであり、φ_ｕ(ｙ_ｉ’＝ｊ’)は、直前の画像Ｉ_ｔ−１内の１変数ポテンシャルである。

画像Ｉ_ｔ−１内の種々の１変数ポテンシャルが、Ｉ_ｔ内のホモグラフィーポテンシャルにマッピングされる。ホモグラフィーは、ランダムサンプルコンセンサス(ＲＡＮＳＡＣ)の枠組みにおけるスケール不変特徴変換(ＳＩＦＴ)を用いて求められる。水面の場合、直前の自由空間曲線の近傍の対応関係のみが検出される。なぜならば、水面には、あまりにも多くの偽りの対応関係が存在するからである。水面での物体の反射からのエッジは、ホモグラフィー行列を用いると整合せず、したがって、この発明の曲線から反射をフィルタリングすることができることに留意されたい。道路シーンの場合、反射は問題とはならないので、直前の自由空間曲線よりも下のＳＩＦＴの整合するものを用いて、ホモグラフィー行列が求められる。

平滑性
トランケートされた２次ペナルティを用いて、曲線の平滑化が促進される。この曲線は、障害物が存在するときにしか非平滑でなく、これは数個の列でしか起こらないことに留意されたい。したがって、以下のようになる。

ここで、α、λ_ｄ、及びＴは定数である。

推論
ＭＡＰ推定値、又は最大エネルギー構成は、以下の式を解くことによって求めることができる。

この発明のグラフは１Ｄチェーンを形成し、したがって、複雑度Ｏ(ｗｎ^２)を有する動的計画法を用いて正確な推論を行うことができる。ここで、ｗは、画像の幅であり、ｎは、水平線制約を課した後の各変数のラベルの数である。

重みパラメーター

は、手動で設定することもできるし、以下で説明するように、トレーニング画像２５０を用いて自動的に求めることもできる。

パラメーター学習
トレーニング画像を用いて重みパラメーターを学習するのに、以下の式の構造化ＳＶＭが用いられる。

ここで、ｙ^(ｉ)は第ｉインスタンスのグラウンドトゥルース曲線であり、Δ(ｙ，ｙ^(ｉ))は損失関数であり、Ｎはトレーニング例の総数である。損失関数は、以下の式に示すように、相対ギャップをトランケートしたものである。

ここで、Ｔは定数である。平面切断(cutting plane)手順が用いられる。この手順では、各反復において、以下の損失増大推論(loss augmented inference)を解いて、最も違反した制約が求められる。

損失は、１変数ポテンシャルに分解されるので、損失増大推論は、動的計画法を介して正確に解くことができる。

この発明の方法は、追加される特徴ごとに１変数ポテンシャルを定義し、このポテンシャルを式(３)の１変数ポテンシャルの集合に追加することによって、他の特徴を組み込むこともできる。これらの他の特徴の重みパラメーターは、手動で設定することもできるし、式(１１)に定式化された学習方法によって自動的に求めることもできる。他の特徴には、単眼ビデオから求められたオプティカルフロー及び奥行きマップが含まれる。ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューから取得された特徴も組み込むことができる。式(３)の１変数ポテンシャルの集合をそれに応じて変更することによって、任意の数の特徴及び特徴の組み合わせをこの発明の方法において用いることができることに留意されたい。

Claims (21)

1. 移動する物体の近傍の自由空間を推定する方法であって、
   移動する前記物体上に配置された単眼カメラシステムによってシーンの画像のシーケンスを取得するステップと、
   前記画像のシーケンスにおける各画像に対して、
   １次元グラフとしてマルコフ確率場を作成するステップであって、前記１次元グラフ内の各ノードは前記画像内のピクセルの列のための離散変数に対応するものと、
   前記画像内の特徴を求めるステップと、
   求められた前記特徴に基づいて前記一次元グラフ上にエネルギー関数を作成するステップと、および
   動的計画法を用いるステップであって、前記エネルギー関数を最大にして曲線を取得するステップであって、前記曲線の下方のエリアが前記物体の近傍の前記自由空間を規定し、前記自由空間は、或るロケーションから別のロケーションに移動する前記物体の自律ナビゲーションに用いられるものと、
   を含み、
   前記各ステップは、前記単眼カメラシステムに接続されたプロセッサにおいて実行され、
   前記エネルギー関数は１変数および２変数のポテンシャル関数の和を有し、各ポテンシャル関数は、求められた特徴の中の対応する特徴とトレーニング画像のシーケンスから学習した対応する重みパラメーターを用いて求められる、移動する物体の近傍の自由空間を推定する方法。
2. 前記移動する物体は車両であり、前記シーンは道路を含む、請求項１に記載の方法。
3. 前記移動する物体はボートであり、前記シーンは水面を含む、請求項１に記載の方法。
4. 前記画像内のピクセルの前記各列について、障害物の垂直座標を推定するステップ、
   を更に含む、請求項１に記載の方法。
5. 前記自由空間は、前記移動する物体の前方又は後方にある、請求項１に記載の方法。
6. 水平線の推定値を用いるステップであって、前記障害物の前記垂直座標を制限するもの、
   を更に含む、請求項４に記載の方法。
7. 前記水平線の前記推定値は、前記単眼カメラシステムの構成に基づいて求められる、請求項６に記載の方法。
8. 前記水平線の前記推定値は、トレーニング画像のセットを用いて求められる、請求項６に記載の方法。
9. 前記重みパラメーターは手動で設定される、請求項１に記載の方法。
10. 前記重みパラメーターは、構造化サポートベクターマシンを用いてトレーニング画像のセットから自動的に求められる、請求項１に記載の方法。
11. 前記特徴は、エッジ、外観、ホモグラフィー、幾何学的状況、平滑性、オプティカルフロー、奥行きマップ、及びそれらの組み合わせからなる群から選択される、請求項１に記載の方法。
12. 前記外観は、ガウス混合モデルによってモデル化される、請求項１１に記載の方法。
13. 前記画像内の前記各ピクセルのロケーション事前確率を求めるステップであって、前記曲線を平滑化するもの、
    を更に含む、請求項１に記載の方法。
14. 前記ホモグラフィーは、前記画像にわたり平滑性を課し、前記ホモグラフィーは、前記画像内の地表平面に基づいている、請求項１１に記載の方法。
15. トランケートされた２次ペナルティが、前記曲線を平滑化するのに用いられる、請求項１に記載の方法。
16. 移動する前記物体が車両であり、前記自由空間は、或るロケーションから別のロケーションに移動する前記車両の自律ナビゲーションに用いられる、請求項１に記載の方法。
17. 移動する前記物体がボートであり、前記自由空間は、前記ボートを停泊又は係留中に操縦するのに用いられる、請求項１に記載の方法。
18. 移動する前記物体が車両であり、前記自由空間は、前記車両の駐車支援に用いられる、請求項１に記載の方法。
19. 移動する前記物体が屋内移動ロボットであり、前記自由空間は、前記屋内移動ロボットによって建物内の移動に用いられる、請求項１に記載の方法。
20. 移動する前記物体が真空掃除ロボットであり、前記自由空間は、前記真空掃除ロボットによって用いられる、請求項１に記載の方法。
21. 移動する物体の近傍の自由空間を推定する装置であって、
    シーンの画像のシーケンスを取得するために移動する前記物体上に配置された単眼カメラシステムと、
    前記単眼カメラシステムに接続されたプロセッサであって、
    １次元グラフとしてマルコフ確率場を作成し、前記グラフ内の各ノードは前記画像内のピクセルの列のための離散変数に対応し、
    前記画像内の特徴を求め、
    求められた前記特徴に基づいて前記一次元グラフ上にエネルギー関数を作成し、および
    動的計画法を用いて、前記エネルギー関数を最大にして曲線を取得し、前記曲線の下方のエリアが前記物体の近傍の前記自由空間を規定し、前記自由空間は、或るロケーションから別のロケーションに移動する前記物体の自律ナビゲーションに用いられる、
    ことができるものと、
    を備え、
    前記エネルギー関数は１変数および２変数のポテンシャル関数の和を有し、各ポテンシャル関数は、求められた特徴の中の対応する特徴とトレーニング画像のシーケンスから学習した対応する重みパラメーターを用いて求められる、
    移動する物体の近傍の自由空間を推定する装置。

Images