JP6333396B2 - モバイルプラットフォームの変位を計測する方法及び装置 - Google Patents

Description

開示されている実施形態は、一般に、モバイルプラットフォームの動作に関し、且つ、更に詳しくは、限定を伴うことなしに、モバイルプラットフォームの変位を検出する方法及び装置に関する。

無人航空機（「Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ：ＵＡＶ」）の変位の判定は、ＵＡＶのナビゲーション及び操作に常に必要とされる。変位を計測するための現時点において利用可能な技術は、特定の高さ範囲内などのように、特定の条件下における性能及び精度しか保証することができない。更には、現時点において利用可能な技術は、環境干渉に対して脆弱である。

現時点において利用可能な技術においては、単眼撮像デバイス及び超音波デバイスに基づいた解決策は、超音波デバイスの検出距離によって制限される可能性があり、従って、通常は、０．５〜５メートルという低高度においてしか適用可能ではない。更には、このような単眼型の解決策は、周辺環境に存在するノイズに対しても脆弱である可能性がある。双眼撮像デバイスに基づいた代替解決策は、双眼撮像デバイスの２つのレンズの間のベースラインの長さによって制限されており、且つ、１〜１０メートルの高度においてしか適用可能ではない。全地球測位デバイス（「Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｄｅｖｉｃｅ：ＧＰＳ」）に基づいた別の解決策は、信頼性の高い信号の欠如に起因し、屋内環境又は複雑な周辺環境においては信頼性が低い。

上述の理由に鑑み、様々な高さにおけるモバイルプラットフォームの変位を効果的且つ効率的に計測する方法及び装置に対するニーズが存在している。

本明細書において開示されている態様によれば、モバイルプラットフォームの変位を検出する方法が開示され、方法は、
撮像デバイスによって第１フレーム及び第２フレームを取得するステップと、
第１フレーム及び第２フレームに基づいてモバイルプラットフォームの変位を判定するステップと、
を有する。

開示されている方法の例示用の実施形態においては、取得ステップは、モバイルプラットフォームの高さを取得するステップを有する。

開示されている方法の例示用の実施形態においては、高さを取得するステップは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して高さを取得するステップを有する。

開示されている方法の例示用の実施形態においては、取得ステップは、グラウンドレベルとの関係において撮像デバイスの角度を取得するステップを有する。

開示されている方法の例示用の実施形態においては、角度を取得するステップは、慣性計測ユニット（「Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ」）を介して角度を取得するステップを有する。

開示されている方法の例示用の実施形態においては、取得ステップは、第１フレームとの関係においてＩＭＵによってモバイルプラットフォームの回転角度を計測して回転データを生成するステップを更に有する。

開示されている方法の例示用の実施形態においては、取得するステップは、第１及び第２フレームをマッチングするステップを更に有し、
この場合に、第１フレームは、既定のパーセンテージだけ、第２フレームとオーバーラップしている。

開示されている方法の例示用の実施形態においては、取得ステップは、異なる時点において第１フレーム及び第２フレームを取得するステップを有する。

開示されている方法の例示用の実施形態においては、異なる時点において第１フレーム及び第２フレームを取得するステップは、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らないインターバルで第１フレーム及び第２フレームを取得するステップを有する。

開示されている方法の例示用の実施形態は、第１フレーム、モバイルプラットフォームの高さ、及びモバイルプラットフォームの角度のうちの少なくとも１つに基づいてステレオスコープ点群を取得するステップを更に有し、
この場合に、ステレオスコープ点群は、特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝である。

開示されている方法の例示用の実施形態は、ステレオスコープ点群に基づいて、第２フレームにおけるｘ−ｙプレーン内の第２投影アレイ｛（ｘ_１ ^２，ｙ_１ ^２），（ｘ_２ ^２，ｙ_２ ^２），（ｘ_３ ^２，ｙ_３ ^２），．．．，（ｘ_ｍ ^２，ｙ_ｍ ^２）｝を取得するステップを更に有する。

開示されている方法の例示用の実施形態においては、第２投影アレイを取得するステップは、
ステレオスコープ点群に基づいて、第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ_１ ^１，ｙ_１ ^１），（ｘ_２ ^１，ｙ_２ ^１），（ｘ_３ ^１，ｙ_３ ^１），．．．，（ｘ_ｎ ^１，ｙ_ｎ ^１）｝を取得するステップと、
第１投影アレイの複数の特徴点を第２フレーム上の点にマッチングして第２投影アレイ｛（ｘ_１ ^２，ｙ_１ ^２），（ｘ_２ ^２，ｙ_２ ^２），（ｘ_３ ^２，ｙ_３ ^２），．．．，（ｘ_ｍ ^２，ｙ_ｍ ^２）｝を生成するステップと
を有する。

開示されている方法の例示用の実施形態においては、複数の特徴点をマッチングするステップは、
第２フレームをスキャニングして第１フレームの選択された特徴点にマッチングする第２フレームの点を識別するステップと、
第１フレームの選択された特徴点と点との間の類似性を算出するステップと
を有する。

開示されている方法の例示用の実施形態においては、類似性を算出するステップは、第１フレームの選択された特徴点を第２フレーム上の点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較するステップを有する。

開示されている方法の例示用の実施形態においては、ピクセルエリアを比較するステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する。

開示されている方法の例示用の実施形態は、回転データ、ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するステップを更に有する。

開示されている方法の例示用の実施形態においては、変換アレイＴを算出するステップは、次式の関係を適用するステップを有し、

この場合に、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である。

開示されている方法の例示用の実施形態においては、次式を適用するステップは、

ステレオスコープ点群及び第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、Ｔを算出するステップを更に有する。

開示されている方法の例示用の実施形態は、ステレオスコープ点群及び第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、変換アレイＴを検証するステップと、

マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するステップと
を更に有する。

開示されている方法の例示用の実施形態は、回転データ、選択された変換Ｔ、及び次式の関係により、ステレオスコープ点群を算出するステップを更に有する。

開示されている方法の例示用の実施形態は、選択された変換アレイＴに基づいてモバイルプラットフォームの変位を算出するステップを更に有する。

開示されている方法の例示用の実施形態は、選択された変換アレイＴ及び第１及び第２フレームを取得するための時点の間のインターバルに基づいてモバイルプラットフォームの速度を算出するステップを更に有する。

開示されている方法の例示用の実施形態は、選択された変換アレイＴ及び第１フレームを取得するための時点におけるモバイルプラットフォームの場所情報に基づいてモバイルプラットフォームの場所を算出するステップを更に有する。

本明細書において開示されている別の態様によれば、モバイルプラットフォームの変位を検出する装置が開示され、装置は、
第１フレーム及び第２フレームを取得する撮像デバイスと、
第１フレーム及び第２フレームに基づいてモバイルプラットフォームの変位を判定するプロセッサと、
を有する。

開示されている装置の例示用の実施形態においては、プロセッサは、モバイルプラットフォームの高さを取得するように構成されている。

開示されている装置の別の例示用の実施形態においては、高さは、バロメータ及び超音波デバイスの少なくとも１つを介して提供される。

開示されている装置の別の例示用の実施形態においては、プロセッサは、グラウンドレベルとの関係において撮像デバイスの角度を取得するように構成されている。

開示されている装置の別の例示用の実施形態においては、モバイルプラットフォームの角度は、慣性計測ユニット（「ＩＭＵ」）を介して取得される。

開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレームとの関係においてＩＭＵによってモバイルプラットフォームの回転角度を計測して回転データを生成するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、第１及び第２フレームをマッチングさせるように構成されており、
この場合に、第１フレームは、既定のパーセンテージだけ、第２フレームとオーバーラップしている。

開示されている装置の別の例示用の実施形態においては、第１フレーム及び第２フレームは、異なる時点において取得される。

開示されている装置の別の例示用の実施形態においては、異なる時点は、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らない時点の間のインターバルを有する。

開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレーム、モバイルプラットフォームの高さ、及びモバイルプラットフォームの角度のうちの少なくとも１つに基づいてステレオスコープ点群を取得するように構成されており、
この場合に、ステレオスコープ点群は、特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝である。

開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群に基づいてｘ−ｙプレーン内の第２投影アレイ｛（ｘ_１ ^２，ｙ_１ ^２），（ｘ_２ ^２，ｙ_２ ^２），（ｘ_３ ^２，ｙ_３ ^２），．．．，（ｘ_ｍ ^２，ｙ_ｍ ^２）｝を取得するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群に基づいて、ｘ−ｙプレーン内の第１投影アレイ｛（ｘ_１ ^１，ｙ_１ ^１），（ｘ_２ ^１，ｙ_２ ^１），（ｘ_３ ^１，ｙ_３ ^１），．．．，（ｘ_ｎ ^１，ｙ_ｎ ^１）｝を取得するように構成されており、且つ、
この場合に、プロセッサは、第１投影アレイの複数の特徴点を第２フレーム上にマッチングして第２投影アレイ｛（ｘ_１ ^２，ｙ_１ ^２），（ｘ_２ ^２，ｙ_２ ^２），（ｘ_３ ^２，ｙ_３ ^２），．．．，（ｘ_ｍ ^２，ｙ_ｍ ^２）｝を生成するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、第２フレームをスキャニングして第１フレームの選択された特徴点にマッチングする第２フレームの点を識別すると共に、第１フレームの選択された特徴点と点との間の類似性を算出する。

開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレームの選択された特徴点を第２フレーム上の点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較することにより、類似性を算出する。

開示されている装置の別の例示用の実施形態においては、第１フレーム及び第２フレームの３×３ピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計と比較される。

開示されている装置の別の例示用の実施形態においては、プロセッサは、回転データ、ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するように構成されている。

開示されている装置の別の例示用の実施形態においては、変換アレイＴは、次式の関係を適用することにより、算出され、

ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である。

開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群及び第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、変換アレイＴを算出するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群及び第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、変換アレイＴを検証するように構成されており、

この場合に、プロセッサは、マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、選択された変換アレイＴに基づいてモバイルプラットフォームの変位を算出するように構成されている。

開示されている装置の別の例示用の実施形態においては、第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、プロセッサは、選択された変換アレイＴ及び第１及び第２ステレオスコープフレームを取得するための２つの時点の間のインターバルに基づいてモバイルプラットフォームの速度を算出するように構成されている。

開示されている装置の別の例示用の実施形態においては、プロセッサは、選択された変換アレイＴ及び第１ステレオスコープフレームを取得するための時点におけるモバイルプラットフォームの場所情報に基づいてモバイルプラットフォームの場所を算出するように構成されている。

モバイルプラットフォームの例示用の概略図である。 図１のモバイルプラットフォームの変位を判定する方法の例示用の最上位フローチャートである。 図２の方法の例示用の実施形態の例示用のフローチャートであり、この場合には、フレームのペアがマッチングされている。 図３の方法の代替実施形態の別の例示用のフローチャートであり、この場合には、フレームの投影アレイが算出されている。 図３の方法の別の代替実施形態の別の例示用のフローチャートであり、この場合には、第２フレームの運動が計測されている。 図３の方法の代替実施形態の例示用の図であり、２つの画像をオーバーラップエリアとマッチングする例示用の方法を示している。 図３の代替実施形態を示す例示用の図であり、この場合に、第１フレームは、複数の特徴点を有する第２フレームとマッチングされている。 図７の方法の代替実施形態を示す例示用の図であり、この場合に、それぞれの特徴点は、類似性を算出することにより、マッチングされている。

添付図面は、縮尺が正確ではなく、且つ、類似の構造又は機能の要素は、一般に、図面の全体を通じて、例示を目的として同一の参照符号によって表されていることに留意されたい。又、添付図面は、好適な実施形態の説明の促進を意図したものに過ぎないことにも留意されたい。添付図面は、記述されている実施形態の全ての側面を示すものではなく、且つ、本開示の範囲を限定するものでもない。

現時点において入手可能な視覚システムは、条件によって制限されていることから、様々な条件において様々な高さにおける飛行コースにおいてモバイルプラットフォームの変位を計測することに伴う要件を充足しうるモバイルプラットフォーム及び方法は、望ましいことが証明可能であり、且つ、ＵＡＶシステム及びその他のモバイルプラットフォームなどのシステムの場合に、変位の正確な計測のための基礎を提供することができる。この結果は、図１に開示されている一実施形態に従って実現することができる。

図１は、モバイルプラットフォーム２００の例示用の概略図を示している。図１に示されているように、モバイルプラットフォーム２００は、モバイルプラットフォーム２００の変位ｄを検出することができる。撮像デバイス８８６が、ＵＡＶ２５０などのモバイルプラットフォーム２００上に設置されるものとして示されている。モバイルプラットフォーム２００が空中にある際には、図１に示されているように、撮像デバイス８８６は、グラウンドレベル８８０との関係において高さＨ及び角度αを有することができる。撮像デバイス８８６は、単眼撮像デバイス又は多眼撮像デバイスを有することができる。換言すれば、撮像デバイス８８６は、任意の適切な数のレンズを含むことができる。好ましくは、撮像デバイス８８６の１つのレンズは、（図２に示されている）対象の物体の第１及び第２フレーム８１１ａ、８１１ｂを取得するための選択された時点において使用することができる。グラウンドレベル８８０は、実際のグラウンド、水位、又は任意の構造を有するグラウンドであってもよい。撮像デバイス８８６は、図１に示されているように、レベル８８２に位置してもよく、このレベル８８２は、高さＨを有することができる。モバイルプラットフォーム２００は、グラウンドレベル８８０との関係において第１角度を有することが可能であり、且つ、撮像デバイス８８６は、モバイルプラットフォーム２００のプレーンとの関係において第２角度を有することができる。第１及び第２角度は、グラウンドレベル８８０との関係における撮像デバイス８８６の角度αとして組み合わせることができる。

幾つかの実施形態においては、高さＨは、（図示されていない）バロメータ２５１及び／又は超音波デバイス２５２によって取得することができる。角度αは、図５との関係において以下において図示及び記述されている方式により、（図示されていない）同時ローカリゼーション及びマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）デバイスによって取得することができる。

図２は、（図１に集合的に示されている）モバイルプラットフォーム２００の変位ｄを検出する方法１００の例示用の実施形態を示している。図２の方法１００は、８１０において、第１フレーム８１１ａ及び第２フレーム８１１ｂを取得するステップを含むものとして示されている。モバイルプラットフォーム２００の変位ｄは、８５０において、第１及び第２ステレオスコープフレーム８１１ａ、８１１ｂに基づいて判定することができる。有利には、方法１００は、ＳＬＡＭと、バロメータ２５１及び／又は超音波デバイス２５２などの特定の高さ測定デバイスと、を有する単眼撮像システム８８６を使用することができる。

例示用の実施形態においては、画像の２つのフレーム８１１ａ、８１１ｂは、撮像デバイス８８６の移動経路に伴って第１時点及び第２時点という２つの異なる時点において取得することができる。幾つかの実施形態においては、第１フレーム８１１ａ及び第２フレーム８１１ｂは、ステレオスコープフレームであってもよい。好適な実施形態においては、２つのフレーム８１１ａ、８１１ｂは、少なくとも第１フレーム８１１ａ又は第２フレーム８１１ｂの既定のパーセンテージを有するオーバーラップ領域を有することができる。２つのフレーム８１１ａ、８１１ｂのオーバーラップ領域は、同一の物体を反映した２つのフレーム８１１ａ、８１１ｂ上の点として定義される。このようなオーバーラップ領域を保証するべく、少なくとも１つの物体が両方のフレーム８１１ａ、８１１ｂ上において反映されうるように、第１時点と第２時点との間の時間スパンを調節することができる。更には、撮像デバイス８８６は、オーバーラップを保証するべく、モバイルプラットフォーム２００との関係において静止状態において留まるか、或いは、低速で運動する。

２つのフレーム８１１ａ、８１１ｂを取得する際には、第１時点と第２時点との間の時間スパンは、１秒の６０分の１を下回ってもよく、且つ、１秒の２０分の１を上回らなくてもよい。時間スパンは、実際の用途又は状況の要件に依存しうる。例示用の例として、モバイルプラットフォーム２００が相対的に低速度で飛行している際には、時間スパンは、相対的に大きな値に設定されることが可能であり、その理由は、相対的に大きな時間スパンにおいても、２つのフレーム８１１ａ、８１１ｂの間のオーバーラップを保証することができるからである。その一方で、モバイルプラットフォーム２００の速度が、相対的に高速度において飛行している際には、時間スパンは、２つのフレーム８１１ａ、８１１ｂの間のオーバーラップを保証するべく、相対的に小さな値に設定することができる。

８５０においては、２つのフレーム８１１ａ、８１１ｂを使用することにより、モバイルプラットフォーム２００の変位を算出することができる。このような変位は、図３〜図５を参照して以下において図示及び記述されている方式に従って算出することができる。

方法１００を実装するシステムは、有利には、１メートル〜１００メートルという広い高さ範囲に適用可能であってもよく、且つ、任意の環境干渉に対して相対的に脆弱性が乏しくてもよい。更には、システムは、全地球測位システム（「ＧＰＳ」）信号に依存しておらず、従って、屋内環境などのＧＰＳ信号を欠いた環境において適用可能であってもよい。バロメータ及び単眼撮像デバイスは、モバイルプラットフォーム上において容易に設置可能であり、従って、小さなサイズのＵＡＶ上に設置するのに好適である。

図３は、方法１００の代替実施形態を示している。図３の方法１００においては、（図１に示されている）モバイルプラットフォーム２００の運動を算出することができる。図３に示されているように、８１０において、対象の物体の２つのフレーム８１１ａ、８１１ｂが取得された後に、８２０において、２つのフレーム８１１ａ、８１１ｂに基づいて、モバイルプラットフォーム２００の高さＨを算出することができる。好ましくは、モバイルプラットフォーム２００の高さは、バロメータ２５１及び／又は超音波デバイス２５２によって判定することができる。２つのフレーム８１１ａ、８１１ｂが取得された後に高さＨを取得するものとして図示及び記述されているが、モバイルプラットフォーム２００の高さＨは、第１フレーム８１１ａ及び／又は第２フレーム８１１ｂが取得される前、最中、又は後に、取得することもできる。

８３０において、第１フレーム８１１ａ上の（図６に示されている）特徴点３５５を第２フレーム８１１ａ、８１１ｂ上の特定の点にマッチングすることにより、第２フレーム８１１ｂを第１フレーム８１１ａにマッチングすることができる。本開示においては、２つのフレーム８１１ａ、８１１ｂは、２つのフレーム８１１ａ、８１１ｂのそれぞれの上部の同一の物体を反映した１つ又は複数の点が見出された際に、マッチングしている。換言すれば、同一の物体を反映した点が、２つのフレーム８１１ａ、８１１ｂ上のオーバーラップ領域を定義している。第１フレーム８１１ａ上の特徴点３５５は、対象の物体を反映した点のうちから選択することができる。このような物体は、例えば、建物、樹木、道路、川、又はその他のタイプの構造を含むことができる。好ましくは、物体は、安定した物体又は低速で運動する物体であってもよい。２つのフレーム８１１ａ、８１１ｂのマッチングに関する更なる詳細については、図４を参照し、以下において図示及び説明することとする。

８４０において、モバイルプラットフォーム２００の３つの平行運動及び３つの回転の形態の６つの運動を慣性計測ユニット（「ＩＭＵ」）によって計測することが可能であると共に／又は、２つのステレオスコープフレーム８１１ａ、８１１ｂによって推定することができる。３つの平行運動は、ｘ軸、ｙ軸、及びｚ軸のそれぞれに沿ったモバイルプラットフォーム２００の平行運動を含むことができる。３つの回転は、それぞれ、ｘ軸、ｙ軸、及びｚ軸を中心としたモバイルプラットフォーム２００の回転を含むことができる。回転は、任意の従来型の方式によって取得することができる。回転を取得するための１つの従来型の方式は、ＩＭＵ１５０の使用を含む。一実施形態においては、平行運動は、回転データに基づいて算出することが可能であり、これについては、図５を参照し、以下において図示及び説明する。６つの運動の算出に関する詳細は、図５を参照して以下において提供することとする。

８５０において、モバイルプラットフォーム２００の変位を判定している。取得されたら、例えば、回転及び平行運動を適用することにより、モバイルプラットフォーム２００の変位を算出することができる。幾つかの実施形態においては、平行運動を２つのフレーム８１１ａ、８１１ｂを取得するための時間スパンによって除算することにより、モバイルプラットフォーム２００の速度を算出することができる。別の例示用の実施形態においては、算出された変換アレイＴ及び第１フレーム８１１ａを取得するための時点におけるモバイルプラットフォームの場所情報に基づいて、一時点におけるモバイルプラットフォームの場所情報を取得することができる。この時点は、第２フレーム８１１ｂを取得するための時点であってもよい。

代替実施形態においては、８５０において、変位が判定された後に、画像の次のフレームを取得することが可能であり、且つ、システムは、新たに取得された１つ又は複数のフレームを算出するべく、プロセスを反復する。プロセスは、中断のない変位検出を実現するべく、繰り返し継続される。

図５は、方法１００の別の代替実施形態を示している。図５を参照すれば、２つのフレーム８１１ａ、８１１ｂのマッチングが示されている。図５に示されているように、２つのフレーム８１１ａ、８１１ｂは、８１０において、図１を参照して図示及び記述されている方法のうちのいずれかを介して取得することができる。図４は、方法１００が、８３０において、第２フレーム８１１ｂを第１フレーム８１１ａとマッチングしうる１つの例示用の方式を示している。図４を参照すれば、フレーム８１１ａ、８１１ｂは、複数の点から構成されており、且つ、これらの点のそれぞれは、ｘ、ｙ、及びｚ座標値によって表される。本明細書において記述されている２つのフレーム８１１ａ、８１１ｂは、撮像デバイス１００の移動経路と共に、異なる時点において取得することができる。

図４を参照すれば、８３２において、第１フレーム８１１ａ｛Ｐ_１，Ｐ_２，Ｐ_３，．．．，Ｐ_ｎ｝に基づいて、ステレオスコープ点群を取得することができる。それぞれの点Ｐは、第１フレーム８１１ａの特徴点３５５である。ｘ−ｙプレーン内において、ステレオスコープ点群は、｛（ｘ_１ ^１，ｙ_１ ^１），（ｘ_２ ^１，ｙ_２ ^１），（ｘ_３ ^１，ｙ_３ ^１），．．．，（ｘ_ｎ ^１，ｙ_ｎ ^１）｝によって表すことができる。取得される特徴点３５５の数は、処理速度、フレームのサイズ、フレームの分解能のみならず、（図示されていない）プロセッサの計算能力などに基づいて変化する。本明細書において開示されている典型的な実施形態においては、点又はピクセルの数は、１００〜２００ピクセルという例示用の範囲内であってもよい。

８３４において、第２投影アレイを第２フレーム８１１ｂ｛（ｘ_１ ^２，ｙ_１ ^２），（ｘ_２ ^２，ｙ_２ ^２），（ｘ_３ ^２，ｙ_３ ^２），．．．，（ｘ_ｍ ^２，ｙ_ｍ ^２）｝内において算出することができる。第２投影アレイの点（ｘ_ｉ ^２，ｙ_ｉ ^２）のそれぞれは、第１フレーム８１１ｂのステレオスコープ点群の点Ｐ_ｊ又は（ｘ_ｊ ^１、ｙ_ｊ ^１）に対応するｘ−ｙプレーン内において投影されたマッチングした点を表している。第２投影アレイのサイズは、群アレイ内の全ての点｛Ｐ_１，Ｐ_２，Ｐ_３，．．．，Ｐ_ｎ｝が第２フレーム８１１ｂ上にマッチングされた場合には、群アレイのサイズと同一であってもよい。但し、大部分の場合に、第２投影アレイのサイズは、群アレイ｛Ｐ_１，Ｐ_２，Ｐ_３，．．．，Ｐ_ｎ｝のサイズ未満であり、その理由は、第１フレーム８１１ａの全ての点が第２フレーム８１１ｂ上にマッチングできるわけではないからである。第１フレーム８１１ａのステレオスコープ点群の第２フレーム８１１ｂに対するマッチングは、２つの点の類似性を判定するべく３×３ピクセルが比較される図６〜図８を参照して記述されている方法１００によって実現することができる。

次に図５を再度参照すれば、方法１００が、８４０において、第２フレーム８１１ｂの運動を計測しうる例示用の方式が示されている。図５の８４２において、（図示されていない）ＩＭＵ１５０は、プロセッサ（図示されてはいない）に伝達されうる回転計測値を計測するように構成されうる。回転計測値は、３次元アレイＲによって表すことができる。回転計測値アレイＲにより、第１フレーム８１１ａのステレオスコープ点群アレイと第２フレーム８１１ｂの投影点アレイとの間の関係は、次式のように表すことが可能であり、

式（６）
ここで、Ｒは、回転計測値を表す３次元アレイであり、Ｐｊは、第１フレーム８１１ａの点であり、Ｔは、計算対象の第２フレーム８１１ｂの平行運動の３次元アレイを表しており、且つ、μは、係数として機能するランダム数である。

ＩＭＵによって計測される相対的な回転アレイの精度の保証を支援するべく、第１フレーム８１１ａが取得されうる第１時点と第２フレーム８１１ｂが取得されうる第２時点との間のインターバルは、相対的に短いものであってもよい。第１フレーム８１１ａと第２フレーム８１１ｂの間の時間インターバルは、通常、図２を参照して記述されているように、実際の用途の要件に応じて、２０分の１秒〜６０分の１秒の範囲であってもよい。

式６においては、３つの未知数（Ｔｘ，Ｔｙ，Ｔｚ）が存在しており、従って、数学的原理により、３つの未知数を有する算出された変換アレイＴを一緒に解くには、８４４において、３つの式が必要となりうる。但し、投影点のそれぞれは、ｘ_ｉ及びｙ_ｉという形態の２つの値しか有していない。従って、算出された変換アレイＴ内の３つの未知数を解決するために、２つのこのような点について利用可能な４つの式のうちの３つの式を結合することができる。

実際の用途においては、第１フレーム８１１ａと第２フレーム８１１ｂとの間の点をマッチングする際の誤差及び不正確性に起因し、算出された変換アレイＴは、不正確である可能性がある。８４６において、算出された変換アレイＴを式６に導入すると共に計算することにより、式中において定義された関係に準拠した点の数を判定することができる。次いで、８４４において、算出された変換アレイＴを解く際に、点の別のペアを使用することが可能であり、これは、次いで、８４６において式６の関係に準拠した点の数の判定の計算に使用することができる。このプロセスは、既定数の点のペアについて反復することが可能であり、且つ、この結果は、それぞれの変換アレイごとの式６に準拠した幾つかの点によって伴われる既定数の算出された変換アレイＴであってもよい。

８４５において、準拠した点の数を算出された変換アレイＴの間において比較することができる。最大数の準拠した点を有する算出された変換アレイＴを選択することができる。図４を参照して記述されているプロセスを繰り返し反復することにより、連続的な変位検出を実行することができる。

図６は、第２フレーム８１１ｂの点を第１フレーム８１１ａの対応する点３５５とマッチングする方法３００の例示用の実施形態を示している。図６においては、３×３ピクセルブロックが、フレーム８１１ａ、８１１ｂのそれぞれからの中心における比較対象の点と共に、取得されている。第１及び第２フレーム８１１ａ及び８１１ｂがカラー画像である際には、３×３ピクセルブロックのそれぞれのピクセルごとに、色成分の値を比較することができる。逆に、フレーム８１１ａ及び８１１ｂが白黒画像である際には、それぞれのピクセルのグレースケール値を比較することができる。式５に基づいて、全ての９つのピクセルの値の差の最小合計を有する点をマッチング点として選択することができる。このプロセスは、第１フレーム８１１ａ上の全ての選択された特徴点について反復することができる。

或いは、この代わりに、第２フレーム８１１ｂの点を第１フレーム８１１ａの対応する点３５５とマッチングさせるべく、二値安定独立基本特徴（「ＢＲＩＥＦ」）記述子を使用する方法を使用することもできる。例示用の実施形態においては、領域のそれぞれの点ペアの強度を比較することにより、第１フレーム８１１ａの選択された特徴点の周りの第１領域を表す第１二値ストリングを構築することができる。第１二値ストリングは、第１フレーム８１１ａの選択された特徴点の第１ＢＲＩＥＦ記述子であってもよい。

同様に、第２領域のそれぞれの点ペアの強度を比較することにより、第２フレーム８１１ｂの点３５５の周りの第２領域を表す第２二値ストリングを構築することができる。第２二値ストリングは、第２ＢＲＩＥＦ記述子であってもよい。

第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離を比較することにより、第１フレーム８１１ａの選択された特徴点と第２フレーム８１１ｂの点３５５との間における類似性を算出することができる。第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離が第１ハミング閾値未満である際に、第２フレーム８１１ｂの点３５５を第１フレーム８１１ａの選択された特徴点とマッチングするものとして判定することができる。

次に図７を参照すれば、対象の物体１９８の特徴点３５５を介して不一致ｄを取得する方法３００の例示用の実施形態が示されている。９２２において、対象の物体１９８上の複数の特徴点３５５を選択することができる。特徴点３５５は、様々な異なる方法のうちの１つ又は複数を使用することにより、選択することができる。例示用の一実施形態においては、特徴点３５５は、対象の物体１９８の予め定義された形状として識別することができる。別の実施形態においては、特徴点３５５は、特定の色又は強度を有する対象の物体１９８の１つ又は複数の部分として認識することができる。別の実施形態においては、特徴点３５５は、対象の物体１９８のランダムな部分として選択することができる。別の実施形態においては、特徴点３５５は、例えば、ピクセルごと、１つ飛ばしのピクセルごと、２つ飛ばしのピクセルごと、３つ飛ばしのピクセルごとなどのように、対象の物体１９８上において規則的に離隔したインターバルで選択することができる。特徴点３５５は、必要に応じて、変化する形状及びサイズを有することができる。幾つかの実施形態においては、上述の方法の組合せを使用することにより、特徴点３５５を選択することができる。

９２４において、選択された特徴点３５５を第１フレーム８１１ａから第２フレーム８１１ｂ上にマッチングすることができる。好適な実施形態においては、特徴点３５５のマッチングは、図８に示されているように、２つの手順から構成されている。図８の９２４Ａにおいて、第１フレーム８１１ａの特徴点３５５を選択することができる。算出された点から始まって、且つ、２つのフレーム８１１ａ、８１１ｂを捕えるために使用されるレンズ（図示されていない）のセンタリングされたラインに平行なラインに沿って、マッチング点をスキャニングすることができる。第１フレーム８１１ａ上の点の座標に基づいて、マッチング開始点を算出することができる。好ましくは、選択されたラインに沿った１つの方向のみに限定されているが、スキャニングは、１つ又は複数の既定の方向のうちのいずれかにおいて実行することができる。

９２４Ｂにおいて、それぞれの点ごとにスキャニングしている間に、図６を参照して本明細書において詳細に先程図示及び記述された方式により、２つの点の間において類似性が算出され、且つ、第１フレーム８１１ａの特徴点３５５との間の差の最小合計を有する第２フレーム８１１ｂの点３５５を選択された特徴点３５５に対応するマッチング点として選択することができる。

図７を再度参照すれば、９２６において、２つのフレーム８１１ａ及び８１１ｂのそれぞれの特徴点３５５の間の特徴不一致ｄを見出すことができる。様々な方法のうちのいずれかを使用することにより、不一致ｄを判定することができる。一実施形態においては、不一致ｄは、特徴点３５５のそれぞれごとの不一致ｄの平均値に基づいて見出すことができる。例示用の平均値のタイプは、限定を伴うことなしに、数値平均、幾何学平均、メジアン、及び／又はモードを含むことができる。別の実施形態においては、不一致ｄは、特徴点３５５のうちの１つ又は複数を選択すると共に選択された特徴点３５５に基づいて不一致ｄを取得することにより、見出すことができる。

記述されている実施形態には、様々な変更及び代替形態が可能であり、且つ、これらの具体的な例は、例示を目的として、図面に図示され、且つ、本明細書において詳述されている。但し、記述されている実施形態は、開示されている特定の形態又は方法に限定されるものではなく、逆に、本開示は、全ての変更、均等物、及び代替肢を含むことを理解されたい。

Claims (34)

1. モバイルプラットフォームの変位を検出する方法であって、
   撮像デバイスにより、第１フレーム及び第２フレームを取得し、且つ、前記モバイルプラットフォームの高さを取得するステップと、
   前記第１フレーム、前記第２フレーム、及び前記高さに基づいて、前記モバイルプラットフォームの前記変位を判定するステップとを有し、
   前記第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ _１ ^１ ，ｙ _１ ^１ ），（ｘ _２ ^１ ，ｙ _２ ^１ ），（ｘ _３ ^１ ，ｙ _３ ^１ ），．．．，（ｘ _ｎ ^１ ，ｙ _ｎ ^１ ）｝の複数の特徴点を前記第２フレーム上にマッチングして第２投影アレイ｛（ｘ _１ ^２ ，ｙ _１ ^２ ），（ｘ _２ ^２ ，ｙ _２ ^２ ），（ｘ _３ ^２ ，ｙ _３ ^２ ），．．．，（ｘ _ｍ ^２ ，ｙ _ｍ ^２ ）｝を生成するステップを更に有し、
   前記複数の特徴点を前記第２フレーム上にマッチングすることは、前記第１フレームの選択された特徴点にマッチングする前記第２フレームの点を識別するステップと、前記第１フレームの前記選択された特徴点と前記点との間の類似性を算出するステップとを有する、
   方法。
2. 前記高さを取得するステップは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して前記高さを取得するステップを有する、請求項１に記載の方法。
3. 前記取得ステップは、グラウンドレベルとの関係において前記撮像デバイスの角度を取得するステップを有する、請求項１又は２に記載の方法。
4. 前記角度を取得する前記ステップは、慣性計測ユニット（「ＩＭＵ」）を介して前記角度を取得するステップを有する、請求項３に記載の方法。
5. 前記取得ステップは、前記第１フレームとの関係において前記ＩＭＵによって前記モバイルプラットフォームの回転角度を計測して回転データを生成するステップを更に有する、請求項４に記載の方法。
6. 前記取得ステップは、前記第１及び第２フレームをマッチングするステップを更に有し、
   この場合に、前記第１フレームは、既定のパーセンテージだけ、前記第２フレームとオーバーラップしている、請求項５に記載の方法。
7. 前記取得ステップは、前記第１フレーム及び前記第２フレームを異なる時点において取得するステップを有する、請求項５又は６に記載の方法。
8. 前記第１フレーム及び前記第２フレームを異なる時点において取得する前記ステップは、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らないインターバルにおいて前記第１及び第２フレームを取得するステップを有する、請求項７に記載の方法。
9. 前記類似性を算出する前記ステップは、前記第１フレームの前記選択された特徴点を前記第２フレーム上の前記点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較するステップを有する、請求項１に記載の方法。
10. 前記比較するステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する、請求項９に記載の方法。
11. 前記回転データ、前記ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するステップを更に有する請求項１０に記載の方法。
12. 前記変換アレイＴを算出する前記ステップは、次式の関係を適用するステップを有し、
    
    ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である、請求項１１に記載の方法。
13. 次式を適用する前記ステップは、
    
    前記ステレオスコープ点群及び前記第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、Ｔを算出するステップを更に有する、請求項１２に記載の方法。
14. 前記ステレオスコープ点群及び前記第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、前記変換アレイＴを検証するステップと
    
    マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するステップと
    を更に有する、請求項１１乃至１３のいずれか一項に記載の方法。
15. 前記回転データ、前記選択された変換Ｔ、及び次式の関係により、前記ステレオスコープ点群を算出するステップを更に有する請求項１４に記載の方法。
    
16. 前記選択された変換アレイＴに基づいて前記モバイルプラットフォームの前記変位を算出するステップを更に有する請求項１５に記載の方法。
17. 前記第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、
    前記選択された変換アレイＴ及び前記第１及び第２ステレオスコープフレームを取得するための前記時点の間のインターバルに基づいて前記モバイルプラットフォームの速度を算出するステップを更に有する請求項１６に記載の方法。
18. 前記選択された変換アレイＴ及び前記第１ステレオスコープフレームを取得するための時点における前記モバイルプラットフォームの場所情報に基づいて前記モバイルプラットフォームの場所を算出するステップを更に有する請求項１７に記載の方法。
19. モバイルプラットフォームの変位を検出する装置であって、
    第１フレーム及び第２フレームを取得する撮像デバイスと、前記モバイルプラットフォームの高さを取得し、且つ、前記第１フレーム、前記第２フレーム、及び前記高さに基づいて前記モバイルプラットフォームの前記変位を判定するプロセッサと
    を有し、
    前記プロセッサは、前記第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ _１ ^１ ，ｙ _１ ^１ ），（ｘ _２ ^１ ，ｙ _２ ^１ ），（ｘ _３ ^１ ，ｙ _３ ^１ ），．．．，（ｘ _ｎ ^１ ，ｙ _ｎ ^１ ）｝の複数の特徴点を前記第２フレーム上にマッチングして第２投影アレイ｛（ｘ _１ ^２ ，ｙ _１ ^２ ），（ｘ _２ ^２ ，ｙ _２ ^２ ），（ｘ _３ ^２ ，ｙ _３ ^２ ），．．．，（ｘ _ｍ ^２ ，ｙ _ｍ ^２ ）｝を生成するように構成され、前記第１フレームの選択された特徴点にマッチングする前記第２フレームの点を識別すると共に、前記第１フレームの前記選択された特徴点と前記点との間の類似性を算出するように構成されている、
    装置。
20. 前記高さは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して提供される、請求項１９に記載の装置。
21. 前記プロセッサは、グラウンドレベルとの関係において前記撮像デバイスの角度を取得するように構成されている、請求項１９又は２０に記載の装置。
22. 前記モバイルプラットフォームの前記角度は、慣性計測ユニット（「ＩＭＵ」）を介して取得される、請求項２１に記載の装置。
23. 前記プロセッサは、前記第１フレームとの関係において前記ＩＭＵによって前記モバイルプラットフォームの回転角度を計測して回転データを生成するように構成されている、請求項２２に記載の装置。
24. 前記プロセッサは、前記第１及び第２フレームをマッチングするように構成されており、
    この場合に、前記第１フレームは、既定のパーセンテージだけ、前記第２フレームとオーバーラップしている、請求項２３に記載の装置。
25. 前記第１フレーム及び前記第２フレームは、異なる時点において取得される、請求項２３又は２４に記載の装置。
26. 前記プロセッサは、前記第１フレームの前記選択された特徴点を前記第２フレーム上の前記点を中心としてセンタリングされた一定範囲のピクセルエリアと比較することにより、前記類似性を算出する、請求項２５に記載の装置。
27. 前記第１フレーム及び前記第２フレームの前記一定範囲のピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計と比較される、請求項２６に記載の装置。
28. 前記プロセッサは、前記回転データ、前記ステレオスコープ点群、及び前記第２投影アレイに基づいて変換アレイＴを算出するように構成されている、請求項２７に記載の装置。
29. 前記変換アレイＴは、次式の関係を適用することにより、算出され、
    
    ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である、請求項２８に記載の装置。
30. 前記プロセッサは、前記ステレオスコープ点群及び前記第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、前記変換アレイＴを算出するように構成されている、請求項２９に記載の装置。
31. 前記プロセッサは、前記ステレオスコープ点群及び前記第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、前記変換アレイＴを検証するように構成されており、且つ、
    
    前記プロセッサは、マッチング点の最大カウントを有する前記変換アレイＴを選択された変換アレイＴとして選択するように構成されている、請求項２９又は３０に記載の装置。
32. 前記プロセッサは、前記選択された変換アレイＴに基づいて前記モバイルプラットフォームの前記変位を算出するように構成されている、請求項３１に記載の装置。
33. 前記第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、
    前記プロセッサは、前記選択された変換アレイＴ及び前記第１及び前記第２ステレオスコープフレームを取得するための前記２つの時点の間のインターバルに基づいて前記モバイルプラットフォームの速度を算出するように構成されている、請求項３２に記載の装置。
34. 前記プロセッサは、前記選択された変換アレイＴ及び前記第１ステレオスコープフレームを取得するための時点における前記モバイルプラットフォームの場所情報に基づいて前記モバイルプラットフォームの場所を算出するように構成されている、請求項３３に記載の装置。