JP4361913B2 - 動き量計算装置 - Google Patents

Description

本発明は、移動物体に取り付けられ、時系列で撮影された周囲の画像の変化から、移動物体自体の並進移動量及び回転量を含む動き量を検出する動き量計算装置に関する。

移動物体自体の動き量を検出する方法としては各種の方法が実現されており、加速度センサやジャイロなどを利用した位置姿勢センサを利用する方法や、ＧＰＳを利用する方法などがある。一方、物体が移動する場合に、移動物体にカメラを設けて周囲の画像を連続して撮影し、画像の変化から移動物体の動き量を検出することが非特許文献１などに提案されている。

図１（Ａ）は、移動物体１００に撮像部１を設けて画像処理により移動物体１００の動き量を検出する方法を説明する図である。図示のように、移動物体１００に、例えばＣＣＤカメラなどからなる撮像部（以後、カメラと称する。）を設け、静止している物体（以後、物体と称する。）１０１、１０２及び１０３などを含む周囲の画像を撮影し、画像処理により移動物体１００の動き量を検出する。詳しい説明は、非特許文献１に記載されているので省略する。

図１（Ｂ）は、上記のような検出を行う検出装置の概略構成を示す図である。図１（Ｂ）において、処理部２０は、カメラ制御部２、フレームメモリ３、特徴点抽出部４、特徴点追跡処理部５、特徴点列記憶部６、カメラパラメータ記憶部７、及び動き量算出部８で構成される。図１（Ｂ）において、カメラ１は、カメラ制御部２からの制御に従って所定のフレーム間隔で映像を撮影するものである。カメラ制御部２は、カメラ１およびフレームメモリ３の制御を行うための制御部である。フレームメモリ３は、カメラ１の映像信号に基づくデジタル画像（以後、画像と称する）を１フレーム分蓄積するためのメモリである。特徴点抽出部４は、画像から例えばエッジなどの特徴点を抽出する。特徴点追跡処理部５は、特徴点抽出部４で得られた複数の特徴点をそれぞれ追跡し、特徴点の変化情報を生成して、特徴点記憶部６に送る。なお、画像内に固定物体だけでなく移動物体が含まれ、それが特徴点として抽出される場合もあるが、そのような特徴点は移動物体であると識別されて、処理対象から除かれたり、除いた上で動き量が算出され、その上で移動物体の移動量が検出される場合もある。動き量算出部８は、特徴点記憶部６に記憶された特徴点の変化情報およびカメラパラメータ記憶部７に記憶されているカメラパラメータ（撮像素子サイズ、画面サイズ、焦点距離）をもとに、非特許文献１に記憶されたような因子分解方などを使用して移動物体自体の動き量を算出する。

移動物体にカメラを設けて画像処理により移動物体の動き量を検出する方法は、ノイズの影響を受け易く、ジャイロのような検出精度をえることが難しいという問題があるが、ジャイロのように誤差が累積しないという利点がある。

「因子分解法による物体形状とカメラ運動の復元」（金出 武雄、コンラッド ポールマン、森田 俊彦）電子情報通信学会論文誌D-II Vol.J76-D-II No.8 pp.1497-1505 1993.8 "Correlation-Based Estimation of Ego-motion and Structure from Motion and Stereo, "International Conference on Computer Vision, Kerkyra, Grece (1999)

しかし、移動物体にカメラを設けて画像処理により移動物体の動き量を検出する方法は、並進移動と回転の判別が困難な場合があるという問題点を有する。図２は、この問題点を説明する図である。物体１０１が、移動前、カメラ１に対して図２（Ａ）に示すような位置にあるとする。この時、撮影された物体１０１の画像１０１Ｐは、図２（Ｄ）に示す画像上の部分に位置する。次に、図２（Ｂ）に示すように、カメラ１が回転せずに並進移動した場合には、物体１０１の画像１０１Ｑは、図２（Ｅ）に示す画像上の部分に位置する。また、図２（Ｃ）に示すように、カメラ１が並進移動せずに回転した場合には、物体１０１の画像１０１Ｒは、図２（Ｆ）に示す画像上の部分に位置する。このように、並進移動の場合と回転の場合で、物体の画像上での移動位置は概ね同じであり、並進移動か回転かの判別ができない。

本発明は、移動物体にカメラを設けて画像処理により移動物体の動き量を検出する方法において、並進移動か回転かの判別が容易に行えるようにすることを目的とする。

上記目的を実現するため、請求項１に係る本発明の動き量計算装置は、移動物体に設けられ、少なくとも一部は異なる方向を撮影する複数のカメラ（撮像部）と、複数のカメラで撮像された二次元画像情報から、視野が異なるため動き量が異なる特性を示す性質を利用して移動物体の動き量を算出する動き量算出部とを備えたことを特徴とする。

請求項２に係る本発明の動き量計算装置は、請求項１の動き量計算装置において、撮像部から対象物までの距離情報を検出する距離情報検出手段を更に備え、動き量算出部は、複数の撮像部で撮像された二次元画像情報の視野が異なるため動き量が異なる特性を示す性質および距離情報検出手段で検出した距離情報に基づいて、動き量を算出することを特徴とする。

請求項３に係る本発明の動き量計算装置は、請求項１又は２の動き量計算装置において、移動物体に設けられ、移動物体の動き量を別に検出する位置・姿勢センサを更に備えることを特徴とする。

請求項４に係る本発明の動き量計算装置は、請求項３の動き量計算装置において、動き量算出部により算出された動き量及び位置・姿勢センサの検出した移動物体の動き量のいずれかを選択もしくは統合して移動物体の動き量として出力する統合処理部を更に備えることを特徴とする。

請求項５に係る本発明の動き量計算装置は、請求項３の動き量計算装置において、過去の所定期間における位置・姿勢センサの出力情報と動き量算出部の算出情報とを対応させた学習データを保持する学習データ保持手段を備え、動き量算出部は、自己の算出方法で動き量が算出できない場合に、位置・姿勢センサによる動き量および学習データ保持手段による学習データを基に動き量を推定することを特徴とする。

図３は、本発明の原理を説明する図であり、撮影方向が逆方向、すなわち撮影方向が１８０°異なる２個のカメラ１ａ及び１ｂを設けた場合の検出原理を説明する図である。図３（Ａ）に示すように、移動物体１００には２個のカメラ１ａ及び１ｂが設けられ、カメラ１ａ及び１ｂの撮影方向は逆方向であるとする。移動前には、カメラ１ａの撮影方向、すなわち視野の中心に物体１０１が位置し、カメラ１ｂの撮影方向、すなわち視野の中心に物体１０２が位置しているとする。この場合、物体１０１の像１０１Ｓは図３（Ｄ）に示すようにカメラ１ａの画像の中心に位置し、物体１０２の像１０２Ｓは図３（Ｇ）に示すようにカメラ１ｂの画像の中心に位置する。

次に、移動物体１００が、図３（Ｂ）に示すように並進移動したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｔは図３（Ｅ）に示すように中心位置より左側に移動し、カメラ１ｂの画像においては、物体１０２の像１０２Ｔは図３（Ｈ）に示すように右側に移動する。また、移動物体１００が、図３（Ｃ）に示すように回転したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｕは図３（Ｆ）に示すように左側に移動し、カメラ１ｂの画像においては、物体１０２の像１０２Ｕは図３（Ｉ）に示すように左側に移動する。このように、カメラ１ａ及び１ｂの２つの画像において、回転の場合には、物体の像は同じ方向に移動するが、並進移動の場合には逆方向に移動する。従って、カメラ１ａ及び１ｂの２つの画像における物体の移動を比較すれば、並進移動か回転か判別することができる。

図３は、撮影方向が逆方向の２個のカメラを設けた場合の例であるが、撮影方向が直角をなす、すなわち撮影方向が９０°異なる２個のカメラを設けることも可能である。図４は、この場合の構成と画像の変化を説明する図である。

図４（Ａ）に示すように、移動物体１００には２個のカメラ１ａ及び１ｂが設けられ、カメラ１ａ及び１ｂの撮影方向は９０°異なる方向であるとする。移動前には、カメラ１ａの撮影方向、すなわち視野の中心に物体１０１が位置し、カメラ１ｂの撮影方向、すなわち視野の中心に物体１０３が位置しているとする。この場合、物体１０１の像１０１Ｖは図４（Ｂ）に示すようにカメラ１ａの画像の中心に位置し、物体１０３の像１０３Ｖは図４（Ｃ）に示すようにカメラ１ｂの画像の中心に位置する。

移動物体１００が、図４（Ａ）に示す（ア）の方向に並進移動したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｗは図４（Ｄ）に示すように大きくなり、カメラ１ｂの画像においては、物体１０３の像１０３Ｗは図４（Ｆ）に示すように左側に移動する。また、移動物体１００が、図４（Ａ）に示す（イ）の方向に並進移動したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｘは図４（Ｅ）に示すように左側に移動し、カメラ１ｂの画像においては、物体１０３の像１０３Ｘは図４（Ｇ）に示すように小さくなる。

また、移動物体１００が、図４（Ａ）に示す（ウ）の方向に並進移動したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｙは図４（Ｈ）に示すように左側に移動すると共に大きくなり、カメラ１ｂの画像においては、物体１０３の像１０３Ｙは図４（Ｊ）に示すように左側に移動すると共に小さくなる。

更に、移動物体１００が、図４（Ａ）に示す（エ）の方向に回転したとすると、カメラ１ａの画像においては、物体１０１の像１０１Ｚは図４（Ｉ）に示すように左側に移動し、カメラ１ｂの画像においては、物体１０３の像１０３Ｚは図４（Ｋ）に示すように左側に移動する。

いずれにしろ、２個のカメラ１ａ及び１ｂの画像における移動が、並進移動と回転で異なるので、並進移動か回転か判別することができる。

以上、撮影方向が逆方向の２個のカメラを用いる場合と、撮影方向が９０°異なる２個のカメラを用いる場合を説明したが、撮影方向の差は特に限定されない。本発明は、撮影方向が異なればそれぞれのカメラが撮影する画像における並進移動と回転で変化が異なり、この違いを評価して並進移動と回転を判別する。但し、撮影方向の差が小さいとそれぞれの画像における並進移動と回転の違いが小さくなり、判別が難しくなるので、撮影方向の差はできるだけ大きいことが望ましく、例えば、撮影方向の差が９０°又は１８０°であることが望ましいがとくに限定されるものではない。

また、カメラの個数は２個に限定されず、互いに撮影方向の異なる３個以上のカメラを用いることも可能である。いずれにしろ、カメラの個数を増加させれば、画像処理量は増加するが、より多くの情報が得られるので、移動物体の動き量をより正確に検出できるようになる。

なお、各カメラが撮影した画像から、特徴点を抽出して追跡する処理などには、従来の技術がそのまま使用できる。この場合、すべてのカメラの撮影した特徴点の追跡結果をまとめて処理しても、各カメラの撮影した画像からそれぞれ動き量を算出し、その際に算出した動き量の信頼度も合わせて算出し、信頼度に応じて各カメラの画像から算出した動き量を合成してもよい。

また、移動物体の動き量の算出に関係する参照情報を検出する参照情報検出手段を移動物体に設け、その検出結果も利用して動き量を算出するようにしてもよい。例えば、複数のカメラの少なくとも１つの撮影範囲内の物体までの距離を計測する距離計測センサを設けて、視野内の物体までの距離を検出すれば、動き量をより正確に検出できる。このような距離計測センサは、例えば、レーザレンジファインダや、ステレオ画像距離センサであり、ステレオ画像距離センサの場合には、本発明の動き量検出装置を構成するカメラを、ステレオ画像距離センサを構成する２個のカメラの一方として使用することができる。

また、加速度センサやジャイロなどを利用した位置・姿勢センサやＧＰＳセンサなど他の位置・姿勢センサを併用することも可能である。例えば、本発明の動き量検出装置は、特徴点の抽出が難しい画像が撮影された場合には検出精度が低下するので、そのような場合には他の位置・姿勢センサの出力を利用するように切り換え、本発明の動き量検出装置の検出精度が回復した時には、この出力を利用するように切り換える。

また、ＧＰＳセンサは誤差の累積はないが、微小な動き量の検出は難しいという問題がある。そこで、本発明の動き量計算装置と組合せ、微小動き量の検出には本発明の動き量計算装置の出力を利用し、本発明の動き量計算装置の出力をＧＰＳセンサの出力で随時校正するようにしてもよい。

更に、本発明の動き量計算装置をナビゲーション装置と組合せ、本発明の動き量計算装置で短時間での動き量を検出し、ナビゲーション装置の地図情報で随時校正することも可能である。

本発明により、周囲の画像を連続して撮影し、その変化から移動物体の動き量を検出する動き量計算装置で、従来難しかった並進移動と回転の判別が正確に行えるようになり、動き量の検出精度が向上する。

図５は、本発明の第１実施例の動き量計算装置の概観図および概略構成図である。図５（Ａ）のように、基板５０の上に、４個のカメラ１ａ、１ｂ、１ｃ、１ｄが設けられている。４個のカメラ１ａ、１ｂ、１ｃ、１ｄはすべて同じ構成を有し、撮影方向（レンズの光軸の方向）は同一平面上にある。更に、カメラ１ａと１ｃの撮影方向及びカメラ１ｂと１ｄの撮影方向はそれぞれ１８０°異なり、カメラ１ａと１ｂの撮影方向は９０°異なる。第１実施例の動き量計算装置は、例えば、平面上を移動する搬送ロボットなどに搭載するのに適しており、自動車などに搭載することも可能である。動き量計算装置を搭載する場合には、搬送ロボット及び自動車などに、基板５０を固定する。

図５（Ｂ）は、第１実施例の動き量計算装置の構成図である。図５（Ｂ）において、処理部２１ａ〜２１ｄは、図１（Ｂ）の処理部２０と、動き算出部８を含まないこと以外は同じであり、非特許文献１などに記載された従来技術が適用でき、本発明は個別ユニットの処理には制限されない。動き量算出部９は、図２から図４で説明したようなカメラ１ａ〜１ｄの撮影方向の差による各画像における変化量の差を考慮して、各処理部２１ａ〜２１ｄの特徴点列記憶部６に記憶されたカメラ１ａ〜１ｄの撮影した画像における変化量およびカメラパラメータ記憶部７のカメラパラメータに基づいて、基板５０の動き量を算出する。例えば、処理を２段階として、前段の処理で、並進か回転かのおよその動きが推測された場合には、推定された動き以外の動きのある特徴点は除去し、後段の処理で、有意な特徴点のみを使用して動き量を算出することで最終的な精度を向上させるなどの処理を組み込むことが考えられる。

図６は、本発明の第２実施例の動き量計算装置の概略構成を示す図である。第２実施例の動き量計算装置は、図５に示した第１実施例の動き量計算装置と同様の外観を有し、処理部の構成のみが異なる。図５に示すように、第２実施例の動き量計算装置において、処理部２０ａ〜２０ｄは、図１（Ｂ）の処理部２０と同じであり、非特許文献１などに記載された従来技術が適用でき、本発明は個別ユニットの処理には制限されない。動き量統合算出部１０は、処理部２０ａ〜２０ｄで個別に算出した動き量に個別動き量の信頼度を合わせて算出して出力する。以下に信頼度の考え方を示す。

前述のように、１個のカメラで撮影した画像のみを処理しても並進移動と回転を判別するのは難しい。そこで、第２実施例では、各処理部が、並進移動と回転の可能性がそれぞれ５０％であるというような信頼度を付加した個別動き量を出力する。並進移動及び回転にはそれぞれ移動方向及び回転方向を示すデータが付されている。例えば、回転である場合には、すべての処理部が信頼度５０％で同じ方向の回転を示す個別動き量を出力すると考えられるので、動き量統合算出部１０は、すべての処理部がそのようなデータを出力した場合には回転と判定し、一部の処理部が回転を示す動き量を出力しない場合や、逆方向の回転を示す動き量を出力した場合には、回転でなく並進移動であると判定する。実際には、信頼度のもっと高いデータを選択して出力するようにしても、信頼度に応じて各動き量を加重平均しても、かなり良好な動き量が算出できる。例えば、並進移動の場合、撮影方向が逆方向の画像センサの撮影した画像を処理すると、逆方向の回転を示す動き量が同じような信頼度で出力されるので、加重平均を算出すると回転を示す動き量は相殺され、並進移動を示す動き量のみが残される。

なお、第１及び第２実施例において、動き量の算出に関しては、画像内の特徴点を用いて算出する方法について説明したが、動き量算出の基本となる方法はなんでもよく、とくに限定されるものではない。例えば、非特許文献２に開示されるように、複数の画像に対してピラミッド画像処理を適用し、低解像度の画像において局所的な処理ウインドウの相関演算により画像間における動きを求めて、その動き量をもとに画像をワープさせ、より解像度の高い画像に対して同様の処理を行う過程を繰り返して最終的な移動体自体の動き量を求める方式などを適用してもよい。

また、第１および第２実施例について、カメラ４個の場合を用いて説明したが、これに限定されるものではなく、例えば、図７（Ａ）のように、３個のカメラを用い、撮影方向が９０°異なる２個のカメラ１ａ及び１ｂを加えて、撮影方法がカメラ１ａ及び１ｂと９０°異なるカメラ１ｃを設けてもよい。

また、図７（Ｂ）のように、物体１００の上に、６個のカメラを用い、カメラ１ａと１ｃの撮影方向、カメラ１ｂと１ｄの撮影方向及びカメラ１ｅと１ｆの撮影方法はそれぞれ１８０°異なり、３つの撮影方向は互いに９０°異なる構成としてもよい。

さらに、図７（Ｃ）のように、第１実施例の構成の４個のカメラ１ａ〜１ｄの撮影方向が存在する平面に対して斜め上方に撮影方向を有するカメラ１ｅを更に設けた構成としてもよい。この構成では、例えば、自動車などに本発明の動き量計算装置を搭載する場合、図７（Ａ）のカメラ１ｃや図７（Ｂ）のカメラ１ｅの撮影方向は地面に垂直な方向を向いており、主として空を撮影することになる。もちろん雲などを撮影して特徴点を抽出することも可能であるが、雲のない晴天の空や曇天の場合、特徴点を抽出するのが難しくなる場合がある。これに対して、図７（Ｃ）のように、カメラ１ｅの撮影方向が斜め上方であれば、周辺の建物を撮影することになり、特徴点の抽出が容易に行え、検出精度が向上する。

図８は、本発明の第３実施例の動き量計算装置の概観と概略構成を示す図である。図８（Ａ）に示すように、第３実施例の動き量計算装置は、第１実施例の動き量計算装置において、カメラ１ｃの横に、カメラ１ｃの視野内の物体までの距離を計測するレーザレンジファインダ１１を設けた構成を有する。

図８（Ｂ）に示すように、動き量算出部３０は、レーザレンジファインダ１１の計測した物体までの距離の情報に基づいて動き量を算出する。特徴点として抽出された物体までの距離が分かれば、動き量の絶対値での算出が容易になる。

なお、第３実施例では、レーザレンジファインダ１１はカメラ１ｃの視野内の物体までの距離を計測するように１個のみ設けられているが、２個以上のレーザレンジファインダを設けることも可能である。次に説明する第４実施例は２個以上のレーザレンジファインダを設けた例である。

図９は、本発明の第４実施例の動き量計算装置の概略構成を示す図である。第４実施例の動き量計算装置は、第２実施例の動き量計算装置において、カメラ１ａ〜１ｄの横にカメラ１ａ〜１ｄの視野内の物体までの距離を計測するレーザレンジファインダ１１ａ〜１１ｄを設けた構成を有する。第４実施例では、図９に示すように、レーザレンジファインダ１１ａ〜１１ｄの計測した物体までの距離の情報を、処理部２２ａ〜２２ｄ内の動き量算出部３１に供給する。動き量統合算出部３２は、レーザレンジファインダ１１ａ〜１１ｄの計測した物体までの距離を考慮して、処理部２２ａ〜２２ｄの出力する画像における特徴点の変化量に基づいて、動き量の算出を行う。他の部分の説明は第２及び第３実施例と同じである。

また、物体までの距離が計測できれば、レーザレンジファインダ以外の距離計測装置を使用してもよく、例えば、別方法として、図１０に示すように、第１実施例のカメラ１ａ〜１ｄのうちの１つのカメラ（例えば１ｃ）の横に視野の重なるカメラ１ｅを設け、カメラ１ｃとカメラ１ｅの撮影した画像で、いわゆる三角測量の原理に基づくステレオ画像処理を行い、カメラ１ｃの視野内の物体までの距離を計測するものでもよい。

図１１は、本発明の第５実施例の動き量計算装置の外観と概略構成を示す図である。図１１（Ａ）に示すように、第５実施例の動き量計算装置は、第１実施例の動き量計算装置において、基板５０上に位置・姿勢センサ１２を設けた構成を有する。

図１１（Ｂ）に示すように、第５実施例の動き量計算装置は、第１実施例の動き量計算装置の構成において、位置・姿勢センサ１２を設け、動き量算出部４０は、位置・姿勢センサ１２の検出した基板５０の位置・姿勢に関する情報を考慮して、処理部２１ａ〜２１ｄの出力する画像における特徴点の変化量に基づいて、動き量の算出処理を行う構成を有する。

位置・姿勢センサ５１は、例えば、加速度センサやジャイロなどを利用した位置・姿勢センサである。また、移動量を検出装置、例えば自動車の場合であれば回転数センサなどを組み合わせることも可能である。処理部２１ａ〜２１ｄの検出した特徴点の変化が小さい場合には雑音の影響を受けて検出精度が低下し、逆に画像における変化量が大きい時にも検出精度が低下するので、そのような場合には、動き算出部４０は、位置・姿勢センサの出力するデータを考慮する割合を増加させて検出精度の低下を防止する。また、撮影した画像が一様で、特徴点の抽出が難しい場合にも検出精度が低下するので、同様に位置・姿勢センサの出力するデータを考慮する割合を増加させるようにする。

また、位置・姿勢センサ５１として、ＧＰＳセンサを使用することも可能である。ＧＰＳセンサは誤差の累積はないが、微小な動き量の検出は難しいという問題がある。そこで、動き算出部４０は、通常は画像から動き量を検出する本発明の動き量計算装置の出力を利用し、ＧＰＳセンサの出力で随時校正を行う。

図１２は、本発明の第６実施例の動き量計算装置の概略構成を示す図である。第６実施例の動き量計算装置は、第５実施例と同様に、第１実施例の動き量計算装置において、基板５０上に位置・姿勢センサ１２を設けた構成を有する。図１２に示すように、第６実施例の動き量計算装置は、第１実施例の動き量計算装置において、位置・姿勢センサ５１と、動き量算出部９の出力する動き量と位置・姿勢センサ１２の出力する動き量の一方を選択する選択処理部１３を設けた構成を有する。選択処理部１３は、第５実施例で説明したように、動き量算出部９の出力する動き量の信頼度が低い時には、位置・姿勢センサ１２の出力する動き量を選択して動き量として出力し、他の場合は動き量算出部９の出力する動き量選択して動き量として出力する。

図１３は、本発明の第７実施例の動き量計算装置の概略構成を示す図である。第７実施例の動き量計算装置は、第５実施例と同様に、第１実施例の動き量計算装置において、基板５０上に位置・姿勢センサ１２を設けた構成を有する。図１３に示すように、第７実施例の動き量計算装置は、通常、第１実施例の動き量計算装置の処理部２１ａ〜２１ｄで得られる特徴点列とカメラパラメータをもとに、動き量算出部４１で動き量を算出する。一方、位置・姿勢センサ１２も同じく動き量を出力する。センサ情報比較部１４は、動き量算出部４１と位置・姿勢センサ１２におけるそれぞれの同時刻の出力を比較し、対応関係を学習して、学習データ記憶部１５に出力する。動き量算出部４１は、例えば、夜間など画像からの動き量を求められない場合に、位置・姿勢センサ１２の動き量と、学習データ記憶部１５の対応関係をもとに、画像による動き量を推定する。

以上、本発明の実施例を説明したが、各実施例の構成の一部を組合せることも可能であることはいうまでもない。

更に、本発明の動き量計算装置をナビゲーション装置と組合せ、本発明の動き量計算装置で短時間での動き量を検出し、ナビゲーション装置の地図情報で随時校正することも可能である。特に、本発明では、周囲の画像を常時撮影しており、画像内の物体を認識して地図情報と比較することが可能であり、これにより検出した動き量を校正できる。

また、上記の説明では、１方向の撮影に１個のカメラを使用しており、４方向を撮影するには４個のカメラが必要であるが、カメラの個数の増加によるコストの増加や処理する画像データ量の増加を避けるため、１個のカメラで複数方向の画像を撮影する方式を使用してもよい。これには全方位カメラの使用や複数のイメージファイバを用いて画像を取得し、得られる画像をカメラで撮像する構成が考えられる。

以上、本発明を説明したが、本発明はこれに限定されるものではなく、実施例や変形例を組み合わせることが可能であり、画像処理により動き量を検出する処理などに言及していない従来技術を使用することが可能である。

本発明により、移動物体の並進移動や回転などの動き量を高精度で検出できるようになり、自走型の搬送ロボットや、自動車などの位置・姿勢センサとして利用できる。また、航空機やヘリコプターなどへの応用も可能である。

移動物体の動き量を検出する従来技術を説明する図である。 従来技術の問題点を説明する図である。 本発明の原理を説明する図である。 本発明の原理を説明する図である。 本発明の第１実施例の動き量計算装置の概観図と概略構成図である。 本発明の第２実施例の動き量計算装置の概略構成図である。 本発明の第１実施例および第２実施例に関する別の動き量計算装置の外観図である。 本発明の第３実施例の動き量計算装置の概観図と概略構成図である。 本発明の第４実施例の動き量計算装置の概略構成図である。 本発明の第３実施例および第４実施例に関する別の距離計算方式の概観図である。 本発明の第５実施例の動き量計算装置の概観図と概略構成図である。 本発明の第６実施例の動き量計算装置の概略構成図である。 本発明の第７実施例の動き量計算装置の概略構成図である。

符号の説明

１、１ａ−１ｆ カメラ
１００ 移動物体
１０１、１０２、１０３ （静止）物体
２０、２０ａ−２０ｄ、２１ａ−２１ｄ 処理部
１０、３２ 動き量統合算出部

Claims (3)

1. 移動物体に搭載された撮像部によって複数時刻に撮影された二次元画像を利用して当該移動物体の動き量を計算する動き量計算装置において、
   前記移動物体に設けられ、少なくとも一部は異なる方向を撮影する複数の撮像部と、
   前記複数の撮像部で撮像された二次元画像情報から、視野が異なるため動き量が異なる特性を示す性質を利用して前記移動物体の動き量を算出する動き量算出部と、
   前記移動物体に設けられ、前記移動物体の動き量を別に検出する位置・姿勢センサと、 過去の所定期間における前記位置・姿勢センサの出力情報と前記動き量算出部の算出情報とを対応させた学習データを保持する学習データ保持手段と、を備え、
   前記動き量算出部は、自己の算出方法で動き量が算出できない場合に、前記位置・姿勢センサによる動き量および前記学習データ保持手段による学習データを基に動き量を推定することを特徴とする動き量計算装置。
2. 前記撮像部から対象物までの距離情報を検出する距離情報検出手段を備え、
   前記動き量算出部は、前記複数の撮像部で撮像された二次元画像情報の視野が異なるため動き量が異なる特性を示す性質および前記距離情報検出手段で検出した距離情報に基づいて、動き量を算出する請求項１に記載の動き量計算装置。
3. 前記動き量算出部により算出された動き量及び前記位置・姿勢センサの検出した前記移動物体の動き量のいずれかを選択もしくは統合して前記移動物体の動き量として出力する統合処理部を備える請求項１に記載の動き量計算装置。

Images