JP3555159B2

JP3555159B2 - ３次元形状復元方法および装置

Info

Publication number: JP3555159B2
Application number: JP03207794A
Authority: JP
Inventors: 直哉太田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1994-03-02
Filing date: 1994-03-02
Publication date: 2004-08-18
Anticipated expiration: 2019-08-18
Also published as: JPH07244735A

Description

【０００１】
【産業上の利用分野】
本発明は、環境内の物体までの距離の情報を必要とする場合に、画像を解析して距離の情報を得る３次元形状復元方法および装置に関する。
【０００２】
【従来の技術】
環境内を自律的に移動する移動ロボットや、道路環境を自ら理解して走行する自立走行自動車において、テレビカメラで得られた画像をコンピュータで解析し、必要な情報を得る人工視覚システムを持つことが多い。これらのシステムでは、例えば障害物の検知などのために、環境内の物体までの距離の情報が必要とされる。画像を解析して距離の情報を得るための手法には、ステレオ視などと並んで、動画像の持つ移動情報を利用するＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎと呼ばれる手法がある。
【０００３】
動画像からオプティカルフローを検出する技術として、例えば
ＯｈｔａＮ．：“ＩｍａｇｅＭｏｖｅｍｅｎｔＤｅｔｅｃｔｉｏｎｗｉｔｈＲｅｌｉａｂｉｌｉｔｙＩｎｄｉｃｅｓ”，ＩＥＩＣＥＴｒａｎｓ．，Ｅ７４，１０，ｐｐ．３３７９−３３８８（Ｏｃｔ．１９９１）
に示されている手法があり、また、オプティカルフローからカメラの運動パラメータと撮影されている物体までの距離を計算する手法の例として
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
で報告されている手法がある。これら２つの手法により、動画像から物体までの距離とカメラの運動パラメータ、およびそれらの値に見積もられる誤差の分散が計算できる。しかし、これらの手法は、動画像のうちの２枚のフレームを用いるものである。カメラから次々と得られる動画像の各フレームから計算される距離情報とカメラの運動を時間的に融合し、より精度の良い結果を得るためにカルマンフィルタを利用する方法が
ＭａｔｔｈｉｅｓＬ．Ｍ．，ＫａｎａｄｅＴ．，ＳｚｅｌｉｓｋｉＲ．：“ＫａｌｍａｎＦｉｌｔｅｒ−ｂａｓｅｄＡｌｇｏｒｉｔｈｍｓｆｏｒＥｓｔｉｍａｔｉｎｇＤｅｐｔｈｆｒｏｍＩｍａｇｅＳｅｑｕｅｎｃｅ”，Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，３，ｐｐ．２０９−２３６（１９８９）
によって示された。しかし、この報告では具体例としてカメラの運動が回転を含まない場合のみを議論しており、一般的なカメラの運動に対しては
ＨｅｅｌＪ．：“ＤｙｎａｍｉｃＭｏｔｉｏｎＶｉｓｉｏｎ”，Ｐｒｏｃ．ｏｆＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇＷｏｒｋｓｈｏｐ ’８９，ｐｐ．７０２−７１３（１９８９）
によって示された。
【０００４】
【発明が解決しようとする課題】
Ｈｅｅｌによって提案された方法は、オプティカルフローと距離情報との関係式を線形化し、拡張カルマンフィルタを適用するものである。しかし、オプティカルフローと距離情報との関係は非線形性が強いので、この方法が正しく動作するためのカメラの運動は制限されたものとなり、また、動作の安定性にも問題があった。一般的なカメラの運動に対して安定な動作を可能にするためには、この問題が持つ非線形性を十分考慮してアルゴリズムを構成する必要がある。
【０００５】
本発明の目的は、動画像の各フレームから得られる距離情報とカメラの運動を時間的に融合し、より正確な情報を安定して得ることのできる３次元形状復元方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手段と、前記オプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手段と、これら２つの方法を動画像に対して連続的に適用することで得られる多数の物体までの距離とカメラの運動の推定値とそれらの共分散行列を時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手段とを備える３次元形状復元装置において、
前記距離情報融合手段は、前記距離情報計算手段によって計算される物体までの距離の推定値とカメラの運動の推定値の各々に対して独立なカルマンフィルタを構成することを特徴としている。
【０００７】
また、本発明は、距離情報計算手段の入力としてオプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映する距離情報融合手段を採用することを特徴としている。
【０００８】
【作用】
非線形性の強いオプティカルフローと距離情報およびカメラの運動との関係に対して、直接拡張カルマンフィルタを適用すると不安定な動作となる。そこで、距離情報計算手段において問題の持つ非線形性を十分考慮した処理を行い、線形近似が有効となる値を得てからそれらの値に対してカルマンフィルタを適用する。オプティカルフロー計算手段によって動画像からオプティカルフローとそれに見積もられる誤差の共分散行列を計算し、距離情報計算手段によってカメラの運動パラメータと距離情報およびそれらに含まれる誤差の共分散行列を計算する。これらの値は、距離情報融合手段のカルマンフィルタで時間的に融合され、より正確な値となる。距離情報計算手段によって計算される距離情報とカメラの運動パラメータには相関があるので、両者を一括してカルマンフィルタを構成することも考えられるが、状態ベクトルの次元が非常に大きなものとなるため、実際の手法としては現実的ではない。従って、距離情報とカメラの運動パラメータ各々について独立したカルマンフィルタを構成する。なお、距離情報計算手段への入力としてオプティカルフローとは別にカメラの運動速度があるが、これは以下の理由による。オプティカルフローから解析して得られる距離情報は、カメラの並進運動の大きさとの相対的な値のみであり、絶対的な値は知ることができない。距離情報融合手段のカルマンフィルタが正しい動作を行うためには絶対的な値が必要であり、これを得るためには、距離情報計算手段において、カメラの並進運動の絶対値、すなわちカメラの運動速度が速度計などカメラ以外の装置から入力される必要があるからである。しかし、現実的には、カメラの運動はなめらかであることが多く、時間を短時間に限れば、速度が一定であると仮定しても問題がない場合も多い。その場合には、カメラの速度の計測値とそれに含まれるノイズの分散は、適当な値を設定すればよい。
【０００９】
【実施例】
次に、本発明の実施例について、図面を参照して説明する。図１は、本発明の３次元形状復元装置の一実施例を示す構成図である。図１に示す３次元形状復元装置は、動画像からオプティカルフローの推定値とそれに見積もられる誤差の共分散行列を計算するオプティカルフロー計算手段１０と、オプティカルフローの推定値と共分散行列およびカメラの並進運動の大きさとそれに含まれるノイズの分散を用いて撮像されている物体までの距離情報とカメラの運動パラメータの推定値およびそれらに含まれる誤差の共分散行列を計算する距離情報計算手段２０と、距離情報の推定値とカメラの運動パラメータの推定値の各々に対して独立なカルマンフィルタ３０，４０を構成し、距離情報とカメラの運動パラメータの精度の高い推定値とその共分散行列を計算する距離情報融合手段５０とを備えている。
【００１０】
まず、図１のオプティカルフロー計算手段１０については、オプティカルフローとそれに含まれるノイズの共分散行列を出力する手法ならば、本発明の手法で使用することができる。例えば前記の文献
ＯｈｔａＮ．：“ＩｍａｇｅＭｏｖｅｍｅｎｔＤｅｔｅｃｔｉｏｎｗｉｔｈＲｅｌｉａｂｉｌｉｔｙＩｎｄｉｃｅｓ”，ＩＥＩＣＥＴｒａｎｓ．，Ｅ７４，１０，ｐｐ．３３７９−３３８８（Ｏｃｔ．１９９１）
または
太田直哉：“オプティカルフローからの形状復元とその移動物体検出”，計測自動制御学会，第２５回パターン計測部会資料，ｐｐ．７−１３（１９９３／１１／１９）
で報告されている手法が利用できる。この手法は、画像上の点ｉでそこでの移動ベクトルの推定値ｕ_ｉ ^＊とその推定値の誤差の共分散行列Ｖ_ｕｉ（より正確にはその逆行列Ｖ_ｕｉ ^−１）を出力する。
【００１１】
次に、距離情報計算手段２０では、前記の文献
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
に述べられている手法が参考になるが、この手法では、カメラの並進運動の大きさを入力する場合については述べられていないので、以下に述べる。
【００１２】
撮像系のモデルとして焦点距離１の中心投影系を採用する。カメラが静止環境中を並進速度Ｔ，回転速度Ｒで移動したときに、画像上の点ｉ（位置を（ｘ_ｉ，ｙ_ｉ）とする）に生じるオプティカルフローｕ_ｉは次式で表される。
【００１３】
【数１】

【００１４】
ただし、
【００１５】
【数２】

【００１６】
上式において、添え字ｉ（＝１，・・・，Ｎ）は画像上の各々の点に対応する番号、ｐ_ｉは画像上の点ｉでのＺ座標値の逆数（インバースデプスと呼ぶ）である。一方、カメラの速度ｋは次式で与えられる。
【００１７】
ｋ＝｜Ｔ｜＝（Ｔ_ｘ ^２＋Ｔ_ｙ ^２＋Ｔ_ｚ ^２）^１／２（２）
ここで、距離情報計算手段２０の入力となる量であるオプティカルフローとカメラの速度を１つのベクトルｙ、計算すべき量であるカメラの並進・回転速度とインバースデプスを１つのベクトルθにまとめて表記する。
【００１８】
ｙ＝［ｕ_１ｖ_１ｕ_２ｖ_２・・・ｕ_Ｎｖ_Ｎｋ］^Ｔ（３）
θ＝［Ｔ_ｘＴ_ｙＴ_ｚＲ_ｘＲ_ｙＲ_ｚｐ_１ｐ_２・・・ｐ_Ｎ］^Ｔ
ベクトルｙはθの関数ｙ（θ）であり、詳細は式（１）および（２）で与えられる。
【００１９】
次に、オプティカルフロー計算手段１０によって実際の動画像から計算されるオプティカルフローと速度計などにより計測されるカメラの速度から作られる観測ベクトルｙ^＊は、真の値ｙに平均０の多次元ガウスノイズｎが加わったものとして確率的なモデル化を行う。
【００２０】
ｙ^＊＝ｙ（θ）＋ｎ（４）
ノイズｎの共分散行列をＶ_ｙとすると、パラメータθが与えられたときに計測値ｙ^＊が観測される確率Ｐ（ｙ^＊｜θ）は次式となる。
【００２１】
Ｐ（ｙ^＊｜θ）＝（２π）^−Ｎ／２｜Ｖ_ｙ｜^−１／２ｅｘｐ（−Ｊ／２）（５）
Ｊ＝（ｙ^＊−ｙ（θ））^ＴＶ_ｙ ^−１（ｙ^＊−ｙ（θ））
計測値ｙ^＊が観測されたときのパラメータθの最ゆう推定値θ_ＭＬは、式（５）を最大にするθ、すなわちＪを最小にするθである。Ｊの最小化は、最急勾配法などの非線形最適化の手法を用いることができる。また、文献
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
の第２．３節に示されている最小化アルゴリズムにおいて、カメラの並進速度の大きさ｜Ｔ｜を１に正規化するステップをカメラの速度の計測値ｋ^＊の大きさにするように変更することで、このアルゴリズムがそのまま適用可能である。
【００２２】
次に、推定されたパラメータθ_ＭＬの誤差の共分散行列の計算法について述べる。関数ｙ（θ）の非線形性により、厳密に共分散行列を計算することは容易ではないので、ｙ（θ）をθ_ＭＬ周りでテーラー展開し、１次の項までとることによって線形化する。
【００２３】
ｙ_Ｌ＝ｙ（θ_ＭＬ）＋（ｄｙ／ｄθ）（θ−θ_ＭＬ）（６）
ここで、ｄｙ／ｄθはヤコビ行列である。式（６）をθについて解くと次式となる。
【００２４】
θ＝（ｄｙ／ｄθ）^−１（ｙ_Ｌ−ｙ（θ_ＭＬ））＋θ_ＭＬ（７）
ベクトルｙ_Ｌの共分散行列をＶ_ｙとすれば、θの共分散行列Ｖ_ｈは
Ｖ_ｈ＝（ｄｙ／ｄθ）^−１Ｖ_ｙ（（ｄｙ／ｄθ）^−１）^Ｔ（８）
となる。オプティカルフロー検出方法によって得られる分散情報は、共分散行列の逆行列である関係上、実際の計算では、Ｖ_ｙの逆行列を用いて計算を行う方が効率的である。そこで、式（８）の逆行列を作り、実際の計算ではこれを用いる。
【００２５】
Ｖ_ｈ ^−１＝（ｄｙ／ｄθ）^ＴＶ_ｙ ^−１（ｄｙ／ｄθ）（９）
一方、距離情報融合手段３０において、計算の容易性からカメラの運動パラメータｍと各インバースデプスｐ_ｉに関して独立にカルマンフィルタを構成するので、そのためには、式（９）からそれぞれの共分散行列を作り出す必要がある。ここで、運動パラメータｍとは
ｍ＝［Ｔ_ｘＴ_ｙＴ_ｚＲ_ｘＲ_ｙＲ_ｚ］^Ｔ（１０）
である。そこでＶ_ｈ ^−１から対応する部分行列を取り出し、それをそれぞれの変数に対する分散の逆行列として使用する。すなわち、カメラの運動パラメータに関しては、Ｖ_ｈ ^−１の１行１列から６行６列までの部分行列を運動パラメータの分散の逆行列Ｖ_ｍ ^−１とし、ｉ番目のインバースデプスに関しては、ｉ＋６行ｉ＋６列の対角成分を分散の逆数１／σ_ｐｉ ^２とする。この操作は、各変数の分散を他の変数の正しい値が得られた場合の条件付き確率で見積もっていることに相当する。
【００２６】
ここで、今まで述べたことをまとめておく。まず、オプティカルフロー計算手段１０によって、画像上の各点での移動ベクトルｕ_ｉ ^＊とその共分散行列の逆行列Ｖ_ｕｉ ^−１が計算されると共に、速度計などからカメラの移動速度ｋが得られる。移動速度ｋ^＊にはσ_ｋ ^２の分散の誤差が含まれているとする。このときｕ_ｉ ^＊およびｋ^＊の誤差は独立であると仮定する。これらから観測ベクトルｙ^＊と共分散行列の逆行列Ｖ_ｙ ^−１を作り、距離情報計算手段２０の入力とする。観測ベクトルｙ^＊は、式（３）で示した順序に各要素を並べる。行列Ｖ_ｙ ^−１は、２行２列の行列Ｖ_ｕｉ ^−１をその対角要素、すなわち２ｉ−１行２ｉ−１列から２ｉ行２ｉ列までの２行２列の部分行列になるように並べ、最後の対角成分２Ｎ＋１行２Ｎ＋１列の要素は１／σ_ｋ ^２とする。残りの部分は０とする。このようにして作られたｙ^＊とＶ_ｙ ^{− １}を用いて式（５）を最小化し、θ_ＭＬを計算すると共に、式（９）によりＶ_ｈ ^−１を求める。さらに、式（１０）を参考にθ_ＭＬを分解してｍ_ＭＬとｐ_ＭＬｉ、Ｖ_ｈ ^−１を分解してＶ_ｍ ^−１と１／σ_ｐｉ ^２を得る。Ｖ_ｍ ^−１と１／σ_ｐｉ ^２の具体的な形は、式（１）および（９）から計算され、次のようになる。
【００２７】
【数３】

【００２８】
距離情報融合手段３０においては、前述のごとくカメラの運動パラメータｍと各インバースデプスｐ_ｉに関して独立にカルマンフィルタを構成する。距離情報計算手段２０によってθ_ＭＬとその共分散行列の逆行列Ｖ_ｈ ^−１が得られているので、理論的にはθを状態ベクトルとしてカルマンフィルタを構成することができる。しかし、このようなカルマンフィルタを構成すると、実際にＶ_ｈ ^−１の逆行列を数値計算により求める必要があり、その大きな次元数のため処理量と安定性の面で問題がある。それを避けるために、θをカメラの運動パラメータｍと各インバースデプスｐ_ｉに分解し、それぞれ独立にカルマンフィルタを構成する。
【００２９】
最初にカメラの運動パラメータｍのカルマンフィルタについて述べる。カメラの並進・回転速度は、微少時間では一定であると考え、状態遷移行列を単位行列とし、システムノイズの共分散行列をＱ_ｍとすると、時間更新アルゴリズムは次のようになる。
【００３０】
ｍ_ｔ＋１ ⁻＝ｍ_ｔ ^＋（１２）
Ｖ_ｍｔ＋１ ⁻＝Ｖ_ｍｔ ^＋＋Ｑ_ｍ
一方、観測更新アルゴリズムは次式で与えられる。
【００３１】
ｍ_ｔ ^＋＝ｍ_ｔ ⁻＋Ｋ_ｍｔ（ｍ_ｔ ^＊−ｍ_ｔ ⁻）（１３）
Ｖ_ｍｔ ^＋＝（Ｉ−Ｋ_ｍｔ）Ｖ_ｍｔ ⁻
Ｋ_ｍｔ＝Ｖ_ｍｔ ⁻（Ｖ_ｍｔ ⁻＋Ｖ_ｍｔ ^＊）^−１
これらの式で、ベクトルおよび行列の添字ｔおよびｔ＋１は時間ステップを、肩の＋および−はそれぞれ観測更新値と時間更新値を表す。また、Ｉは単位行列であり、ｍ_ｔ ^＊およびＶ_ｍｔ ^＊は時刻ｔにおける観測値とその分散で、距離情報計算手段２０で計算されたｍ_ＭＬとＶ_ｍ ^−１の逆行列を使用する。
【００３２】
次に、インバースデプスｐ_ｉのカルマンフィルタを構成する。時刻ｔに３次元座標がＸ_ｔ ^＊であった物体上の点は、その時刻のカメラの並進・回転速度がＴ_ｔ＊ _およびＲ _ｔ ^＊とすれば、単位時間後の座標値Ｘ_ｔ＋１ ^＊は次式で与えられる。
【００３３】
Ｘ_ｔ＋１ ^＊＝−Ｔ_ｔ ^＊−Ｒ_ｔ ^＊×Ｘ_ｔ ^＊（１４）
Ｘ_ｔ ^＊＝（Ｘ_ｔＹ_ｔＺ_ｔ）^Ｔ
Ｘ_ｔ＋１ ^＊＝（Ｘ_ｔ＋１Ｙ_ｔ＋１Ｚ_ｔ＋１）^Ｔ
上式のＺ_ｔとＺ_ｔ＋１の関係から両時刻のインバースデプスの関係は次のようになる。
【００３４】
ｐ_ｉｔ＋１＝ｐ_ｉｔ／（１＋Ｒ_ｙｔｘ_ｉｔ−Ｒ_ｘｔｙ_ｉｔ−Ｔ_ｚｔｐ_ｉｔ）（１５）
ここで、上式をｐ_ｉｔで微分すると次式となる。
【００３５】
ｄｐ_ｉｔ＋１／ｄｐ_ｉｔ＝（Ｔ_ｚｔｐ_ｉｔ）／（１＋Ｒ_ｙｔｘ_ｉｔ−Ｒ_ｘｔｙ_ｉｔ−Ｔ_ｚｔｐ_ｉｔ）^２＋１／（１＋Ｒ_ｙｔｘ_ｉｔ−Ｒ_ｘｔｙ_ｉｔ−Ｔ_ｚｔｐ_ｉｔ）（１６）
式（１５）および（１６）より、時間更新アルゴリズムが得られる。
【００３６】
ｐ_ｉｔ＋１ ⁻＝ｐ_ｉｔ ^＋／（１＋Ｒ_ｙｔｘ_ｉｔ−Ｒ_ｘｔｙ_ｉｔ−Ｔ_ｚｔｐ_ｉｔ ^＋）（１７）
σ_{ｐｉｔ＋１} ^２−＝（ｄｐ_ｉｔ＋１／ｄｐ_ｉｔ）^２σ_ｐｉｔ ^２＋＋Ｑ_ｐ
Ｒ_ｙｔ，Ｒ_ｘｔ，Ｔ_ｚｔは、カメラの運動パラメータのカルマンフィルタの推定値ｍ_ｔ＋ _{の対応する要素を用いる。また、Ｑ} _ｐは、インバースデプスに関するシステムノイズである。
【００３７】
一方、観測更新アルゴリズムは次のようになる。
【００３８】
ｐ_ｉｔ ^＋＝ｐ_ｉｔ ⁻＋Ｋ_ｐｔ（ｐ_ｉｔ ^＊−ｐ_ｉｔ ⁻）（１８）
σ_ｐｉｔ ^２＋＝（１−Ｋ_ｐｔ）σ_ｐｉｔ ^２−
Ｋ_ｐｔ＝σ_ｐｉｔ ^２−／（σ_ｐｉｔ ^２−＋σ_ｐｉｔ ^２＊）
ここで、ｐ_ｉｔ ^＊およびσ_ｐｉｔ ^２＊は、時刻ｔに距離情報計算手段２０によって計算された値ｐ_ＭＬｉおよびσ_ｐｉ ^２に対応する。さて、以上で物体上に固定された点のインバースデプスに関するカルマンフィルタが構成されたが、その点は、カメラの運動によって画像上を移動する。従って、ある時刻でのインバースデプスｐ_ｉに対応する点は、次の時刻では画像上の異なった位置にあるので、補間によってこれらを関係づける必要があるが、これは次のようにして達成される。式（１８）で示される観測更新アルゴリズムを適用する際に、式（１３）で計算されるその時刻のカメラの運動パラメータの推定値ｍ_ｔ ^＋から式（１）を用いて推定されるオプティカルフローｕ_ｉ ^＋を計算する。観測値ｐ_ｉｔ ^＊に対応する予測値ｐ_ｉｔ ⁻は、単位時間前には画像上で−ｕ_ｉ ^＋だけ離れた位置に存在することになるので、ｐ_ｉｔ ⁻の画像を内挿してその位置での値を求め、式（１８）内のｐ_ｉｔ ⁻として使用する。この様子を１次元の図として図２に示した。内挿の方法には、最近隣内挿法、共１次内挿法、３次たたみ込み内挿法などがあり、そのいずれも使用することができる。詳細は以下の参考文献に述べられている。
【００３９】
高木幹雄，下田陽久監修：画像解析ハンドブック，東京大学出版会，ｐｐ．４１１−４４４（１９９１）
また、予測値ｐ_ｉｔ ⁻の位置を単位時間だけ前の運動パラメータの推定値ｍ_ｔ−１ ^＋から計算する方法もある。これにはｍ_ｔ−１ ^＋を式（１）に代入して時刻ｔ−１のオプティカルフローｕ_ｉ ^＋を推定し、図３に示すようにｐ_ｉｔ ⁻の位置を移動する。移動された位置を標本点として内挿し、観測値ｐ_ｉｔ ^＊の位置の値を得る。この方法では、内挿すべき画像の標本点が規則正しい格子上に存在しないので、内挿問題がやや複雑になる。この場合の内挿の１例として以下の方法がある。まず、計算しようとする点に最も近く、かつその点を内部に含むような３つの標本点を決定する。これらの標本点の位置をそれぞれ（ｘ_ａ，ｙ_ａ），（ｘ_ｂ，ｙ_ｂ），（ｘ_ｃ，ｙ_ｃ）とし、値をｐ_ａ，ｐ_ｂ，ｐ_ｃとすると、位置（ｘ，ｙ）の点での値ｐは次式で与えられる。
【００４０】
ｐ＝（ｃ_１ｘ＋ｃ_２ｙ＋ｃ_３）／ｃ_４（１９）
ｃ_１＝（ｙ_ａ−ｙ_ｂ）ｐ_ａ＋（ｙ_ａ−ｙ_ｃ）ｐ_ｂ＋（ｙ_ｂ−ｙ_ａ）ｐ_ｃ
ｃ_２＝（ｘ_ｂ−ｘ_ｃ）ｐ_ａ＋（ｘ_ｃ−ｘ_ａ）ｐ_ｂ＋（ｘ_ａ−ｘ_ｂ）ｐ_ｃ
ｃ_３＝（ｘ_ｃｙ_ｂ−ｘ_ｂｙ_ｃ）ｐ_ａ＋（ｘ_ａｙ_ｃ−ｘ_ｃｙ_ａ）ｐ_ｂ＋（ｘ_ｂｙ_ａ−ｘ_ａｙ_ｂ）ｐ_ｃ
ｃ_４＝（ｘ_ｂ−ｘ_ｃ）ｙ_ａ＋（ｘ_ｃ−ｘ_ａ）ｙ_ｂ＋（ｘ_ａ−ｘ_ｂ）ｙ_ｃ
予測値ｐ_ｉｔ ⁻と同様に分散σ_ｐｉｔ ^２−の内挿も必要であるが、これも以上述べた方法によって達成される。ただし、分散の場合には平方根を求めて標準偏差に直してから内挿を行い、自乗して分散に戻すという操作を行う。
【００４１】
【発明の効果】
本発明によって示された方法および装置を使用することで、動画像の各フレームから得られる距離情報とカメラの運動を時間的に融合し、より正確な情報を安定して得ることができる。
【図面の簡単な説明】
【図１】本発明の３次元形状復元装置の一実施例を示す構成図である。
【図２】インバースデプスの内挿方法を説明する図である。
【図３】インバースデプスの内挿方法を説明する図である。
【符号の説明】
１０オプティカルフロー計算手段
２０距離情報計算手段
３０距離情報融合手段
４０距離情報カルマンフィルタ
５０運動パラメータカルマンフィルタ

Claims

動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手順と、そのオプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手順と、これら２つの手順を動画像に対して連続的に適用することで得られる多数の物体までの距離の推定値とカメラの運動の推定値に対して独立に構成されたカルマンフィルタを適用して時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手順を含むことを特徴とする３次元形状復元方法。
請求項１記載の３次元形状復元方法において、オプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を入力して使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映することを特徴とする３次元形状復元方法。
動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手段と、前記オプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手段と、これら２つの方法を動画像に対して連続的に適用することで得られる多数の物体までの距離とカメラの運動の推定値とそれらの共分散行列を時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手段とを備える３次元形状復元装置において、
前記距離情報融合手段は、前記距離情報計算手段によって計算される物体までの距離の推定値とカメラの運動の推定値の各々に対して独立なカルマンフィルタを構成することを特徴とする３次元形状復元装置。
請求項３記載の３次元形状復元装置において、距離情報計算手段の入力としてオプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映する距離情報融合手段を採用することを特徴とする３次元形状復元装置。
動画像からオプティカルフローの推定値とオプティカルフローに見積もられる誤差の共分散行列を計算するオプティカルフロー計算手段と、
前記オプティカルフローの推定値と共分散行列およびカメラの並進運動の大きさとそれに含まれるノイズの分散を用いて撮像されている物体までの距離情報とカメラの運動パラメータの推定値および距離情報とカメラの運動パラメータに含まれる誤差の共分散行列を計算する距離情報計算手段と、
前記距離情報の推定値と共分散行列に対して適用する距離情報カルマンフィルタと、前記カメラの運動パラメータの推定値と共分散行列に対して適用する運動パラメータカルマンフィルタとを備え、距離情報とカメラの運動パラメータの精度の高い推定値と誤差の共分散行列を計算する距離情報融合手段とを備えることを特徴とする３次元形状復元装置。