JP3548652B2

JP3548652B2 - 物体形状復元装置及びその方法

Info

Publication number: JP3548652B2
Application number: JP19489896A
Authority: JP
Inventors: 寛服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-07-24
Filing date: 1996-07-24
Publication date: 2004-07-28
Anticipated expiration: 2016-07-24
Also published as: JPH1040385A

Description

【０００１】
【発明の属する技術分野】
本発明は、自律移動ロボットの視覚や、コンピュータグラフィクス映像作成に利用できる物体形状装置及びその方法であって、特に、カメラから得られる画像情報から物体の３次元形状と、カメラの相対的な運動（視点間の位置関係）を求めるものに関する。
【０００２】
【従来の技術】
近年、ＴＶカメラ等の視覚センサから得られる情報を用いて、環境や物体の３次元形状、位置を計測する研究が盛んに行われている。この技術により、例えばロボットが視覚機能を備え、周囲の環境変化に柔軟に対応して行動することができる。また、３次元情報を用いた、より高度な画像監視、画像検査等を行うことが可能となる。さらに、画像から物体や環境の形状を復元することにより、例えば、コンピュータグラフィクス映像作成の際に必要な、映像化する対象の３次元形状データ等の入力（モデリング）を省力化することもできる。
【０００３】
画像から形状復元は、観測視点の相対的な位置関係を未知とするか既知とするかで大きく２つに分けることができる。
【０００４】
既知とする場合には、ターンテーブルを用いたり、マニピュレータの先端にカメラを取り付ける等、視覚センサ以外の装置を用いて観測視点の相対的な位置関係を計測する。しかし、ターンテーブルの大きさ、マニピュレータの可動範囲の制約により、対象物の大きさが制限されたり、視覚センサ以外の装置の分、コストが大きくなるという問題がある。
【０００５】
未知とする場合には、多視点で得られた画像情報から物体形状と観測視点間の相対的な位置関係（カメラの運動）を同時に復元する。この場合、さらに２台のカメラ、すなわち、ステレオカメラから得られる画像系列を用いるか、１台のカメラから得られる画像系列を用いるかで大きく２つの方法に分けることができる。
【０００６】
２台のカメラを用いる方法は、各観測視点で３次元形状を復元し、それらを統合していく。ある観測視点でステレオカメラから得られた２枚の画像から３次元形状を復元する方法は、一般にステレオ法と呼ばれる（参考文献：谷内田正彦著「コンピュータビジョン」，丸善，１９９０）。２台以上のカメラを用いても良いが、基本的には２台のカメラを用いる場合と同じであるので、以下では２台のカメラを用いる場合について説明する。ステレオ法は、基本的には相対的な位置と方向が既知である左右２台のカメラから得られる２枚のステレオ画像から、３次元空間中で同一点に対応する点同士を対応づけ、三角測量の原理を用いて、その点の３次元座標を算出する方法である。以下、ステレオ法により得られる３次元形状をステレオデータと呼ぶ。
【０００７】
【数１】

物体上のｎ個の特徴点を第１、第２視点から計測し、その２視点間の相対的な位置関係を求め、各視点のステレオデータを統合する方法の概略を以下に示す。図１のように、第１視点から見た対象物上の特徴点の位置をベクトルＰ_ｉ（ｉ＝１〜ｎ）、第２視点から見た対象物上の特徴点の位置をベクトルＰ′_ｉ（ｉ＝１〜ｎ）とする。ここで、各ベクトルＰ_ｉ、ベクトルＰ′_ｉは、３次元空間中で同一点に対応する。第１視点を中心とする回転を表す回転行列をＲ、平行移動量を表す並進ベクトルをベクトルＴとすれば、これらのパラメータ間に以下の関係式が成り立つ。
【０００８】
【数２】

行列の特異値分解を用いれば、運動パラメータＲ、ベクトルＴは解析的に求めることができ（参考文献：「画像理解」，森北出版，１９９０）、その運動パラメータを用いれば各視点のステレオデータを基準座標系に変換し、統合することができる。
【０００９】
１台のカメラによって得られる画像系列から特徴点を追跡し、その特徴点の画像中の動きから特徴点同士の相対的な位置関係を求める方法はＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（ＳＦＭ）法と呼ばれる。ＳＦＭ法はステレオ法のように複数のカメラを用いる必要がないため、簡便である反面、一般に非線形連立方程式を解くことになり、解を安定に求めることは極めて困難である。しかし、カメラモデルとして弱中心投影モデルを仮定すると、線型計算でカメラの相対運動と物体形状を求めることができる。通常、カメラの投影モデルとしては中心投影モデルが用いられる。中心投影モデルでは、３次元空間中に設定されたある点を原点とするワールド座標系に対する３次元座標が（ｘ，ｙ，ｚ）である点Ｐ_ｉ（ｉ＝１〜ｎ）が、画像上で（ｕ，ｖ）に投影されるとき、（ｘ，ｙ，ｚ）と（ｕ．ｖ）の間には、
【数３】

という非線型の関係式が成り立つ。ｈ_１１〜ｈ_３４はカメラのワールド座標系に対する位置や方向、カメラレンズの焦点距離等によって決まるパラメータである。両式の分母は、カメラの視点と点Ｐ_ｉの光軸方向の距離である。これは一般に奥行きと呼ばれる。中心投影では、奥行きｄを（ｘ，ｙ，ｚ）の関数として表す。
【００１０】
【数４】

弱中心投影モデルでは、まず（Ｐ_ｉ（ｉ＝１〜ｎ）の奥行きをＰ_ｉ（ｉ＝１〜ｎ）の重心Ｃの奥行きｄ_ｃと、重心からの変位Δｄ（ｘ，ｙ，ｚ）に分離して考える。
【００１１】
【数５】

ｄ_ｃは物体とカメラとの平均距離、Δｄは物体形状を表している。ここで、Δｄが、ｄ_ｃに比べて小さい場合（Δｄ＜＜ｄ_ｃ）、
【数６】

となる。ｄ_ｃは点Ｐ_ｉ（ｉ＝１〜ｎ）によらず一定であるから、点Ｐ_ｉ（ｉ＝１〜ｎ）の奥行きｄは一定と近似することができる。この場合、式（３）で両式の分母をｈ（一定）とおいて、（ｘ，ｙ，ｚ）と（ｕ，ｖ）の関係が、
【数７】

となる。つまり、ある点の３次元位置と画像上の投影位置の関係が線型となり、従来よりも安定に物体形状とカメラ運動を復元することができる。しかし、この方法は、投影モデルとして中心投影の近似である弱中心投影モデルを仮定しているので、
【数８】

という関係が成り立たない場合には、著しく精度が悪くなるという問題がある。具体的に言えば、物体がカメラから遠く、かつ、形状の光軸方向の広がりが小さい場合にしか適用できないという問題がある。
【００１２】
また、１台のカメラを用いる方法、ステレオカメラを用いる方法に共通する以下の問題がある。いずれの方法においても、異なる視点で得られた画像間で、３次元空間中で同一点に対応する点同士を対応づける必要があり、さらに、ステレオカメラを用いる方法では、１視点で得られる左右の画像間で３次元空間中で同一点に対応する点同士を対応づける必要がある。しかし、実画像でこれらの対応づけを正確に行うことは極めて困難であり、誤りを訂正する手段が必要であるが、従来の方法では誤りを訂正する手段がないため、形状の誤差が著しく大きくなるという問題がある。
【００１３】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、物体−カメラ間の距離、物体の大きさ、カメラの運動の制約がなく、さらに、誤対応による精度の低下を防ぎ、物体形状とカメラ運動を高速かつ高精度に復元する物体形状装置及びその方法を提供する。
【００１４】
請求項１の発明は、基準座標系における物体の３次元形状を、ステレオカメラを用いて多視点で撮影した画像データで復元する物体形状復元装置であって、
前記物体を多視点から撮影した前記画像データをそれぞれ記憶した画像記憶手段と、前記画像記憶手段によって記憶された各視点毎の画像データに基づいて、各視点座標系に対する前記物体形状と、前記物体における各特徴点の視点間の対応関係を示すステレオ計測行列を作成し、また、そのステレオ計測行列の各要素の信頼度から構成される信頼度行列を作成する計測テーブル作成手段と、前記計測テーブル作成手段によって作成された信頼度行列の信頼度を、前記ステレオ計測行列、前記信頼度行列、前記各視点における基準座標系に対する回転行列と並進ベクトルとからなる視点の運動の情報を用いて訂正する誤り訂正手段と、前記ステレオ計測行列、前記信頼度行列、前記視点の運動を用いて、前記物体の３次元形状を復元する形状復元手段からなる物体形状復元装置である。
【００２１】
請求項２の発明は、前記誤り訂正手段が、前記計測テーブル作成手段によって作成された信頼度行列の中で、前記物体の３次元形状データのうち誤差が大きいデータの信頼度を下げることを特徴とする請求項１に記載の物体形状復元装置である。
【００２２】
請求項３の発明は、前記形状復元手段が、前記誤り訂正手段によって訂正された信頼度行列、前記ステレオ計測行列によって視点の運動を求め、前記求めた視点の運動から、前記物体の３次元形状データと前記各３次元形状データの誤差をそれぞれ求め、前記求めた誤差が小さい場合は信頼度を高くして、この信頼度の高い３次元形状データを、復元する３次元形状とすることを特徴とする請求項１に記載の物体形状復元装置である。
【００２３】
請求項４の発明は、基準座標系における物体の３次元形状を、ステレオカメラを用いて多視点で撮影した画像データで復元する物体形状復元装置であって、
前記物体を多視点から撮影した前記画像データをそれぞれ記憶した画像記憶ステップと、前記画像記憶手段によって記憶された各視点毎の画像データに基づいて、各視点座標系に対する前記物体形状と、前記物体における各特徴点の視点間の対応関係を示すステレオ計測行列を作成し、また、そのステレオ計測行列の各要素の信頼度から構成される信頼度行列を作成する計測テーブル作成ステップと、前記計測テーブル作成手段によって作成された信頼度行列の信頼度を、前記ステレオ計測行列、前記信頼度行列、前記各視点における基準座標系に対する回転行列と並進ベクトルとからなる視点の運動の情報を用いて訂正する誤り訂正ステップと、前記ステレオ計測行列、前記信頼度行列、前記視点の運動を用いて、前記物体の３次元形状を復元する形状復元ステップからなることを特徴とする物体形状復元方法である。
【００２７】
【発明の実施の形態】
以下に、図面を参照して、本発明の一実施例について説明する。
【００２８】
まず、本実施例で使用する座標系を図２に示す。また、
【数９】

と定義する。本実施例では、ワールド座標系を第１視点におけるカメラ座標系にとる。
【００２９】
図３に本実施例に概略構成を示す。
【００３０】
ここでは、計測テーブル作成部１、誤り訂正部２、形状・運動復元部３から構成している。
【００３１】
以下に各構成部を詳細に説明する。
【００３２】
（計測テーブル作成部１）
計測テーブル作成部１は、図４のように画像入力部１−１、画像蓄積部１−２、画像処理部１−３から構成される。
【００３３】
画像入力部１−１では、ステレオカメラを用いて、多視点におけるステレオ画像を入力する。
【００３４】
画像情報蓄積部１−２では、画像メモリを用いて、画像情報入力部１により入力された画像情報を蓄積する。
【００３５】
画像処理部１−３は、さらに図５のように特徴点抽出部１−３−１、ステレオ対応付け部１−３−２、特徴点追跡部１−３−３から構成され、各特徴点のカメラ座標系に対する３次元軌跡を求める。
【００３６】
特徴点抽出部１−３−１は、画像蓄積部１−２から送られた各視点のステレオ画像のうちのどちらか一方の画像に対し、物体の角のような複数方向に濃度変化が存在する特徴点を抽出する。本実施例では左画像に対し、特徴点抽出を行うとする。
【００３７】
ステレオ対応付け部１−３−２は抽出された左画像中の各特徴点の右画像中での位置を求める。この算出方式を以下に述べる。左画像中の位置が（ｘ，ｙ）の特徴点ｐの右画像中の位置を求める場合を考える。まず、以下の相関係数Ｃ_ｏを求める。
【００３８】
【数１０】

ここで、Ｉ_ｌ（ｘ，ｙ）、Ｉ_ｒ（ｘ，ｙ）は各々左画像と右画像の点（ｘ，ｙ）での画像濃度を表している。また、ａ_ｌ、ａ_ｒとｖ_ｌ、ｖ_ｒはウインドウ領域内の平均と分散を表す。Ｃ_ｏは、左右画像の２ｄ×２ｄのウインドウ領域内のパターンの類似度を表している。
【００３９】
従って、右画像上の探索範囲内で、Ｃ_ｏが最大となる位置が、特徴点ｐの右画像上での位置である。
【００４０】
探索範囲は、左右カメラの幾何学的な関係によって決定される。例えば、両カメラを光軸を平行にして配置した場合、各特徴点の左右画像上における垂直方向の位置は一致する。この場合、探索範囲は同一走査線上となる。
【００４１】
特徴点追跡部１−３−３は、各特徴点を時系列画像上で追跡する。この対応付けは、例えば、ステレオ対応付けと同様に相関係数Ｃ_ｏを用いる。ここで、ステレオ対応付けの場合は、左右カメラの位置関係が既知であるので、探索範囲はある直線上に限定されたが、視点間の対応付けでは、２次元探索となり、予め設定した探索ウインドウ領域内で対応付けを行うことになる。
【００４２】
以上の特徴点抽出、ステレオ対応付け、視点間対応付け（特徴点追跡）を行い、第ｆ視点のカメラ座標系に対する特徴点ｐの３次元座標ベクトルＰ_ｆｐ（ｆ＝１，２，……ｍ、ｐ＝１，２，……ｎ）により、各視点座標系に対する物体形状と各特徴点の視点間の対応関係を表すテーブルである以下のような３ｍ×ｎの行列Ｐを算出する。
【００４３】
【数１１】

以下の説明においては、３ｍ×ｎの行列Ｐを、便宜上、３次元ベクトルＰ_ｆｐ＝（ｘ_ｆｐ，ｙ_ｆｐ，ｚ_ｆｐ）^ｔを要素とするｍ×ｎの行列と考える。行列Ｐの各列は、１個の特徴点の各視点におけるカメラ座標系に対する３次元座標、つまり、カメラ座標系に対する１個の特徴点の３次元的な軌跡、各行は、ある視点のカメラ座標系に対する特徴点の３次元座標を表している。以下の説明では行列Ｐをステレオ計測行列と呼ぶ。
【００４４】
ところで、ステレオカメラの視野や物体相互の隠れにより、ステレオカメラが運動するにつれて、追跡不能となる特徴点や、今まで見えていなかった新しい特徴点が出現することがある。また、画像上の特徴が大きく変わることにより、特徴点の追跡ができなくなったり、あるいは、ステレオ対応付けができなくなることもある。従って、行列Ｐは全要素が定義される訳ではない。定義できない行列Ｐの要素に対しては、任意のベクトル、例えば零ベクトルを定義しておく。行列Ｐの各要素が定義されているかどうかを表現するｍ×ｎの行列Ｗを以下のように定義する。
【００４５】
【数１２】

ｗ_ｆｐをベクトルＰ_ｆｐの信頼度と呼び、ｍ×ｎの行列Ｗをステレオ計測行列Ｐの信頼度行列と呼ぶことにする。特徴点ｐの第ｆ視点のカメラ座標系に対する３次元座標ベクトルＰ_ｆｐを求めることができれば、その信頼度ｗ_ｆｐを１とし、定義されなければ０とする。つまり、
【数１３】

計測テーブル作成部１では以上のようにしてステレオ計測行列Ｐと信頼度行列Ｗを求め、誤り訂正部２に送信する。
【００４６】
（誤り訂正部２）
誤り訂正部２では、計測テーブル作成部１によって作成されたステレオ計測行列に含まれる、ステレオの誤対応、あるいは、特徴点の誤追跡による誤りを訂正する。
【００４７】
誤り訂正部２は、図６のようにカメラ運動復元部２−１と、形状誤差算出部２−２から構成される。
【００４８】
図７にフローチャートを示し、以下に各ステップの詳細について説明する。
【００４９】
（１）ｆ＝１に設定する。
【００５０】
（２）行列Ｐ、Ｗのｆ〜ｆ＋Δｆ行から、ｆ〜ｆ＋Δｆ視点までの第ｆ視点座標系に対するカメラ運動
【数１４】

を後述のカメラ運動復元部２−１を用いて算出する。
【００５１】
（３）Ｍ^（ｆ＋ ^Δ ^ｆ）と行列Ｐ、Ｗのｆ〜ｆ＋Δｆ行から、第ｆ視点座標系に対する物体形状
【数１５】

（４）誤差ｅ_ｐが予め設定した閾値ｔｈｒより大きい特徴点の信頼度ｗ_ｆｐを０とする。
【００５２】
（５）ｆをインクリメント（＋１）する。
【００５３】
（６）ｆ≦ｍ−Δｆならば（２）に戻り、ｆ＞ｍ−Δｆならば終了する。
【００５４】
閾値ｔｈｒは、例えば以下のようにして設定する。ある特徴点の視差をｄ、左右のカメラ間の間隔をａ、焦点距離をｆ_{ｌｅｎｇｔｈ}とすれば、その特徴点の奥行き方向の距離ｙは、
【数１６】

により求めることができる。ｙの計測誤差Δｙは、主として視差の計測誤差Δｄにより発生する。ΔｙとΔｄには以下の関係式が成り立つ。
【００５５】
【数１７】

右辺をテーラー展開し、
【数１８】

上式と式（１５）により、
【数１９】

式（２０）を用いれば、
【数２０】

としてｔｈｒを求めることができる（Ｋ：定数）。
【００５６】
（形状・運動復元部３）
形状・運動復元部３は、図５のように加算部３−１、カメラ運動復元部３−２、物体形状復元部３−３、終了判定部３−４から構成され、ステレオ計測行列Ｐと信頼度行列Ｗから、物体形状とカメラ運動を復元する。全体の処理の流れを図９に示し、その概略を以下に示す。
【００５７】
（１）ｋ＝２とおく。
【００５８】
（２）行列Ｐ、Ｗの１〜ｋ行から、１〜ｋ視点までのカメラ運動Ｍ^（ｋ）を求める。
【００５９】
（３）１〜ｋ視点までのカメラ運動Ｍ^（ｋ）と行列Ｐ、Ｗの１〜ｋ行から、物体形状Ｓ^（ｋ）を求め、Ｓ＝Ｓ^（ｋ）とする。
【００６０】
（４）終了条件（後述）を持たさなければ、ｋ＝ｋ＋１とし、（２）に戻る。
【００６１】
但し、
【数２１】

であり、各々、物体形状とカメラ運動を表している。
【００６２】
加算部３−１は、ｋ＝２を初期値とし、終了判定部３−４から命令が送られると、ｋを１増やして、カメラ運動復元部３−２にその値を送る。
【００６３】
カメラ運動復元部３−２では、行列Ｐ、Ｗの１〜ｋ行から、１〜ｋ視点までのカメラ運動Ｍ^（ｋ）を復元する。
【００６４】
【数２２】

式（２２）からＲ_２ベクトルＴ_２を求める方法の概略を以下に示す。
【００６５】
（１）行列Ｐ、Ｗの第１行と、第２行から行列Ｃを求める。
【００６６】
（２）Ｃ＝ＵＷＶ^ｔと特異値分解する。
【００６７】
（３）Ｒ_２＝ＵＶ^ｔにより回転行列を求める。
【００６８】
（４）並進ベクトルＴ_２を求める。
【００６９】
詳細を以下に示す。まず、第１視点と第２視点の両方で３次元計測された特徴点のワールド座標系に対する重心位置は、
【数２３】

これより、
【数２４】

式（２６）を式（２２）に代入して整理すると、
【数２５】

この評価関数を最小にするＲ_２を求める。これは次のようにして求めることができる（参考文献）。上式を以下のように展開する。
【００７０】
【数２６】

式（３１）の第１項は明らかにＲ_２によらず一定となる。
【００７１】
【数２７】

とおくと、
【数２８】

を最大に回転行列Ｒ_２を求めればよいことになる。
【００７２】
回転行列Ｒ_２は行列の特異値分解を用いれば求めることができる。ＣをＣ＝ＵＷＶ^ｔ（Ｕ，Ｖ：直交行列、Ｗ：対角要素が非負の対角行列）と特異値分解し、Ｔ_ｒ［ＡＢ］＝Ｔ_ｒ［ＢＡ］の関係を用いると、
【数２９】

等号は、Ｖ^ｔＲ^ｔ _２Ｕ＝Ｉ（Ｉ：単位行列）、つまり、Ｒ_２＝ＵＶ^ｔのとき成り立つ。これが求める回転行列Ｒ_２である。このＲ_２を式（２６）に代入すれば、並進ベクトルＴ_２を求めることができる。
【００７３】
同様にして、式（２３）、……、（２４）より、Ｒ_３、ベクトルＴ_３、……Ｒ_ｋ、ベクトルＴ_ｋ、つまり、ｋ視点までのステレオカメラの運動Ｍ^（ｋ）を復元することができる。
【００７４】
物体形状復元部３−３では、ｋ視点までのステレオカメラの運動Ｍ^（ｋ）を用いて、ｋ視点までのステレオデータを統合した物体形状Ｓ^（ｋ）と、各形状データｓ_ｐの誤差ｅ_ｐを求める。これは、以下のように算出する。
【００７５】
【数３０】

ベクトルｓ_ｐが求められ、かつ、ｅ_ｐが予め設定した閾値ｔｈｒよりも小さい場合は、その形状データに対応する信頼度を１にする。
【００７６】
【数３１】

求められた物体形状をＳ（行列Ｐの第１行）に代入する。
【００７７】
【数３２】

終了判定部３−４では、計算を終了するかどうかを判定する。
【００７８】
判定方法としては、以下のような方法がある。
【００７９】
まず、１〜ｍ視点までのカメラ運動Ｍ^（ｍ）と、１〜ｍ視点のステレオデータから得られた物体形状Ｓ^（ｍ）が算出された時点で計算を終了する。また、Ｍ^（ｍ）、Ｓ^（ｍ）が算出された後、視点選択部が全視点を選択し、カメラ運動復元部３−２と物体形状復元部３−３により、Ｍ^（ｍ）、Ｓ^（ｍ）を修正することもできる。
【００８０】
図９には、この場合のフローチャートを示している。
【００８１】
この場合は、計算回数、Ｍ^（ｍ）、あるいはＳ^（ｍ）の前段階の値との差から終了判定を行う。終了判定を行った結果、終了すれば、得られた物体形状とカメラ運動を出力部に送る。終了しなければ、加算部３−１に戻る。
【００８２】
以上のようにして、ステレオカメラにより多視点で得られた画像情報から、物体形状と物体に対するカメラの相対運動を同時に復元することができる。
【００８３】
すなわち、計測テーブル作成部１が視点座標系に対する物体形状を入力し、カメラ−物体間、物体の大きさ等の制約がない。
【００８４】
誤り訂正部２が誤対応を訂正し、その後、形状・運動復元部が視点数を増やしながら計算を行うため、特徴点の見え隠れに対応することができ、誤対応による精度の低下を防いでカメラ運動を高精度に復元することができ、高精度に復元されたカメラ運動を用いるため、高精度に物体形状を復元することができる。また、繰り返し計算の各段階で行われるのは、単なる行列計算や重心の計算であるため、全体として非常に高速な計算が可能である。また、誤り訂正部２が計測行列に含まれる誤りを訂正することができるから、特徴点のステレオ対応づけ、あるいは、視点間の対応づけに誤りが含まれる場合にも物体形状とカメラ運動を復元することが可能である。
【００８５】
（変更例）
▲１▼ 本実施例では、各視点における物体形状の計測を２台のカメラによるステレオ法を用いているが、３台以上のカメラを用いたり、１つのカメラを動かして３次元位置情報を求めてもよい。あるいは、カメラ以外のレンジファインダ等の視覚センサにより多視点における物体形状を入力してもよい。
【００８６】
▲２▼ カメラを動かして静止した物体の形状と、カメラの運動を復元する場合について説明したが、物体の方を動かしてもよい。静止した環境で対象物体のみ動かせば、任意の背景から対象物体を切出して、その形状を求めることができる。
【００８７】
▲３▼ 特徴点抽出部１−３−１における処理で、各視点で得られた画像に対し、特徴抽出を行う場合について説明したが、ある視点間隔で特徴抽出を行ってもよい。
【００８８】
▲４▼ ステレオデータの信頼度ｗの取り得る値が０または１であったが、以下のように設定してもよい。
【００８９】
図１０に視差に対する相関係数Ｃ_ｏの変化を示す。
【００９０】
（ａ）のように明確なピークが存在する場合、ほぼ一意に対応付けられたことを示すから、このような場合のステレオデータの信頼性は高い。
【００９１】
しかし、（ｂ）のようにピークはあるが、その高さが低い場合、局所パターンが最も似ている対応候補でもかなり違うこととなり、右画像上に対応する点がない可能性が高い。従って、このような場合のステレオデータの信頼性は低い。
【００９２】
また、（ｃ）のように複数のピークを持つ場合、他にも局所パターンが非常に良く似た対応候補が存在することを示すから、例えば２番目に高い候補が真の対応点がある可能性も高い。従って、このような場合のステレオデータの信頼性も低い。
【００９３】
このような類似度を評価する評価関数の、視差に対する変化を考慮して、以下のような信頼度を定義する。
【００９４】
【数３３】

このように定義すると、（ａ）のように明確な高いピークが存在する場合、Ｃ_ｏｍａｘが大きくなるから、信頼度ｗは大きくなる。また、（ｂ）、（ｃ）の場合は、各々、Ｃ_ｏｍａｘ→小、ΣＣ_ｏ→大となるから、信頼度ｗは小さくなる。
【００９５】
形状・運動復元部３における計算は、実施例で説明した方法で行うことができる。信頼度が大きいステレオデータは、形状・運動復元に大きく影響し、逆に、信頼度が小さいステレオデータの形状・運動復元に対する影響は小さく押えることができる。
【００９６】
▲５▼ ステレオ対応付け、特徴点追跡に相関係数による方法を用いたが、特徴抽出を行ってから対応付けを行う方法、周囲の対応結果と矛盾しないように対応付けを行う方法、これらを組み合わせた方法等がある。
【００９７】
▲６▼ 誤り訂正は対話的に行うことも可能である。
【００９８】
図１１に対話型誤り訂正部４の第１の実施例を示す。
【００９９】
対話型誤り訂正部４は、ステレオ対応付けと特徴点追跡結果を表示する画像処理結果表示部４−１と、その内、誤っている点を抽出し、除去、あるいは、訂正するポインティング部４−２からなる。
【０１００】
図１２に対話型誤り訂正部４における処理の流れを示す。
【０１０１】
例えば、ステレオ対応付けデータを対話的に訂正する場合を考える。まず、ｉ番目（１≦ｉ≦ｎ）の特徴点の対応結果（その特徴点の左右画像上の位置）を表示する。次に、その対応結果が正しいかどうかを目視により評価する。正しくない場合は、ポインティング部によりその特徴点を削除、あるいは、正しい位置を入力する。この一連の処理を全特徴点に対して行う。特徴点追跡データを訂正する場合には、ある特徴点軌跡を原画像とともに表示し同様の処理を行う。
【０１０２】
▲７▼ 図１３に対話型誤り訂正の第２の実施例を示す。
【０１０３】
この例では、▲６▼で説明した対話型誤り訂正部４と自動誤り訂正部５とよりなる。自動誤り訂正部５は、誤り訂正部２と同様の構成である。
【０１０４】
そして、誤り訂正は全特徴点の内の幾つかの特徴点を対話的に訂正後、自動的に訂正したり、逆に自動的に訂正後、対話的に訂正する。
【０１０５】
▲８▼ 計測テーブル作成部１、誤り訂正部２、形状・運動復元部３の内容を処理動作させるためのプログラムをＦＤやＣＤ，ＲＯＭ等の記録媒体に記憶させておき、この記録媒体内部のデータを既存のコンピュータに記憶させて、本装置として動作させてもよい。
【０１０６】
例えば、ステレオデジタルカメラで複数の視点から人間が撮影した画像データをコンピュータに記憶させる。また、上記した計測テーブル作成部１、誤り訂正部２、形状・運動復元部３の内容を処理動作させるためのプログラムを記憶したＦＤをコンピュータにＦＤ読取り装置に挿入して、このプログラムをコンピュータに記憶させる。そして、このコンピュータを本装置として動作させる。
【０１０７】
その他、本発明の要旨を逸脱しない範囲で変形を実施できる。
【０１０８】
【発明の効果】
本発明の物体液状復元装置及びその方法によれば、ＴＶカメラから得られた画像情報から、物体形状と、物体に対するカメラの相対的な運動を同時に求めることができ、その実用的効果は多大である。すなわち、各視点座標系に対する物体形状と、各視点間の対応を表す計測テーブルを作成し、そのテーブルの中に含まれる対応付けの誤りを訂正しつつ、安定に物体形状と視点間の相対的な位置関係を高速かつ高精度に復元できる。
【図面の簡単な説明】
【図１】従来法を説明するための図。
【図２】座標系の定義を示す図。
【図３】本発明の全体構成を示すブロック図。
【図４】ステレオ計測行列作成部１の構成を示すブロック図。
【図５】画像処理部１−３の構成を示すブロック図。
【図６】誤り訂正部２の構成を示すブロック図。
【図７】誤り訂正部２における処理のフローチャート。
【図８】形状・運動復元部３の構成を示すブロック図。
【図９】形状・運動復元部３におけるフローチャート。
【図１０】視差に対する相関係数Ｃ_ｏの変化を示すグラフの図。
【図１１】対話型誤り訂正部の構成を示すブロック図。
【図１２】対話型誤り訂正部におけるフローチャート。
【図１３】対話＋自動誤り訂正部の構成を示すブロック図。
【符号の説明】
１計測テーブル作成部
１−１画像情報入力部
１−２画像情報蓄積部
１−３画像処理部
１−３−１特徴点抽出部
１−３−２特徴点追跡部
１−３−３ステレオ対応付け部
２誤り訂正部
２−１カメラ運動復元部
２−２形状誤差算出部
３形状・運動復元部
３−１加算部
３−２カメラ運動復元部
３−３物体形状復元部
３−４終了判定部

Claims

基準座標系における物体の３次元形状を、ステレオカメラを用いて多視点で撮影した画像データで復元する物体形状復元装置であって、
前記物体を多視点から撮影した前記画像データをそれぞれ記憶した画像記憶手段と、
前記画像記憶手段によって記憶された各視点毎の画像データに基づいて、各視点座標系に対する前記物体形状と、前記物体における各特徴点の視点間の対応関係を示すステレオ計測行列を作成し、また、そのステレオ計測行列の各要素の信頼度から構成される信頼度行列を作成する計測テーブル作成手段と、
前記計測テーブル作成手段によって作成された信頼度行列の信頼度を、前記ステレオ計測行列、前記信頼度行列、前記各視点における基準座標系に対する回転行列と並進ベクトルとからなる視点の運動の情報を用いて訂正する誤り訂正手段と、
前記ステレオ計測行列、前記信頼度行列、前記視点の運動を用いて、前記物体の３次元形状を復元する形状復元手段からなる
ことを特徴とする物体形状復元装置。
前記誤り訂正手段は、
前記計測テーブル作成手段によって作成された信頼度行列の中で、前記物体の３次元形状データのうち誤差が大きいデータの信頼度を下げる
ことを特徴とする請求項１に記載の物体形状復元装置。
前記形状復元手段が、
前記誤り訂正手段によって訂正された信頼度行列、前記ステレオ計測行列によって視点の運動を求め、
前記求めた視点の運動から、前記物体の３次元形状データと前記各３次元形状データの誤差をそれぞれ求め、
前記求めた誤差が小さい場合は信頼度を高くして、この信頼度の高い３次元形状データを、復元する３次元形状とする
ことを特徴とする請求項１に記載の物体形状復元装置。
基準座標系における物体の３次元形状を、ステレオカメラを用いて多視点で撮影した画像データで復元する物体形状復元装置であって、
前記物体を多視点から撮影した前記画像データをそれぞれ記憶した画像記憶ステップと、
前記画像記憶手段によって記憶された各視点毎の画像データに基づいて、各視点座標系に対する前記物体形状と、前記物体における各特徴点の視点間の対応関係を示すステレオ計測行列を作成し、また、そのステレオ計測行列の各要素の信頼度から構成される信頼度行列を作成する計測テーブル作成ステップと、
前記計測テーブル作成手段によって作成された信頼度行列の信頼度を、前記ステレオ計測行列、前記信頼度行列、前記各視点における基準座標系に対する回転行列と並進ベクトルとからなる視点の運動の情報を用いて訂正する誤り訂正ステップと、
前記ステレオ計測行列、前記信頼度行列、前記視点の運動を用いて、前記物体の３次元形状を復元する形状復元ステップからなる
ことを特徴とする物体形状復元方法。