JP3773720B2 - ３次元運動復元装置、３次元運動復元方法および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばビデオカメラにより対象物体を撮像し、その画像から対象物体の３次元運動を復元するための３次元運動復元装置、３次元運動復元方法および記録媒体に関するものである。
【０００２】
【従来の技術】
図１８は、例えば「弱中心射影画像からオイラー角を利用したモーション復元の線形アルゴリズム」（杉本典子、徐剛著、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．４、第６８１頁〜第６８８頁、平成１０年４月）に記載の従来の３次元運動復元装置の構成を示すブロック図である。
【０００３】
図において、２０１は対象物体を撮像するビデオカメラであり、２０２はビデオカメラ２０１で撮像された少なくとも３つの画像を入力する画像入力装置であり、２０３は画像入力装置２０２からの３つの画像のうちの各２つの画像の組から、対象物体の回転運動を表す３つの回転角のうち２つの回転角をそれぞれ計算するパラメタ計算装置であり、２０４はパラメタ計算装置２０３により計算された複数組の２つの回転角から残りの１つの回転角を計算して対象物体の回転運動を認識する回転運動認識装置である。
【０００４】
次に動作について説明する。
図１９および図２０は従来の３次元運動復元装置の動作を説明する図である。
まずビデオカメラ２０１は対象物体を撮像し、画像入力装置２０２は、撮像された画像のうち、３つの画像（第１の画像、第２の画像および第３の画像）をパラメタ計算装置２０３に順次供給する。
【０００５】
例えば図１９においては、２１１〜２１３がビデオカメラ２０１により撮像された対象物体の第１〜第３の画像であり、２２１、２２４および２２７が第１〜第３の画像２１１，２１２，２１３における対象物体の画像であり、２２２、２２５および２２８が第１〜第３の画像２１１，２１２，２１３における対象物体の特徴点であり、２２３が特徴点２２８から特徴点２２２への画像上の移動ベクトルであり、２２６が特徴点２２２から特徴点２２５への画像上の移動ベクトルであり、２２９が特徴点２２５から特徴点２２８への画像上の移動ベクトルである。
【０００６】
そしてパラメタ計算装置２０３は、図１９に示すように、第１の画像２１１と第２の画像２１２、第２の画像２１２と第３の画像２１３、並びに第３の画像２１３と第１の画像２１１の各組から、それらの画像の撮像間の対象物体の３次元回転運動を表すオイラーの角と呼ばれる３つの回転角のうちの２つの回転角をそれぞれ計算する。なお、オイラーの角とは、３次元の回転を、ｚ軸のまわりの回転γ、ｙ軸のまわりの回転β、およびｘ軸のまわりの回転αに分解して表現したときの（α，β，γ）の組のことをいう。
【０００７】
このときパラメタ計算装置２０３は、各画像における複数の特徴点をそれぞれ検出し、各画像間でそれら特徴点２２２，２２５，２２８を対応づけて各特徴点の移動ベクトル２２３，２２６，２２９を計算する。そして当該画像を弱中心射影と仮定して、そのエピポーラ方程式に基づいて、この移動ベクトルからオイラーの角のうちの（α，γ）を計算する。
【０００８】
すなわち、第１の画像２１１と第２の画像２１２の撮像間の３次元回転運動を表すオイラーの角を（α_１２，β_１２，γ_１２）とし、第２の画像２１２と第３の画像２１３の撮像間の３次元回転運動を表すオイラーの角を（α_２３，β_２３，γ_２３）とし、第３の画像２１３と第１の画像２１１の撮像間の３次元回転運動を表すオイラーの角を（α_３１，β_３１，γ_３１）とすると、パラメタ計算装置２０３は、第１の画像２１１と第２の画像２１２から（α_１２，γ_１２）を計算し、第２の画像２１２と第３の画像２１３から（α_２３，γ_２３）を計算し、第３の画像２１３と第１の画像２１１から（α_３１，γ_３１）を計算する。
【０００９】
次に回転認識装置２０４は、これらの２つの回転角の組（α_１２，γ_１２），（α_２３，γ_２３），（α_３１，γ_３１）から、例えば第１の画像２１１第２の画像２１２との撮像間の３次元回転運動を表すオイラーの角の残りの角（成分）β_１２を計算して、対象物体５の３次元回転運動、すなわちオイラーの角（α_１２，β_１２，γ_１２）を復元する。この際ネッカーリバーサル（Ｎｅｃｋｅｒ Ｒｅｖｅｒｓａｌ）なる現象が生じ、絶対値が同一で符号が逆である２つのβ_１２が解として得られ、図２０に示すように異なる２つの回転運動が復元される。すなわち、図２０においては、２０５は対象物体であり、２０６は対象物体２０５上の特徴点であり、第１の解として図２０（ａ）に示すように、第１の回転軸に対して第１の回転方向の回転角β_１２が得られ、第２の解として図２０（ｂ）に示すように、第２の回転軸に対して第２の回転方向の回転角β_１２が得られる。
【００１０】
【発明が解決しようとする課題】
従来の３次元運動復元装置は以上のように構成されているので、ネッカーリバーサルにより回転角βについて２つの解が得られるため、対象物体の回転運動を正しく一意に復元することが困難であるなどの課題があった。
【００１１】
また、従来の３次元運動復元装置では時間の経過とともに撮像された３枚の画像間で特徴点の対応づけを行うため、第１の画像と第３の画像の撮像間の時間経過が大きくなり対象物体の回転運動による視差も大きくなると、第１の画像と第３の画像の両方に撮像される特徴点が少なくなり、回転運動の復元結果が不正確になる可能性があるという課題があった。
【００１２】
この発明は上記のような課題を解決するためになされたもので、２方向から撮像されたそれぞれ２枚の対象物体の画像からオイラーの角を計算して３次元回転運動を復元するようにして、３次元回転運動を正確にかつ一意に復元するための３次元運動復元装置、３次元運動復元方法および記録媒体を得ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る３次元運動復元装置は、所定の第１の方向から対象物体を撮像する第１の撮像手段と、第１の方向とは異なる第２の方向から対象物体を撮像する第２の撮像手段と、第１の撮像手段により撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、第２の撮像手段により撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する回転角計算手段と、回転角計算手段によりそれぞれ計算された２組の２つの回転角から、３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元する回転運動復元手段とを備えるものである。
【００１４】
この発明に係る３次元運動復元装置は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、また、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するようにしたものである。
【００１５】
この発明に係る３次元運動復元装置は、第１の撮像手段により撮像された画像における対象物体の位置を特定するとともに、第２の撮像手段により撮像された画像における対象物体の位置を特定する位置特定手段と、位置特定手段によりそれぞれ特定された画像における対象物体の位置から、実空間における対象物体の３次元位置を特定する３次元位置特定手段と、３次元位置特定手段により特定された運動前および運動後の対象物体の３次元位置から対象物体の並進運動による移動量を計算して、対象物体の並進運動を復元する並進運動復元手段とを備えるものである。
【００１６】
この発明に係る３次元運動復元装置は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての特徴点の重心を画像における対象物体の位置として計算し、また、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての特徴点の重心を画像における対象物体の位置として計算し、それらの画像における対象物体の位置、第１および第２の撮像手段の位置、並びに第１および第２の撮像手段の第１および第２の方向から、三角測量の原理に基づいて対象物体の３次元位置を計算するようにしたものである。
【００１７】
この発明に係る３次元運動復元装置は、所定の第１の方向から対象物体を撮像する第１の撮像手段と、第１の方向とは異なる第２の方向から対象物体を撮像する第２の撮像手段と、第１の撮像手段により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第１の計算手段と、第２の撮像手段により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第２の計算手段と、第１の計算手段により計算された２つの回転角および第２の計算手段により計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元する回転運動復元手段とを備えるものである。
【００１８】
この発明に係る３次元運動復元装置は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するようにしたものである。
【００１９】
この発明に係る３次元運動復元装置は、第１の撮像手段の第１の方向と第２の撮像手段の第２の方向とのなす角度を９０度にしたものである。
【００２０】
この発明に係る３次元運動復元方法は、所定の第１の方向から対象物体を撮像するステップと、第１の方向とは異なる第２の方向から対象物体を撮像するステップと、第１の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップと、第２の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップと、第１の方向から撮像された画像に基づいて計算された２つの回転角および第２の方向から撮像された画像に基づいて計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元するステップとを備えるものである。
【００２１】
この発明に係る記録媒体は、コンピュータに、所定の第１の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップ、第１の方向とは異なる第２の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップ、第１の方向から撮像された画像に基づいて計算された２つの回転角および第２の方向から撮像された画像に基づいて計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元するステップを実行させるためのプログラムを記録したものである。
【００２２】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による３次元運動復元装置の構成を示すブロック図である。図において、１は所定の第１の方向から対象物体を撮像するビデオカメラ（第１の撮像手段）であり、２は第１の方向とは異なる第２の方向から対象物体を撮像するビデオカメラ（第２の撮像手段）である。３はビデオカメラ１，２から運動前および運動後の対象物体の画像を順次入力する画像入力装置である。
【００２３】
４はビデオカメラ１により撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、また、ビデオカメラ２により撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するパラメタ計算装置（回転角計算手段）である。
【００２４】
５はビデオカメラ１，２により撮像された画像に基づきパラメタ計算装置４によりそれぞれ計算された２組の２つの回転角から、３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元する回転運動認識装置（回転運動復元手段）である。
【００２５】
この実施の形態１による３次元運動復元装置は、ビデオカメラ１とビデオカメラ２を併用し、対象物体を角度φだけ異なる方向から撮像して、対象物体の運動を正確に復元する。そして以下のように測定系を設定する。
【００２６】
図２はビデオカメラ１による測定系の一例を示す図であり、図３はビデオカメラ２による測定系の一例を示す図であり、図４は対象物体、その特徴点、およびビデオカメラにより撮像される画像の関係の一例を示す図である。図において、２１はビデオカメラ１の光軸およびビデオカメラ２の光軸を含む平面であり、２２および２３はビデオカメラ１，２によりそれぞれ撮像される画像の平面であり、３１は運動の復元の対象となる対象物体であり、３２は対象物体３１の特徴点である。
【００２７】
図２に示すようにビデオカメラ１による測定系では、ビデオカメラ１とビデオカメラ２は、その位置および光軸が同一平面２１内に含まれるように配置される。さらにビデオカメラ２の光軸をビデオカメラ１の光軸から平面２１上で角度φだけ回転させた方向とし、光軸の交点Ｏ付近に対象物体３１が存在するものとする。そして、ビデオカメラ１に関する座標系Ω_１（ｘ_１，ｙ，ｚ_１）は、交点Ｏを原点とし、ｙ軸の方向を平面２１に垂直な方向に、ｚ_１軸をビデオカメラ１の光軸の方向に、残りのｘ_１軸を右手系として設定する。
【００２８】
また、図３に示すようにビデオカメラ２による測定系では、ビデオカメラ２に関する座標系Ω_２（ｘ_２，ｙ，ｚ_２）は、交点Ｏを原点とし、ｙ軸の方向を平面２１に垂直な方向に、ｚ_２軸をビデオカメラ２の光軸の方向に、残りのｘ_２軸を右手系として設定する。したがって座標系Ω_１から座標系Ω_２への座標変換は、ｙ軸を回転軸とする角度（−φ）の回転変換となる。
【００２９】
そして座標系Ω_１での対象物体の回転運動を表す行列Ｒ_１は、オイラーの角と呼ばれる３つの角度パラメタ、すなわち３つの回転角（α_１，β_１，γ_１）を用いて式（１）に示すように表現される。
【数１】

【００３０】
また座標系Ω_２においても同様に同一の対象物体の回転運動を表す行列Ｒ_２が、オイラー角（α_２，β_２，γ_２）を用いて表現される。この（α_１，β_１，γ_１）と（α_２，β_２，γ_２）との関係は、座標系Ω_１から座標系Ω_２への座標変換をＴとすると、式（２）に示すように表現される。
【数２】

【００３１】
さらに、ビデオカメラ１とビデオカメラ２により時刻ｔにおいて撮像される画像を、それぞれＩ_ｔ（Ｘ，Ｙ）とＪ_ｔ（Ｘ，Ｙ）で表し、図４に示すように、画像の平面２２，２３において、それぞれのＹ軸はｙ軸に平行に、Ｘ軸は平面２１に平行に、かつ光軸に垂直になるようにする。そして画像のサイズをともにＮ_ｘ×Ｎ_ｙとし、光軸との交点を（Ｎ_ｘ／２，Ｎ_ｙ／２）とする。
【００３２】
次に動作について説明する。
図５は、この発明の実施の形態１による３次元運動復元装置の動作について説明するフローチャートであり、図６は３次元運動復元装置による処理を説明する図であり、図７は特徴点の移動距離Ｌを示す図である。
【００３３】
まずビデオカメラ１とビデオカメラ２は第１の方向および第２の方向から対象物体をそれぞれ撮像する。すなわち、ビデオカメラ１の光軸の方向が第１の方向になり、ビデオカメラ２の光軸の方向が第２の方向になる。ここで対象物体は任意の物体でかまわない。全体的な表面の様相が均質で特徴点の検出が困難な物体の場合、例えば色が顕著なマーカーを物体表面上に均等に複数個設置するようにすれば、そのマーカーが特徴点として検出される。
【００３４】
そして画像入力装置３は、ステップＳＴ１において、図６に示すようにビデオカメラ１とビデオカメラ２からそれぞれ所定の同一の時刻ｔにおける画像Ｉ_ｔ（Ｘ，Ｙ），Ｊ_ｔ（Ｘ，Ｙ）を読み込んで記憶し、微小時間Δの経過後、ステップＳＴ２においてビデオカメラ１とビデオカメラ２からそれぞれ同一の時刻（ｔ＋Δ）における画像Ｉ_ｔ＋Δ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）を読み込んで記憶する。すなわち、対象物体の同一の運動前後の画像がビデオカメラ１，２からそれぞれ読み込まれる。そして画像入力装置３は、これらの画像Ｉ_ｔ（Ｘ，Ｙ），Ｊ_ｔ（Ｘ，Ｙ），Ｉ_ｔ＋Δ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）をパラメタ計算装置４に供給する。
【００３５】
そしてパラメタ計算装置４は、ステップＳＴ３において、画像Ｉ_ｔ（Ｘ，Ｙ）から対象物体３８上のｎ個の特徴点（Ｘ_ｉ，Ｙ_ｉ）（ｉ＝１，・・・，ｎ）を検出し、ステップＳＴ４において、画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）から対象物体３８上のｎ個の特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）を検出する。例えば画素の輝度や色、あるいはその変化量が所定のしきい値より大きい点を特徴点として検出する。
【００３６】
次にステップＳＴ５において、パラメタ計算装置４は、画像Ｉ_ｔ（Ｘ，Ｙ）における特徴点（Ｘ_ｉ，Ｙ_ｉ）（図６における特徴点３９）と、画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）における同一の特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）（図６における特徴点４０）との対応づけを行う。この際、例えばパラメタ計算装置４は、画像Ｉ_ｔ（Ｘ，Ｙ）から画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）への経過時間Δが短い場合、特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）は特徴点（Ｘ_ｉ，Ｙ_ｉ）の近傍に存在すると考えられるので、図７に示すように、各特徴点（Ｘ_ｍ，Ｙ_ｍ）（ｍ＝１，・・・，ｎ）について、式（３）に従って計算される距離Ｌが最小の特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）が特徴点（Ｘ_ｍ，Ｙ_ｍ）に対応づけられる。
【数３】

【００３７】
この処理をすべての特徴点（Ｘ_ｍ，Ｙ_ｍ）に対して実行することにより、すべての特徴点が対応づけられる。ただし、対応づけられた特徴点の間の距離Ｌが所定のしきい値を超える場合は、対応づけが誤っていると判断し、画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）においてその特徴点（Ｘ_ｍ，Ｙ_ｍ）に対応する特徴点が検出されなかったとして、その特徴点（Ｘ_ｍ，Ｙ_ｍ）を削除するとともに特徴点（Ｘ_ｉ，Ｙ_ｉ）を配列し直し、ｎを１だけ減らす。また、選択された特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）が既に他の特徴点（Ｘ_ｍ，Ｙ_ｍ）に対応づけられている場合は、距離Ｌの短い方を優先して対応づける。以下、第ｉ番目の特徴点（Ｘ_ｉ，Ｙ_ｉ）に対応づけられた画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）の特徴点を改めて（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）と表現する。
【００３８】
次にステップＳＴ６において、パラメタ計算装置４は、特徴点（Ｘ_ｉ，Ｙ_ｉ）と特徴点（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）から、オイラーの角の２成分である２つの回転角（α_１，γ_１）を計算する。
【００３９】
このとき、画像Ｉ_ｔ（Ｘ，Ｙ）においてｎ個の特徴点（Ｘ_ｉ，Ｙ_ｉ）（ｉ＝１，２，．．，ｎ）が検出され、それが画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）における（Ｘ^＊ _ｉ，Ｙ^＊ _ｉ）に移動した場合、各画像を弱中心射影画像とすると、エピポーラ方程式から、式（４）の関係が得られる。
【数４】

【００４０】
そして式（４）を満たす最小の固有値Ｇに対する固有ベクトルｓから、式（５）に従って（α_１，γ_１）の組が計算される。
【数５】

【００４１】
なお、ここではｓｉｎα_１の符号と−ｓ_３の符号が一致し、かつ、ｃｏｓα_１の符号とｓ_４の符号が一致するようにα_１を選択し、ｓｉｎγ_１の符号と−ｓ_１の符号が一致し、ｃｏｓγ_１の符号と−ｓ_２の符号が一致するようにγ_１を選択する。（α_１，γ_１）に関しては、（α_１±π，γ_１±π）なる解がもう一組存在するが、例えば「３次元ビジョン」（徐剛，辻三郎著、２章、共立出版発行、平成１０年）に記載されているように、オイラーの角はα_１を−π／２＜α_１≦π／２に制限することで表現は唯一となるため、この条件を満たす（α_１，γ_１）を選択する。なお下記の（α_２，γ_２）についても同様である。
【００４２】
そしてパラメタ計算装置４は、ステップＳＴ７においてステップＳＴ３と同様にして画像Ｊ_ｔ（Ｘ，Ｙ）からｎ個の特徴点（Ｘ_ｊ，Ｙ_ｊ）を検出し、ステップＳＴ８においてステップＳＴ４と同様にして画像Ｊ_ｔ＋Δ（Ｘ，Ｙ）から特徴点（Ｘ^＊ _ｊ，Ｙ^＊ _ｊ）を検出し、ステップＳＴ９においてステップＳＴ５と同様にして特徴点（Ｘ_ｊ，Ｙ_ｊ）と特徴点（Ｘ^＊ _ｊ，Ｙ^＊ _ｊ）との対応づけを行う。さらにステップＳＴ１０においてステップＳＴ６と同様にして、パラメタ計算装置４は、特徴点（Ｘ_ｊ，Ｙ_ｊ）と特徴点（Ｘ^＊ _ｊ，Ｙ^＊ _ｊ）から、式（４），（５）に従ってオイラーの角の２成分（α_２，γ_２）を計算する。
【００４３】
すなわち、図６に示すようにパラメタ計算装置４は、同一の対象物体の同一の回転運動について２つの回転角の組（α_１，γ_１），（α_２，γ_２）を計算し、回転運動認識装置５に供給する。
【００４４】
次にステップＳＴ１１において、回転運動認識装置５は、（α_１，β_１，γ_１）と（α_２，β_２，γ_２）との関係式である式（２）に従って、（α_１，γ_１）および（α_２，γ_２）から残りの未知数β_１，β_２を計算する。
【００４５】
すなわち、行列Ｒ_１の各要素をｒ_ｉｊ、行列Ｒ_２の各要素をｒ’_ｉｊとして式（２）を展開すると、行列の各要素について式（６）の関係が得られる。
【数６】

【００４６】
これらの式は未知数ｓｉｎβ_１，ｃｏｓβ_１，ｓｉｎβ_２，ｃｏｓβ_２に関する一次の線形方程式となり、式（７）に示すようになる。
【数７】

【００４７】
これを一般化逆行列を用いて、あるいは、展開して得られる式を連立させて解くことにより、ｓｉｎβ_１、ｃｏｓβ_１、ｓｉｎβ_２およびｃｏｓβ_２が、α_１、γ_１、α_２およびγ_２の式として表現される。これによりｓｉｎβ_１とｃｏｓβ_１からβ_１が一意に特定される。
【００４８】
このとき特にφを９０度に設定した場合は、式（７）は、式（８）に示すようになる。また、式（８）中の第４と第７の等式および第２と第３の等式においてｓｉｎβ_２を消去すると、式（９）に示すようになる。
【数８】

【数９】

【００４９】
さらに式（９）を変形すると式（１０）になる。この式（１０）を満たすβ_１は−π＜β_１≦πの範囲で一意に定められる。
【数１０】

【００５０】
したがって回転運動認識装置５は、式（１０）に従ってα_１、α_２、γ_１およびγ_２からｓｉｎβ_１およびｃｏｓβ_１を計算し、β_１を計算する。これにより、オイラー角（α_１，β_１，γ_１）が特定され、対象物体の回転運動Ｒ_１が復元される。
【００５１】
以上のように、この実施の形態１によれば、所定の第１の方向および第１の方向とは異なる第２の方向から対象物体をそれぞれ撮像し、第１の方向から撮像された運動前および運動後の対象物体の画像に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、第２の方向から撮像された運動前および運動後の対象物体の画像に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、それらの２つの回転角から３つの回転角のうちの残りの回転角を一意に計算するようにしたので、対象物体の回転運動を正確にかつ一意に復元することができるという効果が得られる。
【００５２】
また、この実施の形態１によれば、特徴点の対応づけは連続する２つの画像間でのみ行うため、回転運動を正確に復元することができるという効果が得られる。
【００５３】
さらに、この実施の形態１によれば、ビデオカメラ１により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて２つの回転角α_１，γ_１を計算し、ビデオカメラ２により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて２つの回転角α_２，γ_２を計算するようにしたので、簡単な演算で２つの回転角を計算することができるという効果が得られる。
【００５４】
実施の形態２．
図８は、この発明の実施の形態２による３次元運動復元装置の構成を示すブロック図である。図において、１１はビデオカメラ１により撮像された画像における対象物体の位置を特定するとともに、ビデオカメラ２により撮像された画像における対象物体の位置を特定する位置特定装置（位置特定手段）であり、１２は位置特定装置１１によりそれぞれ特定された画像における対象物体の位置から、実空間における対象物体の３次元位置を特定する位置認識装置（３次元位置特定手段）であり、１３は位置認識装置１２により特定された運動前および運動後の対象物体の３次元位置から対象物体の並進運動による移動量を計算して、対象物体の並進運動を復元する並進運動認識装置（並進運動復元手段）であり、１４は回転運動認識装置５により復元された３次元回転運動と並進運動認識装置１３により復元された３次元並進運動とを統合して対象物体の３次元運動を復元する３次元運動統合装置である。
【００５５】
なお、図８におけるその他の構成要素については実施の形態１によるもの（図１）と同様であるのでその説明を省略する。
【００５６】
図９はビデオカメラ１による測定系の一例を示す図である。図において、５１はビデオカメラ１による撮像位置（０，０，Ｚ_ｖ）であり、５２はビデオカメラ２による撮像位置（Ｚ_ｖ，０，０）であり、ｆはビデオカメラ１，２の焦点距離である。なお、その他については図２に示すものと同様であるのでその説明を省略する。また、説明を簡略にするために、ビデオカメラ１の光軸とビデオカメラ２の光軸とのなす角φは９０度とする。
【００５７】
次に動作について説明する。
図１０はこの発明の実施の形態２による３次元復元装置の動作を説明するフローチャートである。図１１および図１２は対象物体の画像上の位置から３次元位置を導出する処理を説明する図であり、図１３は並進運動ベクトルの一例を示す図である。
【００５８】
実施の形態２による３次元復元装置は、まず、ステップＳＴ１〜ステップＳＴ１１において実施の形態１による３次元復元装置と同様にして対象物体の回転運動を復元し、回転運動認識装置５から３次元運動統合装置１４へオイラー角（α_１，β_１，γ_１）が供給される。なお、画像入力装置３は、取り込んだ画像Ｉ_ｔ（Ｘ，Ｙ），Ｊ_ｔ（Ｘ，Ｙ），Ｉ_ｔ＋Δ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）をパラメタ計算装置４に供給するとともに、位置特定装置１１にも供給する。
【００５９】
そしてステップＳＴ２１において、位置特定装置１１は、画像Ｉ_ｔ（Ｘ，Ｙ）における特徴点の重心（Ｘ_ａ，Ｙ_ａ）を式（１１）に従って計算する。
【数１１】

【００６０】
ステップＳＴ２２において、位置特定装置１１は、画像Ｊ_ｔ（Ｘ，Ｙ）における特徴点の重心（Ｘ_ｂ，Ｙ_ｂ）を同様に計算する。
【００６１】
次にステップＳＴ２３において、位置認識装置１２は、重心（Ｘ_ａ，Ｙ_ａ）と重心（Ｘ_ｂ，Ｙ_ｂ）から、三角測量の原理に基づいて対象物体の３次元位置を計算する。
【００６２】
すなわち、図１１に示すように、撮像位置５１，５２および画像上の重心（Ｘ_ａ，Ｙ_ａ），（Ｘ_ｂ，Ｙ_ｂ）をそれぞれ通過する２直線の交点５５を対象物体の３次元位置とする。ただし、一般的にはこれらの２直線は交点５５を有さないので、その場合、図１２に示すように、２直線が互いに最も近接する点５６，５７を結ぶ線分の中点５８を対象物体３１の３次元位置とする。
【００６３】
座標系Ω_１において、上記２直線の方程式は次のようになる。
まず、画像上の重心（Ｘ_ａ，Ｙ_ａ）の、座標系Ω_１での座標が（Ｘ_ａ−Ｎ_ｘ／２，Ｙ_ａ−Ｎ_ｙ／２ ，Ｚ_ｖ−ｆ）であるから、ビデオカメラ１の撮像位置５１と重心（Ｘ_ａ，Ｙ_ａ）を通過する直線は、実数ｋを用いて式（１２）に示すようにベクトル表現することができる。
【数１２】

ここで、ｑ_１は当該直線上の一点を表す位置ベクトルであり、ｅ_１は当該直線の方向単位ベクトルである。
【００６４】
また、画像上の重心（Ｘ_ｂ，Ｙ_ｂ）の、座標系Ω_１での座標が（Ｚ_ｖ−ｆ，Ｙ_ｂ−Ｎ_ｙ／２，−（Ｘ_ｂ−Ｎ_ｘ／２））であるから、ビデオカメラ２の撮像位置５２と重心（Ｘ_ｂ，Ｙ_ｂ）を通過する直線は、実数ｈを用いて式（１３）に示すようにベクトル表現することができる。
【数１３】

ここで、ｑ_２は当該直線上の一点を表す位置ベクトルであり、ｅ_２は当該直線の方向単位ベクトルである。
【００６５】
これらの交点５５、または最も近接する点を結ぶ線分の中点５８は、例えば以下のように計算される。
【００６６】
各直線上の点ｑ_１，ｑ_２の間の距離の二乗λを（ｑ_１−ｑ_２）^２とし、λをｋで偏微分した値が０になるｋ（＝ｋ^＊）を求めると、式（１４）に示すようになる。
【数１４】

【００６７】
ここでベクトルｅ_１ ^Ｔ，ｅ_２ ^Ｔの肩文字Ｔは転置を意味している。さらにλにおけるｋにｋ^＊を代入したλをｈで微分した値が０になるｈ（＝ｈ^＊）を求めると、最も近接する点を与えるｋ^＊およびｈ^＊は、式（１５）に示すようになる。
【数１５】

【００６８】
最も近接する点５６と点５７の位置ベクトルをｑ_１ ^＊およびｑ_２ ^＊とすると、ｋ^＊とｈ^＊を式（１２）および式（１３）にそれぞれ代入することで位置ベクトルｑ_１ ^＊，ｑ_２ ^＊が得られる。交点５５が存在する場合にはｑ_１ ^＊＝ｑ_２ ^＊となる。一方、交点５５が存在しない場合には、中点５８の位置ベクトルｑ_０は、式（１６）に示すようになる。
【数１６】

【００６９】
したがって、位置認識装置１２は、２直線の交点が存在する場合には、その交点５５（＝ｑ₁ ^＊＝ｑ_２ ^＊）を対象物体３１の運動前の３次元位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）とし、２直線の交点が存在する場合には、上記中点５８を対象物体３１の運動前の３次元位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）とする。
【００７０】
そして、位置特定装置１１は、ステップＳＴ２４においてステップＳＴ２１と同様にして画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）における特徴点の重心を計算し、ステップＳＴ２５においてステップＳＴ２２と同様にして画像Ｊ_ｔ＋Δ（Ｘ，Ｙ）における特徴点の重心を計算する。
【００７１】
さらに位置認識装置１２は、ステップＳＴ２６においてステップＳＴ２３と同様にして、各画像上の重心から三角測量の原理に基づいて対象物体３１の運動後の３次元位置（ｘ_ｅ，ｙ_ｅ，ｚ_ｅ）を計算する。そして位置認識装置１２は、計算した対象物体の運動前および運動後の３次元位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ），（ｘ_ｅ，ｙ_ｅ，ｚ_ｅ）を並進運動認識装置１３に供給する。
【００７２】
ステップＳＴ２７において、並進運動認識装置１３は、図１３に示すように、対象物体３１の運動前の３次元位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）から対象物体３１の運動後の３次元位置（ｘ_ｅ，ｙ_ｅ，ｚ_ｅ）へのベクトルを対象物体３１の並進運動ベクトルＳ（＝（ｘ_ｅ−ｘ_ｓ，ｙ_ｅ−ｙ_ｓ，ｚ_ｅ−ｚ_ｓ））とし、３次元運動統合装置１４に供給する。
【００７３】
そしてステップＳＴ２８において、３次元運動統合装置１４は、回転運動Ｒ_１と並進運動Ｓによって対象物体３１の３次元運動を復元する。これにより時刻ｔにおける対象物体上の点をａ（ｔ）とすれば、対象物体の運動は式（１７）に示すように表現される。
【数１７】

【００７４】
以上のように、この実施の形態２によれば、ビデオカメラ１，２によりそれぞれ撮像された画像における対象物体の位置を特定し、それぞれ特定された画像における対象物体の位置から実空間における対象物体の３次元位置を特定して対象物体の並進運動による移動量を計算するようにしたので、対象物体の回転運動とともに並進運動を復元することができるという効果が得られる。
【００７５】
また、この実施の形態２によれば、ビデオカメラ１により撮像された対象物体の画像における所定の数の特徴点を抽出してすべての特徴点の重心を画像における対象物体の位置として計算し、ビデオカメラ２により撮像された対象物体の画像における所定の数の特徴点を抽出してすべての特徴点の重心を画像における対象物体の位置として計算し、それらの画像における対象物体の位置、ビデオカメラ１，２の位置、並びにビデオカメラ１，２の光軸の方向から、三角測量の原理に基づいて対象物体の３次元位置を計算するようにしたので、対象物体の３次元位置を簡単に計算することができるという効果が得られる。
【００７６】
実施の形態３．
図１４は、この発明の実施の形態３による３次元運動復元装置の構成を示すブロック図である。図において、１は所定の第１の方向から対象物体を撮像するビデオカメラであり、２は第１の方向とは異なる第２の方向から対象物体を撮像するビデオカメラである。１０１−１はビデオカメラ１から運動前および運動後の対象物体の画像を順次入力する第１の画像入力装置であり、１０１−２はビデオカメラ２から運動前および運動後の対象物体の画像を順次入力する第２の画像入力装置である。
【００７７】
１０２−１はビデオカメラ１により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第１のパラメタ計算装置（第１の計算手段）であり、１０２−２はビデオカメラ２により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第２のパラメタ計算装置（第２の計算手段）である。
【００７８】
１０３は第１のパラメタ計算装置１０２−１により計算された２つの回転角および第２のパラメタ計算装置１０２−２により計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元する回転運動認識装置（回転運動復元手段）である。
【００７９】
次に動作について説明する。
図１５は、この発明の実施の形態３による３次元運動復元装置の動作を説明するフローチャートである。
【００８０】
この実施の形態３による３次元運動復元装置は、実施の形態１における画像入力装置およびパラメタ計算装置をビデオカメラ毎に設け、回転角（α_１，γ_１）の計算と回転角（α_２，γ_２）の計算とを並列に実行する。
【００８１】
ステップＳＴ３１において第１の画像入力装置１０１−１は、ビデオカメラ１から画像Ｉ_ｔ（Ｘ，Ｙ）を読み込んで記憶し、それに同期して、ステップＳＴ４１において第２の画像入力装置１０１−２は、ビデオカメラ２から画像Ｊ_ｔ（Ｘ，Ｙ）を読み込んで記憶する。
【００８２】
次にその微小時間Δの経過後、ステップＳＴ３２において第１の画像入力装置１０１−１は、ビデオカメラ１から画像Ｉ_ｔ＋Δ（Ｘ，Ｙ）を読み込んで記憶し、ステップＳＴ４２において第２の画像入力装置１０１−２は、ビデオカメラ２から画像Ｊ_ｔ＋Δ（Ｘ，Ｙ）を読み込んで記憶する。そして第１の画像入力装置１０１−１は画像Ｉ_ｔ（Ｘ，Ｙ），Ｉ_ｔ＋Δ（Ｘ，Ｙ）を第１のパラメタ計算装置１０２−１に供給し、第２の画像入力装置１０１−２は画像Ｊ_ｔ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）を第２のパラメタ計算装置１０２−２に供給する。
【００８３】
そしてステップＳＴ３３〜ステップＳＴ３６において、第１のパラメタ計算装置１０２−１は、実施の形態１におけるパラメタ計算装置４と同様にして、対象物体の運動前および運動後の画像Ｉ_ｔ（Ｘ，Ｙ），Ｉ_ｔ＋Δ（Ｘ，Ｙ）から、式（４），（５）に従ってオイラーの角の３成分である回転角のうちの２つの回転角α_１，γ_１を計算し、回転運動認識装置１０３に供給する。
【００８４】
またステップＳＴ４３〜ステップＳＴ４６において、第２のパラメタ計算装置１０２−２は、第１のパラメタ計算装置１０２−１の動作と並行して、実施の形態１におけるパラメタ計算装置４と同様にして、対象物体の運動前および運動後の画像Ｊ_ｔ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）から、式（４），（５）に従ってオイラーの角の３成分である回転角のうちの２つの回転角α_２，γ_２を計算し、回転運動認識装置１０３に供給する。
【００８５】
そしてステップＳＴ５１において、回転運動認識装置１０３は、第１のパラメタ計算装置１０１−１からの回転角α_１，γ_１と第２のパラメタ計算装置１０１−２からの回転角α_２，γ_２から、式（１０）を満たすβ_１を計算する。これにより、回転運動認識装置１０３は、（α_１，β_１，γ_１）によって対象物体３１の回転運動Ｒ_１を復元する。
【００８６】
なお、第１および第２の画像入力装置１０１−１，１０１−２は同期して画像を読み込むようにしているが、微小時間Δが同一であり、両者が読み込む時刻の差が十分小さい場合には、観測される対象物体３１の回転運動は同一とみなすことができるので、特に同期をとらずに回転運動を復元するようにしてもよい。
【００８７】
なお、図１６はこの実施の形態３による３次元運動復元装置の他の構成を示すブロック図である。図において、１３１は、所定のプログラムに従って、第１の画像入力装置１０１−１に対応する画像入力部１４１、第１のパラメタ計算装置１０２−１に対応するパラメタ計算部１４２、および回転運動認識装置１０３に対応する回転運動認識部１４３として動作する第１のコンピュータであり、１３２は、所定のプログラムに従って、第２の画像入力装置１０１−２に対応する画像入力部１５１、および第２のパラメタ計算装置１０２−２に対応するパラメタ計算部１５２として動作する第２のコンピュータである。
【００８８】
図１６に示すように、３次元運動復元装置におけるビデオカメラ１，２以外の構成要素をコンピュータとして構成することもできる。この場合、第２のコンピュータ１３２から第１のコンピュータ１３１へ送信するデータは（α_２，γ_２）のみであるので、少ない通信量で２つのコンピュータにより効率よく並列に処理を実行することができる。
【００８９】
以上のように、この実施の形態３によれば、ビデオカメラ１により撮像された画像から回転角（α_１，γ_１）への計算と、ビデオカメラ２により撮像された画像から回転角（α_２，γ_２）への計算を独立に並行して実行するようにしたので、３次元運動の復元処理を高速に実行することができるという効果が得られる。
【００９０】
なお、上記実施の形態１〜３においては、ビデオカメラ１，２以外の構成要素を、その構成要素の動作を記述したプログラムに従って動作するコンピュータとして実現するようにしてもよい。図１７は、コンピュータにより実現した実施の形態１，２による３次元復元装置の構成の一例を示すブロック図である。図１７に示すように、例えばコンピュータ１１１は、各種処理を実行するＣＰＵ１１２、起動時に必要なデータなどを予め記録されたＲＯＭ１１３、処理実行時にプログラムやデータなどを記憶するＲＡＭ１１４、ビデオカメラ１，２から画像をそれぞれ読み込むインタフェース１１５，１１６、および所定の記録媒体１２１に対してデータの読み書きを実行する駆動装置１１７で構成される。そして記録媒体１２１には、実施の形態１または実施の形態２におけるビデオカメラ１，２以外の構成要素の動作を記述したプログラムが記録され、そのプログラムがコンピュータ１１１に読み込まれて実行される。なお、実施の形態３の場合には、第１および第２のコンピュータ１３１，１３２のそれぞれにプログラムを用意しておく。
【００９１】
また、上記実施の形態１〜３では、ビデオカメラ１の光軸、すなわち撮像方向とビデオカメラ２の光軸とのなす角度を９０度としているが、特に９０度に限定されるものではなく、他の角度に設定しても同様に３次元運動の復元を実行することができる。
【００９２】
さらに、上記実施の形態１〜３におけるパラメタ計算装置４、並びに第１および第２のパラメタ計算装置１０２−１，１０２−２は、撮像した画像を弱中心射影画像と仮定してエピポーラ方程式に従って回転角α，γを計算するようにしたが、他の計算方法に従って回転角α，γを計算するようにしてもよい。
【００９３】
さらに、上記実施の形態１〜３では、座標系としてΩ_１，Ω_２を定義したが、演算結果を座標変換することにより、任意の座標系に対応させることができる。
【００９４】
さらに、上記実施の形態１〜３では、ビデオカメラ１およびビデオカメラ２の焦点距離、および設置位置の座標系Ω_１の原点からの距離を同一としているが、ビデオカメラ１およびビデオカメラ２の焦点距離、および設置位置の座標系Ω_１の原点からの距離がそれぞれ異なる場合でも同様にして並進運動を復元することができる。
【００９５】
さらに、上記実施の形態１〜３では、ビデオカメラ１の光軸とビデオカメラ２の光軸が交点を持つものとして説明したが、ねじれの位置にあっても同様の効果を奏する。
【００９６】
さらに、上記実施の形態１〜３では、一連の２枚の画像を入力してそれぞれの特徴点を検出して２枚の画像の撮像間の運動を復元するように説明したが、運動の復元処理を連続して実行することも勿論可能である。その場合には、画像Ｉ_ｔ＋Δ（Ｘ，Ｙ），Ｊ_ｔ＋Δ（Ｘ，Ｙ）および特徴点の検出結果を次の処理での画像Ｉ_ｔ（Ｘ，Ｙ），Ｊ_ｔ（Ｘ，Ｙ）としてそのまま使用することにより、次の処理において画像Ｉ_ｔ（Ｘ，Ｙ），Ｊ_ｔ（Ｘ，Ｙ）の入力とそれからの特徴点の検出処理を省略することができる。
【００９７】
さらに、対象物体の形状は特に限定されないが、対象物体の形状が既知の場合、その形状の特徴を考慮して運動をより正確に復元するようにしてもよい。
【００９８】
さらに、上記実施の形態２では、画像上の特徴点の像の重心を用いて対象物体の並進運動を計算するが、対象物体の画像を背景から抜き出し、その領域の重心を画像における対象物体の位置として使用するなど、他の方法により画像上での対象物体の位置を計算するようにしてもよい。
【００９９】
さらに、上記実施の形態３では、２台のビデオカメラを使用しているが、さらに１台を追加し、そのうちの２台ごとに対して上記実施の形態３による３次元運動復元装置を構成することにより、それぞれの復元結果を比較してより正確に対象物体の３次元運動を復元することができる。
【０１００】
【発明の効果】
以上のように、この発明によれば、所定の第１の方向から対象物体を撮像するとともに、第１の方向とは異なる第２の方向から対象物体を撮像し、第１の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、また、第２の方向から撮像された運動前および運動後の対象物体の画像に基づいて、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、第１の方向から撮像された画像に基づいて計算された２つの回転角および第２の方向から撮像された画像に基づいて計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元するように構成したので、対象物体の回転運動を正確にかつ一意に復元することができるという効果がある。
【０１０１】
また、特徴点の対応付けは連続する２つの画像間でのみ行うため、回転運動を正確に復元することができるという効果がある。
【０１０２】
この発明によれば、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するように構成したので、簡単な演算で２つの回転角を計算することができるという効果がある。
【０１０３】
この発明によれば、第１の撮像手段により撮像された画像における対象物体の位置を特定するとともに、第２の撮像手段により撮像された画像における対象物体の位置を特定する位置特定手段と、位置特定手段によりそれぞれ特定された画像における対象物体の位置から実空間における対象物体の３次元位置を特定する３次元位置特定手段と、３次元位置特定手段により特定された運動前および運動後の対象物体の３次元位置から対象物体の並進運動による移動量を計算して、対象物体の並進運動を復元する並進運動復元手段とを備えるようにしたので、対象物体の回転運動とともに並進運動を復元することができるという効果がある。
【０１０４】
この発明によれば、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての特徴点の重心を画像における対象物体の位置として計算し、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての特徴点の重心を画像における対象物体の位置として計算し、それらの画像における対象物体の位置、第１および第２の撮像手段の位置、並びに第１および第２の撮像手段からの第１および第２の方向から、三角測量の原理に基づいて対象物体の３次元位置を計算するように構成したので、対象物体の３次元位置を簡単に計算することができるという効果がある。
【０１０５】
この発明によれば、所定の第１の方向から対象物体を撮像する第１の撮像手段と、第１の方向とは異なる第２の方向から対象物体を撮像する第２の撮像手段と、第１の撮像手段により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第１の計算手段と、第２の撮像手段により撮像された運動前および運動後の対象物体の画像から、対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第２の計算手段と、第１の計算手段により計算された２つの回転角および第２の計算手段により計算された２つの回転角から３つの回転角のうちの残りの回転角を一意に計算して、対象物体の回転運動を一意に復元する回転運動復元手段とを備えるようにしたので、上記２つの回転角の計算を並列に実行することができ、３次元運動の復元処理を高速に実行することができるという効果がある。
【０１０６】
この発明によれば、第１の撮像手段の第１の方向と第２の撮像手段の第２の方向とのなす角度が９０度になるように構成したので、より簡単な演算で対象物体の３次元運動を復元することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による３次元運動復元装置の構成を示すブロック図である。
【図２】 ビデオカメラによる測定系の一例を示す図である。
【図３】 ビデオカメラによる測定系の一例を示す図である。
【図４】 対象物体、その特徴点、およびビデオカメラにより撮像される画像の関係の一例を示す図である。
【図５】 この発明の実施の形態１による３次元運動復元装置の動作について説明するフローチャートである。
【図６】 ３次元運動復元装置による処理を説明する図である。
【図７】 特徴点の移動距離Ｌを示す図である。
【図８】 この発明の実施の形態２による３次元運動復元装置の構成を示すブロック図である。
【図９】 ビデオカメラによる測定系の一例を示す図である。
【図１０】 この発明の実施の形態２による３次元復元装置の動作を説明するフローチャートである。
【図１１】 対象物体の画像上の位置から３次元位置を導出する処理を説明する図である。
【図１２】 対象物体の画像上の位置から３次元位置を導出する処理を説明する図である。
【図１３】 並進運動ベクトルの一例を示す図である。
【図１４】 この発明の実施の形態３による３次元運動復元装置の構成を示すブロック図である。
【図１５】 この発明の実施の形態３による３次元運動復元装置の動作を説明するフローチャートである。
【図１６】 実施の形態３による３次元運動復元装置の他の構成を示すブロック図である。
【図１７】 コンピュータにより実現した実施の形態１，２による３次元復元装置の構成の一例を示すブロック図である。
【図１８】 従来の３次元運動復元装置の構成を示すブロック図である。
【図１９】 従来の３次元運動復元装置の動作を説明する図である。
【図２０】 従来の３次元運動復元装置の動作を説明する図である。
【符号の説明】
１ ビデオカメラ（第１の撮像手段）、２ ビデオカメラ（第２の撮像手段）、４ パラメタ計算装置（回転角計算手段）、５ 回転運動認識装置（回転運動復元手段）、１１ 位置特定装置（位置特定手段）、１２ 位置認識装置（３次元位置特定手段）、１３ 並進運動認識装置（並進運動復元手段）、１０２−１第１のパラメタ計算装置（第１の計算手段）、１０２−２ 第２のパラメタ計算装置（第２の計算手段）、１０３ 回転運動認識装置（回転運動復元手段）、１２１ 記録媒体。

Claims (9)

1. 所定の第１の方向から対象物体を撮像する第１の撮像手段と、
   前記第１の方向とは異なる第２の方向から前記対象物体を撮像する第２の撮像手段と、
   前記第１の撮像手段により撮像された運動前および運動後の前記対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、前記第２の撮像手段により撮像された運動前および運動後の前記対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する回転角計算手段と、
   前記回転角計算手段によりそれぞれ計算された２組の前記２つの回転角から、前記３つの回転角のうちの残りの回転角を一意に計算して、前記対象物体の回転運動を一意に復元する回転運動復元手段と
   を備えた３次元運動復元装置。
2. 回転角計算手段は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による前記特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、また、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による前記特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する
   ことを特徴とする請求項１記載の３次元運動復元装置。
3. 第１の撮像手段により撮像された画像における前記対象物体の位置を特定するとともに、第２の撮像手段により撮像された画像における前記対象物体の位置を特定する位置特定手段と、
   前記位置特定手段によりそれぞれ特定された画像における前記対象物体の位置から実空間における前記対象物体の３次元位置を特定する３次元位置特定手段と、
   前記３次元位置特定手段により特定された運動前および運動後の前記対象物体の３次元位置から前記対象物体の並進運動による移動量を計算して、前記対象物体の並進運動を復元する並進運動復元手段と
   を備えることを特徴とする請求項１または請求項２記載の３次元運動復元装置。
4. 位置特定手段は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての前記特徴点の重心を前記画像における前記対象物体の位置として計算し、また、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、すべての前記特徴点の重心を前記画像における前記対象物体の位置として計算し、
   ３次元位置特定手段は、前記位置特定手段により計算された各画像における対象物体の位置、前記第１および第２の撮像手段の位置、並びに前記第１および第２の撮像手段の第１および第２の方向から、三角測量の原理に基づいて前記対象物体の３次元位置を計算する
   ことを特徴とする請求項３記載の３次元運動復元装置。
5. 所定の第１の方向から対象物体を撮像する第１の撮像手段と、
   前記第１の方向とは異なる第２の方向から前記対象物体を撮像する第２の撮像手段と、
   前記第１の撮像手段により撮像された運動前および運動後の前記対象物体の画像から、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第１の計算手段と、
   前記第２の撮像手段により撮像された運動前および運動後の前記対象物体の画像から、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する第２の計算手段と、
   前記第１の計算手段により計算された前記２つの回転角および前記第２の計算手段により計算された前記２つの回転角から前記３つの回転角のうちの残りの回転角を一意に計算して、前記対象物体の回転運動を一意に復元する回転運動復元手段と
   を備えた３次元運動復元装置。
6. 第１の計算手段は、第１の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による前記特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算し、
   第２の計算手段は、第２の撮像手段により撮像された対象物体の画像における所定の数の特徴点を抽出し、運動による前記特徴点の移動量から弱中心射影画像のエピポーラ方程式に基づいて前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算する
   ことを特徴とする請求項５記載の３次元運動復元装置。
7. 第１の撮像手段の第１の方向と第２の撮像手段の第２の方向とのなす角度が９０度である
   ことを特徴とする請求項１から請求項６のうちのいずれか１項記載の３次元運動復元装置。
8. 所定の第１の方向から対象物体を撮像するステップと、
   前記第１の方向とは異なる第２の方向から前記対象物体を撮像するステップと、
   前記第１の方向から撮像された運動前および運動後の前記対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップと、
   前記第２の方向から撮像された運動前および運動後の前記対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップと、
   前記第１の方向から撮像された画像に基づいて計算された前記２つの回転角および前記第２の方向から撮像された画像に基づいて計算された前記２つの回転角から前記３つの回転角のうちの残りの回転角を一意に計算して、前記対象物体の回転運動を一意に復元するステップと
   を備えた３次元運動復元方法。
9. コンピュータに、
   所定の第１の方向から撮像された運動前および運動後の対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップ、
   前記第１の方向とは異なる第２の方向から撮像された運動前および運動後の前記対象物体の画像に基づいて、前記対象物体の回転運動を表す３つの回転角のうちの２つの回転角を計算するステップ、
   前記第１の方向から撮像された画像に基づいて計算された前記２つの回転角および前記第２の方向から撮像された画像に基づいて計算された前記２つの回転角から前記３つの回転角のうちの残りの回転角を一意に計算して、前記対象物体の回転運動を一意に復元するステップ
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images