JP4822307B2 - ３次元物体復元方法とその装置 - Google Patents
３次元物体復元方法とその装置 Download PDFInfo
- Publication number
- JP4822307B2 JP4822307B2 JP2001202943A JP2001202943A JP4822307B2 JP 4822307 B2 JP4822307 B2 JP 4822307B2 JP 2001202943 A JP2001202943 A JP 2001202943A JP 2001202943 A JP2001202943 A JP 2001202943A JP 4822307 B2 JP4822307 B2 JP 4822307B2
- Authority
- JP
- Japan
- Prior art keywords
- natural number
- matrix
- measurement matrix
- equation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多視点画像計測つまり移動ビデオカメラ群が適用された３次元物体復元を行う多視点画像計測による３次元復元方法およびその装置に関する。
すなわち、本発明の該当する産業上の利用分野としては、次のようなケース等が適合する。
福祉機器開発のための高齢者や障害者の動作解析、
リハビリにおける訓練効果の評価、
スポーツ・ダンスや歯磨き等の動作解析、
動物の行動解析による生態・動態調査、
ビデオゲームやバーチャルリアリテイ(Virtual reality),コンピュータグラフィックス, 電子博物館等における３次元モデルの作成、
物体の破壊過程の復元とその解析等である。
【０００２】
【従来の技術】
本発明がなされた技術的背景となる従来例について触れておく。
先ず、３次元物体復元として、従来はステレオビジョンが主流である。
また、カメラパラメータを復元計算に使わない、因子分解法という３次元復元法がある[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] 。
さらに、複数台のカメラを物体の周囲に固定することにより、前記剛体・変形体の区別なく、物体の3 次元復元を行う方法が提案された[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]。この方法は因子分解法を基礎にしているので、事前のカメラキャリブレーション(Camera calibration) が不要である。
さらにまた、時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法も提案されている[ その第1 として、Tan,J.K.,Ishikawa,S.,Ikeuchi,H.,Nohara,I.Hata,S.:"Recovering human motion by factorization",Proc.the 3rd Symposium on Sensing via Image Information,111-114(June,1997)があり、その第2 としてTan,J.K.,Kawabata,S.,Ishikawa,S.,"An efficient technique for motion recovery based on multiple views",Proc.IAPR Workshop on MachinVision Applications,270-273(Nov.,1998)も存在し、その第3 として特開2001-78226: 画像生成装置及び方法が見られる] 。
【０００３】
【発明が解決しようとする課題】
ところが、前記ステレオビジョンシステムは、事前にカメラキャリブレーションが必要なので、場所によっては使用し難い。つまり、事前にカメラキャリブレーションを要し、屋外、高齢者・障害者宅・体内等、人や生体の動作の３次元復元と解析に関する需要に、十分応えられない。
また、前記因子分解法は、１台のカメラを使って前記剛体の周囲を撮影し、全てのフレームで共通に観察される部分の３次元復元を行うが、人のように時間とともに形の変る前記変形体の復元はできない。
さらに、前記複数台のカメラを物体の周囲に固定する方法は、カメラを固定して用いるので、フィールドスポーツのように大きな動きや移動を伴う物体の復元には適さない。
さらにまた、前記時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法は、復元結果を時間軸方向につなぐためにランドマーク(Landmark)が必要であり、また復元計算に含まれる誤差が各時刻で独立であるため、復元結果のつなぎ合わせが難しい。
ここにおいて本発明は、カメラを移動物体と共に移動しながら撮影し、拡大計測行列に基づく因子分解法を適用して移動物体等の３次元復元を行う方法とその装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項１の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元方法であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq1)のＷ x (i)及び式(eq2)のＷ y (i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求めるステップと、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元するステップを含むものである。
【０００５】
本発明の請求項２の発明は、請求項１記載の３次元物体復元方法であって、式(eq4)により、前記ｉ番目の方向に応じてＷ x (i)及びＷ y (i)を管理する２ＦＮ行Ｑ列の初期拡大計測行列Ｗ in を生成するステップを含み、前記第１の拡大計測行列Ｗを求めるステップにおいて、前記第１の拡大計測行列Ｗは、前記初期拡大計測行列Ｗ in において、Ｗ x (i)及びＷ y (i)をそれぞれブロック移動することにより生成され、前記物体の３次元形状を復元するステップにおいて、前記第１の拡大計測行列Ｗ及び要素が全て１のＱ行Ｑ列の行列Ｅ Q に対して、Ｗ−（Ｗ・Ｅ Q ）／Ｑを計算することにより、第２の拡大計測行列［Ｗ］を生成し、前記第２の拡大計測行列［Ｗ］に因子分解を適用して［Ｗ］＝［カメラの姿勢行列Ｍ］・［物体の形状行列Ｓ］に分解し、前記物体の形状行列Ｓを基に計測結果の表示を行うものである。
【０００６】
本発明の請求項３の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元装置であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq1)のＷ x (i)及び式(eq2)のＷ y (i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求める手段と、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元する手段を備えるものである。
【０００７】
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図に基づいて説明する。
図１は、本発明の装置全体の概要を示す構成図である。
Ａ． 初めにビデオ映像データの取得の手順を説明する。
[101] Ｆ台(F=3 or F＞3) のカメラ（カメラ群１１，１２，１３）で対象の物体を撮影する。
このときカメラ群は、互いの方向を一定に保つ。この条件の基に、これらのカメラ群は固定しても移動してもよい。
移動させながら物体を撮影する場合は、図１に示すように移動機器１４に固定してもよい。この移動機器は、自動走行する機能を具えたもの、またマニュアルで走行させるものを含む。
【０００９】
[102] カメラ群を移動させながら、測定対象となる物体を撮影する。
移動は、回転および平行移動を含む任意の軌道で行われる。測定対象には特徴点( マーカー) を付けてもよい。
[103] Ｆ台のカメラから得られるＦ個の映像に対し、ビデオキャプチャボード１６を介して、サンプリング間隔Ｔs で各映像をコンピュータＰＣ・１５内のディスク（メモリ）に格納する。これらのサンプリングされた映像をＩf(t)[ ただし、t=1,2,…N であり、またf=1,2,…F ] で表す。
【００１０】
Ｂ． そして、拡大計測行列の作成に入る。
[104] 時刻ｔ( ｔ=1,2, …,N) におけるＦ枚の映像Ｉf(t)(f=1,2, …Ｆ) をディスクより読み出す。
[105] 時刻ｔにおける特徴点Ｐp(t)(p=1,2, …Ｐt)の、カメラf の画像上での座標は〔xfp(t), ｙfp(t) 〕と表される。
Ｆ枚の映像間で対応の取れる特徴点を選び、その画像座標を（式１）で定義される行列Ｗ(t) に書き込む。
ｘ座標は第ｆ行，第ｐ列に、ｙ座標は第 (Ｆ＋ｆ) 行, 第ｐ列に書き込まれる。
特徴点の対応付けは正規化相関等を用いる。
【００１１】
行列Ｗ(t) の上半分および下半分をそれぞれＷx(t), Ｗy(t)で表す。
【００１２】
[106] （式１）の行列Ｗ(t)(t=1,2,…,N) を全てまとめて、次の２ＦＮ行，Ｑ列の行列Ｗinを作る。行列Ｗinは初期拡大計測行列と呼ばれる。
【００１３】
【００１４】
（式２）の行列Ｗinは灰色のブロック内のみ座標値が記入され、他の成分は全て不明である。
Ｆ台のカメラが、その互いの方向を一定に保ったままで任意に動くため、物体に対するその方向も変化する。その変化毎に、新しいＦ行に座標値が書き込まれる。
Ｆ台のカメラは、複数の連続するサンプル時刻にわたり方向が変化しなくてもかまわないが（例えば数サンプリング時刻毎に移動する等）、（式２）では簡明のために、サンプリング時刻ｔごとに移動機器が移動して、カメラ群の方向が変化する場合を示している。
[107] （式２）の行列において、t=2,3,…,Nの各ブロックを、次式に示すように最初のＦ行の位置（破線ブロックの部分）に移す。
【００１５】
【００１６】
[108] 特徴点の重心を原点とする座標系に変換するために、以下の式を用いて、（式５）の第１の拡大計測行列Ｗより第２の拡大計測行列 [Ｗ] を生成する。
[Ｗ] ＝Ｗ−（Ｗ・ＥQ ) ／Ｑ ……………………（式６）
ここで、ＥQ は要素が全て１のＱ×Ｑ行列、Ｑは（式３）で与えられる全特徴点数である。 [Ｗ] は第２の拡大計測行列と呼ぶ。
【００１７】
Ｃ． 特徴点の３次元座標の計算を行う。
[109] 第２の拡大計測行列 [Ｗ] に対して因子分解（前記カメラパラメータを復元計算に使わない、因子分解法という３次元復元法であって[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] ）を適用し、次式のようにカメラの姿勢行列Ｍと物体の形状行列Ｓの積に分解する。
[Ｗ] ＝Ｍ・Ｓ ……………………（式７）
姿勢行列Ｍは、時刻t=1 におけるＦ台のカメラの方向を与える。
また、形状行列Ｓは、（式２）で与えらえる初期拡大計測行列Ｗinに画像座標の記入された、全特徴点Ｐp(t)(p=1,2, …,Pi,t=1,2,…,N) の３次元座標を与える。
形状行列Ｓによって、対象となる物体の３次元復元が完了する。
【００１８】
Ｄ. 復元結果の表示を行う
[110] （式７）で与えられる形状行列Ｓを基に、結果の表示を行う。
この方法によって復元されるのは点（特徴点）であるから、ワイヤーフレーム表現、または市販の３次元モデリングソフトウェア(Modeling software)を用いた表現等で表示する。
【００１９】
図２は、本発明におけるアルゴリズムの流れを示す流れ図である。
以下にその操作手順を説明する。図２において、
ステップＳ21ではＦ台のカメラによって対象物体の映像を得る〔[101] 〜[103]]。
ステップＳ22は拡大計測行列作成のステップであって、ステップ23〜25がその作成内容である。すなわち、
その作成ためにはステップＳ23で、各サンプル時刻におけるＦ枚の画像上で特徴点間の対応付けを行い、初期拡大計測行列Ｗinを作成する。
ステップＳ24では、初期拡大計測行列Ｗin内でのブロック移動によって第１の拡大計測行列Ｗを作成する〔[104] 〜[106] 〕。
ステップＳ25では、座標原点を物体上の特徴点の重心に移動させ、第１の拡大計測行列Ｗを、その重心からの偏差で座標を表した第２の拡大計測行列 [Ｗ] に変換する。
ステップＳ26は特徴点の3 次元座標の計算を行うステップである。
そこではステップＳ27で、[ Ｗ] ＝Ｍ・Ｓの因子分解を実行し、カメラの姿勢行列Ｍと物体上の特徴点の３次元位置を与える形状行列Ｓを求める。
ステップＳ28では形状行列Ｓを用いて、復元結果を３次元表示する。
【００２０】
次に、実施の形態における具体的作用・動作を詳細に説明する。
図３は、本発明の具体的作用を一つの例によって示した運動する人の撮影の説明図である。
カメラ３台(F=3) を載せた移動器具を２回移動させ、初期位置を含めて３箇所の異なる位置と方向Ｌ1,Ｌ2,Ｌ3 で、運動する人を撮影するものとする。
それぞれの位置において経過する時間を、Ｌ1=t1〜t2, Ｌ2=t3, Ｌ3=t4〜t5 とする。
また、各時刻で観測される特徴点数を４個とし、それぞれを、
Ｆp(t) (p=1,2,3,4 t=1,2,3,4,5) で表す。
なお、ここでは、時刻ｔにカメラｆの画面上で観察される特徴点Ｐp(t)の座標を、ｘfp(t),ｙfp(t) の代わりにｘt fp,ｙt fp で表記する。
【００２１】
図４は、本発明のこの一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けの説明図である。
それによる画像間の特徴点の対応付けの結果、（式２）に対応する次式が得られる。
この行列に対し、第４〜９行の値を第１〜３行に、また第１３〜１８行の値を第１０〜１２行に移動させ、（式４）に対応する式は（式９）で与えられる。
【００２２】
この結果、（式５）に対応する次の（式１０）を得る。
【００２３】
【００２４】
各行の平均値を求める。
ただし、f=1,2,3 である。
次式によって、行毎に各成分からこの平均値を引く。
【００２５】
第２の拡大計測行列 [Ｗ] を因子分解すれば、次式が得られる。
[Ｗ] ＝Ｍ・Ｓ ……………………………（式１３）
ここで、Ｍは位置Ｌ1 におけるカメラの方向を与える行列、Ｓは全特徴点
Ｐp(t) (p=1,2,3,4;t=1,2,3,4,5)の３次元座標を与える形状行列である。
以上の処理によって、移動機器に固定された３台のカメラにより観察される、人物上の特徴点Ｐp(t)(p=1,2,3,4;t=1,2,3,4,5) の３次元座標が求められる。
【００２６】
【発明の効果】
因子分解法を基礎とした従来の物体復元法[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]では、対象を撮影するカメラの位置と方向が固定されているため、カメラの前で行われる運動・動作等の復元しか行えない。サッカーやランニングなど移動範囲の大きな運動等に関しては、カメラの前面を通過する対象の復元しか行えず、運動等の全体を復元するには撮影システムを対象から十分離す必要があるが、相対的に対象物が小さくなり、特徴点の追跡が困難になる。
然るに本発明では、以上の問題を克服し、既提案の上記物体復元法を次のように改良している。すなわち、撮影システムを可動にして、移動する対象物体と共に移動しながらその物体を撮影し、複数台のカメラで共通して観察される部分の３次元形状が復元するという、特段の作用を持つことができるのである。
この結果、本発明特有の効果として、カメラ群とともに移動する人から観察される情景が３次元復元されることになる。
これは、撮影システム（移動機器）が動く代わりに、撮影システム前面の、対象物体を含む情景が相対的に動いていると考えることに等しい。このことを（式４）または（式９）に示した操作で実現している。
なお、同様の効果は、移動機器に２台のカメラを固定したステレオビジョンシステムでも実現できるが、本発明との違いは、ステレオビジョンシステムでは事前のカメラキャリブレーションが必要であるのに対し、本発明はカメラキャリブレーションが一切必要ないという顕著な効果も認められる点である。
さらに、本発明によれば次のような復元が可能である。
移動物体と共に移動しながら撮影することにより、運動・移動する人（複数可）などの動作の復元が可能である。
物体の周囲を周回しながら撮影することにより、建物・銅像などの全周復元が可能である（ただし全周モデル作成のためには、つなぎ合わせ処理が必要になる。）。また、手話をする人など、移動を伴わない人の動作の、任意方向からの復元が可能である。
現在地点で、適当な垂直軸の回りに回転しながら周囲を撮影することにより、剛体・変形体を含む周囲の情景のパノラマ復元が可能である。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すシステムの概要図
【図２】本発明の一実施の形態における変形物体の形状復元の処理の流れを示す図
【図３】本発明の実施の形態での一つの例によって運動する人の撮影を表す説明図
【図４】本発明の一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けを示す図
【符号の説明】
１０ 復元対象
１１ カメラ１
１２ カメラｆ
１３ カメラＦ
１４ 移動機器
１５ ＰＣ（Personal Computer)
１６ ビデオキャプチャボード(Video capture board)
【発明の属する技術分野】
本発明は、多視点画像計測つまり移動ビデオカメラ群が適用された３次元物体復元を行う多視点画像計測による３次元復元方法およびその装置に関する。
すなわち、本発明の該当する産業上の利用分野としては、次のようなケース等が適合する。
福祉機器開発のための高齢者や障害者の動作解析、
リハビリにおける訓練効果の評価、
スポーツ・ダンスや歯磨き等の動作解析、
動物の行動解析による生態・動態調査、
ビデオゲームやバーチャルリアリテイ(Virtual reality),コンピュータグラフィックス, 電子博物館等における３次元モデルの作成、
物体の破壊過程の復元とその解析等である。
【０００２】
【従来の技術】
本発明がなされた技術的背景となる従来例について触れておく。
先ず、３次元物体復元として、従来はステレオビジョンが主流である。
また、カメラパラメータを復元計算に使わない、因子分解法という３次元復元法がある[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] 。
さらに、複数台のカメラを物体の周囲に固定することにより、前記剛体・変形体の区別なく、物体の3 次元復元を行う方法が提案された[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]。この方法は因子分解法を基礎にしているので、事前のカメラキャリブレーション(Camera calibration) が不要である。
さらにまた、時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法も提案されている[ その第1 として、Tan,J.K.,Ishikawa,S.,Ikeuchi,H.,Nohara,I.Hata,S.:"Recovering human motion by factorization",Proc.the 3rd Symposium on Sensing via Image Information,111-114(June,1997)があり、その第2 としてTan,J.K.,Kawabata,S.,Ishikawa,S.,"An efficient technique for motion recovery based on multiple views",Proc.IAPR Workshop on MachinVision Applications,270-273(Nov.,1998)も存在し、その第3 として特開2001-78226: 画像生成装置及び方法が見られる] 。
【０００３】
【発明が解決しようとする課題】
ところが、前記ステレオビジョンシステムは、事前にカメラキャリブレーションが必要なので、場所によっては使用し難い。つまり、事前にカメラキャリブレーションを要し、屋外、高齢者・障害者宅・体内等、人や生体の動作の３次元復元と解析に関する需要に、十分応えられない。
また、前記因子分解法は、１台のカメラを使って前記剛体の周囲を撮影し、全てのフレームで共通に観察される部分の３次元復元を行うが、人のように時間とともに形の変る前記変形体の復元はできない。
さらに、前記複数台のカメラを物体の周囲に固定する方法は、カメラを固定して用いるので、フィールドスポーツのように大きな動きや移動を伴う物体の復元には適さない。
さらにまた、前記時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法は、復元結果を時間軸方向につなぐためにランドマーク(Landmark)が必要であり、また復元計算に含まれる誤差が各時刻で独立であるため、復元結果のつなぎ合わせが難しい。
ここにおいて本発明は、カメラを移動物体と共に移動しながら撮影し、拡大計測行列に基づく因子分解法を適用して移動物体等の３次元復元を行う方法とその装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項１の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元方法であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq1)のＷ x (i)及び式(eq2)のＷ y (i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求めるステップと、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元するステップを含むものである。
【０００５】
本発明の請求項２の発明は、請求項１記載の３次元物体復元方法であって、式(eq4)により、前記ｉ番目の方向に応じてＷ x (i)及びＷ y (i)を管理する２ＦＮ行Ｑ列の初期拡大計測行列Ｗ in を生成するステップを含み、前記第１の拡大計測行列Ｗを求めるステップにおいて、前記第１の拡大計測行列Ｗは、前記初期拡大計測行列Ｗ in において、Ｗ x (i)及びＷ y (i)をそれぞれブロック移動することにより生成され、前記物体の３次元形状を復元するステップにおいて、前記第１の拡大計測行列Ｗ及び要素が全て１のＱ行Ｑ列の行列Ｅ Q に対して、Ｗ−（Ｗ・Ｅ Q ）／Ｑを計算することにより、第２の拡大計測行列［Ｗ］を生成し、前記第２の拡大計測行列［Ｗ］に因子分解を適用して［Ｗ］＝［カメラの姿勢行列Ｍ］・［物体の形状行列Ｓ］に分解し、前記物体の形状行列Ｓを基に計測結果の表示を行うものである。
【０００６】
本発明の請求項３の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元装置であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq1)のＷ x (i)及び式(eq2)のＷ y (i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求める手段と、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元する手段を備えるものである。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態について図に基づいて説明する。
図１は、本発明の装置全体の概要を示す構成図である。
Ａ． 初めにビデオ映像データの取得の手順を説明する。
[101] Ｆ台(F=3 or F＞3) のカメラ（カメラ群１１，１２，１３）で対象の物体を撮影する。
このときカメラ群は、互いの方向を一定に保つ。この条件の基に、これらのカメラ群は固定しても移動してもよい。
移動させながら物体を撮影する場合は、図１に示すように移動機器１４に固定してもよい。この移動機器は、自動走行する機能を具えたもの、またマニュアルで走行させるものを含む。
【０００９】
[102] カメラ群を移動させながら、測定対象となる物体を撮影する。
移動は、回転および平行移動を含む任意の軌道で行われる。測定対象には特徴点( マーカー) を付けてもよい。
[103] Ｆ台のカメラから得られるＦ個の映像に対し、ビデオキャプチャボード１６を介して、サンプリング間隔Ｔs で各映像をコンピュータＰＣ・１５内のディスク（メモリ）に格納する。これらのサンプリングされた映像をＩf(t)[ ただし、t=1,2,…N であり、またf=1,2,…F ] で表す。
【００１０】
Ｂ． そして、拡大計測行列の作成に入る。
[104] 時刻ｔ( ｔ=1,2, …,N) におけるＦ枚の映像Ｉf(t)(f=1,2, …Ｆ) をディスクより読み出す。
[105] 時刻ｔにおける特徴点Ｐp(t)(p=1,2, …Ｐt)の、カメラf の画像上での座標は〔xfp(t), ｙfp(t) 〕と表される。
Ｆ枚の映像間で対応の取れる特徴点を選び、その画像座標を（式１）で定義される行列Ｗ(t) に書き込む。
ｘ座標は第ｆ行，第ｐ列に、ｙ座標は第 (Ｆ＋ｆ) 行, 第ｐ列に書き込まれる。
特徴点の対応付けは正規化相関等を用いる。
【００１１】
【００１２】
[106] （式１）の行列Ｗ(t)(t=1,2,…,N) を全てまとめて、次の２ＦＮ行，Ｑ列の行列Ｗinを作る。行列Ｗinは初期拡大計測行列と呼ばれる。
【００１３】
（式２）の行列Ｗinは灰色のブロック内のみ座標値が記入され、他の成分は全て不明である。
Ｆ台のカメラが、その互いの方向を一定に保ったままで任意に動くため、物体に対するその方向も変化する。その変化毎に、新しいＦ行に座標値が書き込まれる。
Ｆ台のカメラは、複数の連続するサンプル時刻にわたり方向が変化しなくてもかまわないが（例えば数サンプリング時刻毎に移動する等）、（式２）では簡明のために、サンプリング時刻ｔごとに移動機器が移動して、カメラ群の方向が変化する場合を示している。
[107] （式２）の行列において、t=2,3,…,Nの各ブロックを、次式に示すように最初のＦ行の位置（破線ブロックの部分）に移す。
【００１５】
[108] 特徴点の重心を原点とする座標系に変換するために、以下の式を用いて、（式５）の第１の拡大計測行列Ｗより第２の拡大計測行列 [Ｗ] を生成する。
[Ｗ] ＝Ｗ−（Ｗ・ＥQ ) ／Ｑ ……………………（式６）
ここで、ＥQ は要素が全て１のＱ×Ｑ行列、Ｑは（式３）で与えられる全特徴点数である。 [Ｗ] は第２の拡大計測行列と呼ぶ。
【００１７】
Ｃ． 特徴点の３次元座標の計算を行う。
[109] 第２の拡大計測行列 [Ｗ] に対して因子分解（前記カメラパラメータを復元計算に使わない、因子分解法という３次元復元法であって[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] ）を適用し、次式のようにカメラの姿勢行列Ｍと物体の形状行列Ｓの積に分解する。
[Ｗ] ＝Ｍ・Ｓ ……………………（式７）
姿勢行列Ｍは、時刻t=1 におけるＦ台のカメラの方向を与える。
また、形状行列Ｓは、（式２）で与えらえる初期拡大計測行列Ｗinに画像座標の記入された、全特徴点Ｐp(t)(p=1,2, …,Pi,t=1,2,…,N) の３次元座標を与える。
形状行列Ｓによって、対象となる物体の３次元復元が完了する。
【００１８】
Ｄ. 復元結果の表示を行う
[110] （式７）で与えられる形状行列Ｓを基に、結果の表示を行う。
この方法によって復元されるのは点（特徴点）であるから、ワイヤーフレーム表現、または市販の３次元モデリングソフトウェア(Modeling software)を用いた表現等で表示する。
【００１９】
図２は、本発明におけるアルゴリズムの流れを示す流れ図である。
以下にその操作手順を説明する。図２において、
ステップＳ21ではＦ台のカメラによって対象物体の映像を得る〔[101] 〜[103]]。
ステップＳ22は拡大計測行列作成のステップであって、ステップ23〜25がその作成内容である。すなわち、
その作成ためにはステップＳ23で、各サンプル時刻におけるＦ枚の画像上で特徴点間の対応付けを行い、初期拡大計測行列Ｗinを作成する。
ステップＳ24では、初期拡大計測行列Ｗin内でのブロック移動によって第１の拡大計測行列Ｗを作成する〔[104] 〜[106] 〕。
ステップＳ25では、座標原点を物体上の特徴点の重心に移動させ、第１の拡大計測行列Ｗを、その重心からの偏差で座標を表した第２の拡大計測行列 [Ｗ] に変換する。
ステップＳ26は特徴点の3 次元座標の計算を行うステップである。
そこではステップＳ27で、[ Ｗ] ＝Ｍ・Ｓの因子分解を実行し、カメラの姿勢行列Ｍと物体上の特徴点の３次元位置を与える形状行列Ｓを求める。
ステップＳ28では形状行列Ｓを用いて、復元結果を３次元表示する。
【００２０】
次に、実施の形態における具体的作用・動作を詳細に説明する。
図３は、本発明の具体的作用を一つの例によって示した運動する人の撮影の説明図である。
カメラ３台(F=3) を載せた移動器具を２回移動させ、初期位置を含めて３箇所の異なる位置と方向Ｌ1,Ｌ2,Ｌ3 で、運動する人を撮影するものとする。
それぞれの位置において経過する時間を、Ｌ1=t1〜t2, Ｌ2=t3, Ｌ3=t4〜t5 とする。
また、各時刻で観測される特徴点数を４個とし、それぞれを、
Ｆp(t) (p=1,2,3,4 t=1,2,3,4,5) で表す。
なお、ここでは、時刻ｔにカメラｆの画面上で観察される特徴点Ｐp(t)の座標を、ｘfp(t),ｙfp(t) の代わりにｘt fp,ｙt fp で表記する。
【００２１】
図４は、本発明のこの一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けの説明図である。
それによる画像間の特徴点の対応付けの結果、（式２）に対応する次式が得られる。
【００２２】
【００２３】
各行の平均値を求める。
次式によって、行毎に各成分からこの平均値を引く。
第２の拡大計測行列 [Ｗ] を因子分解すれば、次式が得られる。
[Ｗ] ＝Ｍ・Ｓ ……………………………（式１３）
ここで、Ｍは位置Ｌ1 におけるカメラの方向を与える行列、Ｓは全特徴点
Ｐp(t) (p=1,2,3,4;t=1,2,3,4,5)の３次元座標を与える形状行列である。
以上の処理によって、移動機器に固定された３台のカメラにより観察される、人物上の特徴点Ｐp(t)(p=1,2,3,4;t=1,2,3,4,5) の３次元座標が求められる。
【００２６】
【発明の効果】
因子分解法を基礎とした従来の物体復元法[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]では、対象を撮影するカメラの位置と方向が固定されているため、カメラの前で行われる運動・動作等の復元しか行えない。サッカーやランニングなど移動範囲の大きな運動等に関しては、カメラの前面を通過する対象の復元しか行えず、運動等の全体を復元するには撮影システムを対象から十分離す必要があるが、相対的に対象物が小さくなり、特徴点の追跡が困難になる。
然るに本発明では、以上の問題を克服し、既提案の上記物体復元法を次のように改良している。すなわち、撮影システムを可動にして、移動する対象物体と共に移動しながらその物体を撮影し、複数台のカメラで共通して観察される部分の３次元形状が復元するという、特段の作用を持つことができるのである。
この結果、本発明特有の効果として、カメラ群とともに移動する人から観察される情景が３次元復元されることになる。
これは、撮影システム（移動機器）が動く代わりに、撮影システム前面の、対象物体を含む情景が相対的に動いていると考えることに等しい。このことを（式４）または（式９）に示した操作で実現している。
なお、同様の効果は、移動機器に２台のカメラを固定したステレオビジョンシステムでも実現できるが、本発明との違いは、ステレオビジョンシステムでは事前のカメラキャリブレーションが必要であるのに対し、本発明はカメラキャリブレーションが一切必要ないという顕著な効果も認められる点である。
さらに、本発明によれば次のような復元が可能である。
移動物体と共に移動しながら撮影することにより、運動・移動する人（複数可）などの動作の復元が可能である。
物体の周囲を周回しながら撮影することにより、建物・銅像などの全周復元が可能である（ただし全周モデル作成のためには、つなぎ合わせ処理が必要になる。）。また、手話をする人など、移動を伴わない人の動作の、任意方向からの復元が可能である。
現在地点で、適当な垂直軸の回りに回転しながら周囲を撮影することにより、剛体・変形体を含む周囲の情景のパノラマ復元が可能である。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すシステムの概要図
【図２】本発明の一実施の形態における変形物体の形状復元の処理の流れを示す図
【図３】本発明の実施の形態での一つの例によって運動する人の撮影を表す説明図
【図４】本発明の一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けを示す図
【符号の説明】
１０ 復元対象
１１ カメラ１
１２ カメラｆ
１３ カメラＦ
１４ 移動機器
１５ ＰＣ（Personal Computer)
１６ ビデオキャプチャボード(Video capture board)
Claims (3)
- Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元方法であって、
前記Ｆ台のカメラは、
互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、
前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、
前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq1)のＷ x (i)及び式(eq2)のＷ y (i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求めるステップと、
前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元するステップを含む３次元物体復元方法。
- 式(eq4)により、前記ｉ番目の方向に応じてＷ x (i)及びＷ y (i)を管理する２ＦＮ行Ｑ列の初期拡大計測行列Ｗ in を生成するステップを含み、
前記第１の拡大計測行列Ｗを求めるステップにおいて、前記第１の拡大計測行列Ｗは、前記初期拡大計測行列Ｗ in において、Ｗ x (i)及びＷ y (i)をそれぞれブロック移動することにより生成され、
前記物体の３次元形状を復元するステップにおいて、
前記第１の拡大計測行列Ｗ及び要素が全て１のＱ行Ｑ列の行列Ｅ Q に対して、Ｗ−（Ｗ・ＥQ）／Ｑを計算することにより、第２の拡大計測行列［Ｗ］を生成し、
前記第２の拡大計測行列［Ｗ］に因子分解を適用して［Ｗ］＝［カメラの姿勢行列Ｍ］・［物体の形状行列Ｓ］に分解し、前記物体の形状行列Ｓを基に計測結果の表示を行う、請求項１記載の３次元物体復元方法。
- Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元装置であって、
前記Ｆ台のカメラは、
互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、
前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、
前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰ i 個（Ｐ i は、自然数）の特徴点の画像上の座標（ｘ fp (i)，ｙ fp (i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐ i 以下の自然数である。）について、式(eq5)のＷ x (i)及び式(eq6)のＷ y (i)に対して、式(eq7)の２Ｆ行Ｑ列（Ｑは、Ｐ i の総和）の第１の拡大計測行列Ｗを求める手段と、
前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元する手段を備える３次元物体復元装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202943A JP4822307B2 (ja) | 2001-07-04 | 2001-07-04 | ３次元物体復元方法とその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202943A JP4822307B2 (ja) | 2001-07-04 | 2001-07-04 | ３次元物体復元方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003016428A JP2003016428A (ja) | 2003-01-17 |
| JP4822307B2 true JP4822307B2 (ja) | 2011-11-24 |
Family
ID=19039655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001202943A Expired - Fee Related JP4822307B2 (ja) | 2001-07-04 | 2001-07-04 | ３次元物体復元方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4822307B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080714B (zh) * | 2019-12-13 | 2023-05-16 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078228A (ja) * | 1999-09-03 | 2001-03-23 | Sony Corp | 画像生成装置及び方法 |
-
2001
- 2001-07-04 JP JP2001202943A patent/JP4822307B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003016428A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101424942B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| US8786680B2 (en) | Motion capture from body mounted cameras | |
| JP5575652B2 (ja) | レンダリングされた像の表示設定を選択するための方法及びシステム | |
| JPH11259660A (ja) | 三次元動作復元システム | |
| JP2005256232A (ja) | ３ｄデータ表示方法、装置、およびプログラム | |
| JP4822307B2 (ja) | ３次元物体復元方法とその装置 | |
| JP2023057498A (ja) | 画像の重ね合わせ比較による運動姿勢評価システム | |
| CN112040209B (zh) | 一种vr场景的投影方法、装置、投影系统以及服务器 | |
| JP2003014432A (ja) | ３次元物体復元方法とその装置 | |
| KR100753965B1 (ko) | 퍼펫의 자세캡쳐 시스템 및 그 방법 | |
| JP2001078228A (ja) | 画像生成装置及び方法 | |
| Akinjala et al. | Animating human movement & gestures on an agent using Microsoft kinect | |
| JP2002150292A (ja) | 動画像処理装置 | |
| Da Motta et al. | Development of a method for capturing human motion using a RGB-D camera | |
| Tabusa et al. | Recovering Human Motions by Mobile Cameras and Factorization | |
| Karatzoulis et al. | Synthesis and Analysis Techniques for the Human Body: R&D Projects | |
| Tan et al. | Human Motion Recovery by Mobile Stereoscopic Cameras | |
| Agus et al. | Creating and presenting real and artificial visual stimuli for the neurophysiological investigation of the observation/execution matching system | |
| Kishore et al. | MOTION CAPTURING OF A PERSON USING DEEP LEARNING AND CREATING A 3D MODEL |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080619 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080718 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091120 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |