JP3625558B2

JP3625558B2 - 動画像による運動計測装置

Info

Publication number: JP3625558B2
Application number: JP01351996A
Authority: JP
Inventors: 英吾瀬川; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-01-30
Filing date: 1996-01-30
Publication date: 2005-03-02
Anticipated expiration: 2016-01-30
Also published as: JPH09212621A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像による運動計測装置に関するものである。
近年、テレビ、映画、ゲーム等で多く利用されているコンピュータグラフィックスの分野では、物体を違和感のないように自然に動かすことが非常に重要である。しかし、動きデータを計算で作成することは困難であるため、実際の物体が動いている様子をカメラなどで撮影しデータ化できれば利用価値が高い。また、テレビ会議やコンピュータネットワークにおいて動画像の通信を行う場合に、通信負荷を軽減するために物体の動き情報を抽出することは非常に重要である。
【０００２】
【従来の技術】
従来、動画像から物体の運動情報を得るためには、複数のカメラを用いて異なる視点から、ある時間間隔で同時に対象物体を撮影し、異なる視点から撮影した画像間で物体上の同一点の対応付けを行い、三角測量の原理により三次元位置を求め、更に連続する時刻間で同一点の対応付けを行って三次元位置の変化を求める方法が一般的である。同一点の対応付けを行って三次元位置の変化を求める方法としては、人手による方法や、最初に１つの画像上の物体に対応する点の周りに窓を設定して、窓内の輝度等の相関に基づいて対応付けする方法がある。また、画像処理で容易に周囲と識別できるようなマーカを予め対象に取り付けておく方法もある。
【０００３】
【発明が解決しようとする課題】
上述した人手による方法では作業量が膨大となってしまう問題がある。また、相関による対応付けを行う場合、窓の設定の仕方や画像によっては誤対応が生じるため、求めた三次元位置情報が不正確になってしまう問題がある。更に、物体の運動により画像上に見えない点がある場合には位置情報が得られないという問題もある。マーカを用いる方法では、誤対応は起こり難いが、マーカが画像上で見えない場合には三次元位置が求められず、カメラを更に多く設定して少なくとも２つの視点からマーカが見えるようにしなければならないという問題があると共に、大きさ、安全性、コストあるいは美観上から対象のマーカを取り付けできない場合もあるという問題がある。
【０００４】
本発明は、これらの問題を解決するため、物体上の複数の計測点の位置および計測点間のリンクを求めて物体モデルを作成し、物体モデルと画像上で計測した計測点とから物体の三次元位置を計測し、物体モデルで修正した正確な物体の三次元位置を求めることを目的としている。
【０００５】
【課題を解決するための手段】
図１を参照して課題を解決するための手段を説明する。
図１において、カメラ１、２は、物体１０を異なる視点から撮影して画像を生成するものである。
【０００６】
処理装置１１は、各種処理を行うものであって、ここでは、モデル登録手段１２、窓設定手段１３、三次元計測手段１４、および修正手段１５などから構成さされるものである。
【０００７】
モデル登録手段１２は、物体モデルを登録するものである。
窓設定手段１３は、画像上で３次元位置を計測する窓を設定するものである。
三次元計測手段１４は、カメラ１、２によって撮影した物体１０の画像をもとに位置を計測するものである。
【０００８】
修正手段１５は、画像から計測した位置および物体モデルをもとに修正した位置を求めるものである。
表示装置１６は、画像などを表示するものである。
【０００９】
入力装置１７は、各種データや指示を入力するものであって、キーボードやマウスなどである。
次に、動作を説明する。
【００１０】
カメラ１、２によって物体１０を撮影して視点の異なる画像を生成し、モデル登録手段１２が撮影した画像上で指定された計測点および計測点間のリンクの長をもとに物体モデルを作成し、三次元計測手段１４が撮影した複数の画像上の対応する計測点を計測し、修正手段１５が画像上の計測した計測点と物体モデルの対応する計測点およびリンクの長とをもとに修正した物体の三次元位置を求めるようにしている。
【００１１】
この際、窓設定手段１３が窓の位置およびサイズについて、画像上に設定した当該窓内の輝度の分散値が所定値以上となるように設定するようにしている。
また、１つの画像上の設定された窓について他の１つの画像上で類似度が最大となる位置に当該窓を対応づけたときに一致する度合いが大きいほど物体モデルの影響が求める物体の三次元位置に小さくなるように重みｗを設定するようにしている。
従って、物体上の複数の計測点の位置および計測点間のリンクを求めて物体モデルを作成し、物体モデルと画像上で計測した計測点とから物体の三次元位置を計測することにより、物体モデルで修正した正確な物体の三次元位置を求めることが可能となる。
【００１２】
【発明の実施の形態】
次に、図２から図９を用いて本発明の実施の形態および動作を順次詳細に説明する。
【００１３】
図２は、本発明の動作説明フローチャートを示す。これは、図１の構成を説明するフローチャートである。
図２において、Ｓ１は、カメラ１の初期画像を入力する。これは、図１のカメラ１によって物体１０を撮影し、その画像を初期画像として処理装置１１に入力する。
【００１４】
Ｓ２は、計測点の位置の指定、リンクの指定を行う。これは、後述する図５の（ａ−１）に示すように、Ｓ１で入力した初期画像上で物体１０の計測点の位置、および計測点と計測点間のリンクの長を指定する。
【００１５】
Ｓ３は、背景画像の差分および２値化する。これは、Ｓ１で入力した画像から、物体１０のない状態で予め撮影しておいた背景画像を引いた差分を求めて背景を無くし、この差分の画像について閾値で２値化する。
【００１６】
Ｓ２１は、カメラ２の初期画像を入力する。これは、図１のカメラ２によって物体１０を撮影し、その画像を初期画像として処理装置１１に入力する。
Ｓ２２は、背景画像の差分および２値化する。これは、Ｓ２１で入力した画像から、物体１０のない状態で予め撮影しておいた背景画像を引いた差分を求めて背景を無くし、この差分の画像について閾値で２値化する。
【００１７】
Ｓ４は、異なるカメラで撮影した画像間で計測点の対応付けを行う。これは、後述する図７の（ａ）と（ｂ）に示すようにカメラ１で撮影した画像をカメラ２で撮影した画像に対して相関を求めて最も一致する計測点を求め、一致する度合いが大きいときに物体モデルの影響が修正後の計測点に与える度合いを小さく（重みｗを小さく）するように設定する。
【００１８】
Ｓ５は、計測点の三次元位置の計算を行う。これは、カメラ１の画像およびカメラ２の画像から求めた計測点をもとに三次元位置の計算を、三角測量と同様にして行う。
【００１９】
Ｓ６は、物体モデルの登録を行う。これは、Ｓ５で求めた三次元位置およびＳ２で指定された計測点とそのリンクの長さをもとに物体モデルを決定して登録する。
【００２０】
Ｓ７は、カメラ１の次の時刻の画像を入力する。
Ｓ８は、背景画像の差分および２値化する。
Ｓ９は、前の時刻に撮影した画像との計測点の対応づけを行う。これは、後述する例えば図６の（ａ）の時刻ｔ（前の時刻）に撮影した画像と、図６の（ｂ）の時刻（ｔ＋１）に撮影した画像との計測点の対応づけを行う。
【００２１】
同様に、Ｓ２３、Ｓ２４、Ｓ２５について、Ｓ７、Ｓ８、Ｓ９のようにして計測点の対応づけを行う。
Ｓ１０は、異なるカメラで撮影した画像間で計測点の対応付けを行う。これは、Ｓ８で２値化したカメラ１で撮影した画像と、Ｓ２４で２値化したカメラ２で撮影した画像との計測点の対応付けを行う。
【００２２】
Ｓ１１は、暫定三次元位置を計算する。これは、Ｓ８で２値化したカメラ１で撮影した画像と、Ｓ２４で２値化したカメラ２で撮影した画像とを用いて三次元位置の計算を行う。
【００２３】
Ｓ１２は、物体モデルを用いた三次元位置の修正を行う。これは、Ｓ１１で求めた三次元位置について、Ｓ６で登録した物体モデルによって修正した三次元位置を、後述する図８に示す手順に従い求め、たとえカメラ１、２で撮影した画像の計測点から求めた三次元位置が正確でなくても、物体モデルによる影響の度合いを大きくした修正後の三次元の位置を正確に求める。そして、Ｓ７、Ｓ２３以降を繰り返す。
【００２４】
以上によって、カメラ１、２によって撮影した画像上で指定した計測点の位置およびリンクの長さをもとに物体モデルを登録しておき、ある時刻と次の時刻の画像上の計測点を対応づけて三次元の位置を求めた後、物体モデルで修正を行って正しい三次元の位置を求めることが可能となった。これにより、ある時刻と次の時刻のときの画像上でたとえ対応する計測点が無くなっても物体モデルから正しい三次元の計測点を求めることが可能となる。以下順次詳細に説明する。
【００２５】
次に、図３のフローチャートに示す手順に従い、図４を用いて窓の設定について詳細に説明する。
図３において、Ｓ３１は、窓の大きさに所定値を設定する。これは、例えば後述する図４の（ａ）のカメラで撮影して２値化した画像上で所定の大きさの窓を図示のように設定する。
【００２６】
Ｓ３２は、窓内の輝度の分散値を計算する。
Ｓ３３は、所定値よりも大か判別する。これは、Ｓ３２で窓内の輝度の分散値を計算し、計算した分散値が所定値よりも大かとなり、特徴点が当該窓内に含まれるか判別する。ＹＥＳの場合には、終わる。ＮＯの場合には、Ｓ３４で窓を一段階大きくし、Ｓ３２以降を繰り返す。
【００２７】
以上によって、例えば図４の（ａ）の画像上で所定大きさの窓を設定し、当該窓内の分散値が所定値よりも小さいときに窓を順次大きくして所定値を越えるように窓の大きさを決定すると、図４の（ｂ）に示すように変更後の窓が得られる。尚、ここでは、窓のサイズを大きくして分散値が所定値を越えるようにしたが、窓の近傍に少しずらして分散値が所定値を越えて当該窓内に特徴点を含ませて所定値を越えるようにしてもよい。
【００２８】
図４は、本発明の窓の設定説明図を示す。
図４の（ａ）は、画像上で所定値の窓を設定した状態を示す。ここでは、人の画像上で屈曲点となる計測点に図示のように同じ大きさの窓を設定する。
【００２９】
図４の（ｂ）は、図４の（ａ）の窓内の輝度の分散値が所定値を越えるように窓のサイズを大きくした状態を示す。図示の変更後の窓は、窓内の輝度の分散値が所定値を越えるようにしたときの窓の大きさを示す。
【００３０】
次に、図５を用いて物体モデルを登録するときの手順を詳細に説明する。
図５は、本発明のモデル登録の説明図を示す。
図５の（ａ）は、画像を示す。
【００３１】
図５の（ａ−１）はカメラ１で撮影して２値化した画像を示し、図５の（ａ−２）はカメラ２で撮影して２値化した画像を示す。ここで、矩形の実線、点線が窓であって、各窓の中心の計測点を結ぶ線分がリンクとその長さを表す。
【００３２】
図５の（ｂ）は、モデル登録のフローチャートを示す。
図５の（ｂ）において、Ｓ４１は、対応付けを行う。これは、例えば図５の（ａ−１）のカメラ１で撮影して２値化した画像上で矩形の窓および窓の中心の計測点間を結ぶリンクとその長が設定されたことに対応して、図５の（ａ−２）のカメラ２で撮影して２値化した画像上で対応する点線で示す窓および窓の中心の計測点間を結ぶリンクとその長を求める（類似度が最も大の位置として窓を決定する）。
【００３３】
Ｓ４２は、各計測点の３次元位置を計算する。これは、Ｓ４１で対応づけたカメラ１の画像とカメラ２の画像との対応づけて窓の中心点をもとに計測点の３次元位置を、三角測量の原理で計算する。
【００３４】
Ｓ４３は、計測点の接続関係（リンク）を指示する。これは、図５の（ａ−１）の窓の中心を結ぶ接続関係（リンク）を画像上で指定する。
Ｓ４４は、各リンクの長さを計算する。
【００３５】
Ｓ４５は、リンクとその長さを物体モデルとして登録する。
以上によって、カメラ１で撮影した画像上で窓の位置（計測点）およびリンクを指定することにより、カメラ２で撮影した画像上に窓を対応づけて三次元位置を計算およびリンクの長さを計算し、リンクとその長さで表現される物体モデルを登録することが可能となる。
【００３６】
図６は、本発明の連続する時刻間での計測点の対応付け説明図を示す。
図６の（ａ）は時刻ｔのときのカメラ１の画像を示し、図６の（ｂ）は時刻ｔ＋１のときのカメラ１の画像を示す。この場合には、図６の（ａ）の時刻ｔのときの画像上に設定された矩形の窓について、図６の（ｂ）の時刻（ｔ＋１）のときの画像上で点線で示したような範囲について相関を求め、最も一致する窓の位置を求め、当該窓の中心を計測点とする。
【００３７】
図６の（ｃ）は時刻ｔのときのカメラ２の画像を示し、図６の（ｄ）は時刻ｔ＋１のときのカメラ２の画像を示す。この場合には、図６の（ｃ）の時刻ｔのときの画像上に設定された矩形の窓について、図６の（ｄ）の時刻（ｔ＋１）のときの画像上で点線で示したような範囲について相関を求め、最も一致する窓の位置を求め、当該窓の中心を計測点とする。
【００３８】
以上のようにして求めたカメラ１の画像およびカメラ２の画像上の時刻ｔから時刻（ｔ＋１）のときの相関が最も大きい一致した窓の位置をそれぞれ求め、これら求めた最も一致する計測点をもとに、三角測量の原理によって３次元の計測点を求めることが可能となる。
【００３９】
図７は、本発明の異なるカメラ間での計測点の対応付け説明図を示す。
図７の（ａ）は時刻ｔのときのカメラ１の画像を示し、図７の（ｂ）は時刻ｔのときのカメラ２の画像を示す。図７の（ａ）のカメラ１の画像の窓に対応する図７の（ｂ）のカメラ２の画像上で点線の探索範囲について相関を求めて最も一致する点を求め、対応付ける。
【００４０】
同様に、図７の（ｃ）は時刻ｔのときのカメラ２の画像を示し、図７の（ｄ）は時刻ｔのときのカメラ１の画像を示す。図７の（ｃ）のカメラ２の画像の窓に対応する図７の（ｄ）のカメラ１の画像上で点線の探索範囲について相関を求めて最も一致する点を求め、対応付ける。
【００４１】
以上のようにして求めた時刻ｔのときのカメラ２の画像およびカメラ１の画像上の対応付けを相互に行い、一致するときは物体モデルが修正後の位置に与える影響を小さく（重みを小さく）し、一方、一致する度合いが少ないときは物体モデルが修正後の位置に与える影響を大きく（重みを大きく）する。これにより、カメラ１、２の画像上のいずれかで計測点が撮影できなくなっても物体モデル１０をもとに修正後の三次元の位置を求めることが可能となる。
【００４２】
次に、図８のフローチャートに示す順序の従い、物体モデルを用いて三次元位置を修正するときの手順を詳細に説明する。
図８は、本発明の三次元位置修正のフローチャートを示す。
【００４３】
図８において、Ｓ５１は、初期値を中心として近傍に２７点の修正値（ｘ、ｙ、ｚ）を設定する。これは、初期値を中心としてｘ、ｙ、ｚの方向の近傍に合計２７点の修正値（ｘ、ｙ、ｚ）を設定し、これら２７点について全て計算を行い、その最小値を選択するためである。
【００４４】
Ｓ５２は、各修正値と実測値の差の二乗和を計算する。
Ｓ５３は、各修正値から求めたリンクの長さと、モデルのリンクの長さの差の２乗和を計算する。これらＳ５２およびＳ５３は、後述する（式２）の値を計算するものである。
【００４５】
Ｓ５４は、各修正値に対して両者の和を記憶する。Ｓ５３とＳ５４の両者の和を記憶する（２７点についてそれぞれ記憶する）。
Ｓ５５は、最小値を選択する。これは、Ｓ５４で記憶した値のうちの最小値を選択する。
【００４６】
Ｓ５６は、所定値よりも小さいか判別する。ＹＥＳの場合には、終わる。ＮＯの場合には、Ｓ５７で最小値を中心にして、近傍に２７点の修正を設定し、Ｓ５２以降を繰り返し行う。
【００４７】
以上によって、カメラ１、２によってそれぞれ撮影した画像の各窓から求めた計測点をもとに三角測量の原理によって求めた三次元の位置（実測値）と修正値との差の２乗和、および修正値のリンクの長さと物体モデルのリンクの長さの差の２乗和の総和を複数点（２７点）について記憶し、最小値を選択してこれらが所定値よりも小さくなるまで最小値を中心の近傍に修正値を設定することを繰り返し、三次元位置を物体モデルで修正し、修正後の三次元の位置を求めることが可能となる。
【００４８】
図９は、本発明の三次元物体モデルを用いた位置の修正説明図を示す。
図９の（ａ）は、時刻ｔにおける対応付けにより求めた三次元位置を示す。
図９の（ｂ）は、時刻（ｔ−１）におけるモデルの三次元位置を示す。
【００４９】
図９の（ｃ）は、図９の（ａ）および（ｂ）から評価値を最小化した状態を示す。これは、既述した図８のＳ５５で最小値を選択し、この選択した最小値が所定値以下とした状態を示す。この状態では、実測値と、物体モデルの値とをもとに最小化を行い、最も誤差の小さい計測点およびリンクの長さが得られることとなる。
【００５０】
次に、２台のカメラ１、２を用いて人間の全身の動きを撮影した画像から運動情報を求めるときの手順を順次詳細に説明する。
図１に示すような座標系で２台のカメラは光軸がｚ軸と平行でｘ軸方向にＢだけ離れた位置に設置する。画像は時刻０から１／３０秒毎にＴ枚分撮影するものとする。ここで、カメラｉでｊ枚目に撮影した画像をＰ^ｊ _ｉとする。また、カメラｉで撮影した背景画像をＨ_ｉとする。人物以外の背景の影響を受けないようにＰ^Ｊ _ｉとＨ_ｉの差分を取り、適当なしきい値で２値化した画像をＩ^ｊ _ｉとする。まず、Ｉ^０ _０をユーザに提示して、計測する点の画像上の位置と計測点のリンク関係の入力を要求する。リンク関係とは接続された計測点の組みである。例えば、ユーザにより人物の計測点として頭、胸、右肘、左肘、右手首、左手首、腰、右膝、左膝、右足首、左足首の１１点が指定されたとする。このとき、各計測点には１から１１まで番号を付け、ｋ番目の計測点の座標を（ｘ^０ _ＩＫ、ｙ^０ _ＩＫ）と表す。また、リンクとして、頭と胸、胸と右肘、胸と左肘、右肘と右手首、左肘と左手首、胸と腰、腰と右膝、腰と左膝、右膝と右手首、左膝と左足首の１０個が指定されたとする。計測点の座標が入力されると各計測点を中心に図４のように窓を設定する。このとき各窓内の輝度の分散値を計算して、分散の値が所定値以上となるように窓の大きさを変える。窓を設定すると、Ｉ^０ _１上の各窓をＩ^０ _２の所定の範囲内を１画素づつ走査して輝度の相関値を計算し、最も相関の高い位置をＩ^０ _２上の対応点の座標（ｘ^０ _２ｋ、ｙ^０ _２ｋ）とする。ここで、カメラパラメータ、（ｘ^０ _１ｋ、ｙ^０ _１ｋ）および（ｘ^０ _２ｋ、ｙ^０ _２ｋ）からｋ番目の計測点の三次元位置（ｘ^０ _ｋ、ｙ^０ _ｋ、ｚ^０ _ｋ）を（式１）におり計算する。このとき、ｉ番目のリンクの長さｉ^０ _１を計算し、物体モデルのデータとして登録する。
【００５１】
ｘ^ｔ _ｋ＝（ｘ^ｔ _１ｋ・Ｂ）／（ｘ^ｔ _２ｋ−ｘ^ｔ _１ｋ）
ｙ^ｔ _ｋ＝（ｙ^ｔ _２ｋ・ｐｙ・Ｂ）／（ｘ^ｔ _２ｋ−ｘ^ｔ _１ｋ）・ｐｘ
ｚ^ｔ _ｋ＝（ｆ・Ｂ）／（ｘ^ｔ _２ｋ−ｘ^ｔ _１ｋ）・ｐｘ（式１）
ｐｘ：１画素のｘ軸方向の長さ
ｐｙ：１画素のｙ軸方向の長さ
ｆ：カメラのレンズの焦点距離
次に、（ｘ^０ _ｉｋ、ｙ^０ _ｉｋ）のＩ^１ _１上での対応点（ｘ^１ _ｉｋ、ｙ^１ _ｉｋ）を窓内の輝度の相関により決定する。（ｘ^０ _２ｋ、ｙ^０ _２ｋ）についても図４のように窓を設定して、Ｉ^１ _２上での対応点（ｘ^１ _２ｋ、ｙ^１ _２ｋ）を輝度の相関により決定する（図６参照）。対応点として求められた（ｘ^１ _１ｋ、ｙ^１ _１ｋ）および（ｘ^１ _２ｋ、ｙ^１ _２ｋ）を新たな計測点として、図４のようにそれぞれ窓を設定する。次に、窓の相関により（ｘ^１ _１ｋ、ｙ^１ _１ｋ）のＩ^１ _２上での対応点（ｘ’^１ _２ｋ、ｙ’^１ _２ｋ）および（ｘ^１ _２ｋ、ｙ^１ _２ｋ）のＩ^１ _１上の対応点（ｘ’^１ _１ｋ、ｙ’^１ _１ｋ）を求める（図７参照）。ここで、（ｘ^１ _１ｋ、ｙ^１ _１ｋ）と（ｘ’^１ _１ｋ、ｙ’^１ _１ｋ）、（ｘ^１ _２ｋ、ｙ^１ _２ｋ）と（ｘ’^１ _２ｋ、ｙ’^１ _２ｋ）がそれぞれ一致すれば、対応付けは一意性があり信頼できる。したがって、（式１）によって求められる三次元位置は正しく、修正の必要性は低い。そこで、この場合には、モデルによる位置修正に用いる評価函数の重みｗ_ｋを１にする。もし一致しなければ重みｗ_ｋを０にする。対応付けの結果から各計測点の暫定三次元位置（ｘ’^１ _ｋ、ｙ’^１ _ｋ、ｚ’^１ _ｋ）を計算する。暫定三次元位置は、必ずしも正しいとは限らないため、物体モデルと照合することにより位置の修正を行う。それは、暫定三次元位置に対して、物体モデルのリンクの長さ、前の時刻からの位置の変化が小さくなるように位置の修正を行う（図９参照）。具体的には、下記の（式２）の評価値を最小にする（ｘ^１ _ｋ、ｙ^１ _ｋ、ｚ^１ _ｋ）を求める。
【００５２】

ここで、ｎ：計測点数
ｍ：リンク数
更に、修正した三次元位置（ｘ’^１ _ｋ、ｙ’^１ _ｋ、ｚ’^１ _ｋ）を（式１）を用いてＩ^１ _１とＩ^１ _２上にそれぞれ投影して、画像上での計測点の位置も修正する。修正した画像上の計測点の位置を新たに（ｘ’^１ _１ｋ、ｙ’^１ _１ｋ）、（ｘ’^１ _２ｋ、ｙ’^１ _２ｋ）とする。
【００５３】
以後、同様にの操作をＴ枚目の画像まで繰り返して、各時刻における計測点の三次元位置を得る。
尚、対象物体が予め分かっている場合、最初に物体モデルを画像に投影しておき、投影した物体モデル上の計測点の位置と実際に画像上に映った対象物体の計測点の位置が一致するように、対象物体あるいは画像入力装置を動かして物体モデルと画像の対応づけを自動化するようにしてもよい。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、物体上の複数の計測点の位置および計測点間のリンクを求めて物体モデルを作成し、物体モデルと画像上で計測した計測点とから物体の三次元位置を計測する構成を採用しているため、視点の異なる複数の画像から求めた三次元位置について物体モデルで修正した正確な三次元位置を求めることができる。
【図面の簡単な説明】
【図１】本発明のシステム構成図である。
【図２】本発明の動作説明フローチャートである。
【図３】本発明の窓設定のフローチャートである。
【図４】本発明の窓の設定説明図である。
【図５】本発明のモデル登録の説明図である。
【図６】本発明の連続する時刻間での計測点の対応付け説明図である。
【図７】本発明の異なるカメラ間での計測点の対応付け説明図である。
【図８】本発明の三次元位置修正のフローチャートである。
【図９】本発明の三次元物体モデルを用いた位置の修正説明図である。
【符号の説明】
１、２：カメラ
１０：物体
１１：処理装置
１２：モデル登録手段
１３：窓設定手段
１４：三次元計測手段
１５：修正手段
１６：表示装置
１７：入力装置

Claims

複数のカメラで撮影した動画像から物体の三次元位置と姿勢を計測する運動計測装置において、
物体を複数の視点から撮影するための複数のカメラと、
これらのカメラによって撮影した各画像上で複数の計測点を指定する手段と、
指定した各計測点の位置に窓を設定する手段と、
計測点間をつなぐリンクの長さを記録した物体モデルを作成する手段と、
同一のカメラで異なる時刻に撮影した画像間で窓内の輝度の類似性が最も高くなるように計測点の対応関係を求める手段と、
同一時刻に異なるカメラで撮影した複数の画像間で窓内の輝度の類似性が最も高くなるように計測点の対応関係を求める手段と、
異なるカメラ間での各計測点の対応関係から各計測点の三次元位置とリンクの長さを求める手段と、
各計測点に対応する窓内の輝度の類似度で決定した重みで重み付けしながら求めたリンクの長さと物体モデルに記録されたリンクの長さの差を小さくするように各計測点の三次元位置を修正する手段と
を備えたことを特徴とする動画像による運動計測装置。