JPH11175692A - 関節の動きデータ収集装置 - Google Patents

Abstract

(57)【要約】 【課題】 高価な専用のモーション・キャプチャ・シス
テムを用いることなく、低価格で関節の位置の決定、測
定が効率的に得られるようにした関節の動きデータ収集
装置を提供すること。 【解決手段】 コンピュータ４は、まず、テレビジョン
カメラ１で撮像した、例えば犬１０の画像信号をビデオ
・キャプチャ・ボード３に入力してディジタル化し、フ
レーム単位の画像データをコンピュータ４により記憶装
置５に格納する。次に、コンピュータ４は、記憶装置５
の制御に必要なソフトウエア機能と、画像データから犬
などの動物の画像を抽出する処理と、それを細線化する
処理、この細線化された動物の画像から動物の手、足な
どを関節で結ばれたリンクとして決定する処理、こうし
て決定されたリンクの一方の端点を基準点として他方の
端点の位置座標を計測する処理の各処理を順次実行し、
これにより自動的に犬１０の関節の動きデータを収集し
て行くようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動物の動きをデー
タとして収集する方法に係り、特に、リアルな動きのア
ニメーション表示が要求されるコンピュータ・グラフィ
ックス・システムに好適な関節の動きデータの収集方法
に関する。

【０００２】

【従来の技術】動画像(アニメーション画像)の作成に
は、従来からコンピュータ・グラフィックス・システム
が広く使用されているが、近年、このシステム上で、手
足などの関節を有する動物を動画(アニメーション)表示
する際、その表示に、より一層リアルな動きを与えるこ
とができるようにするため、動物の関節の動き(位置や
回転角など)をデータとして収集し、アニメーション表
示に使用する技法が用いられるようになっている。

【０００３】ところで、このときのデータの収集方法と
しては、実際の動物の関節にセンサを取付け、関節の動
きを直接検出し、データとして収集するようにしたモー
ション・キャプチャ・システムと呼ばれる方法が従来か
ら知られているが、この方法は、システムが大がかり
で、例えば価格が数千万円にも達するシステムになり、
著しいコスト増加を伴ってしまう。

【０００４】そこで、近年、実物を撮像し、ビデオ・キ
ャプチャして得た複数フレームからなる画像データを用
い、この画像データを表示したフレーム毎の画像上で目
視により関節の位置を計測し、関節の動きデータを収集
する方法が用いられるようになってきた。そこで、以
下、この画像の目視による方法について説明する。な
お、ここで、ビデオ・キャプチャとは、テレビジョンカ
メラなどから得られる画像信号を各フレーム毎の画像デ
ータ化する処理のことである。

【０００５】ここで、いま、関節の動きを計測すべき対
象が、犬などの４足の動物であり、動きを計測すべき関
節が、左前足と左後足の関節であるとする。

【０００６】そして、まず、その犬を撮像した画像デー
タによる画像を表示し、この画像から、図６に示すよう
に、犬の画像１０’だけを抽出して表示する。次に、こ
の表示されている画像１０’を見ながらマウスを操作
し、必要とする点を順次カーソルでポイントし、その点
の位置データの取り込みを行う。

【０００７】すなわち、まず、左前足の各関節の位置Ｆ
ＬＬ１、ＦＬＬ２、……、ＦＬＬｍと、左後足の各関節
の位置ＢＬＬ１、ＢＬＬ２、……、ＢＬＬｎ、左前足の
付け根の位置ＦＬＬ０、左後足の付け根の位置ＢＬＬ
０、それに左前足の指先の位置ＦＬＬｍ＋１と左後足の
指先の位置ＢＬＬｎ＋１を順次、ポイントしてゆき、夫
々の座標位置となる標識●、○を設定する。

【０００８】次に、例えば、三次元ＣＡＤ(Compter Aid
ed Design)のソフトウェアなどの画面座標表示機能を用
い、各足の付け根位置ＦＬＬ０、ＢＬＬ０をＸＹ座標の
原点として、各関節、足の付け根、指先の各位置の位置
座標を読取って記憶する。そして、これらの一連の作業
を画像データの各フレーム毎に行い、ここで記憶された
複数フレーム分の位置座標の変化を基にして、各関節の
動きデータを生成するのである。

【０００９】

【発明が解決しようとする課題】上記従来技術は、作業
量の増大について配慮がされておらず、対象とする動物
などによっては作業時間の大きな増加を伴ない、この結
果、コスト面で適用が困難になるという問題があった。
すなわち、上記従来技術では、画像表示面で画像を観察
し、目測により各関節などの位置を指示し、それらの位
置座標を測定してゆくという、厄介で、かなり熟練を要
する作業が画像データの各フレーム毎に必要になる。

【００１０】従って、人間による作業量が多くなり、作
業時間も長く必要になってしまうので、コスト面で適用
が困難になってしまうのである。特に、データを収集す
べき関節の数やフレームの数が多くなると、それに伴っ
て作業量は膨大に膨れ上がり、著しいコスト上昇となっ
てしまう。

【００１１】本発明の目的は、高価な専用のモーション
・キャプチャ・システムを用いることなく、低価格で関
節の位置の決定、測定が効率的に得られるようにした関
節の動きデータ収集装置を提供することにある。

【００１２】

【課題を解決するための手段】上記目的は、関節を有す
る物体の画像信号から、コンピュータ・グラフィックス
上での動画処理に必要な関節の動きデータを収集する装
置において、前記物体の画像信号をフレーム単位で画像
データ化する処理と、該画像データから抜き取った画像
を細線化する処理と、細線化した画像の手や足の骨格か
らリンクを生成する処理と、前記リンクの一方の端点を
基準点とし、他方の端点までのＸ方向とＹ方向の距離
を、その端点の座標値として測定する処理を、コンピュ
ータのソフトウエアにより前記の順序で自動的に実行す
るようにして達成される。

【００１３】すなわち、まず、ビデオ・キャプチャした
複数フレームの画像の１フレーム毎に、対象となる物体
の画像領域を抽出し、抽出された画像領域の画像情報の
特徴に基いて、その特徴を細線として表すための細線化
処理を施す。次に、この細線化により折れ曲り点を有す
る細線画像から、その折れ曲り点に応じて、細線画像を
リンク(手、足等の関節のある骨格)に分割すると共に、
リンクの交点(関節)を決定する。

【００１４】そして、リンクの一方の端点を基準点とし
て他方の端点の座標を計測し、各点の座標を決定するま
での処理に必要なソフトウェア機能をコンピュータに具
備することにより、上記目的が達成されるようにしたも
のであり、これにより、物体の関節の動きデータを、よ
り安価に、しかも短時間で容易に収集できることにな
る。

【００１５】

【発明の実施の形態】以下、本発明による関節の動きデ
ータ収集方法について、図示の実施形態により詳細に説
明する。図１は、本発明の一実施形態が適用されたシス
テムの一例で、この実施形態でも、図示のように、関節
を持った動物が犬１０の場合を対象にして説明する。な
お、ここでも、左前足と左後足のデータを収集する場合
について説明する。

【００１６】図において、１はテレビジョンカメラ、２
はビデオテープレコーダ、３はビデオ・キャプチャ・ボ
ード、４はコンピュータ、そして５は記憶装置である。
テレビジョンカメラ１は、犬１０を撮像して画像信号を
出力する働きをする。ビデオテープレコーダ２は、所定
のテープから犬１０の画像信号を再生する働きをする。
ビデオ・キャプチャ・ボード３は、入力された画像信号
をディジタル化し、フレーム単位の画像データとして出
力する、いわゆるビデオ・キャプチャ動作をする。

【００１７】コンピュータ４は、記憶装置５の制御に必
要なソフトウエア機能と、画像データから犬などの動物
の画像を抽出する処理と、それを細線化する処理、この
細線化された動物の画像から動物の手、足などを関節で
結ばれたリンクとして決定する処理、こうして決定され
たリンクの一方の端点を基準点として他方の端点の位置
座標を計測する処理の各処理を順次実行して行くのに必
要なソフトウエア機能とを備えている。

【００１８】記憶装置５は、ビデオ・キャプチャ・ボー
ド３でキャプチャされた画像データをフレーム単位で記
憶する働きをする。ビデオカメラ１、又はビデオテープ
レコーダ２から画像信号が入力され、ビデオ・キャプチ
ャ・ボード３でキャプチャ処理した画像データがコンピ
ュータ４に入力されると、コンピュータ４は記憶装置５
にフレーム単位で順次画像データを格納してゆく。

【００１９】これにより、記憶装置５に必要な画像デー
タの格納が終ったら、次に、コンピュータ４は、図２の
ステップＳ１〜Ｓ１１の処理を実行し、記憶装置５に格
納された各フレームの画像データから、関節の位置デー
タの収集を開始する。この図２の処理は、始めにステッ
プＳ１でフレーム番号Ｊを０にする初期化を行った後、
開始される。

【００２０】まず、ステップＳ２で、画像データの最初
の１フレーム分の画像データを取り込む。そして、取り
込んだフレームの番号をＪとする。従って、このときは
フレーム番号Ｊ＝０となる。次に、ステップＳ３では、
この１フレーム分の画像データから、対象となる犬１０
の画像だけを抜取り、図３に示す画像１０'を得る。次
いでステップＳ４では、この画像１０'に細線化処理を
施し、図４に示す画像１０”を得る。

【００２１】さらに、ステップＳ５で、この図４の画像
１０”上で骨格に相当する左前足の各リンクＦＫＬ０、
ＦＫＬ１、……、ＦＫＬｍ、ＦＫＬｍ＋１と、左後足の
各リンクＢＫＬ０、ＢＫＬ１、……、ＢＫＬｎ、ＢＫＬ
ｎ＋１を設定する。次に、ステップＳ６では、図５に示
すように、画像１０”の足の付け根、つまりリンクＦＫ
Ｌ０とリンクＢＫＬ０の一方の端点を基準点として関節
位置ＦＬＬ０と関節位置ＢＬＬ０を設定し、次いで他方
の端点を終点として関節位置ＦＬＬｍ＋１、関節位置Ｂ
ＬＬｎ＋１を夫々設定する。

【００２２】続くステップＳ７では、リンクＦＫＬ０と
リンクＦＫＬ１、リンクＦＫＬ１とリンクＦＫＬ２、…
…、リンクＦＫＬｍとリンクＦＫＬｍ＋１、リンクＢＫ
Ｌ０とリンクＢＫＬ１、リンクＢＫＬ１とリンクＢＫＬ
２、……、リンクＢＫＬｎとリンクＢＫＬｎ＋１の各交
点を、各々関節位置ＦＬＬ１、ＦＬＬ２、……、ＦＬＬ
ｍ＋１、関節位置ＢＬＬ１、ＢＬＬ２、……、ＢＬＬｎ
＋１として生成する。

【００２３】更に、ステップＳ８では、まず基準点ＦＬ
Ｌ０から関節位置ＦＬＬ１、ＦＬＬ２、……、ＦＬＬｍ
＋１までのＸ、Ｙ方向の距離を求め、次に基準点の関節
位置ＢＬＬ０から関節位置ＢＬＬ１、ＢＬＬ２、……、
ＢＬＬｎ＋１までのＸ、Ｙ方向の距離を求め、夫々の距
離の値をその関節位置の座標値とする。

【００２４】そして、ステップＳ９で、これら関節位置
の座標値を当該フレームの犬１０の画像１０”における
各関節の位置データとして、記憶装置５に格納する。こ
の後、ステップＳ１０で、フレーム番号Ｊに１を加えて
新たなフレーム番号Ｊとし、次のステップＳ１１で、こ
の新たなフレーム番号Ｊが、画像データの最後のフレー
ム番号になったか否かを調べ、処理を継続させるか終了
させるかを判断する。

【００２５】そして、継続させる場合はステップＳ２に
戻り、記憶装置５からの１フレーム分の画像データの取
り込みから、リンクの交点の座標値の決定までの一連の
処理を繰り返すことにより関節の動きデータの収集を行
い、他方、継続しないときには、ここで処理を終了させ
るのである。

【００２６】ところで、以上の説明から明らかなよう
に、この実施形態では、関節の存在からリンクを設定す
るようにソフトウエアが構成されており、このため、例
えば図３〜図５の画像における右前足のように、手や足
が伸びっている画像からは交点が見付け難いので、デー
タの収集が困難になる。

【００２７】しかしながら、本来、動いている動物の画
像を前提としているのであるから、たとえ或るフレーム
の画像では手や足が伸びていたとしても、他のフレーム
では必ず伸びきっていない画像が存在する筈であり、従
って、或るフレームでデータの収集が困難なときには、
他のフレームで測定した各リンクの長さを当てはめて交
点を割り出し、その交点の座標値を測定するようにして
やればよい。

【００２８】従って、この実施形態によれば、記憶装置
５からの１フレーム分の画像データの取り込みから、リ
ンクの交点の座標値の決定までの一連の処理が、全てコ
ンピュータ４のソフトウエア機能により自動的に遂行さ
れ、厄介で熟練を要する人間の目視による操作は一切必
要としないので、低コストで確実に関節の動きデータを
収集することができる。

【００２９】また、この実施形態によれば、処理速度は
コンピュータの性能に依存するだけとなるので、必要に
応じて任意に処理速度を上げることができ、この結果、
関節数や画像データのフレーム数が増加しても、短時間
で容易に関節の動きデータを収集することができ、さら
に低コスト化を得ることができる。

【００３０】

【発明の効果】本発明によれば、関節の位置をリンクの
交点の座標位置としてコンピュータ上で求めるようにし
たので、動物の動きを表すデータを、収集対象となる動
物の関節数や、画像データのフレーム数の増加に関係な
く、高速で収集することができる。

【図面の簡単な説明】

【図１】本発明による関節の動きデータ収集装置の一実
施形態を示すブロック構成図である。

【図２】本発明による関節の動きデータ収集装置の一実
施形態による処理過程を説明するためのフロー図であ
る。

【図３】本発明による関節の動きデータ収集装置の一実
施形態による画像処理の説明図である。

【図４】本発明による関節の動きデータ収集装置の一実
施形態による画像処理の説明図である。

【図５】本発明による関節の動きデータ収集装置の一実
施形態による画像処理の説明図である。

【図６】従来技術による関節の動きデータ収集方式の説
明図である。

【符号の説明】

１ テレビジョンカメラ ２ ビデオテープレコーダ ３ ビデオ・キャプチャ・ボード ４ コンピュータ ５ 記憶装置 １０ 犬(関節の動きデータ収集対象となる物体の一例) ＦＫＬ０、１、・・・、ｍ−１、ｍ 左前足のリンク ＢＫＬ０、１、・・・、ｎ−１、ｎ 左後ろ足のリンク ＦＬＬ０ 左前足のリンクＦＫＬ０、１、・・・、ｍ−
１、ｍの基準点 ＢＬＬ０ 左後ろ足のリンクＢＫＬ０、１、・・・、ｎ
−１、ｎの基準点 ＦＬＬｍ＋１ 左前足のリンクＦＫＬ０、１、・・・、
ｍ−１、ｍの終点 ＢＬＬｎ＋１ 左後ろ足のリンクＢＫＬ０、１、・・
・、ｎ−１、ｎの終点 ＦＬＬ１ 左前足のリンクＦＫＬ０とＦＫＬ１の交点、 ＦＬＬ２ 左前足のリンクＦＫＬ１とＦＫＬ２の交点、 ＦＬＬｍ 左前足のリンクＦＫＬｍ−１とＦＫＬｍの交
点 ＢＬＬ１ 左後ろ足のリンクＢＫＬ０とＢＫＬ１の交点 ＢＬＬ２ 左後ろ足のリンクＢＫＬ１とＢＫＬ２の交点 ＢＬＬｎ 左後ろ足のリンクＢＫＬｎ−１とＢＫＬｎの
交点

Claims (1)

【特許請求の範囲】
1. 【請求項１】 関節を有する物体の画像信号から、コン
   ピュータ・グラフィックス上での動画処理に必要な関節
   の動きデータを収集する装置において、 前記物体の画像信号をフレーム単位で画像データ化する
   処理と、 該画像データから抜き取った画像を細線化する処理と、 細線化した画像の手や足等の骨格部からリンクを生成す
   る処理と、 前記リンクの一方の端点を基準点とし、他方の端点まで
   のＸ方向とＹ方向の距離を、その端点の座標値として測
   定する処理を、 コンピュータのソフトウエアにより前記の順序で実行す
   るように構成したことを特徴とする関節の動きデータ収
   集装置。