JP3860287B2 - 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体 - Google Patents

動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体 Download PDF

Info

Publication number
JP3860287B2
JP3860287B2 JP10888597A JP10888597A JP3860287B2 JP 3860287 B2 JP3860287 B2 JP 3860287B2 JP 10888597 A JP10888597 A JP 10888597A JP 10888597 A JP10888597 A JP 10888597A JP 3860287 B2 JP3860287 B2 JP 3860287B2
Authority
JP
Japan
Prior art keywords
object model
dimensional position
dimensional
motion
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10888597A
Other languages
English (en)
Other versions
JPH10302070A (ja
Inventor
英吾 瀬川
守人 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP10888597A priority Critical patent/JP3860287B2/ja
Publication of JPH10302070A publication Critical patent/JPH10302070A/ja
Application granted granted Critical
Publication of JP3860287B2 publication Critical patent/JP3860287B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,テレビカメラのような入力装置で対象を撮影した画像から対象にマーカを付けることなく動きデータを抽出する方式に関する。
【0002】
近年,映画やテレビゲーム等でCG(コンピュータグラフィクス)を使うことは一般的になってきており,CGで表現した物体を自然に見えるように動かしたいという要求は強い。そのため,CGで表現した物体を自然に動かすための動きデータを,実際に動いている物体から抽出することが望まれている。
【0003】
また,人間の動きデータを抽出することができれば,現在コンピュータへの入力手段として使用されているキーボードやマウスの操作の代わりに,人間の動作自体を入力手段として用いるような,新しいヒューマン・マシン・インタフェースを構築できる。さらに,画像通信の分野では,動画像を伝送する際に画像内に存在する物体の動きデータのみを伝送することにより,非常に大きな情報の圧縮が実現できる。
【0004】
【従来の技術】
図10は,従来の動き抽出方式を示す図である。画像から対象の動きデータを抽出する場合,従来技術では以下のようにして抽出している。
【0005】
(1)所定の時間間隔で,マーカを付けた対象を異なる位置に設置した複数のカメラで同時に撮影する(図10(A),(B)参照)。
(2)各時刻t,t+1において各カメラで撮影した画像91t,92t,91t+1,92t+1から,それぞれ同一マーカの位置を求め,その位置の違いから三角測量の原理に基づいて,マーカの三次元位置を算出する(図10(C),(D)参照)。
【0006】
(3)同一カメラで異なる時刻t,t+1に撮影された画像91tと91t+1および画像92tと92t+1とから,同一マーカを対応づける。
(4)上記(2)と(3)の結果から,各マーカの三次元位置の軌跡を求める(図10(E),(F)参照)。
【0007】
(5)マーカの三次元位置の軌跡を対象の動きデータとする。
【0008】
【発明が解決しようとする課題】
以上のような従来の方式では,安全性や美観等の問題点から,マーカが付けられないような対象の動きは抽出できなかった。また,マーカと似た色や明るさを持つマーカ以外のものが画像内に存在しないようにしなければならない。そのため,照明や背景などを整備した環境で対象を撮影する必要があり,専用のスタジオのような場所以外では動きデータを精度よく抽出することができなかった。
【0009】
本発明は上記問題点の解決を図り,対象にマーカを付けることなく,対象の動きデータを抽出する手段を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するため,本発明は図1に示すような手段を用いる。
図1は,本発明のブロック構成例を示す図である。11,12は画像撮影装置(以下,カメラという),2は画像記憶装置,3は物体モデルデータ,4はCPUおよびメモリ等からなる処理装置,41は特徴点抽出部,42は三次元座標計算部,43は物体モデル当てはめ初期化部,44は物体モデル当てはめ部,45は動きデータ算出部,5は画像から抽出した対象の動きデータを表す。
【0011】
カメラ11,12は,対象を撮影する手段である。カメラ11,12は異なる位置に設けられ,所定の時間間隔で同時に対象を撮影する。ここでは,説明を簡単にするために2台のカメラを用いた例を説明するが,カメラの台数は多いほどよい。
【0012】
画像記憶装置2は,カメラ11,12で撮影した対象の画像を記憶する手段である。
物体モデルデータ3は,対象となる物体の構造と形状を記述したモデルのデータであり,対象に合わせて予め用意される。具体的には,その物体の各部位の形状,各部位間の接続関係,各部位間の位置関係等のデータからなる。
【0013】
特徴点抽出部41は,画像記憶装置2に記憶されている画像から,処理装置4が他の点と識別できる何らかの特徴のある点(これを特徴点という)を抽出する処理手段である。この特徴点は,必ずしも人間が識別できるようなものでなくてもよい。
【0014】
三次元座標計算部42は,特徴点抽出部41で抽出した特徴点を用いて,その特徴点の各時刻における三次元座標を計算する処理手段である。
物体モデル当てはめ初期化部43は,特徴点抽出部41で求めた多数の特徴点と物体モデルデータ3の各部位の位置とを対応付ける処理手段である。
【0015】
物体モデル当てはめ部44は,特徴点抽出部41で求めた多数の特徴点を包含するように,予め用意した物体モデルデータ3の各部位の位置を移動変形し,物体モデルに対象物体を当てはめる処理手段である。
【0016】
動きデータ算出部45は,物体モデル当てはめ部44により対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移を求めて動きデータ5とする処理手段である。
【0017】
図2は,本発明による動き抽出の概念を説明する図である。
本発明は,所定の時間間隔で同時に2台以上のカメラ11,12により対象を撮影することを前提とする。
【0018】
画像から物体の動きデータを抽出する場合に,マーカのような特定の目印となるものを使用しないと,画像から特定の点を抽出することも,特定の点を時間方向に追跡し続けることも一般的には非常に困難である。しかし,本発明では,マーカを付けた場合のように対象上に設定した特定の点の動きから対象の動きを求めるのではなく(図10参照),図2(A)および(B)に示すように,画像から画像処理で抽出し易い点(特徴点)を多数選び出し,選出した特徴点の1点ずつではなく,図2(C)および(D)に示すように,それらの特徴点の三次元座標を計算して,点全体の動きから対象の動きを求めるようにする。
【0019】
さらに,多数の特徴点を一つのまとまりのある集合として扱うために,予め対象の構造と概形を近似した物体モデルを用意する。そして,図2(E)および(F)に示すように,画像から求めた多数の特徴点を包含するように物体モデルを自動的に移動・変形させる。この処理を,各時刻t,t+1の画像において行い,図2(E)から図2(F)へ示すように,求めた物体モデルの位置・姿勢の変化(時間的推移)を対象の動きデータとする。
【0020】
【発明の実施の形態】
以下,本発明の実施の形態の一例を説明する。
初めに,物体モデルを用意する。
【0021】
物体モデルは,対象をいくつかの部位に分割し,それぞれを適当な立体で近似することにより形状を表現する。さらに,各部位間の接続関係を木構造で表し,各部位ごとにローカル座標系を設定し,回転と平行移動により接続した部位間の位置を表現する。回転と平行移動のパラメータの一部または全部を可変にすることにより,対象の変形を表現する。
【0022】
図3は,対象が人間である場合の物体モデルの例を示している。図3では,胴体,頭,上腕,下腕,上肢,下肢の概形をそれぞれ楕円体で近似し,各楕円体を,首,肩,肘,股,膝の各関節で連結した構造を持たせたモデルを,人間を表現した一つのモデルとしている。
【0023】
具体的には,図3に示すように,物体モデルの全身を胴,頭,右上腕,右下腕,左上腕,左下腕,右上肢,右下肢,左上肢,左下肢の10個のパーツに分割し,各パーツの概形をそれぞれ楕円体で近似する。そして,各パーツを,首,肩,肘,股,膝の各関節で連結した木構造を作る。各関節部において特定の軸周りの関節角度を可変にする。物体上の各パーツの座標系および各パーツのラベルを,胴,頭,右上腕,右下腕,左上腕,左下腕,右上肢,右下肢,左上肢,左下肢の順に,ラベル1,ラベル2,…,ラベル10と定める。例えばローカル座標系における胴〔ラベル1〕の位置は〔x1,y1,z1〕の座標軸で表され,その軸まわりの回転は〔κ1,θ1,φ1〕で表される。
【0024】
図4は,物体モデルのデータ構造の例を示す図である。
物体モデルのデータとして,パーツ数N,関節数M,各関節において連結されるパーツ番号A1 ,…,AM とB1 ,…,BM の組,各パーツのx,y,z軸方向の半径,平行移動量,回転角が定義される。
【0025】
実際に撮影した画像から人間の動きを抽出する場合,異なるカメラ11,12で同時刻に撮影した画像間で同一点の対応付けを行い,三角測量の原理により各点の三次元位置を求める。このとき,三次元位置の正確さは各点の対応付けに大きく依存し,対応付けの誤っている点の三次元位置は大きな誤差を含むことになる。そこで,対応付けが誤りにくい点のみを自動的に抽出し,それらの点についてだけ三次元位置を計算するようにする。
【0026】
2台のカメラで撮影した画像から三角測量の原理により三次元位置を求めるには,二つの画像間で同一点の対応付けが必要である。二つの画像間で見え方の差が小さければ,対応する点の周囲の輝度分布は似ているので,一方の画像上の点を中心にウインドウを設定し,他方の画像上でウインドウ内の輝度の差(ウインドウ内の対応する画素の輝度値の差の絶対値をウインドウ内の全画素について合計したもの)が最も小さくなる点を対応する点とする。このとき,同一点の対応付けが正確であるほど求める三次元位置も正確になる。そこで,正確に同一点の対応付けができる点のみを画像から選び出し,選んだ点についてだけ三次元位置を計算する。
【0027】
ここで,対応付けの正確さを見積もる尺度として対応の一意性を用いる。一つの画像上の点を他の画像上の点に対応付ける際に,1点に対してのみウインドウ内の輝度の差が小さくなり,他の点に対しては大きくなる場合には,一意性が高いとする。
【0028】
図5は,画像から正確な三次元位置を求めることができる点を選択する方法の例を説明するための図である。図5(A)に示すように,一方の画像61上の点Pを中心に所定の大きさのウインドウ62を設定して,他方の画像(図示省略)上で同じ大きさのウインドウを走査し,ウインドウ内の輝度の差が最も小さくなる点を求める。さらに,その点Pから所定の範囲内にウインドウ内の輝度の差がしきい値Th 以下になる点がないかどうかをチェックし,ない場合には,その点Pは一意性が高く対応付けできる点として選択する。逆に,図5(B)に示すように,所定の範囲内にウインドウ内の輝度の差がしきい値Th 以下になる点Q,Rがある場合には,その点Pは,一意性が高い点ではないので選択しない。
【0029】
この処理を画像上の各点について行い,一意性の高い特徴点を抽出する。しかし,このようにして求めた特徴点の数が少なかった場合には,以後の処理における物体モデルの正確な当てはめが難しくなる。そこで,必要な点数を確保するために,以下の処理を行う。
【0030】
各画像において,三次元位置データの数が所定数以上となるように,画像から点を抽出する際のしきい値Th を調整する。例えば,前述した一意性のある点の数が所定値Nより少ない場合には,しきい値Th の値を所定値ΔTh 分だけ大きくして,再度点を選び直す。これを点の数が所定値Nよりも大きくなるまで繰り返す。あるいは,一意性のある点の数が所定値Nより少ない場合には,ウインドウの大きさを所定値分だけ大きくして,再度点を選び直し,これを点の数が所定値Nよりも大きくなるまで繰り返す。
【0031】
以上のような処理を,各時刻で撮影した画像上の各点について行うことにより,各時刻の画像に対して正確に三次元位置を計算できる点を抽出し,各時刻における特徴点の三次元位置データを求める。図6は画像から求めた点の三次元座標データの例を示す。各時刻0〜Tごとに,各点のx,y,z座標が求められる。特徴点の数は,時刻ごとに異なっていてもよい。
【0032】
具体例として,図2に従って,2台のカメラで撮影した画像から人の動きを抽出する場合について説明する。なお,図2では,見やすくするために右上腕と右下腕部分のみを示している。時刻tにおいてカメラnで撮影した画像をIntとする。
【0033】
時刻tにおいて,画像I1tと画像I2tとの間で同一点の対応付けを行う。対応付けの間違いを減らすため,対応付けのし易い点のみを画像から抽出し,三角測量の原理により三次元位置を求める。さらに画像I1tとI1t+1,画像I2tとI2t+1との間でも同様に同一点の対応付けを行う。画像I1t上の点p1tと,画像I2t上の点p2tとが対応づけられ,さらに点p1tと画像I1t+1上の点p1t+1,および点p2tと画像I2t+1上の点p2t+1が,それぞれ対応づけられ,かつ,時刻t+1において点p1t+1と点p2t+1とが対応付けられれば,点p1tと点p2tとから計算した三次元位置Pt ,およびp1t+1とp2t+1から計算した三次元位置Pt+1 を同一点として記録する。上記の処理を全ての時刻について行う。なお,抽出した特徴点の中で対応づけることができなかった点のデータは無視する。
【0034】
こうして求めた各時刻における三次元の点から,物体モデルの位置と姿勢を求める。ここで,物体モデルの各部位を,画像から求めた三次元位置データに合わせて移動・変形させるために,各点の三次元位置データと物体モデルの表面との距離を計算し,距離の和Dを最小あるいは極小にする方法を用いる。その実現方法としては,下記の(1)〜(3)の方法がある。
【0035】
(1)第1の方法は,各点の三次元位置が対象上の点のみである場合に適用できる方法である。
まず,各時刻において,全ての三次元位置データに対して物体モデルの表面との距離を計算する。物体モデルと特徴点の三次元位置との距離は,物体モデルの各パーツの表面から三次元位置までの距離の最小値とする。次に,距離の和Dを最小化するように,物体モデルの位置と姿勢を変更することにより,各時刻の物体モデルの位置と姿勢を求める。求めた位置と姿勢の時間的な変化を動きデータとする。
【0036】
(2)第2の方法は,各点の三次元位置が対象以外の点を含む場合に適用できる方法である。
まず,カメラで撮影した時刻t=0における画像をディスプレイに表示し,その画像上で,物体モデルの位置と姿勢をマウス等の適当な入力装置を用いて,オペレータに指定させる。t=0における各点の三次元位置データに対して,物体モデルの各パーツの表面との距離を計算し,所定値d以下となるパーツのラベルを付ける。
【0037】
次に,時刻t=1において,点の三次元位置データの中で一つ前の時刻であるt=0のデータと対応づけられているものについては,t=0と同じラベルを付ける。そして,時刻t=0とt=1とで対応づけられている点について,時刻t=0における物体上の位置と時刻t=1における物体上の位置のずれの和を最小化することにより,物体モデルの位置と姿勢を求める。
【0038】
その後,ラベル付けのされていない三次元位置データに対して,物体モデルの各パーツに対して所定値d以下となる場合は距離の小さい方のパーツのラベルを付ける。
【0039】
この処理を順次時刻を進めながら次々と繰り返すことにより,各時刻における物体モデルの位置と姿勢を求める。こうして求めた位置と姿勢の時間的な変化を動きデータとする。
(3)第3の方法は,異なる時刻間で,全く同一の対応づけができない場合にも適用できる方法である。
【0040】
まず,前記(2)の方法と同様にして時刻t=0における点の三次元位置データに対して物体モデルの各パーツのラベルを付ける。
次に,時刻t=1における各点の三次元位置データに対して,時刻t=0で決定した物体モデルの各パーツからの距離を計算し,距離が所定値d以下となるパーツのラベルをつける。複数のパーツに対して所定値d以下となる場合は距離の小さい方のパーツのラベルを付ける。そして,ラベルの付けられた三次元位置データとラベルに対応する物体モデルの各パーツの表面との距離の和Dを最小化することにより,物体モデルの位置と姿勢を求める。
【0041】
この処理を順次時刻を進めながら次々と繰り返すことにより,各時刻における物体モデルの位置と姿勢を求める。こうして求めた物体モデル位置と姿勢の時間的な変化を動きデータとして出力する。
【0042】
図7は,出力データの例を示す図である。動きデータは,例えば図7に示すように,各時刻のパーツごとのx,y,z軸方向の平行移動量と回転角として求められる。
【0043】
図8は,本発明の実施の形態における全体の処理フローチャートである。
ステップS11では,物体モデルを設定する。ここで,予め用意された物体モデルの中から対象となる物体に近似した図4に示すようなデータを物体モデルとして入力する。
【0044】
ステップS12では,時刻t=0とする。
ステップS13では,画像から図5で説明した方法を用いて点を抽出する。
ステップS14では,抽出した点の数が所定値Nより大きいかどうかを判断し,抽出した点の数が所定値Nより大きい場合にはステップS15へ進み,大きくない場合にはステップS22へ進む。
【0045】
ステップS15では,抽出した点の三次元位置を計算する。
ステップS16では,物体モデルの表面と計測した点との距離の和Dを計算する。
【0046】
ステップS17では,物体モデルの位置・姿勢を変更する。
ステップS18では,ステップS16で求めた距離の和Dが所定値dより小さいかどうかを判断し,距離の和Dが所定値dより小さい場合にはステップS19へ進み,所定値dより小さくない場合にはステップS16へ戻る。
【0047】
ステップS19では,前述した距離の和Dが所定値dより小さいときの物体モデルの位置・姿勢を決定する。
ステップS20では,時刻t=t+1として,次の時刻に処理を進める。
【0048】
ステップS21では,時刻tが最終時刻Tを超えたかどうかを判断し,超えている場合には処理を終了し,超えていない場合にはステップS13へ戻り,同様に次の時刻の画像について処理を繰り返す。
【0049】
ステップS22では,ステップS14の処理で,抽出した点の数が所定値Nより小さい場合に,一意性の高い特徴点であるかどうかを判断するためのしきい値Th を変更する。
【0050】
図9は,物体モデルの位置・姿勢を決定する方法の詳細て処理フローチャートである。
ステップS31では,点のインデックスiと,物体モデルのパーツに対するインデックスを,それぞれi=0,j=0と初期化する。
【0051】
ステップS32では,最小距離を記憶する変数dmin を所定値ds1とする。
ステップS33では,点Piと物体モデルのパーツjの表面との距離d1を計算する。
【0052】
ステップS34では,d1がdmin より小さいかどうかを判断する。小さい場合にはステップS35へ進み,小さくない場合にはステップS37へ進む。
ステップS35では,dmin にd1を代入する。
【0053】
ステップS36では,点Piにラベルjを付ける。
ステップS37では,j=j+1とする。
ステップS38では,jが全パーツ数より大きいかどうか(全パーツについて処理したかどうか)を判断する。大きい場合にはステップS39へ進み,大きくない場合にはステップS32へ戻る。
【0054】
ステップS39では,i=i+1とする。
ステップS40では,iが全点数より大きいかどうか(全点について処理したかどうか)を判断し,大きい場合にはステップS41へ進み,大きくない場合にはステップS32へ戻る。
【0055】
ステップS41では,点のインデックスiと距離の和Dを,i=0,D=0と初期化する。
ステップS42では,点Piのラベルkを調べる。
【0056】
ステップS43では,kが1より大きくかつ全パーツ数より小さいかどうかを判断する。kが1より大きくかつ全パーツ数より小さい場合にはステップS44へ進み,そうでない場合には,ステップS46へ進む。
【0057】
ステップS44では,点Piとパーツkの表面との距離d2を計算する。
ステップS45では,D=D+d2とする。
ステップS46では,i=i+1とする。
【0058】
ステップS47では,iが全点数より大きいかどうかを判断し,大きい場合にはステップS48へ進み,大きくない場合にはステップS42へ戻る。
ステップS48では,距離の和Dが所定値ds2より小さいかどうかを判断し,小さい場合にはステップS50へ進み,小さくない場合にはステップS49へ進む。
【0059】
ステップS49では,距離の和Dが小さくなるように,パーツの回転角θ1〜θN,φ1〜φN,κ1〜κNや,パーツの位置X,Y,Zを変更し,ステップS41へ戻る。
【0060】
ステップS50では,各パーツの回転角θ1〜θN,φ1〜φN,κ1〜κNと,各パーツの位置X,Y,Zを決定して処理を終了する。
【0061】
【発明の効果】
以上説明したように,本発明によれば,対象にマーカを付けることなく,複数のカメラで対象を撮影した画像から対象の物体の動きを抽出することが可能となる。したがって,例えば従来困難であった自然の環境における動物の動きなども,画像から容易に抽出することができるようになる。
【図面の簡単な説明】
【図1】本発明のブロック構成例を示す図である。
【図2】動き抽出の概念を説明する図である。
【図3】物体モデルの例を示す図である。
【図4】物体モデルのデータ構造の例を示す図である。
【図5】三次元位置を求める点を選択する方法の例を示す図である。
【図6】画像から求めた点の三次元座標データの例を示す図である。
【図7】出力データの例を示す図である。
【図8】実施の形態における全体の処理フローチャートである。
【図9】物体モデルの位置・姿勢決定方法の処理フローチャートである。
【図10】従来方式を説明する図である。
【符号の説明】
11,12 画像撮影装置(カメラ)
2 画像記憶装置
3 物体モデルデータ
4 処理装置(CPU/メモリ)
41 特徴点抽出部
42 三次元座標計算部
43 物体モデル当てはめ初期化部
44 物体モデル当てはめ部
45 動きデータ算出部
5 動きデータ

Claims (6)

  1. 物体の動きを抽出する動き抽出処理方法であって,
    対象物体に近似する1または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段を有し,
    前記対象物体を撮影する2台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出し,
    前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算し,
    各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより,前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめ,
    前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的な推移から動きデータを生成する
    ことを特徴とする動き抽出処理方法。
  2. 請求項1記載の動き抽出処理方法において,
    前記物体モデルのデータは,対象物体の概形を記述したデータであって,楕円体で近似される複数の部位を各関節で連結した構造を表すデータである
    ことを特徴とする動き抽出処理方法。
  3. 請求項1または請求項2記載の動き抽出処理方法において,
    前記物体モデルに前記対象物体を当てはめる過程では,
    各時刻において三次元位置を求めた特徴点に対し,前時刻の三次元位置と姿勢にある物体モデルにおいて表面までの距離が所定値以下となる部位に対応するラベルを付け,
    各部位の表面とそれに対応するラベルの付いた点の距離の総和を最小化あるいは極小化して物体モデルの三次元位置と姿勢を求める
    ことを特徴とする動き抽出処理方法。
  4. 請求項1,請求項2または請求項3記載の動き抽出処理方法において,
    前記画像から所定数以上の特徴点を抽出する過程では,特徴点の抽出に用いるしきい値を変化させることにより所定数以上の点を抽出する
    ことを特徴とする動き抽出処理方法。
  5. 物体の動きを抽出する動き抽出処理装置であって,
    対象物体に近似する1または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段と,
    前記対象物体を撮影する2台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出する特徴点抽出手段と,
    前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算する三次元座標計算手段と,
    各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより,前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめる手段と,
    前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移から動きデータを生成する手段とを備える
    ことを特徴とする動き抽出処理装置。
  6. 物体の動きを抽出する動き抽出処理装置を構成するコンピュータに実行させるためのプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって,
    前記コンピュータを,
    対象物体に近似する1または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段と,
    前記対象物体を撮影する2台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出する特徴点抽出手段と,
    前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算する三次元座標計算手段と,
    各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより,前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめる手段と,
    前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移から動きデータを生成する手段として
    機能させるためのプログラムを格納したプログラム記憶媒体。
JP10888597A 1997-04-25 1997-04-25 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体 Expired - Fee Related JP3860287B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10888597A JP3860287B2 (ja) 1997-04-25 1997-04-25 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10888597A JP3860287B2 (ja) 1997-04-25 1997-04-25 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPH10302070A JPH10302070A (ja) 1998-11-13
JP3860287B2 true JP3860287B2 (ja) 2006-12-20

Family

ID=14496071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10888597A Expired - Fee Related JP3860287B2 (ja) 1997-04-25 1997-04-25 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体

Country Status (1)

Country Link
JP (1) JP3860287B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220406082A1 (en) * 2021-06-16 2022-12-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003281649A1 (en) * 2002-07-19 2004-02-09 Koninklijke Philips Electronics N.V. Automated measurement of objects using deformable models
JP4930854B2 (ja) 2005-07-19 2012-05-16 日本電気株式会社 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JP6007523B2 (ja) * 2012-03-09 2016-10-12 富士通株式会社 生成装置、生成プログラムおよび生成方法
JPWO2022190206A1 (ja) 2021-03-09 2022-09-15

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220406082A1 (en) * 2021-06-16 2022-12-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
JPH10302070A (ja) 1998-11-13

Similar Documents

Publication Publication Date Title
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
Cheung et al. Shape-from-silhouette across time part ii: Applications to human modeling and markerless motion tracking
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
JP3512992B2 (ja) 画像処理装置および画像処理方法
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
EP1335322A2 (en) Method of determining body motion from captured image data
JP2023502795A (ja) 実世界環境の4d時空間モデルを生成するためのリアルタイムシステム
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
KR20160138729A (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
CN111832386A (zh) 一种估计人体姿态的方法、装置及计算机可读介质
JP3860287B2 (ja) 動き抽出処理方法,動き抽出処理装置およびプログラム記憶媒体
KR100301962B1 (ko) 실시간 가상캐릭터 시스템
Di Bernardo et al. Monocular tracking of the human arm in 3d: Real-time implementation and experiments
Liu et al. Simultaneous 3D motion detection, long-term tracking and model reconstruction for multi-objects
Xing et al. Markerless motion capture of human body using PSO with single depth camera
CN112215928B (zh) 基于视觉图像的动作捕捉方法及数字动画制作方法
JPH09212621A (ja) 動画像による運動計測装置
Caron et al. 3D model silhouette-based tracking in depth images for puppet suit dynamic video-mapping
Hartmann et al. Towards Symmetry Axis based Markerless Motion Capture.
CN117275089A (zh) 一种单目摄像头的人物识别方法、装置、设备及存储介质
Carsky Human motion reconstruction fom video sequences with MPEG-4 compliant animation parameters.
Diamanti Motion Capture in Uncontrolled Environments

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090929

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120929

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120929

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130929

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees