JPH11259660A - 三次元動作復元システム - Google Patents
三次元動作復元システムInfo
- Publication number
- JPH11259660A JPH11259660A JP10269912A JP26991298A JPH11259660A JP H11259660 A JPH11259660 A JP H11259660A JP 10269912 A JP10269912 A JP 10269912A JP 26991298 A JP26991298 A JP 26991298A JP H11259660 A JPH11259660 A JP H11259660A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- motion
- image
- human
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【解決手段】 統計学的アプローチと共に動作の捕獲例
の集合を使用して人物の短い動作シーケンスにガウスの
確率モデルが形成される単眼的に観察されたイメージシ
ーケンスから、人物像の三次元の動作を復元するための
システムが提供される。簡略化されたレンダリング領域
において、これにより与えられた二次元の一時的なシー
ケンスからリアルな動画を生成するために使用される人
物動作の最適な三次元推定がもたらされる。本システム
はまた、推定が困難な動作形態を識別するのに有用であ
る。一実施例では、不正確にトラックされた身体の部分
を手動で直せるように、棒線像が入力映像イメージ上に
重ねられる。棒線像の修正は、入力映像シーケンスで表
現される動作をより正確に三次元で復元するように手動
で修正できるようにする。 【効果】 対話式追跡システムは実際の映像シーケンス
を処理し、人物像の動作を三次元でよく復元する。
の集合を使用して人物の短い動作シーケンスにガウスの
確率モデルが形成される単眼的に観察されたイメージシ
ーケンスから、人物像の三次元の動作を復元するための
システムが提供される。簡略化されたレンダリング領域
において、これにより与えられた二次元の一時的なシー
ケンスからリアルな動画を生成するために使用される人
物動作の最適な三次元推定がもたらされる。本システム
はまた、推定が困難な動作形態を識別するのに有用であ
る。一実施例では、不正確にトラックされた身体の部分
を手動で直せるように、棒線像が入力映像イメージ上に
重ねられる。棒線像の修正は、入力映像シーケンスで表
現される動作をより正確に三次元で復元するように手動
で修正できるようにする。 【効果】 対話式追跡システムは実際の映像シーケンス
を処理し、人物像の動作を三次元でよく復元する。
Description
【０００１】
【発明の属する技術分野】この発明は、身体の動作を認
識するシステムに関し、より詳しくは、実際のまたは前
もって記録された身体のイメージシーケンスから人物の
身体の三次元の位置推定を復元するための三次元動作復
元システムに関するものである。
識するシステムに関し、より詳しくは、実際のまたは前
もって記録された身体のイメージシーケンスから人物の
身体の三次元の位置推定を復元するための三次元動作復
元システムに関するものである。
【０００２】
【従来の技術】人物が動いているフィルムまたは映像を
見る際、二次元で映し出されるイメージをある期間見
て、動いている人物の三次元での動作を容易に推定でき
る。ダンサーはフィルムに描写された動作を繰り返すこ
とができる。しかし、そのような三次元の動作をコンピ
ュータが推定することは困難である。
見る際、二次元で映し出されるイメージをある期間見
て、動いている人物の三次元での動作を容易に推定でき
る。ダンサーはフィルムに描写された動作を繰り返すこ
とができる。しかし、そのような三次元の動作をコンピ
ュータが推定することは困難である。
【０００３】三次元の動作を推測する同等の能力を有す
るコンピュータから多くの応用ができる。対話式ゲーム
や仮想現実と同様にエレベータやエスカレータの公共安
全への応用がある。コンピュータグラフィックでは、成
長産業はデジタル化された人物像の動作がコンピュータ
グラフィックのキャラクターを動かす「動作捕獲」（mo
tion capture）に専心している。人物の三次元動作の情
報は複測定カメラおよび特別な目的の目印を利用する磁
気センサや光学技術のいずれかによってデジタル化され
る。しかし不都合なことに、いずれの技術も高価であ
り、扱いにくい。単一カメラ映像から三次元像の動作情
報を得ることで、一般の一眼ビデオカメラでの動作捕獲
を可能にし、記録保持フィルムまたは映像に応用でき
る。
るコンピュータから多くの応用ができる。対話式ゲーム
や仮想現実と同様にエレベータやエスカレータの公共安
全への応用がある。コンピュータグラフィックでは、成
長産業はデジタル化された人物像の動作がコンピュータ
グラフィックのキャラクターを動かす「動作捕獲」（mo
tion capture）に専心している。人物の三次元動作の情
報は複測定カメラおよび特別な目的の目印を利用する磁
気センサや光学技術のいずれかによってデジタル化され
る。しかし不都合なことに、いずれの技術も高価であ
り、扱いにくい。単一カメラ映像から三次元像の動作情
報を得ることで、一般の一眼ビデオカメラでの動作捕獲
を可能にし、記録保持フィルムまたは映像に応用でき
る。
【０００４】
【発明が解決しようとする課題】L.Goncalves、E.D.Ber
nardo、E.Ursella、およびP.Peronaの、「Monocular tr
acking of the human arm in 3d.」（Proc. ５th Intl.
Conf. on Computer Vision,７６４−７７０ページ、IE
EE、１９９５年）に述べられているように、制限された
観察および動作状態下で、Goncalvesおよび合作者が三
次元で腕の動作をトラックした。「Ｍodel-based track
ing of self-occluding articulated objects」（Proc.
５th Intl. Conf. on Computer Vision、６１２−６１
７ページ、IEEE、１９９５年）と題されるJ.M.Rehgおよ
びT.Kanadeの記事では、いくつかの手の動作が三次元で
トラックされ、かなりの咬合が認められている。しかし
ながら、これには三次元モデルの初期設定および制御さ
れた観察状態が必要である。一つ以上のカメラから身体
の位置を復元する作業は、D.M.GavrilaおよびL.S.Davis
の、「3-d model-based tracking of humans in actio
n: a multi-view approach」（Proc. IEEE CVPR、７３
−８０ページ、１９９６年）に述べられているように、
より成功しやすい。I.Essaにより編集され、「Internal
tional Workshop on Automatic Face- and Gesture- Re
cognition」（IEEE Computer Society,Killington, バ
ーモント、１９９７年）と題される本に示されているよ
うに、この研究の注目度に反して、単一カメラ映像から
三次元像動作を復元する問題はまだ満足のいくようには
解決されていない。
nardo、E.Ursella、およびP.Peronaの、「Monocular tr
acking of the human arm in 3d.」（Proc. ５th Intl.
Conf. on Computer Vision,７６４−７７０ページ、IE
EE、１９９５年）に述べられているように、制限された
観察および動作状態下で、Goncalvesおよび合作者が三
次元で腕の動作をトラックした。「Ｍodel-based track
ing of self-occluding articulated objects」（Proc.
５th Intl. Conf. on Computer Vision、６１２−６１
７ページ、IEEE、１９９５年）と題されるJ.M.Rehgおよ
びT.Kanadeの記事では、いくつかの手の動作が三次元で
トラックされ、かなりの咬合が認められている。しかし
ながら、これには三次元モデルの初期設定および制御さ
れた観察状態が必要である。一つ以上のカメラから身体
の位置を復元する作業は、D.M.GavrilaおよびL.S.Davis
の、「3-d model-based tracking of humans in actio
n: a multi-view approach」（Proc. IEEE CVPR、７３
−８０ページ、１９９６年）に述べられているように、
より成功しやすい。I.Essaにより編集され、「Internal
tional Workshop on Automatic Face- and Gesture- Re
cognition」（IEEE Computer Society,Killington, バ
ーモント、１９９７年）と題される本に示されているよ
うに、この研究の注目度に反して、単一カメラ映像から
三次元像動作を復元する問題はまだ満足のいくようには
解決されていない。
【０００５】
【課題を解決するための手段】個人に目印を使用せず
に、また６つものカメラを使用せずに人物の動作を感知
するために、映像入力信号および元のトレーニング集合
を取り、映像入力、トレーニングデータおよび手動で入
力された修正に対応する身体の目印の最適化された三次
元の座標を出力するオプティマイザーが使用される。
に、また６つものカメラを使用せずに人物の動作を感知
するために、映像入力信号および元のトレーニング集合
を取り、映像入力、トレーニングデータおよび手動で入
力された修正に対応する身体の目印の最適化された三次
元の座標を出力するオプティマイザーが使用される。
【０００６】最適化を成し遂げるために、オプティマイ
ザーは入力映像を説明し,ユーザ修正に対応し、またも
っともらしい三次元動作セグメントであるのに最も起こ
りそうなトレーニングデータの線形結合を見つけだす。
一実施例では、最適な三次元座標を導き出してから、行
為者の身体に物理的な目印を使用せずに、行為者を観察
する単一カメラからリアルな漫画のキャラクターが生成
される。行為者の動作をキャラクター化できるだけでな
く、記録保持フィルムをフィルム中の行為者の動作に関
して解析可能である。結果として、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができる。
ザーは入力映像を説明し,ユーザ修正に対応し、またも
っともらしい三次元動作セグメントであるのに最も起こ
りそうなトレーニングデータの線形結合を見つけだす。
一実施例では、最適な三次元座標を導き出してから、行
為者の身体に物理的な目印を使用せずに、行為者を観察
する単一カメラからリアルな漫画のキャラクターが生成
される。行為者の動作をキャラクター化できるだけでな
く、記録保持フィルムをフィルム中の行為者の動作に関
して解析可能である。結果として、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができる。
【０００７】一実施例において、オプティマイザーは以
下の公式に従って役割を果たす。
下の公式に従って役割を果たす。
【０００８】
【数３】
【０００９】ここで、Ｅ(→α)は見つけだされる最適係
数 により最小となるエネルギー関数であり、→Ｒはイ
メージデータからの時間経過に伴うセンサ応答のベクト
ルである。なお、「→」はベクトルを表す。関数→ｆは
身体の動作係数→αを予測されたセンサ応答に変換す
る。→Ｉｉはユーザにより特定されるｉ番目のポイント
位置であり、Ｐｉは対応するｉ番目の棒線像部二次元位
置上に係数αを射影する。λ１およびλ２はイメージデ
ータのウェート、人物の動作に対する優先、対話的に特
定された二次元ポイントの一致を反映する定数である。
数 により最小となるエネルギー関数であり、→Ｒはイ
メージデータからの時間経過に伴うセンサ応答のベクト
ルである。なお、「→」はベクトルを表す。関数→ｆは
身体の動作係数→αを予測されたセンサ応答に変換す
る。→Ｉｉはユーザにより特定されるｉ番目のポイント
位置であり、Ｐｉは対応するｉ番目の棒線像部二次元位
置上に係数αを射影する。λ１およびλ２はイメージデ
ータのウェート、人物の動作に対する優先、対話的に特
定された二次元ポイントの一致を反映する定数である。
【００１０】本発明では、トレーニングデータの形でど
のように人物が動くかについての強固な事前知識が用い
られる。この事前知識が三次元人物の動作例と適合して
三次元復元を劇的に向上させる。
のように人物が動くかについての強固な事前知識が用い
られる。この事前知識が三次元人物の動作例と適合して
三次元復元を劇的に向上させる。
【００１１】本発明では、簡略化されたイメージレンダ
リング領域での三次元復元はベイズ解析を利用して、イ
メージデータから像の動作を推定することについての基
本的な疑問への解析解を提供する。ベイズの方法を実際
のイメージに適用することは、困難なフィルムシーケン
スからさえも復元を可能にする自動二次元追跡エラーの
対話的修正に対応する本システムを用いて、記録保持映
像から人物像の動作を復元することを可能にする。一実
施例においては、棒線像が動いている人物のイメージ上
に重ねられ、ユーザが二次元動作推定エラーを確認し修
正するのを可能にする。
リング領域での三次元復元はベイズ解析を利用して、イ
メージデータから像の動作を推定することについての基
本的な疑問への解析解を提供する。ベイズの方法を実際
のイメージに適用することは、困難なフィルムシーケン
スからさえも復元を可能にする自動二次元追跡エラーの
対話的修正に対応する本システムを用いて、記録保持映
像から人物像の動作を復元することを可能にする。一実
施例においては、棒線像が動いている人物のイメージ上
に重ねられ、ユーザが二次元動作推定エラーを確認し修
正するのを可能にする。
【００１２】要するに、統計学的アプローチと共に動作
の捕獲例の集合を用いて人物像の短い動作シーケンスに
ガウスの確率モデルが形成される単眼的に観察されたイ
メージシーケンスから、人物の三次元の動作を復元する
ためのシステムが提供される。簡略化されたレンダリン
グ領域において、これにより与えられた二次元の一時的
なシーケンスからリアルな動画を生成するために使用さ
れる人物動作の最適な三次元推定がもたらされる。本発
明はまた、推定が困難な動作形態を識別するのに有用で
ある。一実施例では、不正確にトラックされた身体の部
分を手動で修正できるように、棒線像が入力映像イメー
ジ上に重ねられる。棒線像の修正は、入力映像シーケン
スで表現される動作をより正確に三次元で復元するよう
に手動で修正できるようにする。対話式追跡システム
（interactive tracking system）は実際の映像シーケ
ンスを処理し、人物像の動作を三次元でよく復元する。
の捕獲例の集合を用いて人物像の短い動作シーケンスに
ガウスの確率モデルが形成される単眼的に観察されたイ
メージシーケンスから、人物の三次元の動作を復元する
ためのシステムが提供される。簡略化されたレンダリン
グ領域において、これにより与えられた二次元の一時的
なシーケンスからリアルな動画を生成するために使用さ
れる人物動作の最適な三次元推定がもたらされる。本発
明はまた、推定が困難な動作形態を識別するのに有用で
ある。一実施例では、不正確にトラックされた身体の部
分を手動で修正できるように、棒線像が入力映像イメー
ジ上に重ねられる。棒線像の修正は、入力映像シーケン
スで表現される動作をより正確に三次元で復元するよう
に手動で修正できるようにする。対話式追跡システム
（interactive tracking system）は実際の映像シーケ
ンスを処理し、人物像の動作を三次元でよく復元する。
【００１３】
【発明の実施の形態】実施の形態１．図１を参照して、
一実施例において、個人の身体の動作の三次元推定を提
供するシステム１０が、行為者の動作に類似する動作の
漫画のキャラクターを提供するのに使用される。前述し
たように、人物の動作に基づいてリアルに動く漫画のキ
ャラクターを生成することは難しい。
一実施例において、個人の身体の動作の三次元推定を提
供するシステム１０が、行為者の動作に類似する動作の
漫画のキャラクターを提供するのに使用される。前述し
たように、人物の動作に基づいてリアルに動く漫画のキ
ャラクターを生成することは難しい。
【００１４】示される実施例では、行為者１２の動作は
ビデオカメラ１４で撮影され、１６においてデジタル化
されてオプティマイザー２０につながれる。この目的
は、与えられた三次元動作トレーニングデータ集合２２
から最適な三次元の身体座標を見つけることである。
ビデオカメラ１４で撮影され、１６においてデジタル化
されてオプティマイザー２０につながれる。この目的
は、与えられた三次元動作トレーニングデータ集合２２
から最適な三次元の身体座標を見つけることである。
【００１５】一実施例において、トレーニングデータは
人物動作の基底ベクトルと呼ばれるものを定義する断片
またはセグメントに分割される。これらの値を係数で掛
け、その結果を足すと新しい動作がもたらされる。基底
ベクトルとは以下の構成要素、フレーム番号、そのフレ
ーム中の各目印数、および各目印のｘ、ｙ、およびｚ位
置を有するベクトルである。目印がトレーニングデータ
集合から得られることに注意する。トレーニングデータ
集合の目印は、身体部分の位置を示す身体上の様々な位
置を示す。これらは個人の衣服上に物理的な目印を配置
し、複数のカメラから三角測量することにより物理的な
目印の三次元位置を測定するのと同様である。動画用の
トレーニングデータはマサチューセッツ州、ケンブリッ
ジにあるAdaptive Optics Associatesから商業的に利用
でき、そこではデータセットが、例えば、ダンサーに関
して提供され目印で身体部分の位置が示される。これら
のトレーニング集合のかたちでの動作シーケンス例は本
システムで使用される事前データを提供する。
人物動作の基底ベクトルと呼ばれるものを定義する断片
またはセグメントに分割される。これらの値を係数で掛
け、その結果を足すと新しい動作がもたらされる。基底
ベクトルとは以下の構成要素、フレーム番号、そのフレ
ーム中の各目印数、および各目印のｘ、ｙ、およびｚ位
置を有するベクトルである。目印がトレーニングデータ
集合から得られることに注意する。トレーニングデータ
集合の目印は、身体部分の位置を示す身体上の様々な位
置を示す。これらは個人の衣服上に物理的な目印を配置
し、複数のカメラから三角測量することにより物理的な
目印の三次元位置を測定するのと同様である。動画用の
トレーニングデータはマサチューセッツ州、ケンブリッ
ジにあるAdaptive Optics Associatesから商業的に利用
でき、そこではデータセットが、例えば、ダンサーに関
して提供され目印で身体部分の位置が示される。これら
のトレーニング集合のかたちでの動作シーケンス例は本
システムで使用される事前データを提供する。
【００１６】断片が所定数のフレームを有することが言
及される。さらに一実施例においては、一断片とその次
の断片の開始部分の間でいくつのフレームがスキップさ
れるかを示すオフセットが存在する。
及される。さらに一実施例においては、一断片とその次
の断片の開始部分の間でいくつのフレームがスキップさ
れるかを示すオフセットが存在する。
【００１７】オプティマイザー２０の目的は、（１）入
力映像データを最もよく説明し、（２）以後説明される
ユーザ修正に対応する、三次元動作トレーニングデータ
集合の係数の集合を見つけることである。本システムは
二次元データを操作するが、これは漫画のキャラクター
に加えられる身体の動作を描写するのに必要な三次元デ
ータを提供するのには通常不十分であることに注意す
る。
力映像データを最もよく説明し、（２）以後説明される
ユーザ修正に対応する、三次元動作トレーニングデータ
集合の係数の集合を見つけることである。本システムは
二次元データを操作するが、これは漫画のキャラクター
に加えられる身体の動作を描写するのに必要な三次元デ
ータを提供するのには通常不十分であることに注意す
る。
【００１８】三次元推定は、二次元イメージ情報および
二次元ユーザ修正を明らかにする三次元トレーニングデ
ータの最も起こりそうな線形結合を見つけることを通し
て、二次元映像データから導き出される。
二次元ユーザ修正を明らかにする三次元トレーニングデ
ータの最も起こりそうな線形結合を見つけることを通し
て、二次元映像データから導き出される。
【００１９】身体の動作の三次元描写を完成するため
に、三つめの次元を推測することが必要である。どのよ
うにこれが成し遂げられるかは、一般的に、トレーニン
グデータからの三つめの次元の情報に始まる。明確に
は、トレーニングデータの特定の線形結合への事前優先
（prior preference）が形成される。これはトレーニン
グデータから得られる。次に、オプティマイザー２０は
所与の線形結合への事前優先の強さを、どのくらいその
線形結合が入力映像データを説明し、またユーザ修正を
明らかにするかに対してトレードオフする。
に、三つめの次元を推測することが必要である。どのよ
うにこれが成し遂げられるかは、一般的に、トレーニン
グデータからの三つめの次元の情報に始まる。明確に
は、トレーニングデータの特定の線形結合への事前優先
（prior preference）が形成される。これはトレーニン
グデータから得られる。次に、オプティマイザー２０は
所与の線形結合への事前優先の強さを、どのくらいその
線形結合が入力映像データを説明し、またユーザ修正を
明らかにするかに対してトレードオフする。
【００２０】オプティマイザー２０はトレーニング動作
断片の最適な線形結合を繰り返し探し、研究されている
動作への最適な係数集合を出力する。ここでは、２４で
示されるように、この出力は前述の身体目印の推定三次
元座標と呼ばれる。
断片の最適な線形結合を繰り返し探し、研究されている
動作への最適な係数集合を出力する。ここでは、２４で
示されるように、この出力は前述の身体目印の推定三次
元座標と呼ばれる。
【００２１】要求はされないが、推定がどのぐらい正確
かは一実施例においてユーザにより確認される。この実
施例では、２６で示される回復した目印位置の三次元か
ら二次元への投影が、モニタ３０で視覚比較が行われる
２８で示されるように対応する映像に重なるように作ら
れた棒線像に変換される。ユーザは棒線像の位置と映像
中の行為者の位置とを比較して、行為者の対応する身体
位置と一列にするために棒線像にどのような調整が行わ
れなければならないかを確認する。これは装置３２で行
われる。マウス３４は、一実施例において、棒線像のど
の身体部分が選択されたのか、またその棒線像の身体部
分がどこに行くべきなのかを指定するのに利用される。
これは、マウスで調整される目印を選択すること、およ
びもう一度マウスをクリックしてその目印が映像身体イ
メージ上のどこに移動されるべきなのかを指定すること
を通して成し遂げられる。
かは一実施例においてユーザにより確認される。この実
施例では、２６で示される回復した目印位置の三次元か
ら二次元への投影が、モニタ３０で視覚比較が行われる
２８で示されるように対応する映像に重なるように作ら
れた棒線像に変換される。ユーザは棒線像の位置と映像
中の行為者の位置とを比較して、行為者の対応する身体
位置と一列にするために棒線像にどのような調整が行わ
れなければならないかを確認する。これは装置３２で行
われる。マウス３４は、一実施例において、棒線像のど
の身体部分が選択されたのか、またその棒線像の身体部
分がどこに行くべきなのかを指定するのに利用される。
これは、マウスで調整される目印を選択すること、およ
びもう一度マウスをクリックしてその目印が映像身体イ
メージ上のどこに移動されるべきなのかを指定すること
を通して成し遂げられる。
【００２２】オプティマイザー２０の働きのため、手動
で各目印を調整することは必要ではないしまた好ましく
ない。むしろ、調整するための選択目印を特定する対話
的処理を通して、オプティマイザー２０は変更された棒
線像の推定を出力する。人間の身体ができることは限ら
れているために、棒線像への可能性の範囲は限られてい
る。これは、トレーニングデータに潜在的に含まれてい
る一定量の事前知識が結果として生ずる三次元棒線像座
標に少しずつ漏れ出すためである。
で各目印を調整することは必要ではないしまた好ましく
ない。むしろ、調整するための選択目印を特定する対話
的処理を通して、オプティマイザー２０は変更された棒
線像の推定を出力する。人間の身体ができることは限ら
れているために、棒線像への可能性の範囲は限られてい
る。これは、トレーニングデータに潜在的に含まれてい
る一定量の事前知識が結果として生ずる三次元棒線像座
標に少しずつ漏れ出すためである。
【００２３】行為者の身体全体に目印を配置するのに頼
るよりもむしろ、本システムは妨害されない行為者の映
像シーケンスから同じ三次元情報を回復（recover）す
る。もはや、行為者の動作を検出するために６台のカメ
ラで観察したり、服に装置をつける必要もない。むし
ろ、デジタル化された映像を解析して動作を検出し行為
者の動作を模倣する漫画の対応キャラクターを生成する
のに使用される目印を含む三次元棒線像描写を提供す
る。
るよりもむしろ、本システムは妨害されない行為者の映
像シーケンスから同じ三次元情報を回復（recover）す
る。もはや、行為者の動作を検出するために６台のカメ
ラで観察したり、服に装置をつける必要もない。むし
ろ、デジタル化された映像を解析して動作を検出し行為
者の動作を模倣する漫画の対応キャラクターを生成する
のに使用される目印を含む三次元棒線像描写を提供す
る。
【００２４】４０で示されるように、推定三次元座標は
一実施例において、所定のキャラクターモデルを三次元
座標にあわせることによりキャラクターモデルを生成す
るのに使用される。いったんキャラクターモデルが三次
元座標にあわせられると、キャラクターモデルが４２で
表示される。キャラクター表示は、好みの衣装にした
り、像を回転させるためにカメラ視点を変えられるし、
またはゲーム中で別のキャラクターや背景要素と互いに
関係させたりもできることに注意すべきである。結果と
して、テレビゲーム作成が簡略化され、また行為者に邪
魔な装置をつけることなく、また高価な動作捕獲設備な
しでよりリアルなものを作成できるようになった。
一実施例において、所定のキャラクターモデルを三次元
座標にあわせることによりキャラクターモデルを生成す
るのに使用される。いったんキャラクターモデルが三次
元座標にあわせられると、キャラクターモデルが４２で
表示される。キャラクター表示は、好みの衣装にした
り、像を回転させるためにカメラ視点を変えられるし、
またはゲーム中で別のキャラクターや背景要素と互いに
関係させたりもできることに注意すべきである。結果と
して、テレビゲーム作成が簡略化され、また行為者に邪
魔な装置をつけることなく、また高価な動作捕獲設備な
しでよりリアルなものを作成できるようになった。
【００２５】行為者または運動選手の動作をビデオカメ
ラにより捕獲するだけでなく、フィルムまたは映像中の
キャラクターに似たキャラクターをフィルムまたは映像
中のキャラクターと同じように動かすことができるよう
に、記録保持フィルムまたは映像を解析することも可能
である。このように、キャラクターを新しい設定で、ま
たは新しいカメラアングルから再レンダリングできる。
さらに、フィルム上で本来捕らえたキャラクターを、不
可能であったことだが、目印を物理的に配置せずに互い
に関係させることができる。このために、本発明を利用
して、仮想世界で亡くなった俳優を生き返らせたり、ま
たキャラクターとリアルに相互に関係させたりできる。
ラにより捕獲するだけでなく、フィルムまたは映像中の
キャラクターに似たキャラクターをフィルムまたは映像
中のキャラクターと同じように動かすことができるよう
に、記録保持フィルムまたは映像を解析することも可能
である。このように、キャラクターを新しい設定で、ま
たは新しいカメラアングルから再レンダリングできる。
さらに、フィルム上で本来捕らえたキャラクターを、不
可能であったことだが、目印を物理的に配置せずに互い
に関係させることができる。このために、本発明を利用
して、仮想世界で亡くなった俳優を生き返らせたり、ま
たキャラクターとリアルに相互に関係させたりできる。
【００２６】同様の技術が、与えられた環境でどの動作
が非正常行動となるのかを確かめるために利用される。
例えば、エスカレータで降りている人々をリアルタイム
で観察でき、万が一人が倒れても、この事実は本装置に
より検出できる。さらに、本技術を用いて時間および動
作の研究を生み出すことが可能である。
が非正常行動となるのかを確かめるために利用される。
例えば、エスカレータで降りている人々をリアルタイム
で観察でき、万が一人が倒れても、この事実は本装置に
より検出できる。さらに、本技術を用いて時間および動
作の研究を生み出すことが可能である。
【００２７】後述されるように、オプティマイザー２０
が最適化する関数は所与の三次元身体動作のベイズの事
後確率として解釈される。これは断片係数（snippet co
efficient）の集合の事前確率を利用して成される。動
作が断片の線形結合として表されることが理解されるだ
ろう。このように、事前確率は所与の断片係数の集合に
よって示される動作を生じさせる人物の確率の数学的表
現である。さらに、事前確率は新しい映像のない、すな
わち映像を見る前のトレーニングデータから生じること
が理解されるだろう。事後確率は、映像データを検査し
ユーザ修正をオプション的に組み入れた後の集合の確率
を示す。
が最適化する関数は所与の三次元身体動作のベイズの事
後確率として解釈される。これは断片係数（snippet co
efficient）の集合の事前確率を利用して成される。動
作が断片の線形結合として表されることが理解されるだ
ろう。このように、事前確率は所与の断片係数の集合に
よって示される動作を生じさせる人物の確率の数学的表
現である。さらに、事前確率は新しい映像のない、すな
わち映像を見る前のトレーニングデータから生じること
が理解されるだろう。事後確率は、映像データを検査し
ユーザ修正をオプション的に組み入れた後の集合の確率
を示す。
【００２８】オプティマイザー２０は、ベイズの数学的
確率法を利用して、身体の動作を描写するのに使用され
る三次元推定が最適であることを確認する。これは、映
像データの説明、ユーザ修正への対応、および起こりそ
うな人物三次元動作の推定、の間で最適なトレードオフ
を提示する。
確率法を利用して、身体の動作を描写するのに使用され
る三次元推定が最適であることを確認する。これは、映
像データの説明、ユーザ修正への対応、および起こりそ
うな人物三次元動作の推定、の間で最適なトレードオフ
を提示する。
【００２９】さらに詳しくは、一実施例において、ここ
で使用されるトレーニング例は、商業的に得られたそれ
ぞれ５〜１０秒の１０の三次元動作捕獲シーケンスであ
る。データは、１秒ごとに約２０フレームでサンプルさ
れた、各シーケンスの１２０から２４０の一時的なフレ
ームでの３７の目印の位置情報である。動作は、おそら
く動作捕獲設備の範囲および精密さを示すよう設計され
た短い活動の折衷集合である。
で使用されるトレーニング例は、商業的に得られたそれ
ぞれ５〜１０秒の１０の三次元動作捕獲シーケンスであ
る。データは、１秒ごとに約２０フレームでサンプルさ
れた、各シーケンスの１２０から２４０の一時的なフレ
ームでの３７の目印の位置情報である。動作は、おそら
く動作捕獲設備の範囲および精密さを示すよう設計され
た短い活動の折衷集合である。
【００３０】図２は、１０の動作シーケンスのうちの３
つの部分集合を表している。他の動作表示でのように、
これらの像は、明確にするために一時的に二段抽出され
かつ時空間的にオフセットされた、動画化されたシーケ
ンスの「ストロボスコープ的」表示を表す。線は解釈し
やすい棒状の人を作成するために、目印または円の間に
引かれる。
つの部分集合を表している。他の動作表示でのように、
これらの像は、明確にするために一時的に二段抽出され
かつ時空間的にオフセットされた、動画化されたシーケ
ンスの「ストロボスコープ的」表示を表す。線は解釈し
やすい棒状の人を作成するために、目印または円の間に
引かれる。
【００３１】本発明の目的は、これらの例から習得され
た三次元動作の簡素で扱いやすいがそれでいて有用な確
率モデルを求めることである。一実施例において、動作
信号は所定の短い一時的長さの「セグメント」に分割さ
れる。事前モデルは２，３のフレームにわたる目印位置
の一時的セグメントでの確率分布である。
た三次元動作の簡素で扱いやすいがそれでいて有用な確
率モデルを求めることである。一実施例において、動作
信号は所定の短い一時的長さの「セグメント」に分割さ
れる。事前モデルは２，３のフレームにわたる目印位置
の一時的セグメントでの確率分布である。
【００３２】人物動作のユニットにフレームを多く選び
すぎる場合は、トレーニングデータは、十分に信頼性の
あるそのような複雑なベクトルのモデルを提供するのに
充分な長さがない。選んだフレームが少なすぎる場合
は、本モデルを用いて十分な動作規則を捕獲できない。
各セグメントに１０のフレームが適当であることがわか
っている。５フレームのオーバーラップしたオフセット
と共に元データからサンプリングすると、２５７の１０
フレームのセグメントが得られそれぞれが１１１０の番
号で表される、すなわち、３７の身体目印掛ける３つの
次元掛ける１０のフレームである。
すぎる場合は、トレーニングデータは、十分に信頼性の
あるそのような複雑なベクトルのモデルを提供するのに
充分な長さがない。選んだフレームが少なすぎる場合
は、本モデルを用いて十分な動作規則を捕獲できない。
各セグメントに１０のフレームが適当であることがわか
っている。５フレームのオーバーラップしたオフセット
と共に元データからサンプリングすると、２５７の１０
フレームのセグメントが得られそれぞれが１１１０の番
号で表される、すなわち、３７の身体目印掛ける３つの
次元掛ける１０のフレームである。
【００３３】R.O.DudaおよびP.E.Hartによる「Pattern
classification and scene analysis」（Wiley-Intersc
ience, １９７３年）またM.TurkおよびA.Pentlandによ
る「Eigenfaces for recognition」（J. of Cognitive
Neuroscience、３（１）、１９９１年）に述べられてい
るように、これらのベクトルを説明し、次元数削減にお
いての主構成要素解析（principle components analysi
s）, ＰＣＡの連続により動機づけられる確率モデルを
得るために、最初にこれらの動作セグメントが基底関数
（basis functions）の線形結合として記述できるかど
うかを確かめる。これは、始めに平均ベクトル→ｍを部
分追跡（subtraking）した後で、列の１１１０の次元ト
レーニングベクトルを一緒にスタックすることにより、
トレーニング行列Ｍを形成して成される。特異値分解
(ＳＶＤ)はＭ＝ＵＳＶ’を提供するが、Ｕの列は基底関
数であり、Ｓの対角要素は対応する特異値である。図４
の実線は特異値スペクトルを示す。スペクトルは急降下
するが、これはデータのよい概要、すなわち、５０の固
有ベクトルから９１％の分散、を提供する。
classification and scene analysis」（Wiley-Intersc
ience, １９７３年）またM.TurkおよびA.Pentlandによ
る「Eigenfaces for recognition」（J. of Cognitive
Neuroscience、３（１）、１９９１年）に述べられてい
るように、これらのベクトルを説明し、次元数削減にお
いての主構成要素解析（principle components analysi
s）, ＰＣＡの連続により動機づけられる確率モデルを
得るために、最初にこれらの動作セグメントが基底関数
（basis functions）の線形結合として記述できるかど
うかを確かめる。これは、始めに平均ベクトル→ｍを部
分追跡（subtraking）した後で、列の１１１０の次元ト
レーニングベクトルを一緒にスタックすることにより、
トレーニング行列Ｍを形成して成される。特異値分解
(ＳＶＤ)はＭ＝ＵＳＶ’を提供するが、Ｕの列は基底関
数であり、Ｓの対角要素は対応する特異値である。図４
の実線は特異値スペクトルを示す。スペクトルは急降下
するが、これはデータのよい概要、すなわち、５０の固
有ベクトルから９１％の分散、を提供する。
【００３４】図３は、４０の固有ベクトルを用いて合成
した典型的な動作シーケンスを示し、不完全な、しかし
よい復元を示している。このように、１１１０の次元空
間の５０の次元部分空間でのそれぞれの座標により１１
１０の次元動作セグメントベクトルを要約できる。
した典型的な動作シーケンスを示し、不完全な、しかし
よい復元を示している。このように、１１１０の次元空
間の５０の次元部分空間でのそれぞれの座標により１１
１０の次元動作セグメントベクトルを要約できる。
【００３５】もちろん、特異値自体は動作セグメントデ
ータについての追加情報を提供する。前述のDudaの著書
に述べられるように、分散がＡ＝ＵＳであるガウスの確
率分布の結果得られるものとしてデータをモデルでき
る。この確率モデルは、B.MoghaddamおよびA.Pentland
によるProbabilistic visual learning for object det
ection（Proc. 5th Intl. Conf. Computer Vision、７
８６〜７９３ページ、IEEE, １９９５年）に述べられる
ように、部分空間情報自体だけよりも強固である。
ータについての追加情報を提供する。前述のDudaの著書
に述べられるように、分散がＡ＝ＵＳであるガウスの確
率分布の結果得られるものとしてデータをモデルでき
る。この確率モデルは、B.MoghaddamおよびA.Pentland
によるProbabilistic visual learning for object det
ection（Proc. 5th Intl. Conf. Computer Vision、７
８６〜７９３ページ、IEEE, １９９５年）に述べられる
ように、部分空間情報自体だけよりも強固である。
【００３６】図５は、１０フレームの人物動作セグメン
トの結果として得られた確率モデルからの３つの無作為
な抽出を示す図である。動作は、もちろん不揃いである
が、人物のもっともらしい動作に見える。このガウスの
分布は時がたつにつれてどのように人物が動くかに対す
る有用な事前モデルを提供する。しかもなお、容易に作
業しいくつかの解析推定結果を提供するのに十分なほど
簡略である。
トの結果として得られた確率モデルからの３つの無作為
な抽出を示す図である。動作は、もちろん不揃いである
が、人物のもっともらしい動作に見える。このガウスの
分布は時がたつにつれてどのように人物が動くかに対す
る有用な事前モデルを提供する。しかもなお、容易に作
業しいくつかの解析推定結果を提供するのに十分なほど
簡略である。
【００３７】目標は、イメージシーケンスから三次元の
人物動作を推定することである。そのためには、簡略化
されたレンダリング状態を利用するが、その簡略化され
たレンダリング状態とは以下のことである。身体は透き
通り、各目印は画面に直交的にレンダリングされる。人
物動作の基底係数（basis coefficient）→αにより記
述される像からなる動作に対してのレンダリングされた
イメージシーケンス→ｙは、
人物動作を推定することである。そのためには、簡略化
されたレンダリング状態を利用するが、その簡略化され
たレンダリング状態とは以下のことである。身体は透き
通り、各目印は画面に直交的にレンダリングされる。人
物動作の基底係数（basis coefficient）→αにより記
述される像からなる動作に対してのレンダリングされた
イメージシーケンス→ｙは、
【００３８】
【数４】
【００３９】であり、ＰはイメージシーケンスＵ→αの
ｙ次元をつぶす（collapse）射影演算子である。このよ
うなレンダリング状態では目印は互いに識別可能である
ことに注意する。
ｙ次元をつぶす（collapse）射影演算子である。このよ
うなレンダリング状態では目印は互いに識別可能である
ことに注意する。
【００４０】像の三次元動作を推定するために、与えら
れた目印の二次元観察→ｙに対して、→αにより特定さ
れる最も起こりそうな三次元解釈を見つけだす。ベイズ
の定理により、
れた目印の二次元観察→ｙに対して、→αにより特定さ
れる最も起こりそうな三次元解釈を見つけだす。ベイズ
の定理により、
【００４１】
【数５】
【００４２】が得られるが、ここでｋ１は、最適にしよ
うとするパラメータ→αとは無関係な正規化定数であ
る。上に展開されたように、事前確率Ｐ(→α)に対して
の多次元ガウス（gaussian）は、
うとするパラメータ→αとは無関係な正規化定数であ
る。上に展開されたように、事前確率Ｐ(→α)に対して
の多次元ガウス（gaussian）は、
【００４３】
【数６】
【００４４】ここで、ｋ２は別の正規化定数である。観
察ノイズ（observation noise）を共分散がσであるi.
i.d ガウスとしてモデルする場合、ベイズの定理の尤度
項（likelihood term）に対して、
察ノイズ（observation noise）を共分散がσであるi.
i.d ガウスとしてモデルする場合、ベイズの定理の尤度
項（likelihood term）に対して、
【００４５】
【数７】
【００４６】ここで、ｋ３は正規化定数である。
【００４７】事後分布はこれら二つのガウスの産物であ
る。編集者A.Gelbによる「Appliedoptimal estimatio
n」（MIT Press、１９７４年）に記述されるように、
「二次式の平方化」の行列一般化（matrix generalizat
ion）により見つけられる平均と共分散を有する別のガ
ウスをもたらす。αについての平方エラー最適推定（sq
uared error optimal estimate）は、以下の式のとおり
である。
る。編集者A.Gelbによる「Appliedoptimal estimatio
n」（MIT Press、１９７４年）に記述されるように、
「二次式の平方化」の行列一般化（matrix generalizat
ion）により見つけられる平均と共分散を有する別のガ
ウスをもたらす。αについての平方エラー最適推定（sq
uared error optimal estimate）は、以下の式のとおり
である。
【００４８】
【数８】
【００４９】図６(ａ）〜（ｄ）は、この推定を、１０
のフレームセグメントがそれぞれ５フレームにオフセッ
トされた２０フレームの三次元動作セグメントのオーバ
ーラップされたシーケンスに適用したものを示す。一実
験では、１０シーケンスの内の一つがトレーニングデー
タから省略され、その部分集合がこのテストに使用され
た。図６（ａ）は元のシーケンスを表し、図６（ｂ）は
正投影を表す。図６（ｃ）はガウスの事前情報を省略し
た尤度項のみに起因する三次元復元である。これは、視
覚データを最もよく説明する人物動作の基底関数の係数
を見つける。三次元復元は不十分であることに注意す
る。図６（ｄ）は方程式６の完全なベイズの解である。
事前情報を含めるとはるかによい三次元復元が得られ
る。本ガウスの確率モデルおよび簡略化されたレンダリ
ング状態は最適三次元動作推定についての解析解を与え
る。
のフレームセグメントがそれぞれ５フレームにオフセッ
トされた２０フレームの三次元動作セグメントのオーバ
ーラップされたシーケンスに適用したものを示す。一実
験では、１０シーケンスの内の一つがトレーニングデー
タから省略され、その部分集合がこのテストに使用され
た。図６（ａ）は元のシーケンスを表し、図６（ｂ）は
正投影を表す。図６（ｃ）はガウスの事前情報を省略し
た尤度項のみに起因する三次元復元である。これは、視
覚データを最もよく説明する人物動作の基底関数の係数
を見つける。三次元復元は不十分であることに注意す
る。図６（ｄ）は方程式６の完全なベイズの解である。
事前情報を含めるとはるかによい三次元復元が得られ
る。本ガウスの確率モデルおよび簡略化されたレンダリ
ング状態は最適三次元動作推定についての解析解を与え
る。
【００５０】また、二次元シーケンスを観察した後の推
定三次元配置での不確定性（uncertainty）を示す共分
散行列Ｑが知られている。ここで、Ｉは観察の次元性を
有する行と列である単位行列である。
定三次元配置での不確定性（uncertainty）を示す共分
散行列Ｑが知られている。ここで、Ｉは観察の次元性を
有する行と列である単位行列である。
【００５１】
【数９】
【００５２】もちろん、人物動作モデルなしでは、各目
印の奥行きは全くの未知である。本システムの人物動作
の事前モデルは大部分の不明確性を取り除く。事後共分
散Ｑの構成は、イメージシーケンスの観察後に、不明確
性が三次元構造に残っていることを明らかにする。図４
は、事前共分散の対角項（diagonal terms）、すなわち
実線と事後共分散の対角項、すなわち点線の比較を表
す。一つの形態、形態２では、不確定性が実質的に減少
しないことを示す。これは、図７（ａ）に示されるよう
に、ほとんどカメラの視界線にそって移動する固定平行
移動形態（rigidtranslation mode）に一致する。二番
目に高い不確定性形態である形態１は、図７（ｂ）に示
されるように、もう一つの固定平行移動形態である。最
も高い事後不確定性を有する非固定形態である形態１０
は、図７（ｃ）に示される。この形態では、個人の腕を
カメラの視界線にそって広げている。この不確定性の高
い形態は図６（ｄ）の復元で観察されたエラーを反映し
ていることに注意する。
印の奥行きは全くの未知である。本システムの人物動作
の事前モデルは大部分の不明確性を取り除く。事後共分
散Ｑの構成は、イメージシーケンスの観察後に、不明確
性が三次元構造に残っていることを明らかにする。図４
は、事前共分散の対角項（diagonal terms）、すなわち
実線と事後共分散の対角項、すなわち点線の比較を表
す。一つの形態、形態２では、不確定性が実質的に減少
しないことを示す。これは、図７（ａ）に示されるよう
に、ほとんどカメラの視界線にそって移動する固定平行
移動形態（rigidtranslation mode）に一致する。二番
目に高い不確定性形態である形態１は、図７（ｂ）に示
されるように、もう一つの固定平行移動形態である。最
も高い事後不確定性を有する非固定形態である形態１０
は、図７（ｃ）に示される。この形態では、個人の腕を
カメラの視界線にそって広げている。この不確定性の高
い形態は図６（ｄ）の復元で観察されたエラーを反映し
ていることに注意する。
【００５３】本ガウスの事前モデル下では、時間経過に
伴う目印位置の正投影を見てどのくらいの三次元動作情
報が得られるか測ることができる。図６（ａ）〜図６
（ｄ）の例では、事前確率分布が５０の次元パラメータ
空間で一定の空間を占める。事後確率分布の体積に対す
るその体積の割合は１０−１４である。直観的に高次元
の体積を測定することは困難だが、割合は小さく、また
事後不確定性はかなり減少する。また、処理後に、ユー
ザ対話または固定接地制限（rigid ground contact con
straints）を適用することにより、固定形態の不明確性
を取り除こうと思うかもしれない。
伴う目印位置の正投影を見てどのくらいの三次元動作情
報が得られるか測ることができる。図６（ａ）〜図６
（ｄ）の例では、事前確率分布が５０の次元パラメータ
空間で一定の空間を占める。事後確率分布の体積に対す
るその体積の割合は１０−１４である。直観的に高次元
の体積を測定することは困難だが、割合は小さく、また
事後不確定性はかなり減少する。また、処理後に、ユー
ザ対話または固定接地制限（rigid ground contact con
straints）を適用することにより、固定形態の不明確性
を取り除こうと思うかもしれない。
【００５４】以下の結論が、簡略化されたレンダリング
領域における問題の研究から導き出される。人物動作の
事前知識を使用することは実際に単眼イメージシーケン
スデータから可能な三次元復元を向上させる。人物動作
の本トレーニング集合について、観察後に残っている不
確定性はカメラから離れた固定平行移動に、またカメラ
線にそって腕を広げる形態にある。復元は大体よい。用
いられたイメージ情報は棒線像の目印位置の二次元射影
である。結論としては、おおまかに直交的にレンダリン
グされた、映像シーケンスにおいて人物像の上部に二次
元棒線像を正確に重ねることが可能であれば、実際のイ
メージに匹敵する三次元復元精度が得られるはずであ
る。
領域における問題の研究から導き出される。人物動作の
事前知識を使用することは実際に単眼イメージシーケン
スデータから可能な三次元復元を向上させる。人物動作
の本トレーニング集合について、観察後に残っている不
確定性はカメラから離れた固定平行移動に、またカメラ
線にそって腕を広げる形態にある。復元は大体よい。用
いられたイメージ情報は棒線像の目印位置の二次元射影
である。結論としては、おおまかに直交的にレンダリン
グされた、映像シーケンスにおいて人物像の上部に二次
元棒線像を正確に重ねることが可能であれば、実際のイ
メージに匹敵する三次元復元精度が得られるはずであ
る。
【００５５】三次元の身体の動作を推定するためには、
最初に人物像の二次元動作イメージの棒線像概略を見つ
けようとする。これは様々な研究グループが取り組んで
きている問題であり、Hager、BelheumerおよびBlackに
より述べられるように、大部分解決された。さらに、G.
D.HagerおよびP.N.Belhumeurによる「Real-time tracki
ng of image regions with changes in geometry and i
llumination」（Proc.IEEE CVPR、４０３〜４１０ペー
ジ、１９９６年）、またM.J.Black、Y.Yacoob、A.D.Jep
sonおよびD.J.Fleetによる「Learning paramterized mo
dels of imagemotion」（Proc. IEEE CVPR、５６１〜５
６７ページ、１９９７年）に述べられるように、合作者
は特定の人物行動をトラックするためにパラメータ化さ
れた動作モデルを発展させた。Computer GraphicsのAnn
ual Conference Seriesでの「3D position, attitude a
nd shape input using video tracking of hands and l
ips」（Proc. SIGGRAPH 94, １８５〜１９２ページ、１
９９４年）と題されたA.BlakeおよびM.Isardによる記事
には、研究者が非固定物体の輪郭を基にした追跡を展開
している。C.Wren、A.Azarbayejani,T.DarrellおよびA.
Pentlandの「Pfinder: real-time tracking of the hum
an body」（Intl. Conf. on Automatic Face and Gestu
re Recognition、５１〜５６ページ、Killington、バー
モント、１９９６年、IEEE Computer Society）によるP
finderは静止した環境で人物像をトラックすることに注
意する。
最初に人物像の二次元動作イメージの棒線像概略を見つ
けようとする。これは様々な研究グループが取り組んで
きている問題であり、Hager、BelheumerおよびBlackに
より述べられるように、大部分解決された。さらに、G.
D.HagerおよびP.N.Belhumeurによる「Real-time tracki
ng of image regions with changes in geometry and i
llumination」（Proc.IEEE CVPR、４０３〜４１０ペー
ジ、１９９６年）、またM.J.Black、Y.Yacoob、A.D.Jep
sonおよびD.J.Fleetによる「Learning paramterized mo
dels of imagemotion」（Proc. IEEE CVPR、５６１〜５
６７ページ、１９９７年）に述べられるように、合作者
は特定の人物行動をトラックするためにパラメータ化さ
れた動作モデルを発展させた。Computer GraphicsのAnn
ual Conference Seriesでの「3D position, attitude a
nd shape input using video tracking of hands and l
ips」（Proc. SIGGRAPH 94, １８５〜１９２ページ、１
９９４年）と題されたA.BlakeおよびM.Isardによる記事
には、研究者が非固定物体の輪郭を基にした追跡を展開
している。C.Wren、A.Azarbayejani,T.DarrellおよびA.
Pentlandの「Pfinder: real-time tracking of the hum
an body」（Intl. Conf. on Automatic Face and Gestu
re Recognition、５１〜５６ページ、Killington、バー
モント、１９９６年、IEEE Computer Society）によるP
finderは静止した環境で人物像をトラックすることに注
意する。
【００５６】以下に本追跡方法を説明する。困難なフィ
ルムシーケンスからさえも三次元像を復元することは重
要であったため、自動追跡の間違いを対話的に修正する
ことが許された。これは、どの期間にわたってどの人物
をトラックするかを特定する、問題に必要な他の対話に
加えたものである。
ルムシーケンスからさえも三次元像を復元することは重
要であったため、自動追跡の間違いを対話的に修正する
ことが許された。これは、どの期間にわたってどの人物
をトラックするかを特定する、問題に必要な他の対話に
加えたものである。
【００５７】目標は、簡略化されたレンダリングについ
て展開された復元方法を自然な場面に進展させることを
論証することであった。興味の時間枠にわたるイメージ
レンダリングは、動いている背景の効果を無視した状態
で、おおまかに直交していると仮定された。カメラフレ
ームに対する像の動作は復元されたが、背景は復元され
なかった。
て展開された復元方法を自然な場面に進展させることを
論証することであった。興味の時間枠にわたるイメージ
レンダリングは、動いている背景の効果を無視した状態
で、おおまかに直交していると仮定された。カメラフレ
ームに対する像の動作は復元されたが、背景は復元され
なかった。
【００５８】人物像の服装パターンにいくらかの独立性
を得るために、イメージ輝度の勾配が取られ、また勾配
強度（gradient strength）が局所コントラスト強度（l
ocalcontrast strength）のおおまかな平均（blurred a
verage）により正規化された。正規化された辺強度（ed
ge strength）が８つのセンサにより１０の低解析度サ
ンプリングをするのに十分なほどにぼやけさせられた
（blur）。
を得るために、イメージ輝度の勾配が取られ、また勾配
強度（gradient strength）が局所コントラスト強度（l
ocalcontrast strength）のおおまかな平均（blurred a
verage）により正規化された。正規化された辺強度（ed
ge strength）が８つのセンサにより１０の低解析度サ
ンプリングをするのに十分なほどにぼやけさせられた
（blur）。
【００５９】棒線像の棒の位置に基づいて、各棒に所定
の辺強度を割り当てながら、センサが何を見るべきかの
予測が形成された。観察されたセンサ応答と予測間の差
分を２乗したものがペナルティーされた（penalize
d）。
の辺強度を割り当てながら、センサが何を見るべきかの
予測が形成された。観察されたセンサ応答と予測間の差
分を２乗したものがペナルティーされた（penalize
d）。
【００６０】ユーザは、あらゆる時間枠でいかなる棒線
像部も正しい位置に対話的に指定できる。これは、その
特定の時間にイメージ位置と棒線像部の間にばねを効果
的に設置する。
像部も正しい位置に対話的に指定できる。これは、その
特定の時間にイメージ位置と棒線像部の間にばねを効果
的に設置する。
【００６１】これら二つの入力は、関数最適配列（func
tion optimization scheme）において事前情報と統合さ
れる。求めようとする→αはエネルギーＥ（→α）を最
小にするものである。
tion optimization scheme）において事前情報と統合さ
れる。求めようとする→αはエネルギーＥ（→α）を最
小にするものである。
【００６２】
【数１０】
【００６３】→Ｒはイメージデータからの時間経過に伴
うセンサ応答のベクトルである。関数→ｆは身体動作係
数→αを予測されたセンサ応答に変換する。→Ｉｉはユ
ーザにより特定されるｉ番目のポイント位置であり、Ｐ
ｉはα係数を対応するｉ番目の棒線像部分二次元位置上
に射影する。λ１およびλ２は、イメージデータのウェ
ート、人物動作に対する優先、および対話的に特定され
る二次元ポイントの一致を反映する定数である。
うセンサ応答のベクトルである。関数→ｆは身体動作係
数→αを予測されたセンサ応答に変換する。→Ｉｉはユ
ーザにより特定されるｉ番目のポイント位置であり、Ｐ
ｉはα係数を対応するｉ番目の棒線像部分二次元位置上
に射影する。λ１およびλ２は、イメージデータのウェ
ート、人物動作に対する優先、および対話的に特定され
る二次元ポイントの一致を反映する定数である。
【００６４】ベイズのフレームワークにおいて、Ｅは事
後確率のマイナスの対数として解釈する。λ１およびλ
２は、観察とユーザの「雑音強度（noise strength）」
を表す。センサ応答の違いについての二次ペナルティー
（quadratic penalty）は、尤度項の対数であり、対話
的に配置されたばねとガウスの事前動作モデルの両方は
パラメータについての事前情報を表す。また、事前確率
の計算においてのすべてのトレーニングデータを９０°
回転させたものが含まれる。三次元身体動作パラメータ
は事後確率を最大にするものが見つけられる。
後確率のマイナスの対数として解釈する。λ１およびλ
２は、観察とユーザの「雑音強度（noise strength）」
を表す。センサ応答の違いについての二次ペナルティー
（quadratic penalty）は、尤度項の対数であり、対話
的に配置されたばねとガウスの事前動作モデルの両方は
パラメータについての事前情報を表す。また、事前確率
の計算においてのすべてのトレーニングデータを９０°
回転させたものが含まれる。三次元身体動作パラメータ
は事後確率を最大にするものが見つけられる。
【００６５】回復した最適なαは時間経過に伴う回復し
た目印位置をもたらす。目印位置は最小２乗法を用いて
簡単な像モデルでの円筒位置へ当てはめられる。
た目印位置をもたらす。目印位置は最小２乗法を用いて
簡単な像モデルでの円筒位置へ当てはめられる。
【００６６】図８（ａ）〜図８（ｃ）はバリスニコフ
（？Barishnikov）ダンスの、結果として得られた１０
０のフレームシーケンスからの三次元像位置の推定を示
す。三次元復元アルゴリズムをテストするために、二次
元追跡アルゴリズムを用いるよりもむしろ、フレームご
とにおよそ一つの位置を対話的に特定して、動作シーケ
ンス上に棒線像を正確に重ねることを保証した。図８
（ａ）は、入力シーケンスおよび重ねられた棒線像を示
す。
（？Barishnikov）ダンスの、結果として得られた１０
０のフレームシーケンスからの三次元像位置の推定を示
す。三次元復元アルゴリズムをテストするために、二次
元追跡アルゴリズムを用いるよりもむしろ、フレームご
とにおよそ一つの位置を対話的に特定して、動作シーケ
ンス上に棒線像を正確に重ねることを保証した。図８
（ａ）は、入力シーケンスおよび重ねられた棒線像を示
す。
【００６７】方程式１のＥは、オーバーラップされた１
０フレームの各セグメントの→α推定を見つけるため
に、最小化される。オーバーラップしたセグメントから
の位置は、線形的に混合された。各セグメントのカメラ
から離れたオフセットは、次セグメントへの連続性を保
証するために設置された。
０フレームの各セグメントの→α推定を見つけるため
に、最小化される。オーバーラップしたセグメントから
の位置は、線形的に混合された。各セグメントのカメラ
から離れたオフセットは、次セグメントへの連続性を保
証するために設置された。
【００６８】図８（ｂ）は、カメラの位置から３０°離
れたところから観察した回復した三次元目印位置を示
す。図８（ｃ）は、同様のカメラから離れた位置から観
察した三次元円筒モデルを示す。人物動作についての簡
単なガウスの事前モデルが与えられると、結果は非常に
強固である。三次元のダンスは動作捕獲トレーニング集
合から習得した基本動作の線形結合としてレンダリング
される。踊っている円筒像は一般的に、ダンサーの三次
元での動作を捕獲する。円筒ダンサーはバリスニコフで
のようにつま先立ちしないが、つま先立ちはトレーニン
グ集合にはない。
れたところから観察した回復した三次元目印位置を示
す。図８（ｃ）は、同様のカメラから離れた位置から観
察した三次元円筒モデルを示す。人物動作についての簡
単なガウスの事前モデルが与えられると、結果は非常に
強固である。三次元のダンスは動作捕獲トレーニング集
合から習得した基本動作の線形結合としてレンダリング
される。踊っている円筒像は一般的に、ダンサーの三次
元での動作を捕獲する。円筒ダンサーはバリスニコフで
のようにつま先立ちしないが、つま先立ちはトレーニン
グ集合にはない。
【００６９】統計モデルを用いて、人物が動いているイ
メージシーケンスから人物像の三次元位置を推定する。
人物動作のモデルは、測定された追跡システムから得ら
れた三次元動作の捕獲データのトレーニング集合から習
得された。
メージシーケンスから人物像の三次元位置を推定する。
人物動作のモデルは、測定された追跡システムから得ら
れた三次元動作の捕獲データのトレーニング集合から習
得された。
【００７０】それらの結果は、動いている人のイメージ
上に二次元の棒線像を配置できる場合での三次元像動作
の推定のしかたを表す。そのようなトラッカー（tracke
r）が開発され、三次元回復方法をテストするために追
跡間違いの対話的修正が可能になった。一台のカメラか
ら観察された困難なダンスシーケンスの三次元動作のよ
い回復が得られた。これらの結果は、ベイズのフレーム
ワークにおいて、人物動作の事前知識を、人々のイメー
ジを解釈する問題に加えることの力を表している。
上に二次元の棒線像を配置できる場合での三次元像動作
の推定のしかたを表す。そのようなトラッカー（tracke
r）が開発され、三次元回復方法をテストするために追
跡間違いの対話的修正が可能になった。一台のカメラか
ら観察された困難なダンスシーケンスの三次元動作のよ
い回復が得られた。これらの結果は、ベイズのフレーム
ワークにおいて、人物動作の事前知識を、人々のイメー
ジを解釈する問題に加えることの力を表している。
【００７１】三次元推定をより強固にする三つの改良点
があることに注意する。第一の改良として、方程式８の
和の第一項は、
があることに注意する。第一の改良として、方程式８の
和の第一項は、
【００７２】
【数１１】
【００７３】により置き換えられる。ここで、ｔは動作
セグメントの各フレームのフレーム時間の指数である。
→Ｉｔ はそのベクトル引数の二次元位置における時間
ｔでのイメージ輝度のベクトルである。→Ｍ(α)は、結
合係数αにより与えられるトレーニングセグメントの線
形結合によって表される人物動作での各目印の二次元位
置である。このように、この項を最小にする係数αは、
イメージ中の目印位置でのイメージ輝度がフレームによ
る変化が最も少ないことがわかるだろう。これは、映像
で人物像をトラックするための像モデルを助長する。
セグメントの各フレームのフレーム時間の指数である。
→Ｉｔ はそのベクトル引数の二次元位置における時間
ｔでのイメージ輝度のベクトルである。→Ｍ(α)は、結
合係数αにより与えられるトレーニングセグメントの線
形結合によって表される人物動作での各目印の二次元位
置である。このように、この項を最小にする係数αは、
イメージ中の目印位置でのイメージ輝度がフレームによ
る変化が最も少ないことがわかるだろう。これは、映像
で人物像をトラックするための像モデルを助長する。
【００７４】第二に、動作セグメントは順番に推定され
ることが可能で、しばしば時間が重複する。例えば、動
作セグメント１が映像フレーム１から１０に対応し、動
作セグメント２が映像フレーム２から１１等に対応して
もよい。それぞれのセグメントについて、三次元推定が
形成される。特定の映像フレーム番号についての三次元
復元は、重複しているすべての動作セグメントの推定平
均として計算される。
ることが可能で、しばしば時間が重複する。例えば、動
作セグメント１が映像フレーム１から１０に対応し、動
作セグメント２が映像フレーム２から１１等に対応して
もよい。それぞれのセグメントについて、三次元推定が
形成される。特定の映像フレーム番号についての三次元
復元は、重複しているすべての動作セグメントの推定平
均として計算される。
【００７５】このように、方程式８に最適なαを見つけ
る前に、様々な時間フレームへの目印位置の初期推定
が、前動作セグメントからの動作推定から計算できる。
る前に、様々な時間フレームへの目印位置の初期推定
が、前動作セグメントからの動作推定から計算できる。
【００７６】トレーニングセグメントの適する部分集合
が、最適化しようとする線形結合において用いられても
よいことは明白であろう。すべての時間で全トレーニン
グセグメントを用いることは、モデルに多すぎる自由度
を与え、不十分な復元を導く。復元は、最適化に用いる
セグメントを小さい数、言ってみれば、５または１０な
どの現断片（current snippet）の現行の最もよい推定
に近い数に制限することにより向上できる。
が、最適化しようとする線形結合において用いられても
よいことは明白であろう。すべての時間で全トレーニン
グセグメントを用いることは、モデルに多すぎる自由度
を与え、不十分な復元を導く。復元は、最適化に用いる
セグメントを小さい数、言ってみれば、５または１０な
どの現断片（current snippet）の現行の最もよい推定
に近い数に制限することにより向上できる。
【００７７】第二項は、
【００７８】
【数１２】
【００７９】で置き換えらることができ、ここで、
【００８０】
【数１３】
【００８１】とは係数→αの事前平均値である。好適な
実施例において、
実施例において、
【００８２】
【数１４】
【００８３】は、Ｎの選択されたトレーニングセグメン
トのそれぞれに対して、選択されたトレーニングセグメ
ント
トのそれぞれに対して、選択されたトレーニングセグメ
ント
【００８４】
【数１５】
【００８５】の小さい数の平均値に設定される。
【００８６】
【発明の効果】この発明に係る三次元動作復元システム
は、以上説明したとおり、単眼的に観察された人のイメ
ージシーケンスから人物像の三次元動作を復元するため
の三次元動作復元システムであって、前記単眼的に観察
された人のイメージシーケンスをデジタル化する手段
と、代表的な動作及びその目印を含む三次元動作トレー
ニングデータを提供する手段と、前記トレーニングデー
タと前記デジタル化されたイメージシーケンスをセグメ
ント（segment）にグループ化する手段と、前記デジタ
ル化手段と結びついた手段で、前記トレーニングデータ
の最も起こりそうな線形結合を見つけて前記入力映像を
説明しかつもっともらしい三次元動作セグメントになる
ように、前記デジタルイメージシーケンスを最適化する
ための前記三次元動作トレーニングデータを提供する手
段で、前記最適化手段が対応する身体の目印の推定三次
元座標を出力し、キャラクターモデルを前記三次元推定
座標にあわせ、また結果として得られたキャラクターと
その動作を表示する手段で、表示されたキャラクターが
前記イメージシーケンスの人間の動作にぴったりとあっ
た動作を有する手段とを備えたので、いかなる目的にで
も簡単な面倒でない方法で動画を生成することができる
という効果を奏する。
は、以上説明したとおり、単眼的に観察された人のイメ
ージシーケンスから人物像の三次元動作を復元するため
の三次元動作復元システムであって、前記単眼的に観察
された人のイメージシーケンスをデジタル化する手段
と、代表的な動作及びその目印を含む三次元動作トレー
ニングデータを提供する手段と、前記トレーニングデー
タと前記デジタル化されたイメージシーケンスをセグメ
ント（segment）にグループ化する手段と、前記デジタ
ル化手段と結びついた手段で、前記トレーニングデータ
の最も起こりそうな線形結合を見つけて前記入力映像を
説明しかつもっともらしい三次元動作セグメントになる
ように、前記デジタルイメージシーケンスを最適化する
ための前記三次元動作トレーニングデータを提供する手
段で、前記最適化手段が対応する身体の目印の推定三次
元座標を出力し、キャラクターモデルを前記三次元推定
座標にあわせ、また結果として得られたキャラクターと
その動作を表示する手段で、表示されたキャラクターが
前記イメージシーケンスの人間の動作にぴったりとあっ
た動作を有する手段とを備えたので、いかなる目的にで
も簡単な面倒でない方法で動画を生成することができる
という効果を奏する。
【００８７】また、この発明に係る三次元動作復元シス
テムは、以上説明したとおり、前記推定三次元座標に対
応する二次元棒線像を生成する手段と、前記デジタル化
手段の出力を用いて前記棒線像を重ね、またその結果を
表示する手段と、ユーザ入力装置と、前記棒線像の二次
元位置を修正して前記人物の表示された映像表現での対
応する位置をオーバーラップするために、前記ユーザ入
力装置に応答する手段とをさらに備え、前記最適化手段
が前記データ修正を前記トレーニングデータの最も起こ
りそうな線形結合へ適応させる前記修正手段と結びつい
た手段を含み、これにより手動で入力された修正に従っ
て前記推定三次元座標を修正するので、いかなる目的に
でも簡単な面倒でない方法で動画を生成することができ
るという効果を奏する。
テムは、以上説明したとおり、前記推定三次元座標に対
応する二次元棒線像を生成する手段と、前記デジタル化
手段の出力を用いて前記棒線像を重ね、またその結果を
表示する手段と、ユーザ入力装置と、前記棒線像の二次
元位置を修正して前記人物の表示された映像表現での対
応する位置をオーバーラップするために、前記ユーザ入
力装置に応答する手段とをさらに備え、前記最適化手段
が前記データ修正を前記トレーニングデータの最も起こ
りそうな線形結合へ適応させる前記修正手段と結びつい
た手段を含み、これにより手動で入力された修正に従っ
て前記推定三次元座標を修正するので、いかなる目的に
でも簡単な面倒でない方法で動画を生成することができ
るという効果を奏する。
【００８８】また、この発明に係る三次元動作復元シス
テムは、以上説明したとおり、前記最適化手段が、
テムは、以上説明したとおり、前記最適化手段が、
【数１６】 を実行する手段を含み、ここで、Ｅ(→α)は見つけられ
る最適係数→αにより最小となるエネルギー関数であ
り、→Ｒはイメージデータからの時間経過に伴うセンサ
応答のベクトルであり、関数→ｆは身体動作係数→αを
予測されたセンサ応答に変換し、→Ｉｉはユーザにより
特定されるｉ番目のポイント位置であり、Ｐｉはα係数
を対応するｉ番目の棒線像部分二次元位置上に射影し、
λ１及びλ２は、イメージデータのウェート、人物動作
に対する優先、及び対話的に特定される二次元ポイント
の一致を反映する定数であるので、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができると
いう効果を奏する。
る最適係数→αにより最小となるエネルギー関数であ
り、→Ｒはイメージデータからの時間経過に伴うセンサ
応答のベクトルであり、関数→ｆは身体動作係数→αを
予測されたセンサ応答に変換し、→Ｉｉはユーザにより
特定されるｉ番目のポイント位置であり、Ｐｉはα係数
を対応するｉ番目の棒線像部分二次元位置上に射影し、
λ１及びλ２は、イメージデータのウェート、人物動作
に対する優先、及び対話的に特定される二次元ポイント
の一致を反映する定数であるので、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができると
いう効果を奏する。
【００８９】また、この発明に係る三次元動作復元シス
テムは、以上説明したとおり、各動作セグメントが多数
のフレームを有し、またさらに、
テムは、以上説明したとおり、各動作セグメントが多数
のフレームを有し、またさらに、
【数１７】 により置き換える手段を含み、ここで、ｔは動作セグメ
ントの各フレームのフレーム時間の指数であり、→Ｉｉ
はそのベクトル引数の二次元位置における時間ｔでのイ
メージ輝度（image strength）のベクトルであり、→Ｍ
(α)は、結合係数αにより与えられるトレーニングセグ
メントの線形結合によって表される人物動作での各目印
以上の二次元位置であり、このように、この項を最小に
する係数αは、イメージ中の目印位置でのイメージ輝度
がフレームによる変化が最も少なく、これが前記人物の
動作をトラックするための像モデルを助長するので、い
かなる目的にでも簡単な面倒でない方法で動画を生成す
ることができるという効果を奏する。
ントの各フレームのフレーム時間の指数であり、→Ｉｉ
はそのベクトル引数の二次元位置における時間ｔでのイ
メージ輝度（image strength）のベクトルであり、→Ｍ
(α)は、結合係数αにより与えられるトレーニングセグ
メントの線形結合によって表される人物動作での各目印
以上の二次元位置であり、このように、この項を最小に
する係数αは、イメージ中の目印位置でのイメージ輝度
がフレームによる変化が最も少なく、これが前記人物の
動作をトラックするための像モデルを助長するので、い
かなる目的にでも簡単な面倒でない方法で動画を生成す
ることができるという効果を奏する。
【００９０】また、この発明に係る三次元動作復元シス
テムは、以上説明したとおり、各動作セグメントが多数
のフレームを有し、またさらに選択されたセグメントを
オーバーラップすることで、動作セグメントを順に推定
して所与の時間に複数の推定を得る手段を備え、このよ
うにして、オーバーラップされたすべての動作セグメン
トでの推定平均値を計算することにより所定の映像フレ
ームに三次元復元を提供するので、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができると
いう効果を奏する。
テムは、以上説明したとおり、各動作セグメントが多数
のフレームを有し、またさらに選択されたセグメントを
オーバーラップすることで、動作セグメントを順に推定
して所与の時間に複数の推定を得る手段を備え、このよ
うにして、オーバーラップされたすべての動作セグメン
トでの推定平均値を計算することにより所定の映像フレ
ームに三次元復元を提供するので、いかなる目的にでも
簡単な面倒でない方法で動画を生成することができると
いう効果を奏する。
【００９１】さらに、この発明に係る三次元動作復元シ
ステムは、以上説明したとおり、前記トレーニング集合
が部分集合に分割され、前記最適化手段が、前記最適化
手段により推定されるセグメントの現行の最もよい推定
に最も近いトレーニング集合の部分集合を選択する手段
を備え、それによりあわせすぎ（overfit）を防ぎ、こ
のようにして、前記推定三次元座標の推定を向上させる
ので、いかなる目的にでも簡単な面倒でない方法で動画
を生成することができるという効果を奏する。
ステムは、以上説明したとおり、前記トレーニング集合
が部分集合に分割され、前記最適化手段が、前記最適化
手段により推定されるセグメントの現行の最もよい推定
に最も近いトレーニング集合の部分集合を選択する手段
を備え、それによりあわせすぎ（overfit）を防ぎ、こ
のようにして、前記推定三次元座標の推定を向上させる
ので、いかなる目的にでも簡単な面倒でない方法で動画
を生成することができるという効果を奏する。
【図１】 リアルな動画を提供するために用いられる三
次元動作推定を提供するための映像または記録保持フィ
ルム入力を有するシステムのブロック図である。
次元動作推定を提供するための映像または記録保持フィ
ルム入力を有するシステムのブロック図である。
【図２】 １０シーケンスのトレーニング集合からの動
作シーケンス例を示す図である。
作シーケンス例を示す図である。
【図３】 基底関数の線形結合としての人物動作信号の
近似値を示す図であり、（ａ）は４０の基底関数近似値
を示し、（ｂ）は元の人物動作シーケンスを示してい
る。
近似値を示す図であり、（ａ）は４０の基底関数近似値
を示し、（ｂ）は元の人物動作シーケンスを示してい
る。
【図４】 人物動作の事前不確定性を大幅に減らす画面
での目印位置の測定を用いて、半対数スケールで描かれ
た事前および事後共分散行列対角要素を示すグラフであ
る。
での目印位置の測定を用いて、半対数スケールで描かれ
た事前および事後共分散行列対角要素を示すグラフであ
る。
【図５】 ３７の三次元目印位置のガウスの事前分布か
らの３つの無作為抽出を示す図であり、結果はすべて人
物に見え、また人物動作に大まかに一致している。
らの３つの無作為抽出を示す図であり、結果はすべて人
物に見え、また人物動作に大まかに一致している。
【図６】 元の三次元シーケンス、正投影され明快にす
るために目印が線でつながれたイメージ、事前情報を省
いた三次元復元、を示す図であり、イメージデータおよ
び完全なベイズの復元を最も良く説明する人物動作の固
有空間での三次元像が表されている。事前情報の追加で
原物により類似する復元が生成されることに注意する。
高事後共分散形態（high posterior covariance mode
s）は元のシーケンスとの残りの差分を説明する。
るために目印が線でつながれたイメージ、事前情報を省
いた三次元復元、を示す図であり、イメージデータおよ
び完全なベイズの復元を最も良く説明する人物動作の固
有空間での三次元像が表されている。事前情報の追加で
原物により類似する復元が生成されることに注意する。
高事後共分散形態（high posterior covariance mode
s）は元のシーケンスとの残りの差分を説明する。
【図７】 最高の事後不確定性を有する三つの形態を示
す図である。
す図である。
【図８】 トラックされた二次元棒線像が重ねられたバ
リスニコフダンスの１００のフレームシーケンスからの
サンプル、三次元像動作にガウスの事前モデルを使用し
て推測された三次元目印位置、およびダンサーの三次元
動作を捕獲する復元された三次元動作中円筒像（recove
red 3-d moving cylinder figure）、をそれぞれ示す図
である。
リスニコフダンスの１００のフレームシーケンスからの
サンプル、三次元像動作にガウスの事前モデルを使用し
て推測された三次元目印位置、およびダンサーの三次元
動作を捕獲する復元された三次元動作中円筒像（recove
red 3-d moving cylinder figure）、をそれぞれ示す図
である。
１０ 三次元動作復元システム、１２ 行為者、１４
ビデオカメラ、１６デジタイザ、２０ オプティマイザ
ー、２２ 三次元動作トレーニングデータ、３４ マウ
ス。
ビデオカメラ、１６デジタイザ、２０ オプティマイザ
ー、２２ 三次元動作トレーニングデータ、３４ マウ
ス。
フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 ウィリアム・ティー・フリーマン アメリカ合衆国、マサチューセッツ州、ア クトン、ハーフ・ムーン・ヒル 16 (72)発明者 マイケル・イー・レヴェントン アメリカ合衆国、マサチューセッツ州、ケ ンブリッジ、グリーン・ストリート 521、 アパートメント・シー
Claims (6)
- 【請求項１】 単眼的に観察された人のイメージシーケ
ンスから人物像の三次元動作を復元するための三次元動
作復元システムであって、 前記単眼的に観察された人のイメージシーケンスをデジ
タル化する手段と、 代表的な動作及びその目印を含む三次元動作トレーニン
グデータを提供する手段と、 前記トレーニングデータと前記デジタル化されたイメー
ジシーケンスをセグメント（segment）にグループ化す
る手段と、 前記デジタル化手段と結びついた手段で、前記トレーニ
ングデータの最も起こりそうな線形結合を見つけて前記
入力映像を説明しかつもっともらしい三次元動作セグメ
ントになるように、前記デジタルイメージシーケンスを
最適化するための前記三次元動作トレーニングデータを
提供する手段で、前記最適化手段が対応する身体の目印
の推定三次元座標を出力し、 キャラクターモデルを前記三次元推定座標にあわせ、ま
た結果として得られたキャラクターとその動作を表示す
る手段で、表示されたキャラクターが前記イメージシー
ケンスの人間の動作にぴったりとあった動作を有する手
段とを備えた三次元動作復元システム。 - 【請求項２】 前記推定三次元座標に対応する二次元棒
線像を生成する手段と、 前記デジタル化手段の出力を用いて前記棒線像を重ね、
またその結果を表示する手段と、 ユーザ入力装置と、 前記棒線像の二次元位置を修正して前記人物の表示され
た映像表現での対応する位置をオーバーラップするため
に、前記ユーザ入力装置に応答する手段とをさらに備
え、 前記最適化手段が前記データ修正を前記トレーニングデ
ータの最も起こりそうな線形結合へ適応させる前記修正
手段と結びついた手段を含み、これにより手動で入力さ
れた修正に従って前記推定三次元座標を修正する請求項
１記載の三次元動作復元システム。 - 【請求項３】 前記最適化手段は、 【数１】 を実行する手段を含み、ここで、Ｅ(→α)は見つけられ
る最適係数→αにより最小となるエネルギー関数であ
り、→Ｒはイメージデータからの時間経過に伴うセンサ
応答のベクトルであり、関数→ｆは身体動作係数→αを
予測されたセンサ応答に変換し、→Ｉｉはユーザにより
特定されるｉ番目のポイント位置であり、Ｐｉはα係数
を対応するｉ番目の棒線像部分二次元位置上に射影し、
λ１及びλ２は、イメージデータのウェート、人物動作
に対する優先、及び対話的に特定される二次元ポイント
の一致を反映する定数である請求項１記載の三次元動作
復元システム。 - 【請求項４】 各動作セグメントは多数のフレームを有
し、またさらに、 【数２】 により置き換える手段を含み、ここで、ｔは動作セグメ
ントの各フレームのフレーム時間の指数であり、→Ｉｉ
はそのベクトル引数の二次元位置における時間ｔでのイ
メージ輝度（image strength）のベクトルであり、→Ｍ
(α)は、結合係数αにより与えられるトレーニングセグ
メントの線形結合によって表される人物動作での各目印
以上の二次元位置であり、このように、この項を最小に
する係数αは、イメージ中の目印位置でのイメージ輝度
がフレームによる変化が最も少なく、これが前記人物の
動作をトラックするための像モデルを助長する請求項３
記載の三次元動作復元システム。 - 【請求項５】 各動作セグメントは多数のフレームを有
し、またさらに選択されたセグメントをオーバーラップ
することで、動作セグメントを順に推定して所与の時間
に複数の推定を得る手段を備え、このようにして、オー
バーラップされたすべての動作セグメントでの推定平均
値を計算することにより所定の映像フレームに三次元復
元を提供する請求項１記載の三次元動作復元システム。 - 【請求項６】 前記トレーニング集合は部分集合に分割
され、前記最適化手段が、前記最適化手段により推定さ
れるセグメントの現行の最もよい推定に最も近いトレー
ニング集合の部分集合を選択する手段を備え、それによ
りあわせすぎ（overfit）を防ぎ、このようにして、前
記推定三次元座標の推定を向上させる請求項１記載の三
次元動作復元システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/023,148 US6115052A (en) | 1998-02-12 | 1998-02-12 | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
| US09/023148 | 1998-02-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11259660A true JPH11259660A (ja) | 1999-09-24 |
| JP4202479B2 JP4202479B2 (ja) | 2008-12-24 |
Family
ID=21813398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26991298A Expired - Fee Related JP4202479B2 (ja) | 1998-02-12 | 1998-09-24 | 三次元動作復元システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6115052A (ja) |
| EP (1) | EP0936576B1 (ja) |
| JP (1) | JP4202479B2 (ja) |
| DE (1) | DE69823001T2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006331416A (ja) * | 2005-05-20 | 2006-12-07 | Mitsubishi Electric Research Laboratories Inc | シーンをモデル化する方法 |
| CN100361070C (zh) * | 2004-10-29 | 2008-01-09 | 中国科学院计算技术研究所 | 一种基于光学的运动捕获数据的骨骼运动提取方法 |
| JP2013529801A (ja) * | 2010-06-12 | 2013-07-22 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ／ソシエテ アノニム | 単眼３次元ポーズ推定および検出による追跡 |
| JP2021103564A (ja) * | 2020-06-08 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 |
Families Citing this family (141)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US6442293B1 (en) * | 1998-06-11 | 2002-08-27 | Kabushiki Kaisha Topcon | Image forming apparatus, image forming method and computer-readable storage medium having an image forming program |
| US6192360B1 (en) * | 1998-06-23 | 2001-02-20 | Microsoft Corporation | Methods and apparatus for classifying text and for building a text classifier |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US6738065B1 (en) | 1999-08-10 | 2004-05-18 | Oshri Even-Zohar | Customizable animation system |
| AU6770300A (en) * | 1999-08-10 | 2001-03-05 | Motek Motion Technology, Inc. | Customizable animation system |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| WO2001082279A2 (en) * | 2000-04-24 | 2001-11-01 | The Trustees Of Columbia University In The City Of New York | System and method for dynamic space management of a display space |
| US7091975B1 (en) * | 2000-07-21 | 2006-08-15 | Microsoft Corporation | Shape and animation methods and systems using examples |
| US7006683B2 (en) | 2001-02-22 | 2006-02-28 | Mitsubishi Electric Research Labs., Inc. | Modeling shape, motion, and flexion of non-rigid 3D objects in a sequence of images |
| KR20020081661A (ko) * | 2001-04-19 | 2002-10-30 | 주식회사 오픈비주얼 | 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한방법 및 장치 |
| WO2002093491A1 (en) * | 2001-05-17 | 2002-11-21 | The Trustees Of Columbia University In The City Of New York | System and method for view management in three dimensional space |
| WO2003025842A1 (en) * | 2001-09-19 | 2003-03-27 | Barry George Blundell | An image recognition method and system |
| US6831603B2 (en) | 2002-03-12 | 2004-12-14 | Menache, Llc | Motion tracking system and method |
| EP1370075B1 (en) * | 2002-06-06 | 2012-10-03 | Accenture Global Services Limited | Dynamic replacement of the face of an actor in a video movie |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| KR100483806B1 (ko) * | 2002-07-18 | 2005-04-20 | 한국과학기술원 | 예제동작을 이용한 영상기반 동작복원방법 |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| DE10242262A1 (de) * | 2002-09-12 | 2004-03-25 | Daimlerchrysler Ag | Stereo-Nachtsichtsystem für Fahrzeuge |
| WO2004027685A2 (en) * | 2002-09-19 | 2004-04-01 | The Penn State Research Foundation | Prosody based audio/visual co-analysis for co-verbal gesture recognition |
| US7113185B2 (en) * | 2002-11-14 | 2006-09-26 | Microsoft Corporation | System and method for automatically learning flexible sprites in video layers |
| US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US7009561B2 (en) * | 2003-03-11 | 2006-03-07 | Menache, Llp | Radio frequency motion tracking system and method |
| US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
| CA2523680C (en) * | 2003-05-02 | 2015-06-23 | Allan Robert Staker | Interactive system and method for video compositing |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
| US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
| US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
| US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US7616233B2 (en) | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
| US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US7358973B2 (en) * | 2003-06-30 | 2008-04-15 | Microsoft Corporation | Mixture model for motion lines in a virtual reality environment |
| US8456475B2 (en) * | 2003-06-30 | 2013-06-04 | Microsoft Corporation | Motion line switching in a virtual environment |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US7831087B2 (en) * | 2003-10-31 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Method for visual-based recognition of an object |
| US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| WO2005125210A1 (en) * | 2004-06-14 | 2005-12-29 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Methods and apparatus for motion capture |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US20060187193A1 (en) * | 2005-02-22 | 2006-08-24 | Esquilin Eileen C | System and method for generating a virtual reality presentation |
| NZ561570A (en) | 2005-03-16 | 2010-02-26 | Lucasfilm Entertainment Compan | Three-dimensional motion capture |
| US8780119B2 (en) * | 2005-08-26 | 2014-07-15 | Sony Corporation | Reconstruction render farm used in motion capture |
| US7450736B2 (en) * | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
| AU2006252146B2 (en) * | 2005-12-23 | 2010-12-16 | Northern Sydney And Central Coast Area Health Service | Behaviour modification through personal identification |
| WO2008023280A2 (en) | 2006-06-12 | 2008-02-28 | Fotonation Vision Limited | Advances in extending the aam techniques from grayscale to color images |
| US8339402B2 (en) * | 2006-07-16 | 2012-12-25 | The Jim Henson Company | System and method of producing an animated performance utilizing multiple cameras |
| US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
| US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| ES2320826B1 (es) * | 2006-12-27 | 2010-02-25 | Universidad Nacional De Educacion A Distancia (Uned) | Procedimiento para describir el comportamiento geometrico de humanos en una escena captada por un sistema de vision artificial, basado en un modelo de bloques y, especial, orientado a la tarea de video-vigilancia. |
| US8199152B2 (en) | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
| US8542236B2 (en) * | 2007-01-16 | 2013-09-24 | Lucasfilm Entertainment Company Ltd. | Generating animation libraries |
| US8130225B2 (en) * | 2007-01-16 | 2012-03-06 | Lucasfilm Entertainment Company Ltd. | Using animation libraries for object identification |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| FR2916069B1 (fr) * | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | Procede de traitement pour la capture de mouvement d'une structure articulee |
| KR100856824B1 (ko) * | 2007-07-23 | 2008-09-05 | 재단법인서울대학교산학협력재단 | 캐릭터 시뮬레이션 방법 및 시스템 |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| GB2454681A (en) * | 2007-11-14 | 2009-05-20 | Cybersports Ltd | Selection of animation for virtual entity based on behaviour of the entity |
| US8144153B1 (en) | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| CN102016877B (zh) | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| WO2010012448A2 (en) | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
| JP4591576B2 (ja) * | 2008-08-18 | 2010-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US9142024B2 (en) * | 2008-12-31 | 2015-09-22 | Lucasfilm Entertainment Company Ltd. | Visual and physical motion sensing for three-dimensional motion capture |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| CN101609552B (zh) * | 2009-03-30 | 2012-12-19 | 浙江工商大学 | 有限复杂背景下视频目标的特征检测方法 |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8803889B2 (en) * | 2009-05-29 | 2014-08-12 | Microsoft Corporation | Systems and methods for applying animations or motions to a character |
| US20100306685A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | User movement feedback via on-screen avatars |
| US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
| US20110172550A1 (en) | 2009-07-21 | 2011-07-14 | Michael Scott Martin | Uspa: systems and methods for ems device communication interface |
| US7974475B1 (en) * | 2009-08-20 | 2011-07-05 | Thomas Cecil Minter | Adaptive bayes image correlation |
| US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
| US8358691B1 (en) * | 2009-10-30 | 2013-01-22 | Adobe Systems Incorporated | Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region |
| US8611670B2 (en) | 2010-02-25 | 2013-12-17 | The Board Of Trustees Of The Leland Stanford Junior University | Intelligent part identification for use with scene characterization or motion capture |
| US20110208685A1 (en) * | 2010-02-25 | 2011-08-25 | Hariraam Varun Ganapathi | Motion Capture Using Intelligent Part Identification |
| US8994790B2 (en) * | 2010-02-25 | 2015-03-31 | The Board Of Trustees Of The Leland Stanford Junior University | Motion capture with low input data constraints |
| RU2534892C2 (ru) * | 2010-04-08 | 2014-12-10 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для захвата безмаркерных движений человека |
| US8532367B2 (en) * | 2010-08-17 | 2013-09-10 | Raytheon Company | System and method for 3D wireframe reconstruction from video |
| US8948447B2 (en) | 2011-07-12 | 2015-02-03 | Lucasfilm Entertainment Companyy, Ltd. | Scale independent tracking pattern |
| WO2013074926A1 (en) | 2011-11-18 | 2013-05-23 | Lucasfilm Entertainment Company Ltd. | Path and speed based character control |
| WO2014052802A2 (en) * | 2012-09-28 | 2014-04-03 | Zoll Medical Corporation | Systems and methods for three-dimensional interaction monitoring in an ems environment |
| US20140185944A1 (en) * | 2012-12-31 | 2014-07-03 | Caterpillar Inc. | Gradient Search For 2D/3D Map Compression |
| US20140185945A1 (en) * | 2012-12-31 | 2014-07-03 | Caterpillar Inc. | Modified dp search for 2d/3d map compression |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| EP3033287A4 (en) | 2013-08-15 | 2017-04-12 | Otis Elevator Company | Sensors for conveyance control |
| US9830703B2 (en) * | 2015-08-12 | 2017-11-28 | Nvidia Corporation | Model-based three-dimensional head pose estimation |
| CN105403143B (zh) * | 2015-10-28 | 2017-10-13 | 苏州西博三维科技有限公司 | 一种获取模拟地震振动台的位移变化的测量方法及其系统 |
| US9747668B2 (en) | 2016-01-21 | 2017-08-29 | Disney Enterprises, Inc. | Reconstruction of articulated objects from a moving camera |
| US10121103B2 (en) * | 2016-12-09 | 2018-11-06 | Cisco Technologies, Inc. | Scalable deep learning video analytics |
| JP2022028091A (ja) * | 2018-12-19 | 2022-02-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| US10964058B2 (en) | 2019-06-21 | 2021-03-30 | Nortek Security & Control Llc | Camera auto-calibration system |
| CN112308952B (zh) * | 2020-10-15 | 2022-11-18 | 复旦大学 | 模仿给定视频中人物动作的3d角色动作生成系统和方法 |
| WO2023015409A1 (zh) * | 2021-08-09 | 2023-02-16 | 百果园技术(新加坡)有限公司 | 物体姿态的检测方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3179474B2 (ja) * | 1990-11-28 | 2001-06-25 | 株式会社日立製作所 | コンピュータグラフィックの表示方法及び情報処理装置 |
| US5623428A (en) * | 1990-12-25 | 1997-04-22 | Shukyohoji, Kongo Zen Sohozan Shoriji | Method for developing computer animation |
| US5767861A (en) * | 1994-08-11 | 1998-06-16 | Kabushiki Kaisha Sega Enterprises | Processing apparatus and method for displaying a moving figure constrained to provide appearance of fluid motion |
| WO1997040471A1 (en) * | 1996-04-04 | 1997-10-30 | Katrix, Inc. | Limb coordination system for interactive computer animation of articulated characters with blended motion data |
| US5930379A (en) * | 1997-06-16 | 1999-07-27 | Digital Equipment Corporation | Method for detecting human body motion in frames of a video sequence |
-
1998
- 1998-02-12 US US09/023,148 patent/US6115052A/en not_active Expired - Fee Related
- 1998-09-18 DE DE69823001T patent/DE69823001T2/de not_active Expired - Lifetime
- 1998-09-18 EP EP98117766A patent/EP0936576B1/en not_active Expired - Lifetime
- 1998-09-24 JP JP26991298A patent/JP4202479B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100361070C (zh) * | 2004-10-29 | 2008-01-09 | 中国科学院计算技术研究所 | 一种基于光学的运动捕获数据的骨骼运动提取方法 |
| JP2006331416A (ja) * | 2005-05-20 | 2006-12-07 | Mitsubishi Electric Research Laboratories Inc | シーンをモデル化する方法 |
| JP4619987B2 (ja) * | 2005-05-20 | 2011-01-26 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | シーンをモデル化する方法 |
| JP2013529801A (ja) * | 2010-06-12 | 2013-07-22 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ／ソシエテ アノニム | 単眼３次元ポーズ推定および検出による追跡 |
| JP2021103564A (ja) * | 2020-06-08 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 |
| US11532127B2 (en) | 2020-06-08 | 2022-12-20 | Beijing Baidu Netcom Science Technology Co., Ltd. | Virtual object driving method, apparatus, electronic device, and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4202479B2 (ja) | 2008-12-24 |
| EP0936576A3 (en) | 2003-01-02 |
| EP0936576B1 (en) | 2004-04-07 |
| US6115052A (en) | 2000-09-05 |
| DE69823001T2 (de) | 2005-05-04 |
| EP0936576A2 (en) | 1999-08-18 |
| DE69823001D1 (de) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4202479B2 (ja) | 三次元動作復元システム | |
| US10977818B2 (en) | Machine learning based model localization system | |
| US20220358770A1 (en) | Scene reconstruction in three-dimensions from two-dimensional images | |
| EP1679657B1 (en) | Estimation system, estimation method, and estimation program for estimating object state | |
| Bobick et al. | The recognition of human movement using temporal templates | |
| US6580811B2 (en) | Wavelet-based facial motion capture for avatar animation | |
| US6272231B1 (en) | Wavelet-based facial motion capture for avatar animation | |
| JP2020526818A (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
| Rosales et al. | Estimating 3D body pose using uncalibrated cameras | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN110660017A (zh) | 一种基于三维姿态识别的舞谱记录与演示方法 | |
| La Cascia et al. | Fast, reliable head tracking under varying illumination | |
| CN112053447A (zh) | 一种增强现实三维注册方法及装置 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| Iwase et al. | Relightablehands: Efficient neural relighting of articulated hand models | |
| Guzov et al. | Visually plausible human-object interaction capture from wearable sensors | |
| McIlroy et al. | Kinectrack: Agile 6-dof tracking using a projected dot pattern | |
| Cordea et al. | 3-D head pose recovery for interactive virtual reality avatars | |
| Wang et al. | Shape reconstruction of human foot from multi-camera images based on PCA of human shape database | |
| Jian et al. | Realistic face animation generation from videos | |
| Burch et al. | Convolutional neural networks for real-time eye tracking in interactive applications | |
| Wang et al. | Markerless body motion capturing for 3d character animation based on multi-view cameras | |
| JP3668168B2 (ja) | 動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080116 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080729 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081009 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |