JP7141610B1 - スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 - Google Patents
スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP7141610B1 JP7141610B1 JP2022013607A JP2022013607A JP7141610B1 JP 7141610 B1 JP7141610 B1 JP 7141610B1 JP 2022013607 A JP2022013607 A JP 2022013607A JP 2022013607 A JP2022013607 A JP 2022013607A JP 7141610 B1 JP7141610 B1 JP 7141610B1
- Authority
- JP
- Japan
- Prior art keywords
- joint
- axis
- axis angle
- joint point
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 10
- 239000013598 vector Substances 0.000 claims abstract description 92
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000005452 bending Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 230000037237 body shape Effects 0.000 description 9
- 210000000323 shoulder joint Anatomy 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Abstract
【課題】複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析するプログラム等を提供する。【解決手段】プログラムは、関節点毎に、関節座標系が設定されており、スキンモデル（人体モデル）における全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンとして機能させる。軸角度ベクトル抽出手段は、各関節点の回転行列Ｒを軸角度ベクトルｒへ変換する。軸角度ベクトルｒは、関節点を始点とした方向ベクトルを回転軸ｅと、その軸周りの回転角度θとを組み合わせ｛ｅ，θ｝て表現される。【選択図】図２
Description
本発明は、スキンモデルを統計的に分析する技術に関する。特にスキンモデルとして、３次元の人体モデルに適する。
人体の形状データを取得するために、３次元ボディスキャナの技術がある（例えば非特許文献１参照）。この技術によれば、非接触の光学測量によって３次元の人体モデルを計測する。この人体モデルは、複数の頂点からなるポリゴンをメッシュ状に構成した「スキン」として表現される。頂点数は、例えば約150万点と超高密度で計測することもできる。
従来、採寸値のみから３次元モデルを簡易に生成すると共に、次元圧縮によってデータ容量を小さくする技術がある（例えば特許文献１参照）。この技術によれば、３次元モデル毎に、複数の採寸箇所に対応する次元数ｎの採寸値が対応付けられている教師データ群を用いて、１体の次元数ｎの採寸値から、３次元モデルを生成することができる。具体的には、教師データ群の複数体の３次元モデルから、次元圧縮された次元数ｍの成分変数を出力すると共に、統計学習モデルを構築する統計学習エンジンと、次元数ｎの採寸値と、次元数ｍの成分変数との相関学習モデルを構築する相関学習エンジンとを有する。また、相関学習エンジンを用いて、対象データとしての１体の次元数ｎの採寸値から次元数ｍの成分変数を生成するエンコード部と、統計学習エンジンを用いて、当該次元数ｍの成分変数から３次元モデルを生成するデコード部とを有する。
「smart&try」、株式会社ワコール、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.wacoal.jp/smart_try/＞
「人間工学」、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.cc.miyazaki-u.ac.jp/mitarai/room707/ergo002.html＞
向井智彦、川地克明、三宅陽一郎、「キャラクタアニメーションの数理とシステム、－３次元ゲームにおける身体運動生成と人工知能－」、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.coronasha.co.jp/np/isbn/9784339029093/＞
「回転行列（方向余弦行列）とは？」、スカイ技術研究所ブログ、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.sky-engin.jp/blog/rotation-matrix/＞
特許文献１に記載の技術によれば、３次元モデルは、各頂点を、世界座標系(World coordinate system, Global coordinate system)の３次元(x,y,z)で表現する。例えば１体毎に頂点数がN=150万である場合、１体の３次元モデルは、3N（＝450万）次元のベクトルで表現される。そして、例えば6000体ほどの３次元モデルを、統計学習エンジンに入力し、成分変数を得ることができる。統計学習エンジンは、具体的には、主成分分析(Principal Component Analysis)に基づくものである。
３次元の人体モデルを取得するためには、人物が実際に３次元ボディスキャナ内に入って撮影しなければならないが、このとき、人物毎に姿勢のばらつきが生じる。世界座標系である場合、同一人物であっても、その人物の姿勢の影響を受けて、異なる３次元モデルが取得されることとなる。
姿勢は、関節点の位置に応じて異なる。例えば全く同一の人物であっても、両足を開いた場合と、両足を閉じた場合とでは、特に足の部分で大きく異なる人体モデルとして取得されることとなる。また、３次元スキャナによって計測する場合、生身の人物である全員に、同一姿勢を強要することは非常に難しい。
即ち、３次元スキャナによって人体を計測した場合、人体の長さや周径に基づく「体形」と、人体の関節の位置に基づく「姿勢」とが混在したデータとなってしまう。
姿勢は、関節点の位置に応じて異なる。例えば全く同一の人物であっても、両足を開いた場合と、両足を閉じた場合とでは、特に足の部分で大きく異なる人体モデルとして取得されることとなる。また、３次元スキャナによって計測する場合、生身の人物である全員に、同一姿勢を強要することは非常に難しい。
即ち、３次元スキャナによって人体を計測した場合、人体の長さや周径に基づく「体形」と、人体の関節の位置に基づく「姿勢」とが混在したデータとなってしまう。
これに対し、本願の発明者らは、３次元スキャナによって計測された人体の３次元モデルから、「体形」を分離した「姿勢」のみを抽出することができないか、と考えた。これによって、その人物について、「体形」に依存しない、「姿勢」のみを得ることができるのではないか、と考えた。
例えば「体形」に基づく採寸値としては、身長や股下長のような「長さ」と、腹囲や太もも径のような「周径」とがある。ここで、長さは、人体の骨格長に基づくものであり、周径は、骨の周りの肉付きに基づくものである。本来、このような人体の「体形」に基づく長さや周径は、「姿勢」の影響を受けないものである。
一方で、「姿勢」は、人物における骨格の関節点の位置によって変化する。同じ体形の人物同士であっても、例えば前傾、後傾、猫背、巻き肩などのような姿勢の変化によって、その外観的印象は大きく異なる。
一方で、「姿勢」は、人物における骨格の関節点の位置によって変化する。同じ体形の人物同士であっても、例えば前傾、後傾、猫背、巻き肩などのような姿勢の変化によって、その外観的印象は大きく異なる。
これに対し、本願の発明者らは、複数体の３次元モデルについて、「体形」を分離した「骨格に基づく姿勢」のみのデータから統計的に分析するはできないか、と考えた。特に、人の姿勢から醸し出される外観的印象となる「佇まい」を分析するための要素となる、と考えた。
そこで、本発明によれば、スキンモデルから骨格（スケルトン）に基づく姿勢を分析可能な統計形状空間を生成するプログラム、装置及び方法を提供することを目的とする。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置に搭載されたコンピュータを機能させるプログラムであって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とする。
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とする。
本発明のプログラムにおける他の実施形態によれば、
軸角度ベクトル抽出手段は、全ての関節点の回転行列Ｒを軸角度ベクトルｒへ変換する
ようにコンピュータを機能させることも好ましい。
軸角度ベクトル抽出手段は、全ての関節点の回転行列Ｒを軸角度ベクトルｒへ変換する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
軸角度ベクトル抽出手段は、軸角度ベクトルｒを、関節点を始点とした方向ベクトルの回転軸ｅと、その軸周りの回転角度θとを組み合わせて表現する
ようにコンピュータを機能させることも好ましい。
軸角度ベクトル抽出手段は、軸角度ベクトルｒを、関節点を始点とした方向ベクトルの回転軸ｅと、その軸周りの回転角度θとを組み合わせて表現する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
１体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることも好ましい。
１体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることも好ましい。
関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
第１の推定段階として、
統計学習エンジンは、推定対象となる１体のポリゴンメッシュにおける軸角度ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることも好ましい。
第１の推定段階として、
統計学習エンジンは、推定対象となる１体のポリゴンメッシュにおける軸角度ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をｚ軸とし、当該関節点の屈曲する方向をｘ軸とし、ｘ軸及びｚ軸と直交する方向をｙ軸として設定される
ようにコンピュータを機能させることも好ましい。
関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をｚ軸とし、当該関節点の屈曲する方向をｘ軸とし、ｘ軸及びｚ軸と直交する方向をｙ軸として設定される
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨である
ようにコンピュータを機能させることも好ましい。
スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨である
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることも好ましい。
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることも好ましい。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する分析装置であって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする。
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置の分析方法であって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
装置は、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する第１のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第２のステップと
を実行することを特徴とする。
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
装置は、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する第１のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第２のステップと
を実行することを特徴とする。
本発明のプログラム、装置及び方法によれば、スキンモデルから骨格に基づく姿勢を分析可能な統計形状空間を生成することができる。
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
図１は、関節点と頂点との関係を表す説明図である。
本発明の実施形態によれば、用語を、以下のように定義する。
「スキン」 ：複数の頂点からなるポリゴンメッシュ
（例えば人体を３次元スキャナで撮影した人体のポリゴンメッシュ）
「スキンモデル」 ：スキンに複数の関節点を内在するモデル
「関節点」 ：スキンを変形させるジョイント（例えば人体の関節）
「ボーン」 ：関節点を結ぶ線分（例えば人体の骨）
「スケルトン」 ：関節点同士を親子関係によってボーンで結んだ構成
（例えば人体の骨格）
「スキンウェイト」：関節点がスキンの各頂点に及ぼす影響度
「スキン」 ：複数の頂点からなるポリゴンメッシュ
（例えば人体を３次元スキャナで撮影した人体のポリゴンメッシュ）
「スキンモデル」 ：スキンに複数の関節点を内在するモデル
「関節点」 ：スキンを変形させるジョイント（例えば人体の関節）
「ボーン」 ：関節点を結ぶ線分（例えば人体の骨）
「スケルトン」 ：関節点同士を親子関係によってボーンで結んだ構成
（例えば人体の骨格）
「スキンウェイト」：関節点がスキンの各頂点に及ぼす影響度
図１によれば、人体は、例えば頂点数150万頂点のポリゴンメッシュで表現されている。また、関節点は、例えば以下の１５箇所とする。
「頚椎」
「中央胸」
「左肩」「左肘」「左手首」
「右肩」「右肘」「右手首」
「中央腰」
「左腰」「左膝」「左足首」
「右腰」「右膝」「右足首」
尚、姿勢による座標の変動は、関節点を中心とした回転動作の結果と考えられる。
「頚椎」
「中央胸」
「左肩」「左肘」「左手首」
「右肩」「右肘」「右手首」
「中央腰」
「左腰」「左膝」「左足首」
「右腰」「右膝」「右足首」
尚、姿勢による座標の変動は、関節点を中心とした回転動作の結果と考えられる。
図２は、本発明における分析装置の基本的な機能構成図である。
分析装置１は、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する。スキンモデルから「骨格に基づく姿勢」を分析可能とする統計形状空間を生成する。
図２によれば、分析装置１は、軸角度ベクトル抽出部１１と、統計学習エンジン１２とを有する。これら機能構成部は、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
図２によれば、分析装置１は、軸角度ベクトル抽出部１１と、統計学習エンジン１２とを有する。これら機能構成部は、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
分析装置１は、統計学習のための教師データとして、多数のスキンモデルを準備する。前述したように、スキンモデルは、スキンに複数の関節点を内在したものである。関節点は、ボーンによって親子関係で結ばれている。スキンモデルが人体である場合、人体のポリゴンメッシュに、関節点を結んだ骨格を内在したものである。即ち、不特定多数の人物から取得した人体のスキンモデルを準備する。
尚、本発明が想定する関節点や骨格とは、人体の解剖学的なものではなく、あくまで動き（モーション）の際の基軸となるものに過ぎない。
尚、本発明が想定する関節点や骨格とは、人体の解剖学的なものではなく、あくまで動き（モーション）の際の基軸となるものに過ぎない。
［軸角度ベクトル抽出部１１］
軸角度ベクトル抽出部１１は、スキンモデルにおける全ての関節点に対する「軸角度ベクトル」を抽出する。
軸角度ベクトル抽出部１１は、スキンモデルにおける全ての関節点に対する「軸角度ベクトル」を抽出する。
図３は、本発明における関節点の関節座標系と回転角及び回転軸とを表す説明図である。
＜関節点毎の位置ベクトル＞
関節点は、３次元の世界座標系を基準として表現される。世界座標系では基本的に、ｙ軸正方向を鉛直上向き方向、ｘ－ｚ平面を水平面とした座標系とする。その上で、関節点毎の位置ベクトルを、以下のように表す。
関節点の位置ベクトル ：ｔ＝（ｔx ｔy ｔz）
関節点は、３次元の世界座標系を基準として表現される。世界座標系では基本的に、ｙ軸正方向を鉛直上向き方向、ｘ－ｚ平面を水平面とした座標系とする。その上で、関節点毎の位置ベクトルを、以下のように表す。
関節点の位置ベクトル ：ｔ＝（ｔx ｔy ｔz）
＜関節点毎の関節座標系＞
関節点毎に、関節座標系を、以下のように設定する。
ｚ軸：当該関節点を親として子関節点へ向かう方向
ｘ軸：当該関節点の屈曲する方向
ｙ軸：ｘ軸及びｚ軸と直交する方向
尚、人体の骨格は、関節点を結ぶツリー構造として表現される。
関節点毎に、関節座標系を、以下のように設定する。
ｚ軸：当該関節点を親として子関節点へ向かう方向
ｘ軸：当該関節点の屈曲する方向
ｙ軸：ｘ軸及びｚ軸と直交する方向
尚、人体の骨格は、関節点を結ぶツリー構造として表現される。
図３によれば、肩関節点の関節座標系と、ヒジ関節点の関節座標系とが表されている。肩関節点の関節座標系のｚ軸は、肩関節点の子関節点となるヒジ関節点へ向かう方向へ設定される。また、肩関節点の関節座標系のｘ軸は、肩関節点の屈曲する方向へ設定される。そして、肩関節点の関節座標系のｙ軸は、ｘ軸及びｚ軸と直交する方向に設定される。
＜関節点毎の軸角度ベクトル＞
軸角度ベクトル抽出部１１は、各関節点の回転行列Ｒと位置ｔとからなる同次座標変換行列Ａを算出する。
同次座標系(homogeneous coordinate system)は、平行移動を含む全ての座標変換を行列演算とした記法である（例えば非特許文献３参照）。これは、３次元空間の位置や方向を表すベクトルを、同次座標の成分を加えた４次元ベクトルとして表現する。
各関節点の関節座標系の基底ベクトル： ｒx，ｒy，ｒz
（単位ベクトルで互いに直交（正規直交基底））
尚、この表記は、行ベクトルで、行列が右から作用する場合の表現である。列ベクトルで、行列が左から作用する場合は、回転行列や同次変換行列を転置する。
軸角度ベクトル抽出部１１は、各関節点の回転行列Ｒと位置ｔとからなる同次座標変換行列Ａを算出する。
同次座標系(homogeneous coordinate system)は、平行移動を含む全ての座標変換を行列演算とした記法である（例えば非特許文献３参照）。これは、３次元空間の位置や方向を表すベクトルを、同次座標の成分を加えた４次元ベクトルとして表現する。
各関節点の関節座標系の基底ベクトル： ｒx，ｒy，ｒz
（単位ベクトルで互いに直交（正規直交基底））
軸角度ベクトルｒは、関節点を始点とした方向ベクトルの回転軸ｅと、その軸周りの回転角度θとの組み合わせ｛ｅ，θ｝によって表現される。これは、任意軸周りの回転表現（axis-angle表現）と称される。回転軸ｅは３次元ベクトルで表され、回転角度θは１値で表されるので、軸角度ベクトルは４パラメータで表される。このとき、回転軸ｅに回転角度θを大きさとして含め、回転軸及び回転角度をθｅ＝（θｅx，θｅy，θｅz）とすることによって、３パラメータで表すことができる。但し、｛ｅ，θ｝と｛－ｅ，－θ｝とは同一回転となるので、正値回転のみを扱う非負制約を条件とする。
軸角度ベクトル ：ｒ＝θｅ＝（θｅx，θｅy，θｅz）
回転軸（単位ベクトル）：ｅ＝（ｅx，ｅy，ｅz）＝ｒ／|ｒ|
回転角 ：θ＝|ｒ|
軸角度ベクトル ：ｒ＝θｅ＝（θｅx，θｅy，θｅz）
回転軸（単位ベクトル）：ｅ＝（ｅx，ｅy，ｅz）＝ｒ／|ｒ|
回転角 ：θ＝|ｒ|
その上で、軸角度ベクトル抽出部１１は、全ての関節点の回転行列Ｒを軸角度ベクトルｒへ変換する。
軸角度ベクトル ：ｒ＝log（Ｒ）
各関節点の回転行列 ：Ｒ＝exp（ｒ）
回転行列Ｒと軸角度ベクトルｒとの変換は、ロドリゲスの回転公式に基づくものである（例えば非特許文献３及び４参照）。
軸角度ベクトル ：ｒ＝log（Ｒ）
各関節点の回転行列 ：Ｒ＝exp（ｒ）
回転行列Ｒと軸角度ベクトルｒとの変換は、ロドリゲスの回転公式に基づくものである（例えば非特許文献３及び４参照）。
尚、骨格における関節点の回転は、一般的に、オイラー角で表現される。オイラー角は、３軸（ｘ軸周りの回転、ｙ周りの回転、ｚ周りの回転）で表現される。しかしながら、オイラー角は、２つ以上の回転を補完する際に、ジンバルロックの状態を生じてしまい、表現できる姿勢が制限されるという問題を生じる（例えば非特許文献３参照）。そのために、本発明は、関節点の回転を、「軸角度ベクトル」として表現している。
［統計学習エンジン１２］
統計学習エンジン１２は、訓練段階として、以下のように機能する。
＜訓練段階＞
統計学習エンジン１２は、訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する。
統計学習エンジン１２は、訓練段階として、以下のように機能する。
＜訓練段階＞
統計学習エンジン１２は、訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する。
図４は、統計学習エンジンにおける３次元モデルのベクトル空間を表す説明図である。
図４によれば、教師データとしては、様々な体形を持つ例えば6000体の人体を想定している。
図４（ａ）によれば、人体の３次元モデル毎に、関節点数D=15であり、各関節点は３パラメータ（θｅ）で表現されるとする。１体の３次元モデルは、D=15の各関節点に対する軸角度ベクトルとなる3D（例えば3×15＝45）次元のベクトルで表現される。
図４（ｂ）によれば、３次元モデルの人体毎に、3D次元空間における１点で表される。
図４（ａ）によれば、人体の３次元モデル毎に、関節点数D=15であり、各関節点は３パラメータ（θｅ）で表現されるとする。１体の３次元モデルは、D=15の各関節点に対する軸角度ベクトルとなる3D（例えば3×15＝45）次元のベクトルで表現される。
図４（ｂ）によれば、３次元モデルの人体毎に、3D次元空間における１点で表される。
図５は、統計学習エンジンにおける統計形状空間を表す説明図である。
図６は、統計学習エンジンにおける主成分分析を表す簡易なコードである。
図６は、統計学習エンジンにおける主成分分析を表す簡易なコードである。
統計学習エンジン１２は、具体的には、主成分分析(Principal Component Analysis)に基づくものであってもよい。
「主成分分析」によって、相関のある3D次元空間の6000点から、互いに無相関で全体のばらつきをよく表す次元（例えば45次元）の主成分（成分変数）を導出する。第１主成分の分散を最大化し、続く主成分はそれまでに決定した主成分と無相関という拘束条件の下で、分散を最大化するようにして選択される。主成分の分散を最大化することによって、観測値の変化に対する説明能力を可能な限り主成分に持たせる。主成分を与える主軸は3D次空間における6000点の群の直交基底となっている。主軸の直交性は、主軸が共分散行列の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。
「主成分分析」によって、相関のある3D次元空間の6000点から、互いに無相関で全体のばらつきをよく表す次元（例えば45次元）の主成分（成分変数）を導出する。第１主成分の分散を最大化し、続く主成分はそれまでに決定した主成分と無相関という拘束条件の下で、分散を最大化するようにして選択される。主成分の分散を最大化することによって、観測値の変化に対する説明能力を可能な限り主成分に持たせる。主成分を与える主軸は3D次空間における6000点の群の直交基底となっている。主軸の直交性は、主軸が共分散行列の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。
統計学習エンジン１２は、3D次元空間に対して、主成分分析に基づく成分変数を次元数とする統計形状空間（例えば45次元）に射影させる統計学習モデルを構築する。
本発明によれば、3D(＝45)次元空間における各３次元モデルを、例えば45次元（成分変数）空間に射影する。主成分を与える変換は、観測値の集合からなる行列の特異値分解で表され、3D次元空間の6000点の群からなる矩形行列Ｘの特異値分解は、以下の式で表される。
Ｘ＝Ｕ*Σ*ＶT
Ｘ：3D次元空間の6000点からなる行列（6000行×3D列）
Ｕ：n(6000)×n(6000)の正方行列（n次元単位ベクトルの直交行列）
Σ：n(6000)×p(3D)の矩形対角行列（対角成分は、Ｘの特異値）
Ｖ：p(3D)×p(3D)の正方行列（p次元単位ベクトルの直交行列）
ここで、行列Ｖによる線形変換はＸの主成分を与える。
Ｖ：3D次元空間->統計形状(45次元)空間への変換を表す行列
Ｖ-1：統計形状(45次元)空間->3D次元空間への変換を表す行列
尚、行列の上付き添え字-1は逆行列を示す記号ではなく、行列が定めるベクトルの変換に対して、その逆変換を意味する抽象的な記号として用いている。ここでは、Ｖ-1は、Ｖの転置ＶTと等しい。
本発明によれば、3D(＝45)次元空間における各３次元モデルを、例えば45次元（成分変数）空間に射影する。主成分を与える変換は、観測値の集合からなる行列の特異値分解で表され、3D次元空間の6000点の群からなる矩形行列Ｘの特異値分解は、以下の式で表される。
Ｘ＝Ｕ*Σ*ＶT
Ｘ：3D次元空間の6000点からなる行列（6000行×3D列）
Ｕ：n(6000)×n(6000)の正方行列（n次元単位ベクトルの直交行列）
Σ：n(6000)×p(3D)の矩形対角行列（対角成分は、Ｘの特異値）
Ｖ：p(3D)×p(3D)の正方行列（p次元単位ベクトルの直交行列）
ここで、行列Ｖによる線形変換はＸの主成分を与える。
Ｖ：3D次元空間->統計形状(45次元)空間への変換を表す行列
Ｖ-1：統計形状(45次元)空間->3D次元空間への変換を表す行列
尚、行列の上付き添え字-1は逆行列を示す記号ではなく、行列が定めるベクトルの変換に対して、その逆変換を意味する抽象的な記号として用いている。ここでは、Ｖ-1は、Ｖの転置ＶTと等しい。
図６からも明らかなとおり、行列Ｖ又はＶ-1による線形変換によって、3D次元空間と統計形状空間との間で、３次元モデルの人体毎に対応付けることができる。
ｓ＝ｘ*Ｖ
ｘ＝ｓ*Ｖ-1
ｓ：統計形状空間のベクトル
ｘ：3D次元空間のベクトル
Ｖ：統計学習モデル
統計形状空間における原点は、教師データとして訓練した全ての人体モデルの姿勢（関節点の回転）の平均となる。即ち、平均となる原点から離れるほど、その点における姿勢は、特徴的であることを意味する。
ｓ＝ｘ*Ｖ
ｘ＝ｓ*Ｖ-1
ｓ：統計形状空間のベクトル
ｘ：3D次元空間のベクトル
Ｖ：統計学習モデル
統計形状空間における原点は、教師データとして訓練した全ての人体モデルの姿勢（関節点の回転）の平均となる。即ち、平均となる原点から離れるほど、その点における姿勢は、特徴的であることを意味する。
また、統計学習エンジン１２は、オートエンコーダ(AutoEncoder)に基づくものであってもよい。
オートエンコーダは、ニューラルネットワークの一種で、入力データの情報量から抽象的概念（特徴量）を出力する。具体的には、入力データを、隠れ層で次元圧縮し、出力時に元のサイズに戻す。
オートエンコーダも、主成分分析と同様に、相関のある3D次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す45次元の成分変数を導出する。
オートエンコーダは、ニューラルネットワークの一種で、入力データの情報量から抽象的概念（特徴量）を出力する。具体的には、入力データを、隠れ層で次元圧縮し、出力時に元のサイズに戻す。
オートエンコーダも、主成分分析と同様に、相関のある3D次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す45次元の成分変数を導出する。
前述した図２によれば、統計学習エンジン１２は、２つの推定段階として、以下のように機能する。
＜エンコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる１体のポリゴンメッシュにおける全ての関節点の軸角度ベクトルを入力し、成分変数を出力する。
成分変数は、例えば45次元ベクトルであって、推定対象となるスキンモデル（ポリゴンメッシュ＋スケルトン）の「姿勢（全ての関節点の回転）」の主成分となる。
＜デコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる成分変数を入力し、１体のスキンモデルにおける「全ての関節点の軸角度ベクトル」を出力する。
例えば推定対象となる45次元ベクトルの成分変数を入力することによって、１体の全ての関節点の軸角度ベクトルを出力することができる。全ての関節点の軸角度ベクトルは、その人体の姿勢を表す。
＜エンコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる１体のポリゴンメッシュにおける全ての関節点の軸角度ベクトルを入力し、成分変数を出力する。
成分変数は、例えば45次元ベクトルであって、推定対象となるスキンモデル（ポリゴンメッシュ＋スケルトン）の「姿勢（全ての関節点の回転）」の主成分となる。
＜デコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる成分変数を入力し、１体のスキンモデルにおける「全ての関節点の軸角度ベクトル」を出力する。
例えば推定対象となる45次元ベクトルの成分変数を入力することによって、１体の全ての関節点の軸角度ベクトルを出力することができる。全ての関節点の軸角度ベクトルは、その人体の姿勢を表す。
ここで、本発明の特徴を改めて詳述する。
従来技術によれば、スキニングでは一般に、関節点を中心とした人体部位の回転として姿勢や動きを表現する。スキニング処理は、「Skeleton Subspace Deformation」とも称され、骨格における関節点毎の座標系によって変形を記述するものである。その骨格を変位させることによって、ポリゴンメッシュを変形させる。また、一般的なアニメーションの用途によれば、骨格の作成の設定は、作業者が手動で操作するものである。
これに対し、本発明は、骨格における関節点毎の軸角度ベクトルのみを抽出し、３Ｄポリゴンメッシュの変形とは別に、統計的に分析するものである。このような技術は、既存技術として存在しない。本発明によれば、関節点の軸角度ベクトルの分解は、スキニングアルゴリズムを最後まで計算せずに、中間データとなる軸角度ベクトルを抽出し、統計学習エンジンで訓練させたことにある。
従来技術によれば、スキニングでは一般に、関節点を中心とした人体部位の回転として姿勢や動きを表現する。スキニング処理は、「Skeleton Subspace Deformation」とも称され、骨格における関節点毎の座標系によって変形を記述するものである。その骨格を変位させることによって、ポリゴンメッシュを変形させる。また、一般的なアニメーションの用途によれば、骨格の作成の設定は、作業者が手動で操作するものである。
これに対し、本発明は、骨格における関節点毎の軸角度ベクトルのみを抽出し、３Ｄポリゴンメッシュの変形とは別に、統計的に分析するものである。このような技術は、既存技術として存在しない。本発明によれば、関節点の軸角度ベクトルの分解は、スキニングアルゴリズムを最後まで計算せずに、中間データとなる軸角度ベクトルを抽出し、統計学習エンジンで訓練させたことにある。
＜姿勢判定アプリケーション＞
例えば衣服の場合、人のサイズ（骨格の長さ）や周径に基づいて設計されているが、その衣服が似合うような人の姿勢（関節点の回転）までも考慮されたものではない。一方で、衣服を購入するユーザも、自らのサイズや体形は考慮するが、姿勢までも考慮することは全くない。ユーザ自らの姿勢が、平均的な姿勢又は理想的な姿勢からどの程度離れたものであるか、も考慮することはない。
姿勢判定アプリケーションとして、様々な用途が想定されるが、異なる人体における姿勢の相違を数値的に取得することができる。姿勢の相違は、例えば主成分分析に基づく統計形状空間では、点間の距離として認識することができる。
例えば衣服の場合、人のサイズ（骨格の長さ）や周径に基づいて設計されているが、その衣服が似合うような人の姿勢（関節点の回転）までも考慮されたものではない。一方で、衣服を購入するユーザも、自らのサイズや体形は考慮するが、姿勢までも考慮することは全くない。ユーザ自らの姿勢が、平均的な姿勢又は理想的な姿勢からどの程度離れたものであるか、も考慮することはない。
姿勢判定アプリケーションとして、様々な用途が想定されるが、異なる人体における姿勢の相違を数値的に取得することができる。姿勢の相違は、例えば主成分分析に基づく統計形状空間では、点間の距離として認識することができる。
図７は、関節点推定部及びスケルトン変形部を更に有する分析装置の機能構成図である。
図７によれば、図２と比較して、関節点推定部１３と、スケルトン変形部１４とを更に有する。これら機能構成部も、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
人体を光学スキャナによって撮影した場合、３次元の人体モデルは、スキン（ポリゴンメッシュ）となる。即ち、スキンは、スキンモデルのようにスケルトン（骨格）を含むものではない。そのために、図７によれば、軸角度ベクトル抽出部１１の前段で、スキンから関節点を抽出し、関節点同士を親子関係によってボーンで結んだスケルトンを推定する。
［関節点推定部１３］
関節点推定部１３は、１体のポリゴンメッシュから、関節点の位置を推定する。
関節点推定部１３は、関節点学習エンジンであってもよく、以下のように機能させる。
（訓練段階）教師データ群の複数体のポリゴンメッシュ（説明変数）をそれぞれ入力し、関節点の位置（目的変数）を出力するように関節点学習モデルを構築する。
（推定段階）推定対象となるポリゴンメッシュ（説明変数）を入力し、関節点の位置（目的変数）を出力する。
関節点推定部１３は、１体のポリゴンメッシュから、関節点の位置を推定する。
関節点推定部１３は、関節点学習エンジンであってもよく、以下のように機能させる。
（訓練段階）教師データ群の複数体のポリゴンメッシュ（説明変数）をそれぞれ入力し、関節点の位置（目的変数）を出力するように関節点学習モデルを構築する。
（推定段階）推定対象となるポリゴンメッシュ（説明変数）を入力し、関節点の位置（目的変数）を出力する。
関節点学習エンジンとしては、関節点の推定に、ポリゴンメッシュの頂点位置から、モーションキャプチャの関節点を予測する回帰モデルを用いることもできる。回帰モデルの訓練としては、「人体形状は関節の周囲でほぼ凸形状」と仮定する。凸形状とは、任意の２点間を結ぶ線分が、その多角形の外に出ることがないものをいう（内角は180°以下）。
勿論、回帰モデルのような機械学習ではなく、モーションキャプチャに基づくフレーム画像に映るマーク点に対応するメッシュ頂点を指定して、メッシュから直接に関節位置を計算したものであってもよい。
勿論、回帰モデルのような機械学習ではなく、モーションキャプチャに基づくフレーム画像に映るマーク点に対応するメッシュ頂点を指定して、メッシュから直接に関節位置を計算したものであってもよい。
また、関節位置を、モーションキャプチャデータから推定するものであってもよい。例えばＶＩＣＯＮ（登録商標）のように、モーションキャプチャの各フレームから、関節位置を推定するものであってもよい。例えば多数の人の歩行動作を撮影したモーションキャプチャの各フレームから、歩行動作に基づく関節位置の変位を推定することができる。
尚、本願発明の特徴として、スケルトンを含まないスキン（ポリゴンメッシュ）のみから、姿勢を分析することができる。これは、市販されている様々な３次元スキャナの機種や撮影環境を問わないこと可能にする。即ち、様々な３次元スキャナによって撮影されたポリゴンメッシュであっても、相同モデル化されている限り、関節位置を推定し、統計形状空間に対応付けることができる。このように、人体のスキンから姿勢のみを分離することによって、３次元スキャナの異なる機種や撮影環境を統一的に扱うことが可能となる。
［スケルトン変形部１４］
スケルトン変形部１４は、１体の全ての関節点の軸角度ベクトルから、１体のスケルトンを再生する。
統計学習エンジン１２から出力されるものは、軸角度ベクトルのみであるので、スケルトンのテンプレートを予め用意しておく。そのテンプレートを、統計学習エンジン１２から出力された軸角度ベクトル（回転軸、回転角）に対応させて、テンプレートのスケルトンモデルを変形（関節点の回転）させる。
このように、スケルトン変形部１４によって、スケルトンに基づく姿勢を視覚的に認識することができる。
スケルトン変形部１４は、１体の全ての関節点の軸角度ベクトルから、１体のスケルトンを再生する。
統計学習エンジン１２から出力されるものは、軸角度ベクトルのみであるので、スケルトンのテンプレートを予め用意しておく。そのテンプレートを、統計学習エンジン１２から出力された軸角度ベクトル（回転軸、回転角）に対応させて、テンプレートのスケルトンモデルを変形（関節点の回転）させる。
このように、スケルトン変形部１４によって、スケルトンに基づく姿勢を視覚的に認識することができる。
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、スキンモデルから骨格に基づく姿勢を分析可能な統計形状空間を生成することができる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 分析装置
１１ 軸角度ベクトル抽出部
１２ 統計学習エンジン
１３ 関節点推定部
１４ スケルトン変形部
１１ 軸角度ベクトル抽出部
１２ 統計学習エンジン
１３ 関節点推定部
１４ スケルトン変形部
Claims (11)
- 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置に搭載されたコンピュータを機能させるプログラムであって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とするプログラム。 - 軸角度ベクトル抽出手段は、各関節点の回転行列Ｒを軸角度ベクトルｒへ変換する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。 - 軸角度ベクトル抽出手段は、軸角度ベクトルｒを、関節点を始点とした方向ベクトルの回転軸ｅと、その軸周りの回転角度θとを組み合わせて表現する
ようにコンピュータを機能させることを特徴とする請求項２に記載のプログラム。 - １体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。 - 関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることを特徴とする請求項４に記載のプログラム。 - 第１の推定段階として、
統計学習エンジンは、推定対象となる１体のポリゴンメッシュにおける軸角度ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。 - 関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をｚ軸とし、当該関節点の屈曲する方向をｘ軸とし、ｘ軸及びｚ軸と直交する方向をｙ軸として設定される
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。 - スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨である
ようにコンピュータを機能させることを特徴とする請求項７に記載のプログラム。 - 統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることを特徴とする請求項１から８のいずれか１項に記載のプログラム。 - 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する分析装置であって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する軸角度ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする分析装置。 - 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置の分析方法であって、
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
全ての関節点のボーンの軸角度ベクトルは、スケルトンに対する姿勢を表し、
装置は、
スキンモデルにおける全ての関節点に対する軸角度ベクトルを抽出する第１のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルにおける各関節点の軸角度ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第２のステップと
を実行することを特徴とする分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022013607A JP7141610B1 (ja) | 2022-01-31 | 2022-01-31 | スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022013607A JP7141610B1 (ja) | 2022-01-31 | 2022-01-31 | スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7141610B1 true JP7141610B1 (ja) | 2022-09-26 |
| JP2023111654A JP2023111654A (ja) | 2023-08-10 |
Family
ID=83400851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022013607A Active JP7141610B1 (ja) | 2022-01-31 | 2022-01-31 | スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7141610B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274449A (zh) * | 2023-11-15 | 2023-12-22 | 唯物(杭州)科技有限公司 | 一种基于模型生成骨骼的方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282110A (ja) | 2007-05-09 | 2008-11-20 | Univ Of Tokyo | 対象物の関節構造の取得方法及び装置 |
| WO2017065241A1 (ja) | 2015-10-14 | 2017-04-20 | 国立大学法人東京工業大学 | 自動診断装置 |
| JP2021155893A (ja) | 2020-03-27 | 2021-10-07 | 株式会社ゴールドウイン | 運動用の衣服の設計を支援する装置、方法及びプログラム |
-
2022
- 2022-01-31 JP JP2022013607A patent/JP7141610B1/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282110A (ja) | 2007-05-09 | 2008-11-20 | Univ Of Tokyo | 対象物の関節構造の取得方法及び装置 |
| WO2017065241A1 (ja) | 2015-10-14 | 2017-04-20 | 国立大学法人東京工業大学 | 自動診断装置 |
| JP2021155893A (ja) | 2020-03-27 | 2021-10-07 | 株式会社ゴールドウイン | 運動用の衣服の設計を支援する装置、方法及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274449A (zh) * | 2023-11-15 | 2023-12-22 | 唯物(杭州)科技有限公司 | 一种基于模型生成骨骼的方法和系统 |
| CN117274449B (zh) * | 2023-11-15 | 2024-02-09 | 唯物(杭州)科技有限公司 | 一种基于模型生成骨骼的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023111654A (ja) | 2023-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kadleček et al. | Reconstructing personalized anatomical models for physics-based body animation | |
| CN114663199B (zh) | 一种动态展示的实时三维虚拟试衣系统及方法 | |
| Hasler et al. | Estimating body shape of dressed humans | |
| Hasler et al. | Multilinear pose and body shape estimation of dressed subjects from image sets | |
| Jiang et al. | Disentangled human body embedding based on deep hierarchical neural network | |
| CN111191599A (zh) | 姿态识别方法、装置、设备及存储介质 | |
| CN109655011B (zh) | 一种人体建模维度测量的方法及系统 | |
| JP7141610B1 (ja) | スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 | |
| Kaashki et al. | Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan | |
| Danckaers et al. | Posture normalisation of 3D body scans | |
| Lifkooee et al. | Real-time avatar pose transfer and motion generation using locally encoded laplacian offsets | |
| CN115083015A (zh) | 一种3d人体姿态估计数据标注方式和对应的模型构建方法 | |
| JP2010211732A (ja) | 物体認識装置および方法 | |
| JP7067709B1 (ja) | スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法 | |
| Xu et al. | Building high-fidelity human body models from user-generated data | |
| Laga et al. | 4d atlas: Statistical analysis of the spatiotemporal variability in longitudinal 3D shape data | |
| Endo et al. | Hand modeling and motion reconstruction for individuals | |
| JP7120532B1 (ja) | スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 | |
| Fan et al. | HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video | |
| Wen et al. | From motion capture data to character animation | |
| Ichim et al. | Semantic parametric body shape estimation from noisy depth sequences | |
| Gong et al. | Modeling vs. learning approaches for monocular 3D human pose estimation | |
| Cha et al. | Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors | |
| Christoff | Modeling of 3D Human Body for Photorealistic Avatar Generation: A Review | |
| Saito et al. | Model-based 3D human shape estimation from silhouettes for virtual fitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7141610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |