JP6290153B2 - 対象の３次元モデルを生成する方法とシステム - Google Patents

Description

ここに記述された一実施形態は、人間のような対象（subjects；被検体）の３次元表示に生成に一般に関連する。
（関連出願の相互参照）
本願は、２０１４年１０月２３日に出願された英国特許出願第１４１８８６７．６からの優先権の利益に基づいているものであり、この優先権を主張し、この出願の全内容は参照によってここに組み込まれる。

人体形状の推定は医療から商用の領域まで種々様々の応用がある。医学では、例えば、ライフスタイルの変更を促進する３次元人体への将来の変更を視覚化することは可能かもしれない。商用領域では、裸体形状の正確なキャプチャは、仮想試着（異なる衣類を着た顧客の視覚化）を許可するだろう。

人間のような対象のために望ましい形状を得ることは、通常、画像または３次元スキャンのようなデータにメッシュをフィットする結果である。フィッティングアルゴリズムは、微細な表示へのコースから効率的な恩恵をしばしば得ることができる。

以下では、一実施形態は以下の添付図面を参照して一例としてのみ記述される：
図１は、一実施形態に従うあるモデル生成システムを示す； 図２は、一実施形態に従うある対象の表示を生成する方法を示す； 図３ａは、一実施形態に従うあるクラストポロジーのユーザ入力を示す； 図３ｂは、一実施形態に従うあるクラストポロジーのユーザ入力を示す； 図３ｃは、一実施形態に従うあるクラストポロジーのユーザ入力を示す； 図４ａは、一実施形態において複数の外部パッチの生成を示す； 図４ｂは、一実施形態において複数の外部パッチの生成を示す； 図４ｃは、一実施形態において複数のパッチのパラメータ化を示す； 図５ａは、一実施形態においてある規則性ルールの複数の例を示す； 図５ｂは、一実施形態においてある連結性ルールの複数の例を示す； 図６ａは、一実施形態においてある細区分ルールを適用する効果の例を示す； 図６ｂは、一実施形態においてある細区分ルールを適用する効果の例を示す； 図６ｃは、一実施形態においてある細区分ルールを適用する効果の例を示す； 図７は、一実施形態において人間の被験者用の複数の細分化領域を示す； 図８ａから図８ｃは、異なる細分化ベクトルに対応する登録された人間形状の３つの異なる細分化パラメータを示す； 図８ａから図８ｃは、異なる細分化ベクトルに対応する登録された人間形状の３つの異なる細分化パラメータを示す； 図８ａから図８ｃは、異なる細分化ベクトルに対応する登録された人間形状の３つの異なる細分化パラメータを示す； 図９は、一実施形態においてボクセル空間でボクセルの位置の一例を示す； 図１０ａは、一実施形態においてリングの定義の複数の例を示す； 図１０ｂは、一実施形態において連続的なリングの定義を示す； 図１１ａは、一実施形態において生成された骨格を示す； 図１１ｂは、図１１ａに示される骨格を生成するために、ユーザに入力された複数の連続的なリングを示す； 図１２は、一実施形態においてパラメータ化されたドメインでの影響エリアの複数の定義を示す； 図１３ａから図１３ｃは、一実施形態において細区分の異なるレベルで計算された複数のランドマークを示す； 図１３ａから図１３ｃは、一実施形態において細区分の異なるレベルで計算された複数のランドマークを示す； 図１３ａから図１３ｃは、一実施形態において細区分の異なるレベルで計算された複数のランドマークを示す； 図１４ａから図１４ｅは、キャットマル−クラーク（Catmull-Clark）細分化スキームの異なる細区分を示す； 図１４ａから図１４ｅは、キャットマル−クラーク（Catmull-Clark）細分化スキームの異なる細区分を示す； 図１４ａから図１４ｅは、キャットマル−クラーク（Catmull-Clark）細分化スキームの異なる細区分を示す； 図１４ａから図１４ｅは、キャットマル−クラーク（Catmull-Clark）細分化スキームの異なる細区分を示す； 図１４ａから図１４ｅは、キャットマル−クラーク（Catmull-Clark）細分化スキームの異なる細区分を示す； 図１５ａは、一実施形態において高解像度メッシュを示す； 図１５ｂは、一実施形態において高解像度メッシュの低解像度メッシュへの再サンプリングを示す； 図１６ａは、一実施形態において手モデルを示す； 図１６ｂは、一実施形態において手モデルを示す； 図１６ｃは、一実施形態において手モデルを示す； 図１６ｄは、一実施形態において手モデルを示す； 図１６ｅは、一実施形態において手モデルを示す； 図１７は、深度画像から対象の３次元表示の生成するためのシステムを示す； 図１８は、一実施形態に従う対象の３次元表示を生成する方法を示す。

一実施形態では、対象の３次元モデルを生成する方法が開示される。方法は、対象用の点群データを受信すること；複数の直方体を指示するユーザ入力を受信し、対象のクラスの表示を形成する複数のブロックへ直方体をグループ化し；複数のブロックのブロック面に対応するパッチを細分化することによって、複数の四辺形を備える第１メッシュを生成すること；フィットしたメッシュを生成するために、第１メッシュを点群データにフィットすること；さらなる複数のメッシュを繰り返し生成すること、ここでそれぞれのメッシュは、前回の繰り返しからフィットしたメッシュの複数のパッチを細分化し、さらなるメッシュを点群データにフィットすることによって、複数の四角形を備える；対象の３次元モデルとして、繰り返し生成されたフィットしたメッシュを出力すること、を備える。

モデルは、対象の３次元形状を表わすかもしれない。

一実施形態では、各メッシュを細分化することは、面の各エッジに沿って一定間隔で、複数のブロックの複数面に対応する複数のパッチを細分化することを備える。

一実施形態では、各メッシュを細分化することは、第１セットの細分化で第１エッジに沿って第１ブロックのある面に対応する第１パッチを細分化することと、第２セットの細分化で第１エッジに隣接した第２ブロックのある面に対応する第２パッチを細分化することと、を備え、その結果第１セットの各細分化は、第２セットの対応する細分化に第１エッジで接続する。

一実施形態では、対象のクラスは人間の被験者である。

一実施形態では、ユーザ入力は、対象の骨格にある複数の関節の位置を示すことを更に備え、方法はその示すことから代表的な骨格を生成することをさらに備える。

一実施形態では、関節の位置を示すことは、関節の場所を示すブロック上の複数のリングを示すことを含む。

一実施形態では、複数の直方体を複数のブロックにグループ化することは、直方体間の対応として対称を示すことを備える。

一実施形態では、方法は対象用の点群データをキャプチャすることをさらに備える。

一実施形態では、対象のクラス内の複数のテスト対象に関する３次元点群データから対象のクラスの３次元形状用の統計モデルを生成する方法が開示される。方法は、複数のテスト対象のテスト対象ごとに、第１メッシュ（第１メッシュは、フィットした第１メッシュを得るために、複数のブロックのブロック面に対応する複数のパッチを細分化することによって複数の四角形を備え、複数のブロックの各ブロックは少なくとも１つの直方体から形成され）を点群データにフィットすることによって、解像度を向上するモデルを繰り返し生成すること；フィットした第１メッシュを細分化することによって第２メッシュを生成すること；第１メッシュの代わりに第２メッシュを使用して、フィットすること及び生成するステップを繰り返し、対象のクラスに関する統計モデルとして繰り返しの結果を出力することを備える。

統計モデルは、被験者のクラスの３次元形状表示でもよい。

一実施形態では、フィットした第１メッシュを細分化することは、面の各エッジに沿って一定の間隔で複数のブロックの面に対応するパッチを細分化することを備える。

一実施形態では、フィットした第１メッシュを細分化することは、第１セットの細分化で第１エッジに沿って第１ブロックのある面に対応する第１パッチを細分化することと、第２セットの細分化で第１エッジ隣接する第２ブロックのある面に対応する第２パッチを細分化することと、を備え、第１セットのそれぞれの細分化は、第１エッジでの第２セットの対応する細分化に接続している。

一実施形態では、被験者のクラスは人間の被験者である。

一実施形態では、方法はテスト対象の各々に関する代表的な骨格を生成することをさらに備える。

一実施形態では、方法は複数のブロックのうちのブロック間の対応によって定義される少なくとも１つの対称ルールを実行することをさらに備える。

一実施形態では、方法はテスト対象のそれぞれに関し３次元点群データをキャプチャすることをさらに備える。

一実施形態では、深度画像からの対象の３次元表示を生成する方法が開示される。方法は、深度画像に第１メッシュをフィットすることを備え、第１メッシュは、複数のブロックのうちの複数のブロックの面に対応するパッチを細分化することによって形成される複数の四角形を備え、複数のブロックのうちのそれぞれのブロックは少なくとも１つの直方体から形成される。

第１メッシュは対象の３次元形状表示でもよい。

一実施形態では、方法は対象の深度画像をキャプチャすることをさらに備える。

一実施形態では、対象の３次元モデルを生成するためのシステムが開示される。システムは、複数の直方体を指示するユーザ入力を受信し、対象のクラスの表示を形成する複数のブロックへ直方体をグループ化するように構成されるユーザインターフェースと；複数のブロックのうちの複数のブロックの面に対応するパッチを細分化することによって、複数の四角形を備える第１メッシュを生成し、フィットしたメッシュを生成するために対象クラスから対象に関する第１メッシュを点群データにフィットするように構成されるプロセッサと；繰り返しさらなるメッシュを生成することを備え、前回の繰り返しからフィットしたメッシュのパッチを細分化しかつさらなるメッシュを点群データにフィットすることによって、複数の四角形を備え、システムは対象の３次元モデルとして繰り返し生成されるフィットしたメッシュを出力するように構成される。

モデルは対象の３次元形状表示でもよい。

ある実施形態は、プロセッサによって実行され、プロセッサに上記に示したような方法を行わせるコンピュータ実施可能な命令を備えるコンピュータプログラム製品を提供する。コンピュータプログラム製品は、記憶媒体または信号媒体であるキャリア媒体に具現化されてもよい。記憶媒体は光学的な記憶手段、または磁気的な記憶手段、または電子的な記憶手段を含んでいてもよい。

記述される実施形態は、特定のハードウェアデバイス、適切なソフトウェアによって構成される汎用デバイス、あるいは両方の組合せに組み入れることができる。態様は、完全なソフトウェア実行として、または既存のソフトウェアの変更または向上のためのアドオンコンポーネントとして、ソフトウェア製品で具体化することができる。そのようなソフトウェア製品は、記憶媒体（例えば、光ディスクまたはフラッシュメモリ等の大容量記憶メモリ）または信号媒体（例えば、ダウンロード）などのキャリア媒体に具体化される。実施形態に適している特定のハードウェアデバイスは、ＡＳＩＣ、ＦＰＧＡあるいはＤＳＰのような特定用途向けデバイス、あるいは他の専用機能ハードウェア手段を含んでもよい。読者は、ソフトウェアまたはハードウェアでの実施形態の上述のどの議論も、まだ発見されていないまたは定義される実行手段に関して、発明の将来の実施を制限することはないと、理解するだろう。

ここに記述される実施形態は、人間のような被験者に関して以下でキューブシェイプ（CubeShapes）と呼ばれる表示の生成及び使用に関連する。

図１は、一実施形態に従うモデル生成システムを示す。モデル生成システム１００は、入力モジュール１１０、メモリ１２０、処理モジュール１３０、及び点群キャプチャ装置１４０を備える。モデル生成システム１００は、選択的または追加的に生成するモデルを出力する例えばネットワーク接続である出力装置をさらに備えてもよい。モデル生成システム１００は、生成するモデルを処理するさらなる処理モジュール、さらなる処理の結果を出力するディスプレイまたは他の出力装置を備えてもよい。

入力モジュール１１０は、ユーザが対象のおおよその形状を定義するクラストポロジーを入力することを可能にする。入力モジュール１１０は、ユーザがマウスを使用してクラストポロジーを示すことを入力することを可能にしてもよい。メモリ１２０は、クラストポロジー１２２、メッシュトポロジー１２４、メッシュインスタンス１２６及び点群データ１２８に関する記憶装置を備える。クラストポロジー１２２は、複数のブロックにグループ化される１セットの直方体として、人間のような被験者のクラスの形状を概略的に記述する。メッシュトポロジー１２４は、与えられた解像度で対象のメッシュか統計モデルを記述する。メッシュインスタンス１２６は、対象の３次元形状を表わすために３次元点及び法線に関連づけられるメッシュトポロジーである。点群データ１２８は、複数の対象からキャプチャされた３次元形状を示すデータである。

処理モジュール１３０は、細分化モジュール１３２とフィッティングモジュール１３４を備える。細分化モジュール１３２は、メッシュトポロジー１２４を計算するためにクラストポロジー１２２を細分化し、より高い解像度のさらなるメッシュトポロジーを計算するためにメッシュトポロジー１２４を細分化するように構成される。フィッティングモジュールはメッシュインスタンス１２６を計算するために、メッシュトポロジー１２４を点群データ１２８にフィットするように構成される。これは例えば非剛体ＩＣＰを使用して達成される。

点群キャプチャ装置１４０は、例えば複数の対象からの点群データをキャプチャするように構成されるレーザスキャナである。

図２は、一実施形態に従う対象の表示を生成する方法を示す。ステップＳ２０２では、クラストポロジーを記述するユーザ入力は受け取られる。ユーザはクラストポロジー（すなわち、表示されるオブジェクトのクラスのトポロジー）を記述する。ステップＳ２０４では、メッシュトポロジーは、クラストポロジーを細分化することによって生成される。その後、クラストポロジーはいくつかの細分化パラメータを与えられたメッシュトポロジーへ細分化することができる。ステップＳ２０６では、メッシュインスタンスは、３次元点及び法線をメッシュトポロジーと関連づけることによって生成される。

クラストポロジーは、ブロック

のグラフとして形式的に定義される。ブロック

は軸方向に整列した離散的な３次元ボックスであり、それは

として定義できて、起点及び起点＋サイズがボックスの２つの対角に反対になる角である。２つのブロックｂ_ｉ；ｂ_ｊは接続され、それらが隣接する場合かつこの場合に限り（ブロック衝突は許されない）すなわち

となる。ボックスが存在する離散的な３次元空間

は直方体空間と呼ばれる。

実際上、エディタは、単純なマウス相互作用を使用して、２ステップでクラストポロジーの迅速な生成を可能にする。

図３は、一実施形態に従うクラストポロジーのユーザ入力を示す。最初に、図３ａの中で示されるように、ユーザは、オブジェクトのクラスの形状に近づけるために、新しい直方体３０２を加える。幾何学的なトポロジーを正確に定義することは重要である。プロポーションを概算することは、メッシュの四角形が引き延ばされ過ぎるのを防いでくれる。複数の直方体を選択することは、ワンクリックでいくつかの直方体を追加することを許容する。図３ｂは、完全な１セットの直方体を示す。そして、ユーザは直方体をブロックへグループ化する。これは、図３ｃに示されている。ブロックは名付けられ、好ましくは有意義な意味情報を使用する。これは例えば、人間の場合では「腕」または「脚」でもよい。図３ｃに示すように、複数の直方体は以下のような複数のブロックにグループ化される：頭３５２、首３５４、右上腕３５６、右前腕３５８、左上腕３６０、左前腕３６２、胴３６３、右脚３６４、右足３６６、左脚３６８、左足３７０。

上に記述された手続きは要求される唯一のユーザの相互作用であり、また、残りのステップは与えられたグラフＧ_{ｂｌｏｃｋ}から自動的に計算されることは注意する。

直方体の配置に適用される２つの主な演算は次のとおりである：メッシュ解像度を変更するための細分化と、表面を点群にフィットするための変形である。ここでトポロジーは、人間形状が境界を備える滑らかな多様体として見られるように定義される。

被検体（例えば人間）の形状を概算するために配置される複数の直方体から構築されるトポロジーの使用は、２つの利点がある。第１はサンプリングである：人間形状を表示するために直方体のような単純な形状を使用することは、過度に伸張された四角形でのメッシュをもたらす。例えば、腕は元々の直方体から引き出される必要がある。そのような伸張される四角形は、多くの状況で好ましくなく、かつ再メッシュ技術を使用して通常は取り除かれる。それらは、直方体を細分化することができる方法で柔軟性があることに注意する。その方法は経験則として、形状が一般形状から近づくほど、頂点サンプリングはより規則正しくなりかつ四角形はより「四角」になる。第２は意味理由がある：複数のブロックは、例えば「胴」のように関連のある複数の名前と同一視することができる。下でわかるように、これはいくつかの状況では極めて便利である。しかし人間形状を記述するために単純な直方体を使用することは、分離した手足に個別にアクセスすることを許容せず、これは非常に有用でない。

一旦３次元ブロックが定義されたならば、複数の表面パッチは複数のブロックから生成される。

図４ａは、一実施形態で複数の外部パッチの生成を示す。一旦３次元ブロックが定義されたならば、対応する２次元パッチは自動的に生成される。パッチｐ_ｉはブロックの１つの面であり、それは

でパラメータ化される。図４ａに示されるように、胴の表面上の４つのパッチ４１２、４１４、４１６及び４１８が見える。

パッチは外部でもよいしあるいは内部でもよい。図４ｂは一実施形態での内部パッチを示す。図４ｂで示されるように、内部パッチ４２２は右上腕を胴に接合し、内部パッチ４２４は胴を首に接合し、内部パッチ４２６は胴を左上腕に接合し、内部パッチ４２８は胴を右脚に接合し、内部パッチ４３０は胴を左脚に接合する。外部パッチだけが対象の表面を記述するために使用される。複数のパッチはグラフ

によって表示することができ、２つのパッチは接続され、それらが隣接している場合かつその場合に限りそれは

である。

図４ｃは、複数のパッチのパラメータ化を示す。パッチの上の場所は

としてパラメータ化される。ここで、ｕは赤に位置しｖは緑にマッピングする。Ｅ_{ｐａｔｃｈ}の要素は、隣接したパッチの間のエッジとして幾何学的に解釈することができる。パッチは、有効なpost_x: right/left, bottom/top, back/front（それぞれ正／負方向ｘ、ｙ及びｚにマッピングする）を加えることによってブロック名から自動的に名付けられる。名前は手動でより意味のあるものへ変更できる。ブロック及びパッチの意味のあるネーミングは、メッシュへのプログラム的アクセスが容易になる。

完全にクラストポロジーを定義するために、ブロックまたはパッチがメッシュトポロジーへどのように細分化されるかに関していくつかの規則を定義する必要がある。これらの規則を理解するために、意図的に我々が四角だけで作られた穴のないメッシュを期待することが指摘される。メッシュを十分に接続させておきかついわゆる「Ｔ接合」を回避するために、我々は複数のパッチが一貫したやり方で細分化されることを確かめる必要がある。より正確には、細分化は２つの規則に従わなければならない：
１． 規則性：パッチは規則的なグリッドを使用して、細分化だけすることができる。すなわち、パッチの全ての正方形は与えられた方向に沿って等しく細分化されなければならない。
２． 連結性：隣接した２つのパッチは、隣接する正方形になるように細分化されなければならない。

図５ａは、規則性の規則の複数の例を示す。意図的に、細分化されたパッチは、等しいサイズの「ピクセル」で単純な規則正しいグリッドを使用して画像があるとしてアクセスされる。左手側の例は水平方向に及び垂直方向に均等に分割されている。従って左手側の例は、規則性の規則を満たしている。右上方の例は水平方向に等しく分割されていない。右下方の例は垂直方向に等しく分割されていない。従って右手側に示される例は、規則性の規則を満たしていない。

図５ｂは、連結性規則の複数の例を示す。第１の例では、上部のパッチの分割は下部のパッチ上の分割に全て連結される。従って、第１の例は連結性規則を満たす。第２の例では、下部のパッチ上に連続しない上部のパッチ上の分割がある。従って、第２の例は連結性規則を満たさない。第３の例では、下部のパッチ上の分割に連結しない上部のパッチ上の分割があり、かつ上部のパッチ上の分割に連結しない下部のパッチ上の分割もある。従って、第３の例は連結性規則を満たさない。

規則は、表面の至る所で細分化を広める傾向があり、かつ類似して細分化されるパッチのグループを形成する傾向がある。これらのグループは、ブロック間の２項関係の等価のクラス〜ｄとして記述することができる。ここで、

は次元である。２項関係形式を使用することによって、上記の２つのルールは以下になる：
１． 規則性：任意のパッチｐに関して２次元

を張ること（反射性）
２． 連結性：２つの隣接するパッチ

と

が与えられた場合、ここでｄはエッジ

の方向である、

かつ

である場合、

であることを示すことができる。（移行性）
図６ａから６ｃまでは、細分化規則を適用することの効果の例を示す。

図６ａは、細分化が胴の平面と平行に作られる一例である。図６ａに示されるように、頭を形成するブロック６１０の側面上の複数のパッチは、複数の分割６１２によって垂直方向である。首を形成するブロック６１４の側面上の複数のパッチもまた、頭を形成するブロック６１０の側面上のパッチ上の複数の分割６１２に一致する複数の分割６１６によって分割される。図６ａに示されるように、他のブロックの側面上のパッチもまた、対応する分割で分割される。

図６ｂは、腕を形成するブロックが細分化される一例を示す。図６ｂに示されるように、右腕を形成するブロックの上部及び前部上の複数のパッチは、複数の分割６２２によって分割される。ここで、右腕の前部を形成するパッチ上の複数の分割は、右腕の上部を形成するパッチに連続している。左腕６２４を形成するブロックの上部及び前部上の複数のパッチは、対応するセットの分割６２６で分割される。

図６ｃは、（ｉ）細分化の次元：ｘ（ｉｉ）ブロックのリスト：右足６３２、左足６３４、右脚６３６、左脚６３８、胴６４０、首６１４、頭６１０によって記述される細分化領域の細分化を示す。ブロックとパッチに類似して、意味的に重要な名前をそれぞれの細分化領域に与えることは推奨される。例えば、上記の例は、胴右左と名付けられる。ある細分化領域は対称性の理由のため合併することができる。例えば、人間形状の２つの脚：下方または上方の方向に沿って等しくそれらを細分化することには意味がある。

これらの２項関係は自然に同値類を形成する。ここで、クラスの各々が細分化領域と呼ばれる。

次元ｄが与えられた場合、与えられたブロックの全てのパッチが、（ｉ）同様な同値類に属するか、または（ｉｉ）ｄに垂直でありかつこの次元での細分化によって影響されないことを証明できる。この特性によって、ある与えられた細分化領域を記述することが容易になる：その非直交のパッチが同様な同値類である全てのブロックｂ_ｉによって及び次元ｄとして、単純に定義される。

図７は、人間の被験者用の細分化領域を示す。人間形状の場合では図７に示されるように、９つの細分化領域を定義することができる。これらの細分化領域は次のとおりである：左右腕７１０、左右手７２０、左右胴７３０、上部下部頭７４０、上部下部足７５０、上部下部脚７６０、上部下部首７７０、上部下部胴７５０、全ての表裏７９０。クラストポロジーをメッシュトポロジーに細分化することは、９の入力パラメータ（９の自由度）を取り込む機能であることを意味する。これらのパラメータを含むベクトルは、細分化ベクトルと呼ばれる。図６ａは全ての表裏７９０にサブ領域分割を示しと、図６ｂは左右腕７１０にサブ領域分割を示し、図６ｃは左右胴７３０にサブ領域分割を示していることに注意する。

図８は、異なる細分化ベクトルに対応する登録される人間形状の３つの異なる細分化パラメータを示す。

図８ａは、細分化ベクトル［５；２；３；４；２；７；３；３；３］に対応する登録された人間形状の細分化パラメータを示す。

図８ｂは、細分化ベクトル［１０；４；５；９；３；１５；５；５；５］に対応する登録された人間形状の細分化パラメータを示す。

図８ｃは、細分化ベクトル［２０；７；１０；１７；６；２９；８；９；８］に対応する登録された人間形状の細分化パラメータを示す。

複数の細分化ベクトルでの数字は、各四角形の伸張を最小化するように選択されていて、図７の説明での上記にリストされた順序で複数の細分化領域のそれぞれでの分割数に対応することに注意する。複数の３次元点は、非剛体登録アルゴリズムの結果である。

形式的に、メッシュトポロジーを作成することは簡単である：パッチはそれぞれ細分化ベクトル中の２つの適切な数字を使用して分割される。複数の四角形

のグラフ及び頂点

のグラフのように、演算の結果を見ることができる。１セットのエッジＥ_ｅｄｇｅがＧ_ｑｕａｄとＧ_{ｖｅｒｔｅｘ}に共通であることに注意する。

以前に定義されたように、複数の直方体が細分化の前に存在する離散的な３次元空間

は、直方体空間と呼ばれる。細分化もまた表面に作用するよりもむしろ体積に作用すると記述することができる：複数の直方体は複数のボクセルへ細分化される。２つの座標

を使用してボクセルを参照することは便利である。ここで、ｃは直方体空間に属し、ボクセルを含む直方体を参照し、

は（細分化された）直方体内のボクセルの座標である。この関係において、空間

はボクセル空間と呼ばれる。

図９は、ｃ=(2,0)及び

でのボクセル空間

でボクセルの位置の例を示す。

一旦メッシュトポロジーが作成されたならば、メッシュインスタンスを得るために、Ｖ_{ｖｅｒｔｅｘ}での各頂点に３次元点を割り当てる必要がある。要約すると、クラストポロジーは、オブジェクト（例えば人体形状）のクラスを記述し、メッシュトポロジーは、指定された解像度（しかし特定個人の形状についての知識なしで）でメッシュを記述し、そしてメッシュインスタンスは、指定された解像度での特定個人の３次元メッシュである。

キューブシェイプの実施形態は、ある複数の演算を促進する単純なメッシュ表示を提供する。

キューブシェイプを与えられた場合、表面（例えば腕輪のような）全域に渡りリング（ループとも呼ばれる）を計算することは容易である。メッシュは四角形のみで定義されるが、ボクセル空間で開始位置と方向を特定することによってリングを作ることができる。そして、リングは自動的に定義される。異常な点（すなわち、隣の数が４でない点）が経路に沿っている場合は少し注意が払われなければならない。

図１０ａは、明白なリング及び曖昧なリングの例を示す。リングはボクセル空間の複数の直方体１０００上で定義される。第１リングは、スタート位置１０１０、及び矢印１０１２によって示される方向を指定することによって作られる。第１リングの経路１０１４は、各点では４つの隣があるので、明白になる。第２リングは、開始位置１０２０及び矢印１０２２によって示される方向を指定することによって作られる。しかし、第２リング５つの隣がある点を通っているので、リングが第１経路１０２４または第２経路１０２６に続くべきかどうかについて曖昧である。この場合、真っ直ぐ進むことは曖昧であり、ユーザはさらなる仕様を提供しなければならない。

リングがメッシュトポロジー上で計算されるので、以前に定義されたリングが離散的なリングと呼ばれていることに注意する。胴の真ん中の高さでリングを定義するために、それらを使用することはできず、例えば、細分化ベクトルに依存するので、頂点はちょうどその高さに存在しない。

図１０ｂは、メッシュトポロジー上のいかなる場所でも定義することができる複数の連続的なリングの定義を示す。連続的なリング１０３０を定義するために、連続する２つの離散的なリング１０３２及び１０３４が定義され、また、それらの間で補間重みｗが与えられる。連続的なリングはメッシュトポロジーと無関係にリングを定義することを可能にするので、連続的なリングは重要である。クラストポロジーだけが必要であり、高さは、パッチのパラメータ化された空間で指定することができる。

連続的なリングは形状の骨格を生成するために使用することができる。

図１１ａは、一実施形態で生成される骨格を示す。骨格１１００はそれぞれの関節のまわりの骨格中の骨を回転させることにより形状を変形するために使用することができる。トポロジーはユーザから与えられる。骨格は複数の関節１１０１、１１０２、１１０３及び関節間の接続を備える。骨格を生成するために使用される方法は、解剖骨格に近づけるための経験則である。それにもかかわらず、説得力のあるやり方で人間形状を動かすような単純な課題を行なうことは有用である。骨格生成は連続的なリングに基づき、メッシュトポロジーは必要ではない。

図１１ｂは、ユーザによって入力される複数の連続的なリングを示す。ユーザによって入力されるリングはそれぞれ骨格中の関節に対応する。図１１ａに示されるように、被験者の右足のまわりのリング１１５１は骨格の足での関節１１０１に対応する。被験者の右の足首のまわりのリング１１５２は、骨格上の右足関節に対応する。被験者の右膝のまわりのリング１１５３は骨格上の右膝関節に対応する。

ここのリングが手動で選ばれ、本当の解剖骨格に対応しないことは注意する。コード骨格生成はここに示されないが、肘リングでの点の平均で肘関節を典型的に作成する。骨格の向きは、幾何学的な取り決めの組合せを使用して計算される。例えば、Ｘ軸は前の関節と連携し、肘の場合には、Ｙ軸が、人間形状の一般的な左右の方向に可能な限り接近している。

利点は、骨格生成アルゴリズムが細分化に依存しないということである。多くの値はあらかじめ計算しているので、骨格を生成することは速い（現代のマシンの１００万分の１０）。メッシュトポロジーを与える場合は、全ての連続するリングは、それらがメッシュインスタンスのどんな３次元知識を要求せず、計算することができ、キャッシュに格納することができる。

一旦キャッシュされ、かつ新しいメッシュインスタンスを与えられたならば、連続的なリングは新しい骨格を製造するために再度使用することができる。

一旦骨格が生成されたならば、それは標準的な方程式を使用して、リニアブレンドスキニング（Linear Blend Skinning）（骨格部分空間変形（Skeletal Subspace Deformation）としても知られる）のために使用することができる：

ここで、ｖ_ｉはニュートラルポーズ（ドレスポーズとも呼ばれる）での頂点位置であり、ｖ’_ｉはスキンド頂点位置（skinned vertex position）であり、Ｍ_ｊは関節ｊのオブジェクト−関節ドレスポーズ変換であり、Ｍ’_ｊは関節ｊのオブジェクト−関節スキンド変換である。

この方程式がメッシュを剥ぐために、逆になりえることに注意する：

不明のポーズでキューブシェイプが与えられ、ニュートラルポーズで形状を検索したい場合に、これは有用である。

スキニングは、スキニングの重みｗ_ｉｊを計算することを必要とする。コンピューターグラフィック産業では、典型的にはこれはアーティストによって手作業で行われる。別の手段は、異なるポーズで人々のデータベースから重みを学習することである。複数の骨が表面にどのようなに影響するかをアルゴリズムは自動的に推論するが、メッシュに与える骨の影響を制限することは有益にもなり得る。

図１２は、一実施形態でのパラメータ化された領域の中で影響エリアの定義を示す。パッチのパラメータ化を使用すると、表面上のエリアは、スキン重み学習過程を導くために使用し、定義することができる。この場合、左肩骨は、左上部胴エリア１２２０と結合した左上腕エリア１２１０によって制限されている。

自然に発生する対称性を利用することは、多くの点で役立てることができる。人体形状の場合には、与えられた形状の左右の対称性を生成するために使用することができる。このための単純な理由は、追加費用なしで、登録されたメッシュのデータベースのサイズを２倍にすることである。その規則的な構造と仮定すると、グラフ−トポロジーレベルで対称性を記述するのは簡単である：複数のブロックは、単に対応に入れられる。例えば、人間形状の左右対称性を、腕の場合は左腕及び右腕を対応する状態にすることによって記述することができる。

対称性がグラフ−トポロジーレベルで定義されるので、対称は連続的なリング及び影響エリアに同様に適用することができ、任意のメッシュ解像度と評価することができる。一般に、キューブシェイプに適用されるどんなツールも、ツールがメッシュ解像度に依存しないことを保証するグラフ−トポロジーに作用するように定義されるべきである。

ランドマークは、（ｉ）パッチ及び（ｉｉ）このパッチ内のｕ；ｖパラメータ化を与えることによって、グラフ−トポロジーレベルで定義することができる。例えば、左膝しわのランドマークが、パラメータ化０：５；０：５でパッチ左脚裏に属しているように定義される。

図１３ａから１３ｃは、細分化の異なるレベルで計算されたランドマークを示す。図１３ａは、頭上でランドマーク１３１０及び胴上のランドマーク１３２０での低解像度メッシュを示す。図１３ｂは、図１３ａに示されるメッシュを細分化することによって計算される中解像度メッシュを示す。２つのランドマーク１３１０及び１３２０は、中解像度に関して計算される。図１３ｃは、図１３ｂに示されるメッシュを細分化することによって計算される高解像度メッシュを示す。再び、ランドマーク１３１０及び１３２０は高解像度に関しても計算される。ランドマークだけはグラフ−トポロジーレベルで一旦定義されるべきであり、すると任意の解像度に関して計算することができる。

キューブシェイプは四角だけでできているので、キャットマル−クラーク細分化スキームを使用して、表面を記述することができる。

図１４は、キャットマル−クラーク細分化スキームの異なる細分化を示す。図１４ａは直方体を示す。図１４ｂから１４ｅは、球を近似するための表面の連続した細分化を示す。

キューブシェイプの実施形態は、（直方体を使用して）初期の最も粗い形状を作成するための単純な方法として理解することができる。従来の細分化表面表示に加えて、形状をパラメータ化することも単純な方法を与える。

高解像キューブシェイプの全てのパッチは、２次元画像として理解することができる（各頂点は３次元位置である）。新しい細分化ベクトルを仮定すると、低解像度メッシュを生成することは、従ってこれらの画像をサブサンプリングすることに等しい。

図１５ａは高解像度メッシュを示し、図１５ｂは低解像度メッシュに高解像度メッシュの再サンプリングを示す。

キューブシェイプによって課された拘束のために、形状のある部分をモデル化するのは難しい。例えば、これは人間の手の場合である。トポロジー的な視点から見て、手はここまで記述されたキューブシェイプによって表わすことができるが、四角形を過剰に伸ばさないようにしかつそれぞれの指にアクセスしやすいために、よりよい表示を必要としてもよい。

一つの回答は、仮に接続パッチの細分化が厳密に一致しているとしても、１つの手のみを表示しそしてそれを体に接続する個別のモデルをモデル化することである。

図１６ａから１６ｅは、一実施形態に従う手モデルを示す。図１６ａは、ユーザに入力される、直方体の配置を示す。図１６ｂは、ユーザによって定義されるブロック１６２０、１６２１、１６２２、１６２３、１６２４、及び１６２５を示す。

図１６ｃは、図１６ｂで定義されるブロックから計算される複数のパッチを示している。図１６ｃに示されるように、人差し指を形成するブロック１６２２上の３つのパッチ１６３１、１６３２、及び１６３３は、見える。

図１６ｄ細分化領域を示す。図１６ｄに示されるように、７つの細分化領域がある：１つは手のひらを上部から下部まで細分化する１６４１、１つは手を表から裏まで細分化する１６４２、５つはそれぞれ指と親指のそれぞれを細分化する１６４３，１６４４，１６４５，１６４６，及び１６４７。

図１６ｅは、手モデルが体にどのように接続されるか示す。腕１６５２の終端での２つの直方体１６５０は、手と取り替えられる。

右手の左右対称性として左手が単に生成することができることは注意する。

図１７は、深度画像から、対象の３次元表示を生成するためのシステム１７００を示す。システムは、対象から深度データをキャプチャする深度画像キャプチャ装置と、キューブシェイプモデル１７２２を格納するストレージ１７２０と、キューブシェイプモデル１７２２を、深度画像キャプチャ装置１７１０によってキャプチャされる深度データにフィットする処理モジュール１７３０と、プロセッサ１７３０によって決定される結果を表示するディスプレイ１７４０と、を備える。

キューブシェイプモデル１７２２は、図１及び２を参照して上に記述された方法の出力である。

図１８は、一実施形態に従う対象の３次元表示を生成する方法を示す。

ステップＳ１８０２では、対象の深度画像が取得される。ステップＳ１８０４では、キューブシェイプモデルは深度データにフィットされる。ステップＳ１８０６では、データを記述するキューブシェイプメッシュインスタンスが出力される。

キューブシェイプモデルの解像度は、センサーノイズに一致するように選ばれる：センサが騒々しいほど、細分化は粗くなる。キューブシェイプ細分化性能は、与えられたセンサに統計モデルを適応させることを支援することに注意する。例えば、より正確なセンサを考えると、統計モデルはより高いメッシュ解像度を使用して、再訓練することができる。

深度画像は深度画像キャプチャ装置１７１０によってキャプチャされてもよい。あるいは、方法は、ネットワーク上で、あるいは記憶媒体上でシステム１７００へ転送された深度画像に対して実行されてもよい。

方法は、ボタンまたはリモートコントロールのような手動トリガーを使用して始められてもよい。あるいは、方法はボイスまたはジェスチャーコマンドによってトリガーされてもよい。

方法は、異なる方法で自動的にトリガーされてもよい。人が特定エリアで立っていると検出されれば、方法は自動的にトリガーされてもよい。この検出は、深度画像キャプチャ装置からの検出の結果、またはフロアに配置される離れたセンサからの検出による結果としてもよい。あるいは、人が、現実世界での位置に関わらず、ポーズ及び形状の統計空間内にいると検出されるならば、方法がトリガーされてもよい。例えば、システムが良い身体形状推定を提供することができると評価するなら、方法はトリガーされる。

システムの出力は、３次元の場所のセット、及びメッシュ定義を含む３次元データファイルでもよい。

一実施形態では、ディスプレイは、それらが実際の製品を試着する必要なしで、衣類を着用している被験者の視覚化を表示するように構成される。

一実施形態では、システムは被験者の測定を計算するように構成される。その測定は、例えば、小中大の離散的なサイズでもよいし、または被験者のウエストまたは股下のような測定でもよい。

上記の記述では、人間のためのモデルとしてのキューブシェイプの使用は記述される。実施形態も他の被験者をモデル化するために使用されてもよい。

ある複数の実施形態は記述されているが、これらの実施形態は例のみを手段として提示されていて、発明の範囲を制限するようには意図されない。確かに、ここに記述された新しい方法及びシステムは様々な他の形式で具体化されてもよい；更に、様々な省略、置換及び変更は、発明の精神から逸脱することなくなされてもよい。添付のクレーム及びそれらの均等は、発明の範囲及び精神の中にあるように、そのような形式あるいは変更をカバーするように意図される。

Claims (20)

1. 対象の３次元モデルを生成する方法であって、
   対象用の点群データを受信し；
   複数の直方体を指示するユーザ入力を受信し、対象のクラスの表示を形成する複数のブロックへ直方体をグループ化し；
   前記複数のブロックのブロック面に対応する複数のパッチを細分化することによって、複数の四辺形を備える第１メッシュを生成し；
   フィットしたメッシュを生成するために、前記第１メッシュを前記点群データにフィットさせ；
   さらなる複数のメッシュを繰り返し生成すること、ここでそれぞれのメッシュは、前回の繰り返しからフィットしたメッシュの複数のパッチを細分化し、さらなるメッシュを前記点群データにフィットさせることによって、複数の四角形を備え；
   前記対象の前記３次元モデルとして、繰り返し生成されたフィットしたメッシュを出力すること、を備える方法。
2. 各メッシュを細分化することは、前記複数のブロックのブロック面に対応する複数のパッチを、前記面の各エッジに沿って一定間隔で細分化することを備える請求項１に記載の方法。
3. 各メッシュを細分化することは、第１ブロックのある面に対応する第１パッチを、第１エッジに沿って第１セットの細分化で細分化し、前記第１エッジに隣接する第２ブロックのある面に対応する第２パッチを、第２セットの細分化で細分化し、前記第１セットの細分化はそれぞれ、前記第１エッジでの前記第２セットの対応する細分化に接続する請求項１に記載の方法。
4. 前記対象のクラスは人間の被験者である請求項１に記載の方法。
5. 前記ユーザ入力は前記対象の骨格にある複数の関節の位置を示すことをさらに備え、前記方法は示すことから代表的な骨格を生成することをさらに備える請求項１に記載の方法。
6. 前記複数の関節の位置を示すことは、前記複数の関節の位置を示す前記ブロック上にある複数のリングを示すことを備える請求項５に記載の方法。
7. 前記複数の直方体を複数のブロックにグループ化することは、複数の直方体間の対応として対称性を示すことを備える請求項１の方法。
8. 前記対象用の前記点群データをキャプチャすることをさらに備える請求項１に記載の方法。
9. 対象のクラス内の複数のテスト対象に関する３次元点群データから、前記対象のクラスの３次元形状用の統計モデルを生成する方法であって、
   前記複数のテスト対象のテスト対象ごとに、解像度を増加させるモデルを以下によって繰り返し生成し：
   第１メッシュを前記点群データにフィットさせること、ここで前記第１メッシュは複数のブロックのブロック面に対応する複数のパッチを細分化することによって複数の四角形を備え、前記複数のブロックの各ブロックは少なくとも１つの直方体から形成され、その結果フィットした第１メッシュを得る；
   フィットした前記第１メッシュを細分化することによって第２メッシュを生成し；
   前記第１メッシュの代わりに第２メッシュを使用して、前記フィットさせること及び前記生成するステップを繰り返し、
   前記対象のクラス用の統計モデルとして反復の結果を出力することを備える方法。
10. フィットした前記第１メッシュを細分化することは、前記面の各エッジに沿って一定の間隔で複数のブロックの面に対応するパッチを細分化することを備える請求項９の方法。
11. フィットした前記第１メッシュを細分化することは、第１ブロックのある面に対応する第１パッチを、第１セットの細分化で第１エッジに沿って細分化することと、前記第１エッジに隣接する第２ブロックのある面に対応する第２パッチを、第２セットの細分化で細分化することを備え、前記第１セットの各細分化は前記第１エッジで前記第２セットの対応する細分化に接続する、請求項９に記載の方法。
12. 対象の前記クラスが人間の被験者である請求項９に記載の方法。
13. 前記テスト対象のそれぞれに関して代表的な骨格を生成することをさらに備える請求項１２の方法。
14. 複数の前記ブロックのうちのブロック間の対応によって定義される少なくとも１つの対象ルールを実行することをさらに備える請求項９の方法。
15. 前記テスト対象ごとに前記３次元点群データをキャプチャすることをさらに備える請求項９の方法。
16. 深度画像から対象の３次元表示を生成する方法であって、
    請求項１乃至１５のいずれか１つに記載の、前記対象の３次元モデルを生成する方法の各ステップを行い、
    繰り返し生成されたフィットした前記メッシュであって前記対象の３次元形状の表示になり得る前記メッシュを前記深度画像にフィットさせ、ここで前記メッシュは複数のブロックのうちの複数のブロック面に対応するパッチを細分化することによって形成される複数の四角形を備え、
    前記複数のブロックの各ブロックは少なくとも１つの直方体から形成される、３次元表示を生成する方法。
17. 前記対象の前記深度画像をキャプチャすることをさらに備える請求項１６に記載の方法。
18. ある対象の３次元モデルを生成するシステムであって、
    複数の直方体を指示するユーザ入力を受信し、対象のクラスの表示を形成する複数のブロックへ直方体をグループ化するように構成されるユーザインターフェースと、
    複数の前記ブロックのブロック面に対応する複数のパッチを細分化することによって、複数の四辺形を備える第１メッシュを生成し、フィットしたメッシュを生成するために対象のクラスからのある対象に関する点群データに前記第１メッシュをフィットさせ、繰り返しさらなる複数のメッシュを生成するように構成されるプロセッサと、を備え、
    ここでそのメッシュのそれぞれは、前回の繰り返しからのフィットした前記メッシュの複数のパッチを細分化し、前記点群データにさらなる前記メッシュをフィットさせることによって複数の四角形を備え、
    前記対象の前記３次元モデルとして繰り返し生成されフィットしたメッシュを出力するように構成されるシステム。
19. プロセッサ上で実行される際にプロセッサに請求項１に記載の方法を実行させるプロセッサ実行可能な命令を記憶するコンピュータ読み取り可能な記憶媒体。
20. プロセッサ上で実行される際にプロセッサに請求項９に記載の方法を実行させるプロセッサ実行可能な命令を記憶するコンピュータ読み取り可能な記憶媒体。