JP5232799B2 - スティチング情報を含む３ｄメッシュ情報を符号化／復号する方法及び装置 - Google Patents

Description

本発明は、３Ｄメッシュ情報の符号化及び復号に関し、具体的には、符号化の過程中に多様体で且つ向き付け可能に変換された元の非多様体／向き付け不可能モデルを復元するために用いられるスティチング情報（stitching information）の符号化及び復号に関する。３Ｄメッシュモデルが非多様体（non-manifold）又は向き付け不可能（non-orientable）である場合、まず符号化の過程中に多様体で且つ向き付け可能モデルに変換して、元のモデルの（頂点及び面のような）要素の複製を生じさせなければならない。

近年、広範囲に及ぶ３次元グラフィックスの利用の始まりが見られる。しかしながら、実装のために要求される膨大な情報量ゆえに、これらの復号のグラフィックスのアプリケーションはまだ制限されている。３次元モデルを表現する３Ｄメッシュ情報は、幾何情報、頂点間の連結情報、及び、色、法線及びテクスチャ座標のような属性情報を含む。幾何情報は、浮動小数点の３個の座標に関する情報を含む。連結情報は、３個以上の頂点が１つの多角形を形成するインデックスリストにより表現される。例えば、３２ビットの浮動小数点が幾何情報を表現するために用いられる場合、単一の幾何情報を表現するために９６ビット（１２Ｂ）を必要とする。即ち、３Ｄメッシュモデルが幾何情報のみを有する約１万個の頂点によって表現される場合、１２０ＫＢのメモリを必要とする。モデルが１０万個の頂点によって表現される場合、１．２ＭＢのメモリを必要とする。さらに、連結情報を２回以上重複させることができるので、多角形メッシュを用いて３次元モデルを格納するためには、膨大なメモリを必要とする。

この膨大な情報量の問題を解決するために、符号化が必要とされる。このために、ＭＰＥＧ−４（Moving Picture Expert Group）−ＳＮＨＣ（Synthetic and Natural Hybrid Coding）分野においてＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）の標準規格として採択された３Ｄメッシュコーディング（３ＤＭＣ：3D Mesh Coding）方式は、ＶＲＭＬ（Virtual Reality Modeling Language）ファイル内にＩＦＳ（ＩｎｄｅｘｅｄＦａｃｅＳｅｔ）によって表現される３Ｄメッシュ情報を符号化／復号することによって、伝送効率を改善する。

図１Ａ及び図１Ｂはそれぞれ、従来の３ＤＭＣによる符号化装置及び復号化装置の概念的な構成を示す。３ＤＭＣ符号化装置（１１０）は、３Ｄメッシュモデル（元のモデル）を２次元メッシュ構造に分解する位相分解（topological surgery）モジュール（１１１）、幾何情報符号化モジュール（１１２）、連結情報符号化モジュール（１１３）、属性情報符号化モジュール（１１４）、及びこれらの符号化モジュール（１１２乃至１１４）から生じる符号化の結果を集合的に圧縮し、３ＤＭＣビットストリームを生成するエントロピー符号化モジュール（１１５）を含む。

３ＤＭＣ復号化装置（１２０）は、エントロピー復号化モジュール（１２１）、幾何情報復号化モジュール（１２２）、連結情報復号化モジュール（１２３）、属性情報復号化モジュール（１２４）、及び位相合成モジュール（１２５）を含み、符号化された３ＤＭＣビットストリームから３次元モデルデータを復元する。

前述した３ＤＭＣ符号化装置（１１０）によって行われる３ＤＭＣ符号化は、主な特徴として、圧縮率を最大化するために位相分解モジュール（１１１）によって行われる位相分解動作を含む。位相分解動作は、ＩＢＭにより提案され、所定のメッシュが球と位相幾何学的に同一であるという仮定の下、所定の切断エッジに沿ってモデルを切断することによって、３次元モデルを２次元メッシュ構造に分解する分解動作である。このような動作は、単純多角形グラフ（例えば、三角形ストリップからなるバイナリツリー構造を有する三角形ツリー（Triangle Tree：ＴＴ））とメッシュを切断する経路を頂点間の連結構造として表す頂点グラフ（Vertex Graph：ＶＧ）とをもたらす。しかしながら、前述した位相分解動作は、所定のメッシュは球と位相幾何学的に同一であるという仮定を採用するので、元のモデルが球と位相幾何学的に同一でないメッシュを有する非多様体／向き付け不可能モデルである場合には、元のモデルを複数の多様体で且つ向き付け可能モデルに変換しなければならない。しかしながら、この変換過程で、頂点及び／または面は複製されて増加する。

図２Ａ及び図２Ｂは、非多様体モデルが２個の向き付け可能で且つ多様体モデルに変換される場合に、２個の頂点が複製されて追加される例を示す。図２Ａを参照すると、３個の面と５個の頂点を含む簡単な非多様体モデルが示されている。図２Ｂを参照すると、このモデルが２個の多様体モデルに変換されるように、２個の頂点「２＝５」及び「１＝６」が複製されて追加されている。この複製された要素の情報を、「スティチング情報」と言う。

図２Ｂに示される７個の頂点を有する２個の多様体モデルを３ＤＭＣ符号化及び復号した後に、元の非多様体／向き付け不可能モデル（以下、「非多様体モデル」という）を復元するために、スティチング情報が要求される。前述した例において、「２＝５」及び「１＝６」のスティチング情報を利用して第５及び第６の頂点情報を削除し、第５及び第６の頂点情報を第２及び第１の頂点情報に各々取り替えることによって、元の非多様体モデルを復元することができる。

３ＤＭＣ符号化及び復号過程により生成された向き付け可能で且つ多様体モデルは、複製された頂点及び面を含むので、元のモデルと異なる位相を有する。加えて、頂点または面のような要素基準に基づく編集及び特殊効果などを行うことができず、要素の順番に基づいたアニメーションを適用することができない。

本発明は、３ＤＭＣ符号化後、非多様体モデルを多様体モデルに変換するときに生成されるスティチング情報を効率的に符号化及び復号するための方法及び装置に向けられている。

本発明の一態様は、３Ｄメッシュ情報を符号化し、符号化されたビットストリームを出力するステップと、３Ｄメッシュ情報に含まれる要素のスティチング情報を符号化するステップと、ビットストリームのパケットを生成するステップであって符号化されたスティチング情報はパケット内に挿入されるステップとを備える３Ｄメッシュ情報を符号化する方法を提供する。スティチング情報は、複製された元の要素の総数と、複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有する。

本発明のさらに別の態様は、３Ｄメッシュ情報を符号化し、符号化されたビットストリームを出力するための手段と、３Ｄメッシュ情報に含まれる要素のスティチング情報を符号化するための手段と、ビットストリームのパケットを生成する手段であって符号化されたスティチング情報はパケット内に挿入される手段とを備える３Ｄメッシュ情報を符号化する装置を提供する。スティチング情報は、複製された元の要素の総数と、複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有する。

本発明のさらに別の態様は、３Ｄメッシュ情報パケットを復号し、元のモデルデータを復元するステップと、パケットがスティチング情報を含むかどうかを判定するステップと、パケットがスティチング情報を含むと判定された場合、パケットからスティチング情報を抽出し、スティチング情報を復号するステップと、復元された元のモデルデータ及び復号されたスティチング情報に基づいて元の非多様体モデルを復元するステップとを備える３Ｄメッシュ情報を復号する方法を提供する。復号されたスティチング情報は、複製された元の要素の総数と、複製された元の要素の各々に対する複製回数、元要素の識別情報及び複製要素の識別情報とを有する。

本発明のさらに別の態様は、３Ｄメッシュ情報パケットを復号し、元のモデルデータを復元するための手段と、パケットからスティチング情報を抽出しスティチング情報を復号するための手段と、復元された元のモデルデータ及び復号されたスティチング情報に基づいて元の非多様体モデルを復元するための手段とを備える３Ｄメッシュ情報を復号する装置を提供する。復号されたスティチング情報は、複製された元の要素の総数と、複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有する。

上で述べたように、本発明に従い、スティチング情報を、複製された元の要素の総数、各々の元の要素の複製の回数、元要素の識別情報、及び複製要素の識別情報を用いて表現し、識別可能な最小限のビット数で符号化することによって、スティチング情報を効率的に伝送し、計算量を著しく減少させる。

従来の３ＤＭＣによる符号化装置及び復号化装置の概念的な構成を示す図である。 ３Ｄメッシュモデルが非多様体モデル又は向き付け不可能モデルである場合に、これを２個の多様体で且つ向き付け可能モデルに変換することによって、頂点が複製されて追加される例を示す図である。 本発明による３ＤＭＣ符号化装置（３１０）及び３ＤＭＣ復号化装置（３２０）の概略ブロック図である。 本発明の例示的な実施形態による３Ｄメッシュ情報を符号化する過程を示す流れ図である。 本発明の例示的な実施形態による３Ｄメッシュ情報を復号する過程を示す流れ図である。 本発明の例示的な実施形態によるスティチング情報を符号化する過程を示す流れ図である。 本発明の例示的な実施形態によるスティチング情報を復号する過程を示す流れ図である。 本発明による追加された頂点／面スティチングを有する３ＤＭＣパケット構造の例を示す図である。 本発明によるパケット内に挿入された頂点／面スティチング情報の構文の例を示す図である。

以下では、本発明の例示的な実施形態が詳細に説明されるであろう。しかしながら、本発明は、下記で開示される例示的な実施形態に限定されず、様々な変形した形式に実装することができる。従って、例示的な本実施形態は、当業者にとって十分に実施可能な本発明の完全な開示のために提供される。

図３Ａ及び図３Ｂは、本発明による３Ｄメッシュ情報の符号化装置（３１０）及び３Ｄメッシュ情報の復号化装置（３２０）を示す概略ブロック図である。図３Ａを参照すると、本発明による３Ｄメッシュ情報の符号化装置（３１０）は、位相分解モジュール（３１１）、幾何情報符号化モジュール（３１２）、連結情報符号化モジュール（３１３）、属性情報符号化モジュール（３１４）、スティチング情報符号化モジュール（３１６）、及びエントロピー符号化モジュール（３１５）を含む。言い換えれば、符号化装置（３１０）は、図１Ａに示された従来の３ＤＭＣ符号化装置（１１０）とは異なり、３次元モデルでのスティチング情報を別個に符号化するためのスティチング情報符号化モジュール（３１６）をさらに含むことにより特徴づけられる。

前述したように、位相分解モジュール（３１１）は、３Ｄメッシュモデルを２次元メッシュ構造に分解する位相分解動作を行う。３Ｄメッシュモデルが非多様体モデルである場合に、これを複数の多様体モデルに変換することができる。非多様体モデルの多様体モデルへの変換は、ＭＰＥＧ−４の３Ｄメッシュコーディングの主要特徴として知られているので、本明細書では説明しない。

非多様体モデルから多様体モデルへの変換中に複製される要素（頂点及び面）に関する情報を「スティチング情報」と言う。復号部で３ＤＭＣ符号化されたビットストリームを復号した後に、元の非多様体モデルを復元するために、スティチング情報は必要とされる。スティチング情報を利用して、複製された要素を削除し、元の要素の情報と取り替えて、元の非多様体モデルを復元することができる。

スティチング情報符号化モジュール（３１６）は、本発明に従って、スティチング情報を識別可能な最小限のビット数で符号化するためのものである。符号化過程は、図６を参照して詳しく説明する。

一方、本発明による３Ｄメッシュ情報復号化装置（３２０）は、図１Ｂに示された従来の３ＤＭＣ復号化装置（３２０）と異なり、符号化されたスティチング情報を復号するためのスティチング情報復号化モジュール（３２５）と、復号された元のモデルのスティチング情報を用いて元の非多様体モデルを復元するスティチングモジュール（３２７）とをさらに含む。本発明によるスティチング情報復号化モジュール（３２５）によって行われるスティチング情報の復号過程は、図７を参照して詳しく説明されるであろう。

図４は、本発明の例示的な実施形態による３Ｄメッシュ情報の符号化過程を示す流れ図である。図４を参照すると、ステップ４１０で、３Ｄメッシュ情報を符号化し、符号化されたビットストリームを生成する。従来のＳＮＨＣの３ＤＭＣ符号化方式によれば、３Ｄメッシュ情報は、３Ｄメッシュモデルを（位相分解動作を用いて）２次元メッシュ構造に分解することによって生成され、頂点グラフ（ＶＧ）及びバイナリツリー構造の三角形ツリー（Triangle Tree：ＴＴ））を含む。

本発明は、３Ｄメッシュ情報の符号化自体によっては特徴づけられない。非多様体モデルの３Ｄメッシュモデルが多様体モデルに変換されるときに生成される、スティチング情報の表現及び符号化により特徴づけられる。３ＤＭＣ符号化と同様、スティチング情報を生成する全ての従来の符号化方式に本発明を適用することができることが、当業者にとって理解されるべきであろう。

ステップ４２０で、ステップ４１０の３ＤＭＣ符号化過程中に生成された要素のスティチング情報が符号化される。要素のスティチング情報は、複製された頂点及び／または面に関する情報であって、頂点スティチング情報または面スティチング情報または頂点及び面の両方のスティチング情報を選択的に含むことができる。

本発明は、スティチング情報が、複製された元の要素の総数、各々の元の要素の複製回数、元要素の識別情報及び複製要素の識別情報を含み、符号化ビットレート及び計算量を低減するために、このスティチング情報を識別可能な最小限のビット数で符号化することを特徴とする。

ステップ４３０で、ステップ４１０で符号化された３Ｄメッシュ情報ビットストリームのパケットが生成され、ステップ４２０で符号化された要素のスティチング情報がパケット内に挿入される。

図５は、本発明の例示的な実施形態による３Ｄメッシュ情報の復号過程を示す流れ図である。ステップ５１０で、３Ｄメッシュ情報パケットを復号する。３ＤＭＣの復号方式は、技術的に公知であるので、これに関する詳細な説明は省略する。

ステップ５２０で、３Ｄメッシュ情報パケットの所定の領域（例えば、ヘッダー領域）内に要素のスティチング情報が含まれているかどうかに関して判定が行われる。要素のスティチング情報が含まれていない場合には、復号過程は終了する。

一方、受信したパケット内に要素のスティチング情報が含まれると判定された場合、ステップ５３０で要素のスティチング情報を抽出し、復号する。

ステップ５４０で、復号された要素のスティチング情報に基づいて元の非多様体モデルを復元する。具体的には、復元された元のモデルから複製された要素の情報を削除し、対応する元の要素の情報に取り替えて、元の非多様体モデルを復元する。さらに、削除された複製要素情報によって各要素の識別情報が変更される場合、３Ｄメッシュ情報は、この変更を反映することにより再構成されることを必要とする。

ステップ５１０から５４０は、必ずしも前述した順に実行されるものではなく、異なった順番で実行できることが当業者によって容易に理解されるべきであろう。例えば、別の実施形態では、要素のスティチング情報が含まれるかどうか判定するステップ（ステップ５２０）及び要素のスティチング情報を抽出し復号するステップ（ステップ５３０）は、３ＤＭＣ復号（ステップ５１０）の前に行うことができる。

図６は、本発明の例示的な実施形態によるスティチング情報を符号化する過程を示す流れ図である。図６には、頂点スティチング情報符号化過程及び面スティチング情報符号化過程が共に行われるものとして示されているが、本発明がこの実施例に限定されるものではなく、頂点スティチング情報、面スティチング情報、または頂点及び面スティチング情報両方を、選択的に符号化できることが、当業者によって容易に理解されるであろう。

次に、複製された元の頂点の総数（ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓ）をｂｐｓｖビットで符号化する（ステップ６２０ａ）。次に、各々の元の頂点に対する複製された頂点の数に１加算した数（ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓ）をｂｐｓｖビットで符号化し、（ステップ６３０ａ）、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓの数の元の頂点の識別情報及び複製された頂点の識別情報もｂｐｓｖビットで符号化される（ステップ６４０ａ）。

ステップ６３０ａで、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓの値を、複製された頂点の数に１加算した数に設定することは、一例に過ぎず、本発明はこれに限定されない。代替的に、この値を、複製された頂点の数に設定することができる。上記実施形態において、この値を、複製された頂点の数に１加算した数に設定することは、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓ情報の後に挿入される識別情報の数が複製された頂点の数に１加算した数であるので、復号されるべき識別情報の数を示すためである。

その後、複製された元の頂点の数を１減少させ（ステップ６５０ａ）、残りの元の頂点の数が０であるかどうかに関して判定がなされる（ステップ６６０ａ）。そうでなければ、前述のステップ６３０ａ及び６６０ａを繰り返し行い、全ての頂点に対する元のスティチング情報を符号化する。

一方、ステップ６１０ｂ乃至６６０ｂでは、上記の頂点スティチング情報の符号化ステップ６１０ａ乃至６６０ａと同一の方法で面スティチング情報が符号化されるので、これに関する詳細な説明は省略する。

本発明に従って要素のスティチング情報が符号化される例が説明されるであろう。ＳＮＨＣの３ＤＭＣ符号化方式によれば、符号化／復号は、ＶＲＭＬに基づく要素の順番ではなく、変更した要素の順番で符号化／復号が行われる。従って、この変更された要素の順番の情報を考慮して、複製された頂点の識別情報と元の頂点の識別情報とを格納すべきである。

例えば、１０個の点と７個の面を含む非多様体モデルが２個の多様体モデルに変換され符号化される場合、２個の頂点が複製されたと仮定する。２個の頂点が複製されたので、実際の識別情報は、０、１、２、３、４、５、６、７、８、９、１０及び１１となり、ここで、１０及び１１は、複製された頂点を示す。１０個目の頂点は０個目の頂点から複製され、１１個目の頂点は３個目の頂点から複製される。頂点の順番が変更されなかった場合、０-１０及び３-１１の情報を利用して頂点スティチング情報を表現し符号化する。しかしながら、頂点の符号化の順番が、３、２、１、０、８、７、１０、６、５、１１、４、９に変更された場合、複製された頂点は、４番目及び９番目に符号化されるので、複製された頂点の実際の識別情報は、１０及び１１でなく、４及び９になる。０個目の頂点は３番目に符号化され、３個目の頂点は０番目に符号化されるので、３-４及び０-９の情報を利用して頂点スティチング情報を表現し符号化する。

ここで、複製された頂点の総数、ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓは、２となり、４ビット（＝ｌｏｇ₂１２）で符号化される。任意の１つの元の頂点について複製された頂点の数を計算した後、この数に１を加えた数を４ビットで符号化する。次に、元の頂点の識別情報及び複製された頂点の識別情報を４ビットで符号化する。この過程は、全ての複製された元の頂点が符号化されるまで行われる。この例では、頂点の順番が変更されない場合（０-１０及び３-１１）、「２ ２ ０ １０ ２ ３ １１」が４ビットで符号化されて、結果として「００１０ ００１０ ００００ １０１０ ００１０ ００１１ １０１１」を生じる。

図７は、本発明の例示的な実施形態によるスティチング情報を復号する過程を示す流れ図である。まず、頂点スティチング情報を符号化するために利用されるビット数「ｂｐｓｖ（bit per stitching for vertex）」が数式１によって得られる（ステップ７１０ａ）。

［数式１］

ここで、ｎＶは、複製された頂点を含むモデルをの頂点の総数を示す。

数式１は、説明的な目的である。別の実施形態では、ビット数の情報を、符号化されたスティチング情報内に含むことができる。

次に、符号化されたスティチング情報ビットストリームからｂｐｓｖビットを有するコードワードが読み取られ、複製された元の頂点の総数、ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓを復号する（ステップ７２０ａ）。その後、ｂｐｓｖビットを有するコードワードが読み取られ、１個の元の頂点についての、複製回数（または複製頂点の個数）に１加算した数、即ち、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓを復号する（ステップ７３０ａ）。

次に、ｂｐｓｖビット数を有するコードワードが順に読み取られ、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓの数の元頂点の識別情報及び複製頂点の識別情報を復号する（ステップ７４０ａ）。

複製された元の頂点の数を１減少させる（ステップ７５０ａ）。次に、残りの元の頂点の数が０であるかどうかについて判定がなされる（ステップ７６０ａ）。そうでなければ、前述のステップ７３０ａ及び７６０ａを繰り返し行い、全ての元の頂点についてのスティチング情報を復号する。

一方、ステップ７１０ｂ乃至７６０ｂは、前述した頂点スティチング情報の復号ステップ７１０ａ乃至７６０ａと同一の方法で面スティチング情報の復号を行うので、これに関する詳細な説明は省略する。

要素スティチング情報を復号する過程が終了した後、複製された要素情報は、復号されたスティチング情報に基づき元の要素情報と取り替えられて削除され、１個以上の多様体で且つ向き付け可能なモデルから元の非多様体または向き付け不可能モデルを復元する。例えば、幾何情報の場合、元の頂点に対する幾何情報以外の、複製された頂点に対する幾何情報は、復号された３次元幾何情報から全て削除される。連結情報の場合には、削除された複製頂点の識別情報を使用するｃｏｏｒｄＩｎｄｅｘ値は全て、元頂点の識別情報と取り替えられる。最後に、複製頂点の削除によって頂点の識別情報が変更される場合は、連結情報はこの変更を反映することにより再構成されるべきである。

本発明に従って要素スティチング情報が復号された後、元の非多様体または向き付け不可能モデルが復元される過程が、例として説明されるであろう。復号された３次元幾何情報、連結情報、及び頂点スティチング情報は次のとおりである。

coord Coordinate {
point [
-0.0010 -0.0010 0.9980
0.9980 -0.0010 0.9980
0.9980 0.9980 0.9980
-0.0010 0.9980 0.9980
-0.0010 0.9980 -0.0010
-0.0010 -0.0010 -0.0010
0.9980 -0.0010 -0.0010
0.9980 0.9980 -0.0010
0.9980 1.9990 0.9980
0.9980 1.9990 -0.0010
0.9980 0.9980 -0.0010
0.9980 0.9980 0.9980
]
}
coordIndex [
0 1 2 3 -1
0 3 4 5 -1
0 5 6 1 -1
1 6 7 2 -1
2 7 4 3 -1
4 7 6 5 -1
8 9 10 11 -1
]
vertex stitching information
7-10 , 2-11

第一に、復号されたスティチング情報に基づき、元の頂点の情報以外の複製された頂点の情報を削除し、取り替える。削除された複製頂点についての識別子を使用するｃｏｏｒｄＩｎｄｅｘは、元の頂点についての識別子と取り替えられて、その結果、次の結果を得る。

coord Coordinate {
point [
-0.0010 -0.0010 0.9980
0.9980 -0.0010 0.9980
0.9980 0.9980 0.9980
-0.0010 0.9980 0.9980
-0.0010 0.9980 -0.0010
-0.0010 -0.0010 -0.0010
0.9980 -0.0010 -0.0010
0.9980 0.9980 -0.0010
0.9980 1.9990 0.9980
0.9980 1.9990 -0.0010
]
}
coordIndex [
0 1 2 3 -1
0 3 4 5 -1
0 5 6 1 -1
1 6 7 2 -1
2 7 4 3 -1
4 7 6 5 -1
8 9 7 2 -1
]

複製頂点の削除によって頂点の識別情報が変更される場合、即ち、識別情報が連続的ではない場合、連結情報を、この変更を反映することにより再構成するべきである。上記の例では、複製された頂点が最後に追加されたので、再構成を行う必要はない。しかしながら、変更された要素の順番で符号化／復号が実行されるように、複製された頂点が元の頂点の間に置かれる場合、複製された頂点の削除は、各頂点に対する識別情報を変更する。従って、識別情報の変化を、連結情報を修正するために反映しなければならない。例えば、元の頂点の間に複製された頂点が追加された場合、複製された頂点を削除し、その後に続く頂点に対する識別情報を修正しなければならない。

図８は、本発明によって頂点／面スティチング情報が追加された３ＤＭＣパケット構造の例を示す。図８に示された３ＤＭＣパケットの構造は、ＭＰＥＧ−４−ＳＮＨＣで知られている。従って、各フィールドに関する詳細な説明は省略され、本発明によって追加されたフィールドが説明されるであろう。

図８を参照すると、元のモデルが非多様体モデルである場合、「ｈａｓ＿ｓｔｉｔｃｈｅｓ」フラグに基づき、「ＳＤ（Ｓｔｉｔｃｈｉｎｇ Ｄａｔａ）」が挿入されるかどうかに関して判定が行われる。

前述したパケット構造は、説明的な目的であって、３ＤＭＣパケット内での頂点スティチング情報及び面スティチング情報の位置を変更することができる。例えば、上記例では、頂点スティチング情報及び面スティチング情報は「ＴＤ（Ｔｒｉａｎｇｌｅ Ｄａｔａ）」の後に挿入されるが、別の例では、「ＴＴ（Ｔｒｉａｎｇｌｅ Ｔｒｅｅ）」と「ＴＤ」との間に挿入することができる。

図９Ａ及び図９Ｂは、本発明によるパケット内に挿入された頂点／面スティチング情報の構文の例を示す。

図９Ａを参照すると、頂点に対するスティチング情報が示される。符号化過程で頂点が複製されるかどうかを示す「ｈａｓ＿ｖｅｒｔｅｘ＿ｉｎｃｒｅａｓｅ」フラグがオンである場合、複製された元の頂点の総数である、ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓがパケットに挿入され、各々の元の頂点に対する複製された頂点の総数（または複製された頂点の総数に１加算した数）である、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓがパケットに挿入される。次に、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓの数の元の頂点及び複製された頂点についての識別情報がパケットに挿入される。

図９Ｂを参照すると、面に対するスティチング情報が示される。符号化過程で面が複製されるかどうかを示す「ｈａｓ＿ｆａｃｅ＿ｉｎｃｒｅａｓｅ」フラグがオンである場合、複製された元の面の総数である、ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓがパケットに挿入され、各々の元の面に対する複製された面の総数（または複製された面の総数に１加算した数）である、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｆａｃｅ＿ｓｔｉｔｃｈｅｓが挿入される。次に、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｆａｃｅ＿ｓｔｉｔｃｈｅｓの数の元の面及び複製された面についての識別情報がパケットに挿入される。

上記の例では、頂点が複製されるので、オンに設定されるｈａｓ＿ｖｅｒｔｅｘ＿ｉｎｃｒｅａｓｅがパケットに挿入され、複製された元の頂点は７及び１１であるので、ｎ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓは、２に設定される。第一の元の頂点である７の複製された点は「１０」であるので、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓは１（または２）に設定され、識別情報７及び１０が挿入される。元の頂点２の複製された頂点は「１１」であるので、ｎ＿ｄｕｐｌｉｃａｔｉｏｎ＿ｐｅｒ＿ｖｅｒｔｅｘ＿ｓｔｉｔｃｈｅｓは１（または２）に設定され、識別情報２及び１１が続いて挿入される。

上記例では、頂点スティチング情報及び面スティチング情報が含まれるかどうかを示す1ビットのフラグ、ｈａｓ＿ｖｅｒｔｅｘ＿ｉｎｃｒｅａｓｅ及びｈａｓ＿ｆａｃｅ＿ｉｎｃｒｅａｓｅが用いられる。別の例では、次の２ビットのｈａｓ＿ｖｅｒｔｅｘ＿ｆａｃｅ＿ｉｎｃｒｅａｓｅフラグを用いることができる。

前述した本発明を、１つ又は複数のコンピュータ可読記録媒体に格納されたコンピュータプログラムとして提供することができる。このコンピュータ可読記録媒体は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリカード、ＰＲＯＭ、ＲＡＭ、ＲＯＭ、または磁気テープであってよい。一般的に、コンピュータプログラムは、任意のプログラミング言語で書くことができる。

ある例示的な実施形態を参照して本発明が示され説明されてきたが、添付した特許請求の範囲により定義される本発明の趣旨及び範囲を逸脱しないで、形式上及び細部にわたって様々な変形を行うことができることが、当業者によって理解されるであろう。

Claims (19)

1. ３次元（３Ｄ）メッシュ情報を符号化する方法であって、
   前記３Ｄメッシュ情報を符号化し、符号化されたビットストリームを出力するステップと、
   前記３Ｄメッシュ情報に含まれる要素のスティチング情報を符号化するステップと、
   前記ビットストリームのパケットを生成するステップであって、符号化されたスティチング情報は前記パケット内に挿入されるステップとを備え、
   前記スティチング情報は、複製された元の要素の総数と、前記複製された元の要素各々に対する複製回数、元要素の識別情報及び複製要素の識別情報とを有することを特徴とする方法。
2. 前記スティチング情報は、頂点スティチング情報及び面スティチング情報のうちの少なくとも１つであることを特徴とする請求項１に記載の方法。
3. 前記スティチング情報を符号化するステップは、
   前記スティチング情報を符号化するために利用されるビット数を
   

   

   （ここで、Ｎは、複製された要素を含む要素の総数）に設定するステップと、
   前記複製された元の要素の総数を前記ビット数で符号化するステップと、
   前記複製された元の要素の各々に対する、前記複製回数に１を加えた回数、前記元要素の識別情報及び前記複製要素の識別情報を前記ビット数で符号化するステップと
   を備えることを特徴とする請求項１に記載の方法。
4. 前記スティチング情報を符号化するステップは、
   前記スティチング情報を符号化するために利用されるビット数を
   

   

   （ここで、Ｎは、複製された要素を含む要素の総数）に設定するステップと、
   前記複製された元の要素の総数を前記ビット数で符号化するステップと、
   前記複製された元の要素の各々に対する、前記複製回数、前記元要素の識別情報及び前記複製要素の識別情報を前記ビット数で符号化するステップと
   を備えることを特徴とする請求項１に記載の方法。
5. 非多様体モデルを多様体モデルに変換することによって、前記非多様体モデルデータの符号化過程中に生成されるスティチング情報を符号化する方法であって、
   前記スティチング情報を符号化するために利用されるビット数を
   

   

   （ここで、Ｎは、複製された要素を含む要素の総数）に設定するステップと、
   複製された元の要素の総数を前記ビット数で符号化するステップと、
   前記複製された元の要素の各々に対する、複製回数に１を加えた回数、元要素の識別情報、及び複製要素の識別情報を前記ビット数で符号化するステップと
   を備えることを特徴とする方法。
6. ３Ｄメッシュ情報を符号化する装置であって、
   前記３Ｄメッシュ情報を符号化し、符号化されたビットストリームを出力する手段と、
   前記３Ｄメッシュ情報に含まれる要素のスティチング情報を符号化する手段と、
   前記ビットストリームのパケットを生成する手段であって、符号化されたスティチング情報は前記パケット内に挿入される手段と
   を備え、
   前記スティチング情報は、複製された元の要素の総数と、前記複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有することを特徴とする装置。
7. 前記３Ｄメッシュ情報に含まれる要素の前記スティチング情報は、頂点スティチング情報及び面スティチング情報のうちの少なくとも１つであることを特徴とする請求項６に記載の装置。
8. 非多様体モデルから多様体モデルに変換することによって、前記非多様体モデルデータの符号化の過程中に生成されるスティチング情報を符号化するための装置であって、
   複製された元の要素の総数をビット数
   

   

   （ここで、Ｎは、複製された要素を含む要素の総数）で符号化するための手段と、
   前記複製された元の要素の各々に対する、複製回数に１を加えた回数、元要素の識別情報及び複製要素の識別情報を前記ビット数
   

   

   で符号化するための手段と
   を備えることを特徴とする装置。
9. コンピュータによって実行されると、前記コンピュータに、請求項１乃至４のいずれか１つに記載の方法を実行させるコンピュータプログラムが記録されていることを特徴とするコンピュータ可読記録媒体。
10. コンピュータによって実行されると、前記コンピュータに、請求項５に記載の方法を実行させるコンピュータプログラムが記録されていることを特徴とするコンピュータ可読記録媒体。
11. ３Ｄメッシュ情報パケットを復号し、元のモデルデータを復元するステップと、
    前記パケットがスティチング情報を含むかどうか判定するステップと、
    前記パケットが前記スティチング情報を含むと判定された場合に、前記パケットから前記スティチング情報を抽出し、前記スティチング情報を復号するステップと、
    復元された元のモデルデータ及び復号されたスティチング情報に基づいて元の非多様体モデルを復元するステップとを備え、
    前記復号されたスティチング情報は、複製された元の要素の総数と、前記複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有することを特徴とする３Ｄメッシュ情報を復号する方法。
12. 前記スティチング情報は、頂点スティチング情報及び面スティチング情報のうちの少なくとも１つであることを特徴とする請求項１１に記載の方法。
13. 前記パケットがスティチング情報を含むかどうか判定するステップは、前記スティチング情報が前記パケットのヘッダーの所定の領域に含まれるかどうかを示すフラグ値を利用することを特徴とする請求項１１に記載の方法。
14. 前記復元された元のモデルデータ及び前記復号されたスティチング情報に基づいて元の非多様体モデルを復元するステップは、
    前記復元された元のモデルデータから前記複製された要素の情報を削除するステップと、
    削除された複製要素情報をこれに対応する元の要素情報に取り替えるステップと
    を備えることを特徴とする請求項１１に記載の方法。
15. 前記復元された元のモデルデータ及び前記復号されたスティチング情報に基づいて元の非多様体モデルを復元するステップは、前記削除された複製要素情報によって各要素の識別情報が変更される場合、この変更を反映することにより、前記３Ｄメッシュ情報を再構成するステップをさらに備えることを特徴とする請求項１４に記載の方法。
16. 前記スティチング情報を復号するステップは、
    （１）ビット数
    

    

    （ここで、Ｎは、前記複製された要素を含む要素の総数）を有するコードワードを読み取り、複製された元の要素の総数を復号するステップと、
    （２）前記ビット数
    

    

    を有する次のコードワードを読み取り、複製された元の要素に対する複製回数に１を加えた回数を復号するステップと、
    （３）前記ビット数
    

    

    を有する続くコードワードを順次に読み取り、前記複製回数に１を加えた回数だけ前記元要素の識別情報及び複製要素の識別情報を復号するステップと、
    （４）前記複製された元の要素に対する全ての前記スティチング情報が復号されるまで、ステップ（２）及び（３）を繰り返し実行するステップと
    を備えることを特徴とする請求項１１に記載の方法。
17. ３Ｄメッシュ情報を復号する装置であって
    ３Ｄメッシュ情報パケットを復号し、元のモデルデータを復元するための手段と、
    前記パケットからスティチング情報を抽出し、前記スティチング情報を復号するための手段と、
    復元された元のモデルデータ及び復号されたスティチング情報に基づいて元の非多様体モデルを復元するための手段と
    を備え、
    前記復号されたスティチング情報は、複製された元の要素の総数と、前記複製された元の要素の各々に対する、複製回数、元要素の識別情報及び複製要素の識別情報とを有することを特徴とする装置。
18. 前記復元された元のモデルデータ及び前記復号されたスティチング情報に基づいて、元の非多様体モデルを復元する手段は、前記復元された元のモデルデータから複製された要素の情報を削除し、削除された複製要素情報をこれに対応する元の要素情報に取り替えることを特徴とする請求項１７に記載の装置。
19. コンピュータによって実行されると、前記コンピュータに、請求項１１乃至１６のいずれか１つに記載の方法を実行させるコンピュータプログラムが記録されていることを特徴とするコンピュータ可読記録媒体。
    

Images