JP4808771B2 - ３次元メッシュ情報の符号化及び復号化装置ならびにその方法 - Google Patents

Description

本発明は、３次元メッシュ情報の符号化及び復号化に関し、具体的には、３次元メッシュモデル（オリジナルモデル：original model）に対する３次元メッシュ情報の符号化過程で頂点(vertex)及び面(face)のようなオリジナルモデルの要素順序が変更される点を考慮してこれらの要素順序情報を別途に符号化及び復号化する装置及び方法に関する。

３次元グラフィックス分野は、最近になって多く使われているが、情報量が膨大であるため、その使用範囲が制限されている。３次元モデルを表現する３次元メッシュ（mesh）情報は、幾何情報、頂点間の連結（connectivity）情報、そして、色相、法線及び質感座標のような属性（property）情報からなる。幾何情報は、浮動小数点で表現される３つの座標情報からなり、連結情報は、３つ以上の頂点情報が１つの多角形をなすインデックスリストで表現される。例えば、幾何情報が３２ビット浮動小数点で表現されると仮定すれば、１つの幾何情報を表現するために９６ビット（１２Ｂ）を必要とする。すなわち、３次元メッシュモデルが幾何情報だけを有する略１万個の頂点により表現されると仮定すれば、１２０ＫＢのメモリを必要とするようになり、１０万個の頂点により表現されるとすれば、１．２ＭＢのメモリを必要とするようになる。また、連結情報は、２回以上の重複を許容するので、多角形メッシュにより３次元モデルを格納するためには、非常に多いメモリを必要とする。

したがって、このような情報量の膨大さを解決するために、符号化の必要性が台頭された。このために、ＭＰＥＧ−４（Moving Picture Expert Group）−ＳＮＨＣ（Synthetic and Natural Hybrid Coding）分野においてＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）の標準案として採択された３次元メッシュコーディング（３ＤＭＣ：3D Mesh Coding）方式は、ＶＲＭＬ（Virtual Reality Modeling Language：ＶＲＭＬ）ファイル内にＩｎｄｅｘｅｄＦａｃｅＳｅｔ（ＩＦＳ）で表現される３次元メッシュ情報を符号化／復号化することによって転送効率を向上させる。

図１ａ及び図１ｂ各々は、従来の３ＤＭＣによる符号化装置及び復号化装置の構成を概念的に示す。３ＤＭＣ符号化装置１１０は、３次元メッシュモデル（オリジナルモデル）を２次元メッシュ構造に分解する位相切開（topological surgery）モジュール１１１と、幾何情報符号化モジュール１１２、連結情報符号化モジュール１１３及び属性情報符号化モジュール１１４と、前記符号化モジュール１１２乃至１１４の符号化された結果を統合的に圧縮して３ＤＭＣビットストリームを生成するエントロピー符号化（entropy encoder）モジュール１１５とを含む。

これに対応して、３ＤＭＣ復号化装置１２０は、エントロピー復号化モジュール１２１、幾何情報復号化モジュール１２２、連結情報復号化モジュール１２３及び属性情報復号化モジュール１２４及び位相合成（topological synthesis）モジュール１２５を含んでおり、符号化された３ＤＭＣビットストリームから３次元モデルデータを復元する。

前述した３ＤＭＣ符号化装置１１０により行われる３ＤＭＣ符号化の主要特徴は、圧縮率の最大化のために位相切開モジュール１１１により行われる位相切開動作(topological surgery operation)である。位相切開動作は、ＩＢＭで提案した技術であって、与えられたメッシュを球と位相幾何学的に同一であると仮定した後に、与えられた切断エッジ（cutting edge）によって切断することによって、３次元モデルを２次元メッシュ構造に分解する（decompose）動作である。このような動作結果、単純多角形グラフィック（例えば、三角形ストリップからなる二進ツリー構造の三角形スパニンググラフ（Triangle Tree：ＴＴ））と、メッシュを切断する経路を頂点間の連結構造で示す頂点グラフ（Vertex Graph：ＶＧ）が算出される。

しかし、前述した位相切開動作過程は、元来モデルを構成する要素（例えば、頂点及び面）の順序を変更させることができる。これにより、頂点または面のような要素単位からなる編集を行うことができず、要素順序に基盤して作成されたアニメーション効果も適用することができないという問題点がある。

従って、本発明の目的は、前述した問題点を解決するために、３次元メッシュ情報の符号化／復号化時にオリジナルモデル内の要素順序情報を別個に符号化／復号化する方法及び装置を提供することにある。

本発明の他の目的は要素順序情報を符号化するにあたって要素順序情報の識別可能な単位で前記要素順序情報に割り当てられるコードワード（codeword）のビット数を順次的に減少させながら符号化することによって、符号化ビット率を低減することができる要素順序符号化方法及び装置を提供することにある。

上記目的を達成するために、本発明の第１側面によれば、３次元メッシュ情報の符号化方法が提供される。前記方法は、３次元メッシュ情報を符号化し、符号化されたビットストリーム（encoded bit stream）を出力する段階と、前記３次元メッシュ情報に含まれる少なくとも１つ以上の要素各々に対するオリジナルモデル内の順序情報を求める段階と、前記要素順序情報を符号化する段階と、前記ビットストリームに対するパケットを生成し、且つ前記符号化された要素順序情報を前記パケット内に挿入する段階と、を含む。

前記オリジナルモデル内の要素順序情報は、頂点及び面順序情報のうち少なくともいずれか１つであることができる。前記要素順序情報は、ＩＦＳ単位又はＣＣ単位で計算されることができる。

また、前記要素順序情報の符号化段階は、（ｉ）前記要素順序情報の符号化に用いられるコードワードビット数の初期値を

（ここで、Ｎは、要素順序情報の総個数）に設定する段階と、（ｉｉ）前記設定されたビット数のコードワードを用いて所定個数の要素順序情報を符号化する段階と、（ｉｉｉ）前記コードワードビット数を１減少させる段階と、（ｉｖ）符号化されない残余要素順序情報の一部要素順序情報を前記減少されたビット数のコードワードを用いて符号化する段階と、（ｖ）全ての要素順序情報が符号化されるまで前記（ｉｉｉ）及び（ｖ）段階を繰り返して行う段階と、を含む。

本発明の第２側面によれば、３次元モデルでの要素順序情報を符号化するための方法が提供される。前記方法は、３次元メッシュ情報に含まれた少なくとも１つの要素各々に対するオリジナルモデル内の順序情報をＩＦＳ単位で求める段階と、前記要素順序情報を符号化する段階と、を含む。

本発明の第３側面によれば、３次元メッシュ情報を復号化するための方法が提供される。前記方法は、３次元メッシュ情報パケットを復号化し、オリジナルモデルデータを復元する段階と、前記パケットの選定された領域に前記オリジナルモデル内の要素順序情報が存在するか否かを判断する段階と、前記要素順序情報が存在すると判断されれば、前記パケットから前記要素順序情報を抽出する段階と、前記抽出された要素順序情報を復号化する段階と、前記復号化された要素順序情報に基づいて前記復元されたオリジナルモデルデータを再整列する段階と、を含む。

本発明の第４側面によれば、３次元メッシュパケット内の要素順序情報を復号化するための方法が提供される。前記方法は、３次元メッシュ情報パケット内の選定された領域から要素順序情報を抽出する段階と、前記抽出された要素順序情報を復号化する段階と、を含む。

本発明の第５側面によれば、３次元メッシュ情報を符号化するための装置が提供される。前記装置は、３次元メッシュ情報を符号化し、符号化されたビットストリーム（encoded bit stream）を出力するための手段と、前記３次元メッシュ情報に含まれた少なくとも１つ以上の要素各々に対するオリジナルモデル内の順序情報を計算するための手段と、前記要素順序情報を符号化するための順序情報の符号化手段と、前記ビットストリームに対するパケットを生成し、且つ前記要素順序情報を前記パケット内に挿入させるための手段と、を含む。

本発明の第６側面によれば、３次元メッシュ情報を復号化するための装置が提供される。前記装置は、３次元メッシュ情報パケットを復号化し、オリジナルモデルデータを復元するための手段と、前記パケット内の要素順序情報を復号化するための順序情報の復号化手段と、前記復元されたオリジナルモデルデータを前記復号化された要素順序情報に基づいて再整列するための手段と、を含む。

本発明で提案する頂点及び面のような要素の順序情報の符号化及び復号化方式では、各要素に対するオリジナルモデルでの順序情報に割り当てられるコードワードビット数を順次的に減少させながら符号化することによって、符号化ビット率を低減しつつ無損失で頂点／面の順序情報の転送を可能にし、窮極的には復元モデルに対してアニメーションまたは編集機能などを支援することができるようにする。

以下、本発明を添付の図面に示された実施例と関連して例示的に詳細に説明する。しかし、以下の詳細な説明は、ただ例示的な目的で提供されるものであり、本発明の概念を任意の特定された物理的構成に限定するものと解すべきではない。

図２ａ及び図２ｂ各々は、本発明の好ましい実施例に係る３次元メッシュ情報の符号化装置２１０及び復号化装置２２０を概略的に示すブロック図である。図示のように、本発明に係る３次元メッシュ情報の符号化装置２１０は、位相切開(topological surgery)モジュール２１１、幾何情報符号化モジュール２１２、連結情報(connectivity information)符号化モジュール２１３、属性情報符号化モジュール２１４及び要素順序(element order)符号化モジュール２１５及びエントロピー符号化モジュール２１６を含む。すなわち、符号化装置２１０は、図１ａに示された従来の３ＤＭＣ符号化装置１１０と比較してみる時、３次元モデルでの要素順序情報を別個に符号化するための要素順序符号化モジュール２１６をさらに含むことを特徴とする。

これと同様に、本発明に係る３次元メッシュ情報の復号化装置２２０は、図１ｂに示された従来の３ＤＭＣ復号化装置１２０と比較してみる時、符号化された要素順序情報を復号化するための要素順序復号化モジュール２２５と、復号化された元来モデルの要素順序情報によって復元された３次元モデルデータを再整列するための再整列モジュール２２７とをさらに含む。

一実施例で、要素順序符号化モジュール（図２ａの２１６）及び要素順序復号化モジュール（図２ｂの２２５）により符号化／復号化される情報は、頂点順序情報である。しかし、本発明がこれに限定されるものではなく、他の実施例では、頂点順序情報の代わりに面順序情報が符号化／復号化されることができる。さらに他の実施例では、頂点順序情報及び面順序情報が共に符号化／復号化されることができる。

また、前記図２ｂでは、要素順序再整列モジュール２２７が３次元モデルの復元以前に行われるものと示されているが、必ずこれに限定されるものではない。他の実施例では、３次元モデルの復元以後に後処理として再整列モジュール２２７が行われることもできる。

図３は、本発明の一実施例に係る３次元メッシュ情報の符号化過程を示す流れ図である。図示のように、段階Ｓ３１０で、３次元メッシュ情報を符号化し、符号化されたビットストリームを出力する。一実施例で、既存のＳＮＨＣの３ＤＭＣ符号化方式によれば、３次元メッシュ情報は、３次元メッシュモデルを（位相切開動作(topological surgery operation)により）２次元メッシュ構造に分解することによって生成されるデータであり、頂点グラフ（ＶＧ）及び二進ツリー構造の三角形スパニンググラフ（Triangle Tree：ＴＴ）を含む。しかし、本発明は、３次元メッシュ情報の符号化に特徴があるものではなく、符号化過程で変更され得る要素順序情報の符号化に特徴があるものであり、前述したＳＮＨＣの３ＤＭＣ符号化方式だけでなく、要素の順序を変更させる全ての従来の符号化方式に適用されることができることが本技術分野の当業者に自明であろう。

段階Ｓ３２０で、前記３次元メッシュ情報に含まれた要素各々に対してオリジナルモデル内の順序情報（ＩＦＳ単位及びＣＣ単位）を計算する。前述したように、一実施例で、３ＤＭＣ符号化過程で位相切開動作によりオリジナルモデルの頂点及び／または面のような要素の順序が変更されることができるので、３次元メッシュ情報に含まれた各要素に対してオリジナルモデルに基盤する順序情報（ＩＦＳ単位及びＣＣ単位）を計算する必要がある。一実施例では、３次元モデルをなす要素のうち頂点の順序情報が計算されることができ、他の実施例では、面順序情報が計算されることができる。また、さらに他の実施例では、頂点及び面順序情報が共に計算されることができる。

段階Ｓ３３０で、前記計算された要素順序情報を符号化する。一実施例によれば、符号化ビット率を低減するために、要素順序情報を識別可能な単位で前記要素順序情報に割り当てられるコードワード（codeword）のビット数を順次的に減少させながら符号化を行う。これについては、図５を参照して後述する。

段階Ｓ３４０で、段階Ｓ３１０で符号化された３次元メッシュ情報ビットストリームに対するパケットを生成し、且つ要素順序情報を前記パケット内に挿入する。

前記段階Ｓ３１０乃至Ｓ３４０の実行が必ず前述した順序によって行われるものではなく、実際具現時には１つの段階の実行結果が他の段階の実行結果に影響を及ぼさない範囲内で順序の変更及び／または並列実行が可能であることが本技術分野の当業者に自明であろう。

図４は、本発明の一実施例に係る３次元メッシュ情報パケットの復号化過程を示す流れ図である。段階Ｓ４１０で、３次元メッシュ情報パケットを復号化する。このような復号化は、本技術分野に公知された技術であって、本明細書では、これに関する詳細な説明を省略する。

段階Ｓ４２０で、３次元メッシュ情報パケットの選定された領域（例えば、ヘッダー領域）内にオリジナルモデルの要素順序情報が含まれているか否かを判断する。要素順序情報が含まれていない場合には、前記復号化過程は終了する。

これに対し、段階Ｓ４２０で受信されたパケット内に要素順序情報が含まれているものと判断されれば、段階Ｓ４３０で要素順序情報を抽出し、段階Ｓ４４０で抽出された要素の順序情報を復号化する。段階Ｓ４５０で前記復号化された要素順序情報を用いて復元モデルをオリジナルモデルの順序と同一に再整列する。前記段階Ｓ４１０乃至Ｓ４５０の実行が必ず前述した順序になされるものではなく、具現によって任意的に変更可能であることが本技術分野の当業者に自明であろう。例えば、他の実施例では、要素順序情報の包含可否判断Ｓ４３０、要素順序情報の抽出Ｓ４４０及び復号化段階Ｓ４５０が３ＤＭＣ復号化段階Ｓ４１０以前に行われることもできる。

前述したように、本発明のさらに他の特徴は、頂点順序及び面順序のような要素順序情報を符号化するにあたって要素順序情報に割り当てられるコードワードのビット数を要素順序情報の識別可能な単位で順次的に減少させることによって、符号化ビット率を低減することにある。本発明に係る要素順序情報の符号化に対する理解のために、以下の表１に頂点順序情報をＩＦＳ単位で本発明によって符号化する場合のコードワード結果を表示した。

表１に表示されたように、オリジナルモデルでの全体頂点の個数が６個である場合を仮定すれば、各頂点の順序情報を示すために３ビットが必要である。したがって、順序情報である“０”及び“２”は、コードワード“０００”及び“０１０”に各々符号化される。

次に、“０”及び“２”の符号化後に残った順序情報は、４個（すなわち“１”、“５”、“４”、“３”）である。４個の順序情報の識別は、２個のビットを用いて可能である。この時、残余順序情報のうち最初２個である“１”及び“５”に割り当てられる２ビットコードワード値は、任意の選定されたアルゴリズムによって定められることができ、前記例では、上がり順によって“００”及び“１１”が各々割り当てられる。しかし、必ず上がり順によってコードワード値が割り当てられるものではなく、下がり順を含んで多様な方式によってなされることができる。

次に、“１”及び“５”の符号化後に残った順序情報は、“４”及び“３”になり、これは、１個のビットを用いて識別可能である。したがって、上がり順方式によって“４”にはコードワード“１”が割り当てられる。一方、最後の順序情報である“３”の場合には、実質的に転送されなくても、受信側で予測可能な情報であるから、転送されなかったり、代案的に、ネットワークでのエラー発生可否を確認するために“０”に符号化されて転送されることができる。

一方、前記表１に示された例では６個の頂点に対して２個は３ビットに、２個は２ビットに、１個（または２個）は１ビットに符号化したが、他の実施例では、４個を３ビットに、２個を２ビットに符号化することもでき、その他の多様な組合がありえる。

図５は、本発明の一実施例に係るＩＦＳＩｎｄｅｘｅｄＦａｃｅＳｅｔ単位で要素順序情報を符号化する過程を示す流れ図である。図５には、頂点順序情報の符号化過程（段階５１０ａ乃至５６０ａ）及び面順序情報の符号化過程（段階５１０ｂ乃至５６０ｂ）が共に実行されるものと示されているが、前述したように、本発明がこのような実施例に限定されるものではなく、選択的に、頂点順序情報、または面順序情報または頂点及び面順序情報の符号化が全て可能である。

まず、頂点順序情報の割り当てられるコードワードビット数（bit per vertices information：ｂｐｖｉ）の初期値を

（ここで、ｎＶは、オリジナルモデルを構成する頂点の総個数）に設定する（段階５１０ａ）。例えば、頂点の総個数ｎＶが６とすれば、ｂｐｖｉ値は３になる。

一実施例で、ｂｐｖｉビット数に符号化される頂点個数Ｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓを次の数式１によって計算する（段階５２０ａ）。

頂点の総個数が６である前記例で、計算されたＣｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓ値は、２となる。次に、前記計算されたＣｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓ個の頂点順序情報をｂｐｖｉビットコードワードを用いて符号化する（段階５３０ａ）。したがって、前記例で２個の頂点順序情報が３個ビットコードワードを用いて符号化される。

前記Ｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓを計算する方式は、一例に過ぎず、本発明がこれに限定されるものではない。代案的に、Ｃｏｄｉｎｇ＿Ｖｅｒｉｃｅｓ値は、２^{（ｂｐｖｉ−２）}値に定められることができる。

その後に、頂点の総個数ｎＶから符号化された頂点個数Ｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓだけ減少させ（段階５４０ａ）、残余頂点の総個数ｎＶ値が１であるか否かを判断する（段階５５０ａ）。そうでなければ、コードワードのビット数ｂｐｖｉを１減少させた後に（段階Ｓ５６０ａ）、前述した段階５２０ａ乃至５５０ａを繰り返して行い、全ての頂点の順序情報の符号化を達成する。

一方、段階５１０ｂ乃至５６０ｂは、前述した頂点順序情報の符号化実行段階５１０ａ乃至５６０ａと同じ方式でｎＦ個の面順序情報の符号化を行う段階であって、これに関する詳細な説明は省略する。

したがって、本発明によれば、コードワードビット数を順次的に１ずつ減少させながら頂点／面順序情報を符号化させることによって、符号化ビット率を低減することができるようになる。

図６は、本発明の一実施例に係るＩＦＳ単位で要素順序情報を復号化する過程を示す流れ図である。

まず、符号化された頂点順序情報に割り当てられたコードワードビット数である“ｂｐｖｉ（bit per vertices information）”の初期値を下記式２によって計算する（段階６１０ａ）。

その後に、ｂｐｖｉ個ビットのコードワードで復号化する頂点個数Ｄｅｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓを次の数学式３によって計算する（段階６２０ａ）。

前記式は、一例に過ぎず、他の実施例では、ｂｐｖｉ個ビットのコードワードで復号化する頂点個数Ｄｅｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓに対する情報が符号化された頂点順序情報内に含まれていることができる。

次に、符号化された頂点順序情報からＤｅｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓ個のｂｐｖｉビットコードワードを順次的に読み取り、これから頂点順序情報を復号化する（段階６３０ａ）。その後に、頂点の総個数ｎＶから復号化された頂点個数Ｄｅｃｏｄｉｎｇ＿Ｖｅｒｔｉｃｅｓだけ減少させて、残余頂点総個数ｎＶが１であるか否かを判断する（段階Ｓ６５０ａ）。そうでなければ、読み取られるコードワードのビット数ｂｐｖｉを１減少させた後に（段階Ｓ６６０ａ）、前述した段階６２０ａ乃至６５０ａを繰り返して行い、全ての頂点の順序情報の復号化を達成する。

一方、段階６１０ｂ乃至６６０ｂは、前述した頂点順序情報の復号化実行段階６１０ａ出すが６６０ａと同じ方式でｎＦ個の面順序情報の復号化を行う段階であって、これに関する詳細な説明は省略する。

今までは、要素順序情報をＩＦＳ単位で計算した場合の要素順序情報の符号化／復号化過程を説明した。図７ａは、要素順序情報がＩＦＳ単位毎に挿入された例を示す。

一方、本発明の他の実施例によれば、要素順序情報は、ＣＣ（Connected Component）単位で計算されることができ、図７ｂは、要素順序情報がＣＣ（Connected Component）単位毎に挿入された例を示す。ＣＣ単位毎に要素順序情報が挿入される場合、“ＶＯ”及び“ＦＯ”は、各ＣＣを構成する頂点及び面に対する頂点順序情報及び面順序情報を含み、頂点順序情報及び面順序情報の包含可否を示すフラグがＣＣ単位毎に使われるものではない。

また、前記例では頂点順序情報及び面順序情報の包含可否を示すフラグに各々１ビットを割り当てて表現したが、他の例では、２ビットの“ｖｅｒｔｅｘ＿ｆａｃｅ＿ｏｒｄｅｒ＿ｆｌａｇ”フラグで次のように表現することができる。

前述したように、前記要素順序情報は、ＩＦＳ単位毎に挿入されることもでき、ＣＣ（Connected Component）単位毎に挿入されることもできる。ＣＣ単位毎に要素順序情報を挿入する場合に、ＩＦＳ単位で計算された要素順序情報値を単純にＣＣ単位毎に挿入することもできるが、ＩＦＳ単位で計算された要素順序情報値をＣＣ単位で計算された要素順序情報値に変換し、この変換された値をＣＣ単位毎に挿入することもできる。

例えば、９００個の頂点からなるモデルが各３００個の頂点からなる３個のＣＣで構成されている場合、ＩＦＳ単位では、０から８９９までの順序情報値を有する要素順序情報を符号化するが、この値をＣＣ単位で計算すれば、０から２９９までの順序情報値に変換して表現することができる。このように要素順序情報値をＣＣ単位で表現すれば、ＩＦＳ単位で表現した時と比較して、さらに少ないビット数で要素順序情報値を符号化することができるようになる。一例として、９００個の頂点からなるモデルの場合、第１番目のＣＣは、０から２９９までの順序情報値を有する３００個の頂点で構成され、第２番目のＣＣは、３００から５９９までの順序情報値を有する３００個の頂点で構成され、第３番目のＣＣは、６００から８９９までの順序情報値を有する３００個の頂点で構成されていると仮定する。第１番目のＣＣの場合、０から２９９まで表現された要素順序情報値は、ＣＣ単位で変換しても同じ値を有するので、図５に示された過程を用いて符号化される。第２番目のＣＣの場合は、３００から５９９まで表現されたＩＦＳ単位での順序情報値を０から２９９まで表現されたＣＣ単位での順序情報値に変換する。変換する方法は、第１番目のＣＣで３００個の頂点が符号化されたので、各要素順序情報値から単純に３００を差し引けばよい。第３番目のＣＣの場合も、６００から８９９までの値を有する順序情報を第１番目のＣＣと第２番目のＣＣで３００個ずつ符号化されたので、６００を差し引くことによって、０から２９９までの値を有するＣＣ単位での順序情報値に変換することができる。

このような場合以外にも、ＩＦＳ上でのＣＣの構成は多様な構造を有することができる。すなわち、各ＣＣが順次的に連結されて構成されていない場合のモデルもあり得る。そのような一例であるｈｏｒｓｅモデルのＣＣ構成図を図８に示した。ｈｏｒｓｅモデルは、１１，１３５個の頂点で構成されているモデルであるから、ＩＦＳ上では、０から１１，１３４までの要素順序情報を有する。このＩＦＳは、３個のＣＣで構成されており、第１番目のＣＣは、０から１１，１３４までの値を有する１０，８１１個の頂点で、第２番目のＣＣは、３，２００から３，５２３までの値を有する１６２個の頂点で、第３番目のＣＣは、３，２９９から３，４６０までの値を有する１６２個の頂点で構成されている。この値をＣＣ単位で表現して第１番目のＣＣは、０から１０，８１０までの値を有するように、第２番目のＣＣと第３番目のＣＣは、０から１６１までの値を有するように変換することができる。しかし、このようなモデルの場合には、ＣＣ単位の順序情報値に変換する時、互いにが互いを含んでいる構造を示すので、単純に或る値を足したり差し引くことによって解決されない。したがって、この場合には、オフセット値を導入することによってこのような問題を解決することができる。このために、オフセット値を各要素順序情報単位で提供することもでき、オフセット値をＣＣ単位で提供することもでき、ＩＦＳ内でのＣＣ構造情報をヘッダー部に提供することもでき、その他多様な方式によって解決することができる。

一例として、ｈｏｒｓｅモデルの場合、ＣＣ構成情報であるＣＣ＃１＝｛０，１，２，…，３１９９，３５２４，３５２５，…，１１１３４｝、ＣＣ＃２＝｛３２００，３２０１，…，３２９８，３４６１，３４６２，…，３５２３｝、ＣＣ＃３＝｛３２９９，３３００，…，３４６０｝をヘッダー部に提供することによって、オフセット値をＣＣ単位で提供することができるので、ＣＣ単位で符号化する時に得ることができる長所を活用することができるようになる。

ＣＣ単位で表現された要素順序情報を符号化するためには、頂点順序情報の割り当てられるコードワードビット数（bit per vertices information：ｂｐｖｉ）の初期値を

（ここで、ｎＣ_ｉＶは、ｉ番目ＣＣを構成する頂点の総個数）に設定することを除いて、ＩＦＳ単位で表現された頂点順序情報を符号化する過程と同一である。ｎＣ_ｉＦ個の面順序情報の符号化を行うことも面順序情報の割り当てられるコードワードビット数（bit per faces information：ｂｐｆｉ）の初期値を

ここで、ｎＣ_ｉＦは、ｉ番目ＣＣを構成する面の総個数）に設定することを除いて、ＩＦＳ単位で表現された面順序情報を符号化する過程と同一である。

したがって、本発明によればＩＦＳ単位で表現された頂点／面順序情報をＣＣ単位で表現された頂点／面順序情報に変換し、これをコードワードビット数を順次的に１ずつ減少させながら符号化させるによって、符号化ビット率を低減することができるようになる。

また、ＣＣ単位で表現された要素順序情報を復号化するためには、頂点順序情報の割り当てられるコードワードビット数（bit per vertices information：ｂｐｖｉ）の初期値を

（ここで、ｎＣ_ｉＶは、ｉ番目ＣＣを構成する頂点の総個数）に設定するを除いて、ＩＦＳ単位で表現された頂点順序情報を復号化する過程と同一である。ｎＣ_ｉＦ個の面順序情報の復号化を行うことも面順序情報の割り当てられるコードワードビット数（bit per faces information：ｂｐｆｉ）の初期値を （ここで、ｎＣ_ｉＦは、ｉ番目ＣＣを構成する面の総個数）に設定するを除いて、ＩＦＳ単位で表現された面順序情報を復号化する過程と同一である。但し、復号された頂点／面順序情報をＩＦＳ単位で表現された頂点／面順序情報に復元するためには、ヘッダー情報にある該当オフセット値を復号された頂点／面順序情報値に加えるようになる。

図９ａ、図９ｂ及び図９ｃは、本発明によってＩＦＳ上でのＣＣ構成情報を示すヘッダー部の構造の一例を示す。

図示のように、ヘッダー情報には、大きくオフセット情報の有無を示すフラグ、オフセット情報がある場合、各ＣＣに適用されるオフセットの個数、実際オフセット値、各オフセットが適用される第１番目の要素順序情報（ＣＣ単位で表現される）が含まれることができる。図示のヘッダー構造は、例示的なものであり、ヘッダーでのＣＣ構成情報の表現方法及び位置は変更可能である。一例として、ヘッダー部に提供される実際オフセット値に関する情報において第１番目のオフセット値を除いて第２番目から最後のオフセット値は、以前オフセット値との差異値として設定することができる。

要素順序情報をＩＦＳ単位毎に挿入すべきか、ＣＣ単位毎に挿入すべきかは、モデルの特性及び符号化ビット率によって選択可能である。

前述した本発明は、１つ以上の製造物上に具現された１つ以上のコンピュータ読み取り可能な媒体として提供されることができる。製造物は、フロッピーディスク、ハードディスク、ＣＤＲＯＭ、フラッシュメモリカード、ＰＲＯＭ、ＲＡＭ、ＲＯＭ、または磁気テープを挙げることができる。一般的に、コンピュータ読み取り可能なプログラムは、任意のプログラミング言語で具現されることができる。

以上、特定の実施例と関連して本発明を説明したが、本発明は、前述した実施例及び添付の図面に限定されるものでなく、本発明の技術的思想を逸脱しない範囲内で、様々に置換、変形及び変更が可能であることが本発明の属する技術分野における通常の知識を有する者にとって自明である。

従来の３ＤＭＣによる符号化装置の構成を概念的に示す。 従来の３ＤＭＣによる復号化装置の構成を概念的に示す。 本発明の好ましい実施例に係る３ＤＭＣ符号化装置２１０を概略的に示すブロック図である。 本発明の好ましい実施例に係る３ＤＭＣ復号化装置２２０を概略的に示すブロック図である。 本発明の一実施例に係る３次元メッシュ情報の符号化過程を示す流れ図である。 本発明の一実施例に係る３次元メッシュ情報の復号化過程を示す流れ図である。 本発明の一実施例によってＩＦＳ（ＩｎｄｅｘｅｄＦａｃｅＳｅｔ）単位で要素順序情報を符号化する過程を示す流れ図である。 本発明の一実施例によってＩＦＳ単位で要素順序情報を復号化する過程を示す流れ図である。 本発明によって頂点／面順序情報が追加された３ＤＭＣパケット構造の一例を示す。 本発明によって頂点／面順序情報が追加された３ＤＭＣパケット構造の一例を示す。 ｈｏｒｓｅモデルの場合、ＩＦＳ上でのＣＣ構造を示す構成図である。 本発明に係る頂点／面順序情報のヘッダー部の一例を示す。 本発明に係る頂点／面順序情報のヘッダー部の一例を示す。 本発明に係る頂点／面順序情報のヘッダー部の一例を示す。

Claims (20)

1. ３次元メッシュ情報を符号化し、符号化されたビットストリーム（encoded bit stream）を出力する段階と、
   前記符号化された３次元メッシュ情報ビットストリームに含まれる少なくとも１つ以上の要素各々に対するオリジナルモデル内の変更前要素順序情報を求める段階と、
   前記変更前要素順序情報を符号化する段階と、
   前記ビットストリームに対するパケットを生成し、且つ前記符号化された変更前要素順序情報を前記パケット内に挿入する段階と、を含む３次元メッシュ情報の符号化方法。
2. 前記変更前要素順序情報は、頂点及び面順序情報のうち少なくともいずれか１つであることを特徴とする請求項１に記載の３次元メッシュ情報の符号化方法。
3. 前記変更前要素順序情報の符号化段階は、
   （ｉ）前記変更前要素順序情報の符号化に用いられるコードワードビット数の初期値を
   

   

   （ここで、Ｎは、変更前要素順序情報の総個数）に設定する段階と、
   （ｉｉ）前記設定されたビット数のコードワードを用いて所定個数の変更前要素順序情報を符号化する段階と、
   （ｉｉｉ）前記コードワードビット数を１減少させる段階と、
   （ｉｖ）符号化されない残余変更前要素順序情報の一部変更前要素順序情報を前記減少されたビット数のコードワードを用いて符号化する段階と、
   （ｖ）全ての変更前要素順序情報が符号化されるまで前記（ｉｉｉ）及び（ｖ）段階を繰り返して行う段階と、を含むことを特徴とする請求項１に記載の３次元メッシュ情報の符号化方法。
4. 前記変更前要素順序情報は、ＩＦＳ（ＩｎｄｅｘｅｄＦａｃｅＳｅｔ）単位で求められ、前記変更前要素順序情報の符号化段階は、
   （ｉ）前記ＩＦＳ単位で求められた前記変更前要素順序情報をＣＣ（Connected Component）単位の変更前要素順序情報及びこれに関連したオフセット値に変換する段階と、
   （ｉｉ）前記変更前要素順序情報の符号化に用いられるコードワードビット数の初期値を
   

   

   （ここで、Ｃ_ｉＮは、ｉ番目ＣＣで変更前要素順序情報の総個数）に設定する段階と、
   （ｉｉｉ）前記設定されたビット数のコードワードを用いて所定個数の変更前要素順序情報を符号化する段階と、
   （ｉｖ）前記コードワードビット数を１減少させる段階と、
   （ｖ）符号化されない残余変更前要素順序情報の一部変更前要素順序情報を前記減少されたビット数のコードワードを用いて符号化する段階と、
   （ｖｉ）全ての変更前要素順序情報が符号化されるまで前記（ｉｉｉ）及び（ｉｖ）段階を繰り返して行う段階と、を含むことを特徴とする請求項１に記載の３次元メッシュ情報の符号化方法。
5. 前記ＩＦＳ単位で求められた前記変更前要素順序情報をＣＣ単位の変更前要素順序情報に変換したことを示すフラグを前記パケットのヘッダーに格納する段階をさらに含むことを特徴とする請求項４に記載の３次元メッシュ情報の符号化方法。
6. 前記オフセット値を前記パケットのヘッダー内に格納する段階をさらに含むことを特徴とする請求項５に記載の３次元メッシュ情報の符号化方法。
7. 符号化された３次元メッシュビットストリーム情報に含まれた少なくとも１つの要素各々に対するオリジナルモデル内の変更前要素順序情報をＩＦＳ単位で求める段階と、
   前記変更前要素順序情報を符号化する段階と、を含む変更前要素順序情報の符号化方法。
8. 前記ＩＦＳ単位で求められた変更前要素順序情報値をＣＣ単位の変更前要素順序情報値及びこれに関連したオフセット値に変換する段階をさらに含むことを特徴とする請求項７に記載の変更前要素順序情報の符号化方法。
9. ３次元メッシュ情報パケットを復号化し、オリジナルモデルデータを復元する段階と、
   前記パケットの選定された領域に前記オリジナルモデル内の変更前要素順序情報が存在するか否かを判断する段階と、
   前記変更前要素順序情報が存在すると判断されれば、前記パケットから前記変更前要素順序情報を抽出する段階と、
   前記抽出された変更前要素順序情報を復号化する段階と、
   前記復号化された変更前要素順序情報に基づいて前記復元されたオリジナルモデルデータを再整列する段階と、を含む３次元メッシュ情報の復号化方法。
10. 前記変更前要素順序情報が存在するか否かを判断する段階は、前記パケットのヘッダー内の選定された領域に存在する変更前要素順序情報存在可否を示すフラグ値を用いて判断することを特徴とする請求項９に記載の３次元メッシュ情報の復号化方法。
11. 前記変更前要素順序情報が存在するか否かを判断する段階は、頂点及び面順序情報のうち少なくともいずれか１つが存在するか否かを判断することを特徴とする請求項９に記載の３次元メッシュ情報の復号化方法。
12. 前記変更前要素順序情報を復号化する段階は、
    （ｉ）前記変更前要素順序情報に対応するコードワードのビット数初期値を
    

    

    （ここで、Ｎは、変更前要素順序情報の総個数）に設定する段階と、
    （ｉｉ）前記設定されたビット数のコードワードを所定個数読み取り、前記読み取られたコードワード各々からこれに対応する変更前要素順序情報を復元する段階と、
    （ｉｉｉ）前記コードワードビット数を１減少させる段階と、
    （ｉｖ）前記減少されたビット数のコードワードを所定個数だけ読み取り、前記読み取られたコードワード各々からこれに対応する変更前要素順序情報を復元する段階と、
    （ｖ）全ての変更前要素順序情報が復元されるまで前記（ｉｉｉ）及び（ｉｖ）段階を繰り返して行う段階と、を含むことを特徴とする請求項９に記載の３次元メッシュ情報の復号化方法。
13. 前記変更前要素順序情報がＣＣ単位で表現された場合に前記変更前要素順序情報を復号化する段階は、
    （ｉ）前記変更前要素順序情報に対応するコードワードのビット数初期値を
    

    

    （ここで、Ｃ_ｉＮは、変更前要素順序情報の総個数）に設定する段階と、
    （ｉｉ）前記設定されたビット数のコードワードを所定個数読み取り、前記読み取られたコードワード各々からこれに対応する変更前要素順序情報を復元する段階と、
    （ｉｉｉ）前記コードワードビット数を１減少させる段階と、
    （ｉｖ）前記減少されたビット数のコードワードを所定個数だけ読み取り、
    前記読み取られたコードワード各々からこれに対応する変更前要素順序情報を復元する段階と、
    （ｖ）全ての変更前要素順序情報が復元されるまで前記（ｉｉｉ）及び（ｉｖ）段階を繰り返して行う段階と、
    （ｖｉ）前記復元された変更前要素順序情報に前記パケットに格納された該当オフセット値を加算することによって、ＩＦＳ単位で表現された変更前要素順序情報を復元する段階と、を含むことを特徴とする請求項９に記載の３次元メッシュ情報の復号化方法。
14. ３次元メッシュ情報パケット内の選定された領域から変更前要素順序情報を抽出する段階と、
    前記抽出された変更前要素順序情報を復号化する段階と、
    前記復号された変更前要素順序情報値に前記パケットに格納されたオフセット値を加算することによって、ＩＦＳ単位で表現された変更前要素順序情報を復元する段階と、を含む変更前要素順序情報の復号化方法。
15. ３次元メッシュ情報を符号化し、符号化されたビットストリーム（encoded bit stream）を出力するための手段と、
    前記符号化された３次元メッシュ情報ビットストリームに含まれた少なくとも１つ以上の要素各々に対するオリジナルモデル内の変更前要素順序情報を計算するための手段と、
    前記変更前要素順序情報を符号化するための順序情報の符号化手段と、
    前記ビットストリームに対するパケットを生成し、且つ前記変更前要素順序情報を前記パケット内に挿入させるための手段と、を含む３次元メッシュ情報の符号化装置。
16. オリジナルモデルを２次元構造に分解し、３次元メッシュ情報を算出するための手段をさらに含むことを特徴とする請求項１５に記載の３次元メッシュ情報の符号化装置。
17. 前記順序情報の符号化手段は、前記３次元メッシュモデルの頂点及び面順序情報のうち少なくともいずれか１つを符号化することを特徴とする請求項１５に記載の３次元メッシュ情報の符号化装置。
18. ３次元メッシュ情報パケットを復号化し、オリジナルモデルデータを復元するための手段と、
    前記パケット内の変更前要素順序情報を復号化するための順序情報の復号化手段と、
    前記復元されたオリジナルモデルデータを前記復号化された変更前要素順序情報に基づいて再整列するための手段と、を含む３次元メッシュ情報の復号化装置。
19. 請求項１乃至６のいずれかに記載の３次元メッシュ情報の符号化方法をコンピュータに実行させるためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
20. 請求項９乃至１３のいずれかに記載の３次元メッシュ情報の復号化方法をコンピュータに実行させるためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images