JP5512704B2 - ３次元メッシュモデルの符号化方法及び装置、並びに符号化された３次元メッシュモデルの復号方法及び装置 - Google Patents

Description

本発明は、３次元メッシュモデルの符号化方法及び装置、並びに符号化された３次元メッシュモデルの復号方法及び装置に関する。

３次元（３Ｄ）メッシュは、３次元オブジェクトを表す、ビデオゲーム、エンジニアリングデザイン、電子商取引、仮想現実、建築及び科学における可視化などの様々なアプリケーションにおいて広く用いられている。通常、３次元メッシュをそのまま表現するとデータ量が大きくなる。しかし、ほとんどのアプリケーションでは、記憶や送信のため、３次元メッシュ表現をコンパクトにすることが好ましい。１９９０年以降、３次元メッシュを効率的に圧縮する様々なアルゴリズムが提案されている。例えば、非特許文献１参照。さらに、ゲームなどのインターネットベースの３次元アプリケーションにより、３次元メッシュモデルに対する需要が急速に増大することが予想される。

一般的に、３次元メッシュは３種類のデータ、すなわち連結データ、幾何データ、及び特性データで表される。連結データは頂点間の隣接関係を記述する。幾何データは頂点位置を指定する。特性データは法線ベクトル、材料反射率、テクスチャ座標などの属性を指定する。ほとんどの３次元圧縮アルゴリズムは、連結データと幾何データを別々に圧縮する。幾何データの符号化順序は、その基礎をなす連結符号化により決定される。通常、幾何データは３つの主要段階、すなわち量子化、予測、および統計的符号化により圧縮される。３次元メッシュ特性データは、通常、同様に圧縮される。

予測段階は隣接する頂点位置間の相関を利用する。この相関は幾何圧縮の効率を高める点で最も重要である。最も広く使われている予測ストラテジは、非特許文献２で提案されている平行四辺形予測（parallelogram prediction）である。このアプローチを図１に示す。影付きの領域はすでに符号化／復号されている。新しい頂点ｒの位置は、

を用いて基準三角形Δuvwにより予測される。

平行四辺形予測は、４つの頂点ｕ、ｖ、ｗ、ｒが同一平面上にあり、平らな平行四辺形を形成するという仮定に基づく。しかし、この基本的な仮定は常に正しいとは限らない。図１では、基準三角形Δuvwと新しい、いわゆるスパニング三角形Δurwとの間に空間角θがある。この空間角は２面角と呼ばれ、符号化される。これは、基準三角形Δuvw、同一平面の予測三角形Δur^pv、及びスパニング三角形Δurvの共通辺ｕｖを中心とするスパニング三角形Δurvの回転を規定する。予測される頂点ｒ^pと実際の頂点ｒとの間の予測誤差や残差は、ベクトルｒｅｓ_pで表す。

図２に示したボックスのような単純なモデルでも、平行四辺形予測の残差は非常に大きい。予測した頂点ｒ^pと実際の頂点ｒとの間の差異ベクトルｒｅｓ_pはボックスの辺よりも長い。

典型的な失敗の場合を図３（ａ）に示した。通常、符号化／復号された領域Ａ_edの三角形は同一平面にはない。ある失敗の場合、新しい頂点ｃは基準三角形Δabdと同じ平面上にない。そのため、残差Ｃ1は大きい。また、別の失敗の場合、新しい頂点ｈは基準三角形Δfegと同じ平面上にあっても、予測した位置ｈ^pと実際の頂点ｈとの間には大きな差Ｃ2がある。予測の精度を上げるため、非特許文献２では、図３（ｂ）に示した、ΔebgとΔbdgとの間の二面角θを用いて、隣接する、ΔadbとΔabc間の二面角を予測する。非特許文献３に記載された他のアプローチでは、図４に示したマルチウェイ平行四辺形予測法を用いる。マルチウェイ平行四辺形予測は、利用可能な全ての基準三角形を利用し、シングルウェイで予測したすべての位置の平均を、マルチウェイ予測の結果として用いる。非特許文献４と非特許文献５は、図５に示すように、頂点位置を接線座標と二面角に分割する。基準三角形とスパニング三角形間の二面角を予測し、この種の局所座標系を用いて符号化する。非特許文献４は、符号化した頂点に高次の面をフィットさせ、その高次の面を用いて二面角αを予測する。

平行四辺形予測の精度を上げる多くのアルゴリズムが提案されているが、変化が大きい部分（sharp features）に近い頂点、すなわち、曲率が大きく変化する領域、では残差が比較的大きくなってしまう。対応する二面角は、その変化が大きい部分の反対側にある基準三角形からうまく求めることができない。ほとんどの予測方法は、基準三角形を、スパニング三角形すなわち実際の新しい頂点を含む三角形と同じ滑らかな面上に制約する。非特許文献４は二面角ＣＣを正確に予測するものであるが、高次の面をフィットさせる頂点は、基準三角形を中心とした既に符号化されてほぼ平坦な領域に制約されており、余分な高次の面をフィットさせる段階により、幾何符号化器および復号器の両方の速度が低下する。

典型的な３次元エンジニアリングモデルなどの、特に変化が大きい部分が多い３次元メッシュの幾何圧縮の効率を高くするため、変化が大きい部分の頂点用に特別に設計された効率的な予測ストラテジが必要である。
Jingliang Peng, Chang-Su Kim, C.-C. Jay Kuo著「Technologies for 3D mesh compression: A survey」、ELSEVIER Journal of Visual Communication and Image Representation, 2005, pp.688-733 C.Touma, C.Gotsman著「Triangle mesh compression」Proceedings of Graphics Interface, 1998, pp. 26-34) D. Cohen-Or, R. Cohen, and R. Irony: "Multiway geometry encoding", Technical report, School of Computer Science, TeI Aviv University, 2002 S. Gumhold, R. Amjoun: "Higher order prediction of geometry compression" , Proceedings of the Shape Modeling International, Seoul, 2003, 59-66 H. Lee, O. Allidz, M. Desbrun: "Angle-analyzer : A triangle-quad mesh codec", Eurographics Conference Proceedings, 2002, 383-392 「Range encoding: an algorithm for removing redundancy from digitized message」、G.N.N. Martin, March 1979, Video & Data Recording Conference, Southampton, UK

本発明は、多くの３次元メッシュモデルにおいて、一定範囲の二面角が他の範囲よりも非常に頻繁に用いられるとの認識に基づく。そのため、符号化において、冗長性を低減することが可能である。

原理的に、本発明は、一態様において、３次元メッシュの隣接する三角形間の二面角を分析して、多くの二面角が同じか実質的に同じであると判断する段階と、前記同じまたは実質的に同じ二面角を含む少なくとも１つの範囲を画定し、それに対応する代表二面角を画定する段階と、前記代表二面角に対して同じまたは実質的に同じ二面角を符号化する段階とを有する。他の二面角は、従来通り符号化し、または他の代表二面角を有する他の範囲にクラスタリングする。符号化した３次元メッシュの三角形に、符号化モードの表示を挿入する。スパニング三角形とその基準三角形との間の二面角のみを考慮すればよい。

他の態様では、本発明は、原理的に、代表二面角を決定する段階と、符号化した３次元メッシュから、スパニング三角形の符号化モードの表示を取り出す段階と、その表示に応じて、前記基準三角形のみに基づき、または前記基準三角形と予測三角形とに基づき、前記スパニング三角形を再構成する段階とを有する。前記基準三角形と予測三角形との間の二面角は前記代表二面角である。

本発明は、符号化効率の向上と、予測精度の改善に好適であり、特に３次元エンジニアリングモデルなどの変化が大きい部分（sharp features）を有する３次元メッシュに好適である。これにより幾何符号化器が効率的になる。本発明は、異なる空間平面にある三角形の符号化にも、特にその二面角の予測に基づく符号化にも用いることができる。

本発明の一態様によると、連結データ、幾何データ、および特性データにより表される、三角形よりなる３次元メッシュモデルの符号化方法は、第１の軸に沿った共通の辺を有する基準三角形と被予測三角形とのペアを決定する段階と、前記三角形のペアのそれぞれについて、前記基準三角形と前記被予測三角形との間の二面角を決定する段階と、前記３次元メッシュモデルについて、前記三角形のペアの二面角を分析して、その分析に基づき、前記二面角のうち複数の二面角が入る第１の範囲を画定する段階と、前記二面角の第１の範囲について、第１の代表二面角を画定する段階と、前記３次元メッシュモデルの三角形を符号化する段階であって、基準三角形とそれに対応する予測三角形との間の残差を決定して符号化し、基準三角形とそれに対応する予測三角形との間の二面角が前記第１の範囲に入るとき、前記符号化に改善予測三角形に基づく予測を用い、基準三角形と改善予測三角形との間の二面角は前記代表二面角である段階と、前記被予測三角形と前記改善予測三角形との間の残差を計算して符号化する段階と、符号化した残差に前記代表二面角を参照することを示す表示を関連付ける手段と、を有する。

本発明の一態様は、これに対応する、３次元メッシュモデルの符号化装置に関する。

符号化方法の一実施形態では、第１のモードの第１の改善予測三角形と第２のモードの第２の改善予測三角形を、前記第１の軸に直交する、同一平面上にある第２の軸に対して鏡映させ、符号化した残差に第２の表示を関連付ける。この第２の表示は、残差が第１または第２のモードの予測三角形を参照するかどうかを示す。

符号化方法の一実施形態では、前記第１のモードにおいて、前記改善予測三角形は、同一平面上にある前記基準三角形の平行四辺形拡張であって前記第１の軸に対して前記代表二面角だけ回転したものに対応し、前記第１と第２のモードの改善予測三角形は同一平面上にあり、前記基準三角形と共通な第１の軸に沿った辺を有する。

本発明の他の態様によると、信号は、符号化された、三角形よりなる３次元メッシュモデルを含み、前記符号化された３次元メッシュモデルは複数の三角形の残差データを有し、前記残差データは基準三角形に基づき次の三角形を再構成するのに適し、前記基準三角形と前記次の三角形は共通の辺を有し、前記残差データは、前記次の三角形の符号化が、前記共通の辺を有する予測三角形に関することを示す表示を有し、前記予測三角形と前記基準三角形との間の二面角は所定の二面角である。

本発明の信号の態様の実施形態では、前記残差データは前記符号化が第１または第２の予測三角形を参照するかどうか示す表示をさらに有し、前記第２の予測三角形は、前記共通の辺に直交する、同一平面上にある軸に沿って鏡映または回転することにより、前記第１の予測三角形から求められる。

信号態様の一実施形態では、前記信号は前記所定の二面角の値をさらに有する。

本発明のさらに他の態様によると、符号化した、三角形よりなる３次元メッシュモデルの復号方法は、第１の代表二面角を決定する段階と、前記符号化した３次元メッシュモデルから、基準三角形と再構成する次の三角形とに関する、符号化モードを示す表示を関連付けられた残差データを取り出す段階と、前記残差データから、残差三角形または残差ベクトルを有する残差を復号する段階と、前記基準三角形からの予測に基づいて、前記被再構成三角形を再構成する段階であって、前記基準三角形と前記再構成された三角形は第１の軸に沿った共通の辺を有し、前記表示に応じて、前記残差に、所定の予測三角形を組み合わせる段階を有する予測モードを用い、前記基準三角形と前記所定の予測三角形との間の二面角は前記第１の代表二面角である段階と、を有する。

本発明の一態様は、これに対応する、３次元メッシュモデルの復号装置に関する。

復号方法の一実施形態において、第１の予測モードにおいて、前記残差を第１の予測三角形に加え、第２の予測モードにおいて、前記残差を第２の予測三角形に加え、前記第１と第２の予測三角形は前記第１の軸に沿った、前記基準三角形と共通の辺を有し、前記第１の軸に直交する第２の軸に対して鏡映されている。

好ましくは、基準三角形の平行四辺形拡張として補助三角形を構成することにより、予測三角形を生成できる。基準三角形とそれに対応する補助三角形は、同一平面上にあり、基準三角形と符号化する三角形、および補助三角形と符号化する三角形との間の二面角は同じである。次の段階で、補助三角形を、基準三角形と補助三角形の共通の辺の軸の回りに回転させる。しかし、この方法は既存の多くの３次元メッシュモデルに最適化されているが、一般的には、３次元メッシュモデルのメッシュ要素に応じて、予測三角形を構成するのに使える他の方法もある。

本発明の有利な実施形態は、従属項、以下の詳細な説明、及び図面に開示した。

添付した図面を参照して、本発明の実施形態例を説明する。
従来の平行四辺形予測を示す図である。 従来の平行四辺形予測を用いた、ボックスの３次元メッシュモデルを示す図である。 平行四辺形予測が失敗する典型的な場合を示す図である。 マルチウェイ平行四辺形予測を示す図である。 従来の局所座標系を示す図である。 平行四辺形予測器を有する幾何符号化器を示す図である。 平行四辺形予測器を有する幾何復号器を示す図である。 代表二面角を用いる、改良型平行四辺形予測を示す図である。 改良型平行四辺形予測を用いた、ボックスの３次元メッシュモデルを示す図である。 鏡映予測三角形を用いる改良型三角形予測の原理を示す図である。 異なる複数の代表二面角と鏡映予測三角形を用いる改良型三角形予測を示す図である。 ３次元メッシュモデルの一例を示す図である。 ３次元メッシュモデルの予測モードヒストグラムを示す図である。

本発明は、３次元メッシュの幾何圧縮における予測精度をさらに高める先進予測法に関する。基準三角形とスパニング三角形の各ペア間の二面角を分析して、頻繁に用いる二面角を検出してクラスタ化する。すなわち、現在の３次元モデルで用いる二面角に応じて１つ以上のクラスタを生成して、多くの二面角が一クラスタに入るようにする。各クラスタに対して代表角を定める。多くの二面角が一クラスタに入る場合、そのクラスタの代表角を用いて予測モードを定める。符号化器は各頂点に対して適当な予測モードを選択する。回転操作により、また一実施形態では、従来の平行四辺形予測の後の追加的な鏡映マッピング操作により、予測位置を生成する。回転角と、鏡映マッピングをするかどうかは、予測モードにより決める。

以下、本発明の様々な実施形態を説明する。図８は、従来の平坦な予測三角形のかわりに、先進的予測三角形に基づく予測方法の一例を示す。

前進予測三角形は、基準三角形Ｔ_ref（すなわちΔuvw）の一辺ｕｖと前進予測ベクトルｒ^AdvPredとにより規定され、スパニング三角形Ｔ_span（すなわちΔurv）の予測に使われる。スパニング三角形Ｔ_spanは基準三角形の一辺ｕｖと実際の頂点ｒとにより規定される。言うまでもなく、ｒとｒ^AdvPredの間の差異（すなわち予測誤差）は、ｒと従来予測の頂点ｒ^Predの間の差異よりもずっと小さい。二面角αを符号化するための追加コストは、以下に説明する角度クラスタ化を用いて最小化する。それゆえ、前進予測した頂点を用いる実際の頂点の符号化は、用いるデータ量が少ないので、コストが低い。前進予測三角形Ｔ_advPredの形状は補助三角形（Δur^Predv）の形状と同じである。すなわち、両者の角度と長さは等しい（２つの前進予測三角形を含む以下に説明する実施形態でも、これは言える。両者は鏡映だからである。すなわち、２つの角と２つの辺は入れ替わっているだけだからである。）しかし、スパニング三角形Ｔ_spanの形状は異なることがある。ここで留意すべき点として、基準三角形Ｔ_refと補助三角形Δur^Predvは同一平面内にあるが、前進予測三角形Ｔ_advPred（Δur^AdvPredv）はこれらに対して二面角αを有する。一実施形態では、前進予測三角形Ｔ_advPredとスパニング三角形Ｔ_spanは、基準面Ｔ_refに対して実質的に同じ二面角αを有する。他の一実施形態では、以下に説明するように、スパニング三角形の二面角は、前進予測三角形の二面角と異なり得るが、所定の小さな範囲内にある。

本発明の一態様による幾何符号化器は、最初に、連結符号化により決まる頂点の順序に沿って、基準三角形とスパニング三角形のペア間の二面角を計算する。スパニング三角形と（実質的に）同じ平面まで予測した位置を回転させ、任意的に局所Ｙ軸に沿って追加的な鏡映マッピングをしても残る予測残差について、可能性のあるゲインを計算する。局所的Ｙ軸は基準三角形とスパニング三角形に共通の辺に対応する。次に、角度クラスタリングを用いてすべての二面角を分析する。クラスタは実際の角度分布に応じて適応的に決定する。同じ、またはほぼ同じ（similar）角度は１つのクラスタに割り振る。各クラスタ中の角度の数を決定する。

一実施形態では、クラスタをそれに入る頂点の数により、降順にソートする。最初の数個のクラスタが支配的であり、すなわちほとんどの頂点を含んでおり、前進予測の残差のゲインが従来の予測残差と比較して大きい場合、本発明による前進平行四辺形予測法を幾何符号化に用いる。最初の数個のクラスタの代表二面角が予測モードを画定する。原理的には、１つのクラスタで十分であるが、３次元メッシュモデルによっては、もっと多くのクラスタを用いた方が効率が高くなる。そうでなく、３次元メッシュモデルの二面角が広い範囲に均等に分散していれば、従来の平行四辺形予測の方がよいかも知れない。

次に幾何データを圧縮する。前進平行四辺形予測を用いる場合、前進平行四辺形予測器は最初に予測モードを選択する。有利にも、前進平行四辺形予測器は、符号化する各頂点に対して、残差が最も小さくなる予測モードを選択する。クラスタの代表二面角による回転と、任意的な鏡映マッピング段階とにより、新しい頂点を予測符号化する。

図９は、鏡映マッピングを用いるとよい例を示す図である。３次元メッシュモデルは（実質的に）正方形ボックスである。二面角の分析により、代表角度が約２７０°のクラスタが画定される。基準三角形Ｔ_refは同一平面上の補助三角形Δur^Predvにマッピングされる。この補助三角形は両三角形に共通の辺、すなわち局所Ｘ軸の周りに、代表二面角だけ回転される。第１の予測頂点ｒ^Predを第２の予測頂点ｒ^RotPredにマッピングする。その結果得られる第１の前進予測三角形Δur^RotPredvを、（ｕ＋ｖ）／２、すなわちｕとｖの中間にある同一平面内局所Ｙ軸で鏡映して、鏡映した三角形もその辺の１つとしてｕｖを有するようにする。その結果得られる鏡映三角形Δur^AdvPredvはスパニング三角形Ｔ_span（すなわちΔurv）と完全に一致する。次の段階で、３つの予測三角形Δur^Predv、Δur^RotPredv、またはΔur^AdvPredvのどれが最良か判断する。この決定は、それぞれの残差を比較して、残差が最も小さくなる予測三角形を選択することにより行う。この場合は、残差がゼロになるので、明らかにΔur^AdvPredvである。このように、スパニング三角形Ｔ_spanを符号化するには、（通常の３次元メッシュ圧縮のように）基準三角形Ｔ_refおよび辺ｕｖを識別し、予測が属するクラスタを識別し（それゆえ二面角を識別し）、鏡映マッピングを用いることを識別すればよい。換言すると、基準三角形Ｔ_refと辺ｕｖを識別するとき、符号化するスパニング三角形Ｔ_spanは、クラスタの表示（この例ではクラスタが１つだけなので、１ビット）と鏡映マッピング段階の表示（１ビット）のみを有する。

この例のボックスは実質的に立方体であるが、本発明は、他の例でも有利である。しかし、その場合、２つ以上のクラスタがあり、クラスタを識別するのにもっと多くのビットが必要となる。構造の規則性が低い３次元メッシュの残差を符号化するには、ビットを追加する必要がある。いずれにしても、本発明は、３次元メッシュモデルの二面角の多くが限定した範囲にあり、隣接する範囲は実質的に空である場合に有利である。有利な効果は、その限定した範囲が高いところにあり、小さいほど、より多くの二面角がその範囲に入り、隣接する空の範囲が大きくなる。２つ以上のクラスタを画定する場合、異なるクラスタの幅は同じである必要はない。一例を図１３ａ）に示し、以下に説明する。

図１０は、鏡映予測三角形を用いる改良型三角形予測の一般的原理を示す図である。基準三角形Ｔ_ref12について、拡大平行四辺形Ｔ_aux12を生成する。これは、第１の予測頂点ｒ^adv_pred1により画定されるように、第１の回転により第１の予測三角形Ｔ_{adv_pred1}にマッピングされる。次に、第１の予測三角形Ｔ_{adv_pred1}を、第２の予測頂点ｒ^adv_pred2により画定されるように、第２の予測三角形Ｔ_{adv_pred2}に鏡映する。これは、第１の予測頂点ｒ^adv_pred1の第２の予測頂点ｒ^adv_pred2への鏡映と同等である。これらの三角形はすべて共通の辺を有している。第１の回転は、この共通の辺を軸とした、二面角θ₁₂の回転である。上記の通り、符号化の場合、これは現在の３次元メッシュモデルにより決まる代表二面角である。復号の場合、この二面角は予め画定され、何らかの情報源から受け取ったり、通常は符号化された３次元メッシュモデルの符号化パラメータとして受信データから取り出したりできる。第２の予測三角形Ｔ_{adv_pred2}は、第１の予測三角形Ｔ_{adv_pred1}をその中央軸ａｘ_m12で鏡映マッピングして求める。これは軸ａｘ_m12における１８０°の回転と同等である。結果として、（端点がスワップされていることを除いて）予測三角形の底辺がそれ自体にマッピングされる。

次に、スパニング三角形Ｔ_spanと両予測三角形Ｔ_{adv_pred1}、Ｔ_{adv_pred2}との間の残差ｒｅｓ_{adv_pred1}、ｒｅｓ_{adv_pred2}を計算し、互いに比較し、符号化が容易または低コストな残差（この場合、Ｔ_{adv_pred2}）を選択して予測符号化する。

図１１は、二面角が異なる例と、結果として得られる予測三角形のおおよその位置とを示す図である。第１の例では、二面角θ₁₂は約９０°であり、予測三角形の第１のペアＴ_{adv_pred1}、Ｔ_{adv_pred2}を画定している。第２の例では、二面角θ₃₄は約２００°であり、予測三角形の第２のペアＴ_{adv_pred3}、Ｔ_{adv_pred4}を画定している。第３の例では、二面角θ₅₆は約３００°であり、予測三角形の第３のペアＴ_{adv_pred5}、Ｔ_{adv_pred6}を画定している。さらに、図１１は、鏡映マッピングに用いる軸ａｘ_m12、ａｘ_m34、ａｘ_m56を示している。この点、図面は厳密ではないが、上記の軸は、常に三角形の共通の辺の中央で直交しており（画法のため違って見えるかも知れないが、ａｘ_m34もである）、予測三角形と同一平面上にある。

３次元エンジニアリングモデルなどの変化が大きい部分（sharp features）が多いモデルの場合、提案の前進予測法により幾何圧縮効率が大幅に改善される。分析段階では余分な幾何データのスキャンが必要であり、符号化速度に少し影響する。しかし、幾何データの量が減少し、復号器の速度は前進予測によりほとんど影響されない。

ここに提案する前進予測法は、３次元メッシュの連結データを圧縮するための、こうした幾何ガイド予測法（geometry-guided predictive schemes）を用いて、幾何予測がよいので、トポロジ符号化器の効率をさらに高くできる。

一般的にクラスタリングは個々の３次元メッシュモデルに依存するので、一定種類のモデルに対して、クラスタリングの範囲と代表する二面角とを予め画定しておくと有用である。この場合、前進予測三角形のそれぞれの代表する二面角の明確な表示を用いる限り、代表する角度を送信する必要はない。また、この場合、鏡映マッピングを用いることも可能であり、有利である。

第１の予測三角形と第２の予測三角形は、共通の底辺を有し、その共通底辺に直交する軸に沿って鏡映される。そのため、角度と辺の長さは等しい。

それぞれの角の範囲がどのくらい広いかは、３次元メッシュモデルの詳細に応じて決まる。この範囲は比較的小さく、例えば５°以下である。代表する角度は、通常、クラスタの中間値である。一般的には、その範囲内の極大値を画定できる。しかし、３次元メッシュモデルに大きな範囲の二面角を主に用いることも可能である。本発明は、この範囲内の角度が実質的に均等に拡散していて、その範囲内で１つの極大を画定するのが難しく、比較可能な隣接範囲内に二面角がないとき、有利である。例えば、あるモデルでは、８０°−１００°の範囲に多くの二面角が均等に拡散しているが、６０°−８０°や１００°−１２０°の範囲には二面角が無い。一方、範囲内に二面角があまり均等に拡散していないとき、２つ以上の極大値を画定して、各極大値に範囲を割り振るとよい。

３次元メッシュモデルを適当なサイズのサブモデルに分割して、各サブモデルを分けて処理できる。この場合、クラスタリングと代表二面角はサブモデルの中だけで有効である。これは、３次元メッシュモデルの一部が他の部分より非常に異なる表面構造を有しているときなどに有利である。

本発明の一利点は、次の三角形とその基準三角形との間の二面角のみを計算すればよいことである。すなわち、各三角形の基準三角形は１つだけであり、そのため計算量が限定される。

図６は、本発明の一態様による符号化器を示すブロック図である。本符号化器は幾何符号化器部分ＧＥとエントロピ符号化器ＥＥとを有する。幾何符号化器は、二面角クラスタリングモジュールＤＡＣと、予測モード画定モジュールＰＭＤと、前進平行四辺形予測モジュールＡＰＰとを有する。二面角クラスタリングモジュールＤＡＣは、３次元メッシュモデルを分析して、二面角をクラスタリングし、（該当する場合）代表二面角を生成する。予測モード画定モジュールＰＭＤは、各頂点に対して、最適化した符号化モード（従来の予測モード、代表角に基づく前進予測モード、または代表角と鏡映に基づく前進予測モード）を画定する。前進平行四辺形予測モジュールＡＰＰは、予測モード画定モジュールＰＭＤが画定した符号化モードを適用して、残差を生成する。結果として、予測モード情報ＰＭＩと予測残差情報ＰＲＩが、エントロピ符号化器ＥＥに供給される。エントロピ符号化器ＥＥは、エントロピ符号化を行い、エントロピ符号化したデータｄ_outを出力する。例えば、エントロピ符号化器ＥＥは、一般ヘッダと各頂点のデータ部分とを有するデータフォーマットを生成する。このデータヘッダでは、なかんずく、異なる代表二面角を画定する。頂点のデータ部分は、その予測モード表示ＰＭＩと、エントロピ符号化した予測残差データＰＲＩとを有する。

図７は、本発明の一態様による復号器を示すブロック図である。復号器はエントロピ復号器部分ＥＤと幾何復号器部分ＧＤを有する。エントロピ復号器は、エントロピ符号化された入力データｄ_inを受け取り、エントロピ復号を行い、幾何復号器部ＧＤに予測モード情報ＰＭＩと予測残差情報ＰＲＩを供給する。幾何復号器部ＧＤは、復号用前進平行四辺形予測モジュール（decoding version of an advanced parallelogram prediction module）ＡＰＰ′を有し、予測モード情報により頂点の予測を行う。前進平行四辺形予測モジュールＡＰＰ′は、予測モード読み取りユニットＲＰＭから二面角に関する情報を得る。予測モード読み取りユニットＲＰＭは、例えば、受け取った信号のヘッダ（図示せず）からこの情報を取り出す。

３次元メッシュモデルの一例を図１２に示す。これは３ＤｓＭａｘで生成したものであり、２８８個の頂点と５７２個の三角形を有する。メッシュは、図１２（ｂ）では見えるが、図１２（ａ）ではテクスチャでカバーされている。このモデル例は多数の二面角を有する。二面角を分析して、表１に示したようにクラスタリングできる。右端の列は、そのモードを使う頂点がいくつあるか示している。

表１ 「Ｔ」モデルの予測モード
表１から分かるように、現れる二面角は約０°、９０°、３５０°、および３５５°だけである。各二面角に対して、別のクラスタを画定する。一般的に、各クラスタの幅（そのクラスタに入る二面角の範囲）は個々に異なり得る。さらに、ほとんどの頂点では、予測モード「０」が選択されない。予測モード「０」は従来のフラット平行四辺形予測法である。これは、最適な残差を選択した結果であり、表面は滑らかであっても、「Ｔ」モデルなどの構造を圧縮する前進平行四辺形予測器の優位性を示している。

範囲の幅は異なってもよい。図１３（ａ）は、第１の代表二面角α₁の第１の範囲Ｒ₁に入る二面角の分布例と、第２の代表二面角α₂の第２の範囲Ｒ₂（Ｒ₁＞Ｒ₂）に入る二面角の分布例を示す。しかし、多くの人工的に作った３次元メッシュモデルでは、いくつかの二面角しか用いられないので、範囲は非常に小さい。図１３（ｂ）は表１の７つの符号化モードのヒストグラムを示す図である。図から分かるように、すべての予測モードが使われるわけではない。例えば、３５０°の二面角は、鏡映マッピング無し（局所鏡映マッピング＝０）でしか使われない。

本発明の一態様では、３次元メッシュモデルを符号化したビットストリームは２つのレベルで改良（enhance）される：
第１に、幾何レベルにおいて、すなわち、頂点データのグループのヘッダにおいて、予測モード情報は：
−提案の前進平行四辺形予測器を用いるかどうか示す１ビット。例えば、「１」は提案の予測方法を利用することを意味し、「０」は従来のソリューションを利用することを意味する。
−予測モードの数を示すビット（例えば、１ビット）。図１３の例では、予測モード数は８であり、そのためビット「００００１０００」がビットストリームに挿入される。
−各予測モードの詳細を示すビット。例えば、各モードに、０°−３５９°の範囲の回転角度を表す１０ビットを用いる。鏡映マッピングを使うかを示すビットも用いる。各モードに対して全部で１１ビットを用いる。

第２に、頂点レベルにおいて、すなわち、各頂点のヘッダ情報において、予測モード情報を追加する：現在の頂点の予測モードを表すビット。例えば、各頂点に対して３ビットを用いれば、８つのモードを表すには十分である。

上記の例では、演算符号化器すなわちハフマン符号化器と同様のレンジ符号化器（非特許文献６参照）をエントロピ符号化器として用いるとき、記憶容量を約９％節約することが可能である。予測残差が大幅に低減されるからである。エントロピ符号化器を、特に、予測モード情報を圧縮するものを慎重に選択することにより、ゲインをさらに大きくすることができる。これは、前進平行四辺形予測法を用いるとき、圧縮された幾何データは予測残差だけでなく予測モード情報も含むことをすでに考慮している。

本発明は、符号化器と復号器の場合に、特に、３次元メッシュモデルの符号化器と復号器の場合に有利である。

いうまでもなく、本発明を例示によって説明した。本発明の範囲から逸脱することなく細かい点で修正を加えることは可能である。明細書、特許請求の範囲、及び図面に開示した各特徴は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで本発明の特徴を実現することができる。接続は場合に応じて無線接続でも有線接続でもよく、必ずしも直接的または専用の接続でなくてもよい。特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。図面は必ずしも実際の寸法に比例していない。

Claims (14)

1. 三角形よりなる３次元メッシュモデルの符号化方法であって、
   決定手段が、第１の軸に沿った共通の辺を有する基準三角形と被予測三角形とのペアを決定するステップと、
   二面角決定手段が、前記三角形のペアのそれぞれについて、前記基準三角形と前記被予測三角形との間の二面角を決定するステップと、
   分析手段が、前記３次元メッシュモデルについて、前記三角形のペアの二面角を分析して、その分析に基づき、前記二面角のうち複数の二面角が入る二面角の第１の範囲を画定するステップと、
   確定手段が、前記二面角の第１の範囲について、第１の代表二面角を画定するステップと、
   符号化手段が、前記３次元メッシュモデルの三角形を符号化するステップであって、基準三角形とそれに対応する予測三角形との間の残差を決定して符号化し、基準三角形とそれに対応する予測三角形との間の二面角が前記二面角の第１の範囲に入るとき、前記符号化に改善予測三角形に基づく予測を用い、基準三角形と改善予測三角形との間の二面角は前記代表二面角であるステップと、
   計算手段が、前記被予測三角形と前記改善予測三角形との間の残差を計算して符号化するステップと、
   関連付け手段が、符号化した残差に、前記代表二面角を参照することを示す第１の表示を関連付けるステップと、を有する方法。
2. 符号化手段が、符号化した３次元メッシュモデルに、前記代表二面角を示す値を関連付けるステップをさらに有する、請求項１に記載の方法。
3. 第１のモードの第１の改善予測三角形と、第２のモードの第２の改善予測三角形を、前記第１の軸に直交する、同一平面上にある第２の軸に沿って鏡映し、前記第１と第２の改善予測三角形は共通の辺を有し、前記符号化手段が、符号化した残差に、その残差が前記第１または第２のモードの予測三角形を参照するかどうかを示す第２の表示を関連付ける、請求項１または２に記載の方法。
4. 前記第１のモードにおいて、前記改善予測三角形は、同一平面上にある前記基準三角形の平行四辺形拡張であって前記第１の軸に対して前記代表二面角だけ回転したものに対応し、
   前記第１と第２のモードの改善予測三角形は同一平面上にあり、前記基準三角形と共通な第１の軸に沿った辺を有する、請求項３に記載の方法。
5. 前記符号化手段が、前記基準三角形について、前記２つの予測モードによる２つの残差を、前記２つの同一平面上にある改善予測三角形に基づき計算し、
   前記方法は、
   前記２つの残差を比較するステップと、
   前記基準三角形を低コストで符号化できる残差を選択するステップであって、低コストでの符号化はより少ないデータ量を用いた符号化を意味するステップとを有する、
   請求項３または４に記載の方法。
6. 前記分析手段が、二面角の複数の範囲とそれに対応する複数の代表二面角を画定して予測に用い、
   前記第１の表示は、各残差について、その残差が参照する代表二面角も示す、
   請求項１ないし５いずれか一項に記載の方法。
7. 符号化した、三角形よりなる３次元メッシュモデルの復号方法であって、
   決定手段が、第１の代表二面角を決定するステップと、
   取り出し手段が、前記符号化した３次元メッシュモデルから、基準三角形と被再構成三角形とに関する、符号化モードを示す第１の表示を関連付けられた残差データを取り出すステップと、
   復号手段が、前記残差データから、残差三角形または残差ベクトルを有する残差を復号するステップと、
   再構成手段が、前記基準三角形からの予測に基づいて、前記被再構成三角形を再構成するステップであって、前記基準三角形と前記再構成された三角形は第１の軸に沿った共通の辺を有し、前記第１の表示に応じて、前記残差に、所定の予測三角形を組み合わせるステップを有する予測モードを用い、前記基準三角形と前記所定の予測三角形との間の二面角は前記第１の代表二面角であるステップと、を有する方法。
8. 前記取り出し手段が、前記第１の代表二面角を、前記符号化した３次元メッシュモデルから取り出す、請求項７に記載の方法。
9. 第１の予測モードにおいて、前記残差を第１の予測三角形に加え、第２の予測モードにおいて、前記残差を第２の予測三角形に加え、前記第１と第２の予測三角形は前記第１の軸に沿った、前記基準三角形と共通の辺を有し、前記第１の軸に直交する第２の軸に対して鏡映されている、
   請求項７または８に記載の方法。
10. 連結データ、幾何データ、および特性データにより表される、三角形よりなる３次元モデルの符号化装置であって、
    第１の軸に沿った共通の辺を有する基準三角形と被予測三角形とのペアを決定する手段と、
    前記三角形のペアのそれぞれについて、前記基準三角形と前記被予測三角形との間の二面角を決定する手段と、
    前記３次元メッシュモデルについて、前記三角形のペアの二面角を分析して、その分析に基づき、前記二面角のうち複数の二面角が入る第１の範囲を画定する手段と、
    前記二面角の第１の範囲について、第１の代表二面角を画定する手段と、
    前記３次元メッシュモデルの三角形を符号化する手段であって、基準三角形とそれに対応する予測三角形との間の残差を決定して符号化し、基準三角形とそれに対応する予測三角形との間の二面角が前記第１の範囲に入るとき、前記符号化に改善予測三角形に基づく予測を用い、基準三角形と改善予測三角形との間の二面角は前記代表二面角である手段と、
    前記被予測三角形と前記改善予測三角形との間の残差を計算して符号化する手段と、
    符号化した残差に前記代表二面角を参照することを示す第１の表示を関連付ける手段と、を有する装置。
11. 第１のモードの第１の改善予測三角形と、第２のモードの第２の改善予測三角形を、前記第１の軸に直交する、同一平面上にある第２の軸に沿って鏡映し、前記第１と第２の改善予測三角形は共通の辺を有し、符号化した残差に、その残差が前記第１または第２のモードの予測三角形を参照するかどうかを示す第２の表示を関連付ける、請求項１０に記載の装置。
12. 二面角の複数の範囲とそれに対応する複数の代表二面角を画定して予測に用い、
    前記第１の表示は、各残差について、その残差が参照する代表二面角も示す、
    請求項１０または１１に記載の装置。
13. 符号化した、三角形よりなる３次元メッシュモデルの復号装置であって、
    第１の代表二面角を決定する手段と、
    前記符号化した３次元メッシュモデルから、基準三角形と被再構成三角形とに関する、符号化モードを示す第１の表示を関連付けられた残差データを取り出す手段と、
    前記残差データから、残差三角形または残差ベクトルを有する残差を復号する手段と、
    前記基準三角形からの予測に基づいて、前記被再構成三角形を再構成する手段であって、前記基準三角形と前記再構成された三角形は第１の軸に沿った共通の辺を有し、前記第１の表示に応じて、前記残差に、所定の予測三角形を組み合わせるステップを有する予測モードを用い、前記基準三角形と前記所定の予測三角形との間の二面角は前記第１の代表二面角である手段と、を有する復号装置。
14. 前記符号化した残差から第２の表示を取り出す手段をさらに有し、
    前記被再構成三角形を再構成する手段は、少なくとも第１と第２の予測モードを有し、前記第２の表示は、残差が前記第１または第２のモードの予測三角形を参照するかどうかを示し、
    第１の予測モードにおいて、前記残差を第１の予測三角形に加え、第２の予測モードにおいて、前記残差を第２の予測三角形に加え、前記第１と第２の予測三角形は前記第１の軸に沿った、前記基準三角形と共通の辺を有し、前記第１の軸に直交する第２の軸に対して鏡映されている、請求項１３に記載の装置。

Images