JP4216477B2 - 選択的メッシュ細分化方法 - Google Patents

Description

【０００１】
本発明は、イメージ又はイメージ要素の符号化技術に関する。本発明は、特に、メッシュ（meｓh）で表現された３次元（３Ｄ）シーン（場面）（又はシーンのオブジェクト）の適合表現及び符号化に関する。
【０００２】
本発明は、デジタルイメージの効果的な描写、記憶及び／又は伝送に必要とされる情報要素の数を減少させることが望ましい全ての分野に適応できる。例えば、本発明は、インタネットを介してイメージを送信するために使用されてよい。これに関連して、ビットレートが一定でなくかつ保証はされていないものの、リアルタイム表示による３Ｄシーンのアニメーションが可能になる。この場合、本発明は、ＶＲＭＬのようなデータ伝送言語の基本命令（プリミティブ）であってよい。
【０００３】
考えられる他の用途として、ＣＤ−ＲＯＭ（或いはこれと同等なデータ搬送媒体）におけるアニメデータの記憶、多数ユーザアプリケーション、デジタルテレビ等が挙げられる。
【０００４】
本発明は、基本メッシュ（basic mesh）に加えられる一連のディテールとしてある一つのメッシュを表現するために使用されるいわゆる「ウェーブレット（wavelet）」法の改良を提案する。この技術の一般理論は、特に、ルーンスベニ氏、デローズ氏、及びウォーレン氏による「面又は任意トポロジー型の多重解像度解析」（グラフィックスに関するＡＣＭトランザクション誌、第１６巻第１号の３４〜７３ページ）と題された論文に説明されている。
【０００５】
この技術によれば、ある一つのメッシュは、一つの単純な多面体による前記メッシュのパラメトリゼーションのウェーブレット基底に関する座標に対応する一連の係数によって表現される。対応する数学原理は、本書に添付された補遺において再度呼び起こされる。なお、この補遺は、本願明細書の記述の一部をなすものとする。
【０００６】
実際、再構成の間、基本メッシュＭ₀はツリー形式で示される。つまり、各フェースはツリーのルート（根幹）で、各ノードの子（オフスプリング）は標準細分後に得られる４つのフェースである。ウェーブレット係数は、Ｍ₀の一面上の重心座標によってインデックス付けされる。
【０００７】
細分技術は、サーティン氏、ジョバン・ポポビック氏、デローズ氏、ダチャンプ氏、サレスム氏、及びシュツル氏による論文「双方向多重解像度サーフェス・ビューイング」（１９９６年のコンピュータ・グラフィックス・プロシーディングに提案された。
【０００８】
この技術では、バーテックス（頂点）上の十分条件を観察することによって細分が行われる。つまり、ある一つのバーテックスは、もしそれが図１に示されているようにそれぞれ４つに再分割される２つのフェースに共有されるリッジ（ridge）の中間にあれば、フル（full）と言われる。
【０００９】
その原理は、議論されるウェーブレット係数をインデックス付けするバーテックスから出発し、細分によって、すべてのバーテックスが完全（complete）と考えられるまで再帰的に、その隣と、その隣の隣を完全にすることにある。この規則は、このアルゴリズムが、議論されているウェーブレット係数によってなされる修正に適合する細分に備えるのに十分であるという観察から導き出される。
【００１０】
しかしながら、この技術には重大な欠点がある。その欠点の中には、メッシュの記述に必要なデータ要素の数の不必要な増加をもたらす不必要なファセット（facets）が生成されるということが含まれる。特に、不必要なファセットは既に上で言及されたバーテックスの完全性を与える細分により生成される。
【００１１】
言い換えると、同一平面上のファセットが、観察されたウェーブレットの台（support）から比較的離れたゾーンに生成される。これによって、不必要にオブジェクトの表示効果が減じられる。
【００１２】
実際には、特に、当該のオブジェクトが動かされ、ターミナルのパワーが制限され及び／又は伝送ビットレートが変動及び／又は制限されると、データ要素の数（及び、従ってファセットの数）は重大な結果を有することが知られている。
【００１３】
本発明の目的は、従来技術のこれらの欠点を克服することにある。
【００１４】
本発明の目的は、特に、３Ｄオブジェクトを表現するメッシュの符号化の方法で、従来技術と比較して、復原の質が同一又は類似するような、多数のファセットを制限する方法を提供することにある。
【００１５】
本発明のもう一つの目的は、周知技術と比べて、複雑さがより少ないか、或いは少なくとも同じ複雑さ（特に多数の実行される作業と、必要とされる記憶容量とに関して）の、この種の符号化の方法を提供することにある。
【００１６】
本発明の更なる目的は、様々な基準（ターミナルの処理能力、有効な記憶手段の容量、伝送ビットレート、ユーザのニーズ等）の関数としてオブジェクトの復原の質的ないくつかのレベルを有するために使用できる、この種の符号化の方法を提供することにある。
【００１７】
本発明の更なる目的は、オブジェクトの順次再構成（progressive reconstruction）に使用できる、この種の符号化の方法を提供することにある。
【００１８】
本発明の更に別の目的は、この符号化の方法によって符号化されたオブジェクトの再構成の方法を提供することにある。
【００１９】
これらの目的及び他の目的は、以下において詳細に説明される本発明による方法によって達成される。その方法は、３Ｄオブジェクトを表現するソース（原）メッシュ（Ｍ）の連続的な細分化メッシュ（又はサブメッシュ）（Ｍ_j）への細分を所定の基準に従って与えるために、それぞれがバーテックス及びリッジで定義された限定数のフェースを持つ単純メッシュ（Ｍ₀）が決定され、次いで前記ソースメッシュ（Ｍ）が前記単純メッシュ（Ｍ₀）上で定義されるその像である関数（ｆ）のウェーブレット基底に関する係数が決定される、前記ソースメッシュ（Ｍ）を符号化する方法である。
【００２０】
本発明によれば、前記メッシュ（Ｍ_j）の各フェースは、限定数のファセットに細分（再分割ともいう）されてより高次のメッシュ（Ｍ_j+1）が形成され、前記フェースの細分は、前記フェース上の前記関数（ｆ）の結合性条件（a condition of affinity）に従うために必要とされる細分だけに対応する。
【００２１】
実際、本発明者は、ウェーブレット係数を考慮することは、ウェーブレットが前記ファセット上で細分化できるよう、問題となるウェーブレットをインデックス付けするバーテックスの近傍における局所的細分が伴わねばならないことを認識している。ウェーブレットは、関数φ₁ ^jの総和であるので、そうした関数の台を局所化して、それらを含むファセットをこの関数が各結果として生じるファッセット上で細分化されるまで局所的に細分することができれば十分である。
【００２２】
以後、用語「フェース（face）」と「ファセット（facet）」は区別なく使用されることに留意されたい。一般に、「ファセット」は、「フェース」の細分である。
【００２３】
有利には、前記ソースメッシュ（Ｍ）は、それぞれが前記単純メッシュ（Ｍ₀）の一つのフェースを表現し、かつ、ある一つのメッシュ（Ｍ_j）のある一つのフェースをそれぞれ表現するノードを含む、ツリーの一集合にまで細分され、前記関数（ｆ）は各前記フェース上で細分化される。また、ある一つの定められたフェースが４つのファセットに細分されるとき、対応するノードが前記４つのファセットを表現する４つの子（オフスプリング）を含むものとなるように、前記ツリーはそれぞれ最小となるように構成される。
【００２４】
有利には、本発明による前記方法は、前記連続するメッシュのそれぞれに対応して、いくつかのレベルの符号化のクォリティを得ることを可能ならしめる。
【００２５】
このことは、以下に示されるように細分構造であるが故に容易である。
【００２６】
好ましくは、前記連続するメッシュは再帰アルゴリズムを実施することによって得られる。
【００２７】
前記再帰アルゴリズムは、次のようなステップ、すなわち、
（ａ） フェースＦ₀上の重心座標（α，β，γ）を持つバーテックス（ｓ）によってインデックス付けされたウェーブレット係数を受信するステップと、
（ｂ） バーテックス（ｓ）を含むＦ₀の近隣フェースＦ_iのそれぞれに対して、
・ Ｆ＝Ｆ_iとし、
・ 前記重心座標（α，β，γ）から、前記フェースＦのバーテックスによって形成された細分化段階の前記バーテックス（ｓ）の、（α，β，γ） とも称される座標を導出し、
・ もし座標α、β、γが正又は零であり、かつ、もしそれらの中の２つが厳密に正であるならば、
・ 前記フェースＦを細分し、
・ 前記フェースＦの４つの子（オフスプリング）に対して逐次的に前記ステップ（ｂ）の処理から再出発する、
ステップと、
とから構成されるのが有利である。
【００２８】
本発明は、前記符号化の方法に従って符号化された３Ｄオブジェクトを表現するソースメッシュ（Ｍ）を再構成する方法も提供する。
【００２９】
有利には、この種の再構成の方法は、単純メッシュ（Ｍ₀）を使用して、次いで連続するメッシュ（Ｍ）を使って、前記オブジェクトを順次再構成することに提供される。
【００３０】
好ましくは、この再構成の方法は、前記連続するメッシュのそれぞれに対応して、いくつかのレベルの符号化のクォリティを得ることを可能ならしめる。
【００３１】
本発明は、いくつかの分野に有利に適用されるが、特に、
・ ３Ｄスクリーンにメッシュオブジェクト（meshed object）を表示する分野、
・ ウェーブレット係数が到着したときに前記ウェーブレット係数を考慮して、スクリーンに３次元のメッシュオブジェクトを順次に表示する分野、
・ ３Ｄスクリーンにメッシュオブジェクトを少なくとも２つの異なった詳細レベルで、一つの詳細レベルが前記連続するメッシュ（Ｍ_i）の一つに対応するよう、表示する分野、
・ メッシュオブジェクトの、少なくとも２つの異なった詳細レベルにある異なった部分を表示する分野、
・ メッシュオブジェクトのメッシュを圧縮する分野、
の少なくとも一つの分野に適用される。
【００３２】
本発明の他の特徴と利点は、以下の本発明の好ましい実施態様の説明とその説明で参照される添付図面からより明らかとなるが、本発明はそうした実施態様に限定されるものではない。
【００３３】
本発明によるメッシュを符号化する方法は、特に、必要最小限の細分を、従来技術と同一のアルゴリズムの複雑さを維持しながら実行することを目的とする。
【００３４】
本明細書の残りの部分の全体にわたって、点ｓは、Ｆ₀のバーテックスによって形成された細分化段階（ベース）の重心座標が（α，β，γ）であれば、Ｆ₀上の重心座標（α，β，γ）を持つと言われる。また、Ｍ₀は、錯乱する可能性がないなら特定されないものとする。
【００３５】
本発明の基本アルゴリズムは、どのような実施態様にも依存せずに、以下のように与えられる。
１． フェースＦ₀上の重心座標（α，β，γ）を持つバーテックスｓによってインデックス付けされたウェーブレット係数を受信する。
２． ｓを含むＦ₀の近隣フェースＦ_iのそれぞれに対して、
（ａ） Ｆ＝Ｆ_iとする。
（ｂ） （α，β，γ）とも呼ばれるＦのバーテックスによって形成された細分化段階のｓの重心座標（α，β，γ）を導出する。
（ｃ） α又はβ又はγは、全て正ないし零、或いはもしそれらの中の２つが厳密に正ならば、
ｉ． Ｆを再分割し、
ｉｉ． Ｆに対して４つの子孫を逐次的に（ｂ）から再出発する。
アルゴリズムが終了したときには、細分の度合いに比べれば較線形時間の複雑さでＭ₀の最小細分が得られる。伝送ビットレート及び／又は記憶容量は、従って、最適化される。
【００３６】
本発明はｆに対応する最小ツリーだけでなく、総和
【数１】

が打切り（トランケート）されるときに、各近似（補遺参照）を決定するためにも使用されることに留意しなければならない。
【００３７】
前記総和は、次々に項を加えることにより正確に順次得られるので、その作業は近似ｆ_iを表すツリーから、
【数２】

を表すツリーまで進む（ここで、ｃ^j' _i'は、各フェース上のアフィニティ条件に厳密に必要なファセット細分だけの実行において送信されるウェーブレット係数である）。
【００３８】
こうしてオブジェクトを順次に再構成し、及び／又は、クォリティレベル（インデックスｊに対応する）を選択することは可能である。
【００３９】
順次に再構成されたメッシュは、ウェーブレット係数に先だって送信されたメッシュＭ₀のｎ個のフェースの連続分割を記述するｎ個の４本ツリーとして表現できる。受信された各ウェーブレット係数は、ｓを含むファセットを示すフェースＦ₀を表す整数のみならず、その係数に関連するウェーブレットをインデックス付けするバーテックスｓの重心座標に比例する３つの整数Ａ，Ｂ，Ｃによって得られる。
【００４０】
もしｓがＭ_j＋１に属するならば、Ａ，Ｂ，ＣはＦ₀のバーテックスによって形成された細分化段階におけるｓの重心座標α，β，γから次式によって導出される。
【数３】

ｓに中心を有するウェーブレットは、以下の形をとる。
【数４】

ここで、ＤはメッシュＭ_j上の近隣である。上の部分で説明された技術は、それぞれの重心座標を持つ、総和に現れる各関数に適応されなければならない。
【００４１】
これらの重心座標は同一の細分化段階においてｓの重心座標として表現され、そしてこれらの座標から導出される。つまり、近隣Ｄは、固定された値ｋに対して、図２に示されているようにｓを含むＭ_jのリッジの端ｓ₁とｓ₂の一つから最大ｋ個のリッジの距離にあるＭ_jのバーテックスの集合である。これら２つのバーテックスの重心座標は、以下の基準によって特徴づけられる。
【００４２】
三重項（α’，β’，γ’）は、整数の三重項（Ａ’，Ｂ’，Ｃ’）＝２^j（α’，β’，γ’）が次式、
【数５】

を満足するときのみ、これら２つの点の一つの座標を表現する。
ここで、εは、下記の集合を表す。
｛(1,-1,0),(-1,1,0),(1,0,1),(-1,0,1),(0,1,-1),(0,-1,1)｝
【００４３】
これらｓの２つの直接の近隣ｓ₁，ｓ₂が決定されと、その他のものは以下の基準をｋ回適用することによって決定される。すなわち、ｕ及びｖをフェースＦ上でそれぞれ重心座標（α’，β’，γ’）及び（α’’，β’’，γ’’）を持つ２つのバーテックスとする。そのとき、ｕ及びｖは、近隣Ｄ内のバーテックスのリストを明白に与える次式、
【数６】

が満たされるときのみ、Ｍ_j上の一つのリッジで結ばれる。
【００４４】
これらのバーテックスはそれぞれ、重心座標（α，β，γ）が与えられ、こうして、既に記述されたアルゴリズムの変形に従って対応する関数φ^j _iによってなされた修正に必要な細分を生じさせる。作業は、ｊがＡ，Ｂ，Ｃが整数となる最小整数とすると組（Ａ，Ｂ，Ｃ）＝２^j（α，β，γ）から開始され、各細分化において、この三重項の基本変化行列は正（ポジティビティ）のテストが整数上で行われるような方法で適用される。
【数７】

【００４５】
ここに記述された方法は、図３において非常にシンプルに説明される。受信した各ウェーブレット係数Ｄ^j _iに対して（ステップ３１）、処理される要素が適切な細分化段階に持ち込まれる局所化ステップ３２が実行され、次いで議論される各フェースの細分ステップ（３３）が実行される。
【００４６】
図４にはこれら２つのステップ３２，３３のより詳細な模範的な実施態様が示されている。
【００４７】
局所化ステップ３２において、レベルｊ＋１におけるスケール関数の重み付き総和として書かれているψ^j _iを使って、これらのスケール関数をインデックス付けするＭ₀（又はＭ_jのバーテックス）のフェースと点の重心座標が決定される。
【００４８】
次いで、フェースＦに関連する座標（α，β，γ）を持つ各三重項に対して（４１）Ｆのバーテックスの段階における（α，β，γ）に対応する座標（α’，β’，γ’）が計算され（ステップ４２）、そして（α，β，γ）＝（α’，β’，γ’）と置かれる。
【００４９】
次に、以下のテスト４３が実行される。すなわち、
（α≧０）かつ（β≧０）かつ（γ≧０）かつ（（αβ＞０）又は（αγ＞０）又は（βγ＞０））。
【００５０】
もし結果が肯定的であるならば（ステップ４４）、フェースＦが４つの子Ｆ_iに細分される逐次代入ループが実行され、そして各々の子Ｆ_iに対して（ステップ４６）、Ｆ＝Ｆ_iと置かれ（ステップ４７）、作業がステップ４１から再帰的に再開される。
【００５１】
テスト４３の結果が否定的ならば、新しいフェースＦに対して（ステップ４１）、処理が再開される（ステップ４８）。全てのフェースＦが処理されたら、細分が終了する（ステップ４９）。
【００５２】
補遺
空間における面ｓは、多面体Ｍ₀上で定義されるＲ³に値を持つ連続単射関数の像として表現できる。そのとき、その面はその多面体によってパアメトライズされ、そしてそれは前記関数のパラメトリゼーションと呼ばれる。この関数は、Ｒに値を持つ関数の三重項（triplet）であり、そのそれぞれの関数は、Ｒに値を持つ多面体上の連続関数から成る基底Ｃ⁰（Ｍ₀）で展開される。
【００５３】
メッシュ面（meshed surface）の場合では、この技術は圧縮されたメッシュ表現を得るために使用される。さらに、ウェーブレットを基本関数として使用すれば、最も粗い形から最も詳細な形までその順次表現（progressive representation）の備えになる。
【００５４】
これらの関数は、標準的な意味でウェーブレットではないが、多重解像度解析の概念を一般化する細分化関係に従う。Ｍ₀を面Ｍのパラメトリゼーションがその上で定義される多面体とする。以下のように定義される関数φ⁰ _iによって生成されるＣ⁰（Ｍ₀）の部分空間Ｓ₀を議論する。ここで、φ_iは、各ファセット上で細分化され、ｉ番目のバーテックスで１に等しく、その他のバーテックスでは０に等しい。
【００５５】
関数φ^j _iによって生み出される部分空間Ｓ_jは同じ方法で定義される。ただし、Ｍ_j−₁の各ファセットを再分割することによって得られるメッシュＭ_jによってＭ₀は置き換えられる。空間Ｓ_jは有限次元であり、入れ子になっている。Ｓ₀は最小で、ＲにおけるＭ₀のあらゆる連続関数はかなり大きな数のｊに対してＳ_jのある一つの関数によって一様に近似できる。
【００５６】
この包含（inclusion）によって順次符号化（progressive encooding）が可能になる。つまり、もしＷ_jがＳ_jとＳ_j＋₁の付加値を表すために使用され、｛ψ^j _i｝ⁱをＷ_jの基底（ウェーブレット）とすれば、以下の集合
【数８】

はＣ⁰（Ｍ₀）の基底を形成する。従って、Ｍをパラメトライズする関数ρは次式のように一義的に書かれる。
【数９】

ここで、値Ｃ_iと値ｄ^j _iは、Ｒ³に値をとり、ウェーブレット係数と呼ばれる。
【００５７】
実際には、ウェーブレットは、それらの台がＯ（ｎ）のオーダでウェーブレット係数の決定を可能にするよう選ばれる。ｎは、メッシュＭのバーテックスの数である。固定された整数ｋに対して、もしＤ_k，_iがバーテックスｉからｋリッジ未満の距離にあるメッシュＭのバーテックスの添字集合を表すならば、ウェーブレットψ^j _iは、ψ^j _iが台Ｄ_k＋₁に台を有する方法で次式のように与えられる。
【数１０】

【００５８】
こうして、再構成の間、ウェーブレット係数の影響はこの種の近隣に制限される。
【図面の簡単な説明】
【図１】 従来技術の説明において既にコメントしたサーテイン氏らによって使用される技術による完全バーテックスを示した図である。
【図２】 本発明によるバーテックスｓの直接の近隣を示した図である。
【図３】 本発明による符号化方法の手順の流れの概略図である。
【図４】 図３の局所化と細分のステップを再度詳細に説明するためのより詳細な手順のブロック図である。

Claims (8)

1. スクリーン上に表示されるべき３Ｄオブジェクトを表現するソースメッシュ（Ｍ）の連続的な細分化メッシュ若しくはサブメッシュ（Ｍ_ｊ）への分割を所定の基準に従って与えるために、それぞれがバーテックス及びリッジで定義された限定数のフェースを持つ単純メッシュ（Ｍ_ｏ）が決定され、次いで前記ソースメッシュ（Ｍ）が前記単純メッシュ（Ｍ_ｏ）上で定義されるその像である関数（ｆ）のウェーブレット基底に関する係数が決定される、前記ソースメッシュ（Ｍ）を符号化する方法であって、
   より高次のメッシュ（Ｍ _ｊ＋１ ）を形成するために、前記フェースの各々又は前記メッシュ（Ｍ _ｊ ）の１つを限定数のファセットに細分するステップであって、前記関数（ｆ）が前記フェースについてアフィンであるときに、前記フェースの細分を中断する終了基準を実施する、細分するステップと、
   前記単純メッシュ（Ｍ _ｏ ）、及び、前記細分するステップによって提供されたフェースに関連した前記係数を記憶及び／又は伝送するステップと、
   を含むことを特徴とする方法。
2. 前記ソースメッシュ（Ｍ）は、それぞれが前記単純メッシュ（Ｍ_ｏ）の一つのフェースを表現し、かつ、ある一つのメッシュ（Ｍ_ｊ）のある一つのフェースをそれぞれ表現するノードを含む、ツリーの一集合にまで細分され、前記関数（ｆ）は、各前記フェース上で細分化されるとともに、ある一つの定められたフェースが４つのファセットに細分されるとき、対応するノードが前記４つのファセットを表現する４つの子若しくはオフスプリングを含むように、前記ツリーはそれぞれ最小となるようにしたことを特徴とする請求項１に記載の方法。
3. 前記連続するメッシュのそれぞれに対応して、いくつかのレベルの符号化のクォリティを可能ならしめたことを特徴とする請求項１又は２に記載の方法。
4. 前記連続するメッシュは、再帰アルゴリズムを実施することによって得られることを特徴とする請求項１乃至３の何れか１項に記載の方法。
5. 前記再帰アルゴリズムは、
   （ａ） フェースＦ_ｏ上の重心座標（α，β，γ）を持つバーテックス（ｓ）によってインデックス付けされたウェーブレット係数を受信するステップ（３１）と、
   （ｂ） バーテックス（ｓ）を含むＦ_ｏの近隣フェースＦ_ｉのそれぞれに対して、
   ・ Ｆ＝Ｆ_ｉとするステップ、
   ・ 前記重心座標（α，β，γ）から、前記フェースＦのバーテックスによって形成された細分化段階の前記バーテックス（ｓ）の、（α，β，γ）とも称される座標を導出するステップ（４２）、
   ・ もし座標α、β、γが正又は零、かつ、もしそれらの中の２つが厳密に正ならば（ステップ４３）、
   ・ 前記フェースＦを細分するステップ（４５）、
   ・ 前記フェースＦの４つの子孫に対して逐次的に前記ステップ（ｂ）の処理から再出発するステップ、
   を含むステップ、
   とから構成されたことを特徴とする請求項１乃至４のいずれかに記載の方法。
6. 請求項１に記載の符号化の方法に従って符号化された３Ｄオブジェクトを表現するソースメッシュ（Ｍ）を再構成する方法であって、
   前記オブジェクトは、前記単純メッシュ（Ｍ_ｏ）を使用して、次いで連続するメッシュ（Ｍ_ｉ）を使って、順次に再構成されることを特徴とする方法。
7. 前記連続するメッシュのそれぞれに対応して、いくつかのレベルの符号化のクォリティを可能ならしめることを特徴とする請求項６に記載の方法。
8. ・ ３Ｄスクリーンにメッシュオブジェクトを表示する分野、
   ・ 前記ウェーブレット係数が到着したときに前記ウェーブレット係数を考慮して、スクリーンに３次元のメッシュオブジェクトを順次に表示する分野、
   ・ ３Ｄスクリーンにメッシュオブジェクトを少なくとも２つの異なった詳細レベルで、一つの詳細レベルが前記連続するメッシュ（Ｍ_ｉ）の一つに対応するよう、表示する分野、
   ・ メッシュオブジェクトの、少なくとも２つの異なった詳細レベルにある異なった部分を表示する分野、
   ・ メッシュオブジェクトのメッシュを圧縮する分野、
   のうちの少なくとも一つの分野に応用されることを特徴とする請求項１乃至５の何れか１項に記載の方法。

Images