JP5615354B2

JP5615354B2 - 繰り返しパターンを用いた３ｄメッシュの圧縮方法

Info

Publication number: JP5615354B2
Application number: JP2012516622A
Authority: JP
Inventors: カイ，カンイン; チン，ユー; チェン，ジボ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2009-06-23
Filing date: 2010-06-09
Publication date: 2014-10-29
Anticipated expiration: 2030-06-09
Also published as: CN102804230A; WO2010149492A1; CN102804230B; JP2012530990A; BRPI1010585A8; EP2446419A1; KR20120098976A; US8625911B2; KR101715962B1; US20120106858A1; BRPI1010585A2; EP2446419B1

Description

本発明は、３Ｄモデルの圧縮と復元を改良する方法及び装置に関し、特に、大規模な３Ｄモデルの圧縮と復元を改良する方法及び装置に関する。

建築設計、化学プラント及び機械CAD（computer-aided design）のような大規模な３Ｄの工学モデルの設計が、Second Life（登録商標）やGoogle Earth（登録商標）のような様々な仮想世界のアプリケーションにおいてますます普及している。ほとんどの工学モデルにおいては、多数の小規模から中規模のサイズの連結成分（connected component）が存在し、それぞれ平均的に二、三百個以下のポリゴンを有する。さらに、この種のモデルは、図１の「ミーティングルーム」において示されるように、様々な位置、スケール及び方向において繰り返される、多数の幾何学的な特徴を有する。

１９９０年前半から、３Ｄメッシュの効率的な圧縮のための様々なアルゴリズムが提案されてきた。既存のほとんどの３Ｄメッシュの圧縮アルゴリズムは、小さな三角形の高密度のメッシュを有する滑らかな表面に対して最もよく動作する。しかしながら、工学の分野の大規模な３Ｄモデルは、通常、多数の連結成分を有し、しばしば任意の連結性を有する少数の大きな三角形を有する。建築CADモデル及び機械CADモデルは、これらの方法が適さない、滑らかでない多数の表面を典型的に有している。さらに、ほとんどの従来の取り組みでは、それぞれ個別に連結成分を処理している。実際に、エンコーダのパフォーマンスは、幾何学的特徴の繰り返しのパターンの表現の冗長性を除去することによって、大きく増大し得る。大規模な３Ｄの工学モデルのコンパクトな記憶と高速な伝送を可能にするために、特に３Ｄメッシュモデルのために設計された、効率的な圧縮方法が必要である。大規模な３Ｄの工学モデルの良い圧縮方法とは、幾何学的特徴の繰り返しのパターンを自動的に発見することができ、発見された該幾何学的特徴のパターンから元のモデルを再構成（reconstruct）するための必要な情報を効率的にエンコードことができるべきである。

非特許文献１は、大規模な３Ｄの工学モデルにおいて、幾何学的特徴の繰り返しを自動的に発見するための方法を提案した。しかしながら、非特許文献１は、３Ｄメッシュモデルについて、特に工学モデルに対して、完全な圧縮方式を提供するものではない。さらに、非特許文献１は、成分の頂点の位置の主成分分析（Principal Component Analysis; PCA）を用いている。結果として、同一の形状（geometry）と異なる連結性（connectivity）を有する成分は、同一の平均値（mean）と同一の方向軸（orientation axis）を有する。さらに、非特許文献１は、様々なスケールの繰り返しのパターンを検出することに適していない。スケール（すなわち、サイズ）においてのみ異なる二つの成分は、同一の等価な種類の特徴の繰り返しとして認識されない。さらに、非特許文献１に記載されるよりも、エンコードされたデータをさらに圧縮することが望ましい。したがって、非特許文献１の方法は、さらなる改良を必要とする。

本発明は、特に、３Ｄの工学モデルのような、多数の小規模から中規模のサイズの連結成分からなり、様々な位置、スケール及び方向に繰り返す幾何学的な特徴を有する３Ｄメッシュのための、効率的な圧縮方法及び対応する装置を提供する。

本発明によれば、複数の繰り返しの連結成分を有する３Ｄメッシュモデルをエンコーディングする方法は、次の段階を有する：第一の段階は、前記３Ｄメッシュモデルを自動的に分析する段階であって、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均が決定され、さらに前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、段階である。第二の段階は、前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てる段階である。第三の段階は、前記成分をエンコーディングする段階であって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、段階である。第四の段階は、夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングする段階である。

本発明によれば、３Ｄメッシュモデルをデコーディングする方法は、次の段階：受信されたデータをエントロピーデコーディングする段階と；受信されたデータをエントロピーデコーディングする段階と；パターンのクラスタの識別子と変換情報を抽出する段階であって、該変換情報は変換クラスタの識別子と変換残差とを有する、段階と；前記パターンのクラスタの識別子に従ってパターンを再構成する段階と；前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する段階と；再構成された前記変換情報に従って再構成された前記パターンを変換する段階と；を有する。

３Ｄメッシュモデルをエンコーディングする装置は、分析手段又はアナライザと、割り当て手段と、連結成分をエンコーディングする第一のエンコーディング手段（例えば、エンコーダ）と、エントロピーエンコーダである第二のエンコーディング手段とを有する。分析手段は、前記３Ｄメッシュモデルの自動的な分析に適しており、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均又は中央が決定され、前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする。割り当て手段は、前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てに適している。エンコーディング手段は、前記成分のエンコーディングに適しており、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する。エントロピーエンコーダは、夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分のエントロピーエンコーディングに適する。請求項６に開示される３Ｄメッシュモデルをデコーディングする装置は、エントロピーデコーダと、データ抽出手段（例えば、デマルチプレクサ）と、パターン再構成手段と、変換情報再構成手段と、変換手段とを有する。エントロピーデコーダは、受信されたデータのエントロピーデコーディングに適する。データ抽出手段は、パターンのクラスタの識別子と変換情報の抽出に適しており、該変換情報は変換クラスタの識別子と変換残差とを有する。パターン再構成手段は、前記パターンのクラスタの識別子に従うパターンの再構成に適する。前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する変換情報再構成手段と、変換手段は、再構成された前記変換情報に従って再構成された前記パターンを変換するために適する。

本発明による信号は、エンコーディングされた３Ｄメッシュモデルのデータを有し、該データは少なくとも一つのパターンのクラスタの識別子と変換情報とを有し、該変換情報は変換クラスタの識別子と変換残差を有する。

本発明の有利な実施形態は、従属クレーム、以下の説明及び図面において開示される。

本発明の例示的な実施形態は、添付される図面への参照と共に説明される。

多くの特徴の繰り返しを有する例示的な３Ｄモデル「ミーティングルーム」を表す図。エンコーディングの機構を表す図。デコーディングの機構を表す図。２Ｄの場合のkd木のジオメトリコーディングの原理を表す図。「二次誤差行列」法を用いることが特に有益な、例示的な成分を表す図。ある成分の例示的なエンコーディングを表す図。ある成分の例示的な再構成を表す図。

本発明は、大規模な３Ｄの工学モデルのための効率的な圧縮方法を提供する。そのようなモデルは、いわゆる「結合成分（connected component）」である、複数の区画（partition）から構成される。当該方法は、幾何学的特徴のパターンの繰り返しの表現における冗長性を自動的に発見して除去する段階を含む。一つの実施形態において、幾何学的なパターンの繰り返しは、連結成分を正規化し、次に互いに正規化された成分を比較することによって発見される。一つの実施形態において、正規化した後の全ての等価な連結成分は、一つの幾何学的なパターンのインスタンス（instance）と見なすことができる。原則として、等価な成分がクラスタリングされる。クラスタは、３Ｄモデルの一部のみか、あるいは全ての成分を指すことができる。次に、それぞれの連結成分は、対応する幾何学的なパターン（又はクラスタラングの種類）についての、英数字のIDのような識別子と、幾何学的なパターンから成分を再構成できる変換情報とによって表現することができる。この変換情報は、例としては、一つ以上の倍率（scale factor）、平均値（mean）（又は中央値（center））、方向軸（orientation axis）（又は回転の情報）又はシフト（shift）の情報であり得る。原則として、他の情報も可能である。幾何学的なパターンは、あらゆる（特に、あらゆる成熟した）３Ｄメッシュ圧縮方法により圧縮されることができる。一つの実施形態において、変換情報は、少なくとも、対応する成分の平均、方向軸及び倍率を有する。一つの実施形態において、それぞれの成分の方向軸は、三つの異なる次元、例えばx軸、y軸及びz軸であり得る。一つの実施形態において、全ての連結成分の方向軸は、k-means法に基づいてクラスタリングされる。一つの実施形態において、全ての連結成分の倍率もまた、k-means法に基づいてクラスタリングされる。一つの実施形態において、平均値は、k-d木のような空間のツリー構造（space tree）を用いて体系付けることによって圧縮される。すなわち、それぞれの葉ノードが、幾何学的なパターンのIDと、方向軸のクラスタのIDと、倍率のクラスタのIDとを記録する。

本発明は、３Ｄの工学モデルのように、多数の連結成分からなり、多数の幾何学的な特徴の繰り返しを有する３Ｄメッシュのための効率的かつ完全な圧縮方式を提供する。本発明の一つの主要な特徴は、幾何学的特徴のパターンの繰り返しの表現における冗長性を発見して除去することである。本発明のもう一つの主要な特徴は、発見された幾何学的な特徴のパターンから、元のモデルを再構成するために必要な情報を効率的に圧縮することである。本発明の一つの有利な効果は、既知の方法と比較して、３Ｄメッシュモデルを記述するデータ量が削減されることである。一つの有利な効果は、エンコーディングがより正確なデータを与えることである。すなわち、より正確な再構成を可能にする。したがって、エンコーディングにより、質を改善し、要求される伝送及び記憶装置の帯域を減少し、かつ／又はデコーディングを高速化することができる。したがって、本発明は、エンコーディング、伝送、記憶装置及び３Ｄモデルの再構成に対して利点を有する。提案されるエンコーダ及びデコーダのブロック図は、図２及び図３に示される。

図２は、本発明の一実施形態による３Ｄメッシュモデルのエンコーダを表す。連結成分は、三角形横断（triangle transversal）ブロックによって識別される。正規化ブロック１０１は、それぞれの連結成分を正規化する。一つの実施形態において、正規化は、特許文献１に記載の技術に基づく。特許文献１は、一つ以上の成分を含む３Ｄメッシュモデルをエンコードする方法を開示している。特許文献１に記載の正規化技術は、３Ｄ空間内で成分の正規直交基底を決定する段階であって、前記成分のそれぞれの頂点が重み付けされ、該重み付けは前記頂点の座標データと同一の三角形に属する他の頂点の座標データから決定される、段階と、前記成分の物体座標系の情報をエンコードする段階と、ワールド座標系に関する成分の方向を正規化する段階と、前記座標の位置を量子化する段階と、量子化された前記座標の位置をエンコードする段階と、を有する。

別の実施形態において、他の正規化技術を用いてもよい。

本発明の一実施形態によれば、それぞれの連結成分の方向及びスケールの両方が正規化される。非特許文献１は、成分の方向の正規化のみを開示する。したがって、様々なスケールの特徴の繰り返しを発見することに適していない。

図２において、ブロック１０２は、繰り返される幾何学的なパターンを見つけるために、正規化された成分をマッチさせる。原則として、非特許文献１のマッチング法を用いることができる。入力モデルのそれぞれの連結成分は、対応する幾何学的パターンのIDと該幾何学的パターンとから、入力モデルを再構成するための変換情報とにより表現され得る。好ましくは、変換情報は、対応する連結成分のクラスタと、三つの方向軸と、倍率とを代表（representative）する幾何学的パターンを含む。平均値（すなわち、表現される幾何学的パターンの中央値）は伝送されず、デコーダにおいて再計算される。

幾何学的パターンは、Edgebreakerエンコーダのような、あらゆる成熟した３Ｄメッシュエンコーダ（非特許文献２）により圧縮されることができる。他のメッシュエンコーダを、エンコーダブロック１０３において用いてもよい。複雑な３Ｄモデルにおける多数の連結成分を考慮すると、成分情報も多くの記憶領域を消費することになる。一つの実施形態において、本発明は、成分情報のための効率的な圧縮方法を提供する。

大規模な３Ｄの工学モデルにおいて、多くの場合、全ての連結成分の中で、いくつかの主要な方向が存在することがわかっている。したがって、クラスタ分析は、方向軸１０５をエンコードするために、適切な選択である。原則として、あらゆるクラスタリングアルゴリズムを用いることができるが、k-means法（非特許文献３）は、クラスタリングの問題を解く、最もシンプルで効率的な、教師なし学習アルゴリズムの一つである。その手順は、与えられたデータセットをいくつかの数のクラスタに分類するための、シンプルで簡単な方法を伴う。しかしながら、クラスタの数であるkは事前に決定される必要があり、このことは通常は容易ではない。この制限を克服するために、ブロック１０５は、以下のようなクラスタ分析に基づいてk-means法を実行する：
αはユーザが定義した閾値であるとする。
Step 1：kを小さな数に設定する。例えば、k=4。
Step 2：k-meansクラスタリング法によりデータセットを分類する。
Step 3：各クラスタをチェックする。nは、分散（variance）がαより大きいクラスタの数であるとする。
if(n>0) then {k=k+n; Goto Step 2}
else END.
一つの実施形態において、方向軸及び倍率は、それぞれ上記のクラスタ分析方法を用いてクラスタリングされる。それぞれのクラスタの代表は、方向軸／倍率の一つのモード（mode）を定義する。方向軸／倍率は、対応する形態により予測され得る。

セルの細分化に基づく木分解を採用する圧縮技術は、離散点を処理するために極めて効率的である。ブロック１０４は、全ての連結成分の平均値をエンコードするために、非特許文献４のようなkd木に基づく圧縮アルゴリズムを用いる。図４に示されるように、このアルゴリズムは、それぞれの反復により、一つのセルを二つの子のセルへと細分化し、二つの子のセルの一つの頂点の数をエンコードする。以下でより詳細に説明する。親のセルがp個の頂点を含む場合に、子のセルの一つの頂点の数は、算術符号を用いて

を使用してエンコードされ得る。この細分化は、それぞれの空でないセルがただ一つの頂点を含むように十分小さくなり、頂点位置の十分に正確な再構成が可能になるまで、再帰的に適用される。さらなる詳細な説明が以下に与えられる。別の実施形態においては、kd木に加えて、八分木に基づく比較が、連結成分の全ての平均値を圧縮するために使用され得る（非特許文献５）。一つの実施形態において、平均値（すなわち、成分の中央値）は伝送されず、デコーダにおいて再計算される点に留意する。

一つの実施形態において、それぞれの葉ノードは、成分の以下の情報を含む：
−幾何学的パターンのID
−それぞれの方向軸のクラスタのID及び予測残差（prediction residual）
−それぞれの倍率のクラスタのID及び予測残差
図３は、本発明の一実施形態によるデコーダを示す。エンコードされたビットストリームは、まず、エントロピーデコードされる。ここで、異なる複数の部分のデータが取得される。データの一部は、幾何学的パターンを取得するために、Edgebreakerデコーダ201に入力される。データの一部は、幾何学的パターンのクラスタの代表を含み、kd木に基づくデコーダ202に入力される。デコーダ202は、それぞれの連結成分の平均値（すなわち中央値）を提供する。平均値は、他の成分情報（パターンのID、方向軸及び倍率）とともに、復元ブロックへと伝えられる。成分の繰り返しを復元するための復元ブロックは、正規化された連結成分を復元するための第一のブロック２０３と、連結成分（繰り返しのない連結成分を含む）を復元する第二のブロック２０４と、連結成分を構築するための第三のブロック２０５とを有する。一つの実施形態において、デコーダは、そのインスタンスを復元する前に、それぞれの繰り返しのパターンの平均値を計算する。さらなるブロック（図３では示されない）において、完全なモデルが連結成分から構築される。

本発明の一実施形態によれば、エントロピーデコーダ２００は、方向軸の情報のデコードも行う。本発明の別の実施形態によれば、連結成分の復元には、平均値、幾何学的パターンのID、それぞれの方向軸のクラスタのID及び方向軸の予測残差、並びにそれぞれの倍率のクラスタのID及びそれぞれの連結成分の倍率の予測残差を用いる。すなわち、例えば連結成分のサイズを復元するために、倍率の情報（倍率のクラスタID及びそれぞれの倍率の予測残差を含む）がエントロピーデコードされ２００、クラスタIDに従って未加工の倍率が生成され、予測残差によって更新され、そしてモデルを拡大縮小(スケール)するために用いられる倍率が得られる。方向軸のデコーディングが同様に処理される。

それぞれのクラスタのためのクラスタの参照値（例えば、パターンのクラスタを表すパターンの幾何学的データ）は、エンコーダにおいて圧縮されて送信され、デコーダにおいて受信されて復元されることができる。別の実施形態において、デコーダは、例えばインターネットのような別のデータソースから、固有の識別子を用いてクラスタの参照データを取得することができる。例えば、パターンのクラスタPC1により表される、特定の例示的なパターンP1の連結性のデータがエンコードされ、伝送され、デコードされ得る。したがって、デコーダは、パターンのクラスタPC1を参照することにより特定されるパターンのインスタンスを再構成することができる。このことは、受信されたパターンP1を用い、倍率の情報と方向の情報とに従ってスケール及び回転し、さらにそれぞれの平均値の情報により目的の場所へ移動することによってなされる。これは、図７において示される。一つの実施形態において、スケール及び回転の前に、パターンの特定のインスタンスの残差データを追加する（インスタンスが参照パターンの正確なコピーでない場合）、さらなるステップを有する。別の実施形態において、パターンのクラスタのインスタンスが成分の正確なコピーでない場合には、残差の幾何学的データは用いられない。

図６は、本発明の一実施形態のエンコードのステップを示す。原則として、連結成分を決定する段階６０２と、成分を正規化する段階６０４と、参照値（クラスタの代表値）に関する正規化された成分、その方向軸及び倍率を表現する段階６１６とが存在する。正規化する段階６０４は、成分の中央（すなわち平均）を決定する段階と、ワールド座標系の中央へ該中央を移動させる段階（横方向のシフト（transversal shift））と、該成分を一、二又は三軸の周りを回転させる段階と、該成分を一、二又は三軸においてスケールする段階とを有する。

本発明の一実施形態において、圧縮された３Ｄメッシュモデルを有するビットストリームは：
−幾何学的パターンの数を示すいくつかのビットと；
−それぞれの幾何学的パターンのための、圧縮された前記メッシュのデータサイズの長さを示すいくつかのビットと；
−圧縮された前記幾何学的パターン（例えば、クラスタの参照データ）を表すビットと；
−方向軸のモードの数を示すいくつかのビットと；
−それぞれの方向軸のモードの詳細（例えば、クラスタの参照データ）を表すビットと；
−倍率のモードの数を示すいくつかのビットと；
−それぞれの倍率のモードの詳細（例えば、クラスタの参照データ）を表すビットと；
−kd木を記録するためのビットと；
−kd木のそれぞれの葉ノードの、幾何学的パターンのIDと方向軸のモードのIDを表すビットとを有する。
ビットストリームは、さらにエントロピーコーデックによりエンコードされ得る。

原則として、本発明による圧縮は、パターンのクラスタを参照することにより表現される成分のためだけでなく、個別のパターンを有する他の成分、及びいかなるパターンのクラスタへの参照がない他の成分のためにも用いられることができる点に注意すべきである。

本発明は、幾何学的な特徴のパターンの繰り返しを発見し、その中の冗長性を効率的な除去することにより、大規模な３Ｄの工学モデルのために改良された方法を提供する。一つの実施形態において、幾何学的パターンから元のメッシュを再構成するための変換情報は、クラスタ分析及びkd木に基づくコーデックに基づいて圧縮される。

図４は、２Ｄの場合のkd木のジオメトリコーディングの実例を示す。bビットの整数の座標を有するn個の2Dの点があるとすると、最初のセルは、

の長方形の境界ボックス（bounding box）である。アルゴリズムは、任意の固定の数のビット（例えば、３２）に関して、点の総数nをエンコードすることによって開始する。次に、アルゴリズムは、メインのループを開始する。メインのループは、現在のセルを水平な軸に沿って二つに細分化し、それらのうちの一つ（例えば、左の一つ）の中に含まれる点の数を、ある最適な数のビットに符号化する。すなわち、親のセルがp個の点を含む場合に、０、１、・・・、pというp+1個の値をとり得る、半分のセルの中の点の数は、算術符号を用いて

ビットに符号化される。第二の半分のセルの中に含まれる点の数は、明確にエンコードされる必要はない。なぜなら、総数と最初の半分のセルのために送信された数とから推測することができるためである。その後、二つのもたらされたセルのそれぞれが、同様の規則に従って垂直の軸に沿って細分化される。図４において表現される処理は、1x1より大きい、空でないセルが存在しなくなるまで繰り返す。図４について示されるように、対応するコードの列は、点の数：7、4、2、0、1、1、1、1、1、1、0、1、1、・・・のみから構成される。これらの点の位置は、出力の順番においてエンコードされる。アルゴリズムが進むにつれて、セルのサイズは小さくなり、送信されるデータはより正確な位置特定につながる。葉ノードは、1x1のサイズを有する、空でないセルである。それぞれの葉ノードは、ただ一つの幾何学的パターンを含む（幾何学的パターンのクラスタの代表又は平均）。「平均値」の語は、ここで次のような異なる意味として：成分の中央値、あるいは幾何学的パターンのクラスタを表現する成分として、用いられ得ることに注意すべきである。一般的に、パターンの平均値（すなわち、その中央値）は送信されない。なぜなら、デコーダにより計算され得るからである。一方で、幾何学的パターンである、インスタンスの平均値（すなわち、繰り返しのインスタンスについてのクラスタの代表値）は送信される。繰り返しのインスタンスの表現は、一つの実施形態において、それらを体系付けることによりkd木へと最適化されて送信される。

一つの実施形態において、成分を正規化する場合に、本発明は、「二次誤差行列（quadric error matrix）」（QEM）法を用いる。一方、非特許文献１では頂点位置のPCAを用いている。QEM法は、以下で詳細に説明され、非特許文献６においてさらに詳細に説明されている。QEM法は、頂点の位置だけでなくメッシュの三角形にも依存するため、頂点の位置のPCAよりも正確な方向軸と平均値を与えることができる。したがって、本発明の正確さは、先行技術のシステムと比べて改善される。デコーダは、インスタンスを復元する前に、それぞれのパターンの平均値を計算する必要がある。連結成分のQEMは、その全ての三角形によって定義される。従って、QEMを用いることにより、それぞれの成分の平均値及び方向軸は、形状だけでなく、成分の連結性にも依存する。図５において示される成分に対して、二次誤差行列は、固有の方向軸を与えることができる。しかしながら、頂点位置のPCAは、方向を正規化するために用いられる場合に、同様のことを行うことができない。なぜなら、PCAは、成分と別の成分（例えば、純粋なシリンダ（pure cylinder））とを、同一の頂点の位置を用いて区別できないためである。したがって、二次誤差行列は、連結成分の正規化に対してより良い選択である。

以下において、先行技術、特に非特許文献１に対する、本発明の例示的な実施形態の利点を説明する。

それぞれの連結成分の方向とスケールの両方が、本発明において正規化される。非特許文献１のような先行技術は、成分の方向のみを正規化する。したがって、様々なスケールの特徴の繰り返しを発見することができない。非特許文献１において、二つのメッシュの方向づけられた境界ボックス（oriented bounding box; OBB）の次元が一致しない場合には、さらなるマッチングは実行されないことが言及されている。

さらに、非特許文献１は、変換情報を圧縮することができない。しかしながら、本発明は、位置、方向軸及び倍率を含む変換情報を圧縮するための完全な解決策を提供する。対応するパターンから連結成分を復元するために、変換情報が必要とされる。一つの実施形態において、一つの連結成分の変換情報は、位置（移動（translation）のため、三つの浮動小数点の値）、方向軸（回転（rotation）のため、四つの浮動小数点の値）及び倍率（三つの浮動小数点の値）を含む。したがって、一つの連結成分の復元された変換情報は、十個の浮動小数点の値を含む。通常は多数の連結成分が存在するため、全ての連結成分の変換情報の圧縮率を顕著に減少させることが本発明の利点である。そして、データ構造又はモードの表示により、デコーダはそれを検出することができる。

非特許文献１は、k個の頂点を有する一つのパターンの繰り返しのインスタンスが三つの整数値と七つの浮動小数点の数を必要とし、このエンコーディングの方式が四つ又はそれ以上の頂点の繰り返しのパターンのための圧縮を放棄し始めることに言及しており、非特許文献１において、少なくとも倍率のような変換情報がクラスタリングされ、あるいは圧縮されないことは明らかである。したがって、本発明よりも効率的でない圧縮方式が採用されている。

さらに、本発明は、繰り返しのパターンの発見の間に、成分を調整するための二次誤差行列を用いることができる。したがって、同一の形状と異なる連結性とを有する成分が、異なる平均値と方向軸とを有する。非特許文献１は、成分の頂点の位置のPCAを用いるため、同一の形状と異なる連結性とを有する成分が、同一の平均値と方向軸とを有する。

ペアごとの（pair-wise）成分のマッチングを行っている間に、両方のアルゴリズムは、変換後の頂点の位置を比較のみを行う。したがって、同一の形状で異なるトポロジを有する、異なった成分を区別することができる（非特許文献１では区別できない）。本発明によって改良されるデコーダは、繰り返しのインスタンスを復元するために、パターンの平均値と方向とを計算する。さらに、PCAの悪化するケースに対して（図５への参照と共に上で説明した）、二つの方法についての解は異なるものである。すなわち、本発明は非特許文献１の解より優れている。

さらに、本発明において、全ての繰り返しのインスタンスの位置は、非特許文献４に記載のkd木に基づくアルゴリズムにより圧縮される。加えて、本発明において、繰り返しのインスタンスの方向軸は、k-means法に基づくクラスタリング分析により圧縮される。加えて、本発明において、繰り返しのインスタンスの倍率は、k-means法に基づくクラスタリング分析により圧縮される。

方法、信号又は装置の一つの実施形態において、変換情報は、クラスタの代表である、成分の幾何学的なデータを有する。方法、信号又は装置の一つの実施形態において、表現される幾何学的なパターンの中央値は送信されず、デコーダにおいて再計算される。

エンコーディング方法の一つの実施形態において、少なくとも方向軸及び倍率についてのクラスタリングは：初期パラメータkに基づいてk-means法によるクラスタリングを実行する段階であって、複数のクラスタを生じる、段階と；前記クラスタの夫々に対して分散を決定し、決定された前記分散を初期の分散の閾値と比較する段階と；決定された前記分散が前記閾値より大きいクラスタの数nを決定する段階と；一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は前記パラメータkを増加させてk-means法によるクラスタリングを実行する前記段階を繰り返し、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、増加した前記パラメータkに基づいて夫々のクラスタのための分散を決定して該分散を前記分散閾値と比較する段階と；を有する拡張されたk-means法のクラスタリング方法を用いる。

エンコーディングのための装置の一つの実施形態において、少なくとも方向軸及び倍率についてのクラスタリングには、拡張されたk-means法によるクラスタリングを用いられる。当該装置は：初期パラメータkに基づいてk-means法によるクラスタリングを実行するクラスタリング手段であって、複数のクラスタを生じる、クラスタリング手段と、前記クラスタの夫々に対して分散を決定し、決定された前記分散を初期の分散の閾値と比較する分散決定手段と、決定された前記分散が前記閾値より大きいクラスタの数nを決定する分析手段と、一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は前記パラメータkを増加させてk-means法によるクラスタリングを実行する前記段階を繰り返し、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、増加した前記パラメータkに基づいて夫々のクラスタのための分散を決定して該分散を前記分散閾値と比較する、前記パラメータkの増加するための加算器と、を有する。

一つの実施形態において、パラメータkは、閾値より大きな分散を有するクラスタの数nによって増加する。

一つの実施形態において、デコーディングのための方法は、成分の平均値又は中央値を計算する段階であって、前記変換は該中央値に適用される、段階をさらに有する。一つの実施形態において、デコーダは、成分の平均値又は中央値を計算する計算手段であって、前記変換は該中央値に適用される、計算手段をさらに有する。一つの実施形態における、エンコーディングのための方法において、成分の前記平均値を決定する段階は、初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類する段階と、それぞれの反復により一つのセルを二つの子のセルに細分化する段階と、前記二つの子のセルの一つにおいて頂点の数をエンコーディングする段階と、夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用する段階と、を有する、反復によるkd木に基づく圧縮を含む。一つの実施形態において、エンコーダは、反復によるkd木に基づく圧縮を実行する成分の前記平均値を決定するための手段を有し、該手段は、初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類する手段と、それぞれの反復により一つのセルを二つの子のセルに細分化する手段と、前記二つの子のセルの一つにおいて頂点の数をエンコーディングする手段と、夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用する手段とを有する。

エンコーディングのための方法についての一つの実施形態において、前記正規化する段階は、前記成分の中央を決定する段階と、横方向のシフトにおいて該中央をワールド座標系の中央に移動させる段階と、一つ、二つ又は三つの軸の周りに前記成分を回転させる段階と、一つ、二つ又は三つの次元において前記成分を拡大縮小する段階と、を有する。エンコーディングのための装置についての一つの実施形態において、正規化する手段は、前記成分の中央を決定する計算手段と、横方向のシフトにおいて該中央をワールド座標系の中央に移動させる移動手段と、一つ、二つ又は三つの軸の周りに前記成分を回転させる回転手段と、一つ、二つ又は三つの次元において前記成分を拡大縮小する拡大縮小手段と、を有する。

エンコーディングの一つの実施形態において、二次誤差行列法が、繰り返しのパターンの発見の間に成分を調整するために用いられる。エンコーディングの一つの実施形態において、連結成分のための圧縮されていない変換情報は、十個の浮動小数点の数を有する。

一つの実施形態において、デコーディングのための方法は、それぞれの繰り返しの成分のインスタンスを復元する前に、該成分の平均値を計算する段階をさらに有し、kd木に基づく計算方法が該平均値の計算のために用いられる。一つの実施形態において、デコーディングのための装置は、それぞれの繰り返しの成分のインスタンスを復元する前に、該成分の平均値を計算するための計算手段をさらに有し、kd木に基づく計算方法が該平均値の計算のために用いられる。

一つの実施形態において、デコーディングのための方法は、拡大縮小及び回転の前に、前記パターンの固有のインスタンスの残差のデータを加算する段階をさらに有する。一つの実施形態において、デコーディングのための装置は、拡大縮小及び回転の前に、前記パターンの固有のインスタンスの残差のデータを加算する加算手段をさらに有する。

一つの実施形態において、デコーディングのための方法は、前記繰り返しのインスタンスを復元する前に、パターンの平均値と方向を計算する段階をさらに有する。一つの実施形態において、デコーディングのための装置は、前記繰り返しのインスタンスを復元する前に、パターンの平均値と方向を計算する計算手段をさらに有する。

したがって、本発明は上で述べた、先行技術の問題点及び欠点を全て解決する。例えば、非特許文献１は、対応する幾何学的パターンから連結成分を復元するための必要な情報を圧縮する解決策を提供しない。３Ｄの工学モデルが一般に有する、大きなサイズの連結成分を考慮すると、このような情報は、大量の記憶領域を使用する。

本発明は、純粋に例示する目的のために説明されたものであり、詳細についての修正が本発明の範囲から逸脱することなくなされ得ることが理解されるだろう。

本発明の好ましい実施形態に適用されるように、本発明の基本的で新しい特徴が示され、説明され、指摘されてきた。しかし、開示されたデバイスの形式で詳細に記載された装置、及びそれらの操作において記載された方法における、様々な省略、代用及び変更が、当業者によって本発明の精神から逸脱することなくなされ得ることが理解されるだろう。本発明は、３Ｄの工学メッシュモデルに関して開示されてきたが、当業者は、当該方法及び装置があらゆる３Ｄモデルに適用され得ることを理解するであろう。本質的に同一の機能を、同一の結果を得るために、本質的に同一の方法で実行する、それらの要素の全ての組み合わせが、本発明の範囲内である明らかに意図されている。説明された一つの実施形態から別の実施形態への要素の代用もまた完全に意図され予期されている。

詳細な説明、クレーム及び図面において開示されたそれぞれの特徴は、独立に、あるいはあらゆる適切な組み合わせにより提供され得る。特徴は、必要に応じて、ハードウェア、ソフトウェア又はそれらの組み合わせによって実装され得る。クレームの中に現れる参照番号は、説明の目的でなされるものであり、クレームの範囲を限定する効果を有するべきではない。

欧州特許０９３０５５２７号明細書 D. Shikhare, S. Bhakar and S. P. Mudur, "Compression of Large 3D Engineering Models using Automatic Discovery of Repeating Geometric Features",6th International Fall Workshop on Vision, Modeling and Visualization (VMV2001), November 21-23, 2001 J. Rossignac, Edgebreaker : "Connectivity compression for triangle meshes", IEEE Transactions on Visualization and Computer Graphics, Vol.5, No.1, p47-61, January-March 1999 J. B. MacQueen, "Some Methods for classification and Analysis of Multivariate Observations", Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1:p281-297, 1967 O. Devillers, P. Gandoin, "Geometric compression for interactive transmission", in: IEEE Visualization, p319-326, 2000 Jingliang Peng, C-C. Jay Kuo, "Geometry-guided progressive lossless 3D mesh coding with octree (OT) decomposition", ACM SIGGRAPH (ACM Transactions on Graphics 24(3)), p609-616, 2005 Michael Garland, Paul Heckbert "Simplifying Surfaces with Color and Texture using Quadratic Error Metrics",Carnegie Mellon University 1998

Claims

繰り返しの幾何学的特徴を有する複数の繰り返しの連結成分を有する３Ｄメッシュモデルをエンコーディングする方法であって、
分析手段が、前記３Ｄメッシュモデルを自動的に分析するステップであって、繰り返しの前記成分が決定され、夫々の成分の中央が決定され、該成分が正規化されてパターンのクラスタに分類され、さらに夫々のパターンのクラスタの代表の成分が決定され、前記正規化は、位置を決定し、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、ステップと、
割り当て手段が、前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てるステップと、
エンコーディング手段が、前記夫々のパターンのクラスタの代表の成分をエンコーディングするステップと、
前記エンコーディング手段が、前記成分をエンコーディングするステップであって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、ステップと、
エントロピーエンコーダが、夫々の成分の夫々のパターンのクラスタの識別子と、位置と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングするステップと、
を有する、方法。
パターンのクラスタの中の前記成分は繰り返しの幾何学的なパターンを有し、前記正規化の後に発見される、
請求項１に記載の方法。
少なくとも前記方向軸と前記倍率についての前記クラスタリングは拡張されたk-means法によるクラスタリング法を用い、
クラスタリング手段が、初期パラメータkに基づいてk-means法によるクラスタリングを実行するステップであって、複数のクラスタを生じる、ステップと、
前記クラスタの夫々に対して、分散決定手段が、分散を決定し、比較器が、決定された前記分散を初期の分散の閾値と比較するステップと、
分析手段が、決定された前記分散が前記閾値より大きいクラスタの数nを決定するステップと、
一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、加算器が、前記パラメータkを増加させて、前記クラスタリング手段が、増加した前記パラメータkに基づいて、k-means法によるクラスタリングを実行する前記ステップを繰り返し、前記分散決定手段が、夫々のクラスタの分散を決定して、前記比較器が、該分散を前記分散閾値と比較するステップと、
を有する、請求項１又は２に記載の方法。
k-means法によるクラスタリングの前記パラメータkを前記閾値より大きい分散を有するクラスタの数nにより増加させる、
請求項３に記載の方法。
夫々の成分の中央についての前記決定は、
分類手段が、初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類するステップと、
細分化手段が、それぞれの反復により一つのセルを二つの子のセルに細分化するステップと、
エンコーディング手段が、前記二つの子のセルの一つにおいて頂点の数をエンコーディングするステップと、
制御手段が、夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用するステップと、
を含む、反復によるkd木に基づく圧縮を含む、
請求項１乃至４何れか一項に記載の方法。
前記正規化するステップは、
横方向のシフトにおいて前記成分の中央をワールド座標系の中央に移動させるステップと、
一つ、二つ又は三つの軸の周りに前記成分を回転させるステップと、
一つ、二つ又は三つの次元において前記成分を拡大縮小するステップと、
を有する、
請求項１乃至５何れか一項に記載の方法。
３Ｄメッシュモデルをデコーディングする方法であって、
エントロピーデコーダが、受信されたデータをエントロピーデコーディングするステップと、
データ抽出手段が、パターンのクラスタの識別子と変換情報を抽出するステップであって、該変換情報は一つ以上の変換クラスタの識別子と一つ以上の変換残差とを有し、該変換クラスタの識別子は、倍率のクラスタの識別子と、方向軸のクラスタの識別子と、位置のクラスタ又はシフトのクラスタの識別子とのうち、少なくとも一つを有する、ステップと、
パターン再構成手段が、前記パターンのクラスタの識別子に従ってパターンを再構成するステップと、
変換情報再構成手段が、前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成するステップであって、該変換情報は、倍率と、方向軸と、位置とのうち少なくとも一つを有する、ステップと、
変換手段が、再構成された前記変換情報に従って再構成された前記パターンを変換するステップと、
を有する、方法。
前記変換情報は、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向軸の残差を有する、
請求項７に記載の方法。
計算手段が、成分の中央を計算するステップであって、前記変換は該中央に適用される、ステップをさらに有する、請求項７又は８に記載の方法。
加算手段が、拡大縮小及び回転の前に前記パターンの固有のインスタンスの残差のデータを加算するステップをさらに有する、請求項７乃至９何れか一項に記載の方法。
前記変換情報は、クラスタの代表の成分の前記パターンを定義する幾何学的データを有する、
請求項１乃至１０何れか一項に記載の方法。
成分の前記中央は伝送されずにデコーディングの間に再計算される、
請求項１１に記載の方法。
繰り返しの幾何学的特徴を有する、複数の繰り返しの成分を有する３Ｄメッシュモデルをエンコーディングする装置であって、
前記３Ｄメッシュモデルを自動的に分析する分析手段であって、繰り返しの前記成分が決定され、夫々の成分の中央が決定され、該成分が正規化されてパターンのクラスタに分類され、さらに夫々のパターンのクラスタの代表の成分が決定され、前記正規化は、位置を決定し、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、分析手段と、
前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てる割り当て手段と、
前記夫々のパターンのクラスタの代表の成分をエンコーディングし、かつ前記成分をエンコーディングするエンコーディング手段であって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、エンコーディング手段と、
夫々の成分の夫々のパターンのクラスタの識別子と、位置と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングするエントロピーエンコーダと、
を有する、装置。
３Ｄメッシュモデルをデコーディングする装置であって、
受信されたデータをエントロピーデコーディングするエントロピーデコーダと、
パターンのクラスタの識別子と変換情報を抽出するデータ抽出手段であって、該変換情報は一つ以上の変換クラスタの識別子と一つ以上の変換残差とを有し、該変換クラスタの識別子は、倍率のクラスタの識別子と、方向軸のクラスタの識別子と、位置のクラスタ又はシフトのクラスタの識別子とのうち、少なくとも一つを有する、データ抽出手段と、
前記パターンのクラスタの識別子に従ってパターンを再構成するパターン再構成手段と、
前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する変換情報再構成手段であって、該変換情報は、倍率と、方向軸と、位置とのうち少なくとも一つを有する、変換情報再構成手段と、
再構成された前記変換情報に従って再構成された前記パターンを変換する変換手段と、
を有する、装置。
コンピュータに、繰り返しの幾何学的特徴を有する複数の繰り返しの連結成分を有する３Ｄメッシュモデルをエンコーディングする方法であって、
前記３Ｄメッシュモデルを自動的に分析するステップであって、繰り返しの前記成分が決定され、夫々の成分の中央が決定され、該成分が正規化されてパターンのクラスタに分類され、さらに夫々のパターンのクラスタの代表の成分が決定され、前記正規化は、位置を決定し、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、ステップと、
前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てるステップと、
前記夫々のパターンのクラスタの代表の成分をエンコーディングするステップと、
前記成分をエンコーディングするステップであって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、ステップと、
夫々の成分の夫々のパターンのクラスタの識別子と、位置と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングするステップと、
を有する方法を実行させる、コンピュータプログラム。
コンピュータに、３Ｄメッシュモデルをデコーディングする方法であって、
エントロピーデコーダが、受信されたデータをエントロピーデコーディングするステップと、
データ抽出手段が、パターンのクラスタの識別子と変換情報を抽出するステップであって、該変換情報は一つ以上の変換クラスタの識別子と一つ以上の変換残差とを有し、該変換クラスタの識別子は、倍率のクラスタの識別子と、方向軸のクラスタの識別子と、位置のクラスタ又はシフトのクラスタの識別子とのうち、少なくとも一つを有する、ステップと、
パターン再構成手段が、前記パターンのクラスタの識別子に従ってパターンを再構成するステップと、
変換情報再構成手段が、前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成するステップであって、該変換情報は、倍率と、方向軸と、位置とのうち少なくとも一つを有する、ステップと、
変換手段が、再構成された前記変換情報に従って再構成された前記パターンを変換するステップと、
を有する方法を実行させる、コンピュータプログラム。