JP5414121B2 - 3次元メッシュネットワークの圧縮およびコーディング - Google Patents

3次元メッシュネットワークの圧縮およびコーディング Download PDF

Info

Publication number
JP5414121B2
JP5414121B2 JP2010157309A JP2010157309A JP5414121B2 JP 5414121 B2 JP5414121 B2 JP 5414121B2 JP 2010157309 A JP2010157309 A JP 2010157309A JP 2010157309 A JP2010157309 A JP 2010157309A JP 5414121 B2 JP5414121 B2 JP 5414121B2
Authority
JP
Japan
Prior art keywords
meshing
image
coding method
mesh
signal sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010157309A
Other languages
English (en)
Other versions
JP2010273367A (ja
Inventor
ロラン−シャトネ,ナタリー
ルシャ,パトリク
サンソン,アンリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telediffusion de France ets Public de Diffusion
Original Assignee
Telediffusion de France ets Public de Diffusion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telediffusion de France ets Public de Diffusion filed Critical Telediffusion de France ets Public de Diffusion
Publication of JP2010273367A publication Critical patent/JP2010273367A/ja
Application granted granted Critical
Publication of JP5414121B2 publication Critical patent/JP5414121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、ビットレートの削減(圧縮)による静止画または動画のコーディング分野に関する。
画像を圧縮する技術は従来、デジタル画像信号を伝送または記憶するためにデジタル画像信号のビットレートを削減するために用いられている。第1の応用において提案されるコーディング法は特に、低いビットレートの伝送およびビットレートの保証が全くない伝送、例えばIPプロトコル(インターネットプロトコル)によって行われる伝送に適合している。
静止画または動画をビットレートを削減してコーディングする方法は多数あり、最もよく知られている方法は規格、例えばISO-JPEGまたはISO-MPEGとなった方法である。
これらのコーディング法は静止画(JPEG)では画像内の空間的冗長性、隣接する点と点との相関および細部に対する目の感度の低さを利用し、動画(MPEG)では連続する画像間の時間的冗長性を利用する一般的な圧縮原理を用いている。
この種の方法ではまず、画像の複数のブロックに離散コサイン変換(DCT)を適用するか、または画像全体にウェーブレット変換を適用して画像を変換する。次に、得られた信号を量子化して信号のとりうる値の数を制限し、次に、量子化した信号の統計的冗長性を用いるエントロピーコーディングを用いてコード化し、伝送または記憶されるデータの量を減少させる。
しかし、これらの従来の方法には主として画像の内容およびそれらの純粋にデジタル的な性格を考慮しない方法の使用によって生じるいくつかの制限がある:
・離散コサイン変換の場合に画像の輪郭近くに現れるブロック効果に起因するリンギング、これらのリンギングは低いビットレートのウェーブレットの場合にも現れる;
・これらの方法は動画(MPEG)の場合には2つの画像間の動きの補償を決定したり、合成画像を自然の背景に合成するのに従来用いられる幾何学的処理(相似変換等)に十分に適合していない。
さらに、画像の空間的領域において直接作用する方法もあり、この方法は画像に特有のピクセルを直接選択して画像の各色彩成分を特徴付ける光度測定表面を生成し、画像の残りのピクセルを画像に特有のピクセルを補間して得ることから構成される。
幾何学的処理に関係する多くの可能性が提供されているが、これらの方法はやはり圧縮に関して全くあてにならないということがわかっている。さらに、これらの方法はウェーブレットによるコーディングを用いる場合とは違って、画像の複雑さおよび画像の所望の画質に適合したデータの量をコーディング終了時に得ることができない。特に、これらの方法は特にビットレートが低い場合に、許容可能な画質を有する画像を得ることができない。
さらに、「Progressive coding of 3-D graphic models」(IEEEの会報、1998年6月、第86版、第6号、1052-1053頁)という文献に記載されているように複数のネストメッシングからなる階層メッシングを用いるコーディング法がある。この方法は近傍基準に基づくもので、近傍と同一平面上の重要ではない辺と、近傍とはかなり異なる視覚的に重要な辺とを区別する。位置の値は辺の属性としてコード化される。コーディング法の終了時のビットの数を制限するために、メッシングの構造データおよびメッシングのトップの属性はテーブルを参照してコード化される。本発明の一目的は上記の欠点を減らす別のコーディング法を提供することにある。
本発明の目的は、デジタル画像をコード化し、前記デジタル画像を表す2進信号列を生成する方法において、2進信号列の長さが画像の所望の画質の関数であり、
a)コード化される画像領域に、メッシュトップが前記デジタル画像のピクセルである複数のネストメッシングからなる階層メッシングを規定し、
b)前記階層メッシングの各メッシュ毎に、コード化される画像と、当該メッシュが属するネストメッシングのトップから得られる補間画像との間の輝度差を決定し、
c)前記輝度差が閾値偏差より大きいメッシュのトップの位置、輝度およびクロミナンスの値を2進信号列に導入する
ステップを含むことを特徴とする方法にある。
階層メッシングはより粗いベースを用いるメッシングのメッシュを規則的かつ連続的に細分化して得られるのが好ましい。
メッシュのトップのクロミナンス値、輝度値および位置の値をより容易に処理するために、本発明の方法は前記階層メッシングと組み合わされるツリー構造を生成するステップをさらに含むのが有利である。
本発明の一実施例では、ステップc)は数回繰り返され、閾値偏差がだんだん小さくなり、各繰り返しにおいてビットのグループが生成され、画像の画質が向上する。
2進信号列のサイズを減らすためにまず、2進信号列に導入される値を量子化および圧縮処理する。
最後に、別の実施例では、多重メッシングのトップの位置および対応するクロミナンスおよび輝度の値を最適化し、2進信号列の表現の画質をさらに高めることもできる。
3つのレベルの多重メッシングを示す。 1つの三角形T1の4つの低いレベルの三角形への細分化を示す。 図1Bの三角形T1と組み合わされたツリー部分を示す。 多重メッシングと組み合わされたツリー構造を示す。 2進信号列に導入されるツリーの部分を示す。 量子化の後に2進信号列に導入される差分値の決定を示す。 算術圧縮処理を示す。 メッシングレベルのトップの位置の最適化およびより高いメッシングレベルでのその伝播を示す。 対角線反転処理が除外される場合を示す。 対角線反転処理が可能な場合を示す。
本発明の他の特性および利点は、添付図面を参照して下記の詳細な説明を読めば明らかになるであろう。
以下の説明では、コード化される画像のピクセルが横座標xおよび縦座標yによって空間内に指定されると考える。輝度成分Yおよび2つの色彩成分UおよびVが各ピクセルと組み合わされている。成分Y、UおよびVの代わりに比色成分RVB、HSVを用いることも可能である。
本発明の方法の第1ステップa)ではまず、コード化される画像領域に、複数のネストメッシングを含む1つの階層メッシングが定義される。前記メッシングのメッシュのトップはコード化される画像のピクセルである。この階層メッシングは例えばより粗いベースメッシングのメッシュを規則的に連続して細分化することによって得られる。前記メッシングと組み合わされるツリーのノードと混同しないように、メッシング「ノード」という用語は使用しない点に注意しなくてはならない。
3個のネストメッシュを含む三角形階層メッシュの例が図1Aに図示されている。このメッシュは、10個のメッシュと8個のメッシュトップを有する。
図1Aの太い実線で表されたベースメッシングはそのメッシュトップの規則的なスタガー分布を示している。規則的なトポロジーによって三角形を画像上にうまく配置することができる。このトポロジーは演繹的にコード化される画像の内容が知られていないときに最も適している。このベースメッシングで規定された三角形はレベル0の三角形に対応する。
図1Aのメッシングの例では、レベル0の三角形は4個の同一の三角形、レベル1に細分化される。この細分化は図の細い実線で示されている。
図1Bには、親の三角形T1がより高いレベルの4個の子の三角形T11、T12、T13、T14に細分化されるのが示されている。
最後に、レベル1の三角形は4個の三角形、レベル2に細分化される。この新たな細分化は図1Aの破線で表されている。この階層メッシングによって高い精度を有する、したがってネストメッシングの数に比例して向上する画質を有する画像を表すことができよう。各ネストメッシングは階層メッシングの1つのメッシングレベルに対応する。
あるメッシュトップは複数のメッシングレベルに属し、これは例えば画像の左上側ピクセルが3つのメッシングレベルに対して1つの三角形の頂点を構成する場合である。一方では、各三角形は唯一のメッシングレベル(唯一のネストメッシング)にリンクされる。メッシングの各トップは画像のマークに1つの位置を有し、輝度YおよびクロミナンスU、V情報の中心である。
生成されたメッシングによって、メッシングレベルで単一の三角形を画像の各ピクセルと組み合わせることができる。画像のピクセルの輝度およびクロミナンスの値の近似値は組み合わされる三角形の頂点の対応する値から補間することによって得ることができる。
本明細書で用いる補間モデルはラグランジュモデルである。これは以下の式で定義される細分基底関数を含む:
Figure 0005414121
(ここで、eは頂点i、j、kを有する三角形である)
座標(x,y)の点をpおよび点pの補間された輝度VYおよびクロミナンスVUおよびVVの値を含むベクトル
Figure 0005414121
で示す場合、ベクトル
Figure 0005414121
は以下の式で定義される:
Figure 0005414121
本発明(細分補間)の場合は、値Ψi e(x,y)、Ψj e(x,y)およびΨk e(x,y)は三角形eにおける点pの重心座標を表す。これらの座標は以下の式で表される:
Figure 0005414121

Ψj e(x,y)およびΨk e(x,y)は式Ψi e(x,y)において指数i、j、kを環状に置換して得られる。
メッシングステップ終了時に、ツリー構造を前記階層メッシングと組み合わせて構成し、メッシュトップの値を処理するのが有利である。ツリーはメッシングレベル(またはネストメッシング)の数と同じ数のレベルを有する。ツリーの各レベルは対応するメッシングレベルにおける三角形の数と同じ数のノードを有する。ツリーの各ノードは階層メッシングの単一の三角形に関連する。したがって、三角形T1およびその4個の子の三角形T11、T12、T13、T14に関連するツリーの部分は図2に示されている。三角形T1が多重メッシングのレベルnに属する場合は、ツリーのレベルnに対応する1つのノードおよび、各ノードが子の三角形T11、T12、T13、T14の1つに関連するレベルn+1に対応する4つの子のノードが形成される。
三角形T1、T11、T12、T13およびT14の頂点はそれぞれABC、AEF、BEG、FGCおよびEFGである。三角形T1に関連するノードは点A、BまたはCの1つを頂点として有する他の三角形と、頂点A、BおよびCの位置、輝度およびクロミナンスの値を共有し、冗長値を記憶しないようにする。同様に、点E、F、Gの値は三角形T11、T12、T13、T14に関連するノードに分布される。
階層メッシングの全ての三角形に対して1つのノードが同じ方法で形成される場合は、図3に示すように1つのツリーが得られ、このツリーのルートはベースメッシングの三角形の数と同じ数の複数のノードを含んでいる。
ツリーが構成されると、残るは画像の2進信号列の代表に導入されるツリーのデータを決定することである。この決定は画像の所望の画質に依存する。この決定を実施するためには、ステップb)にしたがって階層メッシングの各三角形に対して、コード化される画像と、そのメッシュが属するネストメッシングのトップから得られる補間画像との間の輝度差を計算する。
ステップc)では、次にこの輝度差を各三角形に対する閾値偏差と比較する。閾値偏差の値は画像の所望の画質に依存する。次に、輝度差が閾値偏差より大きい三角形に関連するツリーの部分を2進信号列に導入する。
実際には、決定は以下のように実施される:ツリーの各ノードに対して、対応する三角形の輝度差を計算し、次にこのノードと組み合わされる三角形の輝度差が閾値偏差より小さいか、大きいかに応じて値0または1をそれらに加える。図4はこのステップを示している。最初に、2進信号列に導入されるツリーの部分をデコーダによって再構成することを可能にするシーケンス、すなわちシーケンス11101110000000011が2進信号列に導入され、次に上記シーケンスにおいて1を有するノードに含まれる値が2進信号列に導入される。
この方法の過程で閾値が減少し、コーディングを段階的に進行させることができるのが有利である。したがって、好ましい実施例では、ステップc)は、閾値偏差をだんだん小さくして、数回繰り返され、各繰り返しにおいて、画像の画質を向上させるためにビットの追加のグループが生成される。冗長度の全くない最終2進信号列を構築するために、基準テーブルが用いられ、このテーブルではノードの値が既にビット列に導入されたか否かを示す値0または1がツリーの各ノードと組み合わされる。テーブルの値はノードの値がビット列に導入されると更新される。したがって、閾値偏差が減少するとき、ビット列に導入されることが求められるノード値が既にそこにはないことを確かめるための検査が行われる。これによって、閾値偏差の低減に対応するツリーの追加部分のみをビット列に導入することができる。
したがって、高画質の画像が要求されないときは、最も高い閾値偏差で得られた2進信号列の第1の部分のみを利用することができる。ある程度の画質の画像を得るためには、2進信号列のより大きな部分を利用する必要があろう。
改良実施例では、トップの値を2進信号列に導入する前に量子化および圧縮して2進信号列のサイズを制限することができる。量子化は不均一になるように選択するのが好ましい。量子化は例えば輝度値(それぞれクロミナンスおよび位置)の統計分布を利用することができる。このために、処理される画像の輝度値のヒストグラム(グレーのレベル)をモデル化する。このヒストグラムは一般にほとんど拡張されず、一般化されたガウスと同化させることができる。平均値および標準差を計算し、不規則な区間の数を固定した後で、各区間Iiに対して最適な量子化値Viを計算する。この値は基準Dを最小化して得られる。この基準Dは以下の式で定義される:
Figure 0005414121

(ここで、p(x)は一般化されたガウスで得られた点xの周辺確率密度を示し、Lは不規則な区間の数である)。
量子化ステップの最後に、量子化差分値にデータ圧縮処理を行い、2進信号列の長さを制限する。圧縮は本発明の場合は最良の圧縮率を有する算術および適応コーダによって実施されるのが有利である。
算術コーディング(または算術圧縮)の一般法則は以下の通り:記号で形成される各メッセージは0〜1の実数の区間で表される。記号の出現の可能性が高ければ高いほど、その画像区間は大きくなる。算術コーディングはPascal Plumeによる「Data Compression」(出版元:Eyrolles)pp 111-168という文献に詳細に説明されている。
さらに、適応コーディングは圧縮ステップ中に記号のコーディングを、その出現頻度にしたがって徐々に適合させることで構成されている。したがって、記号が圧縮開始時に5ビットでコード化される場合は、圧縮の別のステップで、この同じ記号をその出現頻度が高いか、低いかに応じて1または8ビットでコード化することができる。圧縮のどの時点においても、最も頻度の高い記号が最低の数のビットでコード化される。当然、この方法では圧縮を実施するコーダの部分および解凍を実施するデコーダの部分が並行にかつ均一に機能する必要がある。この種のコーディングでは、コーダおよびデコーダは全ての記号が同程度に確からしい所定の統計テーブルから始まる。圧縮中に徐々に、コーダはテーブルを更新する。実際には、デコーダは解凍中にそのテーブルを用いて同じことを行う。更新するアルゴリズムがコーダおよびデコーダで同一である限り、この種のコーディングは完全に機能するので、統計テーブルを伝送する必要がない。
輝度、クロミナンスおよび位置の値の統計分布は互いに異なるので、これらの値は別々にコード化するのが好ましい。また、これらの3つの値のタイプを別々に処理するために適応算術コーダが備えられている。
2進信号列のサイズを減らすために、一改良実施例では、ベースメッシングを除いて、ネストメッシングのメッシュトップの正確な輝度、クロミナンスおよび位置の差分値以外の値を2進信号列に導入しないことが決められている。各差分値は、コード化される画像の対応する正確な値と、より低いレベルのネスト階層メッシングの隣接するトップの対応する正確な値から得られる補間値との間の差を表す。
図5には差分値を決定する実施例が示されている。この図には三角形、レベル0が示され、その頂点A、B、Cはそれぞれ輝度値が210、150および132である。この三角形は4個の同一のレベル1の三角形に細分化され、3個の新しい頂点E、FおよびGが現れ、それぞれレベル0の三角形の辺AB、ACおよびBCの中間に位置している。頂点E、FおよびGの輝度値はそれぞれ182、170および143である。頂点E、FおよびGの輝度値を隣接する頂点の値を補間することによって計算する場合は、値180、171および141が得られる。2進信号列に導入した値はこの場合、正確な値と補間値との間の差に対応して+2、-1および+2である。しかし、これらの値は事前に量子化されており、とりうる値の数が制限されるので、次のデータ圧縮処理の性能が高まる。
さらに、量子化誤差が累積しないように、低いレベルの量子化値から差分値の計算を行う。
好ましい一実施例では、メッシング(トップの位置および値Y、U、V)はさらにそれらのコーディングポテンシャルをできるだけ完全に利用するように画像の内容に適合している。この適合は3つのレベルで行うことができる:
・メッシングのトップの位置の最適化:ノードの位置は画像を局所的に表現するそれらの効果にしたがって変更される;
・メッシングのトップの輝度およびクロミナンスの値の最適化:値Y、U、Vは元の画像をできるだけ完全に表現するように最適化される;
・メッシングのトポロジーの最適化:メッシングのトポロジーは対角線反転処理を用いて画像を局所的に表現するメッシングの能力をさらに高めることによって変更される。
先に選択したメッシング構造は規則的な構造を有する。したがって、その内容に不一致があり、特に均一領域と、トップでより高い密度を必要とするテクスチャ領域とを混合する画像を表現するのに適合しないようにみえることがある。メッシングのトップの位置を最適化することによって、メッシングトップの集中をそれを必要とするトップの領域に移動させることができよう。
この最適化の最も早い視覚的効果はメッシングのトップが一緒に画像の物体の物理的輪郭へ向かって運ばれることによって示される。
この処理はベースメッシングに対応するレベル(レベル0)から始まるレベルごとに実施される。レベル0での最適化の結果を次にレベルn+1に伝送し、レベルnのトップの新しい位置からレベルn+1の追加トップの位置が得られる。各レベルでの位置の最適化およびツリーの各種レベルへのその伝播は図7に示されている。
位置の最適化はコード化される画像と補間された画像との間の輝度差に対応する基準Eを最小化して実施される。Eを計算するためには、座標(x,y,z)でz=Y(輝度成分)の
Figure 0005414121
の点qを考慮する。基準Eは以下の式で定義される:
Figure 0005414121
ここで、Fはqが元の画像の点qから形成される表面と、補間された画像の点qから形成される表面との間にある場合は値が1であり、それ以外の場合は値が0の特性関数である。
差Eの最小化は適応ステップ傾斜降下アルゴリズムを用いて実施される。この最小化には
Figure 0005414121
(ここでEは最小である、すなわち∇E(X)=0)
の点のベクトルXを探すことが含まれる。
要するに、この最小化は以下の非線形方程式システムを解く点にある:
Figure 0005414121
このシステムはニュートン法によって直接解くことができる。しかし、この方法は、繰り返しの開始点が解からあまりに遠いときには集束しないことがある。また、繰り返し処理を用いて、Eの局所的最適へ向かって集束する一組の中間位置q1,q2を生成するのが好ましい。
この種の繰り返し処理は以下のように行われる:トップSoの最適位置を決定するために、その開始位置qSoから始め、この点でEの勾配を計算する。∇E(qSo)がEの最大増加方向を示すとき、量α0は反対方向に移動し、トップS0は新しい位置を有する。
Figure 0005414121

繰り返し処理によって中間位置q2、q3、…qkが生成され、
Figure 0005414121
になる。
適応ステップαkは集束を加速するように選択されるのが有利である。適応ステップ傾斜降下法は差Eが増加(減少)するときに、ステップαkを減少(増加)させることで構成されているが、αk∈[αminmax]を目指すステップにサイズの制約がみられる。連続する差E間の差が最小閾値偏差より低いときに最終位置qn=qSoが得られる。同様に、メッシングの残りのトップの最適位置が計算される。
既に述べたように、差Eは実際の画像に対して計算される。改良例では、メッシングレベルで「頻繁な」内容に関して類似している特定の基準画像Iに対して各メッシングレベルで差Eが計算される。したがって、ベースメッシング(レベル0)は画像の低い頻度のアスペクトのみを表すので、このレベルのトップの位置を最適化するのに用いる基準画像も低い頻度の「頻繁な」内容を有する。この基準画像は実際の画像をフィルタリングして得られる。
同様に、各メッシングレベルには「頻繁な」内容が該メッシングに適合した基準画像が組み合わされる。最高のメッシングレベルに組み合わされるこの基準画像は実際の画像に対応する(フィルタリングなし)。これらの基準画像を生成するために、無限パルスレスポンスハーフバンドローパスフィルタの近似値が用いられる:
Figure 0005414121
(ここで、Lは二段抽出ファクタである)。
したがって、値Eを計算するために各メッシングレベルで異なる基準画像が用いられる。
メッシングトップと組み合わされる輝度およびクロミナンスの値の最適化によって本発明の方法の別の可能な改良が与えられる。
値Y、U、Vの最適化は最少誤差二乗法によって行われ、画像の領域Ωで以下の式で定義される基準Eを最小化することから成る:
Figure 0005414121
(ここで、
・Snは前記階層メッシングの指数トップnであり、
・Mは前記階層メッシングのトップの合計数であり、
・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれクロミナンス値UまたはV)を表し、
・ΨSnはトップSnと組み合わされる補間関数であり、
・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)である)。
この式が演繹される場合、最適化値はM個の式の以下の線形システムを解いてて得られる:
Figure 0005414121
関数ΨSmのコンパクト支持関数によって、式のこのシステムは以下の式で表すこともできる:
Figure 0005414121
(ここで、
・supp(Sm)はトップまたは頂点がSmである三角形またはメッシュを示し、
・ver(e)は三角形eのトップを示す)。
方程式の上記のシステムを解くことは
AX=B
(ここで、
・Aは規定された正の対称行列であり、
・Xはm∈[1..M]を有する最適化値V(Sm)の列行列であり、
・Bはシステム(1)の右の項の値の列行列である)
のタイプの行列システムを解くことと同じである。
行列Aは正として規定された対称行列であるので、行列Aは唯一のA=LDL t因数分解を有し、Lは単位対角線を有するより低い三角行列を示し、Dは全ての対角係数が厳密に正である対角行列を示す。さらに隣接する行列Aの調整は単位値を有する。
LおよびDの係数の決定は行列のより低い三角部分に位置した係数を識別して行うことができる:
Figure 0005414121

さらに、以下の式が得られる:
Figure 0005414121
Figure 0005414121
次に、最適化値のマトリクスXの項を以下の式で求める:
Figure 0005414121
一改良実施例では、Aの分解中にメモリサイズを制限するためにAX=Bシステムを分解するのにプロフィール法を用いることができる。プロフィール法はテーブルM×Mの形での従来の行列の表現の代わりに、2つのベクトルの形での表現を用いる。実際には、行列Aは中空である(多くのゼロを有する)ので、従来の形でのその表現は不適当である。
最近の改良例では、メッシングのトポロジーを改良することもできる。実際には、メッシングの局所的構造は画像の特定の特性に適合していない。適合する階層メッシングが得られるまでメッシングを細分することは可能であるが、対角線反転処理を実施する方が簡単であることはわかる。
この対角線反転処理は最後のメッシングレベルで実施され、この処理は変更したメッシングが画像を再構築するためにより良い画質を与える場合は、前記メッシングレベルの2個の隣接する三角形で形成される凸状不等辺四辺形において対角線を反転させることから成る。
この対角線反転処理は凸状不等辺四辺形にのみ関与するものである。図8Aには対角線反転処理が可能でない非凸状の不等辺四辺形の例が示されている。
図8Bには2個の三角形T1とT2とで形成される凸状不等辺四辺形Qでの対角線反転処理が示されている。この処理は2個の三角形T1とT2とに共通する辺を表す対角線を反転させることから成る。反転後、不等辺四辺形Qは2個の新しい三角形T1およびT2を含む。
トポロジーを最適化する処理は次に下記ステップを含む:
・最高のメッシングレベルの2個の隣接する三角形T1、T2で形成される各凸状不等辺四辺形Qで輝度差Eを計算し、この輝度差はT1およびT2の輝度差の合計の合計に等しい、E(Q)=E(T1)+E(T2)、
・2個の三角形T1とT2とに共通する辺を表す対角線を反転させて2個の新しい三角形T1およびT2を形成し、
・新しい三角形T1およびT2の輝度差を計算し、E(Q)=E(T1)+E(T2)を加え、
・輝度差の合計が最低である2個の三角形を保持する。

Claims (19)

  1. デジタル画像をコード化し、前記デジタル画像を表す2進信号列を生成するコーディング方法において、2進信号列の長さが画像の所望の画質の関数であり、
    a)コード化される画像領域に、メッシュトップが前記デジタル画像のピクセルである複数のネストメッシングからなる階層メッシングを規定し、
    b)前記階層メッシングの各メッシュ毎に、コード化される画像と、当該メッシュが属するネストメッシングのトップから得られる補間画像との間の輝度差を決定し、
    c)前記輝度差が閾値偏差より大きいメッシュのトップの位置、輝度およびクロミナンスの値を2進信号列に導入する
    ステップを含み、
    前記階層メッシングが、より粗いベースメッシングのメッシュを規則的かつ連続的に細分化して得られ、
    ベースメッシングに関する値を除いて、2進信号列に導入されるネストメッシングのメッシュトップの輝度、クロミナンスおよび位置の値が、コード化される画像の対応する正確な値と、より低いレベルのネスト階層メッシングの隣接するトップの対応する正確な値から得られる補間値との間の差をそれぞれ表す「差分」値である
    ことを特徴とするコーディング方法。
  2. 前記ベースメッシングが、そのメッシュトップの規則的なスタガー分布を有することを特徴とする請求項1に記載のコーディング方法。
  3. 前記階層メッシングと組み合わされるツリー構造を生成するステップをさらに含むことを特徴とする請求項1又は2に記載のコーディング方法。
  4. 前記閾値偏差がだんだん小さくして前記ステップc)を複数回繰り返して、各繰り返しにおいて、画像の画質が向上するビットのグループを生成することを特徴とする請求項1〜3のいずれか一項に記載のコーディング方法。
  5. 2進信号列に導入されるメッシュのトップの位置、輝度およびクロミナンスの値を予め量子化処理することを特徴とする請求項1〜4のいずれか一項に記載のコーディング方法。
  6. 前記量子化処理が不均一であることを特徴とする請求項5に記載のコーディング方法。
  7. 量子化値を、データ圧縮処理した後、2進信号列に導入することを特徴とする請求項5または6に記載のコーディング方法。
  8. 前記データ圧縮処理を適応算術コーダによって実施することを特徴とする請求項7に記載のコーディング方法。
  9. 前記ステップb)の前に、前記階層メッシングの各ネストメッシング毎に、コード化される画像と、そのメッシュトップから得られる補間画像との間の輝度差を最小にして、そのメッシュトップの位置を最適化することを特徴とする請求項1〜8のいずれか一項に記載のコーディング方法。
  10. 前記ステップb)の前に、基準画像を前記階層メッシングの各メッシングと組み合わせ、各ネストメッシング毎に、それと組み合わされる基準画像と、そのメッシュトップから得られる補間画像との間の輝度差を最小にして、そのメッシュトップの位置を最適化することを特徴とする請求項1〜9のいずれか一項に記載のコーディング方法。
  11. 階層メッシングの各種メッシングと組み合わされる基準画像を、コード化される画像をフィルタリングして得ることを特徴とする請求項10に記載のコーディング方法。
  12. 輝度差の最小化を、適応ステップ傾斜降下アルゴリズムによって行うことを特徴とする請求項9〜11のいずれか一項に記載のコーディング方法。
  13. 前記ステップb)の前に、ネストメッシングのメッシュのトップの輝度およびクロミナンスの値を、以下の基準Eで最適化することを特徴とする請求項1〜12のいずれか一項に記載のコーディング方法:
    Figure 0005414121
    (ここで、
    ・Snは前記階層メッシングの指数トップnであり、
    ・Mは前記階層メッシングのトップの合計数であり、
    ・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれクロミナンス値UまたはV)を表し、
    ・ΨSnはトップSnと組み合わされる補間関数であり、
    ・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)である)。
  14. 基準Eの最小化がM個の式の以下の線形システムを解いて実施されることを特徴とする請求項13に記載のコーディング方法:
    Figure 0005414121
    (ここで、
    ・supp(Sm)はトップがSmであるメッシュを示し、
    ・ver(e)はメッシュeのトップを示す)。
  15. M個の式を有する前記線形システムがプロフィールLDLt因数分解法によって分解されることを特徴とする請求項14に記載のコーディング方法。
  16. 階層メッシングが三角形メッシングであり、ステップb)の前に、
    ・最高レベルの階層メッシングに属する2個の隣接する三角形で形成される各凸状不等辺四辺形に対して2個の三角形と組み合わされる輝度差の合計を計算し、
    ・2個の三角形に共通する辺を表す不等辺四辺形の対角線を反転させ、2個の新しい三角形を規定し、
    ・この2つの新しい三角形のそれぞれの輝度差を計算してそれらを加え、
    ・輝度差の合計が最低である2個の三角形を前記メッシング内に保持するステップを実施することを特徴とする請求項1〜15のいずれか一項に記載のコーディング方法。
  17. 請求項1〜16のいずれか一項に記載のコーディング方法に従って生成された2進信号列を完全または部分的に利用して少なくとも1つのデジタル画像を表示する方法。
  18. 請求項1〜16のいずれか一項に記載のコーディング方法に従ってコード化された少なくとも1つのデジタル画像の2進信号列構造を有する信号列を生成する方法。
  19. 請求項8に記載のコーディング方法によって生成された2進信号列のデータを解凍するステップを含むことを特徴とするデジタル画像のデコーディング方法。
JP2010157309A 1998-10-02 2010-07-09 3次元メッシュネットワークの圧縮およびコーディング Expired - Fee Related JP5414121B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9812525A FR2784211B1 (fr) 1998-10-02 1998-10-02 Procede de codage d'images fixes ou animees avec reduction et adaptation du debit
FR98/12525 1998-10-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000575086A Division JP4638037B2 (ja) 1998-10-02 1999-09-30 3次元メッシュネットワークの圧縮およびコーディング

Publications (2)

Publication Number Publication Date
JP2010273367A JP2010273367A (ja) 2010-12-02
JP5414121B2 true JP5414121B2 (ja) 2014-02-12

Family

ID=9531269

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000575086A Expired - Fee Related JP4638037B2 (ja) 1998-10-02 1999-09-30 3次元メッシュネットワークの圧縮およびコーディング
JP2010157309A Expired - Fee Related JP5414121B2 (ja) 1998-10-02 2010-07-09 3次元メッシュネットワークの圧縮およびコーディング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000575086A Expired - Fee Related JP4638037B2 (ja) 1998-10-02 1999-09-30 3次元メッシュネットワークの圧縮およびコーディング

Country Status (8)

Country Link
US (1) US6795070B1 (ja)
EP (1) EP1116185B1 (ja)
JP (2) JP4638037B2 (ja)
AT (1) ATE230869T1 (ja)
CA (1) CA2346342C (ja)
DE (1) DE69904843T2 (ja)
FR (1) FR2784211B1 (ja)
WO (1) WO2000021035A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2794329B1 (fr) * 1999-05-26 2001-08-17 France Telecom Procede de codage d'images hierarchique, a mise en oeuvre selective d'un codage a base transformation reversible, et procede de decodage correspondant
FR2794269B1 (fr) * 1999-05-26 2001-08-17 France Telecom Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant
US6995761B1 (en) * 2000-01-14 2006-02-07 California Institute Of Technology Compression of 3D surfaces using progressive geometry
FR2811112B1 (fr) * 2000-06-28 2003-01-03 France Telecom Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
US7167174B2 (en) * 2002-12-19 2007-01-23 Mental Images Gmbh Computer graphic system and method for efficiently encoding subdivision triangular surfaces of a triangular surface element and for recovering their coordinates
DE10331431B4 (de) * 2003-07-10 2005-12-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Datenkompression von Simulationsergebnissen
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
JP5112229B2 (ja) * 2008-09-05 2013-01-09 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
JP5080406B2 (ja) * 2008-09-05 2012-11-21 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
KR101591472B1 (ko) 2009-04-15 2016-02-03 삼성전자주식회사 점진적 메쉬 복호화 방법과 장치
EP2749023A4 (en) * 2011-08-25 2016-04-06 Thomson Licensing HIERARCHICAL ENCODING AND DECODING BY ENTROPY
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298261A (ja) * 1994-04-25 1995-11-10 Sony Corp 画像信号符号化方法
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
US6144773A (en) * 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
JPH11509709A (ja) * 1996-05-06 1999-08-24 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ビデオ画像を分割符号化及び復号する方法とシステム
US6208997B1 (en) * 1997-10-17 2001-03-27 The Regents Of The University Of California Rapid production of optimal-quality reduced-resolution representations of very large databases
US6262737B1 (en) 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
WO1999064944A2 (en) * 1998-06-08 1999-12-16 Microsoft Corporation Compression of time-dependent geometry

Also Published As

Publication number Publication date
JP2010273367A (ja) 2010-12-02
JP4638037B2 (ja) 2011-02-23
ATE230869T1 (de) 2003-01-15
US6795070B1 (en) 2004-09-21
CA2346342A1 (fr) 2000-04-13
FR2784211B1 (fr) 2000-12-15
DE69904843T2 (de) 2003-11-13
EP1116185B1 (fr) 2003-01-08
CA2346342C (fr) 2012-02-21
WO2000021035A1 (fr) 2000-04-13
FR2784211A1 (fr) 2000-04-07
DE69904843D1 (de) 2003-02-13
JP2002527014A (ja) 2002-08-20
EP1116185A1 (fr) 2001-07-18

Similar Documents

Publication Publication Date Title
JP5414121B2 (ja) 3次元メッシュネットワークの圧縮およびコーディング
KR100450823B1 (ko) 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
Li et al. Progressive coding of 3-D graphic models
JP4832975B2 (ja) 深さイメージに基づく3次元客体を表現するためのノード構造を記憶させた、コンピュータで読み出し可能な記録媒体
JP3031613B2 (ja) カラー/濃淡画像入力出力装置と入力出力方法
JPH03192876A (ja) 画像符号化装置
JP2000507754A (ja) 組込み形コーディングを有するテーブルベースの圧縮
JPH09181922A (ja) データを圧縮および伸張する方法および装置
JP2006502604A (ja) 任意形状オブジェクトの画像圧縮方法
US20230237705A1 (en) Methods for level partition of point cloud, and decoder
EP0800688B1 (en) Method and device for compact representation of a discrete region contour
WO2000002393A1 (en) Image coding/decoding method and recorded medium on which program is recorded
JP3790728B2 (ja) 画像符号化装置、画像復号化装置及びそれらの方法
CN113518226A (zh) 一种基于地面分割的g-pcc点云编码改进方法
JP2002535791A (ja) 三角形網目のプログレッシブ圧縮
JP4350504B2 (ja) メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム
Kountchev et al. Inverse pyramidal decomposition with multiple DCT
JP4398785B2 (ja) 多次元データ符号化方法、多次元データ復号方法、テクスチャ画像作成方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム
JP3970981B2 (ja) 輪郭線映像信号符号化方法
Kamata et al. Depth-first coding for multivalued pictures using bit-plane decomposition
More Image Constraint Technique Used by Bio-Inspired Tsa Optimized Algorithm for Large Memory Management
EP4083927A1 (en) Method for constructing morton codes, encoder, decoder, and storage medium
Ahn et al. Geometry compression of 3-D models using adaptive quantization for prediction errors
Kiani et al. A relaxation approach to computation of second-order wedgelet transform with application to image compression
KR100232411B1 (ko) 칼라/농담화상 입력출력장치와 입력출력방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130520

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees