JP4045188B2 - ウェーブレットに基づくメッシュ・コーディング方法および装置 - Google Patents

ウェーブレットに基づくメッシュ・コーディング方法および装置 Download PDF

Info

Publication number
JP4045188B2
JP4045188B2 JP2002544670A JP2002544670A JP4045188B2 JP 4045188 B2 JP4045188 B2 JP 4045188B2 JP 2002544670 A JP2002544670 A JP 2002544670A JP 2002544670 A JP2002544670 A JP 2002544670A JP 4045188 B2 JP4045188 B2 JP 4045188B2
Authority
JP
Japan
Prior art keywords
mesh
wavelet
coding
scene
coefficients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002544670A
Other languages
English (en)
Other versions
JP2004533663A (ja
Inventor
ジョイア，パトリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2004533663A publication Critical patent/JP2004533663A/ja
Application granted granted Critical
Publication of JP4045188B2 publication Critical patent/JP4045188B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

本発明の分野は、画像または画像要素（または画素）のコーディング（coding）に関する分野である。詳細には、本発明は、メッシュ（mesh）で表された３次元（３Ｄ）シーン（あるいはシーンのオブジェクト）の表現と適応型コーディング（adaptive coding）の技術に関する。
本発明は、デジタル画像を記憶しかつ／または伝送するために、そのデジタル画像を効率的に表現するために必要な情報の個数を減らすことが望ましい全ての分野に適用することが可能である。例えば、本発明はインタネットを介した画像の伝送に使用することができる。このような情況においては、たとえビットレートが一定でも保証されなくとも、３Ｄシーンの動画をリアルタイムで表示することが可能となる。この場合、本発明はＶＲＭＬ（Virtual Reality Modeling Language）といったデータ伝送用言語の基本型になるかもしれない。
考えられる他のアプリケーションとしては、ＣＤ−ＲＯＭ（あるいは何かそれに相当するデータ記憶媒体）への動画データの保存、複数ユーザ用アプリケーション、デジタルテレビジョン等が挙げられる。
本発明は、メッシュをベース・メッシュ（base mesh）に一連の細部（a succession of details）が加えられたものとして表すことができる「ウェーブレットベースの（wavelet-based）」方法として知られる方法の改良を提案する。この技術の一般理論はとりわけM. Leunsbery、T. DeRoseとJ. Warrenによって著された「任意の位相タイプの曲面の多重解像度解析（Multiresolution Analysis for Surfaces of Arbitrary Topological Type）」（グラフィックスに関するＡＣＭトランザクション（ACM Transactions on Graphics）第１６巻第１号３４ページ乃至７３ページ）に記述されている。
この技術によれば、メッシュは、単純な多面体（simple polyhedron）によるこのメッシュのパラメトリゼーションの、ウェーブレット基底（wavelet base）における座標に対応する一連の係数によって表される。これに対応する数学的原理は補遺（この補遺は本願の一部を成す）において改めて説明される。
実際には、再構築（reconstruction）の際、ベース・メッシュＭ0は分岐形式（arborescent form）で表される。この分岐形式では、このベース・メッシュのフェース（face）はそれぞれ木（tree）の根（root）であり、また各ノード（節点）の子（children）は標準的再分割後に得られる４つのフェースである。ウェーブレット係数はＭ0のある１つのフェースの重心座標によってインデックス付けされる。
ウェーブレットによって表現されるメッシュの逐次的再構築（progressive reconstruction）を可能にするデータ構造とアルゴリズムを含む表示方法は、A. Certain、J. Popovic、T. DeRose、D. SalesinとW. Stuetzleによる「双方向多重解像度曲面表示（Interactive Multiresolution Surface Viewing）」（１９９６年のコンピュータ・グラフィックス・プロシーディングス（Computer Graphics Proceedings 1996））の中で提案されている。
この方法は、曲面をウェーブレットで表して表示する分野における標準的方法であると一般に考えられている。
この技術では、ウェーブレット係数のパケットを計算に入れて、これらの係数に応じてメッシュを規則的に再分割する。
この方法はメッシュの逐次的再構築には効果的であるが、３次元のシーンまたはオブジェクトの適応表示（adaptive display）が出来ないという欠点がある。
実際、この従来技術の１つの欠点は不必要なファセット（小面、facets）が再分割によって発生してしまうということである。このことによってメッシュの記述に必要なデータの個数が不必要に増加する。
このためこの種の技術は、表示端末のパワーが低くかつ／または伝送ビットレートが可変的かつ／若しくは制限されているとき、３Ｄのシーンまたはオブジェクトを、とりわけオブジェクトが動いているときに、適応表示することができるようにするために伝送されるべきデータの点であまりに扱いにくすぎる。
そこで本発明の目標は特に従来技術のこれらの欠点を克服することにある。
より具体的には、本発明の目標は、３Ｄのオブジェクトとシーンを表すメッシュをコーディングするための技術であって表示端末でメッシュの適応再構築（adaptive reconstruction）が出来るようにする技術を実現することにある。
特に、本発明の目標は、この種のコーディング方法において、例えば観察者の視点といったパラメータに応じて３Ｄのオブジェクトまたはシーンを適応表示することが出来るようにする方法を提供することにある。
本発明のもう１つの目標は、この種のコーディング方法において、実質的に一定のレートでリフレッシュされる３Ｄシーン内を、関連するメッシュのナビゲーション（navigation）またはサイズといったパラメータとは無関係に、ユーザがナビゲート（navigate、航行）することが出来るようにする方法を提供することにある。
本発明の目標は、このコーディング方法に従って、コーディング対象を再構築し通信ネットワークを介して伝送するための技術を提供することにもある。
これらの目標と以下登場する他の目標は、それぞれが頂点及び辺で画定される限定数のファセットを有するシンプル・メッシュ（simple mesh）（Ｍ0）と、該シンプル・メッシュ（Ｍ0）の局部的変更に対応したウェーブレットの基底における係数とを使用し、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にして、３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするための方法によって達成される。
本発明によれば、こうした方法は、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、少なくとも１つの不必要性（non-essentiality）の基準を満たす少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の効果を除去するステップを具備することを特徴とする。
従って、本発明は３Ｄのオブジェクトまたはシーンを表すウェーブレットに基づくメッシュのコーディングに対する全く新規かつ革新的なアプローチを提供する。実際、本発明は、とりわけ、観察者がこうしたオブジェクトまたはこうしたシーンを見るのに不可欠（essential）とはいえない３Ｄのオブジェクトまたはシーンに関する細部（details）に付随するウェーブレット係数を削除（elimination）することに基づくものである。
この種のコーディング方法によって、殊に、ウェーブレット係数と考慮している３Ｄのシーンの表現への影響とを、それらのウェーブレット係数を加えるのに必要な時間に実質的に等しい期間内に削除することが可能となる。このようにして、この種のコーディング技術によって、いつでも、不可欠となった係数を加えるとともにその影響が無視可能と考えられる係数を削除すること、そして均一的にそうすること、つまり、３Ｄシーンの表現のリフレッシュレートが、このシーン内のナビゲーション（navigation）に依存することや、あるいは、再構築されたメッシュの大きさに依存すること無く実行することが可能となる。
本発明の第１の有利な特徴は、あるウェーブレット係数が前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ0）のファセットに関連する場合、該ウェーブレット係数は不必要性の基準を満たすことである。
従って本発明によれば、考慮している３Ｄのシーンまたはオブジェクトの表現にとって視覚的に関係のないウェーブレット係数の削除が可能となる。
本発明の第２の有利な特徴は、あるウェーブレット係数の大きさが観察者と該ウェーブレット係数をインデックス付けする頂点との間の距離の関数として決まる閾値未満にある場合、該ウェーブレット係数は不必要性の基準を満たすことである。
従って本発明によれば、考慮している３Ｄのシーンまたはオブジェクトを表示するのに無視可能と考えられる大きさのウェーブレット係数の効果を除去することも可能となる。
好ましくは、この種のコーディング方法は、前記距離と前記３次元のオブジェクトまたはシーンを表示するための端末の能力指標とを計算に入れて前記閾値を計算するためのステップを具備する。
従って本発明によれば、考慮している３Ｄのシーンまたはオブジェクトを表示する端末の能力に適合するように、ある決まったウェーブレット係数を削除することが可能となる。つまり、表示端末が高い処理能力（processing capacity）を有するとき、メッシュのコーディング中により多数のウェーブレット係数を維持するため、閾値は低い。逆に、能力が低い表示端末が存在する場合には、閾値の計算ステップにおいて閾値の高い結果がもたらされ、より多数のウェーブレット係数がその削除ステップ中に削除される。
第１の代替態様によれば、前記能力指標は前記端末の処理能力に依存する定数である。
こうした定数の値は、例えば、表示端末がそれと共に備え付けられるプロセッサのタイプに応じて、定数とされる。
第２の代替態様によれば、前記能力指標は、前記３次元のオブジェクトまたはシーンを表示する間に、前記端末の現時点での処理能力に応じて変化する。
従ってこうした能力指標の値は、端末上に表示することが可能であるべき１秒当たりの画像数に応じて適合化されてよく、例えば、ある与えられた時点において端末によって処理される他のアプリケーションが使用するリソースに応じて変化する。
有利には、この種のコーディング方法は、前記パラメトリゼーション関数に、削除されるべき前記ウェーブレット係数または（ｄ；ｄ１，・・・，ｄｎ）の逆符号のもの（opposite）を加えることによって、メッシュを平坦化するためのステップを具備する。
つまり、不必要な係数の影響はこの係数の逆符号のものを加えることによりキャンセルされる。
本発明の有利な特徴として、前記部分的なメッシュ（Ｍ’）は１セットの木（trees）に対応し、該１セットの木はそれぞれ、前記シンプル・メッシュ（Ｍ0）の１つのフェース（face）を表しかつそれぞれが前記シンプル・メッシュ（Ｍ0）の考慮されるフェース（face）に関わる細分したメッシュ（Ｍj）の１つのフェースを表す１セットのノードを含む。
好ましくは、この種のコーディング方法は、削除されるべき少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）を撤回するためのステップを具備し、該ステップは、
・前記１つまたは数個のウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の逆符号のものを計算に入れるステップと、
・１つ前のステップで引き起こされた変更を計算に入れるステップと、
・部分的なメッシュ（Ｍ’）を画定し、かつ前記１つまたは数個のウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）のみによって影響が与えられる、木の部分を削除するステップと、
を具備する。
つまり、こうしたステップでは、不必要となったウェーブレット係数の逆符号のものを加え、ウェーブレット係数をこうして削除することによってメッシュ上に引き起こされる幾何学的変更を計算に入れ、そしてメッシュを階層的に表す木を剪定する。
有利には、この種のコーディング方法は、削除されるべきウェーブレット係数をインデックス付けする頂点に直接到達するために、前記部分的なメッシュの全ての頂点をそれぞれ指し示す１セットのポインタを導入する。
好ましくは、前記ポインタは整数のテーブル（ＶＰＣ）に集められる。
従って、削除されるべきウェーブレット係数の逆符号のものの付加は、通常のウェーブレット係数を加えるようには為されず、付加構造（ＶＰＣ）を導入することによって実行される。この付加構造（ＶＰＣ）では、そのｉ番目の要素が、ｉ番目の係数によってインデックス付けされる頂点のインデックスとなる（そのような頂点が存在する場合）。
本発明の有利な技術として、前記変更を計算に入れる前記ステップは、再帰的な剪定アルゴリズム（recursive pruning algorithm）を実行する。
本発明は、前記方法に従ってコード化された、３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）を表す信号構造にも関係する。この信号構造は、
・それぞれが頂点及び辺によって画定される限定数のファセットを有するシンプル・メッシュ（Ｍ0）を表すデータを含む基本フィールド（basic field）と、
・前記シンプル・メッシュ（Ｍ0）の局部的変更に対応したウェーブレットの基底における係数を含み、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にする少なくとも１つの細分フィールド（refining field）と、
を具備し、
不必要性の少なくとも１つの基準を満たすウェーブレット係数（ｄ；ｄ１・・・ｄｎ）は当該信号には取り入れられないことを特徴とする。
本発明は、３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするためのデバイスであって、それぞれが頂点及び辺で画定される有限数だけのファセットを有するシンプル・メッシュ（Ｍ0）と、該シンプル・メッシュ（Ｍ0）の局部的変更に対応しウェーブレットの基底における係数とを決定し、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にするための手段を具備するものにも関係する。このデバイスは、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、不必要性の少なくとも１つの基準を満たす少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の効果を除去するための手段を具備することを特徴とする。
こうしたコーディングデバイスの第１の有利な特徴は、あるウェーブレット係数が前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ0）のファセットに関連する場合、該ウェーブレット係数は不必要性の基準を満たすことである。
こうしたコーディングデバイスの第２の有利な特徴は、あるウェーブレット係数の大きさが観察者と該ウェーブレット係数をインデックス付けする頂点との間の距離の関数として決まるある閾値未満にある場合に、該ウェーブレット係数は不必要性の基準を満たすことである。
好ましくは、この種のコーディングデバイスは、前記３次元のオブジェクトまたはシーンを表示するための端末の能力の指標と前記距離とを掛ける積を実行して前記閾値を計算するための手段を具備する。
有利には、前記コーディングデバイスは、第１に、各ウェーブレット係数が付随している前記シンプル・メッシュのファセットと、第２に、前記ウェーブレット係数の大きさとに応じて、前記ウェーブレット係数をソート（整列）するための手段と協働する。
従って、このコーディング・デバイスによれば、ソース・メッシュのファセットの識別番号が昇順になるようにデータを編成し、これらのファセットのそれぞれに対しては、このファセットの頂点によってインデックス付けされるウェーブレット係数の大きさに関してソートすることによって、ウェーブレット係数を効率的にソートするという結果が得られることがある。このようなソート手段はコーディングデバイスの内部または外部に存在してよい。
このコーディング・デバイスが、ソース・メッシュのフェースが観察者の視野ピラミッド（pyramid of vision）に属すると判定したら、先に述べたソート操作から結果するそれに対応するフェースのウェーブレット係数のリストを走査して、そのリストで遭遇したウェーブレット係数が所定の閾値未満の大きさを持つときにはその走査を停止するようにすれば十分である。
本発明の第１の有利な変形態様として、この種のコーディング・デバイスは少なくとも１つの遠隔端末にデータを伝送するための手段と協働する。
本発明の第２の有利な変形態様として、この種のコーディング・デバイスは前記オブジェクトまたは前記シーンの表示を可能にする端末と一体化する。
本発明は３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をデコーディング（decoding）するためのデバイスにも関係する。このデバイスは、先に述べた構造を持つ信号を受信するための手段と、受信した信号から前記オブジェクトまたは前記シーンの表現を再構築するための手段とを具備する。
有利には、こうしたデコーディング・デバイスは、サーバ及び／または遠隔コーディングデバイスに少なくとも１個の位置情報を伝送するための手段を具備する。
好ましくは、前記１個または数個の位置情報は、
・前記３次元のオブジェクトまたはシーンの観察者の位置と、
・前記３次元のオブジェクトまたはシーンの観察者の視線の方向と、
を含むグループに属する。
実際、これらのパラメータは、コーディングデバイス及び／またはサーバが、あるメッシュ内で、観察者の視野ピラミッドあるいは予想ピラミッド（anticipation pyramid）と称されるもっと広いピラミッドに属するファセットの識別を実行し、そうすることによって視覚的に意味のあるウェーブレット係数を決定することが出来るようにする。
本発明は、３次元のオブジェクトまたはシーンを表すメッシュをコーディングまたはデコーディングするためのシステムにも関係する。このシステムは、前記のコーディングデバイスを少なくとも１つと、前記のデコーディングデバイスを少なくとも１つ具備する。
こうしたコーディングまたはデコーディング・システムでは、例えば、通信ネットワークを介してサーバが３Ｄシーンを放送して、表示端末のユーザがその３Ｄシーン内を逐次的に双方向的かつ適応的にナビゲートすることが出来るようになる。
第１の有利な技術として、こうしたコーディングまたはデコーディング・システムは、前記デコーディングデバイスのキャッシュ・メモリに記憶されたウェーブレット係数に関する少なくとも１個の情報を前記コーディングデバイスに伝送するための第１の手段を具備する。
この種の情報は、一方でメッシュ上のファセットの昇順により、もう一方でその大きさによって、ウェーブレット係数の整列（sorting）と連係され、コーディングデバイスがデコーディングデバイスまたは表示端末のキャッシュメモリに存在するウェーブレット係数を知ることが出来るようにする。３Ｄシーンを表現するのに必要でキャッシュメモリには記憶されていないウェーブレット係数のみがコーディングデバイスによって伝送され、そのため情報の余分な伝送が抑えられる。
第２の有利な技術として、こうしたコーディングまたはデコーディング・システムは、前記デコーディングデバイスの能力の指標を決定するために、該デコーディングデバイスの処理能力に関する少なくとも１個の情報を前記コーディングデバイスに伝送するための第２の手段を具備する。
こうして、デコーディングデバイスまたは表示端末の能力に応じて、コーディングデバイスはどれが削除されるべきウェーブレット係数かを決定する。
本発明は、上記コーディング方法を、
・３次元のメッシュのオブジェクトをスクリーンに表示すること、
・前記ウェーブレット係数を計算に入れてそれらが到着したときに３次元のメッシュのオブジェクトをスクリーンに逐次的に表示すること、
・連続するメッシュ（Ｍj）の１つに対応する細さの少なくとも２つのレベルで３次元のメッシュのオブジェクトをスクリーンに表示すること、
・限定した数のウェーブレット係数による前記ソース・メッシュ（Ｍ）の部分的な再構築に対応する細さの少なくとも２つのレベルで３次元のメッシュのオブジェクトをスクリーンに表示すること、
・３次元のメッシュのオブジェクトを通信ネットワークを介して適応伝送すること、
・遠隔サーバから通信ネットワークを介して３次元のオブジェクトを適応更新すること、を含むグループにおける領域（spheres）の少なくとも１つに適用する適用方法にも関係する。
本発明の他の特徴及び利点は、添付図面を参照して行われる単純かつ非限定的な方法による好ましい実施の態様についての以下の説明からより明らかとなる。
本発明の一般原理は、３Ｄシーンまたはオブジェクトの視覚的に関係がない部分に関連するウェーブレット係数を削除（eliminate）して、そのオブジェクトまたはシーンの適応表示が出来るようにすることに基づくものである。
図１に、３Ｄオブジェクトまたはシーンを表すメッシュの非可視的部分に関連するウェーブレット係数のこの種の削除を実施する一態様を示す。
まず最初に、本発明は、関連するメッシュ全体を再構築する必要無しに、視覚的に関係がないウェーブレット係数の削除を可能にするデータの構造とアルゴリズムをいくつか導入することを思い起こそう。
これらのデータ構造は、表示されるべきメッシュを逐次的に描画するのに効果を発揮するもので、以下の通りである。
・メッシュのフェース（a face）に付随する第１のデータ構造と、
・メッシュの頂点（a vertex）に付随する第２のデータ構造と、
・メッシュそれ自体に付随する第３のデータ構造。
メッシュのフェース（a face）は以下の４つのフィールドによって特徴付けられる。その４つのフィールドとは、
・レベル（level）と、ここで、これはそのフェースの再分割のレベルに対応する整数（integer）であり、
・４要素のchildテーブル（a four-element child table）と、このテーブルのそれぞれの要素はそれぞれのフェースを指定するものであり、
・３要素のcornerVertexテーブル（a three-element cornerVertex table）と、ここで、このテーブルの要素はそのフェースの頂点に対するポインタ（pointers）であり、
・３要素のedgeVertexテーブル（a three-element vertex edge table）と、ここで、このテーブルの要素はそのフェースの各辺（edge）の真ん中の頂点、もしそれが存在すれば、に対するポインタである。
頂点（a vertex）は次の５つのフィールドによって特徴付けられる。その５つのフィールドとは、
・２要素のparentＶテーブル（a two-element parentV table）と、ここで、このテーブルの各要素は幾何学的にこれら２つの要素の間に位置する頂点に対するポインタであり、
・２要素のparentＦテーブル（two-element parentF table）と、ここで、このテーブルの各要素はそれぞれのフェースに対するポインタで、頂点はこれら２つの要素が共有する辺の中点に位置するものであり、
・浮動小数点実数の三重項fGeom（a triplet of floating-point real numbers fGeom）と、
・実数の三重項ｇ（a triplet of real numbers g）と、
・再分割のレベルに等しい数の要素から構成されるテーブルhGeomで、その各要素はハット関数（hat function）係数である（ハット関数はピースによって細分されるスケール関数（scale function）で、メッシュＭjの頂点では１に等しく、このメッシュのその他の頂点では全て０に等しいことが思い起こされよう）。ハット関数に関する更なる情報については、A. Certain、J. Popovic、T. DeRose、D. SalesinとW. Stuetzleの「双方向多重解像度曲面表示（Interactive Multiresolution Surface Viewing）」（１９９６年のコンピュータ・グラフィックス・プロシーディングス（Computer Graphics Proceedings 1996））を参照されたい。
メッシュは表示端末またはデコーディング・デバイスにおいて２つの方法で記述される。その２つの方法とは、
・ファセットのリストとしての順次形式（sequential form）と、ここで、このリストをここでは以下「表示リスト（display list）」と呼ぶことにし、
・４分木の森（4-tree forest）としての階層形式（hierarchical form）と、ここで、それぞれの根（root）はソース・メッシュＭ0のフェースと１対１対応の関係にあり、各ノード（node）の子（children）はこのソース・メッシュの再分割の度合いに対応する。この森は以下Ｑと表される。この森は頂点に関するテーブルであるvertexテーブル（field vertexTable）フィールドを持つ。
次にここで、３次元のオブジェクトまたはシーンの表現の逐次的表示（progressive display）の原理について復習する。Ｍをウェーブレット係数形式で表示端末に伝送されるメッシュとする。瞬間ｔにおいてウェーブレット係数のセットＥtが伝送されると仮定する。上述したCertain等の「双方向多重解像度曲面表示」（１９９６年の年会におけるコンピュータ・グラフィックス・プロシーディングス）で与えられた定義に従って、次のパラメトリゼーション
Figure 0004045188
 を瞬間ｔでの一時的パラメトリゼーション（temporary parametrization）と呼ぶ。また次のメッシュ
φ（Ｍj）
を瞬間ｔにおける一時的メッシュ（temporary mesh）と呼ぶ。
本発明によれば、３Ｄのオブジェクトまたはシーンの適応表示（adaptive display）は、瞬間ｔでのセットＥtが２つのサブセットＰtとＩtに分割されて構成される。Ｐtは関係するウェーブレット係数のセットを表し、Ｉtは有用なウェーブレット係数のセットを表すもので、これらのサブセットは以下の関係を満たす。
Ｐt∩Ｉt＝φ
かつ、
Ｐt∪Ｉt＝Ｅt
この仕切方（partitioning）は、視線パラメータ（viewing parameters）、すなわち観察者の位置とその観察者の視線方向（viewing direction）に依存し、２つの瞬間ｔ0とｔ1においてＥt0＝Ｅt1となり、しかしサブセットＰt0がサブセットＰt1とは異なることが可能である。
以下この文書において、「係数を更新する（updating of the coefficients）」と言えば、セットＥtと、区分Ｐt及びＩtと、対応する一時的メッシュとによって形成される状態Ｅ
Figure 0004045188
 から、セットＥt0と、サブセットＰt0及びＩt0と、対応する一時的メッシュとによって形成される最新状態Ｅc
Figure 0004045188
 へ遷移することを可能にする一連のプロセスを表す。
以下この文書において、「係数を計算に入れる（taking account of coefficients）」または「係数を加える（adding of coefficients）」と言えば、Ｅによって定義される１つの一時的メッシュからＥtによって定義される別の一時的メッシュへ、ＰtとＰt0とが「付加された係数（added coefficient）」と称される唯一の係数だけ互いに異なるように、移行させることが出来るようにする一連のプロセスを表す。「係数の削除（elimination of coefficients）」と言えば、第１の一時的メッシュから第２の一時的メッシュへ、ＰtとＰt0とが、「削除された係数（eliminated coefficient）」と称される唯一の係数だけ互いに異なるように、移行させることが出来るようにする全てのプロセスを表す。
従来技術はメッシュＭの逐次的表示（progressive display）を可能にする。新規かつ創意あるアプローチに基づく本発明によれば、同じデータ構造を使用して、従来技術に従ってウェーブレット係数を付加するのに必要な時間と実質的に同じだけの短期間にウェーブレット係数を削除するためのアルゴリズムを使用することによって、同じメッシュＭを適応表示することが可能となる。
古典的な技術によれば、ウェーブレット係数の付加では、その付加係数に対応するハット関数（hat function）が一時的メッシュＭtの各フェース上で細分（refine）されるまで一時的メッシュＭtが再分割され、次にその付加係数によってインデックス付けされる頂点のフィールドhGeomにその係数が配置される。このプロセスは各係数毎に繰り返され、そしてこれらの係数が事実上計算に入れられると、一時的メッシュの各頂点のhGeomの要素はフィールドｇにおける前記頂点の新たな位置を取得するために合計されて、これらの頂点の歴代の親（successive parents）の様々な寄与に加えられる。
本発明は、図１に示されたステップに従って、既にここで述べたデータ構造を基にしてウェーブレット係数を撤回（withdrawal）することを可能にする。
・ステップ１１において、削除されるべきウェーブレット係数の逆符号のものがメッシュのパラメトリゼーション関数に加えられる。こうしたステップは次のアルゴリズムに従って実行することができる。
procedure addOpposite (coeff:integer)
for i from 1 to 3
vertexTable[VPC[coeff]][i]-=coeffTable[coeff][i]
end;
・ステップ１２において、ステップ１１の結果生じる幾何学的変更が段階的（in cascade）に計算に入れられる。このステップの最後に、一時的メッシュの各頂点は、フィールドfGeomにおいて、次のような値を有する。
Figure 0004045188
 ・ステップ１３において、メッシュを階層形式で表す木の剪定（pruning）を実行するために、以下の２つのアルゴリズムが実行される。
procedure prune(Q:forest)
for each root r of Q
flattened(r)
end
および、
procedure flattened(r:tree)
if r is not a leaf do
for each child s of r
flattened(s)
end if
if isFlat(f) do
for each child g of f do
remove g from the display list
release g
end for
add f to the display list
end
ステップ１１において、図３に示された追加の構造ＶＰＣを導入することによって、ウェーブレット係数の逆符号のものの付加が実行される。こうした構造はテーブル３１であり、このテーブルにおいては、そのｉ番目の要素３２が、ｉ番目の係数３２によってインデックス付けされた頂点３３のインデックスである（その頂点３３が存在する場合）。従ってこの頂点３３のフィールドhGeomへのアクセスは即時である。
ステップ１１の間の１つ以上のウェーブレット係数の削除は、図２に示されたようなメッシュの再分割の進行によって必要とされる。
実際、ある与えられた瞬間ｔにおいて、ベース・メッシュのフェース２１は図２aの再分割を示す。考慮されるメッシュが関連する３Ｄシーンの時間発展は、図２ｂに示されるように、メッシュの時間発展をもたらす。
太線２２は不要となったメッシュの再分割を示しており、また、点線２３は必要となった再分割を示している。従って、頂点２４と、従ってそれに関連するウェーブレット係数を削除することが必要である。同様に、頂点２５をメッシュに導入すること、従ってそれに関連するウェーブレット係数を加えること、が必要である。
図２ｃは、頂点２４（と２５それぞれ）に関連するウェーブレット係数の削除（と付加それぞれ）によって引き起こされる幾何学的変更が計算に入れられた後の、瞬間ｔ＋１におけるフェース２１の新たな再分割を示している。
ステップ１１におけるハット係数の削除が全て計算に入れられるとすぐに、幾何学的変更が計算に入れられ、メッシュの頂点のフィールドｇがもたらされる。幾何学的変更を計算に入れるこれはステップ１２において次のアルゴリズムに従って実行される。
procedure Evaluation ()
queue :=level 0 faces
while nonempty(queue) do
currentFace :=firstFace (queue)
currentLevel :=currentFace.level
if subdivided(currentFace) do
for each corner Vertex v of currentFace do
v.g+=v.hGeom[currentLevel]
v.hGeom[currentLevel] :=0
end for
for each edgeVertex e of currentFace do
if e has two parent faces then
e.g+=(e.parentV[1].g + e.parentV[2].g)/4
else
e.g+=(e.parentV[1].g+e.parentV[2].g)/2
end if
end for
for each child f of currentFace do
add f to queue
else
AddAListeDisplay(currentFace)
end if
for each vertex v of fGeom non-zero do
v.fGeom+=v.g
v.g:=0
end for
end while
end
図４に、メッシュ上に引き起こされた幾何学的変更を計算に入れるためのこの種の操作を示す。メッシュ４０が議論される。ステップ１１において、頂点４１によってインデックス付けされたウェーブレット係数が削除された。削除を取り入れたことはメッシュ４０の平坦化（faltterning）４２によって表現される。
図１のステップ１３の間、再構築された一時的メッシュを階層的に表す木の剪定（pruning）が実行される。この剪定ステップ１３の間に実行される。ここで上述したアルゴリズムの効率性は、以下のデータ構造を導入したことにある。
・図３に示されたＶＰＣ整数のテーブル３１（a table of VPC integers）と、ここで、これはｉがあるウェーブレット係数のインデックスである場合、ＶＰＣ［ｉ］はこの係数をインデックス付けする頂点であるようなものであり、
・整数のスタックＧａｐ（a stack of integers Gap）と、ここで、これは整数ｉがスタックＧａｐ（stack Gap）にある場合、表示リストはｉのポジションに非表示ファセット（non-displayed facet）を含むようなものである。
図５において、木を剪定するためのこの種のステップ１３が詳細に説明される。議論されるメッシュのフェース５１は階層型の木（hierarchical tree）５２に関連する。図５ａに示された頂点５３は削除されることになっているウェーブレット係数をインデックス付けする。
図５ａから図５ｂにかけて、頂点５３に関連するウェーブレット係数と、従ってそれに対応するファセット５４と５５の再分割を削除する操作が行われる。このようなファセット５４と５５は隣接しており、頂点５３はそれらの共通の辺の中点である。図５ａから図５ｂへの操作は階層型の木５２のレベル５２４の削除に対応する。
次いで図５ｂから図５ｃにかけて、フェース５１の隣接するファセット５６と５７の再分割が削除される、つまり、階層型の木５２のレベル５２３に対応するノードが削除される。
階層型の木５２のレベル５２１はメッシュのフェース５１に対応する。ノード５２１の、レベル５２２に位置する４つの子は、フェース５１を形成するファセット５１１、５１２、５１３と５１４に対応する。
上述の方法及びアルゴリズムを使用する、ウェーブレットに基づいた３Ｄシーンまたはオブジェクトの適応再構築（adaptive reconstruction）は、特にそれ専用ということではないが、とりわけ、サーバによる通信ネットワークを介した３Ｄシーンの放送において適用することが出来る。このような遠隔通信ネットワークはビットレート非保証型のネットワークでよい。以下、図６と図７を参照して、遠隔通信ネットワークを介して３Ｄシーンを放送する実施態様を特別に例示して説明する。
ステップ６１において、カスタマーは、３Ｄシーンまたはオブジェクト内を逐次的、双方向的かつ適応的にナビゲートすることができるようになるために、リクエストを遠隔通信ネットワークを介してサーバに送る。
サーバは、カスタマーのリクエスト６１を処理して、折り返し、そのカスタマーにリクエストされた３Ｄシーンまたはオブジェクトに関連するベース・メッシュを送信する（６２）。ベース・メッシュまたはシンプル・メッシュＭ0は限定数のファセットを有するので、こうしたステップ６２は一般的に非常に速く済む。通常、メッシュＭ0のファセット数は１０００未満である。
ステップ６３の間、表示端末を使用するカスタマーは、サーバによって伝送されたウェーブレット係数で膨らませたベース・メッシュＭ0内をナビゲートしてよい。つまり、ナビゲーションはスケール係数の受信が完了したらすぐに開始され、表示される一時的モデルの３Ｄシーンはウェーブレット係数が到着すると更新される。
こうしたステップ６３の間、以下の３つの独立したプロセスが表示端末上で並行して実行されることがある。３つの独立したプロセスとは、
・表示端末のキャッシュ・メモリに存在するウェーブレット係数に応じて、観察者のポジションとその観察者の視線パラメータ（viewing parameters）、すなわち観察者の視線の方向と角度、を適応再構築（adaptive reconstruction）すること（６４）、
・観察者のポジションとその観察者の視線パラメータをサーバへ定期的に伝送すること（６５）、
・サーバから来る３Ｄシーンの適応表示に必要なウェーブレット係数を受信して、表示端末のキャッシュ・メモリを結果的に再編成すること（６６）、
である。
実際、ウェーブレット係数はカスタマーの端末のキャッシュ・メモリに記憶され、一時的メッシュは記憶されたウェーブレット係数の部分集合を使って定期的に更新される。この記憶されたウェーブレット係数の部分集合というのは視覚的に関係のある係数を表すもので、観察者のポジションやその観察者の視線方向といった、ナビゲーションに関するパラメータから特定される。
３Ｄオブジェクトまたはシーンの仮想的な観察者が所定の距離デルタを移動する（scan）する毎に、キャッシュ・メモリに存在するウェーブレットのセットは新たに分割される。そのとき２つのリストが準備される。一つはその一時的表現に加えられるべき係数のリストで、もう一つはこの表現から削除されるべき係数のリストである。
削除されるべきウェーブレット係数は図１に示された上述の方法に従って以下のように１つずつ処理される。
・削除されるべきウェーブレット係数の各係数の逆符号のものがステップ１１の間に加えられ、
・ウェーブレット係数の削除が、ステップ１２の間に幾何学的にステップを踏んで、既に示された適応アルゴリズムに従って、計算に入れられ、
・メッシュのこの表現に関する木が、ステップ１３の間に、本文書で既に示された適応アルゴリズムに従って、剪定される。
次に、３Ｄシーンに関連するメッシュを見ることが出来るカスタマーに、仮想的な観察者の位置をずらして視線の角度を変更することに関する制御が返される。仮想的な観察者が移動した距離がデルタに等しくなるとすぐに処理が繰り返される。
図６のステップ６３を実施するには、要求６１を送り出したカスタマーの数に等しい多数のタスクをサーバー側で実行する能力が必要である。こうしたタスクとして、ナビゲーション・パラメータを伝送した（６５）それぞれのカスタマー毎に、視覚的に関与すると判断されるウェーブレット係数のリストを選んで、それらを通信ネットワークを介して送信する（６６）ことが挙げられる。
ウェーブレット係数の視覚的な関与度は図７に示された方法に従ってサーバによって判定される。
ステップ７１の間、サーバは、観察者の視野ピラミッド（pyramid of view）（あるいは、予想ピラミッド（pyramid of anticipation）として知られるより大きなピラミッド）と要求６１の対象である３Ｄシーンの間の共通部分を特定する。
次にサーバは特定した共通部分にある頂点によってインデックス付けされたウェーブレット係数を選ぶ（７２）。
ステップ７３の間、選ばれたウェーブレット係数のそれぞれについて、端末の能力の指標（indicator）に観察者から係数をインデックス付けする頂点までの距離を掛けたものを計算する。この積は、ウェーブレット係数の大ききをそれと比較する閾値を構成する。
この種の指標は、観察者の表示端末の処理能力（processing capacity）に応じた、アプリオリに固定された定数であってよい。例えば、こうした定数は、ナビゲーションの開始に先立って、観察者の表示端末に利用できるプロセッサのタイプに応じて決定される。
この種の指標は、表示端末の現時点での処理能力に応じて、ナビゲーション中に変化することもある。従って、ナビゲーションのはじめに、指標の値を、端末上で表示可能とされるべき１秒当たりの画像数に適合させるためのステップを実施することを考えることが可能である。次に指標の値は、ナビゲーション中、１秒当たりに表示される画像の数（すなわち、「フレームレート（frame rate）」）に関する初期に固定された指示を維持するために、端末によって同時に処理される他のアプリケーションまたは他のプロセスによって費やされる端末のリソースに応じて、更新が可能である。
表示端末の処理能力についての情報は端末によってサーバに送られる。
ステップ７３の最後において、サーバはその大きさが計算した閾値より大きなウェーブレット係数だけを保持し（７４）、次にそれらを通信ネットワークを介してカスタマーに送る（７５）。
代替態様として、伝送ステップ７５に先だって、サーバはカスタマーの端末のキャッシュ・メモリへの要求を送り出し、すでにそこにあるウェーブレット係数を見出して係数の不要な伝送を一切避けるようにする。次にカスタマーの端末は、メッシュのフェースそれぞれについて、端末のキャッシュ・メモリに存在するそれぞれのフェースに関連するウェーブレット係数の数を指定する整数から成る１列のテーブルを、サーバに送り返す。
ウェーブレット係数は、サーバによって、または、全てのウェーブレット係数を集めるデータベースの合理的編成を通じてそのサーバと協働する他のサーバによって実施される外部のソート手段（sorting means）によって、効率的にソートされることがある。例えば、そのソート手段（サーバの内部及び／または外部）は、ベース・メッシュＭ0のファセットの昇順識別表示と、これらのアセット（assets）それぞれについて、考慮されるファセットの頂点によってインデックス付けされたウェーブレット係数の大きさについてのソートと、に基づく編成を基にする。
このようにして、係数のソートを担当するデバイスが、シンプル・メッシュＭ0のあるフェースＦが観察者の視野ピラミッド（あるいは、予想ピラミッドとして知られるより広いピラミッド）内にあると判定したら、その大きさがステップ７３において計算された閾値未満のウェーブレット係数に到達するまでフェースＦのウェーブレット係数のリストを走査（scan）することだけが行われる。
また、要求６１を送っているカスタマーが自身で自らのリクエストの対象である３Ｄシーンまたはオブジェクトを見るために自らが必要とするウェーブレット係数を決めるといった代替態様を考えることも可能である。このときは、このカスタマーは自身が必要とするウェーブレット係数の発送を要請する第２のリクエストを通信ネットワークを介してサーバに送ることが出来る。
［補遺］
空間内の曲面Ｓは、同じ位相タイプの多面体（polyhedron）Ｍ0上で定義される、Ｒ３に値を持つ単写連続関数の像として表すことができる。このときその曲面は多面体によってパラメトライズされると言い、前記関数は「パラメトリゼーション（parametrization）」と称される。この関数は、Ｒに値を持つ関数の三重項（triplet）で、この三重項のそれぞれの関数はＲに値を持つ多面体上の連続関数から成る空間Ｃ0（Ｍ0）の基底で展開することが出来る。
メッシュ曲面の場合には、この技術はメッシュの圧縮表現を得るために使用される。更に、ウェーブレットを基底関数として使用することによって最も粗い形状（the most approximate shape）から最もきめ細かい形状（the most detailed shape）まで逐次的に表現することが出来る。
これらの関数は古典的な意味でのウェーブレットではないが、多重解像度解析のコンセプトを一般化する細分関係（refining relationships）に従う。ここでＭ0を曲面Ｍのパラメトリゼーションがその上で定義される多面体とする。φiを各ファセット上でアファイン（affine）、かつｉ番目の頂点で１、その他で全ての頂点において０に等しい値を採る関数としたとき、関数φi oによって生成されるＣ0（Ｍ0）の部分空間Ｓ0を考慮する。
同様に定義される関数φi jによって生成される部分空間Ｓjの定義が、同様に、しかしＭ0をＭj-1の各ファセットを標準的に再分割して得られるメッシュＭjで置き換えて、為される。空間Ｓjは有限次元で、かつＳ0を最小として入れ子状になっている。またＲに値を持つＭ0のどんな連続関数も、ｊをかなり大きな値にすれば、Ｓjの値の関数によって一様に近似出来る。
逐次的なコーディング（progressive coding）を可能にするのはこうした包摂関係（inclusion）である。具体的には、ＷjがＳj+1におけるＳjの補足分（supplementary）を表し、そして｛ψi j｝i（ウェーブレット）がＷjの基底を表す場合、以下のような関数のセット、
Figure 0004045188
 はＣ0（Ｍ0）の基底を形成する。従ってＭをパラメトライズする関数ρは一様に次のように書ける。ここで値Ｃiと値ｄi jはＲ3に値を持ち、ウェーブレット係数と称される。
実際には、ウェーブレットは、それらの台（support）によってウェーブレット係数をＯ（ｎ）において決定することが出来るように選ばれる。ここでｎはメッシュＭの頂点数である。このとき、ｋをある定数の整数として、Ｄk,iが頂点ｉからｋ個の辺未満の距離にあるメッシュＭjの頂点のインデックスのセットを表す場合には、ウェーブレットψi jは、ψi jがＤk+1,iに台を持つように、次式で与えられる。
Figure 0004045188
このように再構築の際、ウェーブレット係数の効力はこの種の近傍に制限される。
不必要なウェーブレット係数を削除する間に本発明に従って実施される異なったステップを示したブロック図である。 図１の手順に沿って、３Ｄシーンを表現するのに必要なメッシュの再分割が進行する様子と、その結果、ある決まったウェーブレット係数を削除する必要性を示した図である。 ウェーブレット係数をインデックス付けする頂点を列挙するＶＰＣ整数のテーブルを示した図である。 図１の手順に沿ってウェーブレット係数を削除した結果としてメッシュが平坦化されるステップを示した図である。 図１の手順に沿って階層型メッシュを表す木を剪定するステップを示した図である。 本発明を例示的に３Ｄシーンまたはオブジェクトを通信ネットワークを介して放送する場合に適用した際に実施されるステップを示した図である。 図６の例示的な実施態様において通信ネットワークのサーバによって実行される異なった操作を示した図である。

Claims (28)

  1. それぞれが頂点及び辺で画定されるファセットを有限数有するシンプル・メッシュ（Ｍ０）と、該シンプル・メッシュ（Ｍ０）の局部的変更に対応したウェーブレットの基底中の係数とを使用し、各瞬間毎に該メッシュのパラメトリゼーションの関数を決定することを可能にして、コーディングデバイスによって３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするための方法であって、
    少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）が、前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ０）のファセットに関連する場合に、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、前記少なくとも１つのウェーブレット係数の効果を除去するための手段によって、前記少なくともひとつのウェーブレット係数の効果を除去するステップを具備することを特徴とするメッシュ・コーディング方法。
  2. それぞれが頂点及び辺で画定されるファセットを有限数有するシンプル・メッシュ（Ｍ０）と、該シンプル・メッシュ（Ｍ０）の局部的変更に対応したウェーブレットの基底中の係数とを使用し、各瞬間毎に該メッシュのパラメトリゼーションの関数を決定することを可能にして、コーディングデバイスによって３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするための方法であって、
    少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の大きさが観察者と該ウェーブレット係数をインデックス付けする頂点との間の距離の関数として決まる閾値未満にある場合に、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、前記少なくとも１つのウェーブレット係数の効果を除去するための手段によって、前記少なくともひとつのウェーブレット係数の効果を除去するステップを具備することを特徴とするメッシュ・コーディング方法。
  3. あるウェーブレット係数が前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ０）のファセットに関連する場合にも、前記除去するステップが行われることを特徴とする請求項２に記載のメッシュ・コーディング方法。
  4. 前記距離と前記３次元のオブジェクトまたはシーンを表示するための端末の能力指標とを計算に入れて前記閾値を計算するためのステップを具備することを特徴とする請求項２に記載のメッシュ・コーディング方法。
  5. 前記能力指標は前記端末の処理能力に依存する定数であることを特徴とする請求項４に記載のメッシュ・コーディング方法。
  6. 前記能力指標は、前記３次元のオブジェクトまたはシーンを表示する間に、前記端末の現時点での処理能力に応じて変化するものであることを特徴とする請求項４に記載のメッシュ・コーディング方法。
  7. 前記パラメトリゼーション関数に、削除されるべき前記ウェーブレット係数または（ｄ；ｄ１，・・・，ｄｎ）の逆符号のものを加えることによって、メッシュを平坦化するためのステップを具備することを特徴とする請求項１乃至６のいずれかに記載のメッシュ・コーディング方法。
  8. 前記部分的なメッシュ（Ｍ’）は１セットの木に対応し、該１セットの木のそれぞれは、前記シンプル・メッシュ（Ｍ０）の１つのフェースを表しかつそれぞれが前記シンプル・メッシュ（Ｍ０）の議論されるフェースに関わる細分したメッシュ（Ｍｊ）の１つのフェースを表す１セットのノードを含むものであることを特徴とする請求項１乃至７のいずれかに記載のメッシュ・コーディング方法。
  9. 削除されるべき少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）を撤回するためのステップを具備し、該ステップは、
    前記１つまたは数個のウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の逆符号のものを計算に入れるステップと、
    １つ前のステップで引き起こされた変更を計算に入れるステップと、
    部分的なメッシュ（Ｍ’）を画定し、かつ前記１つまたは数個のウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）のみによって影響が与えられる、木の部分を削除するステップと
    を具備することを特徴とする請求項８に記載のメッシュ・コーディング方法。
  10. 削除されるべきウェーブレット係数をインデックス付けする頂点に直接到達するために、前記部分的なメッシュの全ての頂点をそれぞれ指し示す１セットのポインタを導入したことを特徴とする請求項１乃至９のいずれかに記載のメッシュ・コーディング方法。
  11. 前記ポインタは整数のテーブル（ＶＰＣ）に集められることを特徴とする請求項１０に記載のメッシュ・コーディング方法。
  12. 前記変更を計算に入れる前記ステップは、再帰的な剪定アルゴリズムを実行することを特徴とする請求項９乃至１１のいずれかに記載のメッシュ・コーディング方法。
  13. 請求項１乃至１２のいずれかに記載された方法に従ってコード化された、３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）を表す、コーディングデバイスによって用いられるデータ構造であって、
    それぞれが頂点及び辺によって画定されるファセットを限定数有するシンプル・メッシュ（Ｍ０）を表すデータを含む基本フィールドと、
    前記シンプル・メッシュ（Ｍ０）の局部的変更に対応しウェーブレットの基底中の係数を含み、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にする少なくとも１つの細分フィールドと、
    を具備し、前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ０）のファセットに関連しているウェーブレット係数（ｄ；ｄ１・・・ｄｎ）は、当該データには取り入れられないことを特徴とするデータ構造。
  14. 請求項１乃至１２のいずれかに記載された方法に従ってコード化された、３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）を表す、コーディングデバイスによって用いられるデータ構造であって、
    それぞれが頂点及び辺によって画定されるファセットを限定数有するシンプル・メッシュ（Ｍ０）を表すデータを含む基本フィールドと、
    前記シンプル・メッシュ（Ｍ０）の局部的変更に対応しウェーブレットの基底中の係数を含み、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にする少なくとも１つの細分フィールドと、
    を具備し、大きさが観察者と該ウェーブレット係数をインデックス付けする頂点との間の距離の関数として決まる閾値未満にあるウェーブレット係数（ｄ；ｄ１・・・ｄｎ）は、当該データには取り入れられないことを特徴とするデータ構造。
  15. ３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするためのデバイスであって、
    それぞれが頂点及び辺で画定される限定数のファセットを有するシンプル・メッシュ（Ｍ０）と、該シンプル・メッシュ（Ｍ０）の局部的変更に対応したウェーブレットの基底中の係数とを決定し、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にするための手段を具備しており、
    少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）が、前記ソース・メッシュ（Ｍ）の目に見える部分に属していない前記シンプル・メッシュ（Ｍ０）のファセットに関連する場合に、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、前記少なくとも１つのウェーブレット係数の効果を除去するための手段を具備したことを特徴とするメッシュ・コーディングデバイス。
  16. ３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をコーディングするためのデバイスであって、
    それぞれが頂点及び辺で画定される限定数のファセットを有するシンプル・メッシュ（Ｍ０）と、該シンプル・メッシュ（Ｍ０）の局部的変更に対応したウェーブレットの基底中の係数とを決定し、各瞬間毎にメッシュのパラメトリゼーションの関数を決定することを可能にするための手段を具備しており、
    少なくとも１つのウェーブレット係数（ｄ；ｄ１，・・・，ｄｎ）の大きさが観察者と該ウェーブレット係数をインデックス付けする頂点との間の距離の関数として決まる閾値未満にある場合に、前記ソース・メッシュ（Ｍ）の部分的な表現に対応する部分的なメッシュ（Ｍ’）を与えるために、前記少なくとも１つのウェーブレット係数の効果を除去するための手段を具備したことを特徴とするメッシュ・コーディングデバイス。
  17. 前記３次元のオブジェクトまたはシーンを表示するための端末の能力の指標と前記距離とを掛ける積を実行して前記閾値を計算するための手段を具備したことを特徴とする請求項１５または１６に記載のメッシュ・コーディングデバイス。
  18. 第１に、各ウェーブレット係数が付随する前記シンプル・メッシュのファセットと、第２に、前記ウェーブレット係数の大きさとに応じて、前記ウェーブレット係数をソートするための手段と協働することを特徴とする請求項１５乃至１７のいずれかに記載のメッシュ・コーディングデバイス。
  19. 少なくとも１つの遠隔端末にデータを伝送するための手段と協働することを特徴とする請求項１５乃至１８のいずれかに記載のメッシュ・コーディングデバイス。
  20. 前記オブジェクトまたは前記シーンの表示を可能にする端末と一体化したことを特徴とする請求項１５乃至１９のいずれかに記載のメッシュ・コーディングデバイス。
  21. ３次元のオブジェクトまたはシーンを表すソース・メッシュ（Ｍ）をデコーディングするためのデバイスであって、
    請求項１３または１４に記載された構造を持つデータを受け付けるための手段と、
    受け付けたデータから前記オブジェクトまたは前記シーンの表現を再構築するための手段と
    を具備したことを特徴とするメッシュ・デコーディングデバイス。
  22. サーバ及び／または遠隔コーディングデバイスに少なくとも１個の位置情報を伝送するための手段を具備したことを特徴とする請求項２１に記載のメッシュ・デコーディングデバイス。
  23. 前記１個または数個の位置情報が、
    前記３次元のオブジェクトまたはシーンの観察者の位置と、
    前記３次元のオブジェクトまたはシーンの観察者の視線の方向と、
    を含むグループに属するものであることを特徴とする請求項２２に記載のメッシュ・デコーディングデバイス。
  24. ３次元のオブジェクトまたはシーンを表すメッシュをコーディングまたはデコーディングするためのシステムであって、
    請求項１５乃至２０のいずれかに記載されたコーディングデバイスを少なくとも１つ具備し、かつ、請求項２１乃至２３のいずれかに記載されたデコーディングデバイスを少なくとも１つ具備したことを特徴とするメッシュ・コーディングまたはデコーディングシステム。
  25. 前記デコーディングデバイスのキャッシュ・メモリに記憶されたウェーブレット係数に関する少なくとも１個の情報を前記コーディングデバイスに伝送するための第１の手段を具備したことを特徴とする請求項２４に記載のメッシュ・コーディングまたはデコーディングシステム。
  26. 前記デコーディングデバイスの能力の指標を決定するために、該デコーディングデバイスの処理能力に関する少なくとも１個の情報を前記コーディングデバイスに伝送するための第２の手段を具備したことを特徴とする請求項２４または２５に記載のメッシュ・コーディングまたはデコーディングシステム。
  27. コーディングデバイスに実装される請求項１〜１２のいずれかに記載の方法であって、
    ３次元のメッシュのオブジェクトをディスプレイターミナルのスクリーンに表示することと、
    前記ウェーブレット係数を計算に入れてそれらが到着したときに３次元のメッシュのオブジェクトをディスプレイターミナルのスクリーンに逐次的に表示することと、
    連続するメッシュ（Ｍｊ）のいずれか１つに対応する細さの少なくとも２つのレベルで３次元のメッシュのオブジェクトをディスプレイターミナルのスクリーンに表示することと、
    限定した数のウェーブレット係数による前記ソース・メッシュ（Ｍ）の部分的な再構築に対応する細さの少なくとも２つのレベルで３次元のメッシュのオブジェクトをディスプレイターミナルのスクリーンに表示することと、
    ３次元のメッシュのオブジェクトを、サーバーとターミナルの間の通信ネットワークを介して順次に伝送することと、
    ３次元のメッシュのオブジェクトを、サーバーとターミナルの間の通信ネットワークを介して適応伝送することと、
    遠隔サーバから通信ネットワークを介して３次元のオブジェクトを適応更新することと
    のうちの少なくともいずれかに利用される方法。
  28. コンピュータに、請求項１〜１２、２７のいずれかに記載の方法を実行させるためのコンピュータプログラム。
JP2002544670A 2000-11-21 2001-11-21 ウェーブレットに基づくメッシュ・コーディング方法および装置 Expired - Fee Related JP4045188B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0015043A FR2817066B1 (fr) 2000-11-21 2000-11-21 Procede de codage par ondelettes d'un maillage representatif d'un objet ou d'une scene en trois dimensions, dispositifs de codage et decodage, systeme et structure de signal correspondants
PCT/FR2001/003675 WO2002043005A1 (fr) 2000-11-21 2001-11-21 Procede de codage par ondelettes d'un maillage

Publications (2)

Publication Number Publication Date
JP2004533663A JP2004533663A (ja) 2004-11-04
JP4045188B2 true JP4045188B2 (ja) 2008-02-13

Family

ID=8856734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002544670A Expired - Fee Related JP4045188B2 (ja) 2000-11-21 2001-11-21 ウェーブレットに基づくメッシュ・コーディング方法および装置

Country Status (9)

Country Link
US (1) US7362903B2 (ja)
EP (1) EP1340195B1 (ja)
JP (1) JP4045188B2 (ja)
AT (1) ATE280980T1 (ja)
AU (1) AU2002222010A1 (ja)
CA (1) CA2429259C (ja)
DE (1) DE60106782T2 (ja)
FR (1) FR2817066B1 (ja)
WO (1) WO2002043005A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019619A2 (en) * 2002-08-20 2004-03-04 At & T Corp. Method of streaming a 3-d wireframe animation
FR2849329A1 (fr) * 2002-12-20 2004-06-25 France Telecom Procede de codage d'une image par ondelettes, procede de decodage, dispositifs, signal et applications correspondantes
JP2004272590A (ja) * 2003-03-07 2004-09-30 Sony Corp データ符号化装置及びデータ符号化方法、並びにコンピュータ・プログラム
US7680350B2 (en) * 2004-05-07 2010-03-16 TerraMetrics, Inc. Method and system for progressive mesh storage and reconstruction using wavelet-encoded height fields
FR2876821A1 (fr) * 2004-10-14 2006-04-21 France Telecom Procede de decodage local d'un train binaire de coefficients d'ondelettes
FR2878396A1 (fr) * 2004-11-19 2006-05-26 France Telecom Procede de codage d'images codees par ondelettes a controle du debit, dispositif de codage et programme d'ordinateur corespondants
FR2878383A1 (fr) * 2004-11-19 2006-05-26 France Telecom Procede de codage predictif d'une sequence d'images, dispositif de codage, procede et dispositif de decodage et programme correspondants
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
CN102760308B (zh) 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
CN102722912B (zh) * 2012-05-25 2015-11-25 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
WO2014062934A1 (en) * 2012-10-19 2014-04-24 Visa International Service Association Digital broadcast methods using secure meshes and wavelets
US20190130058A1 (en) * 2017-06-20 2019-05-02 Coreform Llc U-splines: splines over unstructured meshes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107444A (en) * 1988-09-13 1992-04-21 Computer Design, Inc. Method and apparatus for flattening three-dimensional surfaces
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6144773A (en) * 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
JP3184785B2 (ja) * 1997-07-23 2001-07-09 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 三次元形状モデル送信方法及び装置、三次元形状モデル圧縮方法及び装置、三次元形状モデル表示方法及び装置
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
FR2781907B1 (fr) * 1998-08-03 2000-09-29 France Telecom Procede de codage d'un maillage source tenant compte des discontinuites, et applications correspondantes
FR2781908B1 (fr) * 1998-08-03 2000-09-29 France Telecom Procede de codage d'un maillage a nombre reduit de facettes, procede de reconstruction et applications correspondants

Also Published As

Publication number Publication date
CA2429259A1 (en) 2002-05-30
CA2429259C (en) 2009-10-06
EP1340195B1 (fr) 2004-10-27
ATE280980T1 (de) 2004-11-15
JP2004533663A (ja) 2004-11-04
US20040076331A1 (en) 2004-04-22
FR2817066B1 (fr) 2003-02-07
WO2002043005A1 (fr) 2002-05-30
FR2817066A1 (fr) 2002-05-24
EP1340195A1 (fr) 2003-09-03
US7362903B2 (en) 2008-04-22
DE60106782T2 (de) 2005-12-15
AU2002222010A1 (en) 2002-06-03
DE60106782D1 (de) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4045188B2 (ja) ウェーブレットに基づくメッシュ・コーディング方法および装置
US5448686A (en) Multi-resolution graphic representation employing at least one simplified model for interactive visualization applications
US6392647B1 (en) System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
Erikson Polygonal simplification: An overview
EP0788072B1 (en) Encoding and transmission of meshes
US6208347B1 (en) System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
US20110216063A1 (en) Lidar triangular network compression
JP4216477B2 (ja) 選択的メッシュ細分化方法
JP2001500676A (ja) ウェーブレットに基づくデータ圧縮
US6232987B1 (en) Progressively renderable outline font and methods of generating, transmitting and rendering the same
Bóo et al. Hardware support for adaptive subdivision surface rendering
Gioia et al. Real-time reconstruction of wavelet-encoded meshes for view-dependent transmission and visualization
US8086054B2 (en) Method for locally decoding a bitstream of wavelet coefficients
CN112231426A (zh) 一种基于矢量瓦片点数据的更新方法、系统、介质及终端
Platings et al. Compression of Large‐Scale Terrain Data for Real‐Time Visualization Using a Tiled Quad Tree
US6933940B2 (en) Incremental resolution changes in multi-resolution meshes with update records
WO2011112178A1 (en) Lidar triangular network compression
Ribelles et al. Multiresolution ordered meshes
Rossignac Interactive exploration of distributed 3D databases over the internet
Kim et al. View-dependent mesh streaming with minimal latency
Franklin Elevation data operations
CN118196342A (zh) 地图处理方法及设备
CN117408323A (zh) 一种基于pca主分量投影的逐层深度神经网络剪枝方法
Xu et al. Secondary storage terrain visualization in a client-server environment: A survey
Okuda et al. Progressive geometry coding of partitioned 3D models

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070620

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071119

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees