JP4064345B2 - メッシュ状オブジェクトのウェーブレット符号化方法 - Google Patents

Description

本発明は、少なくとも２次元のメッシュ状オブジェクト（meshed objects）を符号化する技術に関する。より具体的には、本発明は、「ウェーブレット（wavelet）」法として知られている方法を導入してグラフィックシーンのオブジェクトに関連したメッシュ、またはメッシュ符号化されたテクスチャを表現して符号化する技術に関する。本発明は、それに限定はされないが、特に第２世代ウェーブレット（second-generation wavelets）に適用することができる。この第２世代ウェーブレットは、例えば、Wim Sweldens著の「The Lifting Scheme : A Construction of Second Generation Wavelets」（SIAM journal on Mathematical Analysis，１９９８年，第２９巻，第２号，ｐp．５１１−５４６）に提示されている。

本発明は、画像の記憶及び／または伝送を最適化することが望ましい全ての分野において適用することができる。本発明は、それに限定はされないが、特に、３Ｄモデルと、エレベーショングリッド（lifting grids）と、２次元メッシュによって符号化されたオブジェクト及びテクスチャとの記憶および伝送に適用することができる。

「ウェーブレット」符号化法と呼ばれているものは、或るメッシュをその基本メッシュに一連の詳細を付け加えたものとして表すために使用されるものであることが思い起こされるだろう。この技術の一般理論は、具体的にはM. Lounsbery、T.DeRose、及びJ. Warren著の「MultiresoIution Analysis for Surfaces of Arbitrary Topological Type」(ACM Transactions on Graphics，１９９７年１月，第１６巻，第１号，ｐp．３４−７３）に詳述されている。

この技術の一般原理は、第２世代ウェーブレットと称される特殊な関数の基底において、符号化されるオブジェクト（例えば３Ｄメッシュ）と単純メッシュ（より一般的には「基本メッシュ（basic mesh）」と呼ばれている）との間の同相写像（homeomorphism）を構成することにある。

従って、この技術では、メッシュは、単純な多面体によるこのメッシュのパラメトリゼーションのウェーブレット基底での座標に対応する一連の係数によって表される。

このような技術に基づいて符号化されたオブジェクトは、従って次の２つの要素の和集合の形を採る。１つ目として、
・基本メッシュ：これは一般的には少ないファセット（facet）を有し、符号化されるオブジェクトの或る粗い表現である。２つ目として、
・ウェーブレット係数：これは基本メッシュの正確なゾーンとこのメッシュの或る与えられたレベルの細分化に同時に割り当てられた実数の三重項である。これらのウェーブレット係数は、最初のオブジェクトの幾何学的構造（ジオメトリ）に収束するようにそれらの係数が付随するゾーンに対して行われる微細化（refinements）を表現する。

符号化されたオブジェクトの表現を表示端末上に再現することができるようにするためには、第１に基本メッシュと第２にそれに関連するウェーブレット係数とをこの表示端末に送ることが必要である。この目的のために、ウェーブレット係数を圧縮して、例えば、通信ネットワークを介して遠隔端末の場合がある表示端末に伝送するために、それらの係数を効率的に符号化するための方法が定められなければならない。

これまでのところ、伝送されるウェーブレット係数の圧縮の点から最良の結果を与えるものは「zero-tree（ゼロツリー）」符号化技術として知られる符号化技術である。このような技術は、ウェーブレット係数の符号化の順序を記述することにある。この順序は、予め決められ、事前に送信端末と受信端末（例えば、サーバとクライアント表示端末）に知らされる。従って、このような技術によって、ウェーブレット係数の伝送時において、考慮されるオブジェクトの符号化にとって重要でない範囲の係数に関する情報の伝送を避けることができる。

このような「zero-tree」符号化作業は、一般的には、係数の伝送時において各係数の最も重要なビットを最初に伝送できるようにする「ビット・プレーン（bit-plane）」符号化作業と結び付けられる。

「zero-tree」技術のより詳細な説明は、Jerome M. Shapiro著の「Embedded Image Coding Using Zerotrees of Wavelet Coefficients」（IEEE Trans. Sig. Proc.，１９９３年１２月，第４１巻，第１２号）と、A. Said及びW. A.Pearlman著の「A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees」（IEEE Trans. Circ. System. For Video Tech.，１９９６年６月，第６巻，第３号）に見出される。

これらの技術は、最初は２次元画像を符号化するために開発され、最近では第２世代ウェーブレット係数に適用されている。この第２世代ウェーブレット係数への適用については、A. KhodakovskyとP. SchroderとW. Sweldens著の「Progressive Geometry Compression」（SIGGRAPH 2000 proceedings）と、F. Moran及びN. Garcia著の「Hierarchical Coding of 3D Models with Subdivision Surfaces」（IEEE ICIP 2000 Proceedings）に記述されている。

引用された最後の２つの参考文献では、その符号化技術は、伝送されるウェーブレット係数間の階層を任意に採用して、遠隔にある表示端末または記憶端末へのそれらの伝送順序を決定することができるようにしていることを拠り所としている。この順序は、受信端末に知られるものであり、伝送されたオブジェクト全体を再現することをできる。

この従来技術の欠点は、ウェーブレット係数の表示端末への伝送を担うサーバがそのサーバが送りたいと思う係数を選ぶことができず、従って、クライアント端末に全ての係数を系統的に（systematically）伝送するという点である。

さて、基本メッシュの一部分に関連する細分化だけを受け取る必要があることが頻繁に起こる。例えば、クライアントが博物館を仮想的に訪問しているときに、そのクライアントは、最初に彫刻の全体像を見て、次に彫刻面の或る細部だけを見たいと思うことがある。そのとき、クライアントが必要としているものは、彫刻面のこの細部に関する基本メッシュの細分化に対応するウェーブレット係数のみである。

従来技術を用いると、サーバが不要な係数を選び出してクライアントが見たいと思うゾーンに対応する符号化部分だけを送ることは不可能である。

従って、これらの従来技術の１つの欠点は、或るオブジェクトのクラアントが見たいと思わない不要な部分の符号化に対応するウェーブレット係数を含む全てのウェーブレット係数を受け取ることにある。

そのため、ウェーブレット係数の伝送に使用される通信ネットワークには不必要に負荷がかかり、その結果、有用な係数の伝送のビットレートが低下する。

さらに、表示端末の処理能力が低い場合には、全てのウェーブレット係数を使用したオブジェクトの表現の再現は冗長な処理になり、このことはクラアントにとっては到底受け容れられない。

これらの従来技術の別の欠点は、もしオブジェクトにおけるそのクライアントにとって有用な部分だけを表示するために適応型復号化をクライアントが実行したいと考える場合には、そのクライアント自身により伝送されたウェーブレット係数を選り分けなければならないという点である。そのため、クライアントはサーバによって伝送されたまたはデータ媒体から来るデータストリーム全体を復号化して、メッシュのそれらのウェーブレット係数が関連する部分に応じて復号化されたウェーブレット係数の関与度（relevance）を判定しなけらばならない。

結果的に、これらの従来技術の１つの欠点は、適応型復号化を実行するために、クライアントは、全データストリームを復号化し、関連のある係数を選び、選ばれた係数からオブジェクトを再現するという作業を実行するのに十分な処理能力を備えた表示端末を用意しなければならないという点である。

言い換えると、これらの従来技術の欠点は、処理能力が限られた表示端末を持つクライアントは、適応型復号化を実行することができないということである。

本発明の目標は、特に従来技術のこれらの欠点を克服することにある。

より具体的には、本発明の目標は、ウェーブレットによってオブジェクトを符号化するための技術であって、表示端末がそのオブジェクトを復号化することができるようにする技術を提供することにある。

本発明のもう１つの目標は、オブジェクトのウェーブレット符号化のための技術であって、サーバが或る決まったウェーブレット係数を選ぶことができ、選ばれた係数をそれらが関連する基本メッシュのゾーンに応じて伝送することができるようにする技術を提供することにある。特に、サーバがクライアントのリクエストに応じて或る決まったウェーブレット係数だけを伝送することができるようにすることが本発明の目標である。

本発明の更なる目標は、３Ｄオブジェクトまたは３Ｄシーンを表すメッシュを符号化するための技術であって、表示端末内にメッシュを適応再現することを可能にする技術を提供することにある。

本発明のもう１つの目標は、オブジェクトをウェーブレット符号化するための技術であって、処理能力の低い表示端末に適応可能な技術を提供することにある。

本発明の更にもう１つの目標は、当然のことながら、通信ネットワークを介して本発明による符号化方法に基づいて符号化されたオブジェクトを伝送して再現するための技術を提供することにある。特に、この種の伝送の際に通信ネットワークに不必要に負荷がかからないようにすることも本発明の目標である。

本発明の更なる目標は、ビットレートの低い通信ネットワークを介した伝送に適用されるオブジェクトのウェーブレット符号化のための技術を提供することにある。

これらの目標および以下に明らかとなる他の目標は、基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための方法であって、該オブジェクトを再現するために使用することができる全データストリームを供給する方法によって達せられる。

本発明によれば、前記ウェーブレット係数はそれぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、前記全データストリームにはポジショニングデータが挿入されて該全データストリームにおける前記オブジェクトの一部分に関係するウェーブレット係数を特定して前記部分集合の少なくとも１つのウェーブレット係数を用いて該一部分を選択的に再現することができるようにすることを特徴とする。

このように、本発明は、オブジェクトのウェーブレット符号化と全データストリーム内に符号化されたデータを形成することに対して、全く新規であり進歩性のあるアプローチに基づくものである。

実際には、本発明は、特に、ウェーブレット係数が関連するメッシュ状オブジェクトの一部分に応じて、それらのウェーブレット係数をその中で容易に特定することができる全データストリームを生成することを拠り所としている。このことは、特に本発明のコンテクストにおいては、前記データストリーム内にポジショニングデータを挿入してクラアント端末によって符号化されたオブジェクトを適応表示できるようにすることにより可能となる。

有利には、前記分離した部分集合はそれぞれ基本ファセットである。

そのため、前記データストリーム内においてそのストリームに存在するポジショングデータを用いて各々の基本ファセットに関連するウェーブレット係数を特定することは容易である。従って、メッシュ状オブジェクトの議論される部分の１個または数個のファセットに関連するウェーブレット係数からその部分を選択に再現することができる。

好ましくは、前記符号化においては、
少なくとも１つの重要でない部分を検出するステップと、
前記重要でない部分をそれぞれ特定処理するステップとを実行することを特徴とする。

実際、重要でない部分を考慮してウェーブレット係数を符号化（すなわち、これらの係数のバイナリ列への変換）することによって、伝送を目的とするこれらの係数のより良い圧縮率を実現することができる。

好ましくは、前記符号化において「zero-tree（ゼロツリー）」型技術が導入される。

実際、これまでのところ、「zero-tree」技術は最良の圧縮結果を与える唯一のものである。もちろん、前記データストリーム内のウェーブレット係数を符号化するための本発明の実施に適用される何か他の技術を使用することを考えることもできる。

本発明の第１の変形態様として、前記全データストリームは、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含む。

従って、ウェーブレット係数のリストは、それぞれがメッシュ状オブジェクトの一部分に対応するＮ個の部分集合へと分割されている場合には、全データストリームの前記ウェーブレット係数のゾーン（ウェーブレット係数ゾーン）は、前記ポジショニングデータによってそのストリーム内において特定可能なＮ個のサブゾーンを含む。

ここで、データストリームのヘッダ及び／または任意の他の部分に、ストリームのサブゾーンの特定を可能にする前記ポジショニングデータを含みうることに注意する。

有利には、前記ヘッダに含まれる前記ポジショニングデータは、前記データストリームにおける特定された要素の位置と或るサブゾーンの開始点との間の距離を明確にして該サブゾーンを特定する。

この種の特定された要素は、例えば、ヘッダの開始点もしくは終点、またはストリーム内におけるその位置が簡単に分かる何か他の要素でありうる。その距離は、ビット数によって表されることがある。

有利には、前記ヘッダは、
基本ファセットの数と、
ウェーブレットのタイプと、
前記オブジェクトについての情報と、
前記ポジショニングデータの符号化に関する情報と
を含むグループに属する或る一定の情報を最小限更に含む。

この情報は、ストリームからメッシュ状オブジェクトの一部分または全体を再現するために表示端末によって利用されうる。

本発明の第２の変形態様として、前記全データストリームは、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含む。

このため、ポジショニングデータは、全データストリームの至る所に分布し、先の場合のようにヘッダ内に一緒にグルーピングされない。

好ましくは、前記サブゾーンは、前記データストリーム内において基本ファセットの昇順に編成される。

このため、基本ファセットがそれぞれ個々の独立した符号化（例えば「zero-tree」型）を受ける場合には、サブゾーンは、それらが関連する基本ファセットの序数に応じて、例えば昇順になるように、ストリーム内に配置されるよう定められる。

また本発明は、第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と、第２に少なくとも１つの表示端末との間において、第１に基本ファセットの集合によって構成される基本メッシュと、第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの再現を可能にするデータストリームを伝送するための方法にも関係する。

本発明によれば、この種類の方法は、
視聴される前記オブジェクトの一部分を明確にするリクエストを受信するステップと、
前記リクエストに応じて、前記データストリーム内に存在するポジショニングデータを解析して該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにするステップと、
特定されたウェーブレット係数を抽出して縮小させたデータストリームを形成するステップと、
前記縮小させたデータストリームを伝送するステップとを含む。

このため、サーバは、クライアントからオブジェクトの一部分に関するリクエストを受信すると、前記データストリーム内において議論されているオブジェクトのその部分に関連する係数の１個または数個の部分集合を選ぶようにしてもよい。それによって、関係のある部分集合の係数から縮小させたストリームを構築して、それをクラアントの表示端末に送ることができる。

本発明は、基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表す信号にも関係する。本発明によれば、この信号は、少なくとも１つのウェーブレット係数ゾーンと、前記オブジェクトの一部分に関係するウェーブレット係数を特定することができるようにするポジショニングデータを含む少なくとも１つのポジショニングデータゾーンとを含むことを特徴とする。

本発明の第１の実施態様として、前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、この種の信号は、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含む。

本発明の第２の実施態様として、前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、この種の信号は各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含む。

本発明は、上述した方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するように設計されたデータ媒体にも関係する。

さらに、本発明は、第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と、第２に少なくとも１つの視聴端末との間において、第１に基本ファセットの集合によって構成された基本メッシュと、第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連したオブジェクトの再現を可能にするデータストリームを伝送するためのシステムにも関係する。

本発明によれば、このようなシステムは、
表示される前記オブジェクトの一部分を明確にするリクエストを受信する手段と、
前記データストリーム内に存在する前記ポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにする手段と、
特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成する手段と、
前記縮小させたデータストリームを伝送するための手段とを含む。

本発明は、基本ファセットの集合から構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表示するための端末であって、該オブジェクトの再現を可能にする全データストリームを受信する手段を含むものにも関係する。本発明によればこの端末は、サーバ及び／またはデータ媒体から受信される視聴されるべき前記オブジェクトの一部分に関連するウェーブレット係数を包含する縮小させたデータストリームから、該一部分を再現するために該サーバ及び／またはデータ媒体に向けて該一部分を明確にするリクエストを形成する手段を更に含む。

従って、この種の端末は、従来の表示端末とは非常に大きく異なる。実際、このような端末は、クライアントが視聴したいと思うメッシュ状オブジェクトの１個または数個の部分を特定し、これらの部分に関連しており当該オブジェクトのこれらの部分に対応する表現を再現する前もって復号化されるウェーブレット係数のみを使用するリクエストをサーバに送ることがある。従って、この種の端末は、もはや前記データストリームを全体的に復号化せずに、当該オブジェクトの一部分に関連するウェーブレット係数を選んでこの部分の表現を再構築することができるようにするという点において、従来の端末とは異なる。

また、本発明は、上述した符号化方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するための手段と、上述した伝送方法を実行する伝送手段とを含むサーバにも関係する。

最後に、本発明は、基本ファセットの集合によって構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための装置にも関係する。本発明によれば、この装置は、前記オブジェクトの再現を可能にする全データストリームを生成し、前記ウェーブレット係数を少なくとも２つの分離した部分集合へと分割し、各前記部分集合に個々の独立した符号化を適用し、前記全データストリーム内にこの全データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数を特定することができるようにするポジショニングデータを挿入する手段を含み、前記部分集合の少なくとも１つの部分集合に属するウェーブレット係数を用いて前記一部分を選択的に再現することができるようにすることを特徴とする。

本発明の一般原理は、少なくとも２次元のメッシュ状オブジェクトをウェーブレット符号化する際に生成されるデータストリーム内にポジショニングデータを挿入して、ウェーブレット係数をそれらが関連するゾーンに応じて選択し伝送することができるようにすることに基づく。

図１に、本発明の符号化方法の実施の一態様を示す。

ここでは、「ウェーブレット」法として知られる方法に基づいて少なくとも２次元のオブジェクトを符号化する場合を議論する。この方法によれば、オブジェクトは、それに関連する基本メッシュと、そのオブジェクトの表現を再現するためにその基本メッシュに対して行われる細分化に対応する複数のウェーブレット係数とを有することが思い起こされるであろう。つまり、基本メッシュの各節点（ノード）には、ウェーブレット係数が付随する。

基本メッシュを構成するステップとそれに関連するウェーブレット係数を決定するステップは、符号化されるオブジェクトに関連するウェーブレット係数のリストを有する符号器によりすでに実施されているものと仮定する。ウェーブレット係数は、或る係数がどのウェーブレットに関連するかをそれにより知ることができる空間及び周波数のポジショニングに関する１つの情報Ｉが伴う実数の三重項（ｘ，ｙ，ｚ）である。この情報Ｉは、例
えば、四重項（Ｆ０，ａ，ｂ，ｃ）の場合がある。ここで、Ｆ０は基本メッシュのファセットを表し、（ａ，ｂ，ｃ）はその面の重心座標である。

段階２０において、符号器は、符号化されるメッシュ状オブジェクトに関連する全てのウェーブレット係数を部分集合Ｍ₁，Ｍ₂，．．．，Ｍ_Nへと分割する。これらの部分集合は好ましくは分離される。それらは、例えば視覚基準に応じて構成されうる。各々の部分集合は、符号化されるメッシュ状オブジェクトの一部分の表現を再現することができるようにするウェーブレット係数を有する。

例えば、符号化されるメッシュ状オブジェクトが３次元における人物または類似するキャラクタの場合には、ウェーブレット係数のリストを対象の顔、各々の手足、胸部にそれぞれ対応する５つの部分集合へと分割することを考えることができる。

ステップ２１において、符号器は、場合に応じて部分集合の異なる頂点間の親子関係を決める場合に任意の階層を各部分集合Ｍ_iに定める。もちろん、同じ１つの部分集合の２つの頂点の間に親子関係は必要ではなく、兄弟姉妹（sibling、または同胞）の関係にある頂点であってよい。

そして、符号器は、各々の部分集合Ｍ_i（ｉは１〜Ｎ）のウェーブレット係数を独立に符号化する（ステップ２２）。このような符号化は、例えば「zero-tree」型符号化であって、ウェーブレット係数の表現の圧縮、つまり各々の部分集合Ｍ_iの関連するメッシュ節点の表現の圧縮を可能にする。

ステップ２３において、符号器は、全データストリームを生成するが、そのストリームは、第１に各々の部分集合Ｍ_iの符号化（例えば、「zero-tree」型）の結果と、第２にそのストリームにおける各々の部分集合Ｍ_iのポジショニングデータとを含む。

このようなストリームの構造によって、クライアントからのリクエストに応じて、１つ以上の部分集合Ｍ_iを表示端末へ送信する場合に大きな融通性（flexibility）が得られる。

次に、図２を参照して説明する。この図は、図１に基づいて生成されるデータストリーム１の一態様である。

簡単のために、以下、本明細書では、各々の部分集合Ｍ_iがオブジェクトの１つの基本ファセットに付随するウェーブレット係数から構成される場合に説明を限定する。もちろん、当業者であれば、部分集合Ｍ_iが複数の基本ファセット、または基本メッシュの複数の節点に付随するウェーブレット係数から構成される場合にこれからの説明を一般化することは容易であろう。

ここで、本明細書の残りの部分において、基本メッシュのファセットは昇順に配列されると仮定する。例えば、出発点となるファセットが任意に選ばれ、全ての基本ファセットを通過する順序（例えば、三角形方向または逆三角形方向）は、その出発点のファセットを最初の第１ファセットと考え、そこから走査する順序を順番にたどって基本メッシュの最後のファセットがＭ番目の基本ファセットとなるように選ばれる。

本発明によれば、データストリーム１はオブジェクト、例えば３Ｄオブジェクトのウェーブレット符号化の際に符号器によって生成される。本発明の実施の特別な一態様によれば、このデータストリーム１はヘッダ１０とウェーブレット係数のゾーン１１とから成る。

ウェーブレット係数のゾーン１１は、好ましくは、それぞれがオブジェクトの基本メッシュのそれぞれのファセットに関連するウェーブレット係数をグルーピングする複数のサブゾーン（図１には図示せず）へと分割される。ここで、既に思い起こされたように、ウェーブレット係数は、或る係数がどのウェーブレットに関連するかをそれにより知ることが可能な空間及び周波数についてのポジショニングに関する一塊の情報Ｉが伴う実数の三
重項（ｘ，ｙ，ｚ）である。この情報Ｉは、例えば四重項（Ｆ０，ａ，ｂ，ｃ）の場合が
ありうる。ここで、Ｆ０は基本メッシュのファセットを表し、（ａ，ｂ，ｃ）はその面の重心座標である。

本発明の好ましい態様によれば、各サブゾーンは、基本ファセットに関連するウェーブレット係数の「zero-tree（ゼロツリー）」符号化したもの（the ”zero-tree”encoding）を含む。つまり、ウェーブレット係数の分割は、それらが関連する基本ファセットＦ０に沿って行われ、存在する分割の数と同数の「zero-tree」符号化の作業が行われる。（図１を参照して説明された本発明の別の実施態様では、係数は複数の部分集合Ｍ_iへと分割され、そこで同一の部分集合はいくつかの基本ファセットＦ０を一緒にグルーピングすることができ、各々の部分集合Ｍ_i毎に個々の独立した「zerp-tree」符号化が行われることが思い起こされるかもしれない。そのとき、各部分集合は、部分集合Ｍ_iに関連するウェーブレット係数の「zero-tree」符号化したものを含む。）もちろん、ウェーブレット係数の満足ゆく圧縮および伝送を実現する他の符号化技術を使用することもできる。使用される符号化技術は、好ましくは、議論されるオブジェクトの重要でない部分の特定符号化を可能にする技術である。

ヘッダ１０は、ウェーブレット係数のゾーン１１内にある各々のサブゾーンを特定するために使用されるポジショニングデータを含む。そのヘッダは、実行される符号化のタイプに関する情報、例えば、使用されるウェーブレット関数のタイプ、ウェーブレット係数の数、（基本ファセットの数などの）基本メッシュの特性、または基本メッシュの細分化の最大レベルに関する情報を更に含む。

図３に示された本発明の特別な例示的態様では、ウェーブレット係数のゾーン１１は、複数のサブゾーン１１１〜１１３へと分割される。ここで、サブゾーン１１１は基本メッシュの一番目のファセットに関連する「サブゾーン１」であり、サブゾーン１１２は二番目の基本ファセットに関連する「サブゾーン２」であり、サブゾーン１１３はＭ番目の基本ファセットに関連する「サブゾーンＭ」である。もちろん、図示の便宜上、全てのサブゾーンが示されていないことに注意されたい。

ヘッダ１０は、プレアンブル（preamble）１０１と、複数のポジショニングデータ１０２〜１０４とを含む。プレアンブル１０１は、例えば、既に言及した使用されるメッシュのタイプとウェーブレットのタイプとに関するデータを含む。

「シフト１」と称されるゾーン１０２は、一番目の基本ファセットのバイナリストリーム１内における位置に関する情報を提供する。すなわち、それは、例えばプレアンブル１０１の終点と符号１１１の「サブゾーン１」の開始点との間の距離に関する情報を提供する。

本発明の或る特別な実施態様では、このような距離はビット数で表される。本発明の別の実施態様では、もちろんポジショニングデータのゾーン１０２は、符号１１１の「サブゾーン１」の開始点とデータストリーム１の何か他の基準要素との間の距離に関する情報を提供してビットストリーム１における「サブゾーン１」１１１のウェーブレット係数のポジショニングを可能にすることもできる。

図３において、「シフト２」ゾーン１０３（および「シフトＭ」ゾーン１０４のそれぞれ）は「サブゾーン２」１１２（および「サブゾーンＭ」１１３のそれぞれ）の開始点とプレアンブル１０１の終点との間のビット数に関する情報を提供する。

このようにして、サーバはクライアント端末からのリクエストに応じてこのクライアント端末にＭ番目の基本ファセットに関連するウェーブレット係数を送りたいと思うときには、そのサーバはヘッダ１０の「シフトＭ」のポジショニングデータ１０４を調べる。「シフトＭ」ゾーン１０４は、プレアンブル１０１の終点と「サブゾーンＭ」１１３の開始点との間のビット数をサーバに知らせて、それにより、サーバは、「サブゾーンＭ」１１３の開始点に直接位置を合わせてこれらのウェーブレット係数だけを抽出して、リクエストを送ってきたクライアント端末にそれらを送信することができる。

図４のデータストリーム１は、ヘッダ１０とウェーブレット係数のゾーン１１と含み、このウェーブレット係数のゾーンは、第１にウェーブレット係数のサブゾーン１１１〜１１３と、第２にポジショニングデータのゾーン１２０〜１２３とを交互に含む。このような代替的な実施態様では、ポジショニングデータ１２０〜１２３は、データストリーム１内に分散し、上述した例にみられるように、ヘッダ１０にまとめられてはいない。

ポジショニングデータ１２０〜１２３は、例えば、ウェーブレット係数のサブゾーンの開始点及び／または終点を示すマーカ（markers）である。つまり、「マーク１」のゾーン１２０は、基本メッシュの一番目のファセットに関連するウェーブレット係数から構成される「サブゾーン１」１１１の開始点を示す。同様に、「マーク２」のゾーン１２１は「サブゾーン２」１１２の開始点を示し、「マークＭ」のゾーン１２３は「サブゾーンＭ」１１３の開始点を示す。

本発明の或る１つの特別な実施態様では、「マーク１」のゾーン１２０、「マーク２」のゾーン１２１、同様に「マークＭ」のゾーン１２３までのゾーンに含まれる情報は同一である。言い換えると、同一の複数のマーカがデータストリーム１のウェーブレット係数のゾーン１１に挿入され、それぞれが基本メッシュのそれぞれのファセットに関連する異なるサブゾーンが分離されるようにする。このようにして、サーバが「サブゾーンＭ」１１３に関連するウェーブレット係数を表示端末に送りたいときには、そのサーバはストリーム１全体を走査して遭遇したマーカの数を計数してどれがＭ番目のマーカ１２３かを決め、Ｍ番目の基本ファセットに関連するウェーブレット係数の「zero-tree」符号化したものを含む「サブゾーンＭ」１１３の開始点も決める。このようにして、クラアント端末は、「サブゾーンＭ」１１３のウェーブレット係数だけを受け取って、それが必要とするウェーブレット係数にアクセスするのにストリーム１全体を復号化する必要はない。

本発明の別の実施態様として、マーカ１２０〜１２３は、ウェーブレット係数のゾーン１１の或る与えられたサブゾーンに特有なものである。具体的には、マーカ「マーク１」１２０は「サブゾーン１」１１１の開始点を示し、マーカ「マーク２」１２１は「サブゾーン２」１１２の開始点を示し、以下同様である。（もちろん、例えば、マーカ１２０〜１２３が関連するサブゾーン１１１〜１１３の終点を示す状況も考えることもできる。）

このようにして、クライアントのリクエストに応じて「サブゾーンＭ」１１３の係数を送信したいサーバは、「マークＭ」１２３を発見するまでデータストリーム１を走査して、そこから「サブゾーンＭ」１１３の開始点の位置を導き出す。

図３および図４には示されていないが、サーバがクライアントからのリクエストに応じて必要なウェーブレット係数のみを抽出して選択的に送信することができるようにすることを目的として、サーバが１つの基本ファセットに関連するウェーブレット係数のサブゾーンの位置、または、より一般的には複数の節点もしくは複数の基本ファセットを一緒にグルーピングした部分集合Ｍ_iに関連するウェーブレット係数のサブゾーンの位置を決定することができるようにするポジショニングデータが挿入されているデータストリーム１を構成することができる本発明の何か他の実施態様も同様に考えることができる。

例えば、図３および図４に示された本発明の代替的な実施態様を組み合わせた実施態様で、サブゾーン１１１〜１１３が３個または４個のサブゾーンの集合（set）に一緒にグルーピングされたものを考えることができる。ヘッダ１０に挿入されるポジショニングデータは、基準要素（例えば、プレアンブル１０１の終点）とサブゾーンの集合の開始点との間の距離に関する情報を提供する。全体のユニットにおける各々のサブゾーンの開始点及び／または終点を示すために、マーカがこの種の集合に挿入される。

このようにして、ヘッダ１０内に置かれたポジショニングデータを通じて、サーバは、サブゾーンの集合の開始点に直接位置を合わせ、マーカに着目してその集合を走査して、クライアントのリクエストに応じて送信しなければならないその集合にある１つ以上のサブゾーンの位置を決定する。

以下、ここでは図５を参照して、クライアントからのリクエストに応じて、サーバによって、または、データ媒体に接続されており基本メッシュの或るゾーンに関連するウェーブレットの送信を担当する端末によって実行される異なるステップを示す。便宜上、以下、ここでの説明は、表示端末からのリクエストに応じて、サーバによって実行される処理作業に限定する。当業者であれば、オブジェクトデータが直接的または間接的に表示端末に接続されたデータ媒体から来るときに実行されるべき処理作業を容易に考えつくであろう。

クライアントが表示端末上で見ているシーンの或る細部を、そのクライアントが見たいと思っている状況を想定する。このとき、端末は、基本メッシュで行われる細分化を決めるウェーブレット係数を取得して満足ゆく再現を実現したいと思っている（シーンの）一部分を指示するリクエストをサーバに向けて送信する。

まず、ステップ４０では、サーバは、クライアント端末から上記リクエストを受信して、そのリクエストに関係のある基本メッシュのファセットを決定する。ステップ４１では、サーバは、シーンを符号化するための符号器の出力側において生成されたデータストリームを走査して、このストリーム内に存在するポジショニングデータを解析する。例えば、ストリームのヘッダに含まれるポジショニングデータを参照する。

ステップ４２では、先に解析されたポジショニングデータに基づいて、議論されるシーンの一部分に関連するウェーブレット係数のサブゾーンの位置を決定する。視聴されるオブジェクトの一部分に関係しているウェーブレット係数を特定（ステップ４２）した後に、サーバは、全データストリームからこれらの係数を抽出してクライアント端末向けに縮小させたストリームを形成する（ステップ４３）。

ステップ４４では、サーバは、この縮小させたデータストリームをクライアント端末に送って、端末が全データストリームをまるごと復号化する必要無しにクライアントが見たいと思っているシーンの一部分を再現することができるようにする。

本発明において少なくとも２次元のメッシュ状オブジェクトを符号化する場合に実行される異なるステップを示すブロック図である。 本発明の第１の実施態様において、図１に提示された符号化の際に生成されるデータストリームの構造であってポジショニングデータを含むものを例示的に示した概略図である。 ポジショニングデータがデータストリーム内での距離を明示する場合における図２のデータストリームの構造の詳細図である。 本発明の第２の実施態様において、少なくとも２次元のメッシュ状オブジェクトを符号化する場合に生成されるデータストリームの構造であって、ポジショニングデータがそのストリーム内に分布したものを例示的に示す概略図である。 本発明の第１の実施態様において図２から図４のデータストリームの伝送サーバによって実行される異なるステップを示すブロック図である。

Claims (20)

1. 基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための方法であって、データ記録媒体の読み取りに適した、少なくとも１つのサーバまたはコンピュータが、該オブジェクトを再現するために使用することができる全データストリームを表示端末に供給するものであり、
   前記ウェーブレット係数は、個々の独立した符号化を受ける少なくとも２つの異なる部分集合へと分割されており、前記全データストリームには、ポジショニングデータが挿入され、該データストリームにおける前記オブジェクトの一部分に関係するウェーブレット係数を前記表示端末が該ポジショニングデータを参照して特定することにより、前記部分集合の少なくとも１つのウェーブレット係数を用いて該一部分を選択的に再現することができるようにされることを特徴とする方法。
2. 前記分離した部分集合が、それぞれ基本ファセットであることを特徴とする請求項１に記載の方法。
3. 少なくとも１つの前記オブジェクトのうちクライアントが見たいと思わない部分を前記表示端末が検出するステップと、
   前記表示端末が、前記部分をそれぞれ特定の符号化技術により処理するステップと
   を前記符号化において実行することを特徴とする請求項１または２に記載の方法。
4. 「ゼロツリー（zero-tree）」型技術を前記符号化において導入することを特徴とする請求項１から３のいずれかに記載の方法。
5. 前記全データストリームは、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含むことを特徴とする請求項１から４のいずれかに記載の方法。
6. 前記ヘッダに含まれる前記ポジショニングデータは、前記データストリームにおける特定された要素の位置と或るサブゾーンの開始点との間の距離を明確にして該サブゾーンを特定することを特徴とする請求項５に記載の方法。
7. 前記ヘッダは、
   基本ファセットの数と、
   ウェーブレットのタイプと、
   前記オブジェクトについての情報と、
   前記ポジショニングデータの符号化に関する情報と
   を含むグループに属する或る一定の情報を最小限更に含むことを特徴とする請求項５または６に記載の方法。
8. 前記全データストリームは、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含むことを特徴とする請求項１から４のいずれかに記載の方法。
9. 前記サブゾーンは、前記データストリーム内において基本ファセットの昇順に編成されることを特徴とする請求項５から８のいずれかに記載の方法。
10. 第１にデータ記録媒体の読み取りに適した少なくとも１つのサーバ及び／または少なくとも１つのコンピュータと第２に少なくとも１つの表示端末との間において、第１に基本ファセットの集合によって構成される基本メッシュと第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの再現を可能にするデータストリームを伝送するための方法であって、
    前記サーバまたはコンピュータが、視聴される前記オブジェクトの一部分を明確にするリクエストを前記表示端末から受信するステップと、
    前記リクエストに応じて、前記サーバまたはコンピュータが、前記データストリーム内に存在するポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を前記表示端末が該ポジショニングデータを参照して特定することができるようにするステップと、
    前記サーバまたはコンピュータが、特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成するステップと、
    前記サーバまたはコンピュータが、前記縮小させたデータストリームを前記表示端末に伝送するステップと
    を含んでなることを特徴とする、データストリームを伝送するための方法。
11. 基本ファセットの集合から成る基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトを表示装置上に表すデータ構造であって、
    少なくとも１つのウェーブレット係数ゾーンと、前記オブジェクトの一部分に関係するウェーブレット係数を特定することができるようにするポジショニングデータを含む少なくとも１つのポジショニングデータゾーンとを含んでなることを特徴とする、データ構造。
12. 前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、当該信号は、前記ポジショニングデータの少なくとも或る一定のものを含むヘッダと、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含むウェーブレット係数ゾーンとを含んでなることを特徴とする請求項１１に記載のデータ構造。
13. 前記ウェーブレット係数は、それぞれが個々の独立した符号化を受ける少なくとも２つの分離した部分集合へと分割されており、当該信号は、各前記分離した部分集合の前記ポジショニングデータによって特定されるサブゾーンを含む少なくとも１つのウェーブレット係数ゾーンを含み、前記ポジショニングデータは、各前記サブゾーンの開始点及び／または終点に少なくとも１つのマーカを含むことを特徴とする請求項１１に記載のデータ構造。
14. 全データストリームを記憶しており、基本ファセットの集合によって構成される基本メッシュと該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元の符号化されたオブジェクトの再現を可能にする、コンピュータに読み取り可能な記録媒体であって、
    前記ウェーブレット係数は、個々の独立した符号化を受ける少なくとも２つの異なる部分集合へと分割されており、前記全データストリームには、ポジショニングデータが挿入され、該データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数を前記表示端末が該ポジショニングデータを参照して特定することにより、前記部分集合の少なくとも１つのウェーブレット係数を用いて前記一部分を選択的に再現することができるようにされることを特徴とする、コンピュータに読み取り可能な記録媒体。
15. 請求項１から９のいずれかに記載された方法に基づいて符号化された少なくとも２次元のオブジェクトの再現を可能にすることを特徴とする請求項１４に記載のコンピュータに読み取り可能な記録媒体。
16. 第１に少なくとも１つのサーバ及び／または少なくとも１つのデータ媒体と第２に少なくとも１つの視聴端末との間において、第１に基本ファセットの集合によって構成された基本メッシュと第２に該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連したオブジェクトの再現を可能にするデータストリームを伝送するためのシステムであって、
    表示される前記オブジェクトの一部分を明確にするリクエストを受信する手段と、
    前記データストリーム内に存在する前記ポジショニングデータを解析して、該データストリーム内における前記一部分に関連するウェーブレット係数を特定することができるようにする手段と、
    特定されたウェーブレット係数を抽出して、縮小させたデータストリームを形成する手段と、
    前記縮小させたデータストリームを伝送する手段と
    を含んでなることを特徴とする、データストリームを伝送するためのシステム。
17. 基本ファセットの集合から構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連するオブジェクトの表示端末であって、該オブジェクトの再現を可能にする全データストリームを受信するための手段を含み、
    サーバ及び／またはデータ媒体から受信される視聴されるべき前記オブジェクトの一部分に関連するウェーブレット係数を包含する縮小させたデータストリームから該一部分を再現するために該サーバ及び／またはデータ媒体に向けて該一部分を明確にするリクエストを形成するための手段を更に含むことを特徴とする表示端末。
18. 請求項１から９のいずれかに記載された方法に基づいて符号化された少なくとも１つのオブジェクトを記憶するための手段と、請求項１０に記載された方法を実行する伝送手段とを含むサーバ。
19. 基本ファセットの集合によって構成される基本メッシュと、該基本メッシュの局所変更に対応するウェーブレット基底におけるウェーブレット係数とに関連する少なくとも２次元のオブジェクトを符号化するための装置であって、該オブジェクトの再現を可能にする全データストリームを生成するものであり、
    前記ウェーブレット係数を少なくとも２つの分離した部分集合へと分割し、
    該部分集合のそれぞれに個々の独立した符号化を適用し、
    前記全データストリーム内にこの全データストリームにおいて前記オブジェクトの一部分に関連するウェーブレット係数を特定することができるようにするポジショニングデータを挿入するための手段を含み、前記部分集合の少なくとも１つの部分集合に属するウェーブレット係数を用いて前記一部分を選択的に再現することができるようにしたことを特徴とする装置。
20. 通信ネットワークおよび／またはコンピュータ読み取り可能な記録媒体からダウンロードすることができ、プロセッサによって実行可能なコンピュータプログラムであって、請求項１から９のいずれかに記載のオブジェクトを符号化するための方法を実行する命令を含むコンピュータプログラム。

Images