JP5683350B2 - 圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供する方法およびシステム - Google Patents

Description

本発明は、包括的には、ビデオを圧縮形式で送信できるようにするビデオ信号の処理に関し、特に、これに限られるわけではないが、スケーラブルな形式でビデオを効率的に送信できるようするビデオ信号の処理に関する。

現在、インターネットのようなコンピュータネットワーク上で利用可能なほとんどのビデオコンテンツは、通常のモデム接続を介して何十分もの時間を要し得るプロセスで予めロードされなければならない。それにもかかわらず、ロードプロセス後のビデオの品質および継続時間は、まったく期待はずれであることがある。中には、ビデオのストリーミングか可能な状況もあり、この状況では、ビデオは、受信されながら、実時間で伸張およびレンダリングされる。しかしながら、これは、当該ネットワーク接続の能力よりも低い圧縮ビットレートに限定される。これらの問題に対処する最も明らか方法は、個々のクライアントが、自身のニーズおよび忍耐に最も適したビットレートおよびそれに付随する品質でその素材をブラウジングすることを選択できるように、ビデオコンテンツをさまざまな異なるビットレートで圧縮し、記憶することであろう。しかしながら、この種のアプローチは、ビデオのブラウジングの問題に対する効果的な解決法を意味しない。これを理解するために、ビデオが、Ｒ、２Ｒ、３Ｒ、４Ｒおよび５Ｒのビットレートで圧縮されていると仮定する。この場合、ビデオサーバには、これら個別に圧縮されたすべてのビットストリーム用の記憶容量を確保しなければならない。これは、明らかに無駄である。より重要なことは、ビデオの低ビットレートバージョンと関連した品質が、不十分であると判明すると、新しいバージョン一式を、より高いビットレートでダウンロードしなければならないことである。この新しいビットストリームは、ダウンロードするのにより長い時間を必要としなければならず、これは、一般に、ビデオストリーミングのあらゆる可能性を排除する。

遠隔でビデオをブラウジングする問題に対する現実的な解決を可能にするために、スケーラブル圧縮技術が必要とされる。スケーラブル圧縮とは、組み込みサブセット（embedded subset）を含むビットストリームの生成をいい、組み込みサブセットのそれぞれは、オリジナルのビデオの効率的な圧縮を連続的により高い品質で表現する。上記簡単な例に戻って、スケーラブル圧縮されたビデオのビットストリームは、Ｒ、２Ｒ、３Ｒ、４Ｒおよび５Ｒのビットレートを有する組み込みサブセットを、同じビットレートを有する非スケーラブルのビットストリームに匹敵する品質で含むことができる。しかしながら、これらのサブセットは、すべてお互いの内部に組み込まれるので、ビデオサーバに必要とされる記憶容量は、利用可能な最も高いビットレートの記憶容量と同一である。より重要なことは、ビデオの低ビットレートバージョンと関連した品質が、不十分であると判明すると、次のより高いレベルの品質を達成するために必要とされる増加コントリビューションのみを、サーバから取り出さなければならないことである。ある特定のアプリケーションでは、レートＲのバージョンが、実時間でクライアントに直接ストリーミングされることがある。もしその品質が不十分であるならば、次のレートＲの増分をクライアントにストリーミングして、キャッシュされた前のビットストリームに付加することができ、実時間でより高い品質のレンディションを再生することができる。このプロセスは、徐々に改善されるビデオコンテンツを、サーバから受信しながら実時間で表示する能力を犠牲にすることなく、永久に続けることができる。

しかしながら、主要な問題は、高効率のスケーラブルビデオ圧縮アルゴリズムが、実用面にも、学術的な文献にも存在していないということである。効率的なスケーラブル画像圧縮アルゴリズムは、以前から存在する。その中で最もよく知られている例は、いわゆる組み込み型ゼロツリーアルゴリズム（embedded zero-tree algorithm）である。このアルゴリズムは、J. Shapiro著「An embedded hierarchical image coder using zerotrees of wavelet coefficients」 Data Compression Conference (Snowbird, Utah), pp. 214-223, 1993で最初に提案され、後に、A. SaidおよびW. Pearlman著「A new, fast and efficient image codec based on set partitioning in hierarchical trees」IEEE Trans. Circuits and Systems for Video Technology, vol. 6, pp. 243-250, June 1996で拡張されている。実際には、スケーラブルビデオ圧縮用に進歩したアルゴリズムの多くは、本質的には、ビデオシーケンスの連続フレームに独立に適用されるスケーラブル画像圧縮方式である。これについては、S. McCanne、M. VetterliおよびV. Jacobson著「Low-complexity video coding for receiver-driven Layered Multicast」IEEE Journal on Selected Areas in Communications, vol. 15, August 97, PP. 983-1001を参照されたい。しかしながら、非スケーラブル技術の効率に対抗するには、フレーム間冗長を、場面およびカメラの動きに反応するように利用することが不可欠である。

動き補償予測（ＭＣＰ：Motion Compensated Prediction）は、ビデオ圧縮にフレーム間冗長を利用する、圧倒的に最も知られているアプローチである。図１は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４およびＨ．２６３といった主要な規格がすべて準拠するＭＣＰ圧縮の顕著な特徴を示している。ビデオシーケンスの各フレームを別々に圧縮するのではなく、画像圧縮アルゴリズムに共通の空間変換エレメント、量子化エレメントおよびエントロピーコーディングエレメントは、伸張装置によって再構成されるように、現在のフレームと、前のフレームのピクセルに動き補償アルゴリズムを適用することによって形成されるフレームの予測との差分に適用される。

図１は、動き補償予測（ＭＣＰ）フィードバックループを用いてビデオを圧縮する従来技術の装置の概略ブロック図である。図に示されるブロックは、適切なハードウェアおよび／またはソフトウェアによって実施されることが理解されるであろう。

ブロック１は、フレーム遅延素子および動き補償器である。これは、前のフレームの復号されたバージョンを記憶し、動き情報（通常、圧縮データストリームと共に明示的に送信される）を用いて、現在のフレームの予測を形成する。減算器２は、ブロック１によって生成された動き補償予測フレームを、現在のビデオフレームから減算する。空間変換ブロック３は、ブロック２によって生成された予測残部フレームを、符号化用の個々のコンポーネントに分解する。個々のコンポーネントは、通常、異なる空間周波数に対応し、予測残部フレームのオリジナルサンプルよりもお互いの相関関係は少ない。量子化ブロック４は、容易に符号化されるラベル（通常、整数）によって特定される多くの代表値によって、変換係数のそれぞれを近似する。このステップは、符号化に先立って行われる。

ブロック５は、エントロピー符号器である。エントロピー符号器は、ブロック４によって生成された量子化ラベルを効率的に表現し、かつネットワークを介して送信することができるビットストリームを生成する。

逆量子化ブロック６は、ブロック４によって生成されたラベルを用いて、ブロック４によって量子化された変換係数のそれぞれの代表値を再構成する。

逆変換ブロック７は、空間変換オペレータの逆の処理を行う。

ブロック８は、ブロック７から再生された、復号された予測残部を予測フレーム自身に加算し、これにより、伸張装置で利用可能になるフレームと同一の復号されたビデオフレームの複製を再生する。

ＭＣＰは、予測フィードバックに基づいている。それは、前のフレーム用に伸張装置によって再構成されるピクセル値の知識を必要とする。スケーラブルの設定では、伸張装置によって再構成されるピクセル値は、実際に受信され、伸張される組み込みビットストリームの特定のサブセットに依存するので、この知識は利用できない。この問題は、高効率のスケーラブルビデオ圧縮装置の開発を妨げる主な原因となっていた。ＭＰＥＧ−２は、ある程度の小さなスケーラビリティを可能にするが、この能力の有用な範囲は、２つまたは３つの異なる品質のサブセットに限定され、その場合にも、効率が大幅に失われる。ＭＰＥＧ−４は、高度にスケーラブルであることを主張するが、この主張は、いわゆる「オブジェクトスケーラビリティ」に関して解釈されるものであり、「オブジェクトスケーラビリティ」は、場面の「オブジェクト」の個数に制限され、適切なセグメンテーションアルゴリズムに依存し、かつ遠隔クライアントに利用可能な帯域幅の関数として、ビデオ品質をスムーズに向上させることができない。他の点で、ＭＰＥＧ−４は、ＭＣＰの基本的な不適切さによって制約され、フレーム間冗長を利用することは、このＭＣＰに基づいている。

提案されている２つの著名なスケーラブルビデオ圧縮アルゴリズムは、J. Ohm著「Three dimensional sub-band coding with motion compensation」IEEE Trans. Image Processing, vol. 3, pp. 559-571, September 1994、ならびにD. TaubmanおよびA. Zakhor著「Multi-rate 3-D sub-band coding of video」IEEE Trans. Image Processing, vol. 3, pp. 572-588, September 1994のアルゴリズムである。いずれにしても、アイデアは、３−Ｄ変換を適用する前に空間的特徴のアラインメントを改善するために、まずビデオフレームまたはその一部を時間的にシフトした後、何らの予測フィードバックなしに、３次元の分離可能な副帯域変換を用いることである。これらの方式は、単純な全体変換にはうまく機能するが、それらの性能は、場面の動きがより複雑の場合に、かなり悪化する。

本発明の目的は、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供することである。

第１の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する方法であって、
ビデオシーケンスを入力信号に構成する（forming）ステップと、
動きの冗長を利用する形式で、入力信号を一組の時間周波数帯域に分解するステップと、
分解された入力信号にスケーラブル符号化方法を適用して、スケーラブル圧縮ビデオ信号を生成するステップとを含み、
前記入力信号を一組の時間周波数帯域に分解するステップは、
前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離するステップと、
一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シーケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、および、その逆も同様に行うことを交互に行うステップと、
を含む方法を提供する。

本発明の重要な特徴の１つは、動きの冗長性が、時間周波数帯域への分解によって直接利用されることである。これにより、予測フィードバックの必要性が回避される。したがって、分解された入力信号を、スケーラブルな形式で符号化することができる。

入力信号を分解するステップは、時間周波数帯域を空間周波数帯域に分解して、空間−時間周波数帯域を提供するステップをさらに備えることが好ましい。後述するように、さまざまな低減されたサイズ（空間解像度）のビデオへの効率的なアクセスを可能にするように、時間および空間の分解のステップを並べ替えることが望ましい場合がある。

動き補償は、入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離し、かつ一連の「動き補償リフティング」演算を適用して、偶数フレームの部分シーケンスに基づいて奇数フレームの部分シーケンスを更新すること、およびその逆も同様に行うことを交互に行うことにより組み込まれることが好ましい。低い時間周波数帯域は、リフティング演算を再帰的に適用することにより、予め定められた数の分解レベルに向けてさらに分解されることが好ましい。

時間帯域を空間周波数帯域にさらに分解した後、その結果としての空間−時間周波数帯域には、スケーラブル符号化方法が施され、スケーラブル圧縮ビデオ信号が生成される。それぞれの空間−時間周波数帯域に属するサンプルは、ブロックに分割され、各ブロックが、他のブロックから独立して符号化されるようになっていることが好ましい。ブロックは、ビデオ内の対象となる領域への効率的なアクセスを提供するような形式で選択されるブロックの空間および時間の次元を有する。

ブロックは、組み込み形式で符号化され、ディジタルビットストリームの組み込みサブセットに増加コントリビューションを提供することが好ましい。このようにして、所望の利用可能な（増減された）解像度および品質で、組み込みサブセットは、計算機システムによって選択的に復号されることが可能となり、ユーザは、ビデオの所望の部分を見ることが可能となる。

したがって、好ましい実施形態では、スケーラブルビットストリームは、異なる時間帯、異なる解像度（時間および空間の双方）ならびに異なる品質レベルに対応する別個のサブセットを含み、クライアントは、最も興味のある特定の時間セグメントと関連した品質を洗練することをインタラクティブに選択することができる。さらに、スケーラブルビットストリームは、異なる空間領域に対応する別個のサブセットを含むこともでき、クライアントは、クライアントの興味のあるレベルによって、特定の時間帯にわたる特定の空間領域と関連した品質を洗練することをインタラクティブに選択することができる。例えば、練習用ビデオでは、ネットワークの遠隔クライアントは、ビデオの所定のセグメントにインタラクティブに「立ち戻る」ことができ、これらセグメントのより高品質の情報を、何らの遅延も受けることなく、ネットワークサーバからストリーミングを続けることができる。

本発明による高度なスケーラブル圧縮ビデオ信号の提供によって、例えばインターネットのようなネットワーク上のコンピュータによるビデオ信号のインタラクティブなブラウジングを容易にすることができる。

本発明の第２の態様によると、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供する方法であって、
ビデオシーケンスを表すスケーラブル圧縮信号を、ネットワークに接続されたサーバ計算機システムを介して、ネットワークに利用可能にするステップと、
ビデオシーケンスとして伸張して見るために、スケーラブル圧縮信号の一部を、ネットワークに接続されたクライアント計算機システムを介して選択するステップと、
クライアントによる選択を監視するステップと、
クライアントにとって対象となるスケーラブル圧縮信号のさらなる部分を、クライアントを介して選択するステップと
を備える方法が提供される。

クライアントは、これまでに見た信号部分を記憶することができるキャッシュを含むことが好ましい。クライアントが、ビデオの同じエリアと関連する信号のさらに別の部分（空間領域だけでなく時間領域も含み得る）を見たいならば、クライアントには、例えば、解像度または品質を増加させ、ビデオのより正確なレンディションを提供するのに十分なさらに別の部分の信号のみが必要とされる。クライアントは、全ての信号を再送信される必要はない。サーバは、クライアントが信号のどの部分を既に受信しているかを知り、増減された信号のさらにどの部分が必要とされるかを判断できるように、クライアントのキャッシュの状態を監視するキャッシュ監視手段も含むことが好ましい。

本発明の第３の態様によると、本発明の第２の態様に従った方法であって、スケーラブル圧縮信号は、本発明の第１の態様の方法によって圧縮される方法が提供される。

第４の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する方法であって、
ビデオシーケンスを、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離することにより、ビデオシーケンスを一組の時間周波数側の帯域に分解するステップと、
一連の動き補償リフティング演算を適用して、動きに反応する形式で、偶数フレームシーケンスに基づいて奇数フレームシーケンスを更新すること、およびその逆も同様に行うことを交互に行うステップと、
符号化方法を適用して、圧縮ビデオ信号を生成するステップと
を含む方法を提供する。

第５の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成するシステムであって、該システムは、
ビデオシーケンスを入力信号に構成する手段と、
動きの冗長を利用する形式で、入力信号を一組の時間周波数帯域に分解する手段と、
分解された入力信号にスケーラブル符号化方法を適用して、スケーラブル圧縮ビデオ信号を生成する手段とを備え、
前記入力信号を一組の時間周波数帯域に前記分解する手段は、前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でイン デックスされたフレームの部分シーケンスに分離し、かつ、一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シー ケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、およびその逆も同様に行うことを交互に行うように構成されるリフティング手段を含むシ ステムを提供する。

第６の態様によると、本発明は、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供するシステムであって、
ネットワークに接続されるように構成され、クライアント計算機システムに向けてネットワーク上に配信するためのビデオシーケンスを表すスケーラブル圧縮信号を提供する手段を含むサーバ計算機システムと、
スケーラブル圧縮信号の一部を選択する選択手段と、ビデオシーケンスとして見るためにスケーラブル信号を伸張する伸張装置とを含むクライアント計算機システムであって、選択手段は、該クライアントの対象となる領域に関連するスケーラブル信号のさらなる部分を選択するように構成される、クライアント計算機システムと
を備えるシステムを提供する。

第７の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する装置であって、
ビデオシーケンスを一組の時間帯域に分解する手段と、
入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離する手段と、
一連の動き補償リフティング演算を適用して、動きに反応する形式で、偶数フレームシーケンスに基づいて奇数フレームシーケンスを更新すること、およびその逆も同様に行うことを交互に行う手段と
を備える装置を提供する。

第８の態様によると、本発明は、本発明の第１の態様に従った方法ステップの逆である方法ステップを適用するステップを備える方法を含む、本発明の第１の態様に従った方法を提供する。

第９の態様によると、本発明は、本発明の第８の態様に従った方法を適用する手段を含む伸張システムを提供する。

第１０の態様によると、本発明は、計算機システムにロードされると、該計算機システムを制御して、本発明の第１の態様に従った方法を実施するように構成されたコンピュータプログラムを提供する。

第１１の態様によると、本発明は、本発明の第１０の態様に従ったコンピュータプログラムを提供するように構成されたコンピュータ読み取り可能媒体を提供する。

第１２の態様によると、本発明は、システムであって、クライアントは、スケーラブル信号の一部を記憶するように構成されたキャッシュを含み、サーバは、信号のどの部分がクライアントのキャッシュに記憶されているかを判断することを可能にするために、クライアントを監視するように構成されたキャッシュモニタを含み、それによって、サーバは、ビデオの対象となる領域に対するクライアントのリクエストがあると、対象となる領域を再生するために必要とされる信号のさらなる部分のみをクライアントに送信し得る、システムを提供する。

本発明の特徴および利点は、添付図面を参照して、単なる一例として説明される、以下の本発明の実施形態から明らかになるであろう。

本発明によれば、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングが提供される。

動き補償予測フィードバックループ（従来技術）を利用したビデオ信号の圧縮および符号化を示す概略ブロック図である。 本発明の実施形態によるビデオ圧縮システムの概略ブロック図である。 本発明の実施形態による、スケーラブル圧縮されたビデオのインタラクティブな遠隔ブラウジング用システムを示す概略ブロック図である。 空間解像度のスケーラブル圧縮を実施する本発明による圧縮システムのさらに別の実施形態の概略ブロック図である。

既に言及したように、効果的なスケーラブルビデオ圧縮技術の開発に対する最も基本的な障害は、高度なスケーラブルフレームワーク内でフレーム間冗長を利用することが困難なことである。ＭＣＰに代わって、過去に最も効を奏したアプローチは、時間領域におけるハールウェーブレット（Haar Wavelet）の使用に焦点を合わせ、隣接するフレームの平均および差分に対応する時間的な低域通過副帯域（low-pass sub-band）および高域通過副帯域（high-pass sub-band）を生成するものである。ウェーブレット変換は、低域通過チャネルに沿って繰り返され、再帰的な形式で、低域通過チャネルからさらに低域通過副帯域および高域通過副帯域を生成する。必要メモリを最小にするために、これは、最も低周波の時間副帯域が、８個の隣接するフレームの平均を表すように、通常、２回または３回の繰り返しに対してのみ続けられる。

動き補償を行うために、個々のフレームは、隣接するフレームの共通の空間的特徴を揃えるように、プリワープ（pre-warp）されることがある。これは、D. TaubmanおよびA. Zakhor著「Multi-rate 3-D sub-band coding of video」IEEE Trans Image Processing, vol. 3, pp. 572-588, September 1994の重要なアイデアであり、J. Ohm著「Three dimensional sub-band coding with motion compensation」IEEE Trans. Image Processing, vol. 3, pp. 559-571, September 1994のアプローチに関連する。しかしながら、効率的な圧縮を確実にし、かつオリジナルのビデオシーケンスが、次の符号化段階の間に導入される量子化誤差なしに再生できることを確実にするために、ワープは、可逆的でなければならないか、またはほぼ可逆的でなければならない。可逆性の要件は、空間的なワープ、および、したがって取り込むことができる場面の動きのタイプを、変換および回転角へのスキュー近似に制限する。カメラのズームと関連した部分的な拡大および縮小、ならびに、個々のフレームをワープすることを通じた場面のオブジェクトの動きを、可逆性の要件に反することなく取り込むことは不可能である。いくつかの提案された方式、例えば、J. Tham、S. RanganathおよびA. Kassim著「Highly scalable wavelet-based video code for very low bit-rate environment」IEEE Journal on Selected Areas in Communications, vol. 16, January 1998, pp. 12-27には、可逆性の要件に故意に反し、その結果、高品質の再構成が不可能となるようなものがある。

複雑な場面の動きの下で、フレーム間冗長を効率的に利用するために、本発明では、時間ウェーブレット変換および動き補償演算が共同して実行される。我々は、その結果の変換を、動き補償時間ウェーブレット変換（ＭＣＴＷＴ）（Motion Compensated Temporal Wavelet Transform）と呼ぶ。ＭＣＴＷＴの実施は、ウェーブレット変換を実現するリフティングメカニズムに基づいている。これについては、R. Calderbank、I. Daubechies、W. SweldensおよびB. Yeo著「Wavelet transforms that map integers to integers」Applied and Computational Harmonic Analysis, vol. 5, pp. 332-369, July 1998を参照されたい。

ハールウェーブレットの特定の場合に、本発明は、周知のＳ−変換（S-Transform）の一般化として最も容易に理解される。具体的には、ｘ_k［ｍ，ｎ］を、ビデオシーケンスからのフレームのシーケンスとする。ＭＣＴＷＴのリフティングステップは、偶数フレームの部分シーケンスｘ_2k［ｍ，ｎ］および奇数フレームの部分シーケンスｘ_2k+1［ｍ，ｎ］を、それぞれ低域通過時間副帯域（low-pass temporal sub-band）および高域通過時間副帯域（high-pass temporal sub-band）に変換する。Ｗ_i,jを、（Ｗ_i,j（ｘ_i））［ｍ，ｎ］≒ｘ_j［ｍ，ｎ］，∀ｍ，ｎとなるような、フレームｘ_i［ｍ，ｎ］の、フレームｘ_j［ｍ，ｎ］の座標系への動き補償写像とする。ｉ＜ｊならば、写像Ｗ_i,jは、基本動き補償予測アルゴリズムで使用されるような前方動き補償（forward motion compensation）として一般に知られているものに対応する。ｉ>ｊならば、写像Ｗ_i,jは、双方向動き補償予測アルゴリズムで使用されるような後方動き補償（backward motion compensation）として一般に知られているものに対応する。本発明のさまざまな実施形態において、これらの動き補償写像は、基本をなす動きモデルが区分的定数である従来のブロックベースの動き補償に対応することもできるし、または、基本をなす動きモデルが制御グリッド上の動きベクトルの連続補間である、より複雑なメッシュベースの動き補償に対応することもできる。また、他の動き補償写像も、本発明のさまざまな実施形態に適用することができ、本発明は、特定のタイプのいずれにも制限されない。ＭＣＴＷＴの状況において、高域通過副帯域のフレームは、以下の式によって与えられる。

一方、低域通過時間副帯域のサンプルは、以下の式によって与えられる。

明らかに、動きがなく、Ｗ_i,jがすべてのｉ、ｊに対して恒等演算子となるような場合には、この２つのリフティングステップのシーケンスは、ハールウェーブレット変換に（倍率まで）なる。

このアプローチは、より多くのリフティングステップまたはより大きなカーネルを有するリフティングステップを含むより複雑なウェーブレット変換に容易に拡張される。さらに別の例は、周知の双直交５−３ウェーブレット変換に基づいている。これは、完全のためであり、かつ、この例が、本発明のいくつかの実施形態に対して上記で与えられたハールの例にとって、より好ましくなり得るからであるとの双方の理由による。この場合、高域通過ＭＣＴＷＴサンプルは、次の式となる。

一方、低域通過時間副帯域サンプルは、次の式によって与えられる。

ここでも、動きがない場合には、この２つのリフティングステップのシーケンスは、５−３双直交ウェーブレット変換になる。ハールの例の場合の高域通過副帯域が、従来の動き補償予測と整合した形で形成される一方、５−３の例の場合の高域通過副帯域は、双方向動き補償予測と整合した形で形成されることに着目することは興味深い。しかしながら、動き補償予測方式と異なり、本実施形態は、既存のビデオ圧縮規格において、効果的なスケーラブル圧縮に不利に働くフィードバックループを導入することなく、完全な再構成を達成する。

従来のＩＤウェーブレット変換と同様に、ＭＣＴＷＴは、低域通過副帯域に再帰的に適応され、時間解像度レベルの階層を生成することができる。好ましい実施形態では、最も低周波の時間副帯域が、オリジナルのビデオシーケンスのフレームレートの８分の１または１６分の１のフレームレートを有するように、このプロセスは、３回または４回続けられる。

上述したＭＣＴＷＴによって生成される時間副帯域は、空間ウェーブレット変換によって空間副帯域（spatial sub-band）にさらに分解される。あるいは、離散コサイン変換（ＤＣＴ）のような他の変換が使用されてもよい。これらの空間変換ならびにそれらのさまざまな形式はおよび構造は、当業者に周知である。その結果、オリジナルのビデオシーケンスは、空間−時間副帯域の集まりに分割される。

空間−時間副帯域のそれぞれを表すフレームのシーケンスは、符号ブロックに分割される。ここで、それぞれの符号ブロックは、所定の空間的および時間的な範囲を有する。本発明のさまざまな実施形態において、符号ブロックの範囲は、副帯域ごとに変化し、１つまたは２つ以上の副帯域では、例えば、それぞれの副帯域の単一フレームに広がっていてもよい。本発明の好ましい実施形態では、符号ブロックは、数千のサンプルからなる全ボリュームに対して、比較的小さな空間的および時間的な範囲を有する。例えば、空間的範囲は、４フレームの時間的範囲に対して、３２×３２または１６×１６である。

すべての符号ブロックに対して、完全に独立した組み込みビットストリームが生成される。それぞれの符号ブロックに対する組み込みビットストリームＢ_iは、多くの個別の長さの任意のものＲⁿ _iに切り捨てられ、それぞれの切り捨てられたビットストリームが、レート歪みの意味で、オリジナルサンプル値の適切な効率的表現に対応するようになっていてもよい。効率的な組み込みブロック符号化アルゴリズムは、ＥＢＣＯＴアルゴリズムの形式で画像圧縮用に発表されている。これについては、D. Taubman著の「EBCOT: Embedded block coding with optimised truncation」ISO/IECJTC 1/SC 29/WG1 N1020R, October 1998およびＪＰＥＧ２０００画像圧縮規格を参照されたい。同様の組み込みブロック符号化アルゴリズムは、本発明の好ましい実施形態で使用される。しかしながら、さまざまな実施形態において、ビットストリームＢ_iを生成するために、同様の性質を有する任意の組み込みエントロピー符号化アルゴリズムを使用することができる。

組み込みブロック符号化の最も重要な属性の１つは、全体のビットレートの所定の制約に対する歪みを最小にするように、個々の組み込みビットストリームを最適に切り捨てることができることである。さらに、それぞれの符号ブロックの最適な切捨て長は、目的のビットレートの非減少関数である。これは、全体の圧縮ビットレートＲに対応する最適に切り捨てられたブロックビットストリームが、例えば全体の圧縮ビットレート２Ｒなどの最適に切り捨てられたブロックビットストリームのサブセットを構成することを意味する。これは、まさしく、上記で論じた遠隔ビデオブラウジングアプリケーションを可能にするために必要とされるスケーラビリティの性質そのものである。所定のビットレートに対して歪みを最小にしようとするか、または、所定のレベルの歪みに対してビットレートを最小にしようとするブロック切捨て戦略は、ポスト圧縮レート歪み（ＰＣＲＤ（Post Compression Rate-Distortion））最適化戦略として知られている。知覚によるビデオ品質を最適化するＰＣＲＤ最適化方式は、個々のアプリケーション［visua199］で記述される。しかしながら、さまざまな実施形態では、異なる戦略を用いて、ブロック切捨て点を決定してもよい。

独立した組み込みブロックのビットストリームからなる圧縮されたビデオビットストリームは、遠隔ビデオブラウジングアプリケーションに非常に関連のある多くの付加的な属性を有する。ビデオシーケンスの低解像度バージョンは、（低い空間解像度に対して）高い空間周波数の副帯域または（低い時間解像度に対して）高い時間周波数の副帯域に対応する符号ブロックを廃棄することによって再構成することができる。関連する組み込みビットストリームの追加部分を取り出すことにより、異なる時間セグメントについて、再構成されたビデオ品質の改善を選択的に要求できるように、それぞれの符号ブロックは、明確な時間的範囲（フレーム数）を有する。最後に、それぞれの符号ブロックは、明確な空間的範囲を有する。具体的には、対象となっている所定の空間領域を再構成するために必要とされる符号ブロックの組は、符号ブロックの次元、ウェーブレット基底関数のサポート、および関連する動きパラメータから計算することができる。これにより、再構成されるビデオの品質が、対象となっている特定の空間領域でのみ選択的に改善されるインタラクティブなブラウジング様式が可能となる。

既に言及したように、全体的に連続して高いビデオビットレートまたは品質レベルに対応して、複数の組の最適なブロック切捨て点を生成するために、ＰＣＲＤ最適化方式を使用することができる。これらは、最終的な圧縮ビデオビットストリーム内において品質レイヤにグループ化される。最初の品質レイヤは、最小ビットレートに対応する、切り捨てられたブロックのビットストリームを含む。これに続く複数の品質レイヤは、全体的に高いビットレートで高い再構成ビデオ品質を連続的に達成するために必要とされるそれぞれの符号ブロックの組み込みビットストリームからの増加コントリビューションを含む。このようにして、最終的なビットストリームは、ビデオシーケンスの空間的および時間的範囲の全体にともに広がる符号ブロックの集まりから構成され、このビデオシーケンスの組み込みビットストリームは、品質レイヤに分割される。最後のステップは、ビットストリームの関連する部分を除くすべてを取り除いて、ある特定のユーザまたはアプリケーションのニーズに合致させることができるように、ビットストリームを、符号ブロックのそれぞれのレイヤコントリビューションを効率的に識別するメカニズムによって増強することである。さまざまな実施形態はこの情報の表現を異なる方法で選択することができる。

図２は、上述した本発明の実施形態の実施を示している。図２に示すブロックは、計算機デバイスまたは計算機システムの適切なソフトウェアおよびハードウェアによって実施できることが理解されるであろう。

図２を参照して、参照番号１０は、ＭＣＴＷＴを実施する装置を示す。このブロックは、ビデオフレームのシーケンスを処理し、２つまたは３つ以上の時間副帯域を生成する。最も単純なケースでは、２つの副帯域が存在し、それぞれは、オリジナルのビデオシーケンスの半分のフレームレートを有する。低周波副帯域は、最大フレームレートの半分のフレームレートによるビデオの良好なレンディションを含む一方、他方（高周波）の副帯域は、低周波副帯域から予測できない詳細を含む。上述したように、低周波副帯域は、高周波成分および低周波成分に分割されることが好ましい。そして、このような分割は、予め定められた個数の「時間分解レベル」の間、継続する。

ブロック１１は、ブロック１０によって生成されたそれぞれの時間副帯域の各フレームを処理し、各フレームを、空間副帯域に分解する。

ブロック１２は、ブロック１１によって生成されたそれぞれの空間−時間副帯域内のサンプルを、所定の個数のフレームに広がり、かつ、その副帯域内の所定の幅および高さを有するブロックにグループ化する。これらブロックは、相互に独立に符号化される。異なる実施形態および異なる副帯域が、異なるブロックの次元を使用できることに留意されたい。

ブロック１３は、それぞれの符号ブロックについての組み込みビットストリームを生成する。組み込みビットストリームは、ビットストリームが多く受信される（復号器に利用可能になる）につれて、符号ブロックによって表される副帯域のサンプルの品質が、次第に良くなるという性質を有する。

ブロック１４は、それぞれの符号ブロックの組み込みビットストリームから最適な個数のビットを決定し、圧縮ビットレートまたは再構成されるビデオの品質の制約を受ける最終的な圧縮データストリームに含める。好ましい実施形態では、上述したように、ＰＣＲＤ最適化アルゴリズムのブロックが、複数回実行され、それぞれのレイヤが、それぞれの符号ブロックの組み込みビットストリームからのコントリビューションの最適な分配を含むように、圧縮データストリーム内の連続した層を生成し、全体的に連続して高い圧縮ビットレートおよびビデオ品質を表す。好ましい実施形態では、ＰＣＲＤアルゴリズムは、ビデオ内の動きの関数として、異なる空間−時間副帯域の視聴者に対する相対的な重要度に反応するであろう。

ブロック１５は、その長さがブロック１４によって最適化されている符号ブロックコントリビューションを、最終的な圧縮データ表現に組み立てる。この最終的な圧縮データ表現は、それぞれのレイヤと関連した符号ブロックコントリビューションをデータストリームから再生するために必要なすべて情報と共に、１つまたは２つ以上のビデオ品質レイヤから構成される。この識別情報により、連続的に低いビットレートおよびビデオの低品質のレンディションに対応して、最終的な圧縮データストリームのサブセットを容易に抽出することが可能となる。

伸張は、圧縮の逆であり、当業者は、上記圧縮方法および圧縮装置の記述から、適切な伸張装置を設計でき、適切な伸張方法を実施できることが理解されるであろう。可逆性は、圧縮プロセスと関連した前方変換演算を実施するために使用されるリフティング構造の直接の結果である。

ネットワークを介して送信できる高度なスケーラブル圧縮ビデオ信号の提供により、圧縮ビデオのインタラクティブな遠隔ブラウジングが容易になる。本発明のさらに別の側面は、スケーラブル圧縮ビデオのインタラクティブな遠隔ブラウジングのシステムおよび方法に関係する。

図３は、ネットワーク２２によって接続されたサーバ計算機システム２０およびクライアント計算機システム２１を示すブロック図である。図示するように、サーバ２０およびクライアント２１は、スケーラブル圧縮ビデオのインタラクティブな遠隔ブラウジングに関する本実施形態によるシステムの重要な要素を示している。

クライアント２１は、接続マネージャ２４、クライアントキャッシュ２５、伸張装置２６およびグラフィカルユーザインタフェース２７を含む。サーバ２１は、接続マネージャ２８、クライアントのキャッシュ２５の状態に関する情報を保持するサブシステム２９、およびファイルサーバ３０を含む。

接続マネージャ２４および２８は、サーバ２１とクライアント２２との間のスケーラブル圧縮データストリームから要素の転送を管理する。接続マネージャは、サーバ２１側のコンポーネントおよびクライアント２２側のコンポーネントの２つのコンポーネントを含む。接続マネージャは、圧縮データのネットワーク送信、受信データの肯定応答、ネットワークの状態の監視などを操作する。さまざまな実施形態は、通信媒体および効果的なユーザとの相互作用に必要とされる応答性のレベルに応じて、このブロックをさまざまに実施することができる。

クライアントキャッシュ２５は、サーバ２１によって送信された圧縮データを記憶し、キャッシュが一杯になりすぎると、古いデータを廃棄する広告ポリシーを実施する。さまざまな実施形態は、異なるキャッシュ戦略を使用することができ、このキャッシュ戦略は、サーバ２１が、クライアント２２のキャッシュの性能に関する知識を有し、その性能からクライアント２２のキャッシュの状態のいずれかまたはすべてを予測するという要件のみを対象とする。

クライアントキャッシュ状態追跡ブロック２９は、クライアントのキャッシュ２５の状態の鏡像を保持し、クライアント２２が受信し、記憶したと確信される圧縮データ要素の識別情報を記録する。このエレメントは、クライアント２２によって使用される広告キャッシュ戦略を複製し、クライアントのキャッシュから廃棄された可能性のある要素を特定する。クライアント２２は、必ずしもこれらを廃棄する必要はないが、サーバのキャッシュ追跡ブロック２９が、キャッシュされていると予測するであろう要素を廃棄してはならない。

ファイルサーバ３０は、スケーラブル圧縮ビデオデータストリームと相互作用し、クライアントキャッシュ状態追跡装置２９とも相互作用する。そして、ファイルサーバ３０は、ビデオ内において対象となっているクライアントの現在の領域の知識を用いて、知覚されるビデオ品質を最大にするために、圧縮データストリームのどの要素をクライアントに送信するべきかを決定する。これらの要素は、ブロック２９を介して接続マネージャに送信される。ブロック２９は、クライアントのキャッシュの内容についてのそのモデルを途中で更新する。

伸張装置２６は、クライアントキャッシュ２５と相互作用して、現時刻、解像度、およびビデオがユーザ定義のビューポートにレンダリングされる空間領域に関連する圧縮データストリームの要素を再生し、それら要素を必要に応じて伸張し、レンダリングする。

グラフィカルユーザインタフェース２７は、ユーザと対話し、ビデオ内の対象となっているユーザの領域（対象となっている空間解像度および時間解像度を含む）を特定するコマンドを受け付けて解釈する。そして、グラフィカルユーザインタフェース２７は、この情報をサーバに周期的に送信し、キャッシュにおいて利用可能なすべての関連する情報を用いて必要なビデオコンテンツをレンダリングするために、伸張装置２６を起動する。また、グラフィカルユーザインタフェース２７は、圧縮データストリームから少なくともいくつかの関連する要素をダウンロードする時間をサーバに与えるために、ユーザリクエストと利用可能なデータのレンダリングとの間の適切な遅延を決定する役割も担っている。レンダリングが開始可能となる前に、関連するすべての圧縮データが取り出されている必要はない。遅れてキャッシュに到着する圧縮データは、対話ユーザが、ビデオシーケンスの同じ部分に戻って、それを再びレンダリングするようにシステムに指示した場合に、有用であると判明することがある。動作中、ユーザは、対象となっている空間時間領域を指定する。この空間時間領域には、対象となっている最大空間解像度および最大時間解像度に関する情報が、オプションとして含まれる。対象となっている領域は、ビデオシーケンス全体を含むこともできるし、または、空間または時間におけるビデオシーケンスの任意のサブセットを含むこともできる。対象となっている領域のリクエストは、伸張装置に伝達される。伸張装置は、クライアントのキャッシュにリクエストを送信し、返信される符号ブロックコントリビューションが到着すると、当該符号ブロックコントリビューションを、ユーザのリクエストを満たすように伸張する。次に、キャッシュは、サーバから要求されなければならない符号ブロックコントリビューションを特定し、ネットワーク接続マネージャを介してサーバに送信される適切でコンパクトなリクエストを形成する。このサーバリクエストは、ビデオ配信のストリーミングを高い確率で可能にするために、キャッシュの現在の内容および接続状態の評価に基づいて形成される。したがって、対象となっている領域がまったく新しく、すべての情報をサーバから直接取り出さなければならない場合には、スケーラブルビットストリームの最初の品質レイヤのみが、リクエストされることになる。他方、対象となっている領域が、以前アクセスされている場合には、サーバは、キャッシュにこれまでに存在しないコンポーネントのみを、制限されたネットワーク接続を介して供給する必要があるので、より高い品質サービスが、実時間で維持できることになる。

サーバは、オプションとして、クライアントのキャッシュの内容のマップを保持する。これにより、サーバは、クライアントのキャッシュに既に記憶されている情報を再送信することなく、リクエストを満たすために必要とされる実際の符号ブロックコントリビューションを決定できるので、クライアントは、そのリクエストをコンパクトな形式で送信することが可能になる。素材がサーバからストリーミングされると、クライアントにおける実時間の伸張処理を容易にするために、サーバは、必要とされる符号ブロックセグメントを適切なシーケンスに編成する。

本発明の実施形態の中には、サーバが、クライアントが沈黙状態の場合におけるアイドル期間中に、クライアントに代わって、自動的にリクエストを生成できるものがある。例えば、リクエストが一旦満たされると、サーバは、さらに別のリクエストが受信されるまで、リクエストの目的点近くの符号ブロックから、連続的に高い品質レイヤを送信することができる。このように、リクエストが一旦満たされると、ユーザの要求した対象となっている領域の最終フレームは、絶え間なく品質を改善することに経験する。本発明の他の実施形態では、沈黙したクライアントがもしあれば、当該クライアントに送信される情報の性質を決定するために、代わりのポリシーを定義してもよい。

図２を参照して上記で説明した実施形態では、空間ウェーブレット変換によって生成される高い空間周波数の副帯域のいくつかを廃棄した後、低減された空間解像度でビデオを再構成することができる。しかしながら、このアプローチの１つの重要な欠点は、動き情報の量が、空間解像度と共に増減しないことである。空間解像度のスケーラビリティを必要とするアプリケーションについては、まず、マルチ解像度変換が使用されて、それぞれのオリジナル画像フレームｘ_k［ｍ，ｎ］が空間副帯域に分解され、次に、ＭＣＴＷＴが、その副帯域に適用される本発明の代替的な実施形態が好ましい。以下の議論では、マルチ解像度空間変換として、２次元離散ウェーブレット変換（ＤＷＴ）（Discrete wavelet transform）が用いられる。図４は、空間解像度スケーラブル圧縮を実施するシステムのブロック図である。

図４に示すように、それぞれのオリジナルフレームｘ_k［ｍ，ｎ］は、まず、ＬＨ¹ _k［ｍ，ｎ］、ＨＬ¹ _k［ｍ，ｎ］およびＨＨ¹ _k［ｍ，ｎ］で表す３つの高周波の詳細画像と共に、低減された解像度の画像ＬＬ¹ _k［ｍ，ｎ］に変換される。これらの副帯域画像のそれぞれは、オリジナル画像の次元の約半分の次元を有し、すべての副帯域の全サンプル数は、オリジナル画像のサンプル数と同一である。我々は、空間ウェーブレット解析のこの初期段階を以下の式として表す。

解析演算子を繰り返し適用することにより、ＬＬ¹ _k［ｍ，ｎ］は、付加的な詳細副帯域（detail sub-band）ＬＨ² _k［ｍ，ｎ］、ＨＬ² _k［ｍ，ｎ］およびＨＨ² _k［ｍ，ｎ］と共に、さらに低い解像度画像ＬＬ² _k［ｍ，ｎ］に分解される。このようにして続けることにより、Ｄレベル変換は、中間の副帯域ＬＬ¹ _k［ｍ，ｎ］からＬＬ^D-1 _k［ｍ，ｎ］をカウントしないで、合計３Ｄ＋１個の副帯域を生成する。

重要なことに、それぞれの解析段階は、可逆的である。逆の演算子は、合成段階として知られ、それらの演算は、次の式として表される。

ここで、ｘ_k［ｍ，ｎ］は、好都合に、レベル０の副帯域ＬＬ⁰ _k［ｍ，ｎ］と同一に扱われる。

本発明の好ましい実施形態では、図４に示すように、前に開発されたＭＣＴＷＴ技術は、まず、最も低い解像度の副帯域フレームＬＬ^D _Kに直接用される。このＭＣＴＷＴは、ＬＬ^D _Kフレームの空間解像度と一致するように調整されたそれ自身の動きの情報を使用する。動き補償時間５−３ウェーブレット変換の特定の例では、方程式（３）および（４）は、以下の方程式（４）および（５）になる。接頭文字「Ｈ−」および「Ｌ−」は、ここでは、高域通過時間副帯域および低域通過時間副帯域をそれぞれ特定するために使用されることに留意されたい。動き補償写像演算子Ｗ^D _i,jの上付き文字Ｄは、それらの演算子を、ＤレベルＤＷＴの最も低い空間解像度のフレームと関連付ける。

および

詳細副帯域ＬＨ^d _k、ＨＬ^d _kおよびＨＨ^d _kの各連続組は、集合的に、「解像度レベル」Ｒ^d-1 _kを形成する。ここで、ｄは、Ｄから１までの範囲を有する。解像度レベルＲ^d-1 _kは、空間解像度をＬＬ^d _kからＬＬ^d-1 _kに（空間副帯域合成を通じて）増強するために必要とされる情報を保持する。図４に示すように、それぞれの解像度レベルは、ＬＬ^d-1 _kフレームの空間解像度と一致するように調整されたそれ自身の動き情報と共に、それ自身のＭＣＴＷＴを有する。関連する動き補償写像演算子は、Ｗ^d-1 _i,jで表される。

任意の所定の解像度レベルＲ^d-1 _kについてのＭＣＴＷＴは、効果的な動き補償が、空間的に合成されたフレームＬＬ^d-1 _kの領域で実行されることになる点を除いて、これまでに説明したものと原理において同様である。時間リフティングステップは、詳細副帯域に直接適用されるが、動き補償が必要とされるときはいつでも、その解像度レベルの詳細副帯域は、ともに空間合成を受け、ＬＬ^d-1 _kと同じ解像度を有するベースバンド画像を再生する。動き補償は、この領域に適用され、副帯域の解析がそれに続く。副帯域の解析は、動き補償された詳細副帯域を生成する。動き補償の品質、および、したがって変換全体の圧縮効率と干渉し得る空間エイリアシング効果を最小にするために、図４に示すように、ある情報が、低解像度フレームＬＬ^d _kから借用される。低い空間解像度は、高い空間解像度を参照することなく、最初に再構成することができるので、この情報は、圧縮装置および伸張装置の双方で利用可能である。

例示するため、再び動き補償５−３ウェーブレット変換を検討する。解像度レベルＲ^d-1 _kについてのリフティングステップは、動き補償演算子Ｗ^d-1 _i,jを用い、それらの演算子を、以下の方程式（７）および（８）に従って適用する。

および

上記方程式（８）に現れる項

は、合成されたフレームを作成するためのものであり、この合成されたフレームに対して、動き補償が実際に適用される。この項は、当該リフティングステップがビデオ解像度ＬＬ^d-1 _kに直接適用された場合に現れる項に似ている。変換全体が可逆的であるためには、

は、ビデオ解像度ＬＬ^d _kからの情報にのみ基づいていることが不可欠である。

実施形態の中には、詳細副帯域が合成され、動き補償され、かつ再解析される際に、いくつかのエイリアシング効果が補償されないことを犠牲にして、これらの項がすべて零に設定され得るものがある。他の実施形態では、

は、副帯域Ｈ−ＬＬ^D _k、Ｈ−ＬＨ^D _k、…、Ｈ−ＨＨ^d+1 _kを空間合成することによって得ることができる。

好ましい実施形態では、Ｈ−ＬＬ^d _kは、ＬＬ^d _kフレーム（これらは、再構成後、圧縮装置および伸張装置の双方で利用可能である）を、（すべての詳細副帯域を０に設定して）空間合成の１つの段階を通じて補間し、動き補償時間リフティングステップをこの補間された領域に適用し、次に、分析演算子によって生成される詳細副帯域を廃棄する、時間副帯域Ｈ−ＬＬ^d-1 _kの空間ＤＷＴ解析を通じてＨ−ＬＬ^d _kを再生することにより得られる。この特定の実施形態の、前の実施形態を上回る利点は、Ｈ−ＬＬ^d-1 _kおよびそこからＨ−ＬＬ^d _kを導出するために使用される動き補償リフティングステップが、より高密度の写像演算子Ｗ^d-1 _i,jと関連した動き情報のすべてを利用できることである。

上述したアイデアは、任意の個数のリフティングステップおよび任意の個数の時間分解のレベルを有する任意の時間ウェーブレット変換に自然に拡張される。このような一般化は、当業者には明らかであろう。最終的な３次元変換の性質は、ビデオフレームが、演算子｛Ｗ^D _i,j｝から｛Ｗ^d _i,j｝に対応する動き情報のみを用いて任意の所定のビデオ解像度ＬＬ^d _kで再生できるように常になっている。これにより、動き情報の全体量（例えば、ブロック動きベクトル、メッシュノード速度などの総数）は、最終的な圧縮データストリーム内の対象となっている解像度と共に増減することが可能となる。

上記議論は、モノクロビデオソースの状況に限定されているが、これは、説明を簡単にするためにすぎない。カラービデオに必要とされるコンポーネントを含む複数のコンポーネントへの一般化は、当業者には明らかであろう。

上記議論は、動画情報の変換および圧縮に関するものであるが、本発明は、画像のシーケンスが圧縮される他の用途に適用できることは明らかである。特定の対象の例として、容積測定医学用画像およびイメージベースの３次元レンダリングアプリケーションによって使用される画像が含まれる。

特定の実施形態によって示された本発明に対して、多くの変形および／または変更を、広く記述された本発明の精神および範囲から逸脱することなく行い得ることは、当業者によって理解されるであろう。したがって、本実施形態は、あらゆる点で例示であり、制限的でないとみなされるべきである。

２０ サーバ計算機システム、２１ クライアント計算機システム、２２ ネットワーク。

Claims (10)

1. 圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供する方法であって、
   前記方法は、ビデオシーケンスを表すスケーラブル圧縮信号を、ネットワークに接続されたサーバ計算機システムが記憶するステップを備え、
   前記スケーラブル圧縮信号は、
   ビデオシーケンスを入力信号に構成し、
   動きの冗長を利用する形式で、前記入力信号を一組の時間周波数帯域に分解し、
   前記時間周波数帯域をさらに空間周波数帯域に分解し、その結果として空間−時間周波数帯域を得、
   前記スケーラブル圧縮ビデオ信号を生成するために、限定された空間および時間範囲を有する元のビデオからの情報をそれぞれが表す各符号ブロックを、前記空間−時間周波数帯域から組み込み符号化する
   ことによって生成されたものであり、
   前記方法は、
   ビデオシーケンスとして伸張して見るために、前記スケーラブル圧縮信号の一部を、前記ネットワークに接続されたクライアント計算機システムを介して選択するステップと、
   前記サーバが、前記信号の前記選択された一部を、前記ネットワーク上で前記クライアントに提供するステップと、
   前記サーバが、前記クライアントによる選択を監視するステップと、
   前記クライアントにとって対象となるスケーラブル圧縮信号のさらなる部分を、前記クライアントを介して選択するステップと、
   前記クライアントが符号ブロックビットストリームのどの部分をすでに受信したかを前記サーバ計算機システムが知り、かつ、前記クライアントによる選択に応じて、符号ブロックビットストリームのどのさらなる部分が要求されているかを前記サーバ計算機システムが決定することができるように、前記クライアント計算機システム上のビデオキャッシュの状態を監視するステップと、
   サーバが、前記符号ブロックビットストリームの前記選択された部分を、前記ネットワーク上で前記クライアントに提供するステップと、
   を備える方法。
2. 前記サーバが、前記クライアントによる前記符号ブロックビットストリームの前記一部の選択を監視するステップをさらに含み、それによって、前記クライアントが、対象となる特定の領域の符号ブロックビットストリームのさらなる部分を選択すると、前記サーバは、符号ブロックビットストリームの適切な部分を前記クライアントに提供することができる、
   請求項１に記載の方法。
3. 前記信号は、複数の次元でスケーラブルであり、
   前記方法は、前記クライアントが、対象となる前記領域の次元に関連する前記部分を選択するステップをさらに含む、
   請求項１に記載の方法。
4. 前記クライアント計算機システムは、前記符号ブロックビットストリームの受信した部分をキャッシュするステップをさらに備え、それによって、前記符号ブロックビットストリームの前記さらなる部分は、対象となる前記領域のビデオを生成する伸張を行うために前記キャッシュされた部分に追加することができる、
   請求項１に記載の方法。
5. 前記サーバ計算機システムは、前記クライアント計算機システムによってキャッシュされている符号ブロックビットストリームの前記部分の状況を把握し、前記クライアント計算機システムによってキャッシュされていない符号ブロックビットストリームの部分のみを送信する、請求項４に記載の方法。
6. 前記入力信号を一組の時間周波数帯域に前記分解するステップは、
   前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離するステップと、
   一連となった、１つ以上の動き補償リフティング演算を、動き補償を組み込んで適用するステップであって、前記動き補償リフティング演算のそれぞれは、前記偶数フレームの部分シーケンスからの動き補償されたフレームの線形結合を加えることによって、前記奇数フレームの部分シーケンスを調節するか、または、前記奇数フレームの部分シーケンスからの動き補償されたフレームの線形結合を加えることによって、前記偶数フレームの部分シーケンスを調節する、一連となった、１つ以上の動き補償リフティング演算を動き補償を組み込んで適用するステップと、
   を含む請求項１に記載の方法。
7. 前記スケーラブル圧縮信号を生成するステップは、さらに、全体のビットレートの所定の制約に対する歪みを最小にするように、組み込み符号ブロックビットストリームを最適に切り捨てることを含む、請求項１に記載の方法。
8. 圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供するシステムであって、
   前記遠隔ブラウジングを提供するシステムは、ネットワークに接続されるように構成され、クライアント計算機システムに向けて前記ネットワーク上に配信するためのビデオシーケンスを表すスケーラブル圧縮信号を提供する手段を含むサーバ計算機システムを備え、
   前記スケーラブル圧縮信号は、
   ビデオシーケンスを入力信号に構成し、
   動きの冗長を利用する形式で、前記入力信号を一組の時間周波数帯域に分解し、
   前記時間周波数帯域をさらに空間周波数帯域に分解し、その結果として空間−時間周波数帯域を得、
   前記スケーラブル圧縮ビデオ信号を生成するために、符号ブロックを前記空間−時間周波数帯域から組み込み符号化する
   ことによって生成されたものであり、
   前記遠隔ブラウジングを提供するシステムは、クライアント計算機システムを備え、
   前記クライアント計算機システムは、前記スケーラブル圧縮信号の一部を選択する選択手段と、ビデオシーケンスとして見るために前記スケーラブル信号を伸張する伸張装置と、符号ブロックビットストリームのうち前記クライアント計算機システム上で見られた一部を記憶するためのビデオキャッシュとを含み、前記選択手段は、該クライアントの対象となる領域に関連する符号ブロックビットストリームのさらなる部分を選択するように構成され、
   前記サーバ計算機システムは、前記クライアントが符号ブロックビットストリームのどの部分をすでに受信したかを前記サーバが知り、かつ、前記クライアントによる選択に応じて、符号ブロックビットストリームのどのさらなる部分が要求されているかを前記サーバが決定することができるように、前記クライアント計算機システム上のビデオキャッシュの状態を監視するキャッシュ監視手段を含み、
   前記サーバは、前記符号ブロックビットストリームの前記部分および前記符号ブロックビットストリームの前記選択されたさらなる部分を、前記ネットワーク上で前記クライアントに提供する、
   遠隔ブラウジングを提供するシステム。
9. 前記サーバ計算機システムは、
   前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離し、
   一連となった、１つ以上の動き補償リフティング演算を、動き補償を組み込んで適用する
   ことにより、前記入力信号を分解し、
   前記動き補償リフティング演算のそれぞれは、前記偶数フレームの部分シーケンスからの動き補償されたフレームの線形結合を加えることによって、前記奇数フレームの部分シーケンスを調節するか、または、前記奇数フレームの部分シーケンスからの動き補償されたフレームの線形結合を加えることによって、前記偶数フレームの部分シーケンスを調節するものである、請求項８に記載のシステム。
10. 前記スケーラブル圧縮信号を提供する手段は、さらに、全体のビットレートの所定の制約に対する歪みを最小にするように、組み込み符号ブロックビットストリームを最適に切り捨てる手段を含む、請求項８に記載のシステム。

Images