JP5753341B2 - スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 - Google Patents

Description

関連出願の相互参照
本願は、2006年3月3日に出願した米国仮出願第60/778,760号、2006年3月29日に出願した米国仮出願第60/787,031号、および2006年10月23日に出願した米国仮出願第60/862,510号の利益を主張するものである。さらに、本願は、関連する国際特許出願第PCT/US06/28365号、国際特許出願第PCT/US06/028366号、国際特許出願第PCT/US06/028367号、国際特許出願第PCT/US06/028368号、国際特許出願第PCT/US06/061815号、国際特許出願第PCT/US06/62569号、および国際特許出願第PCT/US07/62357号、ならびに米国仮出願第60/884,148号、米国仮出願第60/786,997号、および米国仮出願第60/829,609号の利益を主張するものである。前述の優先権および本願の譲受人に譲渡される関連出願のすべてが、参照によってその全体を本願に組み込まれている。

本発明は、ビデオデータ通信システムに関する。本発明は、具体的には、スケーラブルビデオコーディング技法を利用するビデオ通信システムでエラー耐性、ランダムアクセス、およびレート制御機能を同時に提供することに関する。

インターネットプロトコル(IP)に基づくネットワークなどのパケットベースのネットワークでのディジタルビデオの伝送は、少なくともデータトランスポートが通常はベストエフォート・ベースで行われるという事実により、極端にむずかしい。現代のパケットベースの通信システムでは、エラーは、通常、ビットエラーではなくパケット消失として現れる。さらに、そのようなパケット消失は、通常、中間のルータでの輻輳の結果であって、物理層エラーの結果ではない(これに対する1つの例外が、無線ネットワークおよびセルラネットワークである)。ビデオ信号の送信または受信でエラーが発生する時には、受信器がそのエラーからすばやく回復でき、着信ビデオ信号のエラーなしの表示に戻ることができることを保証することが重要である。しかし、通常のディジタルビデオ通信システムでは、受信器の頑健性は、帯域幅を節約するために着信データが強く圧縮されているという事実によって下げられる。さらに、通信システムで使用されるビデオ圧縮技法(たとえば、最新のコーデックであるITU-TのH.264およびH.263またはISOのMPEG-2コーデックおよびMPEG-4コーデック)は、シーケンシャルビデオパケットまたはシーケンシャルビデオフレームの間の非常に強い時間的依存性を産み出す可能性がある。具体的に言うと、動き補償予測(たとえば、PフレームまたはBフレームの使用を伴う)コーデックの使用は、表示されるフレームが過去のフレーム(1つまたは複数)に依存する、フレーム依存性の連鎖を産み出す。依存性の連鎖は、ビデオシーケンスの始めにまで及ぶ可能性がある。依存性の連鎖の結果として、特定パケットの消失は、受信器での複数の後続パケットの復号に影響する可能性がある。特定パケットの消失に起因するエラー伝搬は、「イントラ」(I)リフレッシュ・ポイントまたは時間予測を全く使用しないフレームでのみ終了する。

デジタルビデオ通信システムでのエラー耐性は、伝送される信号において少なくともある程度のレベルの冗長性を有することを必要とする。しかし、この要件は、伝送される信号に於いて冗長性をなくし、または最小限に抑えるように試みるビデオ圧縮技法の目的と相入れない。

差異化サービスを提供するネットワーク(例えばDiffServ IPベースのネットワーク、専用回線を介するプライベートネットワークなど)上では、ビデオデータ通信アプリケーションが、ネットワーク機能を利用して、ビデオ信号データの一部またはすべてを受信側に無損失またはほぼ無損失で配信することができる。しかし、差異化サービスを提供しない任意のベストエフォート型ネットワーク(インターネットなど)では、データ通信アプリケーションは、エラー耐性を達成するためにそれ自体の機能に依拠しなければならない。一般のデータ通信で有用な周知の技法(例えば伝送制御プロトコル-TCP)は、ヒューマンインターフェース要件から生じる低エンドツーエンド遅延という制約が追加されるビデオまたはオーディオの通信には適していない。例えば、ファイル転送プロトコルを使用するデータ移送でのエラー耐性のためにTCP技法を使用することができる。TCPは、数秒の遅延を伴う場合であっても、すべてのデータが受信されたという確認まで、データを再送信し続ける。しかし、TCPは、限界のないエンドツーエンド遅延が参加者にとっては受け入れられないものとなるので、ライブまたは対話式のテレビ会議アプリケーションでのビデオデータ移送には不適切である。

関連する問題は、ランダムアクセスの問題である。受信側がビデオ信号の既存の伝送に参加すると仮定する。典型的な例は、テレビ会議に参加するユーザ、またはブロードキャストに同調するユーザである。そのようなユーザは、ユーザが復号化を開始することができ、ユーザがエンコーダと同期する着信ビットストリーム中のポイントを見つけなければならない。しかし、そのようなランダムアクセスポイントを設けることは、圧縮効率にかなりの影響を及ぼす。ランダムアクセスポイントでは任意のエラー伝播が終了するので、定義上、そのポイントはエラー耐性機能であることに留意されたい(すなわち、そのポイントはエラー回復ポイントである)。したがって、特定のコーディング方式によって提供されるランダムアクセスサポートが良好であるほど、その特定のコーディング方式が実現するエラー回復が高速になる。その逆は常に真であるわけではなく、エラー耐性技法が対処するように設計されたエラーの持続時間および範囲について行われた仮定に依存する。エラー耐性について、エラーが生じた時に受信側である状態情報が利用可能であると仮定することができる。

例として、ディジタルテレビジョンシステム(ディジタルケーブルTVまたは衛星TV)用のMPEG-2ビデオコーデックでは、Iピクチャが、ストリームへのすばやい切替を可能にするために周期的間隔(通常は0.5秒)で使用される。しかし、Iピクチャは、そのPまたはB対応物よりかなり大きく(通常は3〜6倍)、したがって、特に低帯域幅および/または低遅延アプリケーションでは回避しなければならない。

テレビ会議などの対話式アプリケーションでは、イントラ更新の要求という概念が、エラー耐性のためにしばしば使用される。動作の際に、更新は、デコーダの同期を可能にするイントラピクチャ伝送を求める受信側から送信側への要求を含む。この動作の帯域幅オーバヘッドはかなりのものである。さらに、パケットエラーが生じるときにもこのオーバヘッドを受ける。パケット紛失が輻輳によって引き起こされる場合、イントラピクチャの使用は輻輳問題を悪化させるだけである。

IDCT実装(例えばH.261標準)での不整合によって引き起こされるドリフトを軽減するために過去に使用された、エラー耐性のための別の従来の技法は、各マクロブロックをイントラモードで周期的にコーディングすることである。H.261標準は、マクロブロックが132回送信されるごとに強制的イントラコーディングを必要とする。

コーディング効率は、所与のフレームでイントラとして強制的にコーディングされるマクロブロックのパーセンテージが増加すると共に減少する。逆に、このパーセンテージが低いとき、パケット紛失から回復するための時間が増大する。強制的イントラコーディングプロセスは、動き関連のドリフトを回避するために余分の注意を必要とし、それがさらにエンコーダの性能を制限する。ある動きベクトル値が最も効果的である場合であってもそれを回避しなければならないからである。

従来型単層コーデックに加えて、階層化コーディングまたはスケーラブルコーディングが、マルチメディアデータ符号化での周知の技法である。スケーラブルコーディングは、帯域幅効率の良い方式で所与の媒体を集合的に表す2つ以上の「スケーリングされた」ビットストリームを生成するのに使用される。スケーラビリティをいくつかの異なる次元、すなわち時間、空間、および品質として提供することができる(SNR「信号対雑音比」スケーラビリティ又は忠実度スケーラビリティとも呼ばれる)。例えば、ビデオ信号を、CIF解像度およびQCIF解像度で、フレームレート7.5、15、および30フレーム/秒(fps)で異なる層としてスケーラブルにコーディングすることができる。コーデックの構造に応じて、コーデックビットストリームから空間解像度とフレームレートの任意の組合せを得ることができる。異なる層に対応するビットを別々のビットストリームとして送信することができ(すなわち層当たり1ストリーム)、またはそれらを互いに1つまたは複数のビットストリームとして多重化することができる。本明細書では説明の都合上、様々な層が単一のビットストリームとして多重化および送信される場合であっても、特定の層に対応するコード化ビットをその層のビットストリームと呼ぶことがある。スケーラビリティ機能を提供するように特に設計されたコーデックは、例えばMPEG-2(ISO/IEC13818-2、別名ITU-T H.262)、現在開発されているSVC(ITU-T H.264 Annex GまたはMPEG-4 Part 10 SVCとして知られる)を含む。ビデオ通信用に特に設計されたスケーラブルコーディング技法が本願の譲受人に譲渡された国際特許出願PCT/US06/028365、「SYSTEM AND METHOD FOR SCALABLE AND LOW-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING」に記載されている。スケーラブルとなるように特に設計されていないコーデックであっても、時間次元ではスケーラビリティ特性を示すことができることに留意されたい。例えば、DVD環境およびデジタルTV環境で使用される非スケーラブルコーデックであるMPEG-2 Main Profileコーデックを考慮する。さ
らに、コーデックが30fpsで動作し、IBBPBBPBBPBBPBBのGOP構造(周期N=15フレーム)が使用されると仮定する。Bピクチャの順次除去と、その後に続くPピクチャの除去により、30fps(すべてのピクチャタイプが含まれる)、10(IおよびPのみ)、および2fps(Iのみ)の合計3つの時間解像度を導出することが可能である。PピクチャのコーディングがBピクチャに依拠せず、同様にIピクチャのコーディングが他のPピクチャまたはBピクチャに依拠しないようにMPEG-2 Main Profileコーデックが設計されるので、順次除去プロセスの結果、復号可能なビットストリームが得られる。以下では、時間スケーラビリティ機能を有する単層コーデックが、スケーラブルビデオコーディングの特別なケースであるとみなされ、したがって明示的な指示がない限り、スケーラブルビデオコーディングという用語に含まれる。

スケーラブルコーデックは通常、構成要素であるビットストリームのうちの1つ(「ベース層」と呼ばれる)がある基本的品質で元の媒体を回復する際に不可欠である、ピラミッド状のビットストリーム構造を有する。ベース層と共に1つまたは複数の残りのビットストリーム(「拡張層」と呼ばれる)を使用することは、回復される媒体の品質を向上させる。拡張層でのデータ紛失は許容可能であるが、ベース層でのデータ紛失は、著しいひずみを引き起こす可能性があり、または回復される媒体が完全に失われる可能性がある。

スケーラブルコーデックは、エラー耐性およびランダムアクセスに関して単一層コーデックが提起するものに類似する課題を提起する。しかし、スケーラブルコーデックのコーディング構造は、単一層ビデオコーデックには存在しない固有の特性を有する。さらに、単一層コーディングとは異なって、スケーラブルコーディングは、あるスケーラビリティ層から別のスケーラビリティ層への切替を含むことができる(たとえば、CIF解像度とQCIF解像度との間で行き来する切替)。異なる解像度の間で切り替える時の非常に少ないビットレートオーバーヘッドを伴う瞬間的層切替は、複数の信号分解能(空間/時間/品質)がエンコーダから使用可能である場合があるスケーラブルコーディングシステムで、ランダムアクセスのために望ましい。

エラー耐性およびランダムアクセスの問題に関連する問題が、レート制御の問題である。通常のビデオエンコーダの出力は、予測技法、変換技法、およびエントロピコーディング技法の多大な使用に起因して、可変ビットレートとなる。固定ビットレートストリームを構成するために、バッファ制限式レート制御が、通常、ビデオ通信システムで使用される。そのようなシステムでは、エンコーダの出力バッファが仮定され、この出力バッファは、一定のレート(チャネルレート)で空にされ、エンコーダは、バッファの占有を監視し、バッファオーバーフローまたはバッファアンダーフローを防ぐためにパラメータ選択を行う(たとえば、量子化器ステップサイズ)。しかし、そのようなレート制御機構は、エンコーダでのみ適用でき、さらに、所望の出力レートが既知であることを前提とする。ビデオ会議を含む一部のビデオ通信アプリケーションでは、そのようなレート制御判断が、送信側と受信側との間に配置される中間ゲートウェイ(たとえば、多地点間通信装置(Multipoint Control Unit)すなわちMCU)で行われることが望ましい。ビットストリームレベルの操作またはトランスコーディングは、ゲートウェイで使用することができるが、かなりの処理コストおよび複雑さのコストを伴う。したがって、中間ゲートウェイでの追加処理を全く必要とせずにレート制御を達成する技法を使用することが望ましい。

これから、エラー耐性およびコーディングされたビットストリームへのランダムアクセスの機能の改善ならびにビデオ通信システムでのレート制御を考慮する。エンドツーエンド遅延およびシステムによって使用される帯域幅に対する最小限の影響を有するエラー耐性技法、レート制御技法、およびランダムアクセス技法の開発に注意を向ける。

本発明は、スケーラブルビデオコーディングを使用するビデオ通信システムでエラー耐性を高め、ランダムアクセス機能およびレート制御機能を提供するシステムおよび方法を提供する。このシステムおよび方法は、優れたレート-ひずみ性能を伴う、コーディングされた解像度と異なる解像度での出力信号の導出をも可能にする。

一実施形態で、本発明は、低解像度空間層からの情報を使用することによって、高解像度空間スケーラブル層のパケットの消失から回復する機構を提供する。もう1つの実施形態で、本発明は、遅延をほとんどまたは全く伴わずに低空間分解能または低SNR分解能から高空間分解能または高SNR分解能へ切り替える機構を提供する。もう1つの実施形態で、本発明は、エンコーダまたは中間ゲートウェイ(たとえば、MCU)が、受信器での受信信号の品質に対する消失パケットの影響を最小にする適当なエラー回復機構の使用を予想して、高解像度空間層のパケットを選択的に除去する、レート制御を実行する機構を提供する。もう1つの実施形態で、エンコーダまたは中間ゲートウェイは、高解像度空間層からのパケットを、ベース層からの情報および拡張層の過去のフレームを使用することによって置換される高解像度データへの近似を再構成するようにエンコーダに効率的に指示する情報に選択的に置換する。もう1つの実施形態で、本発明は、コーディングされた解像度と異なる解像度の、具体的には空間スケーラブルコーディングに使用される解像度の間の中間解像度の出力ビデオ信号を導出する機構を説明する。これらの実施形態は、単独でまたは組み合わされて、重要なレート制御および解像度柔軟性ならびにエラー耐性およびランダムアクセスを有するビデオ通信システムの構築を可能にする。

発明システムおよび方法は、スケーラブルコーディング技法と併用される「エラー隠蔽(error concealment)」技法に基づく。これらの技法は、スケーラブルビデオエンコーダと称する特定のビデオエンコーダの系列に関してエラー耐性およびレート制御を同時に達成する。エラー隠蔽技法のレート-ひずみ性能は、有効転送レート(総伝送レートから消失パケットのレートを引いた値)でのコーディングのレート-ひずみ性能と一致するかそれを超えるようになっている。ピクチャコーディング構造およびトランスポートモードを適当に選択することによって、これらの技法は、非常に少ないビットレートオーバーヘッドで、ほぼ瞬間的な層切替を可能にする。

さらに、これらの技法を使用して、コーディングされた解像度(1つまたは複数)と異なる解像度の受信信号の復号された版を導出することができる。これは、たとえば、QCIF解像度およびCIF解像度の空間スケーラブルコーディングされた信号からの1/2 CIF (HCIF)信号の作成を可能にする。通常のスケーラブルコーディングとは異なって、受信器は、QCIF信号を使用し、これをアップサンプリングしなければならない(低い品質を伴う)か、あるいはCIF信号を使用し、これをダウンサンプリングする(良い品質を伴うが高いビットレート利用を伴う)のいずれかである。同一の問題が、QCIFおよびCIFが単一層ストリームとして同時放送される場合にも存在する。

これらの技法は、エンコードされたビデオビットストリームの最小限の処理を伴い、画質に悪影響を及ぼさない、レート制御をも提供する。

本発明のさらなる特徴、性質、およびさまざまな利益は、好ましい実施形態および添付図面の次の詳細な説明からより明白になる。

図面全体を通じて、同一の符号および文字は、そうではないと示されない限り、示される実施形態の同じ特徴、要素、構成要素、または部分を示すのに使用される。さらに、これから、本発明を図面を参照して詳細に説明するが、これは、例示的実施形態に関連して行われる。

ビデオ通信システムでのエラー耐性のある伝送、ランダムアクセス、およびレート制御のシステムおよび方法を提供する。このシステムおよび方法は、ビデオ通信システムで使用できるスケーラブルビデオコーディングの諸特徴に基づくエラー隠蔽技法を活用する。

好ましい実施形態では、例示的ビデオ通信システムは、パケットベースのネットワークを介して運用されるマルチポイントテレビ会議システム10でよい(例えば図1を参照)。マルチポイントテレビ会議システムは、ネットワークを介するエンドポイント(例えばユーザ1-kおよび1-m)間のスケーラブル多層または単層ビデオ通信を仲介するために、任意選択のブリッジ120aおよび120b(例えばマルチポイント制御ユニット(MCU)またはスケーラブルビデオ通信サーバ(SVCS))を含むことができる。例示的ビデオ通信システムの動作は、任意選択のブリッジ120aおよび120bの使用を伴う、または伴わないポイントツーポイント接続について同じであり、そのポイントツーポイント接続にとって有利である。本発明で説明される技法は、ポイントツーポイントストリーミング、ブロードキャスティング、マルチキャスティングなどを含め、他のすべてのビデオ通信アプリケーションにそのまま適用できる。

スケーラブルビデオコーディング技法およびスケーラブルビデオコーディングに基づくビデオ会議システムの詳細な説明は、たとえば、本願の譲受人に譲渡された国際特許出願第PCT/US06/28365号および第PCT/US06/28366号で提供される。さらに、スケーラブルビデオコーディング技法およびスケーラブルビデオコーディングに基づくビデオ会議システムの説明が、本願の譲受人に譲渡された国際特許出願第PCT/US06/62569号および第PCT/US06/061815号で提供される。

図1は、テレビ会議システム10の一般的構造を示す。テレビ会議システム10は、LAN1および2ならびにサーバ120aおよび120bを通じてネットワーク100を介してリンクされる複数のエンドユーザ端末(例えばユーザ1-kおよびユーザ1-m)を含む。サーバは、従来型MCUでよく、あるいはスケーラブルビデオコーディングサーバ(SVCS)または合成スケーラブルビデオコーディングサーバ(CSVCS)でよい。後者のサーバは、従来型MCUと同じ目的を有するが、複雑さが著しく低減され、機能が改善されている(例えば国際特許出願PCT/US06/28366およびPCT/US06/62569を参照)。本明細書の説明では、「サーバ」という用語をSVCSまたはCSVCSを総称的に指すのに使用することがある。

図３に、複数層コーディングに基づくビデオ会議システム(たとえば、システム100)と共に使用するために設計されたエンドユーザ端末140のアーキテクチャを示す。端末140は、ヒューマンインターフェース入出力デバイス(たとえば、カメラ210A、マイクロホン210B、ビデオディスプレイ250C、スピーカ250D)と、入力および出力の信号マルチプレクサユニットおよび信号デマルチプレクサユニット(たとえば、パケットMUX 220AおよびパケットDMUX 220B)に結合された1つまたは複数のネットワークインターフェースコントローラカード(NIC)230とを含む。NIC 230は、イーサネット（登録商標）LANアダプタなどの標準ハードウェア構成要素、任意の他の適切なネットワークインターフェースデバイス、またはこれらの組合せとすることができる。

カメラ210Aおよびマイクロフォン210Bは、他の会議参加者に送信するために参加者ビデオ信号および参加者オーディオ信号をそれぞれ取り込むように設計される。逆に、ビデオディスプレイ250Cおよびスピーカ250Dは、他の参加者から受信したビデオ信号およびオーディオ信号をそれぞれ表示および再生するように設計される。ビデオディスプレイ250Cは、参加者/端末140自体のビデオを任意選択で表示するように構成することもできる。カメラ210A出力およびマイクロフォン210B出力は、それぞれアナログ-デジタル変換器210Eおよび210Fを介してビデオエンコーダ210Gおよびオーディオエンコーダ210Hに結合される。ビデオエンコーダ210Gおよびオーディオエンコーダ210Hは、電子通信ネットワークを介する信号の伝送のために必要な帯域幅を削減するために、入力ビデオデジタル信号および入力オーディオデジタル信号を圧縮するように設計される。入力ビデオ信号は、ライブビデオ信号でよく、または事前記録され、格納されたビデオ信号でよい。エンコーダは、信号の伝送に必要な帯域幅を最小限に抑えるためにローカルデジタル信号を圧縮する。

本発明の例示的実施形態では、当技術分野で周知の任意の適切な技法(例えばG.711、G.729、G.729EV、MPEG-1など)を使用してオーディオ信号を符号化することができる。本発明の好ましい実施形態では、スケーラブルオーディオコーデックG.729EVがオーディオエンコーダ210Gで使用されてオーディオ信号が符号化される。オーディオエンコーダ210Gの出力はマルチプレクサMUX220Aに送られ、NIC230を通じてネットワーク100を介して伝送される。

パケットMUX220Aは、RTPプロトコルを使用して従来型多重化を実施することができる。パケットMUX220Aは、ネットワーク100、又は直接ビデオ通信アプリケーション（例えば国際特許出願PCT/US06/061815を参照）で提供することのできる任意の関連クオリティ・オブ・サービス(QoS)処理を実施することができる。端末140からのデータの各ストリームが、それ自体の仮想チャネル、またはIP用語では「ポート番号」で送信される。

ビデオエンコーダ210Gは、さまざまな層(この図では「ベース」および「拡張」というラベルが付けられている)に対応する複数の出力を有するスケーラブルビデオエンコーダである。同時放送が、層間予測が行われない、スケーラブルコーディングの特別な事例であることに留意されたい。次では、用語スケーラブルコーディングが使用される時に、この用語スケーラブルコーディングは、同時放送事例を含む。ビデオエンコーダの動作および複数の出力の性質を、本明細書で、下でより詳細に説明する。

H.264標準規格仕様では、柔軟なマクロブロック順序(flexible macroblock ordering (FMO))方式を使用することによって、複数の参加者のビューを単一のコーディングされたピクチャに組み合わせることが可能である。この方式では、各参加者は、コーディングされたイメージのうちで、そのスライスのうちの1つに対応する部分を占める。概念上、単一のデコーダを使用して、すべての参加者信号を復号することができる。しかし、実用的見地からは、受信器/端末は、複数のより小さい独立にコーディングされたスライスを復号しなければならない。したがって、デコーダ230Aを有する図３に示された端末140を、H.264仕様のアプリケーションに使用することができる。スライスを転送するサーバがCSVCSであることに留意されたい。

端末140では、デマルチプレクサDMUX 220Bが、NIC 320からパケットを受け取り、それらのパケットを適当なデコーダユニット230Aにリダイレクトする。

端末140内のSERVER CONTROLブロックは、国際特許出願第PCT/US06/028366号および第PCT/US06/62569号に記載のように、サーバ(SVCS/CSVCS)とエンドユーザ端末との間の相互作用を調整する。中間サーバなしのポイントツーポイント通信システムでは、SERVER CONTROLブロックは不要である。同様に、非会議アプリケーションで、ポイントツーポイント会議アプリケーションで、またはCSVCSが使用される時には、単一のデコーダだけが、受信するエンドユーザ端末で必要である場合がある。格納されたビデオを含むアプリケーション(たとえば、事前に記録され、事前にコーディングされた材料の放送)の場合、送信するエンドユーザ端末は、オーディオ符号化ブロックおよびビデオ符号化ブロックの全機能性ならびにこれらに先行するすべてのブロック(カメラ、マイクロホンなど)を必要としない場合がある。具体的に言うと、下で説明する、ビデオパケットの選択的送信に関係する部分だけを設ける必要がある。

単語「端末」がこの文脈で使用されるが、端末のさまざまな構成要素は、互いに相互接続された別々のデバイスでよく、パーソナルコンピュータ内で、ソフトウェアまたはハードウェアとして一体化することができ、あるいはその組合せとすることができる。

ビデオエンコーダ(ベース層および時間拡張層)の例示的アーキテクチャを示すベース層ビデオエンコーダ300について説明する。エンコーダ300は、動き推定(ME)、動き補償(MC)、および他の符号化機能用の従来の「テキスト-ブック」バラエティビデオコーディング処理ブロック330に加えて、FRAME BUFFERSブロック310およびエンコーダ基準制御(ENC REF CONTROL)ブロック320を含む。ビデオエンコーダ300は、たとえば、H.264/MPEG-4 AVC (ITU-TおよびISO/IEC JTC 1、「Advanced video coding for generic audiovisual services」、ITU-T Recommendation H.264およびISO/IEC 14496-10 (MPEG4-AVC))またはSVC (J.Reichel、H.Schwarz、およびM.Wien著、「Joint Scalable Video Model JSVM 4」、JVT-Q202、Document of Joint Video Team (JVT) of ITU T SG16/Q.6 and ISO/IEC JTC 1/SC 29/WG 11、2005年10月)に従って設計することができる。たとえば国際特許出願第PCT/US06/28365号および第PCT/US06/62569号で開示された設計を含む、任意の他の適切なコーデックまたは設計が、ビデオエンコーダに使用できることを理解されたい。空間スケーラビリティが使用される場合に、DOWNSAMPLERが、入力解像度を下げる(たとえば、CIFからQCIFへ)ために任意選択で入力で使用される。

ENC REF CONTROLブロック300は、「スレッド式」コーディング構造を作成するのに使用される(たとえば、国際特許出願第PCT/US06/28365号を参照されたい)。標準的なブロックベースの動き補償コーデックは、Iフレーム、Pフレーム、およびBフレームの規則的構造を有する。たとえば、IBBPBBPのようなピクチャシーケンス(表示順の)では、「P」フレームは、シーケンス内の前のPフレームまたはIフレームから予測されるが、Bピクチャは、前のPフレームまたはIフレームと次のPフレームまたはIフレームとの両方を使用して予測される。連続するIピクチャまたはPピクチャの間のBピクチャの個数は、Iピクチャが現れるレートと同様に、変化する可能性があるが、たとえば、Pピクチャは最も最近のPピクチャより時間的に前の別のPピクチャを予測の基準として使用することは、不可能である。H.264コーディング標準規格は、2つの基準ピクチャリストが、このリスト内からのピクチャの並べ変えおよび選択的使用に備える適当なシグナリング情報と共に、それぞれエンコーダおよびデコーダによって維持されるという例外を有利に提供する。この例外を活用して、基準として使用されるピクチャを、そしてコーディングされるべき特定のピクチャについて使用される基準をも選択することができる。例示的なベース層ビデオエンコーダ300では、FRAME BUFFERSブロック310が、基準ピクチャリスト(1つまたは複数)を格納するメモリを表す。ENC REF CONTROLブロック320は、どの基準ピクチャがエンコーダ側で現行ピクチャに使用されるべきかを判定するように設計される。

ENC REF CONTROLブロック320の動作は、図4に示された例示的な階層化ピクチャコーディング「スレッディング」または「予測チェーン」構造400に関してさらなるコンテキスト内に置かれ、ここで、文字「L」は、任意のスケーラビリティ層を表すために使用され、これに時間層を表す数字(0が最小または最も粗である)が続く。矢印は、予測の方向、ソース、およびターゲットを示す。L0は、単に、4ピクチャだけ離された一連の規則的なP個のピクチャである。L1は、同一のフレームレートを有するが、予測は、前のL0フレームからの予測だけが許容される。L2フレームは、最も最近のL0フレームまたはL1フレームから予測される。L0は、全時間分解能の1/4(1:4)を提供し、L1は、L0フレームレートを2倍にし(1:2)、L2は、L0+L1フレームレートを2倍にする(1:1)。

本発明の特定の実施態様の要件に応じて、追加またはより少数の層を同様に構成して、異なるビットレート/スケーラビリティ要件に対処することができる。単純な例を図5に示すが、図5では、IPPP…フレームの伝統的な予測シリーズが、2つの層に変換されている。

本発明の諸実施形態で利用されるコーデック300は、複数レベルの時間スケーラビリティ分解能(たとえば、L0〜L2)および他の拡張分解能(たとえば、S0〜S2)を可能にするために別々のピクチャ「スレッド」からなるセット(たとえば、3つのスレッド410〜430のセット)を生成するように構成することができる。スレッドまたは予測チェーンは、同一スレッドからのピクチャまたはより下のレベルのスレッドからのピクチャのいずれかを使用して動き補償されるピクチャのシーケンスと定義される。図4の矢印は、3つのスレッド410〜430の予測の方向、ソース、およびターゲットを示す。スレッド410〜420は、共通のソースL0を有するが、異なるターゲットおよび経路(たとえば、それぞれターゲットL2、L2、およびL0)を有する。スレッドの使用は、時間スケーラビリティの実施を可能にする。というのは、任意の個数のトップレベルスレッドを、残りのスレッドの復号処理に影響せずに除去することができるからである。

エンコーダ300内で、ENC REF CONTROLブロックが、基準ピクチャとしてPピクチャだけを使用できることに留意されたい。順方向予測と逆方向予測との両方を伴うBピクチャの使用は、Bピクチャに使用される基準ピクチャの取り込みおよび符号化に要する時間だけコーディング遅延を増やす。伝統的な対話型通信では、将来のピクチャからの予測を伴うBピクチャの使用は、コーディング遅延を増やし、したがって回避される。しかし、Bピクチャを、全体の圧縮効率の向上を伴うので使用することもできる。スレッドのセット内で単一のBピクチャを使用すること(たとえば、L2をBピクチャとしてコーディングさせることによる)さえでも、圧縮効率を改善することができる。遅延に敏感ではないアプリケーションの場合、一部またはすべてのピクチャ(L0の可能な例外を有する)を、両方向予測を伴うBピクチャとすることができる。特にH.264標準規格については、この標準規格は表示順で過去の基準ピクチャを使用する2つの動きベクトルの使用を可能にするので、余分な遅延をこうむらずにBピクチャを使用することが可能であることに留意されたい。この場合に、そのようなBピクチャは、Pピクチャコーディングと比較して、コーディング遅延が増加することなく使用することができる。同様に、L0ピクチャを、従来のグループオブピクチャ(GOP)を形成するIピクチャとすることができる。

新たに例示的なベース層ビデオエンコーダ300を参照すると、ベース層エンコーダ300を増補して、たとえばH.264 SVC標準規格草案および国際特許出願第PCT/US06/28365号に記載されているように、空間拡張層および/または品質拡張層を作成することができる。図6に、空間拡張層を作成する例示的エンコーダ600の構造を示す。エンコーダ600の構造は、ベース層コーデック300に似るが、ベース層情報がエンコーダ600から使用可能にもされるという追加の特徴を有する。この情報には、動きベクトルデータ、マクロブロックモードデータ、コーディングされた予測誤差データ、および再構成された画素データを含めることができる。エンコーダ600は、拡張層のコーディング判断を行うために、この情報の一部またはすべてを再利用することができる。このために、ベース層データは、拡張層のターゲット解像度にスケーリングされる必要がある(たとえば、ベース層がQCIFであり、拡張層がCIFである場合には2倍)。空間スケーラビリティは、通常、2つのコーディングループを維持することを必要とするが、拡張層コーディングに使用されるベース層データを現行ピクチャのベース層内で符号化される情報から計算可能な値だけに制限することによって、単一ループ復号を実行することが(たとえばH.264 SVC草案標準規格の下で)可能である。たとえば、ベース層マクロブロックがインターコーディングされる場合に、拡張層は、予測の基礎として、そのマクロブロックの再構成される画素を使用することができない。しかし、拡張層は、その動きベクトルおよび予測誤差値を使用することができる。というのは、これらが、現行ベース層ピクチャに含まれる情報を復号することだけで入手可能であるからである。単一ループ復号は、デコーダの複雑さが大幅に減らされるので、望ましい。

スレッディング構造は、ベース層フレームと同一の形で拡張層フレームについて利用することができる。図7に、図4に示された設計に従う拡張層フレームの例示的スレッディング構造700を示す。図7では、構造700内の拡張層ブロックが、文字「S」によって示される。拡張層フレームおよびベース層のスレッディング構造を、国際特許出願第PCT/US06/28365号で説明されているように異なるものにすることができることに留意されたい。

さらに、たとえばSVC草案標準規格に記載され、国際特許出願第PCT/US06/28365号に記載されているように、品質スケーラビリティ用の類似する拡張層コーデックを構成することができる。そのような品質スケーラビリティ用のコーデックでは、入力のより高解像度版に基づいて拡張層を作成するのではなく、拡張層は、入力と同一空間の分解能で残留予測誤差をコーディングすることによって作成される。空間スケーラビリティと同様に、ベース層のすべてのマクロブロックデータを、単一ループコーディング構成または二重ループコーディング構成のいずれかで、品質スケーラビリティのために拡張層で再利用することができる。

説明を簡潔にするために、次の説明は、空間スケーラビリティに限定されるが、説明される技法を、品質スケーラビリティまたは忠実度スケーラビリティにも適用できることを理解されたい。

最新のビデオコーデックでの動き補償予測から生じる固有の時間的依存性に起因して、特定のピクチャのパケット消失が、その特定のピクチャの品質に影響するだけではなく、直接的あるいは間接的に、その特定のピクチャが基準として働くすべての将来のピクチャにも影響することに留意されたい。これは、将来の予測のためにデコーダが構成できる基準フレームが、エンコーダで使用された基準フレームと同一ではなくなるからである。それに続く差またはドリフトは、復号されたビデオ信号の視覚的品質に対してはなはだしい影響を有する可能性がある。しかし、国際特許出願第PCT/US06/28365号および第PCT/US06/061815号に記載されているように、構造400(図4)は、伝送エラーの存在下での頑健性に関する明らかな利点を有する。

図4に示されているように、スレッディング構造400は、3つの自己完結型の依存性チェーンを作成する。L2ピクチャで発生するパケット消失は、L2ピクチャだけに影響し、L0ピクチャおよびL1ピクチャは、それでも、復号し、表示することができる。同様に、L1ピクチャで発生するパケット消失は、L1ピクチャおよびL2ピクチャだけに影響し、L0ピクチャは、それでも、復号し、表示することができる。

スレッドの同一のエラー封じ込め(error containment)特性が、S個のパケットまで及ぶ。たとえば、構造700(図7)を用いると、S2ピクチャで発生する消失は、その特定のピクチャだけに影響するが、S1ピクチャでの消失は、続くS2ピクチャにも影響する。どちらの場合でも、ドリフトは、次のS0ピクチャの復号時に終了する。

スレッド式構造によって、ベース層ピクチャおよび一部の拡張層ピクチャが、その配送が保証される形で送信される場合には、残りの層を、パケット消失の場合に破滅的な結果を伴うことなく、ベストエフォート・ベースで送信することができる。必要となる保証付き送信は、DiffServ、FEC技法、または当技術分野で既知の他の適切な技法を使用して実行することができる。本明細書での説明では、保証付き伝送およびベストエフォート型伝送は、そのような差別化されたクオリティ・オブ・サービスを提供する2つの実際のチャネルまたは仮想チャネル(たとえば、それぞれ高信頼性チャネル(High Reliability Channel (HRC))および低信頼性チャネル(Low Reliability Channel (LRC))上で起こると仮定している(たとえば、国際特許出願第PCT/US06/028366号および第PCT/US06/061815号を参照されたい)。

たとえば、層L0〜L2およびS0が、HRC上で送信され、S1およびS2が、LRC上で送信されると考えられたい。S1またはS2パケットの消失は、限られたドリフトを引き起こすが、それでも、情報の消失をできる限り隠蔽できることが望ましいはずである。消失したS1ピクチャまたはS2ピクチャの隠蔽は、デコーダが使用可能な情報すなわち過去のS2ピクチャおよび現行ピクチャのベース層のコーディングされた情報だけを使用することができる。

本発明による例示的な隠蔽技法は、消失した拡張層フレームのベース層情報を利用し、これを拡張層の復号ループ内で使用する。使用できるベース層情報は、動きベクトルデータ(ターゲット層解像度のために適切にスケーリングされる)、コーディングされた予測誤差の差分(必要な場合、拡張層解像度のためにアップサンプリングされる)、およびイントラデータ(必要な場合、拡張層解像度のためにアップサンプリングされる)を含む。前のピクチャからの予測基準は、必要な時に、対応するベース層ピクチャではなく拡張層解像度ピクチャからとられる。このデータは、デコーダが、欠けているフレームの非常によい近似を再構成し、したがって欠けているフレームに対する実際のひずみおよび知覚されるひずみを最小にすることを可能にする。さらに、今や、欠けているフレームのよい近似が利用できるので、任意の依存フレームの復号も可能である。

図8に、解像度QCIFおよびCIFと2つの予測スレッド(L0/S0およびL1/S1)とを有する2層の空間スケーラビリティ符号化信号の例を使用する、隠蔽復号処理800の例示的ステップ810〜840を示す。処理800が、他の解像度および図示とは異なる個数のスレッドに適用可能であることを理解されたい。この例では、コーディングされたデータの到着ステップ810で、L0、S0、およびL1のコーディングされたデータが、無傷で受信端末に到着するが、S1のコーディングされたデータが失われると仮定する。さらに、時刻t0に対応するピクチャの前のピクチャのすべてのコーディングされたデータも、受信端末で受信済みであると仮定する。したがって、デコーダは、時刻t0にQCIFピクチャとCIFピクチャとの両方を正しく復号することができる。デコーダは、さらに、L0およびL1に含まれる情報を使用して、時刻t1に対応する正しく復号されたL1ピクチャを再構成することができる。

図8には特定の例が示されており、ここで、時刻t1のL1ピクチャのブロックLB1が、動きベクトルLMV1、および動き補償予測に加算されなければならない残差LRES1を用いる動き補償予測を使用することによって、ベース層復号ステップ820で符号化される。LMV1およびLRES1のデータは、受信端末によって受信されるL1データに含まれる。復号処理は、前のベース層ピクチャ(L0ピクチャ)からのブロックLB0を必要とし、これは、通常の復号処理の結果としてデコーダで使用可能である。S1データは、この例では失われると仮定しているので、デコーダは、拡張層ピクチャを復号するために、対応する情報を使用することができない。

隠蔽復号処理800は、拡張層ブロックSB1の近似を構成する。隠蔽データ生成ステップ830で、処理800は、対応するベース層ブロックLB1のコーディングされたデータ、この例ではLMV1およびLRES1を入手することによって隠蔽データを生成する。次に、処理800は、動きベクトルを拡張層の解像度にスケーリングして、拡張層動きベクトルSMV1を構成する。検討している2層ビデオ信号の例では、SMV1は、スケーリング可能な信号の解像度の比率が2なので、LMV1の2倍と等しい。さらに、隠蔽復号処理800は、ベース層残差信号を拡張層の解像度に、各次元で2倍だけアップサンプリングし、その後、任意選択で、サンプルレート変換処理の周知の原理に従って、フィルタLPFを用いて結果を低域フィルタリングする。隠蔽データ生成ステップ830のさらなる結果は、残差信号SRES1である。次のステップ840(隠蔽を伴う拡張層の復号処理)は、構成された隠蔽データSMV1およびSRES1を使用して、ブロックSB1を近似する。この近似は、前の拡張層ピクチャからのブロックSB0を必要とし、この前の拡張層ピクチャが、拡張層の通常の復号処理の結果としてデコーダで使用可能と仮定されることに留意されたい。異なる符号化モードは、同一の形または類似する形で動作することができる。

発明の隠蔽技法のさらなる例示的応用例は、高解像度イメージの例に関する。高解像度イメージ(たとえば、CIFより高い)では、しばしば、複数のMTU (maximum transmission unit)が、拡張層のフレームを伝送するために必要である。単一MTUサイズのパケットの成功の伝送の可能性がpである場合に、n個のMTUからなるフレームの成功の伝送の可能性は、pⁿである。従来のように、そのようなフレームを表示するためには、n個のパケットのすべてを成功して配送しなければならない。

発明の隠蔽技法の応用例では、S層フレームが、エンコーダで伝送のためにMTUサイズのスライスに分解される。デコーダ側では、受信されたSピクチャから使用可能なスライスであれば、どのスライスでも使用される。欠けているスライスは、隠蔽方法(たとえば、処理800)を使用して補償され、したがって、全体的なひずみが減る。

研究室の実験では、この隠蔽技法は、有効通信レート(総レート引く消失レート)での直接コーディングと比較した時に、類似する性能またはよりよい性能をもたらした。この実験について、層L0〜L2が、HRC上で確実に伝送されるが、層S1およびS2が、LRC上で伝送されると仮定した。Y-PSNRに関する実際の品質損失は、5%のパケット消失あたり0.2〜0.3dBの範囲内であり、明らかに、フレームコピーまたは動き補償フレームコピーなどの他の既知の隠蔽技法の性能をしのいだ(たとえば、S. Bandyopadhyay、Z. Wu、P. Pandit、およびJ. Boyce、「Frame Loss Error Concealment for H.264/AVC」、Doc. JVT-P072、ポーランド国ポズナム、2005年7月を参照されたい。彼らは、IPP…PI構造と1秒のI周期とを用いる単一層AVCコーディングの評価に於いて消失レート5%でも、数dBの損失を報告している)。この研究室実験結果は、本技法が、スケーラブルコーデックでエラー耐性を提供するのに有効であることを実証するものである。

図9に、異なるQPを有する標準「フォアマン」ビデオテストシーケンスを使用して得られたレート-ひずみ曲線を示す。QPごとに、レート-ひずみ値が、上で説明した発明のエラー隠蔽技法を適用しながら、異なる量のS1フレームおよびS2フレームを捨てることによって入手された。図9からわかるように、各QP曲線の右端の点は、消失なしに対応し、その後(右から左への方向で)、S2の50%の脱落、S2の100%の脱落、S2の100%およびS1の50%の脱落、ならびにS1およびS2の100%の脱落に対応する。異なるQPの0消失点を接続することによって得られる、コーデックのR-D曲線がオーバーレイされている。図9から、特に30未満のQPに関するさまざまな曲線が、R-D曲線に近いが、いくつかの場合により高いことがわかる。この差は、使用される基本的なコーデックのさらなる最適化によって除去されると期待される。

研究室の実験結果は、Y-PSNRが、有効伝送レートで動作する同一のエンコーダのY-PSNRと同じことを示す。これは、本隠蔽技法をレート制御のために有利に使用できることを暗示する。有効伝送レートは、消失レートを引いた伝送レートすなわち、宛先に実際に到着するパケットに基づいて計算されるレートと定義される。S1フレームおよびS2フレームに対応するビットレートは、通常は、特定のコーディング構造について全体の30%であり、これは、70%と100%との間の任意のビットレートを、レート制御のために選択された個数のS1およびS2フレームを除去することによって達成できることを暗示する。70%と100%との間のビットレートは、所与の期間内に捨てられるS2フレームまたはS1およびS2フレームの個数を選択することによって達成することができる。

レート制御に関するさらにより広い範囲を、たとえば国際特許出願第PCT/US06/061815号に記載のLR/SRピクチャを使用するピクチャコーディング構造について得ることができる。そのようなピクチャ構造を用いると、HRCでS0を伝送するのではなく、HRCでより低い時間分解能のSRだけを含めることが可能である。この特徴は、レート制御に関するより広い範囲を可能にする。

表1に、通常のビデオシーケンス(たとえば、空間スケーラビリティ、QCIF-CIF解像度、3層スレッディング、380Kbps)の異なるフレームタイプのレートパーセンテージを要約する。

異なるフレームタイプを組み合わせることによって、本隠蔽技法は、実際上すべての所望のレートを達成することができる。たとえば、L0〜L2ピクチャおよびS0ピクチャのすべてが含まれ、10個のS1ピクチャのうちの1つだけが捨てられる時に、全体の約72+1.8=73.8%のレートを達成することができる。微粒度スケーラビリティ(Fine Granularity Scalability(FGS))などの当技術分野で既知の代替技法は、類似するレート柔軟性を達成することを試みるが、非常に悪いレート-ひずみ性能およびかなりの計算オーバーヘッドを伴う。本発明の隠蔽技法は、FGSに関連するレートスケーラビリティを提供するが、そのような技法に関連するコーディング効率ペナルティを伴わない。

ビデオ伝送からのS1およびS2フレームの意図的な除去は、エンコーダでまたは使用可能な中間ゲートウェイ(たとえば、SVCS/CSVCS)のいずれかで実行することができる。

さらに、レート制御を達成するための本発明の隠蔽技法の応用例を、例示のみのために、2層構造内のS1フレームの消失に関して本明細書で説明したことを理解されたい。実際には、本技法は、特定のスレッディング構造に限定されるのではなく、ピラミッド型時間構造(たとえば、複数の品質レベルまたは空間レベルを含む構造、異なる時間構造など)を使用する任意の空間スケーラブルコーデックに適用することができる。

発明の隠蔽技法のさらなる用途は、2つのコーディングされた解像度の間にある解像度でビデオ信号を表示することである。たとえば、ビデオ信号が、空間スケーラブルコーデックを使用してQCIF解像度およびCIF解像度でコーディングされると仮定する。ユーザが、その出力を1/2 CIF解像度(HCIF)で表示することを望む場合に、従来のデコーダは、2つの手法すなわち、1)QCIF信号を復号し、HCIFにアップサンプリングするか、2)CIF信号を復号し、HCIFにダウンサンプリングするかのいずれかに従うはずである。第1の場合に、HCIF画質はよくないが、使用されるビットレートは低い。第2の場合に、品質を非常によくすることができるが、使用されるビットレートは、第1の手法で必要なビットレートのほぼ2倍になる。従来のデコーダのこれらの短所は、発明のエラー隠蔽技法によって克服される。

たとえば、S1およびS2フレームのすべてを意図的に破棄することは、本明細書で説明するS1/S2エラー隠蔽技法を適用することによって非常にわずかな品質低下を伴って、大幅な帯域幅削減をもたらすことができる。得られた復号CIF信号をダウンサンプリングすることによって、HCIF信号の非常によい表現(rendition)が得られる。別々の単一層ストリームがQCIF解像度およびCIF解像度で送信される従来の同時放送技法は、フレームレートをも低下させない限り、使用に適したビットレートでの中間解像度の信号のそのような導出はできないことに留意されたい。発明の隠蔽技法は、使用に適したビットレートでの中間解像度信号の導出に空間スケーラブルコーディングを活用する。

実際には、中間解像度を導出するための発明の隠蔽技法の応用例は、フル解像度でのS0に関する拡張層復号ループの動作を必要とする。この復号は、復号された予測誤差の生成と、フル解像度での動き補償の適用との両方を伴う。計算要件を減らすために、復号された予測誤差だけをフル解像度で生成し、その後、ターゲット解像度(たとえば、HCIF)にダウンサンプリングすることができる。次に、下げられた解像度の信号を、適切にスケーリングされた動きベクトルおよび残差情報を使用して動き補償することができる。この技法は、受信器への送信のために保持される「S」層のどの部分に対しても使用することができる。拡張層復号ループ内で導入されるドリフトがあるので、ドリフトを周期的に除去する機構が必要になる場合がある。Iフレームなどの標準技法に加えて、拡張層マクロブロック毎に空間スケーラビリティのINTRA_BLモードの周期的使用を採用することができ、このモードでは、ベース層からの情報だけが予測に使用される(たとえば、PCT/US06/28365を参照されたい)。時間情報が使用されないので、その特定のマクロブロックに関するドリフトが除去される。SRピクチャが使用される場合、すべてのSRピクチャをフル解像度で復号することによって、ドリフトを除去することもできる。SRピクチャは、遠く離れているので、それでも、計算の複雑さにおけるかなりの利益が存在し得る。いくつかの場合に、中間解像度信号を導出する技法を、拡張層デコーダループを下げられた解像度で動作させることによって修正することができる。CPUリソースが律速因子ではなく、SR分離より早い切替が必要であるか又は望まれる場合、同一の技法(すなわち、デコーダループをフル解像度で動作させる)を、必要に応じてより高い時間レベル(たとえば、S0)に適用することができる。

発明の隠蔽技法のもう1つの例示的応用は、空間レベルまたは品質レベルが同時放送を介して達成されるビデオ会議システムへの応用である。この場合、隠蔽は、上で説明したようにベース層情報を使用して実行される。拡張層のドリフトは、a)スレッディング、b)標準SVC時間スケーラビリティ、c)周期的Iフレーム、およびd)周期的イントラマクロブロックのうちのいずれか1つを介して除去することができる。

空間スケーラビリティを提供するために同時放送を利用しており、特定のストリームについて特定の宛先用のより高い解像度の情報だけを送信している(たとえば、エラーがないかほとんどないと仮定する場合)SVCS/CSVCSは、デコーダのそのようなエラー隠蔽機構を予想し、上で述べたようにドリフトを除去するのに時間スケーラビリティに頼ることによって、高解像度の欠けているフレームを低解像度のフレームと置換することができる。説明した隠蔽処理を、そのようなシステムでの有効レート制御をもたらすように簡単に適合できることを理解されたい。

より高い解像度のフレームを破棄するかその消失を検出する責任を負うSVCS、CSVCS、またはエンコーダが、そのようなフレームを受信するデコーダが本明細書に記載の隠蔽方法を備えていると仮定できない場合には、そのような実体は、次の方法のうちの1つによって、類似する機能性を達成する置換高解像度フレームを作成することができる。

a)空間スケーラビリティコーディングでのエラー耐性のために、追加の残差または動きベクトルの洗練を一切伴わずに、アップサンプリングされたベース層情報を使用するための適切なシグナリングだけを含むより低い解像度のフレームの構文解析に基づいて、合成フレームを作成する、
b)空間スケーラビリティを使用するシステムでのレート制御のために、(a)に記載の方法と、オリジナル高解像度フレームからの重要な情報を含むいくつかのマクロブロック(MB)が維持されることの追加との組合せ、
c)空間スケーラビリティのために同時放送を使用するエラー耐性のあるシステムのために、アップサンプリングされた動きベクトルおよび残差情報を含む合成MBを含む置換高解像度フレームを作成する、
d)空間スケーラビリティのために同時放送を使用するシステムでのレート制御のために、オリジナル高解像度フレームからの重要な情報を含むいくつかのMBが維持されることを追加された、(c)に記載の方法。

上の事例a)およびb)では、ベース層ピクチャのアップサンプリングされた版だけを使用するためのシグナリングは、コーディングされたビデオビットストリームを介して帯域内で、またはエンコーダもしくはSVCS/CSVCSから受信端末に送信される帯域外情報を介してのいずれかで実行することができる。帯域内シグナリングの場合は、拡張層MBのうちのいくつかまたはすべてについてベース層情報だけを使用するようにデコーダに指示するために、コーディングされたビデオビットストリーム内に特有の構文要素が存在しなければならない。SVC仕様のJD7版に基づき(参照によってその全体が本明細書に組み込まれるT. Wiegand、G. Sullivan、J. Reichel、H. Schwarz、M. Wien編集、「Joint Draft 7, Rev. 2: Scalable Video Coding」、Joint Video Team, Doc. JVT-T201、クラーゲンフルト、2006年7月を参照されたい)、米国仮特許出願第60/862,510号に記載の本発明の例示的コーデックでは、マクロブロックがコーディングされない時にベース層データを利用する特有の予測モードを使用しなければならないことを示すために、1組のフラグをスライスヘッダに導入することができる。すべての拡張層マクロブロックをスキップすることによって、エンコーダまたはSVCS/CSVCSは、実際にS1またはS2フレームを除去するが、これらを、デフォルト予測モード、およびすべてのマクロブロックがスキップされるという事実を示すのに必要な少数のバイトだけを含む非常に小さいデータパケットと置換する。同様に、レート制御を実行するために、エンコーダまたはSVCS/SVCSは、拡張層MBからいくつかの情報を選択的に除去することができる。たとえば、エンコーダまたはSVCS/SVCSは、動きベクトル洗練を選択的に維持するが、残差予測を除去することができ、あるいは、残差予測を保持するが、動きベクトル洗練を除去することができる。

SVC JD7仕様の参照を続けると、MB層(スケーラブルエクステンション内)には、ベース層が存在する場合、ベース層からの情報を予測するのに使用される複数のフラグがある。これらは、base_mode_flag、motion_prediction_flag、およびresidual_prediction_flagである。同様に、スライスヘッダ内に、MB層内のbase_mode_flagの存在を示すのに使用されるフラグadaptive_prediction_flagが既に存在する。隠蔽動作をトリガするために、すべてのMBについてbase_mode_flagに1をセットする必要があり、これは、既に存在するadaptive_prediction_flagを使用して行うことができる。スライスヘッダフラグadaptive_prediction_flagに0をセットし、インターMBのresidue_prediction_flagのデフォルト値が1であることを考慮に入れることによって、我々は、あるスライス内のすべてのMBがスキップされることを示し(mb_skip_runまたはmb_skip_flagシグナリングを使用して)、したがって本明細書で開示される隠蔽動作を不可欠に実行するようにデコーダに指示することができる。

隠蔽技法の潜在的短所は、S0フレームが通常は非常に大きい(たとえば、総帯域幅の45%)ので、S1フレームおよびS2フレームなしのコーディングされたストリームのビットレートが、非常に不均一または「バースト的」になる場合があることであると認められる。この挙動を軽減するために、修正形態(以下では「漸進的隠蔽」)では、S0パケットを、これらをより小さいパケットおよび/またはスライスに分割し、その送信を連続するS0ピクチャ間の時間間隔に渡って拡散させることによって送信することができる。S0ピクチャ全体は、最初のS2ピクチャについて使用可能ではなくなるが、最初のS2ピクチャによって受信された情報(すなわち、S0の諸部分ならびにL0およびL2の全体)を、隠蔽目的に使用することができる。この形で、デコーダは、L1/S1ピクチャを表示するのに間に合って、適切な基準フレームを回復することもでき、これは、L1/S1ピクチャと第2のL2/S2との両方の復号された版を作成する際にさらに役立つ。そうでない場合に、これらは、L0フレームからさらに離れているので、動きに起因するより多くの隠蔽アーチファクトを示す可能性がある。

バースト的S0伝送の影響を軽減するもう1つの代替解決策は、エンドツーエンド遅延の増加という犠牲を払う追加バッファリングによって、可変ビットレート(VBR)トラフィックを平滑化することである。マルチポイント会議アプリケーションでは、サーバ側に固有の統計的多重化があることに留意されたい。したがって、サーバから発するトラフィックのVBR挙動は、自然に平滑化される。

国際特許出願第PCT/US06/061815号は、エラー耐性およびランダムアクセスの問題を説明し、異なる応用シナリオに適当な解決策を提供する。

漸進的隠蔽技法は、ビデオ切替の実行のためにさらなる解決策を提供する。上で説明した漸進的隠蔽技法をも、ビデオ切替に使用することができる。例示的な切替応用例が、3層スレッディング構造を有するQCIFおよびCIF解像度でコーディングされた単一ループ空間スケーラブル信号への応用であり、この3層スレッディング構造は図7に示されている。国際特許出願第PCT/US06/061815号に記載されているように、L0ピクチャのうちのいくつかの確実な伝送を保証することによって、エラー耐性の強化を達成することができる。確実に伝送されるL0ピクチャを、LRピクチャと称する。同一のスレッディングパターンを、図10に示されているようにSピクチャに拡張することができる。Sピクチャの時間予測経路は、Lピクチャの時間予測経路と同一である。図10には、例示のために1/3(すべての3つのS0ピクチャのうちの1つがSRである)の例示的SR期間を示す。実際には、異なる期間および異なるスレッディングパターンを、本発明の原理に従って使用することができる。さらに、SピクチャおよびLピクチャ内の異なる経路を使用することもできるが、Sピクチャのコーディング効率の低下を伴う。LRピクチャと同様に、SRピクチャは、確実に伝送されると仮定される。国際特許出願第PCT/US06/061815号に記載されているように、これは、DiffServコーディング(LRおよびSRがHRC内にある)、FEC、またはARQなど、複数の技法を使用して達成することができる。

漸進的隠蔽技法の例示的切替応用例では、QCIF信号を受信する端末のエンドユーザは、CIF信号に切り替えることを望む場合がある。拡張層CIF信号の復号を開始できるようになるために、端末は、少なくとも1つの正しいCIF基準ピクチャを獲得しなければならない。国際特許出願第PCT/US06/061815号に開示された技法は、周期的イントラマクロブロックの使用を含み、その結果、ある時間期間内に、CIFピクチャの全マクロブロックがイントラコーディングされるようになる。短所は、(総帯域幅に対する影響を最小にするために)イントラマクロブロックのパーセンテージが低く保たれる場合、それを行うのにかなりの時間を要することである。対照的に、漸進的隠蔽技法の切替応用例は、拡張層CIF信号の復号を開始できるようになるために、SRピクチャの確実な伝送を活用する。

SRピクチャは、受信器がQCIFレベルで動作する場合であっても、受信器に送信し、復号することができる。SRピクチャは、頻繁ではないので、ビットレートに対するSRピクチャの全体的な影響を最小限にすることができる。ユーザがCIF解像度に切り替える時に、デコーダは、最も最近のSRフレームを利用し、受信された最初のSピクチャまでの中間Sピクチャが失われたかのように進行することができる。追加のビットレートが使用可能である場合には、送信側またはサーバは、受信器がCIF再生の開始フレームにできる限り近い基準ピクチャを構築するのをさらに助けるために、すべての中間S0ピクチャのキャッシングされたコピーを転送することもできる。S1/S2隠蔽技法のレート-ひずみ性能は、品質に対する影響が最小化されることを保証する。

本発明の技法は、エンドユーザが中間出力解像度、たとえばHCIFで復号し、その後CIFに切り替えることを望む時に有利に使用することもできる。HCIF信号は、捨てられたSフレームの隠蔽と結合された、L0〜L2とS0〜S2ピクチャの一部(たとえば、S0のみ)とから効果的に導出することができる。この場合に、デコーダは、S0ピクチャの少なくとも一部を受信するが、非常に小さいPSNRペナルティを伴ってCIF解像度に即座に切り替えることができる。さらに、このペナルティは、次のS0/SRピクチャが到着するや否や、除去される。したがって、この場合に、実用上オーバーヘッドはなく、ほとんど瞬間的な切替を達成することができる。

通常の空間コーディング構造は、1:4ピクチャ面積比を使用するが、一部のユーザが、1:2の解像度変化をより快適に感じることに留意されたい。したがって、実際には、たとえばデスクトップ通信アプリケーションでは、HCIFからCIFへの切替遷移は、QCIFからCIFへの切替遷移よりはるかに可能性が高い。ビデオ会議での一般的なシナリオは、スクリーン不動産が、他の参加者のより小さいピクチャに囲まれたアクティブ話者のより大きいピクチャに分割されることであり、アクティブ話者イメージは、より大きいイメージを自動的に占める。本明細書で説明するレート制御方法を使用して作成されるより小さいイメージの場合に、そのような切替を、オーバーヘッドを一切伴わずに頻繁に行うことができる。参加者イメージの切替は、オーバーヘッドを一切伴わずに「アクティブ」レイアウト内で頻繁に行うことができる。この特徴は、そのようなアクティブレイアウトを見ることを好む会議参加者と、静的ビューを好む他の会議参加者との両方に対処するのに望ましい。隠蔽による切替方法は、エンコーダによる追加情報の送信を一切必要としないので、ある受信器によるレイアウトの選択は、他の受信器によって受信される帯域幅に影響しない。

前述の説明は、エンコーダによって直接に提供される解像度/ビットレートの間の範囲にまたがる中間解像度およびビットレートに対して効率的なレンダリングの作成に言及したものである。データパーティショニングまたは再量子化など、ビットレートを減らす(たとえば、ドリフトを導入することによる)ための既知の他の方法を、本明細書で説明した発明の方法と共にSVCS/CSVCSによって使用して、ビットストリームのより詳細な操作を実現することができることを理解されたい。たとえば、QCIFおよびCIFだけが使用可能である時に1/3 CIFの解像度が望まれ、SR、S0〜S2コーディング構造が使用されると仮定する。S1およびS2の除去は、1/3 CIFとして効果的に使用するには高すぎるビットレートをもたらす場合がある。さらに、S0の除去は、低すぎるビットレートをもたらし、かつ/または動き関連アーチファクトに起因して視覚的に受け入れられないものになる場合がある。その場合に、データパーティショニングまたは再量子化などの既知の方法を使用してS0フレームのビットの量を減らすことは、より最適化された結果をもたらすために、SR伝送(VBRモードでまたは漸進的隠蔽を使用してのいずれか)とあいまって有用である可能性がある。これらの方法を、S1およびS2レベルに適用して、より微調整されたレート制御を達成できることを理解されたい。

本明細書で説明した好ましい実施形態は、H.264 SVC草案標準規格を使用するが、当業者に明白であるとおり、この技法を、複数の空間/品質レベルおよび時間レベルを可能にする任意のコーディング構造に直接に適用することができる。

本発明に従って、本明細書で説明したスケーラブルコーデックおよび隠蔽技法を、ハードウェアおよびソフトウェアの任意の適切な組合せを使用して実施することができることも理解されたい。前述のスケーラブルコーデックを実装し、動作させるソフトウェア(すなわち、命令)は、コンピュータ可読媒体上で提供することができ、このコンピュータ可読媒体は、ファームウェア、メモリ、ストレージデバイス、マイクロコントローラ、マイクロプロセッサ、集積回路、ASIC、オンラインダウンロード可能媒体、および他の使用可能な媒体を含むが、これに限定されない。

本発明の原理によるビデオ会議システムの全体的アーキテクチャを示すブロック図である。 例示的エンドユーザ端末を示すブロック図である。 本発明の原理による例示的エンドユーザ端末を示すブロック図である。 本発明の原理による例示的ピクチャコーディング構造を示す図である。 本発明の原理による代替のピクチャコーディング構造の例を示す図である。 本発明の原理による空間拡張層用のビデオエンコーダの例示的アーキテクチャを示すブロック図である。 本発明の原理による、空間スケーラビリティが使用される時の例示的ピクチャコーディング構造を示す図である。 本発明の原理による拡張層ピクチャの隠蔽を伴う例示的復号処理を示す図である。 本発明の原理による「フォアマン」シーケンスに適用される時の隠蔽処理の例示的R-D曲線を示す図である。 本発明の原理による、SRピクチャを用いる空間スケーラビリティが使用される時の例示的ピクチャコーディング構造を示す図である。

Claims (69)

1. ディジタルビデオ復号システムであって、
   時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされた受信ディジタルビデオ信号を復号するように構成されるデコーダ
   を含み、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
   対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャの復号のために、前記デコーダは、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、前記ターゲット層より下位の前記ピクチャの層からのコーディングされた情報を使用するように構成される、ディジタルビデオ復号システム。
2. 前記ディジタルビデオ復号システムは、受信端点内に配置され、前記システムは、さらに、
   リンクする通信ネットワークと、
   それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって前記受信端点および少なくとも1つの送信端点にリンクされた会議サーバと、
   前記スケーラブルビデオコーディングフォーマットでコーディングされた前記コーディングされたディジタルビデオを送信する少なくとも1つの端点と
   を含み、前記会議サーバは、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去するように構成される、請求項1に記載のシステム。
3. 前記受信端点および少なくとも1つの送信端点にリンクされた前記会議サーバは、
   カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
   出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
   選択的多重化を使用するスケーラブルビデオ通信サーバと、
   選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
   のうちの1つである、請求項2に記載のシステム。
4. 前記少なくとも1つの送信端点のエンコーダは、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化するように構成され、フレームのサブセット(「R」)は、確実な(reliable)トランスポートのために特に選択され、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようにするために、少なくともスレッド式コーディング構造内の最下位の時間層のフレームを含み、前記サーバは、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項2に記載のシステム。
5. 前記会議サーバは、送信端点から受信された入力ビデオ信号のうちでベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御するようにさらに構成される、請求項2に記載のシステム。
6. 前記会議サーバによる前記選択的除去は、所望の出力ビットレート要件に従って実行される、請求項2に記載のシステム。
7. 前記ディジタルビデオ復号システムは、受信端点内に配置され、前記システムは、さらに、
   スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する送信端点と、
   前記送信端点を前記受信端点にリンクする通信ネットワークと
   を含み、前記送信端点は、所望の出力ビットレートを達成するために、少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に送信しないように構成される、請求項1に記載のシステム。
8. 前記送信端点のエンコーダは、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化するように構成され、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記エンコーダは、前記エンコーダの入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を少なくとも1つの受信端点に選択的に送信しない、請求項7に記載のシステム。
9. 前記送信端点は、さらに、入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御するように構成される、請求項7に記載のシステム。
10. 前記送信端点による選択的送信の判断は、所望の出力ビットレート要件に従って実行される、請求項7に記載のシステム。
11. 前記デコーダは、前記コーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示するように構成される、請求項1に記載のシステム。
12. 前記デコーダは、さらに、前記直接に上位の空間層のすべてのコーディングされたデータを所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させるように構成され、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項1に記載のシステム。
13. 前記スケーラブルビデオコーディングフォーマットは、失われるか使用可能ではない前記ターゲット層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項1に記載のシステム。
14. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格を含むフォーマットのハイブリッドコーディングに基づき、前記ターゲット層のコーディングされた情報の一部またはすべてが失われるか使用可能ではない時に前記デコーダによって使用される前記ターゲット層より下位の空間層または品質層からの前記コーディングされた情報は、
    前記ターゲット層の解像度に適切にスケーリングされた動きベクトルデータと、
    前記ターゲット層の解像度にアップサンプリングされたコーディングされた予測誤差の差分と、
    前記ターゲット層の解像度にアップサンプリングされたイントラデータと
    のうちの少なくとも1つを含み、
    前記デコーダは、さらに、下位層の復号された基準ピクチャではなく、復号された出力ピクチャを構成するために復号処理での基準として前記ターゲット層の復号されたピクチャを使用するように構成される、請求項1に記載のシステム。
15. 前記デコーダは、さらに、前記デコーダがターゲット層を切り替える時に前記デコーダが復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について、前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させるように構成される、請求項1に記載のシステム。
16. 通信ネットワークと、
    前記ネットワーク内に配置され、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって少なくとも1つの受信および少なくとも1つの送信端点にリンクされた、会議サーバと、
    スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する少なくとも1つの端点と、
    時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
    を含み、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
    前記会議サーバは、下位の空間層データまたは品質層データの使用が、ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内で、シグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成され、
    対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャの復号のために、前記少なくとも１つの受信端点は、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、前記ターゲット層より下位の前記ピクチャの層からのコーディングされた情報を使用するように構成される、
    ビデオ通信システム。
17. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
    動きベクトルデータと、
    コーディングされた予測誤差の差分と、
    イントラデータと、
    基準ピクチャインジケータと
    のうちの少なくとも1つを含み、
    前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる、請求項16に記載のシステム。
18. 前記サーバは、さらに、
    カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
    出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
    選択的多重化を使用するスケーラブルビデオ通信サーバと、
    選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
    のうちの1つとして前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成するように構成される、請求項16に記載のシステム。
19. 前記少なくとも1つの送信端点のエンコーダは、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化するように構成され、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記サーバは、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項16に記載のシステム。
20. 前記会議サーバは、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御するようにさらに構成される、請求項16に記載のシステム。
21. 前記会議サーバによる前記選択的除去または変更は、所望の出力ビットレート要件に従って実行される、請求項16に記載のシステム。
22. 前記少なくとも1つの受信端点は、受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示するように構成される、請求項16に記載のシステム。
23. 前記少なくとも1つの受信端点は、さらに、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させるように構成され、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項22に記載のシステム。
24. 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項16に記載のシステム。
25. 前記受信端点は、さらに、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させるように構成される、請求項16に記載のシステム。
26. 通信ネットワークと、
    スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する1つの端点と
    時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
    を含み、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
    前記送信端点は、下位の空間層データまたは品質層データの使用が、ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、前記送信端点のコーディングされたビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成され、
    対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャの復号のために、前記少なくとも１つの受信端点は、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、前記ターゲット層より下位の前記ピクチャの層からのコーディングされた情報を使用するように構成される、
    ビデオ通信システム。
27. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
    動きベクトルデータと、
    コーディングされた予測誤差の差分と、
    イントラデータと、
    基準ピクチャインジケータと
    のうちの少なくとも1つを含み、
    前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる、請求項26に記載のシステム。
28. 前記送信端点は、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化するように構成され、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記送信端点は、前記少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項26に記載のシステム。
29. 前記送信端点は、前記送信端点の入力ビデオ信号のうちでベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、前記少なくとも1つの受信端点に送信される出力ビデオ信号の伝送レートを制御するようにさらに構成される、請求項26に記載のシステム。
30. 前記送信端点による前記選択的除去または変更は、所望の出力ビットレート要件に従って実行される、請求項26に記載のシステム。
31. 前記少なくとも1つの受信端点は、前記受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示するように構成される、請求項26に記載のシステム。
32. 前記少なくとも1つの受信端点は、さらに、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させるように構成され、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項26に記載のシステム。
33. 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項26に記載のシステム。
34. 前記受信端点は、さらに、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させるように構成される、請求項26に記載のシステム。
35. ディジタルビデオ信号を復号する方法であって、前記ディジタルビデオ信号は、時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされ、
    前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
    前記方法は、
    デコーダで前記ディジタルビデオ信号を受信することと、
    ターゲット空間層のコーディングされた情報の一部が失われるか使用可能ではない時に、スレッド式予測構造内で前記ターゲット空間層より下位の前記ピクチャの空間層または品質層からのコーディングされた情報を使用して、対応するベース層より上位の前記ターゲット空間層またはターゲット品質層でピクチャを復号することと
    を含む、方法。
36. 前記デコーダは、リンクする通信ネットワーク内の受信端点内に配置され、
    会議サーバは、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって前記受信端点および少なくとも1つの送信端点にリンクされ、
    前記少なくとも1つの送信端点は、前記スケーラブルビデオコーディングフォーマットでコーディングされた前記コーディングされたディジタルビデオを送信し、
    前記方法は、前記会議サーバで、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去することをさらに含む、請求項35に記載の方法。
37. 前記受信端点および少なくとも1つの送信端点にリンクされた前記会議サーバは、
    カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
    出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
    選択的多重化を使用するスケーラブルビデオ通信サーバと、
    選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
    のうちの1つである、請求項36に記載の方法。
38. 前記少なくとも1つの送信端点のエンコーダで、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようにするために、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記サーバは、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項36に記載の方法。
39. 前記会議サーバで、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項36に記載の方法。
40. 前記会議サーバによる前記選択的除去は、所望の出力ビットレート要件に従って実行される、請求項36に記載の方法。
41. 送信端点は、スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信し、
    通信ネットワークは、前記送信端点を前記受信端点にリンクし、
    前記方法は、前記送信端点で、所望の出力ビットレートを達成するために、少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に送信しないことをさらに含む、請求項35に記載の方法。
42. 前記送信端点で、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、エンコーダと同期化されるようになっており、前記エンコーダは、前記送信端点の入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を少なくとも1つの受信端点に選択的に送信しない、請求項41に記載の方法。
43. 前記送信端点で、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項41に記載の方法。
44. 前記送信端点による選択的送信の判断は、所望の出力ビットレート要件に従って実行される、請求項41に記載の方法。
45. 前記デコーダで、前記コーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項35に記載の方法。
46. 前記デコーダで、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項35に記載の方法。
47. 前記スケーラブルビデオコーディングフォーマットは、失われるか使用可能ではない前記ターゲット層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項35に記載の方法。
48. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格を含むフォーマットのハイブリッドコーディングに基づき、前記ターゲット層のコーディングされた情報の一部またはすべてが失われるか使用可能ではない時に前記デコーダによって使用される前記ターゲット層より下位の空間層または品質層からの前記コーディングされた情報は、
    前記ターゲット層の解像度に適切にスケーリングされた動きベクトルデータと、
    前記ターゲット層の解像度にアップサンプリングされたコーディングされた予測誤差の差分と、
    前記ターゲット層の解像度にアップサンプリングされたイントラデータと
    のうちの少なくとも1つを含み、
    前記方法は、前記デコーダで、下位層の復号された基準ピクチャではなく、復号された出力ピクチャを構成するために、復号処理での基準として前記ターゲット層の復号されたピクチャを使用することをさらに含む、請求項35に記載の方法。
49. 前記デコーダで、前記デコーダがターゲット層を切り替える時に前記デコーダが復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項35に記載の方法。
50. 通信ネットワーク上のビデオ通信の方法であって、前記ネットワーク内に配置され、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって少なくとも1つの受信および少なくとも1つの送信端点にリンクされた会議サーバを有し、前記少なくとも1つの端点は、スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信し、前記少なくとも1つの受信端点は、時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号でき、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
    前記方法は、
    前記会議サーバで、下位の空間層データまたは品質層データの使用が、前記ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更すること、
    前記少なくとも１つの受信端点において、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、前記スレッド式ピクチャ予測構造内で前記ターゲット層より下位の前記ピクチャの層からのコーディングされた情報を使用して、対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャを復号すること、
    を含む方法。
51. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
    動きベクトルデータと、
    コーディングされた予測誤差の差分と、
    イントラデータと、
    基準ピクチャインジケータと
    のうちの少なくとも1つを含み、
    前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる、請求項50に記載の方法。
52. 前記サーバは、さらに、
    カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
    出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
    選択的多重化を使用するスケーラブルビデオ通信サーバと、
    選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
    のうちの1つとして前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成するように構成される、請求項50に記載の方法。
53. 前記少なくとも1つの送信端点のエンコーダで、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記サーバは、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去するか変更する、請求項50に記載の方法。
54. 前記会議サーバで、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項50に記載の方法。
55. 前記会議サーバで、所望の出力ビットレート要件に従って前記選択的除去または変更を実行することをさらに含む、請求項50に記載の方法。
56. 前記少なくとも1つの受信端点で、受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項50に記載の方法。
57. 前記少なくとも1つの受信端点で、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項56に記載の方法。
58. 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項50に記載の方法。
59. 前記少なくとも1つの受信端点で、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項50に記載の方法。
60. 通信ネットワークと、
    スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する1つの端点と
    時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
    を含むビデオ通信方法であって、
    前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
    前記送信端点は、下位の空間層データまたは品質層データの使用が、前記ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、前記送信端点のコーディングされたビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成され、
    対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャの復号のために、前記少なくとも１つの受信端点は、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、前記ターゲット層より下位の前記ピクチャの層からのコーディングされた情報を使用するように構成される、
    ビデオ通信方法。
61. 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
    動きベクトルデータと、
    コーディングされた予測誤差の差分と、
    イントラデータと、
    基準ピクチャインジケータと
    のうちの少なくとも1つを含み、
    前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる、請求項60に記載の方法。
62. 前記送信端点で、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信されるビデオ信号を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信されたビデオ信号の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記送信端点は、前記少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、前記送信端点の入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去するか変更する、請求項60に記載の方法。
63. 前記送信端点で、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に送信される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項60に記載の方法。
64. 前記送信端点で、所望の出力ビットレート要件に従って前記選択的除去または変更を実行することをさらに含む、請求項60に記載の方法。
65. 前記少なくとも1つの受信端点で、前記受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項60に記載の方法。
66. 前記少なくとも1つの受信端点で、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
    周期的イントラピクチャと、
    イントラベース層モードの周期的使用と、
    前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
    のうちの少なくとも1つを使用することによって除去される、請求項65に記載の方法。
67. 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
    周期的イントラピクチャと、
    周期的イントラマクロブロックと、
    スレッド式ピクチャ予測と
    のうちの少なくとも1つを用いて構成される、請求項60に記載の方法。
68. 前記受信端点で、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項60に記載の方法。
69. 請求項35から49に記載の方法の１つを実行するようにプロセッサに指示するための一連の命令を含む、持続性のあるコンピュータ可読記憶媒体。

Images