JP5069099B2 - 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置 - Google Patents

Description

［関連出願］
米国特許法第１１９条の下での優先権主張。

本特許出願は、２００４年４月７日出願の米国仮出願番号60/560,433 "METHOD AND APPARATUS FOR PREDICTION FRAME IN HYBRID VIDEO COMPRESSION TO ENABLE TEMPORAL SCALABILITY"（時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法と装置）および２００４年１１月４日出願の米国仮出願番号60/625,700 "METHOD AND APPARATUS FOR PREDICTION FRAME IN HYBRID VIDEO COMPRESSION TO ENABLE TEMPORAL SCALABILITY"（時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法と装置）に対する優先権を主張する。これらはこの文書の譲受人に譲渡され、これによって、ここに参照として明白に組み込まれている。

［発明の分野］
本発明は時間スケーラビリティを提供するように符号化されたディジタルデータを配信するための方法、装置、およびシステムに関する。

インターネットと無線通信の爆発的成長と大きな成功、およびマルチメディアサービスに対する増え続ける需要のために、インターネット並びに移動／無線チャンネル上のストリーミング媒体は非常に大きく注目されてきた。異種のインターネットプロトコル（ＩＰ）ネットワークにおいて、映像はサーバにより提供され、１つ以上のクライアントによって送出されるかもしれない。有線接続はダイヤルアップ、統合サービスディジタル通信網（ＩＳＤＮ）、ケーブル、ディジタル加入者線プロトコル（全体としてｘＤＳＬと呼ばれる）、ファイバー、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、その他を含む。伝送モードは、ユニキャストまたはマルチキャストのいずれかであるかもしれない。携帯情報端末（ＰＤＡ）、ラップトップ、デスクトップ、セットトップボックス、テレビ、ＨＤＴＶ、携帯電話その他を含む種々の個別のクライアント機器は、同時に同じ内容に対して異なる帯域幅のビットストリームを要求する。接続帯域幅は、時間と共に急速に変化するかもしれず（９．６ｋｂｐｓから１００Ｍｂｐｓ以上）、サーバの反応より速いかもしれない。

移動／無線通信はこれらの異種のＩＰネットワークと同様である。これらのチャンネルはマルチパスフェージング、シャドウイング、シンボル間干渉、および雑音妨害により、しばしば激しく劣化するため、移動／無線チャンネル上のマルチメディアコンテンツの伝送は非常に難しい。移動性およびトラヒック競合のような他のいくつかの理由も、帯域幅変動の原因となる。チャンネル雑音および利用しているユーザ数はチャネル環境の時変特性を決定する。環境状態に加えて、受信先ネットワークは移動体のローミングと同様に地理的な位置により、第２、第３世代セルラネットワークから広帯域データのみのネットワークに変るかもしれない。利用可能な帯域幅に影響するこれらのすべての変数は、マルチメディアコンテンツ伝送の適応速度調整を、動作中であっても、必要とする。したがって、異種の有線／無線ネットワーク上の映像伝送に成功するには効率的な符号化および、損失には許容力がある一方、ネットワーク状態、機器特性並びにユーザの好みに対する適応性が必要である。

異なるユーザ要求を満たし、チャンネル変動に適応するために、１つのバージョンが、伝送帯域幅、ユーザの表示装置並びに計算機の能力に基づく１つの制約が満足するような、複数の独立したバージョンのビットストリームを発生させるということはあり得る。しかし、これはサーバの記憶装置およびマルチキャストにとって効率的ではない。ハイエンドユーザに対応する単一のマクロビットストリームがサーバで形成されるスケーラブル符号化には、ローエンドの用途のためのビットストリームはマクロビットストリームのサブセットとして埋め込まれているだけである。そのような単一のビットストリームは、選択的に副ビットストリームを送信することによって、種々の用途の環境に対して適合されるかもしれない。スケーラブル符号化がもたらす別の利点は、誤りを発生しやすいチャンネル上のロバスト性のある映像伝送に対するものである。誤り防止および誤り補正を容易に行うことができる。より信頼性のある伝送チャンネルまたはより良い誤り防止は、最も重要な情報を含む基本層ビットに適用されるかもしれない。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（全体をＭＰＥＧ−ｘと呼ぶ）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、およびＨ．２６４（全体をＨ．２６ｘと呼ぶ）のようなハイブリッド符号器には、空間的、時間的およびＳＮ比（ＳＮＲ）のスケーラビリティがある。ハイブリッド符号化において、動き補償予測（ＭＣＰ）により時間冗長度が除外される。映像は通常一連の画像群（ＧＯＰ）に分割され、各ＧＯＰはイントラ符号化フレーム（Ｉ）（intra-coded frame (I)）で始まり、前方予測フレーム（Ｐ）(forward predicted frame (P))および双方向予測フレーム（Ｂ）(bidirectional predicted frame (B))および双方向予測フレーム（Ｂ）の配列が続く。Ｐ−フレームおよびＢ−フレーム共にインターフレームである。ＢフレームはほとんどのＭＰＥＧ様符号器において時間スケーラビリティの鍵である。しかし、ＭＰＥＧ−４のシンプルプロファイルおよびＨ．２６４のベースラインプロファイルなどのプロファイルは、Ｂフレームをサポートしていない。

ＭＰＥＧ−４においては、プロファイルおよびレベルが、特定のビットストリームを復号するために必要な復号器の能力に基づいてシンタックスおよびセマンティクスのサブセットを定義する手段を与える。プロファイルはビットストリームのシンタックス全体の定義されたサブセットである。レベルはビットストリーム中のパラメータに課された定義された一組の制約である。任意の与えられたプロファイルに対して、レベルは一般に復号器の処理負荷およびメモリ能力に対応している。したがって、プロファイルとレベルはビットストリームへの制限を指定し、従って、ビットストリームを復号する能力に対して制限を与える。一般に、与えられたレベルで与えられたプロファイルにより指定されるすべてのシンタックス要素のすべての許容された値を適切に復号することができる場合、復号器はそのレベルでそのプロファイルに適合すると考えられるべきである。

本発明の目的は、ＭＰＥＧ−４のシンプルプロファイルおよびＨ．２６４のベースラインプロファイルにも適合する、簡易であるが効果的な時間スケーラビリティを提供する方法と装置を提供することである。ＭＰＥＧ−４規格はＩＳＯ／ＩＥＣ１４４９６−２に説明されている。Ｈ．２６４規格は［ＩＳＯ／ＩＥＣ１４４９６−１０］に説明されている。

時間スケーラビリティを、ＭＰＥＧ−ｘもしくはＨ．２６ｘのような映像圧縮並びに配信方式に提供するための符号化方式、および、時間スケーラビリティをＭＰＥＧ−４のシンプルプロファイル並びにＨ．２６４ベースラインプロファイル準拠機器に提供するための符号化方式を説明する。

一例において、符号器またはトランス符号器は、複数ユーザに対して可変データレートおよび映像品質を提供するように適応されるかもしれない単一のビットストリームを生成するかもしれない。１つのビットストリームは動作中に生成されるかもしれないし、メモリに格納されているかもしれない。例えば帯域幅要求を満足するか、環境雑音のようなチャンネル状態を満足するか、または品質可変の映像を配信するために、映像ストリームから時間スケーリングフレーム（temporal scaling frame）を除去するかもしれない。

他の例において、復号器は、例えば、電池容量または復号時間を温存するために時間スケーリングフレームの復号を省略する選択をするかもしれない。

いくつかの通信システムにおいて、伝送されるべきデータは、利用可能な帯域幅をより効率的に使用するために圧縮される。例えば、動画像専門家グループ（ＭＰＥＧ）はディジタルデータ配信システムに関連するいくつかの規格を開発した。ＭＰＥＧ−４規格は、通常大きなデータ損失のある、低データレートから高データレートのチャネル用に開発された。類似の規格はＩＳＯ／ＩＥＣ ＭＰＥＧと共にＩＴＵ−Ｔ映像符号化専門家グループ（ＶＣＥＧ）によって開発されたＨ．２６４である。

ＭＰＥＧ−ｘならびにＨ．２６ｘ規格は、固定長または可変長情報源符号化法を用いて映像、音声並びに他の情報の圧縮並びに配信によく適合したデータ処理並びに操作手法を説明している。特に、上で参照した規格および他のハイブリッド符号化規格並びに方法は、イントラフレーム符号化法（例えば、ランレングス符号化、ハフマン符号化およびそれに類似したもの）およびインターフレーム符号化法（例えば、前方並びに後方予測符号化、動き補償およびそれに類似したもの）を用いて映像情報を圧縮するだろう。特に、映像処理システムの場合において、ハイブリッド映像処理システムは、イントラフレームおよび／またはインターフレーム動き補償符号化を用いた映像フレームの予測に基づく圧縮符号化によって特徴づけられる。

イントラ符号化フレーム、前方並びに後方予測フレーム、および一方向予測時間スケーリングフレームを含む映像ストリームを符号化する方法、装置、およびシステムを説明する。時間スケーリングは、映像配信中に、送信機器、中間機器または受信機器で行われるかもしれない。

イントラフレーム符号化は他の画像（フィールドまたはフレーム）を参照することなく画像を符号化することを意味するが、イントラ符号化フレームは他のフレームのための参照として用いられるかもしれない。用語「イントラフレーム」、「イントラ符号化フレーム」、および「Ｉフレーム」はすべて本出願を通じて用いられるイントラ符号化で形成される映像オブジェクトの例である。

インター、または予測符号化は他の画像（フィールドまたはフレーム）を参照して画像を符号化することを意味する。イントラ符号化フレームに較べ、インター符号化または予測フレームは、より大きい効率で符号化されるかもしれない。本出願を通じて使用されるインターフレームの例は、予測フレーム（前方または後方予測のいずれかであり、「Ｐフレーム」とも呼ばれる）、双方向の予測フレーム（「Ｂフレーム」とも呼ばれる）および一方向予測時間スケーリングフレーム（「Ｐ^＊フレーム」とも呼ばれる）である。インター符号化の他の用語は、ハイパス符号化、残差符号化、動き補償内挿および当業者に周知のその他のものを含む。

典型的なＭＰＥＧ復号器において、予測符号化された画素ブロック（すなわち、１つ以上の動きベクトル（motion vector）および残留誤差成分を含むブロック）は参照フレーム（イントラフレームまたは他の予測フレームが参照フレームとして利用されるかもしれない）に関して復号される。図１ＡはＭＰＥＧ−４シンプルプロファイルデータストリームを示す図である。これはＧＯＰに対するフレームの依存関係を示している。ＧＯＰ１０は初期Ｉフレーム１２およびそれに続く複数の予測Ｐフレーム１４から構成される。Ｐフレームの先行ＩまたはＰフレームへの依存性は、前方予想フレームのみをサポートするシステム（ＭＰＥＧ−４シンプルプロファイルおよびＨ．２６４ベースラインプロファイルに準拠するようなシステム）に与えられた時間スケーラビリティを制限するかもしれない。Ｐフレーム１４のいずれかを除外することは、他のＰフレームの復号において重大となるかもしれない情報の損失を招くかもしれない。Ｐフレームの除外は、例えば、映像のジッタを招き、または復号器が次のＧＯＰの開始を示す次のＩフレーム１６まで復号を続けることを不可能とするかもしれない。

時間スケーラビリティ問題の１つの解は、従来技術で用いられる双方向の予測フレームである。図１Ｂは時間スケーラビリティを可能にする通常の符号化データストリームを示す図である。これはＧＯＰのフレーム依存関係を示している。ＧＯＰ２０はＩフレーム２２Ａ、前方予測Ｐフレーム（forward predicted P frame）２４、および双方向予測Ｂフレーム２６で構成される。各Ｂフレームは、Ｉフレーム２２Ａまたは前方予測Ｐフレーム２４（後方予測Ｐフレームも用いられるかもしれないが本例では示さない）を基準とする前方並びに後方動きベクトルおよび残留誤差を組み合わせるかもしれない。Ｉフレーム２２Ｂは次のＧＯＰの始まりを示す。図１Ｂに示すように、ただ１つのＢフレーム２６がＩフレーム２２ＡとＰフレーム２４の間、または２つのＰフレーム２４の間に入っている。時間スケーラビリティにおいて、より大きな柔軟性を提供するために、いくつかのＢフレームが参照フレーム間に挿入されるかもしれない。他のフレームは参照フレームとしてＢフレームに依存しないため、他のフレームの復号に関して情報の損失無しにＢフレームを除外できるかもしれない。Ｂフレーム２６のこの特性により、Ｂフレーム２６をビットストリームに挿入することができるかもしれない。ビットストリームにおけるＢフレームは、チャネルの状態、帯域幅制限、電池容量、およびその他の考慮すべき事項に適合するために、符号器、トランス符号器または復号器のオプションとして除外されるかもしれない。例えば、参照フレーム間に３つのＢフレームがある場合、３つすべてのＢフレームを除外して、フレームレートを３／４だけ低減させるかもしれないし、または中央のＢフレームを保持して他の２つＢフレームを除外することによりフレームレートを１／２だけ低下させるかもしれない。データレートはそれに従って減少するかもしれない。

双方向予測は前方（一方向）予測単独に較べ、圧縮がよりよくなっているが、弊害がある。双方向予測は計算上の要求の増加が必要である。双方向予測フレームは、余分な符号化の複雑さを伴うかもしれない。マクロブロック整合（最も計算的に大きい符号化処理）を各目標マクロブロックに対して２回実行しなければならないかもしれないからである。１回は過去の参照フレームに対して、もう１回は未来の参照フレームに対してである。Ｂフレームの導入は、計算の複雑さが復号器側で増加し、スケジューリングを複雑にするかもしれない。この複雑さの増加が、ＭＰＥＧ−４シンプルプロファイルおよびＨ．２６４ベースラインプロファイルが双方向予測をサポートしない主な理由である。これらのプロファイルは携帯電話、ＰＤＡ並びに類似物のような電池並びに処理電力の効率的使用が必要な機器のために開発された。本発明は、そのような電力制限のある機器に時間スケーラビリティを提供する効果的な方法を提供する。

本発明は、ＭＰＥＧ−４のシンプルプロファイルとＨ．２６４のベースラインプロファイル内のいずれのシンタックスも変更することなく時間スケーラビリティを提供する、一方向予測時間スケーリングフレームを含む。一方向予測時間スケーリングフレームは通常のＢフレームが用いるような前方および後方予測の代わりに前方または後方予測だけを用いる。さらに、他の予測フレームは一方向予測時間スケーリングフレームを参照しないかもしれない。他のフレームが時間スケーリングフレームに依存しないかもしれないため、時間スケーリングフレームは、残りのフレームに影響をすることなく、ビットストリームから除外されるかもしれない。その結果、ＭＰＥＧ−４のシンプルプロファイルまたはＨ．２６４のベースラインプロファイルに余分なシンタックスを導入する必要がないかもしれない。フレームを、標準的な予測フレームとは対照的に、一方向予測時間スケーリングフレームとして識別するために、単一付加ビットが追加されるかもしれない。

図２は本発明に従う前方予測時間スケーラビリティ方式の例を示す図である。ＧＯＰ２００はＩフレーム２１０Ａ、Ｐフレーム２１２、および時間スケーラビリティフレーム２１４を含む。図２に示すように、連続したＰフレーム２１２の間の一方向予測時間スケーリングＰ^＊フレーム２１４として単一の前方予測フレームが用いられるかもしれない。複数の一方向時間スケーリングフレームが１つの参照フレームに依存するかもしれないことを理解するべきである。連続したＰフレーム２１２の間に複数の時間スケーリングフレームを置くことにより、データレート要求を満たすための適応性をより大きくできるかもしれない。Ｉフレーム２１０Ｂは次のＧＯＰの始まりを示す。

図３は本発明に従う後方予測時間スケーラビリティ方式の例を示す図である。ＧＯＰ３００はＩフレーム３１０Ａ、Ｐフレーム３１２、および時間スケーリングフレーム３１４を含む。図３に示すように、連続したＰフレーム３１２の間の一方向予測時間スケーリングＰ^＊フレーム３１４として単一の後方予測フレームが用いられるかもしれない。Ｉフレーム３１０Ｂは次のＧＯＰの始まりを示す。後方および前方の両方の場合に見られるように、他のフレームはそれぞれ時間スケーリングフレーム２１４および３１４を参照しない。フレームがそれらを参照しないため、時間スケーリングフレームは他のフレームに影響することなく符号化、伝送または復号から除去されるかもしれない。これは、伝送／復号から除外された一方向予測時間スケーリングフレームの数に従って、品質および／またはデータレートのゆるやかな低下をもたらすかもしれない。

一方向予測時間スケーリングフレームがＢフレームより必要計算が少ないため、一方向予測時間スケーリングフレームは、電力制限または計算的に制限された機器への使用に対しては有利であるかもしれない。一方向予測時間スケーリングフレームが後続のＰフレームを予測するためには用いられないため、Ｐフレームの符号化効率は、Ｐフレームだけを用いる時と比べて、落ちるかもしれない。この符号化効率の低下は、時間スケーラビリティを持つことの付加的利点を考えれば、許容されるかもしれない。図２および図３に示す一方向予測時間スケーリングフレームの例は、ただ１つのフレームを参照している。しかし、一方向予測時間スケーリングフレームが２つ以上のフレームを参照するかもしれないことが理解されるかもしれない。２つ以上の先行または後続フレームを参照することは、計算の複雑さを増加させるが、残留誤差の大きさを減少させるかもしれない。

前方予測一方向時間スケーリングフレームを双方向フレームの代わりに用いると、計算上の利点に加え、短い遅延時間が実現されるかもしれない。双方向フレームは、それらが後方予測されるフレームより後側で符号化される。これは、Ｂフレームが表示される前に付加的遅延があることを意味するかもしれない。図４に本発明の前方予測一方向時間スケーリングフレームを用いた表示および符号化処理のフレーム配列の例を示す。図４に示すように、双方向予測フレームと異なり、本発明の一方向予測時間スケーリングフレームは、リモート機器で表示される順序と同じ順序で符号化され伝送されるかもしれない。前方予測一方向時間スケーリングフレームを順番通りに符号化し伝送することによってＢフレームを用いるときに起こる付加的な遅延を避けることができる。これはテレビ会議のような用途に対して付加的利点となるかもしれない。

図５はストリーミング画像を符号化し、復号するための一般的な通信システムのブロックダイアグラムである。システム５００は符号機器５０５および復号機器５１０を含む。符号機器５０５はさらにイントラ符号化部品５１５、予測符号化部品５２０、時間スケーリング部品５２５およびメモリ部品５３０をさらに含む。符号機器５０５は外部ソース５３５からのデータにアクセスすることができる。外部ソース５３５は、例えば、外部メモリ、インターネットまたは生の映像および／またはオーディオフィードであるかもしれない。外部ソース５３５に含まれるデータは生（符号化されない）または符号化された状態にあるかもしれない。イントラ符号化部品５１５はイントラ符号化フレームを符号化するために用いられる。予測符号化部品５２０は、一方向予測時間スケーリングフレームを含むすべての種類の予測フレームを符号化するために用いられる。また、予測符号化部品５２０は、予測フレームを符号化するために用いられる論理回路を含むことに加えて、参照フレームを選択するために用いられる論理回路、および時間スケーリングフレームを他のフレームによる参照から除外するために用いられる論理回路を含む。予測符号化部品５２０は符号化のために生のまたは符号化データにアクセスするかもしれない。符号化データは、標準的ＰフレームまたはＩフレームを一方向予測時間スケーリングフレームで置き換えるためにアクセスされるかもしれない。符号化データ（イントラ符号化またはインター符号化されたいずれかのデータ）にアクセスすると、イントラ符号化部品５１５および予測符号化部品５２０に含まれる論理回路は符号化データを復号し、その結果再構築した生データを発生させる。この再構築された生データは、つぎに、一方向予測時間スケーリングフレーム（または、任意の他の形式のフレーム）として符号化されるかもしれない。

符号化の後に、符号化フレーム（encoded frame）はメモリ部品５３０または外部メモリに格納される。外部メモリは外部ソース５３５または別のメモリ部品（図示しない）と同様のものかもしれない。符号化フレームはネットワーク５４０を通じて送信（Ｔｘ）される。ネットワーク５４０は、有線または無線であるかもしれない。時間スケーリング部品５２５は、送信する前に時間スケーリングが求められているどうかを決定するための論理回路を含む。時間スケーリング部品５２５は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、送信からそれらを除去するための論理回路を含むかもしれない。符号機器によって実行される符号化処理は、後段でより完全に説明される。

復号機器５１０はイントラ復号部品５４５、予測復号部品５５０、時間スケーリング部品５５５および、メモリ部品５６０を含む符号機器５０５に類似した部品を含む。復号機器５１０はネットワーク５４０を通じて、または外部記憶装置５６５から伝送された符号化データを受信するかもしれない。イントラ復号部品５４５は、イントラ符号化データを復号するために用いられる。予測復号部品５５０は、一方向予測時間スケーリングフレームを含む予測データを復号するために用いられる。時間スケーリング部品５５５は、復号する前に時間スケーリングが求められているかどうかを決定するための論理回路を含む。本例では、時間スケーリング部品５５５は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、復号からそれらを除去するための論理回路も含むかもしれない。復号後、復号されたフレームは表示部品５７０上に表示されるか、または内部メモリ５６０もしくは外部記憶装置５６５に格納されるかもしれない。表示部品５７０は、電話またはＰＤＡ上の表示画面のような、復号機器の構成部分であるかもしれない。表示部品５７０は、また、外部周辺機器であるかもしれない。復号機器によって実行される復号処理は、後段でより完全に説明される。

復号機器を一方向予測時間スケーリングフレームをサポートするようにする変更は小さいかもしれない。Ｈ．２６４は複数参照の符号化をサポートしているため、ベースライン復号器が少なくとも２つの参照フレームをサポート可能な場合、復号器を一方向予測時間スケーリングフレームをサポートするように変更する必要はないかもしれない。ＭＰＥＧ−４のシンプルプロファイルに準拠する復号器は、バッファ内に１つの参照フレームしか許容しないかもしれない。そのため、一方向前方予測時間スケーリングフレームの復号後、参照フレーム用バッファ内の参照フレームは、バッファ内の参照フレームを復号直後の時間スケーリングフレームで置き換えられずに、後続のＰフレームのために保持されるだろう。

符号機器および復号機器に加え、時間スケーリングがトランス符号器として知られている中間的機器で行われるかもしれない。図６を参照して、トランス符号機器のブロックダイアグラムを示す。トランス符号機器６００は第１のネットワーク６０５と第２のネットワーク６２０の間に位置している。トランス符号機器６００は、図５で示した符号機器５０５のような機器から符号化データを第１のネットワークを通じて受信する。トランス符号機器６００はメモリ部品６１５内に受信データを格納する。また、トランス符号機器６００は時間スケーリング部品６１０を含む。時間スケーリング部品６１０は、第２のネットワーク６２０上で送信する前に時間スケーリングが求められているかを決定するための論理回路を含む。時間スケーリング部品６１０は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、伝送信号からそれらを除去する論理回路を含むかもしれない。トランス符号機器６００によって実行されるトランス符号化処理は、後段でより完全に説明される。

図７は本発明に従う時間スケーリングを含む符号化処理の一例を示すフローチャートである。符号化処理は図５に示した機器５０５のような符号器で行われる。ディジタル映像データ７１０は複数のフレームで構成されるＧＯＰへ符号化される。ＧＯＰは７２０で符号化されるイントラ符号化フレームで始まるかもしれない。イントラ符号化フレームは、少なくともいくつかの後続する（または、他のＧＯＰからフレームを参照するかもしれないオープンＧＯＰで後方予測する場合は、先行する）インターフレームの参照点として利用される。符号化処理７００は前方または後方予測フレームを含むかもしれない予測フレームの符号化７３０も含む。予測フレームは、前のイントラ符号化されたまたは予測フレームを参照するかもしれない動きベクトルまたは残留誤差のような動き補償データを含むかもしれない。予測フレームは、また他の予測フレーム（標準的および時間スケーリングフレームの双方）に対する参照フレームとして利用されるかもしれない。７４０で一方向予測時間スケーリングフレームを符号化することにより時間スケーラビリティが可能となる。これらのフレームは、イントラ符号化されたまたは予測フレームを参照する動き補償を含むかもしれない予測フレーム（７３０）に類似の方法で計算されるかもしれない。しかし、時間スケーリングフレーム自体は、他のフレームによる参照から除外される（すなわち、時間スケーリングフレームが任意の他のフレームを予測するために用いられることはない）。時間スケーリングフレームデータは、そのフレームを時間スケーリングフレームとして識別する付加情報も含むかもしれない。他のフレームは時間スケーリングフレームの存在に依存しないため、他のフレームに悪影響を与えずに、時間スケーリングフレームを除外することができる。７５０で符号化フレームは後で配信するためにメモリ内に格納されるかもしれない。符号化フレームは、格納ステップ７５０を使わずに符号化後に配信されるかもしれない。

符号化処理７００は、映像データ７１０がなくなるまで複数のＧＯＰを符号化し続けるかもしれない。複数のＧＯＰは異なる目的を満足するために異なる形式のフレームの異なる数のフレームで構成されるかもしれない。１つのＧＯＰ内に多くの時間スケーリングフレームを符号化すること（７４０）は、そのＧＯＰの配信または復号の品質または複雑さを調整する際により大きい柔軟性を提供する。

図８は本発明に従う時間スケーリングを含む映像配信処理の一例のフローチャートである。図８の左側は、図５に示す符号機器５０５のような映像送信元における処理に対応する。右側は、図５に示す復号機器５１０のような受信先機器における処理に対応する。有線／無線ネットワークは、２つの側を接続するかもしれない。また有線または無線ネットワークの組合せであるかもしれない。新しいネットワークへの変換は図６に示したトランス符号機器６００のようなトランス符号機器を含むかもしれない。図８の処理８００は、メモリからの映像フレームデータ検索８１０で始まる。このメモリは予め作成された永久メモリであるかもしれない。または、伝送時に計算されるフレームデータを保持するためのダイナミックメモリであるかもしれない。

８２０で映像データを時間的にスケーリングするかどうかの決定がなされる。この決定において考慮される事項は、例えば、最大値より低いレベルの品質を提供すること、データレートをネットワークの１つの最大容量より低くすること、トラヒックを制御すること、送信元機器もしくは受信先機器の電池容量を保持すること、または符号化並びに／もしくは復号化の時間を制限することであるかもしれない。時間スケーリングが実行される場合、８３０で時間スケーリングフレームが識別され、選択的にデータストリームから除外される。どのフレームも時間スケーリングフレームを参照しないため、一方向予測時間スケーリングフレームのいずれかを除外することは、いずれの他のフレームにも影響を与えないだろう。識別は、例えば、１に設定したときはそのフレームを時間スケーリングフレームをして識別する単一付加ビットまたはフラグを含む多くの形態を取るかもしれない。この付加ビットまたはフラグは規格準拠のシンタックスまたは固有の方法を用いて符号化されるかもしれない。ビットストリームが規格（およびプロファイル）準拠となる場合、時間スケーリングフレームは相互の先験的符号器−サーバ通信（ネットワーク適応の場合）または相互の先験的符号器−復号器識別子（機器の複雑さ／電力適応の場合）によって識別されるかもしれない。相互の先験的識別子（priori identifier）は、例えば、フレームの位置（例えば奇数フレーム番号または偶数フレーム番号）、復号もしくは表示のタイムスタンプ、またはフレーム順序であるかもしれない。識別の他の形態は、フレームが他のフレームに参照されたかに関するビットストリーム内情報を用いる復号器を含むかもしれない。除外されない映像フレームは有線／無線ネットワークを通じて受信先機器に送信される。マルチキャスト配信の場合には複数受信先機器が、またはユニキャスト配信の場合は単一受信先機器があるかもしれない。

受信先機器、すなわち図５の復号機器５１０のような復号器において、または中間ネットワーク機器、すなわち図６の機器６００のようなルータもしくはトランス符号器において、符号化された映像データがネットワークから取得される（８５０）。データの取得後、８６０で受信先機器または中間ネットワーク機器はそれぞれ時間スケーリングを行うか否かを決定するかもしれない。時間スケーリングする理由は、特に中間ネットワークルータに対しては、ネットワーク容量またはネットワーク負荷に関して、映像源での理由と同様であるかもしれない。時間スケーリングする理由は、例えば、特にＰＤＡ、携帯電話および類似のもののような資源を制限された機器に対する電池容量の保存も含むかもしれない。時間スケーリングが選ばれた場合、時間スケーリングフレームは識別され、例えばデータレートまたは復号時間のような目標パラメータを満足するために除去される。時間スケーリングフレームを除去した後、残りのフレームは、８８０でそれらの形式で決定される方法（例えばイントラ符号化の復号、前方予想復号など）で復号されるかもしれない。

上で検討した時間スケーリングの決定と除外処理は、エンコーダ機器５０５（図５）のような符号器、トランス符号機器６００（図６）のようなトランス符号器、または復号機器５１０（図５）のような復号器で実行されるかもしれない。これらの３つの機器の１つ以上が、同じビットストリーム内の時間スケーリングフレームの除外の決定に関係するかもしれない。

説明が簡単になるように図７−８に示した方法は連続した行為として示し、説明しているが、本発明に従ういくつかの行為がここに示し説明した順序と異なる順序で、および／または他の行為と同時に発生するかもしれないため、本発明は行為の順序に限定されないことが理解される筈である。

本発明を、一方向予測時間スケーリングフレームのための参照フレームとしてイントラフレームおよび前方予測フレームを利用することに関連して完全に説明したが、後方予測フレームのような他のフレームが参照フレームとして同様に利用されるかもしれないことは明白である。

本発明を、ＭＰＥＧ−ｘおよびＨ．２６ｘ形式の圧縮方法に関連して完全に説明したが、他の映像圧縮方法が本発明の方法を実施するかもしれないことは明白である。

本発明の態様は以下の記述を含むが、それらに限定されない。

除外可能な時間スケーリングフレーム（removable temporal scaling frame）を、その除外可能な時間スケーリングフレームを一方向予測することによって符号化することを含み、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化方法。

除外可能な時間スケーリングフレームを、その除外可能な時間スケーリングフレームを一方向予測することによって符号化するための手段を含み、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化装置。

除外可能な時間スケーリングフレームを、その除外可能な時間スケーリングフレームを一方向予測することによって符号化するように構成された電子機器であり、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化用電子機器。

他のフレームからの予測ではないイントラ符号化フレームを符号化することと、少なくとも１つのイントラ符号化フレームまたは予測フレームから予測された予測フレームを符号化することと、除外可能な時間スケーリングフレームをその除外可能な時間スケーリングフレームを一方向予測することによって符号化することであって、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられないことを含む、マルチメディアフレーム符号化方法を計算機に実行させるための命令を有する計算機読み出し可能な媒体。

符号化フレームデータを受信することと、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別することと、受信した符号化フレームデータを少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することとを含む、マルチメディアフレーム復号方法。

符号化フレームデータを受信するための手段と、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別するための手段と、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号するための手段とを含む、マルチメディアフレーム復号のための装置。

マルチメディアフレームを復号するための電子機器であって、符号化フレームデータを受信し、他のいずれのフレームを予測するためにも用いられない一方向に予測された任意の除外可能な時間スケーリングフレームを識別し、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号するように構成された電子機器。

符号化フレームデータを受信することと、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別することと、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号することとを含む、マルチメディアフレーム復号方法を計算機に実行させるための命令を有する計算機読み出し可能な媒体。

第１のネットワークを通じて符号化フレームを受信することと、第１のネットワークを通じて除外可能な時間スケーリングフレームを受信することであって、その除外可能な時間スケーリングフレームが少なくとも１つの符号化フレームから一方向に予測され、かつその除外可能な時間スケーリングフレームが他のいずれのフレームを予測するためにも用いられず、受信した符号化フレームを第２のネットワークを通じて送信することと、除外可能な時間スケーリングフレームを送信から除去することとを含む、マルチメディアフレームを時間的にスケーリングする方法。

第１のネットワークを通じて符号化フレームを受信するための手段と、第１のネットワークを通じて除外可能な時間スケーリングフレームを受信するための手段であって、その除外可能な時間スケーリングフレームが少なくとも１つの符号化フレームから一方向に予測され、かつその除外可能な時間スケーリングフレームが他のいずれのフレームを予測するためにも用いられず、受信した符号化フレームを第２のネットワークを通じて送信するための手段と、除外可能な時間スケーリングフレームを送信から除去するための手段とを含む、マルチメディアフレームを時間的にスケーリングするための装置。

当業者は、情報と信号が種々の技術と技法のいずれかを用いて表されるかもしれないことを理解するだろう。例えば、上の説明中に参照されたかもしれないデータ、命令、指示、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁気粒子、光学場もしくは光学粒子、またはそれらのいずれかの組合せで表されるかもしれない。

当業者は、ここに開示された例に関連して説明された種々の説明的論理ブロック、モジュール、およびアルゴリズムステップが電子的ハードウェア、計算機ソフトウェア、または双方の組合わせとして実施されるかもしれないことをさらに理解するだろう。ハードウェアとソフトウェアのこの互換性を明白に示すために、上では、種々の説明的部品、ブロック、モジュール、回路、およびステップをそれらの機能として一般的に説明した。そのような機能がハードウェアとして実施されるかソフトウェアとして実施されるかは、特定の用途および全体システムに課せられた設計上の制約に依存する。当業者は、説明した機能を各特定用途に対して種々の方法で実施するかもしれないが、そのような実施の決定が本発明の範囲を逸脱する原因になると解釈されるべきではない。

ここに開示された例に関連して説明した種々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向ＩＣ（ＡＳＩＣ）、プログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラム可能論理回路、個別ゲートもしくはトランジスタ論理回路、個別ハードウェア部品、またはここに説明した機能を実行するために設計されたそれらのいずれかの組み合わせで実施または実行されるかもしれない。汎用プロセッサはマイクロプロセッサであるかもしれないが、代替的には、プロセッサは通常のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であるかもしれない。プロセッサは、また、計算機器の組合せ、例えばＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つ以上のマイクロプロセッサ、またはそのような他のいずれかの構成、として実施されるかもしれない。

ここに開示された例に関連して説明した方法またはアルゴリズムのステップは、ハードウェア、プロセッサで実行されるソフトウェア、またはその２つの組合せで直接具体化されるかもしれない。ソフトウェアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、可搬型ディスク、ＣＤ−ＲＯＭ、または当業者に周知の他のいずれかの形式の記憶媒体にあるかもしれない。代表的記憶媒体は、プロセッサが記憶媒体から情報を読み出し、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替的には、記憶媒体はプロセッサの一部であるかもしれない。プロセッサおよび記憶媒体は特定用途向ＩＣ（ＡＳＩＣ）にあるかもしれない。ＡＳＩＣは無線モデムにあるかもしれない。代替的には、プロセッサおよび記憶媒体は個別部品として無線モデムにあるかもしれない。

開示された例のこれまでの説明は、通常の当業者が本発明を製造しまたは使用することを可能にするように提供されている。これらの例への種々の変更は当業者に容易に明らかになるだろう。また、ここに定義した原理は本発明の精神または範囲から逸脱することなく他の例に適用されるかもしれない。

イントラ符号化フレーム、前方および後方予測フレーム、および一方向予測時間スケーリングフレームを含む映像ストリームを符号化し、トランス符号化し、および復号する方法、装置、およびシステムを説明した。

従来のＭＰＥＧ−４シンプルプロファイルデータストリームを示す図。 時間スケーラビリティを可能にする従来の符号化データストリームを示す図。 本発明に従う前方予測時間スケーラビリティ方式の例を示す図。 本発明に従う後方予測時間スケーラビリティ方式の例を示す図。 本発明の前方予測一方向時間スケーリングフレームを用いた、表示用および符号化処理のフレーム順序の例を示す図。 ストリーミング画像を符号化し復号する一般的な通信システムのブロックダイアグラム。 トランス符号機器のブロックダイアグラム。 本発明に従う時間スケーリングを含む符号化処理の一例を示すフローチャート。 本発明に従う時間スケーリングを含む映像配信処理の一例のフローチャート。

Claims (27)

1. マルチメディアフレームを、双方向予測フレームを含まない単一層のビットストリームに符号化する方法であって、
   他のいずれかのフレームを予測するために使用されない、除外可能な時間スケーリングフレームであって、該単一層の該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを、表示順序に関して一方向に後方予測することによって、該除外可能な時間スケーリングフレームを符号化することと、
   該単一層における他のフレームから予測されたものではないイントラ符号化フレームを符号化することと、
   該単一層における少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化することと、
   該単一層における該符号化されたイントラ符号化フレームおよび該符号化された予測フレームをネットワークを通じて伝送し、該付加データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去することと、を含む方法。
2. 該予測フレームを符号化することが該予測フレームを前方予測することを含む請求項１に記載の方法。
3. メモリに該符号化フレームを格納することをさらに含む請求項１に記載の方法。
4. 動きベクトルおよび残留誤差データを持つ該予測フレームを符号化することと、
   該動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化することと、をさらに含む請求項１に記載の方法。
5. 該伝送されたフレームを受信することと、
   該受信したフレームを復号することと、をさらに含む請求項１に記載の方法。
6. 該伝送されたフレームを受信することと、
   該受信したイントラ符号化フレームおよび該受信した予測フレームを復号することと、
   該受信した除外可能な時間スケーリングフレームを除去することと、をさらに含む請求項１に記載の方法。
7. 該伝送されたフレームを受信することと、
   該受信した除外可能な時間スケーリングフレームを該付加データにより識別することと、をさらに含む請求項１に記載の方法。
8. マルチメディアフレームを、双方向予測フレームを含まない単一層のビットストリームに符号化する装置であって、
   他のいずれかのフレームを予測するために使用されない除外可能な時間スケーリングフレームであって、該単一層における該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを、表示順序に関して一方向に後方予測することによって、該除外可能な時間スケーリングフレームを符号化する手段と、
   該単一層における他のフレームから予測されたものではないイントラ符号化フレームを符号化する手段と、
   該単一層における少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化する手段と、
   該単一層における該符号化されたイントラ符号化フレームおよび該符号化された予測フレームをネットワークを通じて伝送し、該付加データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去する手段と、を含む装置。
9. 該予測フレームを符号化するための手段が、前方予測のための手段を含む請求項８に記載の装置。
10. メモリに符号化フレームを格納するための手段をさらに含む請求項８に記載の装置。
11. 動きベクトルおよび残留誤差データを持つ該予測フレームを符号化するための手段と、
    該動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化するための手段と、をさらに含む請求項８に記載の装置。
12. マルチメディアフレームを、双方向予測フレームを含まない単一層のビットストリームに符号化するための電子機器であって、
    他のいずれかのフレームを予測するために使用されない除外可能な時間スケーリングフレームであって、該単一層における該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを、表示順序に関して一方向に後方予測することによって、該除外可能な時間スケーリングフレームを符号化するように構成され、
    該単一層における他のフレームから予測されたものではないイントラ符号化フレームを符号化するようにさらに構成され、
    該単一層における少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化するようにさらに構成され、
    該単一層における該符号化されたイントラ符号化フレームおよび該符号化された予測フレームをネットワークを通じて伝送し、該付加データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去するようにさらに構成された電子機器。
13. 該予測フレームを前方予測を用いて符号化するようにさらに構成された請求項１２に記載の電子機器。
14. メモリに該符号化フレームを格納するようにさらに構成された請求項１２に記載の電子機器。
15. 動きベクトルおよび残留誤差データを持つ該予測フレームを符号化するように、および動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化するように、さらに構成された請求項１２に記載の電子機器。
16. マルチメディアフレームを、双方向予測フレームを含まない単一層のビットストリームに復号する方法であって、
    （ａ）いずれか他のフレームを予測するために使用されない除外可能な時間スケーリングフレームであって該単一層における該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に後方予測することによる除外可能な時間スケーリングフレーム、（ｂ）該単一層における他のフレームから予測されたものではないイントラ符号化フレーム、および（ｃ）該単一層における少なくとも１つのイントラ符号化フレームまたは予測フレームから予測された予測フレーム、を含む符号化フレームデータを受信することと、
    該単一層における該除外可能な時間スケーリングフレームを識別することと、
    該単一層における該受信した符号化フレームデータを、前記付加データに従って、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することと、を含む方法。
17. 該受信することは、無線ネットワークを通じて受信することを含む請求項１６に記載の方法。
18. 前方予測された該予測フレームを受信することをさらに含む請求項１６に記載の方法。
19. 該受信した除外可能な時間スケーリングフレームを該付加データにより識別することをさらに含む請求項１６に記載の方法。
20. マルチメディアフレームを、双方向予測フレームを含まない単一層のビットストリームに復号するための装置であって、
    （ａ）いずれか他のフレームを予測するために使用されない除外可能な時間スケーリングフレームであって該単一層における該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に後方予測することによる除外可能な時間スケーリングフレーム、（ｂ）該単一層における他のフレームから予測されたものではないイントラ符号化フレーム、および（ｃ）該単一層における少なくとも１つのイントラ符号化フレームまたは予測フレームから予測された予測フレーム、を含む符号化フレームデータを受信するための手段と、
    該単一層における該除外可能な時間スケーリングフレームを識別するための手段と、
    該受信した符号化フレームデータを、該付加データに従って、該単一層における少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号するための手段と、を含む装置。
21. 該受信するための手段が、無線ネットワークを通じて受信するための手段を含む請求項２０に記載の装置。
22. 前方予測された該予測フレームを受信するための手段をさらに含む請求項２０に記載の装置。
23. 該受信した除外可能な時間スケーリングフレームを該付加データにより識別するための手段をさらに含む請求項２０に記載の装置。
24. （ａ）双方向予測フレームを含まない単一層のビットストリームにおける、いずれか他のフレームを予測するために使用されない除外可能な時間スケーリングフレームであって、該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に後方予測することによる除外可能な時間スケーリングフレーム、（ｂ）該単一層における他のフレームから予測されたものではないイントラ符号化フレーム、および（ｃ）該単一層における少なくとも１つのイントラ符号化フレームまたは予測フレームから予測された予測フレーム、を含む符号化フレームデータを受信し、
    該単一層における該時間スケーリングフレームを識別し、
    該受信した符号化フレームデータを、該付加データに従って、該単一層における少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号するように構成された電子機器。
25. 該符号化フレームデータを無線ネットワークを通じて受信するようにさらに構成された請求項２４に記載の電子機器。
26. 前方予測された該予測フレームを受信するようにさらに構成された請求項２４に記載の電子機器。
27. 該受信した除外可能な時間スケーリングフレームを該付加データにより識別するようにさらに構成された請求項２４に記載の電子機器。

Images