JP4729220B2 - ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 - Google Patents

Description

【０００１】
【技術分野】
本発明は、広くはビデオ符号化に係り、更に詳細には品質的な及び時間的な両スケーラビリティを含むような微細粒状符号化（fine granular coding）技術に関する。
【０００２】
【背景技術】
微細粒状スケーラビリティ（ＦＧＳ）は、インターネットのような変化する帯域幅を持つようなネットワーク上で伝送するビデオを圧縮するために使用されている。そのようなＦＧＳ構造の例が図１Ａ、１Ｂ及び図２Ａ、２Ｂに示されている。見られるように、これらの構造はビットレートＲ_ＢＬで符号化されたベースレイヤと、Ｒ_ＥＬで符号化された単一の微細粒状エンハンスメントレイヤとからなっている。しかしながら、図１Ａ及び１Ｂにおいて、上記ベースレイヤはＩ及びＰフレームのみを含むように符号化されている一方、図２Ａ及び２Ｂでは上記ベースレイヤはＩ、Ｐ及びＢフレームを含むように符号化されている。
【０００３】
エンハンスメントレイヤの微細粒状性のために、ＦＧＳビデオストリームは、Ｂ_min＝Ｒ_ＢＬからＢ_max＝Ｒ_ＢＬ＋Ｒ_ＥＬまでの範囲の利用可能な帯域幅を持つ如何なるネットワークセッションを介しても伝送することができる。例えば、送信機と受信機との間で利用可能な帯域幅がＢ＝Ｒである場合、上記送信機はベースレイヤをレートＲ_ＢＬで送り、エンハンスメントレイヤの一部のみをレートＲ_ｅ＝Ｒ−Ｒ_ＢＬで送る。図１Ａ及び１Ｂから分かるように、エンハンスメントレイヤの上記部分は送信のために微細粒状の態様で選択することができる。従って、総送信ビットレートはＲ＝Ｒ_ＢＬ＋Ｒ_ｅである。
【０００４】
単一のエンハンスメントレイヤで広い範囲の伝送帯域幅をサポートする柔軟性のため、ＦＧＳフレームワークはＩＳＯのＭＰＥＧ−４規格により採用されている。ＦＧＳに基づくエンコーダを使用したシステムの一例が図３に示されている。該システムは、（Ｂ_min＝Ｒ_min、Ｂ_max＝Ｒ_max）の範囲内の変化する利用可能な帯域幅を持つネットワーク６を含んでいる。現在の利用可能な帯域幅（Ｒ）を推定又は測定するために、計算ブロック４も含まれている。ベースレイヤ（ＢＬ）ビデオエンコーダ８はビデオソース２からの信号を範囲（Ｒ_min、Ｒ）内のビットレート（Ｒ_ＢＬ）を用いて圧縮する。典型的には、ベースレイヤエンコーダ８は、上記信号を最小ビットレート（Ｒ_min）を用いて圧縮する。これは、ＢＬ符号化が当該ビデオ信号を送信する時点の前にオフラインで行われる場合に特に当てはまる。理解されるように、残差画像１２を計算するために、ユニット１０も含まれている。更に、エンハンスメントレイヤ（ＥＬ）エンコーダ１４は、上記残差画像をビットレートＲ_ＥＬで圧縮するが、該ビットレートはＲ_ＢＬからＲ_max−Ｒ_ＢＬの範囲内であり得る。上記ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化はリアルタイムで（図が意味するように）又は送信時点の前にオフラインでの何れでも生じ得るということに注意することが重要である。後者の場合、ビデオは記憶し、後の時点で図示されるようにリアルタイムレートコントローラ１６を用いて送信する（又はストリームする）ことができる。リアルタイムコントローラ１６は、現在の（リアルタイムな）利用可能な帯域幅Ｒを考慮に入れて、最良の品質のエンハンスメントレイヤ信号を選択する。従って、該レートコントローラからのＥＬ信号の出力ビットレートはＲ−Ｒ_ＢＬに等しい。
【０００５】
【発明の開示】
本発明は、品質的及び時間的な両方のスケーラビリティを含む微細粒状スケーラビリティ符号化技術を志向したものである。本発明によるビデオデータを符号化する方法の一例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータ及びベースレイヤフレームから生成される。該動き補償された残差画像は微細粒状符号化技術を用いて符号化されて、時間的エンハンスメントフレームを生成する。更に、上記ビデオデータ及びベースレイヤフレームから残差画像が発生される。次いで、これら残差画像も微細粒状符号化技術を用いて符号化されて、品質的エンハンスメントフレームを生成する。上記時間的エンハンスメントフレームと品質的エンハンスメントフレームとは、エンハンスメントレイヤへと合成することもできる。
【０００６】
本発明によるビデオデータを符号化する方法の他の実施例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータとベースレイヤフレームとから発生される。これら動き補償された残差画像は時間的エンハンスメントフレームを生成するよう符号化される。上記ビデオデータ、ベースレイヤフレーム及び時間的エンハンスメントフレームから残差画像が発生される。これら残差画像は、次いで、微細粒状符号化技術を用いて符号化され、品質的エンハンスメントフレームを生成する。更に、上記時間的エンハンスメントフレームは時間的エンハンスメントレイヤを形成し、上記品質的エンハンスメントフレームは品質的エンハンスメントレイヤを形成する。
【０００７】
本発明によるベースレイヤ及びエンハンスメントレイヤを含むビデオ信号を復号する方法の一例においては、上記ベースレイヤが復号されてビデオフレームを生成する。上記エンハンスメントレイヤも復号されて、動きベクトルを生成する。次いで、上記動きベクトルに従って上記ビデオフレームに対し動き補償が実行され、追加のビデオフレームを生成する。次いで、上記ビデオフレーム及び追加のビデオフレームはビデオシーケンスへと合成される。更に、向上されたビデオフレームを生成するために上記エンハンスメントレイヤが復号される。これら向上されたビデオフレームの各々は、上記ビデオフレーム及び追加のビデオフレームの一方に加算される。
【０００８】
尚、添付図面において、同様の符号は全図を通して対応する構成要素を示している。
【０００９】
【発明を実施するための最良の形態】
微細粒状スケーラビリティ（ＦＧＳ）符号化は、ベースレイヤにおいて送信される各フレーム又は画像のビデオ品質、即ち信号対雑音比（ＳＮＲ）を改善するために実施される。これは、復号されたベースレイヤ画像と元の画像との間の差である残差画像（ＲＩ）を計算することにより達成される。次いで、該残差画像は埋め込まれた、即ち微細粒状ビデオ符号化方法を用いて符号化される。この説明の目的のため、この符号化処理から生じる画像を、ＦＧＳ残差画像（ＦＲ）と称するであろう。
【００１０】
全てのベースレイヤビデオフレームのビデオ品質（即ち、ＳＮＲの尺度）を増加する代わりとして、幾つかの場合には、送信されるビデオシーケンスのフレームレートを増加することが望ましい。これは、追加のフレームを送信することにより達成される。例えば、ビデオ信号が毎秒１０フレーム（fps）のシーケンスからなっていると仮定する。ベースレイヤにおいては、このビデオシーケンスの５fps（例えば、フレーム１、３、５、…等を用いて）のみが符号化され、送信される。次いで、エンハンスメントレイヤが、残りの５fpsサブシーケンス（即ち、符号化フレーム２、４、６、…等）を追加する。この型式のスケーラビリティは時間的スケーラビリティとして知られ、そこでは、スケーラビリティレイヤが、ベースレイヤでは符号化されない余分なフレームを挿入することにより当該ビデオシーケンスの時間的表現を改善する。通常、これはスケーラブルビデオシーケンスの動きの滑らかさを改善する。
【００１１】
しかしながら、現在のＦＧＳ解決策は時間的スケーラビリティをサポートしていない。既存のＦＧＳ枠組み（元はＭＰＥＧ−４規格に対して提案され、現在は規準規格草案としての役割である）に基づけば、ベースレイヤはビットレートＲ_ＢＬのフレームレートｆ_ＢＬを用いて圧縮される。そして、ＦＧＳ型のコーデックによりカバーされる帯域幅範囲（即ち、Ｂ_min＝Ｒ_ＢＬ〜Ｂ_max＝Ｒ_ＢＬ＋Ｒ_ＥＬ）に無関係に、該スケーラブルビデオシーケンスは全帯域範囲（Ｂ_min、Ｂ_max）にわたりベースレイヤのフレームレート（即ち、ｆ_ＢＬ）を維持しなければならない。言い換えると、達成され得る唯一の改善は、上述したように、同一の毎秒当たりのフレームのシーケンス（ｆ_ＢＬ）のビデオ品質を増加させることによるものである。
【００１２】
上記に鑑み、本発明はＦＧＳ符号化に基づく品質的な及び時間的な両方のスケーラビリティを提供することを目指すものである。本発明によれば、これを達成する１つの方法は、以下に詳述するような、ＦＧＳビデオ符号化に基づくハイブリッドな時間的／品質的（即ち、時間的的／ＳＮＲ的）スケーラビリティ構造を使用するものである。
【００１３】
本発明によるハイブリッド時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の一例が図４Ａに示されている。見られるように、この構造はＩ及びＰフレームを含むようなベースレイヤを含んでいる。しかしながら、エンハンスメントレイヤはＦＧＳ残差（ＦＲ）フレームと共に双方向ＦＧＳ（ＢＤＦ）フレームを含んでいる。ＦＲ及びＢＤＦの両フレームの使用は、本発明が品質的及び時間的な微細粒状スケーラビリティを各々サポートするのを可能にする。
【００１４】
本発明によれば、ＢＤＦフレームは２つの時間的に隣接するベースレイヤフレームから予測される。次いで、この予測の結果得られる残差が微細粒状符号化方法を用いて符号化される。更に、ベースレイヤフレームも微細粒状方法を用いて符号化され、ＦＲフレームを生成する。ＢＤＦフレームを符号化するのに使用されるＦＧＳ型方法はＦＲ画像を符号化するのに使用されるＦＧＳ型方法とは異なっていても又は同一であってもよいことに注意するのが肝要である。
【００１５】
上記スケーラビリティ構造は、同一のフレームレートを維持しながらの微細粒状品質の（即ち、ＳＮＲの）スケーラビリティ、時間的（即ち、フレームレートのみを増加させることによる）スケーラビリティ、又は微細粒状品質的及び時間的な両方のスケーラビリティをサポートする柔軟性を提供する。本発明の下でサポートされる、これらの異なるモードのスケーラビリティの例が、図４Ｃないし４Ｅに示されている。
【００１６】
図４Ｃにおいては、エンハンスメントレイヤにおいてＢＤＦファイルのみが送信されているので、時間的スケーラビリティが達成される。図４Ｄにおいては、ＦＲフレームのみが送信されているので、品質的（即ち、ＳＮＲの）スケーラビリティが達成される。図４Ｅにおいては、ＢＤＦ及びＦＲの両方のフレームが送信されているので、品質的な及び時間的な両方のスケーラビリティが達成される。
【００１７】
本発明に基づけば、ＦＧＳエンハンスメントレイヤのフレームレート（ｆ_ＥＬ）はベースレイヤフレームレート（ｆ_ＢＬ）と同一でも異なることもできる。合成されたベース及びエンハンスメントレイヤシーケンスの総フレームレート（ｆ_Ｔ）は、以下のように、当該レイヤ内の画像の総数（Ｎ_ＥＬ）に対するＦＧＳエンハンスメントレイヤに使用されるＦＲ画像の数（Ｎ_ＦＲ）に依存する。
ｆ_Ｔ＝ｆ_ＢＬ＋（（Ｎ_ＥＬ−Ｎ_ＦＲ）／Ｎ_ＥＬ）・ｆ_ＥＬ （１）
【００１８】
図４Ａに示した例に関しては、総フレームレート（ｆ_Ｔ）はベースレイヤフレームレートの２倍である、ｆ_Ｔ＝２ｆ_ＢＬ＝ｆ_ＥＬ。通常、提案されたスケーラビリティ構造は、ベースレイヤ及び／又はエンハンスメントレイヤフレームレートが時間と共に変化する可変フレームレート状況をサポートする。更に、発生された圧縮されたストリームが総フレームレートｆ_Ｔを有する際に、送信されるストリームが異なるフレームレートｆ_ｔを有することができることに注意するのが重要である。例えば、図４Ｃ及び４Ｅの例においては、送信されるストリームはｆ_ｔ＝ｆ_Ｔなるフレームレートを有するが、図４Ｄの例においては、フレームレートはｆ_ｔ＝０.５ｆ_Ｔ＝ｆ_ＢＬである。
【００１９】
本発明によるハイブリッドな時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が、図４Ｂに示されている。理解されるように、この構造は図４Ａに示した例と同様のエンハンスメントレイヤを含んでいる。しかしながら、この構造は、ベースレイヤがＩ、Ｐ及びＢフレームを含むように符号化されている点で相違する。
【００２０】
本発明によるスケーラビリティ構造は、ベースレイヤとは異なる予測モードの変形をサポートすることもできる。図４Ａ〜４Ｂに示した例は１つの類の予測モードを表わす一方、図５Ａ〜５Ｂには他のモードが示されている。
【００２１】
図５Ａにおいては、順方向予測モードのみがサポートされており、これはビデオコーデックの簡単な低い複雑さの実施化につながる。このモードは、図示のように、エンハンスメントレイヤにおいて順方向ＦＧＳ（ＦＷＦ）フレーム形式を発生する。図５Ｂには、ＦＧＳレイヤにおいて逆方向ＦＧＳ（ＢＷＦ）フレームを発生するために逆方向予測モードが含まれている。図５Ｃにおいては、逆方向及び順方向予測モードの組合せが示されている。本発明によれば、これらの異なるＦＧＳ型画像形式と異なるベースレイヤ画像形式との組合せも意図されていることに注意すべきである。
【００２２】
本発明によるハイブリッドスケーラビリティ構造を採用したシステムの一例が図６に示されている。理解されるように、該システムは基本的に、ビデオソース２と、可変帯域幅ネットワーク６と、ベースレイヤ（ＢＬ）エンコーダ８と、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０とを含んでいる。本発明によれば、上記ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０は図４Ａ〜４Ｅ及び図５Ａ〜５Ｃに示したエンハンスメントレイヤの何れかを発生するように構成することができる。更に、ビデオソース２はデジタルビデオカメラのような如何なる型式のビデオキャプチャ装置により具現化することもできる。
【００２３】
図６に見られるように、ビデオソース２からの符号化されていないビデオデータはＢＬエンコーダ８とハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０との両方に入力される。ＢＬエンコーダ８は、元のビデオデータの一部を標準のフレーム予測符号化技術を用いて符号化する。本発明の好ましい実施例においては、ＢＬエンコーダ８はＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４エンコーダにより実施化することができる。
【００２４】
ＢＬエンコーダ８は、上記ビデオデータを所定のビットレートＲ_ＢＬで圧縮する。本発明の好ましい実施例においては、Ｒ_ＢＬは、ネットワーク６の現在の帯域幅に基づいて計算ブロック４により決定される。即ち、計算ブロック４は、最小ビットレート（Ｒ_ＭＩＮ）、最大ビットレート（Ｒ_ＭＡＸ）及びネットワーク６の現在の利用可能な帯域幅（Ｒ）を測定する。次いで、計算ブロック４はＲ_ＢＬをＲ_ＭＩＮとＲとの間の値に設定する。
【００２５】
殆どの場合、計算ブロック４はＲ_ＢＬをＲ_ＭＩＮに設定して、最低の帯域幅においてさえもネットワーク６が本発明により符号化されたビデオデータを収容することができるのを保証するようにする。これは、ベースレイヤ符号化処理がオフラインでなされる場合に特にそうである。
【００２６】
ソース２からの元のビデオデータ及びＢＬエンコーダ８により供給される符号化されたビデオデータ（即ち、ベースレイヤ）は、ハイブリッドエンコーダ２０内の残差画像（ＲＩ）計算ブロック１０と動き補償された残差画像（ＭＣＲＩ）計算ブロック２４との両方に供給される。ＲＩ計算ブロック１０及びＭＣＲＩ計算ブロック２４は、上記元のビデオデータ及び符号化されたビデオデータを用いて、以下に述べるように、残差画像１２及び動き補償された（ＭＣ）残差画像２２を各々発生する。
【００２７】
動作中において、上記ＲＩ計算ブロックはＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、この復号されたビデオデータにおけるピクセルと前記元のビデオデータにおけるピクセルとの間の差に基づいて残差画像１２が発生される。一般的に言って、残差画像は、ベースレイヤ（ビデオ信号を復号するデコーダにより必要とされる最小数のフレーム及び／又は最小量のデータを有する）におけるフレームと、元のビデオデータにおけるフレームとの間の差に対応する。
【００２８】
ＲＩ計算ブロック１０は、残差画像１２を発生するために、種々の異なる方法のうちの１以上を使用することができる。例えば、ベースレイヤにおけるフレームと元のビデオデータのフレームとの間で単純なピクセル対ピクセルの減算を実行することができる。これら２組のフレームの間の結果としての差（即ち、残差画像）は、フレーム解像度の差を含む。ベースレイヤが元のビデオデータの全フレームを含まない場合は、残差画像は、これらの欠けているフレームを含むことになる。
【００２９】
残差画像１２は、上記の符号化されたビデオデータを先ずフィルタ処理し、次いで、このフィルタ処理されたビデオデータと元のビデオデータとの間の差を決定することによっても発生することができる。この技術は、符号化されたビデオデータから、例えば符号化及び復号処理により生じる望ましくないノイズ等を除去するという利点を有している。本発明の好ましい実施例においては、上記の復号されたビデオデータをフィルタ処理するのに非ブロック化フィルタが使用されるが、本発明は斯かる型式のフィルタの使用に限定されるものではない。
【００３０】
残差画像１２を発生する他の技術は、上記の復号されたビデオと元のビデオデータとの両方をフィルタ処理し、次いで、これらの両型式のフィルタ処理されたデータの間の差を決定する技術を含む。この技術においては、同一の型式のフィルタ（例えば、非ブロック化フィルタ）を、元のビデオデータと復号されたビデオデータとの両方に対して適用することができる。他の例として、異なる型式のフィルタを元のビデオデータと復号されたビデオデータとに適用することもできる。
【００３１】
上述したように、残差画像１２はピクセルドメインにおいて計算される。例えば、ベースレイヤエンコーダがＤＣＴ変換型の符号化法を使用し、エンハンスメントレイヤエンコーダがウェーブレット変換型の符号化法を使用する場合、ベースレイヤ画像は、元の（即ち、変換されていない）ピクセルドメインにおいて元の画像から（ピクセル対ピクセルで）減算されなければならない。これは、残差信号を計算する前に、ベースレイヤ画像の圧縮されたビットストリームが、そのピクセルドメインでの表現を発生するために復号されることを要する。このような復号処理は、通常、ベースレイヤデコーダ内で行われるので（ベースレイヤの動き推定及び補償のために）、エンハンスメントレイヤデコーダは、それを利用することができる。次いで、結果としてのピクセルドメインの残差は、この残差のＦＧＳ符号化を実行する前に、所望の変換ドメイン（例えば、ウェーブレット）に変換されねばならない。
【００３２】
しかしながら、ベースレイヤ及びエンハンスメントレイヤの両エンコーダが同一の変換を使用する場合は、残差画像１２は変換ドメイン（例えば、ＤＣＴ又はウェーブレットドメイン）において計算することができる。この場合、ＦＧＳエンコーダは結果としての変換を直接（即ち、すでに所望の変換ドメインにあるので、残差信号に対して如何なる変換演算も実行する必要性なしに）符号化する。
【００３３】
また、動作中において、ＭＣＲＩ計算ブロック２４はＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、該復号されたビデオデータから動き補償方法に基づいてＭＣ残差画像２２が発生される。これは、例えば、動き補償画像を計算するための動き補償型の方法を使用して達成することができる。この動き補償画像は、次いで、ピクセルドメインにおいて対応する元の画像からピクセル毎に減算される。次いで、結果としてのピクセルドメインの残差は、微細粒状エンコーダによる符号化に先立ち、変換される。
【００３４】
残差画像１２は変換ドメインにおいて直接計算することができるが（例えば、ベースレイヤ及びエンハンスメントレイヤの両方が同一の変換を使用する場合）、ＭＣ残差画像２２はピクセルドメインにおいて計算されることに注意することが重要である。従って、ＭＣ残差画像２２（ピクセルドメイン）は、微細粒状型符号化に先立ち、変換（例えば、ＤＣＴ）されねばならない。
【００３５】
ハイブリッドエンコーダ２０は、ＦＧＳ ＭＣＲＩエンハンスメントレイヤ（ＥＬ）エンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４も含んでいる。動作の間において、ＦＧＳ ＭＣＲＩ ＥＬエンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４は、埋め込まれた微細粒状符号化技術を用いてＭＣ残差画像２２及び残差画像１２を各々符号化する。
【００３６】
本発明によれば、ＭＣ残差画像２２又は残差画像１２を符号化するために、如何なる微細粒状符号化技術も当該提案されたスケーラビリティ構造と共に使用することができることに注意すべきである。これら残差画像の何れの型式のものを符号化するための主な候補は、埋め込まれたＤＣＴ型のメカニズム（例えば、ビット面埋め込みＤＣＴ型メカニズム）及び埋め込まれた零ツリーウェーブレット方法の類である。変換関数の過完全集合（over-complete set）に基づくスケーラブル整合追跡等の他の微細粒状符号化方法も適用することができる。更に、ＭＣ残差画像２２及び残差画像１２を符号化するために、同一の又は異なる技術を使用することもできることに注意すべきである。
【００３７】
上記符号化の結果として、時間的エンハンスメントストリーム３２及びＦＧＳエンハンスメントストリーム３１を含む、エンハンスメントレイヤフレームの２つのストリームが生成される。時間的エンハンスメントストリーム３２はＭＣＲＩ ＥＬエンコーダ２６からの圧縮されたＦＧＳ時間的フレーム（即ち、ＭＣＲＩ）を含み、ＦＧＳエンハンスメントストリーム３１は残差画像ＥＬエンコーダ１４からのＳＮＲ（即ち、標準のＦＧＳ残差）フレームを含む。これらの２つのストリーム３１、３２は、合成して単一のＦＧＳエンハンスメントレイヤストリームを生成するか、又は２つの別個のストリームとして維持することができる。何れの場合にも、結果としてのＦＧＳストリーム（又は複数のストリーム）は記憶するか又はリアルタイムに送信することができる。
【００３８】
言い換えると、そして標準のＦＧＳの場合と同様に、本発明によるハイブリッド構造の下では、ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化は、リアルタイムに行うか（図により意図されるように）又は送信の時点より前にオフラインで行うことができる。２番目の場合は、ビデオは記憶することができ、後に送信する（又はストリーム化する）ことができる。
【００３９】
しかしながら、何れの筋書（即ち、リアルタイム符号化又はオフラインの非リアルタイム符号化）の下でも、エンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートをリアルタイムで決定するために、リアルタイムスケーラブルビデオレートコントローラ１８が含まれている。この割当は、計算ブロック４、ＦＧＳレートコントローラ２８及びユーザ入力３０からの入力に基づいて実行される。この割当の実行において、ビデオレートコントローラ１８は計算ボックス４からの入力Ｒ、Ｒ_ＢＬ及びＲ_ＭＡＸを使用して、エンハンスメントレイヤフレームを送信するために残された利用可能な帯域幅（Ｒ−Ｒ_ＢＬ）を決定する。更に、ＦＧＳレートコントローラ２８は、２つのエンハンスメントレイヤストリーム３１、３２の間のビットレートの割当も、入力Ｒ、Ｒ_ＢＬ及びＲ_ＭＡＸに基づいて決定する。更に、ユーザ入力３０はユーザが品質的及び／又は時間的スケーラビリティに対する好みを選択するのを可能にする。
【００４０】
エンハンスメントレイヤフレームを送信するためのビットレートが選択された後、リアルタイムスケーラブルビデオレートコントローラ１８は、エンハンスメントレイヤフレームの送信されるべき部分を選択する。エンハンスメントレイヤフレームの選択された部分は、上記２つのエンハンスメントレイヤストリーム３１、３２の一方又は両方からの何れのフレームとすることもできる。上述したように、この選択はユーザ入力３０により制御することもできる。例えば、ユーザが品質のスケーラビリティのみを好む場合は、リアルタイムスケーラブルビデオレートコントローラ１８はＦＧＳエンハンスメントストリーム３１のみからフレームを選択するであろう。この選択の後、リアルタイムスケーラブルビデオレートコントローラ１８は画像を可変帯域幅ネットワーク６に対してＢＬストリーム及びＥＬストリームとして出力する。
【００４１】
図７は、図６のベースレイヤエンコーダ８及びハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０用の機能的アーキテクチャの一例を示している。図７はＤＣＴ変換に基づく符号化動作を示しているが、他の変換（例えば、ウェーブレット）を使用することもできる。このアーキテクチャは、標準のＦＧＳ画像符号化と較べると時間的エンハンスメントフレームの符号化に対して追加の計算が必要とされるにも拘わらず、これらの追加の計算は余分な複雑さのオーバーヘッド無しで実現することができる。
【００４２】
図７に見られるように、ベースレイヤエンコーダ８は、ＤＣＴブロック８８と、量子化ブロック９０と、元のビデオからＢＬストリームの一部を発生するエントロピエンコーダ９２とを含んでいる。更に、ベースレイヤエンコーダ８は、元のビデオから２組の動きベクトルを生成する動き推定ブロック９４も含んでいる。この場合、一方の組の動きベクトルはベースレイヤ画像に対応し、他方の組は時間的エンハンスメントフレームに対応する。上記ベースレイヤ動きベクトルをＢＬストリームと多重化するためにマルチプレクサ１０４が含まれている。また、時間的エンハンスメントストリームに対応する動きベクトルを多重化するために他のマルチプレクサ１０６も含まれている。更に、上記２つのエンハンスメントレイヤストリームは、任意選択的な第３マルチプレクサ１０８により多重化して単一のストリーム（ＳＮＲ的及び時間的な両方のＦＧＳ画像からなる）を発生させるか、又は２つの別個のストリームとして記憶し／送信することもできる。
【００４３】
更に見られるように、ベースレイヤエンコーダ８は、逆量子化ブロック１００と、逆ＤＣＴブロック１０２と、動き補償ブロック９８と、フレームメモリ９６とを含んでいる。ベースレイヤエンコーダ８のこれらの機能ブロックは、全て、エンハンスメントレイヤＭＣ残差画像を計算する場合に使用される。理解されるように、これは、全コーデックアーキテクチャ内のデータの新規な（それでいて簡素な）データフロー制御を介して達成される。この資源の共用を可能にするものは、該エンコーダがベースレイヤフレームと時間的エンハンスメントフレームとを決して同時に圧縮することがないという事実である。
【００４４】
このデータフロー制御は、機能ブロック１２２、１２４、１２６及び１２８を介して達成される。例えば、或る機能ブロック１２２は、ＤＣＴブロック８８の出力を、ベースレイヤフレームが符号化されている場合は量子化ブロック９０へ、ＦＧＳエンハンスメントレイヤＭＣ残差画像が符号化されている場合は他の機能ブロック１２４への何れかに送出することにより制御する。
【００４５】
理解されるように、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳエンコーダ２０は残差画像及びＭＣ残差画像を記憶するＤＣＴ残差画像ブロック１１０を含んでいる。残差画像は、量子化ブロック９０の入力から出力を減算する減算器１３０により発生される。更に、ＭＣ残差画像は機能ブロック１２２の上側出力端において直接発生される。
【００４６】
ハイブリッドエンコーダ２０は適応型量子化（ＡＱ）符号化ツール１１２も含み、該ツールは残差画像及びＭＣ残差画像の両方に適用することができる。ＡＱツール１１２用の好適な候補は、選択的エンハンスメント及び／又は周波数重み付けによるビット面シフト処理を含むＦＧＳ ＭＰＥＧ−４規格により定義されるようなものである。
【００４７】
上記残差画像及びＭＣ残差画像を符号化して時間的なエンハンスメントストリーム及びＦＧＳエンハンスメントストリームを生成するために、ＦＧＳエントロピ符号化ブロック１１４も含まれている。この符号化は、図６に関連して説明したのと同様の技術により実行することができる。理解されるように、符号化ブロック１１４はＦＧＳ及び時間的エンハンスメントフレームの両方に使用することができる。何故なら、これら画像形式は共に、決して同時に圧縮されることはないからである。
【００４８】
本発明によるハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が図８Ａに示されている。理解されるように、この例ではハイブリッド型の時間的／ＳＮＲ的スケーラビリティを達成するために２つのエンハンスメントレイヤが使用されている。この場合、時間的レイヤはベースレイヤに関する時間的エンハンスメント（即ち、一層良好な動き）を達成するために使用される一方、ＦＧＳレイヤはベースレイヤ及び／又は時間的スケーラビリティエンハンスメントレイヤの品質ＳＮＲを改善するために使用される。
【００４９】
図８Ａのスケーラビリティ構造は、図８Ｂないし８Ｄに示すように、時間的エンハンスメントのみ、ＳＮＲ的エンハンスメントのみ、又は時間的／ＳＮＲ的な両方のエンハンスメントを実行する能力も提供する。図８Ｂにおいては、時間的レイヤのみが送信されるので、時間的スケーラビリティが達成される。図８Ｃにおいては、ベースレイヤフレームに対応するＦＧＳフレームのみが送信されるので、品質的（即ち、ＳＮＲ的）スケーラビリティが達成される。図８Ｄにおいては、時間的及びＦＧＳレイヤフレームの両方が送信されているので、品質的及び時間的スケーラビリティの両方が達成される。
【００５０】
図８Ａのハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造に関しては、他の変更例も考えられることに注意すべきである。例えば、時間的レイヤのフレームは双方向予測フレームに限定されるものではない。本発明によれば、時間的レイヤフレームは、順方向に予測されたもの若しくは逆方向に予測されたもののみ、又はこれらの何れかの組合せの何れかとすることができる。
【００５１】
本発明によるハイブリッド型スケーラビリティ構造を使用するシステムの他の例が図９に示されている。この例は、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ３４を除き、図６の例と同様である。この例においては、ハイブリッドビデオエンコーダ３４は図８に示したスケーラビリティ構造を生成するように構成されている。理解されるように、該ハイブリッドエンコーダ３４は時間的ＥＬビデオエンコーダ３６と、ＦＧＳ ＥＬビデオエンコーダ３８とを含んでいる。
【００５２】
この例によれば、時間的ＥＬビデオエンコーダ３６は図８Ａに示すような時間的レイヤのフレームを発生する。図９から分かるように、該時間的ＥＬビデオエンコーダ３６は、動き補償残差画像計算ブロック２４と、時間的動き補償残差画像（ＭＣＲＩ）ＥＬエンコーダ４０とを含んでいる。動作の間に、動き補償残差画像計算ブロック２４は、ビデオソース２から符号化されていないビデオデータを入力すると共にＢＬエンコーダ８から符号化されたビデオデータを入力し、ＭＣ残差画像２２を生成する。この例では、該ＭＣ残差画像２２は図６の例に関して説明したのと同様の技術により生成することができる。
【００５３】
図９を更に参照すると、時間的ＭＣＲＩ ＥＬエンコーダ４０は、ＭＣ残差画像２２を符号化して時間的レイヤフレーム４２をＲ_ＴＬなるビットレートで生成する。Ｒ_ＴＬなるビットレートは、計算ブロック４からの入力に基づいて決定される。更に、ＭＣ残差画像２２は、動き補償された残差を符号化するために使用される如何なる符号化方法により符号化することもできる。これは、ＭＰＥＧ−２、ＭＰＥＧ−４及び同様の規格により使用される方法、並びに符号化アルゴリズムを含む。特に、従来の時間的スケーラビリティに使用される符号化方法（ＭＰＥＧ−２及びＭＰＥＧ−４の時間的スケーラブルビデオ符号化ツールにおいてサポートされているようなもの等の）は良い候補である。
【００５４】
この例によれば、ＦＧＳ ＥＬビデオエンコーダ３８は図８に示すようなＦＧＳレイヤフレームを発生する。図９から分かるように、ＦＧＳ ＥＬビデオエンコーダ３８は残差画像計算ブロック２４と、ＦＧＳ残差画像ＥＬエンコーダ１４とを含んでいる。動作中において、残差画像計算ブロック２４は、ソース２からの符号化されていないビデオデータ、ＢＬエンコーダ８からの符号化されたデータ及び時間的レイヤフレーム４２を入力して、残差画像１２を生成する。該残差画像は、図６の例に関して説明した技術により生成される。
【００５５】
ＦＧＳ残差画像ＥＬエンコーダ１４は、上記残差画像１２を符号化してＦＧＳエンハンスメントレイヤフレーム４４を生成する。これは、埋め込みビット面ＤＣＴ型メカニズム（可変の／埋め込まれた量子化及び送信を伴う）、埋め込み零ツリーウェーブレット方法の類又は過完全組の変換関数に基づくスケーラブル整合追跡等の、微細粒状符号化技術により達成することができる。
【００５６】
図９から更に分かるように、リアルタイムスケーラブルビデオレートコントローラ１８も含まれている。動作中において、ビデオレートコントローラ１８はＢＬストリーム、時間的ＥＬストリーム４２及びＦＧＳ ＥＬストリーム４４をリアルタイムに入力する。先の例におけるのと同様に、ビデオレートコントローラ１８はエンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートを決定する。例えば、ＢＬ及び時間的ＥＬ４２ストリームの両方からのフレームが送信された場合は、上記割当はＦＧＳ ＥＬストリーム４４からフレームを送信するために残された利用可能な帯域幅（Ｒ−Ｒ_ＢＬ−Ｒ_ＴＬ）に基づいて実行され、これは計算ブロック４からの入力に基づいて決定される。
【００５７】
更に、ビデオレートコントローラ１８は、ＥＬストリーム４２、４４の一方が送信されるべきか、又は両方が送信されるべきかも決定する。この決定も利用可能な帯域幅及び／又はユーザ入力３０に基づくものとすることができる。この決定の後、ビデオレートコントローラ１８は可変帯域幅ネットワーク６に対して画像をＢＬストリーム、時間的ＥＬストリーム及びＦＧＳ ＥＬストリームとして出力する。しかしながら、時間的なスケーラビリティが望ましくない場合は、ＢＬストリーム及びＦＧＳ ＥＬストリームからの対応するフレームのみが出力される。
【００５８】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの一例が図１０に示されている。この例のデコーダは図６のエンコーダに対応するものである。本例において、該デコーダは、入力ＢＬストリームを復号するベースレイヤデコーダ４６と、ＥＬストリームを復号するエンハンスメントレイヤデコーダ６４とを有している。
【００５９】
見られるように、ベースレイヤデコーダ４６は２つの並列な経路を有している。下側の経路は、可変長デコーダ（ＶＬＤ）４８と、逆量子化ブロック５０と、逆ＤＣＴブロック５２とを含んでいる。動作中において、これらの要素４８、５０及び５２はＢＬストリームに対し可変長復号、逆量子化及び逆離散コサイン変換を実行して、加算器５８の一方の入力端子にビデオフレームを発生する。
【００６０】
ベースレイヤデコーダ４６の上側の経路は可変長デコーダ４８と、ベースレイヤ動き合成ブロック５４とを含んでいる。動作中において、ベースレイヤ動き合成ブロック５４は、ＶＬＤ４８により復号された動きベクトルを入力する。該動きベクトルは、ベースレイヤフレームメモリ５６に記憶されたフレームに対して動き補償を実行するために使用され、加算器５８の他方の入力端子に追加のフレームを生成する。
【００６１】
更に、動作中において、加算器５８は下側経路及び上側経路からのビデオフレームを合成して、該加算器５８の出力端子に図示のようにＢＬビデオを生成する。更に、該加算器５８の一方の出力端子はベースレイヤメモリ５６に結合されて、合成されたＢＬビデオフレームの各々を一時的に記憶する。これは、ベースレイヤ動き合成ブロック５４により生成されたフレームが、ベースレイヤメモリ５６に記憶された先のフレームに基づくようにするのを可能にする。
【００６２】
理解されるように、エンハンスメントレイヤデコーダ６４も２つの並列な経路を含んでいる。下側の経路は、ＦＧＳエンハンスメントレイヤＶＬＤ６６と、ＦＧＳ時間的エンハンスメントレイヤ動き補償ブロック７２とを含んでいる。動作中において、ＶＬＤ６６は入力ＥＬストリームに可変長復号処理を実行して、動き補償ブロック７２に動きベクトルを供給する。これら動きベクトルは、ベースレイヤデコーダ４６からのＢＬビデオフレームに対し動き補償を実行するために使用され、加算器７４の入力端子に動き補償されたエンハンスメントレイヤフレームを発生する。
【００６３】
エンハンスメントレイヤデコーダ６４の上側経路も、ＶＬＤ６６及び逆ＤＣＴブロック７０を含んでいる。これらの要素６６及び７０はＥＬストリームに対し可変長復号処理及び逆離散コサイン変換を各々実行して、残差ＦＧＳエンハンスメントフレームを加算器７４の他方の入力端子に発生する。該残差ＦＧＳエンハンスメントフレームは、ＢＬビデオフレームと動き補償されたエンハンスメントレイヤフレームとの両方を向上させるフレームを含んでいる。ビット面シフト処理がエンコーダ側でなされていた場合は、上記上側経路にビット面シフト処理ブロック６８も含めることができる。
【００６４】
動作中において、加算器７４は下側経路からの動き補償されたエンハンスメントレイヤフレームと、上側経路からの対応する残差ＦＧＳエンハンスメントレイヤフレームとを合成して、時間的なエンハンスメントレイヤフレームを生成するようになっている。更に、加算器７４は、上記上側経路からのＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームを変化されないまま他の加算器６２に通過させるようにもなっている。
【００６５】
動作中において、加算器６２はエンハンスメントレイヤデコーダ６４とベースレイヤデコーダ４６との両方からのフレームを合成して、図示のように向上されたビデオシーケンスを生成する。しかしながら、品質的スケーラビリティを達成するために、残差ＦＧＳエンハンスメントレイヤフレームがベースレイヤデコーダ４６からの対応するＢＬビデオフレームに加算されるであろう。従って、ＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームが加算器６２の入力端子にある場合に、スイッチ６０が閉成されて、これら２つのフレームが合成されるのを可能にする。
【００６６】
更に、時間的エンハンスメントレイヤフレームは対応するＢＬビデオフレームを有していないので、該時間的エンハンスメントレイヤフレームは上記の向上されたビデオシーケンスに、そのまま配置される。このように、時間的エンハンスメントレイヤフレームが加算器６２の入力端子にある場合は、上記スイッチは開成し、該時間的エンハンスメントレイヤフレームは加算器６２をそのまま通過するであろう。向上されたビデオシーケンスは、このようにして生成される。
【００６７】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの他の例が、図１１に示されている。この例は、ハイブリッド型時間的／ＳＮＲ的ＦＧＳデコーダ用の対応する機能的アーキテクチャを示している。図７のエンコーダアーキテクチャと同様に、該時間的エンハンスメントフレームの復号は、最小の複雑さのオーバーヘッドで実現されている。これは、ベースレイヤデコーダ４６とエンハンスメントレイヤデコーダ６４との間における動き補償機能ブロック１１６の共用により達成される。更に、標準のＳＮＲ ＦＧＳ復号経路も共用されている。時間的エンハンスメントフレームのＤＣＴ変換はベースレイヤエンコーダ（図７）のＤＣＴ機能ブロックにより計算することができるが、受信機側においては、逆ＤＣＴはエンハンスメントレイヤデコーダ６４の逆ＤＣＴブロック７０を用いて計算される。
【００６８】
理解されるように、ＥＬ圧縮ストリームはデマルチプレクス（１１８）されて、動きベクトルデータを符号化された残差情報から分離する。時間的エンハンスメントフレームに対応する動きベクトルは、時間的な予測されたフレームを計算するために動き補償ブロック１１６により使用される一方、圧縮された残差情報はエンハンスメントレイヤデコーダ６４により復号されると共に逆変換される。これら２つの信号は一緒に加算されて、表示装置に直接送ることができる時間的エンハンスメントフレームを発生する。ＳＮＲ／ＦＧＳ圧縮フレームに関しては、復号された信号は、表示動作の前に、対応するベースレイヤフレームに加算されねばならない。
【００６９】
ＢＬ圧縮ストリームもデマルチプレクス（１２０）されて、符号化された残差情報から動きベクトルデータを分離する。ＢＬフレームに対応する該動きベクトルは、ベースレイヤメモリ５４に記憶された復号されたベースレイヤフレームに基づいて動き補償を実行するために、動き補償ブロック１１６により使用される。
【００７０】
本発明を実施することができるシステムの一例が図１２に示されている。例示として、該システムは、テレビジョン；セットトップボックス；卓上、ラップトップ又はパームトップコンピュータ；パーソナルデジタルアシスタント（ＰＤＡ）；ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）及びＴｉＶＯ装置等のビデオ／画像記憶装置；並びにこれら及び他の装置の一部又は組合せを表すことができる。該システムは、１以上のビデオソース７６、１以上の入力／出力装置７８、プロセッサ８２及びメモリ８４を含んでいる。
【００７１】
上記ビデオ／画像ソース（又は複数のソース）７６は、例えば、テレビジョン受信機、ＶＣＲ又は他のビデオ／画像記憶装置を表すことができる。他の例として、ソース（又は複数のソース）７６は、例えばインターネット、広域ネットワーク、都市区域ネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話回路網、並びにこれら及び他の型式のネットワークの一部又は組合せのようなグローバルなコンピュータ通信ネットワークを介してサーバ又は複数のサーバからビデオを受信する１以上のネットワーク接続を表すこともできる。
【００７２】
入力／出力装置７８、プロセッサ８２及びメモリ８４は通信媒体８０を介して通信する。通信媒体８０は、例えば、バス、通信ネットワーク、回路の１以上の内部接続部、回路カード又は他の装置、並びにこれら及び他の通信媒体の一部及び組合せを表すことができる。ソース（又は複数のソース）７６からの入力ビデオデータは、メモリ８４に記憶されると共にプロセッサ８２により実行される１以上のソフトウェアプログラムに従い処理されて、表示装置８６に供給される出力ビデオ／画像を発生する。
【００７３】
好ましい実施例においては、本発明によるハイブリッドスケーラビリティ構造を採用する符号化処理及び復号処理は、当該システムにより実行されるコンピュータが読取可能なコードにより実施される。該コードはメモリ８４に記憶することもでき、又はＣＤ−ＲＯＭ若しくはフロッピーディスクのようなメモリ媒体から読み取り／ダウンロードすることもできる。他の実施例においては、本発明を実施するために、ソフトウェア命令に代えて又はソフトウェア命令との組合せでハードウェア回路を使用することもできる。例えば、図６ないし７及び図９ないし１１に示される各構成要素は個別のハードウェア素子として実施化することができる。
【００７４】
以上、本発明を特定の例に関して説明したが、本発明は本明細書に開示された例に限定又は制限することを意図するものではないと理解されたい。例えば、本発明は如何なる特定の符号化法フレーム形式又は確率分布に制限されるものではない。逆に、本発明は添付請求項の趣旨及び範囲内に含まれる種々の構成及びその変形例をカバーしようとするものである。
【図面の簡単な説明】
【図１Ａ】 図１Ａは、従来の或るスケーラビリティ構造を示す。
【図１Ｂ】 図１Ｂも、従来の或るスケーラビリティ構造を示す。
【図２Ａ】 図２Ａは、従来の他のスケーラビリティ構造を示す。
【図２Ｂ】 図２Ｂも、従来の他のスケーラビリティ構造を示す。
【図３】 図３は、従来のスケーラビリティ構造を使用したシステムを示す。
【図４Ａ】 図４Ａは、本発明によるハイブリッドスケーラビリティ構造の一例を示す。
【図４Ｂ】 図４Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｃ】 図４Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｄ】 図４Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｅ】 図４Ｅは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ａ】 図５Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｂ】 図５Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｃ】 図５Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図６】 図６は、本発明によるハイブリッドスケーラビリティ構造を使用した或るシステムを示す。
【図７】 図７は、図６のビデオエンコーダ用の機能アーキテクチャの一例を示す。
【図８Ａ】 図８Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｂ】 図８Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｃ】 図８Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｄ】 図８Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図９】 図９は、本発明によるハイブリッドスケーラビリティ構造を使用した他のシステムを示す。
【図１０】 図１０は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの一例を示す。
【図１１】 図１１は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの他の例を示す。
【図１２】 図１２は、本発明を実施するためのシステムの一例を示す。
【符号の説明】
２…ビデオソース
４…計算ブロック
６…可変帯域幅ネットワーク
８…ベースレイヤエンコーダ
１０…残差画像計算ブロック
１２…残差画像
１４…ＦＧＳ残差画像ＥＬエンコーダ
１８…リアルタイムスケーラブルビデオレートコントローラ
２０…ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ
２２…動き補償された残差画像
２４…動き補償された残差画像計算ブロック
２６…ＦＧＳ ＭＣＲＩエンハンスメントレイヤエンコーダ
２８…ＦＧＳレートコントローラ
３０…ユーザ入力
３１…ＦＧＳエンハンスメントストリーム
３２…時間的エンハンスメントストリーム

Claims (16)

1. ビデオデータを符号化する方法において、
   前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
   前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
   前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成するステップと、
   前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生するステップと、
   前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
   を有していることを特徴とするビデオデータを符号化する方法。
2. 請求項１に記載の方法において、前記ベースレイヤフレーム及び前記時間的エンハンスメントフレームの一部を可変帯域幅ネットワークを介して伝送するステップを更に含んでいることを特徴とする方法。
3. 請求項２に記載の方法において、前記ネットワークの利用可能な帯域幅を決定するステップと、前記時間的エンハンスメントフレームのうちの伝送されるべき部分を、前記利用可能な帯域幅に基づいて選択するステップと、を更に含んでいることを特徴とする方法。
4. 請求項１に記載の方法において、前記時間的エンハンスメントフレームと前記品質的エンハンスメントフレームとをエンハンスメントレイヤに合成するステップを更に含んでいることを特徴とする方法。
5. 請求項１に記載の方法において、前記ベースレイヤフレームと、前記時間的エンハンスメントフレーム及び品質的エンハンスメントフレームの一部とを可変帯域幅ネットワークを介して伝送するステップを更に含んでいることを特徴とする方法。
6. 請求項５に記載の方法において、前記ネットワークの利用可能な帯域幅を決定するステップと、前記時間的エンハンスメントフレーム及び品質的エンハンスメントフレームのうちの伝送されるべき部分を、前記利用可能な帯域幅に基づいて選択するステップと、を更に含んでいることを特徴とする方法。
7. ビデオデータを符号化する方法において、
   前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
   前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
   前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成するステップと、
   前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生するステップと、
   前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
   を有していることを特徴とするビデオデータを符号化する方法。
8. 請求項７に記載の方法において、前記時間的エンハンスメントフレームが時間的エンハンスメントレイヤを形成し、前記品質的エンハンスメントフレームが品質的エンハンスメントレイヤを形成することを特徴とする方法。
9. ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号する方法において、
   前記ベースレイヤを復号してビデオフレームを生成するステップと、
   前記エンハンスメントレイヤを復号して動きベクトルを生成するステップと、
   前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成するステップと、
   前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成するステップと、
   を有していることを特徴とするビデオ信号を復号する方法。
10. 請求項９に記載の方法において、前記エンハンスメントレイヤを復号して向上されたビデオフレームを生成するステップと、前記向上されたビデオフレームの各々を前記ビデオフレーム及び前記追加のビデオフレームの一方に加算するステップと、を更に含んでいることを特徴とする方法。
11. ビデオデータを符号化するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
    前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
    前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
    前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成するステップと、
    前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生するステップと、
    前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
12. ビデオデータを符号化するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
    前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
    前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
    前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成するステップと、
    前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生するステップと、
    前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
13. ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
    前記ベースレイヤを復号してビデオフレームを生成するステップと、
    前記エンハンスメントレイヤを復号して動きベクトルを生成するステップと、
    前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成するステップと、
    前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
14. ビデオデータを符号化する装置において、
    前記ビデオデータの一部を符号化してベースレイヤフレームを生成する手段と、
    前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生する手段と、
    前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成する手段と、
    前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生する手段と、
    前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成する手段と、
    を有していることを特徴とするビデオデータを符号化する装置。
15. ビデオデータを符号化する装置において、
    前記ビデオデータの一部を符号化してベースレイヤフレームを生成する手段と、
    前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生する手段と、
    前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成する手段と、
    前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生する手段と、前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成する手段と、
    を有していることを特徴とするビデオデータを符号化する装置。
16. ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号する装置において、
    前記ベースレイヤを復号してビデオフレームを生成する手段と、
    前記エンハンスメントレイヤを復号して動きベクトルを生成する手段と、
    前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成する手段と、
    前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成する手段と、
    を有していることを特徴とするビデオ信号を復号する装置。

Images