JP5118127B2 - 適応符号器支援フレーム・レート・アップコンバージョン - Google Patents

Description

関連文献

［３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張］
本出願は、２００６年４月２５日に提出され、その全内容は、本出願における参照としてここに組み込まれた、米国特許仮出願番号第６０／７８９，３１９号及び第６０／７９５，０３８号に優先権を主張する。

本開示は、デジタル・ビデオ符号化及び復号、そして更に特に、ビデオ・フレームの補間のための技術に係わる。

デジタル・ビデオの能力は、デジタル・テレビ、デジタル直接同報通信システム、無線通信デバイス、携帯情報端末（personal digital assistants）（ＰＤＡｓ）、ラップトップ計算機、デスクトップ計算機、ビデオ・ゲーム・コンソール、デジタル・カメラ、デジタル記録装置、セルラ又は衛星無線電話、その他これ等に類するものを含む、広範囲の装置に組み込まれることが出来る。デジタル・ビデオ装置は、ビデオ・シーケンスを処理し送信する上で、従来のアナログ・ビデオ・システムに勝る顕著な改善を提供することが出来る。

デジタル・ビデオ・シーケンスを符号化するために異なるビデオ符号化規格が制定されてきた。動画専門委員会（Moving Picture Experts Group）（ＭＰＥＧ）は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む多数の規格を開発してきた。その他の例は、国際電気通信連合（International Telecommunication Union）（ＩＴＵ）−ＴＨ．２６３規格、及びＩＴＵ−ＴＨ．２６４規格及びそれに対応する規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ１０、即ち、アドバンスト・ビデオ・コーディング（Advanced Video Coding）（ＡＶＣ）を含む。これ等のビデオ符号化規格は、圧縮方式でデータを符号化することによってビデオ・シーケンスの伝送効率の改善をサポートする。

種々のビデオ符号化規格は、時間的相関又はフレーム間相関と呼ばれる、連続するビデオ・フレーム間の類似性を利用する、フレーム間圧縮を提供するビデオ符号化技術をサポートする。フレーム間圧縮技術は、ビデオ・フレームの画素基準表示を動き表示に変換することによって、フレーム全体にわたるデータの冗長性を活用する。フレーム間技術を使用して符号化されたフレームは、Ｐ（“predictive（予測型）”）フレーム又はＢ（“bi-directional（双方向）”）フレームと呼ばれる。あるフレームは、Ｉ（“intra（イントラ）”）フレームと呼ばれて、非予測型である空間圧縮を使用して符号化される。

発明の概要

本開示は、符号器支援フレーム・レート・アップコンバージョン（encoder-assisted frame rate up-conversion）（ＥＡ−ＦＲＵＣ）のための適応ビデオ符号化及び復号技術を説明する。開示される技術によれば、符号器は、Ｂ−フレーム又はその他の予測型フレームのようなビデオ・フレームを、或いは、ブロックのようなそのようなビデオ・フレームのある領域を、補間されたＦＲＵＣフレームを参照として使用して、選択的に符号化する。符号器は、これから符号化されようとしているビデオ・フレームと同じ時間インスタンス（time instance）にある該ＦＲＵＣフレームを補間し、そして、例えば、レート歪（rate distortion）（ＲＤ）最適化判定に基づいて、複数のＦＲＵＣ符号化モードのうちの１つを選択する。符号器は、次に、該選択されたＦＲＵＣ符号化モード、ＦＲＵＣ参照フレーム、及び指示されることが可能である任意の付加的参照フレームを使用して、該フレームの少なくとも一部分、例えば、該フレーム中のブロック、を符号化する。

復号器は、ＦＲＵＣフレームを補間しそしてそれを使用して、符号器によって使用された特定のＦＲＵＣモードについての情報を用いて符号化されたフレーム又はその一部分を復号する。符号器は、符号化されたビデオ・フレーム中の１又は複数の既存のパラメータを介して、該ＦＲＵＣモードを伝達する。このようにして、符号化モードは、符号化されたビデオ・フレームを効率的に復号する際に使用するために、実質的に追加帯域幅を消費することなく、復号器に伝達されることが出来る。ＦＲＵＣ参照フレームの使用とＦＲＵＣ符号化モードの伝達は、符号器と復号器が符号化効率と視覚的品質を更に効果的に均衡させることを可能にする。

一つの態様では、本開示は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）を補間すること、該ＦＲＵＣフレームを使用してビデオ・フレームの少なくとも一部分を符号化すること、該符号化されたビデオ・フレームの少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択すること、及び該選択されたＦＲＵＣモードを指示するために、該符号化されたビデオ・フレームの該少なくとも一部分に対する１又は複数のパラメータを調節すること、を具備するデジタル・ビデオ符号化方法を提供する。

別の態様では、本開示は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する補間モジュール、該ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化する符号化モジュール、該符号化されたビデオ・フレームの少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択するモード選択モジュール、及び該選択されたＦＲＵＣモードを指示するために、該符号化されたビデオ・フレーム中の該少なくとも一部分に対する１又は複数のパラメータを調節するシグナリング・モジュール、を具備するデジタル・ビデオ符号化装置を提供する。

追加の態様では、本開示は、デジタル・ビデオ・データを符号化するためのプロセッサを提供し、該プロセッサは、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間するように、該ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化するように、該符号化されたビデオ・フレームの少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択するように、及び該選択されたＦＲＵＣモードを指示するために該符号化されたビデオ・フレームの該少なくとも一部分に対する１又は複数のパラメータを調節するように、構成される。

更なる態様では、本開示は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間すること、複数のＦＲＵＣモードのうちの１つを選択して、符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、該符号化されたビデオ・フレームの該少なくとも一部分を復号すること、ここに、該パラメータは該選択されたＦＲＵＣモードを指示する、及び、該補間されたＦＲＵＣフレームを参照として使用して該選択されたＦＲＵＣモードに従って該符号化されたビデオ・フレームの該少なくとも一部分を復号すること、を具備するデジタル・ビデオ復号方法を提供する。

別の態様では、本開示は、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する補間モジュール、複数のＦＲＵＣモードのうちの１つを選択して、該選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、該符号化されたビデオ・フレームの該少なくとも一部分を復号するモード選択モジュール、ここに、該パラメータは該選択されたＦＲＵＣモードを指示する、及び、該補間されたＦＲＵＣフレームを参照として使用して該選択されたＦＲＵＣモードに従って該符号化されたビデオ・フレームの該少なくとも一部分を復号する復号モジュール、を具備するデジタル・ビデオ復号装置を提供する。

別の態様では、本開示は、デジタル・ビデオ・データを復号するためのプロセッサを提供し、該プロセッサは、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する、複数のＦＲＵＣモードのうちの１つを選択し、該選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、該符号化されたビデオ・フレームの該少なくとも一部分を復号する、及び、該選択されたＦＲＵＣモードに従い該補間されたＦＲＵＣフレームを参照として使用して該符号化されたビデオ・フレームの少なくとも一部分を復号する、ように構成される。

本開示中に記載される諸技術は、デジタル・ビデオ符号化装置及び／又は復号装置中に、ハードウェアで、ソフトウェアで、ファームウェアで、或いはそれ等の任意の組合せで、実装されることが出来る。ソフトウェアで実装される場合には、該ソフトウェアは、コンピュータで実行されることが出来る。該ソフトウェアは、命令、プログラム・コード、又はこれらに類するものとして初期に記憶されることが出来る。従って、本開示は又、コンピュータ可読媒体を具備する、デジタル・ビデオ符号化のためのコンピュータ・プログラム製品も意図する、ここで該コンピュータ可読媒体は、コンピュータが本開示に従って諸技術を実行することを可能にするためのコードを具備する。

種々の態様の更なる詳細は、付図と下記の説明中に記載される。その他の特徴、目的及び利点は、該説明と図面から、及び、特許請求の範囲から明らかになるであろう。

詳細な説明

本開示は、符号器支援フレーム・レート・アップコンバージョン（ＥＡ−ＦＲＵＣ）のための適応ビデオ符号化及び復号技術を説明する。開示される技術によれば、符号器は、Ｂ−フレーム又はその他の予測型フレームのようなビデオ・フレームを、或いは、そのようなビデオ・フレームのある部分、例えばブロック、を、補間されたＦＲＵＣフレームを参照として使用して、選択的に符号化する。符号器は、これから符号化されるビデオ・フレームと同じ時間インスタンスにある該ＦＲＵＣフレームを補間し、そして、例えば、レート歪（ＲＤ）最適化判定に基づいて、複数のＦＲＵＣ符号化モードのうちの１つを選択する。ＦＲＵＣ符号化モードは、フレーム又はフレームの一部分に適用されることが出来る。フレームの一部分とは、例えばマクロブロック（macroblock）（ＭＢ）、又はマクロブロックのサブパーティション或いはサブブロックのようなものであって、本開示では、一般にブロックと呼ばれることがある。符号器は、次に、該選択されたＦＲＵＣ符号化モード、ＦＲＵＣ参照フレーム、及び指示されることが可能である任意の付加的参照フレームを使用して、該フレーム又はその一部分を符号化する。

復号器は、ＦＲＵＣフレームを補間し、そしてそれを使用して、符号器によって使用された特定のＦＲＵＣモードについての情報を用いて符号化されたフレーム又はその一部分を復号する。符号器は、符号化されたビデオ・フレーム中に１又は複数の既存のパラメータを介して、該ＦＲＵＣモードを伝達する。例えば、マクロブロックに関するパラメータは、該マクロブロックに対するＦＲＵＣモードを伝達するために使用されることが出来る。このようにして、符号化モードは、符号化されたビデオ・フレームを復号する際に使用するために、実質的な追加帯域幅を消費することなく、効率的に復号器に伝達されることが出来る。ＦＲＵＣ参照フレームの使用とＦＲＵＣ符号化モードの伝達は、符号器と復号器が符号化効率と視覚的品質を更に効果的に均衡させることを可能にする。

符号器は、例えば、マクロブロック又はサブパーティション、即ち、ブロックに関連付けられる符号化されたブロック・パターン（coded block pattern）（ＣＢＰ）パラメータ及び／又は動きベクトル（motion vector）（ＭＶ）を該符号化されたビデオ・フレーム中で調節して該ブロックに対して選択されたＦＲＵＣモードを特定することが出来る。これ等のパラメータは、それぞれゼロ又は非ゼロ値に設定されることが出来るビットを含む。従って、第１モードは、ＣＢＰパラメータをゼロにそしてＭＶパラメータをゼロに設定することによって指示されることが出来る、第２モードは、ＣＢＰパラメータを非ゼロにそしてＭＶパラメータをゼロに設定することによって指示されることが出来る、第３モードは、ＣＢＰパラメータをゼロにそしてＭＶパラメータを非ゼロに設定することによって指示されることが出来る、そして第４モードは、ＣＢＰパラメータとＭＶパラメータを非ゼロに設定することによって指示されることが出来る、４つのＦＲＵＣモードは、本開示中で例示目的のために説明されるけれども、追加の又はこれ等に代わるモードが、ＣＢＰ及びＭＶＰパラメータを用いて及び／又はＣＢＰ、ＭＶ及びその他のパラメータの追加の組合せを用いて、指定されることが出来る。

このようなパラメータ又は類似のパラメータを使用して、ＦＲＵＣフレームを参照として利用するビデオ・フレーム中のブロックを符号化するために使用されるＦＲＵＣモードは、復号する際に使用するために復号器に効果的かつ効率的に伝達されることが出来る。それぞれのＦＲＵＣモードに対して、符号器は、ビデオ・フレーム中の関連ブロックを、異なる動き補償情報、例えば、残差データ及び動きベクトル、を用いて、符号化することが出来る。一例として、第１ＦＲＵＣモードに対しては、動き補償情報が符号化されないとすることが出来る、第２ＦＲＵＣモードに対しては、動きベクトル情報が符号化されるとすることが出来る、第３モードに対しては、残差情報が符号化されるとすることが出来る、そして第４モードに対しては、残差情報と動きベクトル情報が符号化されるとすることが出来る。

復号器は、符号化されたビデオ・フレームに埋め込まれたパラメータ、例えば、ＣＢＰ及びＭＶを検査することによって符号化されたビデオ・フレームを復号し、該ビデオ・フレーム中のブロックを符号化するために使用された、選択されたＦＲＵＣモードを識別する。該パラメータを使用して、復号器は、何れのフレーム又はフレームの部分に対してＦＲＵＣフレームが補間されるべきなのか、及び、ＦＲＵＣフレームを参照として使用して符号化されたビデオ・フレーム又はフレームの部分を如何に復号するか、に関して決定することが出来る。このようにして、復号器は、符号器によって指定されたような、標準型復号演算とＥＡ−ＦＲＵＣ復号演算を使用することを選択することによってフレーム中のビデオ・ブロックを選択的に復号することが出来る。

図１は、本開示の一態様に従う適応符号器支援フレーム・レート・アップコンバージョン（ＥＡ−ＦＲＵＣ）技術を利用するビデオ符号化及び復号システム１０を示すブロック図である。図１に示されるように、システム１０は、通信チャネル１５によって接続されるビデオ符号器１２とビデオ復号器１４とを含む。通信チャネル１５は、有線又は無線媒体であることが出来る。システム１０は、例えば、テレビ電話方式のために、双方向ビデオ伝送に対応することが出来る。従って、可逆符号化コンポーネント、復号コンポーネント、多重化（multiplexing）（ＭＵＸ）コンポーネント、及び逆多重化（demultiplexing）（ＤＥＭＵＸ）コンポーネントが通信チャネル１５の両端に装備されることが出来る。或いは、ビデオ符号器１２は、１又は複数の加入者デバイスに有線又は無線媒体を介してビデオを同報通信する又はストリーミングするビデオ同報通信デバイスの一部を形成することが出来る。種々の態様において、符号器１２と復号器１４は、ビデオ・ストリーミング、テレビ電話方式、又は双方のために装備された無線移動端末のようなビデオ通信デバイスの内部に組み入れられることが出来る。

システム１０は、セッション・イニシエイテッド・プロトコル（Session Initiated Protocol）（ＳＩＰ）、ＩＴＵ−Ｔ Ｈ．３２３規格、ＩＴＵ−Ｔ Ｈ．３２４規格、又はその他の規格に従うビデオ・ストリーミングのテレビ電話方式に対応することが出来る。ビデオ符号器１２は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、又はＩＴＵ−Ｔ Ｈ．２６４のような、ビデオ圧縮規格に従って符号化されたビデオ・データを生成する。図１には示されないけれども、ビデオ符号器１２とビデオ復号器１４は、それぞれ、音声符号器、音声復号器と統合されることが出来る、そして、音声及びビデオ双方の符号化を共通データ・ストリーム又は個別データ・ストリーム中で取り扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、或いはその他のハードウェアとソフトウェアを含めることが出来る。もし適用可能であれば、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ−Ｔ Ｈ．２２３多重化器プロトコル、又はユーザ・データグラム・プロトコル（user datagram protocol）（ＵＤＰ）のような他のプロトコル、に従うことが出来る。

ある複数の態様では、本開示は、順方向リンク・オンリー（Forward Link Only）（ＦＬＯ）無線インターフェース仕様を使用する地上モバイル・マルチメディア・マルチキャスト（terrestrial mobile multimedia multicast）（ＴＭ３）システムにおける実時間ビデオ・サービスを配信するために拡張Ｈ．２６４ビデオ符号化への適用を意図する。“地上モバイル・マルチメディア・マルチキャストのための順方向リンク・オンリー無線インターフェース仕様”は、技術規格ＴＩＡ−１０９９（“ＦＬＯ仕様”）として公表される予定である。該ＦＬＯ仕様は、ビットストリームのシンタックスとセマンティックスの定義例及びＦＬＯ無線インターフェースを介してサービスを配信するために適切な復号処理を含む。しかしながら、ＥＡ−ＦＲＵＣ技術は、如何なる特別な型の同報通信、マルチキャスト・システム、或いはポイント−ツー−ポイント（point-to-point）システムにも限定されない。

ビデオ符号器１２とビデオ復号器１４は、１又は複数のプロセッサ、デジタル信号処理装置、特定用途向け集積回路（application specific integrated circuits）（ＡＳＩＣｓ）、フィールド・プログラマブル・ゲート・アレイ（field programmable gate arrays）（ＦＰＧＡｓ）、個別ロジック、ソフトウェア、ハードウェア、ファームウェア、或いはこれ等の任意の組合せ、として実装されることが出来る。ビデオ符号器１２とビデオ復号器１４の図示されたコンポーネントは、１又は複数の符号器又は復号器中に含まれることが出来て、その何れもが、それぞれの加入者デバイス、同報通信デバイス、サーバ、又はこれ等に類する装置において、複合型符号器／復号器（combined encoder/decoder）（ＣＯＤＥＣ）の一部として統合されることが出来る。更に、ビデオ符号器１２とビデオ復号器１４は、符号化されたビデオの送受信のために適切な、変調コンポーネント、復調コンポーネント、周波数変換コンポーネント、フィルタリング・コンポーネント、及び増幅コンポーネントを含むことが出来るし、又、無線周波数（radio frequency）（ＲＦ）無線コンポーネント及びアンテナを適宜含むことが出来る。しかしながら、図面を簡略化するために、このようなコンポーネントは、図１には示されない。

符号器１２は、入力原始ビデオ・ソース・ストリーム２のビデオ・フレームを該フレームのビデオ内容に基づいて選択的に符号化する。複数のフレームが１又は複数の、他のフレームを参照しないで符号化されるイントラ（“Ｉ”）フレーム、時間的に過去のフレームを参照して符号化される予測型（“Ｐ”）フレーム、及び／又は、時間的に過去及び／又は未来のフレームを参照して符号化される双方向（“Ｂ”）フレームを含むことが出来る。更に、このようなフレーム中の個々のブロックがＩ、Ｐ又はＢブロックとして符号化されることが出来る。符号器１２は、本開示で説明されるＥＡ−ＦＲＵＣ技術に従って複数のビデオ・フレームを符号化する。

符号器１２は、ＥＡ−ＦＲＵＣを実行して、対応するビデオ・フレームを符号化するための参照フレームとして使用されるＦＲＵＣフレームを補間する。具体的には、符号器１２は、該ビデオ・フレームと同じ時間インデックス、即ち、時間インスタンス、にあるビデオ・フレームに対する参照として使用されるＦＲＵＣフレームを補間する。このようにして、ＥＡ−ＦＲＵＣは、符号器１２がビデオ・フレームを圧縮されたサイズで予測符号化することを可能にする、その理由は、対応するＦＲＵＣフレームは、該ビデオ・フレームを符号化するために参照として別な方法で使用される他のビデオ・フレームよりも、これから符号化されようとしているビデオ・フレームへのより密接な一致であることが出来るからである。しかしながら、ＦＲＵＣフレームを参照として使用してビデオ・フレームを符号化することに加えて、符号器１２は又、該ビデオ・フレーム中の複数のブロックのそれぞれを複数のＦＲＵＣモードのうちの１つに従って選択的に符号化する。符号器１２は、レート歪（ＲＤ）最適化判定に基づいて、該ビデオ・フレーム中の複数のブロックを符号化するためのＦＲＵＣモードを選択して、符号化ビットレートと視覚的品質低下との要求を均衡させることが出来る。

符号器１２は、該選択されたＦＲＵＣモードに基づき、異なる動き補償情報、例えば残差データと動きベクトル、を用いてビデオ・フレーム中のブロックを符号化する。一例として、第１ＦＲＵＣモードに対しては、動き補償情報がブロックにおいて符号化されることが出来ない、第２ＦＲＵＣモードに対しては、動きベクトル情報が符号化されることが出来る、第３モードに対しては、残差情報が符号化されることが出来る、そして第４モードに対しては、残差情報と動きベクトル情報が符号化されることが出来る。このようにして、符号器１２は、もし視覚的品質が容認できるならば実効ビットレートを低減するように、もし視覚的品質が改善を求めるならば実効ビットレートを増大するように、異なるＦＲＵＣモードを選択することが出来る。

上記のＦＲＵＣモードは、例示目的のために説明されている。追加のＦＲＵＣモードが規定されることが出来る。更に、代わりのＦＲＵＣモードが規定されることが出来る。一例として、代わりのＦＲＵＣモードは、予測型ビデオ符号化技術では公知の１又は複数のノーマル双方向（Ｂ）ＭＢモードと任意の上記ＦＲＵＣモードとを組み合わせることが出来る。従って、ＥＡ−ＦＲＵＣモードの総組合せは、４モードより多くなることが可能であり、及び／又は、該４つのモードは、本明細書で説明されたＦＲＵＣモードをノーマルＢモードと組み合わせた１又は複数の代わりのモードを含むことが出来る。

符号器１２は、符号化されたビデオ・フレームの既存のパラメータ、例えば、ＣＢＰパラメータやＭＶパラメータのような、該フレーム中のブロックに関連付けられるパラメータを調節することによって、該選択されたＦＲＵＣモードを復号器１４に伝達する。これは、例えば、該ビデオ・フレーム中のそれぞれのブロックを符号化するために複数のＦＲＵＣモードの何れの１つが使用されたかを示す既存のパラメータにより与えられるビットを使用することによって実現されることが出来る。このようにして、符号器１２は、選択されたＦＲＵＣモードを、ビデオ・フレームの符号化サイズを増大させずに伝達することが出来る。その代りに、符号器１２は、そうでなければ該符号化されたビデオ・フレーム中に存在するはずのパラメータ値を利用することができ、ＦＲＵＣ方式の使用を通して符号化ビットの対話を可能にする一方、多数の追加ビットを消費することなくＦＲＵＣモード情報を伝達することが出来る。

図１の例では、ビデオ符号器１２は、フレーム処理モジュール２０、標準型符号器１６、及びＥＡ−ＦＲＵＣ符号器１８を含む。フレーム処理モジュール２０は、入力原始ビデオ・ストリーム２を処理するように構成される。フレーム処理モジュール２０は、入力ビデオ・フレームを、例えばＩＢＰＢＰＢＰのような、固定された画像のグループ（group of picture）（ＧＯＰ）パターンに従って処理するように構成されることが出来る。フレーム処理モジュール２０は、その代りに、複数のＢフレームがそれぞれのＰフレームの間でビデオ内容に基づいて符号化される適応ＧＯＰパターンに従って、入力ビデオ・フレームを処理するように構成されることが出来る。何れにせよ、フレーム処理モジュール２０は、例えば、Ｆ_１、Ｆ_２、及びＦ_３のような入力ビデオ・フレームを、標準技術を使用して符号化するか、本明細書に記載の適応ＥＡ−ＦＲＵＣ技術を使用して符号化するかどうかを決定する。図１では、Ｆ_２はＢフレームを表し、他方、フレームＦ_１とＦ_３は、フレームＦ_２を符号化するための参照フレームとして使用される、それぞれ、先行Ｐフレーム及び後続Ｐフレームを表す。

標準型符号器１６は、標準符号化技術を使用して、Ｆ_１及びＦ_３のような、Ｐフレーム及びＩフレームを符号化する。Ｆ_２のような、それぞれの双方向（Ｂ）予測型ビデオ・フレームの少なくとも一部分を、本明細書に記載の適応ＥＡ−ＦＲＵＣ技術に従って符号化することが出来る。特に、ＥＡ−ＦＲＵＣ符号器１８は、複数のＦＲＵＣモードのうちの１つに従いそして補間されたＦＲＵＣフレームを参照して、Ｆ_２中のそれぞれのブロックを選択的に符号化し、符号化ビットレートと視覚的品質低下への要求を均衡させることが出来る。

フレームＦ_２内のブロックをＦＲＵＣモードの１つに従って選択的に符号化するために、ＥＡ−ＦＲＵＣ符号器１８は、Ｆ_２と同じ時間インデックスにあるＦＲＵＣフレームを先ず補間する。ＦＲＵＣフレームは、時間的にフレームＦ_１とフレームＦ_３との間に存在して、その２つの隣接フレームＦ_１とＦ_３を、通常のＢフレームと同じように、参照フレームとして利用する予測型フレームである。ＥＡ−ＦＲＵＣ符号器１８は、復号器１４で利用されるのと同じＦＲＵＣ処理を使用して、ＦＲＵＣフレームを補間する。即ち、ＥＡ−ＦＲＵＣ符号器１８は、例えば、隣接するＰフレームＦ_１とＦ_３を使用してＦＲＵＣフレームを補間することが出来る。従って、Ｆ_２に対応するＦＲＵＣフレームは、Ｆ_１とＦ_３から補間されることが出来る。補間は、フレーム平均，フレーム繰返し、又はその他の補間技術に基づいて行われることが出来る。

上記で説明されたように、ＥＡ−ＦＲＵＣ処理は、ビデオ・フレームＦ_２と同じ時間インスタンスで生成された補間されたＦＲＵＣフレームの対応する部分を使用して、該ビデオ・フレームＦ_２の少なくとも一部分を符号化する。復号器１４は、復号器側において該ＦＲＵＣフレームを補間することが出来ることが知られる。従って、そのときに、該ＦＲＵＣフレームは、フレームＦ_２の復号する際の使用のために、復号器側で利用可能であることも知られる。そこで、これに基づいて、該ＦＲＵＣフレームは、フレームＦ_２に対する参照フレームとして利用されることが出来る。

該補間されたＦＲＵＣフレームを参照として使用し該ビデオ・フレームの少なくとも一部分を符号化することは、該ビデオ・フレームのために符号化されるデータのサイズを低減することを可能にする、その理由は、該ＦＲＵＣフレームの参照データは、該ビデオ・フレームを符号化するために別な方法で使用される参照フレームＦ_１とＦ_３よりも、より密接な一致であることが出来るからである。結果として、ビデオ・フレームＦ_２内で符号化される、例えば、動きベクトルや残差データのような、動き補償情報は、もし該ＦＲＵＣフレームがこれから符号化されようとしているビデオ・フレームＦ_２への精確な又は十分密接な一致であるならば、低減される或いは削除されることすら出来る。ＥＡ−ＦＲＵＣは、符号器１２が、ＦＲＵＣを実行してこれを活用する復号器１４の能力を予測して、該符号化されたビデオ・フレームＦ_２から、該復号器において該補間されたＦＲＵＣフレームから求められることが出来るデータを削除することを可能にする。結果として、ＥＡ−ＦＲＵＣは、圧縮率と通信チャネル１５全体にわたる伝送帯域幅を改善することが出来る。

該ＦＲＵＣフレームがＦ_２に対して生成された後、ＥＡ−ＦＲＵＣ符号器１８は、“可能な”参照フレームのそれぞれに対する動き推定を実行する。この場合には、“可能な”参照フレームは、符号化されようとしているビデオ・フレームＦ_２と同じ時間インスタンスにおいて補間された該ＦＲＵＣフレーム、符号化されようとしているビデオ・フレームＦ_２に先行する参照フレーム、いずれ符号化されようとしているビデオ・フレームＦ_２に後続する参照フレーム、或いは、先行と後続両方の参照フレーム、例えばＦ_１とＦ_３、を含む。可能な参照フレームは、１又は複数のバッファ又はリスト中に時間順で配置されることが出来る。例えば、後方参照バッファは、符号化されようとしているビデオ・フレームＦ_２に後続する１又は複数の参照フレーム、例えばＦ_３、を含むことが出来る。前方参照バッファは、該符号化されようとしているビデオ・フレームに先行する参照フレームを含むことが出来る。ＥＡ−ＦＲＵＣ符号器１８が符号化されようとしているビデオ・フレームＦ_２と同じ時間インスタンスにおいてＦＲＵＣフレームを補間する場合には、該ＦＲＵＣフレームは、図３でより詳細に説明されるように、先行参照フレーム中にも含まれる。図１に関しては、Ｆ_２のための先行参照バッファは、Ｆ_１及びＦ_２と同じ時間インデックスにおいて補間された該ＦＲＵＣフレームを含み、そして、後方参照バッファは、Ｆ_３を含む。

通常のビデオ符号化、即ち、非ＦＲＵＣビデオ符号化、に対しては、符号化するために考慮されるべき過去の参照フレームの数は、Ｎ、即ち前方参照フレーム・バッファ内の非補間参照フレームの数、である。ビデオ・フレームがそれを参照して符号化される特定の参照フレームは、例えば、参照フレーム、０からＮ−１、のうちの何れが関係のある参照フレームであるかを特定することによって、符号化データ・フィールド内で特定される。ビデオ・フレーム又はその一部が符号器で補間されたＦＲＵＣフレームを参照して符号化されることを指示するために、ＥＡ−ＦＲＵＣ符号器１８は、前方参照バッファに対して符号化フィールドをＮに設定することが出来る。符号化フィールドをＮ、即ち“通常”ビデオ符号化に対して可能な数よりも１だけ多い値、に設定することによって、符号化データ・フィールドは、ビデオ・フレームに対する符号化サイズを増大せずにＥＡ−ＦＲＵＣ符号化を指示するために使用されることが出来る。換言すれば、補間されたＦＲＵＣフレーム又は非補間参照フレームに基づいて符号化することを指示するために、同じ符号化フィールドが使用されることが出来る。

フレームＦ_２中のあるブロックを符号化するために何れのＦＲＵＣモードが使用するかを決定するために、ＥＡ−ＦＲＵＣ符号器１８は、Ｆ_２に対して補間されたＦＲＵＣフレームを使用して各ＦＲＵＣモードに関する動き推定を実行することが出来る。ＥＡ−ＦＲＵＣ符号器１８は又、前方及び後方参照バッファ中に含まれる各非補間参照フレーム、即ち、Ｆ_２に関してＦ_１及びＦ_３、に対する動き推定を実行することも出来る。ＥＡ−ＦＲＵＣ符号器１８は、ＲＤ最適化判定に基づいて、Ｆ_２中のあるブロックを符号化するためにモード、即ち、標準モード又は複数のＦＲＵＣモードのうちの１つ、を選択する。即ち、ＥＡ−ＦＲＵＣ符号器１８は、ＲＤコスト関数を最小にする符号化モードを選択するように構成されることが出来る。ＲＤ最適化判定は、符号化されるフレーム又はその一部分の動きベクトルと残差とを使用する符号化サイズと歪みとの間のトレードオフの基準及び結果として残る映像歪みの対応する評価を具備するＲＤ関数を利用することが出来る。ＥＡ−ＦＲＵＣ符号器１８は、例えば最小残差関数や絶対差分和（sum of absolute difference）（ＳＡＤ）関数のような、業界で公知の他の適切なコスト関数を使用することが出来る。

もしフレームＦ_２中の所与のブロックを符号化するために標準モードが選択されるならば、即ち、もしＦ_２中の該ブロックが参照として１又は複数の非補間フレーム（例えば、Ｆ_１及びＦ_３）を使用して符号化されるならば、ＥＡ−ＦＲＵＣ符号器１８は、フレームＦ_２中の該ブロックを符号化して規格準拠ビットストリームを生成する。しかしながら、もしＦＲＵＣモードのうちの１つがＦ_２中の該ブロックを符号化するために選択されるならば、即ち、もし該Ｆ_２ブロックが参照としてＦＲＵＣフレームを使用して符号化されるならば、ＥＡ−ＦＲＵＣ符号器１８は、プロプライエタリ（proprietary）ビットストリームを生成する。該プロプライエタリ・ビットストリームは、復号器１４が、ＦＲＵＣモードのうちの何れがビデオ・フレームＦ_２中の対応するブロックを符号化するために使用されたかを判定することを可能にし、従って同じＦＲＵＣモードを使用してビデオ・フレームＦ_２中の該ブロックを復号することを可能にする。

ＥＡ−ＦＲＵＣ符号器１８は、１又は複数の存在するパラメータ又はデータ・フィールドを調節して、複数のＦＲＵＣモードのうちの何れの１つがビデオ・フレーム中の対応するブロックを符号化するために使用されたかを指示する。例としてＨ．２６４規格を用いれば、ＥＡ−ＦＲＵＣ符号器１８は、選択されたＦＲＵＣモードを指示するために、符号化ブロック・パターン（coded block pattern）（ＣＢＰ）パラメータと動きベクトル（ＭＶ）パラメータによって与えられる諸ビットを使用することが出来る。例えば、第１ＦＲＵＣモードは、ブロックに対するＣＢＰパラメータとＭＶパラメータをゼロに設定することによって指示されることが出来る、第２ＦＲＵＣモードは、ＣＢＰパラメータを非ゼロ値にそしてＭＶパラメータをゼロに設定することによって指示されることが出来る、第３ＦＲＵＣモードは、ＣＢＰパラメータをゼロにそしてＭＶパラメータを非ゼロ値に設定することによって指示されることが出来る、そして第４ＦＲＵＣモードは、ＣＢＰパラメータを非ゼロ値にそしてＭＶパラメータを非ゼロ値に設定することによって指示されることが出来る。一般的には、ＣＢＰパラメータをゼロにそしてＭＶパラメータをゼロに設定することは、Ｈ．２６４規格の目的に対しては無効な状態である。しかしながら、Ｈ．２６４規格を僅かに破る或いは修正することによって、選択されるＦＲＵＣモードは、該ビデオ・フレーム符号化サイズを増大することなく、指示されることが出来る。

１つの態様では、復号器１４は、例えば、先に説明された“参照フレーム”符号化フィールドを、フレーム中のブロックに対するＣＢＰ及びＭＶ符号化フィールドを検査するためのトリガとして使用することが出来る。先に説明されたように、参照フレーム符号化フィールドは、該フィールド中に記憶された値がＮ、即ち前方参照バッファの事前に決定されたサイズ、即ちＮ−１、よりも１大きい値の場合には、対応する参照フレーム又は該参照フレーム内のブロックは、ＥＡ−ＦＲＵＣ符号器１８によって補間されたＦＲＵＣフレームを使用して符号化されたことを指示する。このように、参照フレーム符号化フィールドを先ず検査して前方参照バッファ・サイズがＮであることを知ることによって、復号器１４は、該ビデオ・フレームの一部分が、参照として非補間フレームを使用して符号化されたか、或いは、参照としてＥＡ−ＦＲＵＣ符号器１８によって補間されたＦＲＵＣフレームを使用して符号化されたかどうかを、判定することが出来て、従って、該ブロックに対するＣＢＰパラメータとＭＶパラメータにより提供される情報を処理することが出来る。

復号器１４は、符号器１２から伝送されたビットストリームを受信して該ビデオ・フレームを復号する。図１の例では、復号器１４は、ＩフレームとＰフレームの復号を取り扱うための標準型復号器２２とＢフレームの復号とＦＲＵＣフレームの補間を取り扱うＥＡ−ＦＲＵＣ復号器２４とを含む。標準型復号器２２は、符号器１２によって送られた、Ｆ_１及びＦ_３のような、それぞれのＩフレームとＰフレームを復号するために標準復号化技術を適用する。フレームＦ_１とＦ_３のそれぞれにおいて符号化された情報は、標準型復号器２２が１フレームのビデオ情報を復号し提示することを可能にする。復号器２２と復号器２４は、分離したコンポーネントである必要はなく、代わりに、分担を基盤とする複数コンポーネントを利用する、共通のＣＯＤＥＣ内の分離したプロセスとして統合されることが出来る。

図１の図示された説明では、ＥＡ−ＦＲＵＣ復号器２４は、時間的にＦ_１とＦ_３、との間に存在する可能性があるフレームＦ_２の参照フレーム符号化フィールドを検査して、Ｆ_２が、参照として、非補間フレームを使用して符号化されたか、或いは、補間されたＦＲＵＣフレームを使用して符号化されたかどうか、を判定する。ＥＡ−ＦＲＵＣ復号器が、Ｆ_２が参照として非補間フレームを使用して符号化されたと判定する場合には、ＥＡ−ＦＲＵＣ復号器２４は、Ｆ_２を標準技術に従って復号する。例えば、ＥＡ−ＦＲＵＣ復号器２４は、参照フレーム符号化フィールドによって特定される非補間フレームに一致するようにＦ_２を復号することが出来る。しかしながら、ＥＡ−ＦＲＵＣ復号器２４が、Ｆ_２のある部分が符号器１２によって補間されたＦＲＵＣフレームを使用して符号化されたと判定する場合には、ＥＡ−ＦＲＵＣ復号器は、Ｆ_２に関連付けられるブロックに対するＣＢＰパラメータとＭＶパラメータを検査する。ＣＢＰパラメータとＭＶパラメータに基づいて、ＥＡ−ＦＲＵＣ復号器２４は、複数のＦＲＵＣモードのうちの何れの１つがフレームＦ_２の関連ブロックを符号化するために使用されたかを決定し、それに応じて該Ｆ_２のブロックを復号する。

フレームＦ_２中のあるブロックが複数のＦＲＵＣモードのうちの１つを使用して符号化されている場合には、ＥＡ−ＦＲＵＣ復号器１２は、参照フレームＦ_１とＦ_３に対応する復号されたビデオ・フレームを使用してＦＲＵＣフレームを補間する。このＦＲＵＣフレームは、符号器１２によって補間されたＦＲＵＣフレームに一致し、そして、Ｆ_２の１又は複数のブロックを復号するために使用される。例えば、Ｆ_２中の所与のブロックが第１ＦＲＵＣモードを使用して符号化されている場合には、ＥＡ−ＦＲＵＣ復号器２４によって補間される該ＦＲＵＣフレーム中の対応するブロックは、Ｆ_２として使用されることが出来る、というのは、該ＦＲＵＣフレームとＦ_２は、十分密接に一致するからである。別の例として、Ｆ_２中のあるブロックが第２ＦＲＵＣモードを使用して符号化されている場合には、ＥＡ−ＦＲＵＣ復号器２４は、該補間されたＦＲＵＣフレームと受信されたビデオ・フレームによって与えられる動きベクトル情報を使用してＦ_２中のそれぞれのブロックを復号する。更なる例において、ＥＡ−ＦＲＵＣ復号器２４が、Ｆ_２中のあるブロックが第３ＦＲＵＣモードを使用して符号化されたと判定する場合には、ＥＡ−ＦＲＵＣ復号器２４は、該補間されたＦＲＵＣフレームと受信されたビデオ・フレームによって与えられる残差データを使用してＦ_２中のそれぞれのブロックを復号する。更に別の例において、ＥＡ−ＦＲＵＣ復号器２４が、Ｆ_２中のあるブロックが第４ＦＲＵＣモードを使用して符号化されたと判定する場合には、ＥＡ−ＦＲＵＣ復号器２４は、受信されたビデオ・フレームによって与えられる、動きベクトル・データと残差データを使用してＦ_２中のそれぞれのブロックを復号する。このようにして、復号器１４は、符号器１２から受信されたビットストリームを効率的に復号することが出来る。

図２Ａは、符号器１４の例示的な動作を図説する流れ図である。図２Ａに示されるように、符号器１４は、入力原始ビデオ・ストリームを受信する（３）。符号器１４に関して更に具体的には、フレーム処理ユニット２０は、入力原始ビデオ・ストリーム２を受信し、そして、ビデオ・ストリーム２を処理してビデオ内容を決定する（４）。該ビデオ内容、例えばＦＲＵＣフレームとＦＲＵＣ位置の数、に基づいて、フレーム処理モジュール２０は、受信されたビデオ・フレームがＢフレームであるかどうか（５）、或いはフレーム中の１又は複数のブロックがＢブロックであるかどうか、を判定する。

フレーム処理モジュール２０が、受信されたビデオ・フレームがＢフレームでないと判定する場合には（５のｎｏ分枝）、フレーム処理モジュール２０は、該ビデオ・フレームを標準型符号器１６に送る。標準型符号器１６は、通常の可変長符号化法（variable length coding）（ＶＬＣ）による符号化を実行してビデオ・フレームを符号化し（６）、それに応じてビットストリームを生成する（７）。該ビットストリームは、例えば、ＩＴＵ-Ｔ Ｈ．２６４規格に準拠することが出来る。

フレーム処理モジュール２０が、受信されたビデオ・フレームがＢフレームであると判定する場合（５のｙｅｓ分枝）、フレーム処理モジュール２０は、該ＢフレームをＥＡ−ＦＲＵＣ符号器１８に送る。ＥＡ−ＦＲＵＣ符号器１８は、該Ｂフレームと同じ時間インデックスにあるＦＲＵＣフレームを補間し、該Ｂフレーム中のマクロブロック又はサブパーティション、即ちブロック、を符号化するために１又は複数のモードを選択する（１１）。ＥＡ−ＦＲＵＣ符号器１８は、所与のブロックに対して、本開示で説明された複数のＦＲＵＣモードのうちの１つを選択することが出来る、若しくは、ＥＡ−ＦＲＵＣモードを選択する代わりに標準Ｂモード符号化を適用して該ブロックを符号化することが出来る。

ＥＡ−ＦＲＵＣ符号器１８は、Ｂフレーム中のそれぞれのブロックを、選択されたモードに従って符号化する（１３）。もしＥＡ符号器１８がＢフレーム中のブロックをＥＡ−ＦＲＵＣモードに従って符号化するならば（１７のｙｅｓ分枝）、ＥＡ−ＦＲＵＣ符号器１８は、Ｈ．２６４規格非準拠ビットストリームを生成する（２１）。この場合、該ビットストリームは、Ｈ．２６４規格に準拠しないことがあり、その理由は、ＥＡ−ＦＲＵＣ符号器１８が１又は複数のパラメータ、例えば１又は複数のブロックに対するＣＢＰパラメータとＭＶパラメータ、を調節して選択されたＦＲＵＣモードを指示することが出来るからである。特に、複数のＦＲＵＣモードのうちの１つは、修正パラメータによって与えられるビットを設定することによって、通常は、無効な状態に指示されることが出来る。更にＥＡ−ＦＲＵＣ符号器は、Ｂフレーム中のブロックを複数のＦＲＵＣモードのうちの１つに従って符号化することを選択する場合には、前方参照バッファのサイズを１だけ増やすことも出来る。この場合、参照バッファのサイズは、事前に規定された最大値よりも大きく、従ってＨ．２６４規格に非準拠である。

他方、ＥＡ符号器１８がＢフレームの何れのブロックをも複数のＦＲＵＣモードのうちの１つに従って符号化しない場合には（１７のｎｏ分枝）、ＥＡ−ＦＲＵＣ符号器１８は、Ｈ．２６４規格に準拠するビットストリームを生成する（１９）。符号器１２によって生成される該ビットストリームは、通信チャネル１５を介して復号器１４に伝送される（８）。

図２Ｂは、復号器１４の例示的な動作を示す流れ図である。図２Ｂに示されるように、復号器１４は、通信チャネル１５を介してビットストリームを受信する（２３）。ビットストリームを受信すると、復号器１４は、該ビットストリームを符号化されたビデオ・フレームに分解して（２５）、誤り回復を実行する。復号器１４は、各ビデオ・フレームを処理して、該ビデオ・フレームがＢフレームであるかどうかを判定する（２６）。復号器１４が、該ビデオ・フレームがＢフレームではないと判定する場合には（２６のｎｏ分枝）、標準型復号器２２は、該ビデオ・フレームに通常復号動作を適用して該ビデオ・フレームを復号する（２７）。

しかしながら、復号器１４が、該ビデオ・フレームがＢフレームであると判定する場合には（２６のｙｅｓ分枝）、ＥＡ−ＦＲＵＣ復号器２４は、該Ｂフレーム中の諸ブロックの何れかを復号するためにＦＲＵＣモードが使用されたかどうかを判定する（２９）。ＥＡ−ＦＲＵＣ復号器２４は、前方参照バッファがＮ−１からＮに増加したという指示によって、ＦＲＵＣモードが使用されたことを判定することが出来る、そして次に、該Ｂフレーム中のそれぞれのブロックを符号化するために使用された特定のＦＲＵＣモードを、先に説明されたように、関連するＣＢＰパラメータ及びＭＶパラメータを検査することによって同定することが出来る。

該Ｂフレームが参照として非補間フレームを使用して符号化されたかどうか、或いは、何れかの該ＢフレームのブロックがＦＲＵＣフレームを参照として使用する複数のＦＲＵＣモードのうちの１つに従って符号化されたかどうかを判定する（２９）ために、ＥＡ−ＦＲＵＣ復号器２４は、例えば、参照フレーム符号化フィールドを処理することが出来る。先に説明されたように、参照フレーム符号化フィールドに記憶された値が０とＮ−１の間の値である場合には、その値は、前方参照バッファ中の非補間参照フレームのうちの何れの１つが該Ｂフレームを符号化するための参照として使用されたかということを示す。しかしながら、参照フレーム符号化フィールドに記憶された値がＮである場合には、ＥＡ−ＦＲＵＣ復号器２４は、該Ｂフレームに属する少なくとも１つの部分が、参照としてＦＲＵＣフレームを使用して複数のＦＲＵＣモードのうちの１つに従って符号化されたことを知る。

もし該Ｂフレーム中のブロックが複数のＦＲＵＣモードのうちの１つに従って符号化されたならば、復号器２４は、例えば、それぞれのブロックに対するＣＢＰパラメータ及びＭＶパラメータを参照することによって、使用されたＦＲＵＣモードを決定する（３１）。これに基づいて、ＥＡ−ＦＲＵＣ復号器２４は、それぞれのブロックに対して適切なＦＲＵＣモードを選択する。ＥＡ−ＦＲＵＣ復号器２４は、Ｂフレームが複数のＦＲＵＣモードのうちの１つに従って符号化された（２９のｙｅｓ分枝）という判定に応じて、ＦＲＵＣフレームを補間する（３３）。次に、ＥＡ−ＦＲＵＣ復号器２４は、参照フレームとして該補間されたフレーム（３３）を使用し、該Ｂフレーム中のブロックを該選択されたＦＲＵＣモード（３１）に従って復号することが出来る（３５）。

該Ｂフレーム中のブロックが複数のＦＲＵＣモードのうちの１つに従って符号化されてない場合には（３１のｎｏ分枝）、ＥＡ−ＦＲＵＣ復号器２４は、参照として適切なビデオ・フレームを使用して、該Ｂフレームを復号する（３６）。該適切なビデオ・フレームは、先に説明されたように、参照フレーム符号化フィールドを検査することによって決定されることが出来る。何れにせよ、復号器１４は、標準型復号器２２とＥＡ−ＦＲＵＣ復号器２４によって復号されたビデオ・フレームを再構成してビデオ・シーケンスを形成する（２８）。

図３は、ビデオ符号器１２における使用のためのＥＡ−ＦＲＵＣ技術の、ＰフレームとＢフレームの固定ＧＯＰパターンに対する適用を示す概略図である。図３の図説例では、フレーム処理モジュール２０は、入力原始ビデオ・ストリーム２を、Ｐフレーム３２Ａ〜３２Ｄ、包括的に“Ｐフレーム３２”と呼ばれる、ＦＲＵＣフレーム３４、及びＢフレーム３０へと処理する。唯一つのＢフレーム３０が図３に示されるけれども、フレーム処理モジュール２０によって処理されるフレームは、複数のＢフレームを含むことが出来る。

ＦＲＵＣフレーム３４は、Ｂフレーム３０と同じ時間インデックスにおいて、符号器１２によって補間され、そして、Ｂフレーム３０は、参照としてＦＲＵＣフレーム３４を使用して符号化される。このようにして、Ｂフレーム３０の符号化サイズは、それがＦＲＵＣフレーム３４とＢフレーム３０との差分を含むが故に、削減される。即ち、Ｂフレーム３０に対して符号化されたビデオ・フレームは、ビデオ・ストリーム２で送信される、“真の”Ｂフレーム３０とＦＲＵＣフレームの残差を含む。ＦＲＵＣフレーム３４は、符号化されない又は復号器１４に送信されない。代わりに、復号器１４は、符号器１２によって使用されたものと同じＦＲＵＣ技術を使用してＦＲＵＣフレーム３４を補間する。従って、図３は、Ｂフレーム３０に対する従属関係を単に図説するだけである。

本構成において、通信チャネル１５全体にわたりＢフレーム３０をコマ落ちさせる確率は、Ｂフレーム３０に対する削減された符号化サイズのために、低減されると言える。例えば、劣悪な伝送状態下でＢフレーム３０がコマ落ちされる場合には、復号器１４は、それでもＦＲＵＣを実行して失ったＢフレーム３０をＦＲＵＣフレーム３４で置き替えることが出来る。視覚的品質は、ある程度損なわれる可能性があるけれども、復号器３４は、それでもＦＲＵＣ処理を使用してＢフレーム３０のそれなりの複製を提供することが出来る。

図３で示されるように、Ｂフレーム３０は、Ｐフレーム３２の何れかとＦＲＵＣフレーム３４、又はそのようなフレームの組合せ、を参照して符号化されることが出来る。従って、Ｂフレーム３０に対する前方参照バッファは、Ｐフレーム３２Ａ〜３２ＣとＦＲＵＣフレーム３０を含み、そして、Ｂフレーム３０に対する後方参照バッファは、Ｐフレーム３２Ｄを含む。Ｂフレームを符号化するための参照として複数の可能な参照フレームのうちの何れの１つを使用るかを決定するために、符号器１２は、前方及び後方参照バッファ中に含まれる参照フレーム、即ちＰフレーム３２とＦＲＵＣフレーム３４、のそれぞれに対して動き推定を実行する。更に具体的には、符号器１２は、Ｂフレーム３０の異なる部分、例えばマクロブロック、サブパーティション或いはサブブロックのような異なるブロック、を異なる参照フレームを使用して符号化することが出来る。Ｂフレームは、１６×１６画素配列のような、マクロブロック（macroblocks）（ＭＢｓ）及び他のより小さいサブブロックのような、多数のブロックに分割される、或いは、８×８サブブロック又は４×４サブブロックのような任意の数のより小さなサブブロックに分割されることが出来る。それぞれのブロックは、他のブロックに関して独立に又は別な風に符号化されることが出来る。特に、Ｂフレーム内のそのようなブロックは、本開示で説明されるように、適用可能なレート歪（ＲＤ）最適化判定に従って異なるＥＡ−ＦＲＵＣモードを使用して符号化されることが出来る。

一般的には、サブブロックは、Ｂフレーム３０、Ｐフレーム３２、とＦＲＵＣフレーム３４とでは変わり得る。例えば、動き推定アルゴリズムは、Ｂフレーム３０を１つのフレームとして又は複数のブロックとして符号化するために使用されることが出来る。例として、Ｂフレーム３０は、例えば１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４画素のような諸サイズ、他のブロック・サイズも考えられるけれども、を含むブロックに基づいて符号化されることが出来る。このようにして、Ｂフレーム３０は、実質的に該フレームの全画素を符号化する１組の符号化されるブロックへと分割されることが出来る。該符号化される諸ブロックは、異なるサイズであることが可能であって、それぞれの符号化されるブロックは、本開示で説明されるように、異なるＥＡ−ＦＲＵＣモードを使用して符号化されることが出来る。従って、ＦＲＵＣフレーム３４は、符号化されるべきＢフレーム３０の幾つかの又は全てのブロックに対する参照フレームとして使用されることが出来る。

Ｂフレーム３０を符号化するための参照として何れのフレームを使用するかを選択するために、符号器１２は、Ｂフレーム３０、又はＢフレーム３０の各サブブロック、に対する動き推定を実行する。ＦＲＵＣフレーム３４を使用する動き推定を実行することに関しては、符号器１２は、異なるＦＲＵＣモードのそれぞれに対する動き推定を実行する。該動き推定アルゴリズムは、それぞれのグループの諸ブロックに対する動き補償情報、例えば動きベクトルと残差データ、を計算する。例えば、符号器１２は、先ず、１６×１６ブロックのような、比較的大きなブロックに対して、続いて、該比較的大きなブロックの各サブブロック又はサブパーティション、例えば、１６×８ブロック、８×１６、８×８、４×８、４×４ブロック、及びこれらに類するブロックに対して、動き補償情報データを最初に計算することが出来る。

先に説明されたように、符号器１２は、参照フレームを選択し、そして、ＦＲＵＣフレーム３４の場合、ＲＤ最適化判定に基づいてＢフレーム３０を符号化するためにＦＲＵＣモードを選択する。符号器１２がＢフレーム３０中の各ブロックを符号化するために複数のＦＲＵＣモードのうちの１つを選択する場合には、符号器１２は、それぞれのブロックに対するＣＢＰパラメータとＭＶベクトル・パラメータを調節しそれに応じて符号器１２によって使用された該ＦＲＵＣモードを復号器１４に伝達する。

図４は、ビデオ符号器１２における使用のためのＥＡ−ＦＲＵＣ技術の、適応ＧＯＰパターンに対する適用を示す概略図である。適応ＧＯＰパターンでは、複数のＢフレームが隣接するＰフレームの間でビデオ内容に基づいて符号化されることが出来て、それぞれのＢフレームに対して同じ時間インデックスにおいて、独立したＦＲＵＣフレームが生成されることが出来る。

図４に示されるように、フレーム処理モジュール２０は、入力原始ビデオ・ストリームを処理してＢフレーム４０Ａ〜４０ＣとＰフレーム４２Ａ〜４２Ｄを生成する。Ｂフレーム４０Ａ〜４０Ｃは、Ｐフレーム４４Ｃと４４Ｄとの間で符号化される。Ｂフレーム４０ＢとＰフレーム４４Ｃ〜４４Ｄとの間の矢印は、Ｂフレーム４０Ｂに対する可能な従属（依存）関係を図説する。従って、Ｂフレーム４０Ｂに対する前方参照バッファは、Ｐフレーム４２Ａ〜４２ＣとＦＲＵＣフレーム４４とを含み、そして後方参照バッファは、Ｐフレーム４２Ｄを含む。図４には矢印で示されないけれども、Ｂフレーム４０ＡとＢフレーム４０Ｃも又Ｐフレーム４４Ａ〜４４Ｃに関連付けられることが出来る。更に、示されてないけれども、符号器１２は、Ｂフレーム４０Ａと４０Ｃのそれぞれに対して対応するＦＲＵＣフレームを補間することが出来る。Ｂフレーム４０Ａ〜４０Ｃのそれぞれに対する前方参照バッファは、Ｐフレーム４２Ａ〜４２Ｃと該対応するＦＲＵＣフレームとを含む。換言すれば、Ｂフレーム４０Ａに対する前方参照バッファは、該対応するＦＲＵＣフレーム（示されない）とＰフレーム４２Ａ〜４２Ｃとを含むが、ＦＲＵＣフレーム４４を含まない、その理由は、ＦＲＵＣフレーム４４がＢフレーム４０Ｂに対応するためである。

Ｂフレーム４０Ｂ内のブロックを符号化するために何れのＦＲＵＣモードを使用するかを選択することは、ＦＲＵＣフレーム４４が別なふうに生成され得ることを除いて、図３で説明されたのと同じ技術に従う。特に、Ｐフレーム４２Ｃと４２Ｄの情報は、Ｐフレーム４２Ｃと４２Ｄとの間の他のＢフレーム、例えばＢフレーム４０Ａと４０Ｂ、の数に基づいて、拡大縮小されることが出来る。他の点では、動き推定を実行する処理とＲＤ最適化判定に基づいてＦＲＵＣモードを選択する処理は、同じままである。この処理は又、ＦＲＵＣフレーム４４ではなく対応するＦＲＵＣフレームが使用されることを除いては、Ｂフレーム４０Ａと４０Ｃに対する処理と同じである。

図５は、ＥＡ−ＦＲＵＣ符号器１８の例を更に詳細に図説するブロック図である。図５に示されるように、ＥＡ−ＦＲＵＣ符号器１８は、補間モジュール５０、モード選択モジュール５２、シグナリング（signaling）モジュール５６、及び符号化モジュール５８を含む。モード選択モジュール５２は、更に動き計算ユニット５４とレート歪（ＲＤ）計算ユニット５５を含む。一般に、ＥＡ−ＦＲＵＣ符号器１６は、標準型符号器１６から受信されたＢフレーム中の諸ブロックを、複数のＦＲＵＣモードのうちの１つに従って、選択的に符号化する。

補間モジュール５０は、Ｂフレームと同じ時間インスタンスにあるＦＲＵＣフレーム、例えばＦ_２、を標準型符号器１６から受信されるＰフレームを使用して補間する。特に、補間モジュール５０は、該Ｂフレームと同じ時間インデックスにあるＦＲＵＣフレームを補間して、復号器１４がＢフレームに対してＦＲＵＣフレームを生成するのと同じ方法で、ＦＲＵＣフレームを生成する。一例としてフレームＦ_２を使用すると、補間モジュール５０は、フレームＦ_１とＦ_３を使用してＦＲＵＣフレームを補間する。

一般に、モード選択モジュール５２は、Ｆ_２中のそれぞれのブロックを符号化するために、複数のＦＲＵＣモードのうちの１つを選択する。モード選択モジュール５２は、例えば、動き推定の結果を使用するＲＤ最適化判定に基づいてＦＲＵＣモードを選択し、符号化ビットレートと視覚的品質低下への要求を均衡させることが出来る。特に、動き計算ユニット５４は、Ｆ_２に対する動き推定を、可能な参照フレームのそれぞれに関して実行する。可能な参照フレームは、補間モジュール５０によって生成されたＦＲＵＣフレーム、及び、該Ｂフレームに対する前方及び後方参照バッファ中に含まれる非補間ビデオ・フレーム、例えば、Ｆ_１、Ｆ_３、及びＦ_２に関してＦ_２と同じ時間インスタンスにおいて生成されたＦＲＵＣフレーム、を含む。

動き計算ユニット５４は、Ｆ_２内のビデオ・ブロックと、先行フレームＦ_１、後続フレームＦ_３、及びフレームＦ_２と同じ時間インスタンスにおいて生成されたＦＲＵＣフレーム内の対応するブロックとの間の、動きを表す動きベクトルを生成する。動き計算ユニット５４は又、Ｆ_２内のビデオ・ブロックと、Ｆ_１、Ｆ_２、及び該ＦＲＵＣフレーム内の対応するブロックとの間の、差分を表す残差データも生成する。

ＲＤ計算ユニット５５は、フレームＦ_２内のブロックを符号化するためにそれぞれのＦＲＵＣモードを使用した結果を評価することが出来る。ＲＤ計算ユニット５５は又、フレームＦ_２内のブロックを符号化するためにＦ_１又はＦ_３を使用した結果を評価することが出来る。特に、ＲＤ計算ユニット５５は、動き推定ユニット５４によって生成された情報をそれぞれのＦＲＵＣモードに対するＲＤ関数に選択的に適用することが出来る。例えば、ＲＤ計算ユニット５５は、動きベクトル・データ及び残差データを使用しないで、あるブロックに関する第１ＦＲＵＣモードに対するＲＤコスト関数を処理する。別の例では、ＲＤ計算ユニット５５は、動きベクトル・データのみを使用して第２ＦＲＵＣモードに対するＲＤコスト関数を処理する。更なる例では、ＲＤ計算ユニット５５は、残差データのみを使用して第３ＦＲＵＣモードに対するＲＤコスト関数を処理する。更に別の例では、ＲＤ計算ユニット５５は、残差データと動きベクトル・データとを第４ＦＲＵＣモードに対するＲＤコスト関数に適用する。

ＲＤ計算ユニット５５は、それぞれのＦＲＵＣモード並びにＦ_１及びＦ_３に対するコスト関数の結果を比較し、そして、該符号化されるブロックに対するＲＤコスト関数を最小にするＦＲＵＣモードを選択する。更に具体的には、ＲＤ計算ユニット５５は、該ブロックに対して選択されたＦＲＵＣモードを指示する信号を出力する。このようにして、符号化モジュール５６は、フレーム内の諸ブロックに対して適用可能なＦＲＵＣモードを決定する。

シグナリング・モジュール５６は、該出力を受信し、それに応じて１又は複数のパラメータを調節する。先に説明されたように、シグナリング・モジュール５６は、例えば、あるブロックに対するＣＢＰパラメータとＭＶパラメータによって与えられる諸ビットをゼロ値又は非ゼロ値の何れかに設定して、選択されたＦＲＵＣモードを指示することが出来る。シグナリング・モジュール５６は又、複数のＦＲＵＣモードの１つが選択される場合には、参照フレーム符号化フィールドを前方参照バッファの規定されたサイズより１だけ大きい値に設定することが出来る、即ち、該フィールドをＮ−１の代わりにＮに設定することが出来る。このようにして、復号器１４は、参照フレーム符号化フィールドを検査して、対応するビデオ・フレームが参照としてＦＲＵＣフレームを使用して符号化されたか又は非補間ビデオ・フレームを使用して符号化されたかどうかを決定することが出来る。

この符号化フィールドが、ビデオ・フレームの少なくとも一部分がＦＲＵＣフレームを参照として使用して符号化されたことを示す場合には、復号器１４は、それに応じて各ブロックに対するＣＢＰパラメータとＭＶパラメータを処理することが出来る。即ち、復号器１４は、ＣＢＰパラメータとＭＶパラメータを処理することを知り、通常の方法でＣＢＰパラメータとＭＶパラメータを処理する代わりに、何れのＦＲＵＣモードがあるブロックに対して選択されたかを決定する。このことは注意されて然るべきで、その理由は、第１ＦＲＵＣモードは、Ｈ．２６４規格により規定されるように非有効状態によって指示されることがあり、そして復号器１４は、もし参照フレーム符号化フィールドがＣＢＰパラメータとＭＶパラメータに先んじて検査されないならば、これを誤りとして解釈し得るからである。

従って、符号化モジュール５８は、複数のＦＲＵＣモードのうちの１つがＦ_２中のあるブロックを符号化するために選択される場合にはプロプライエタリ（proprietary）出力ビットストリームを生成する。その他の場合には、符号化モジュール５８は、標準出力ビットストリームを生成する。即ち、符号化モジュール５８は、Ｆ_２が参照としてＦ_１又はＦ_３を使用して符号化される場合には、Ｈ．２６４規格シンタックスに従って出力ストリームを生成する。

図６は、本開示で説明される複数のＦＲＵＣモードのうちの１つに従って符号化されるビデオ・フレーム６０を図説するブロック図である。ビデオ・フレームは、ビデオ・フレーム・ヘッダ６２、符号化されたビデオ内容を含むビデオ・フレーム情報６４、ビデオ・フレーム・パラメータ６６、及びビデオ・フレーム終端７０を含む。図６の図説例では、ビデオ情報６４、即ち、動きベクトル・データと残差データ、の大きさは、ビデオ・フレーム６０中のブロックをビデオ・フレーム６０と同じ時間インデックスにおいて補間されたＦＲＵＣフレームを使用して符号化することによって、圧縮される。ビデオ情報６４は、ビデオ・フレーム６０内のブロックを符号化するために選択されるＦＲＵＣモードに基づいて更に圧縮されることが出来る。

先に説明されたように、ビデオ・フレーム６０中の所与のブロックに対するビデオ情報６４は、該ブロックが第１ＦＲＵＣモードを使用して符号化される場合には、何の動き補償情報を含むことも出来ない。それに代わって、所与のブロックに対するビデオ情報６４は、該ブロックが第２ＦＲＵＣモードを使用して符号化される場合には、動きベクトル情報のみを含むことが出来る。別の例として、所与のブロックに対するビデオ情報６４は、該ブロックが第３ＦＲＵＣモードを使用して符号化される場合には、残差データのみを含むことが出来る。更に別の例として、ビデオ・フレーム６０中の所与のブロックに対するビデオ情報６４は、該ブロックが第４ＦＲＵＣモードを使用して符号化される場合には、動きベクトル・データと残差データとを含むことが出来る。しかしながら、ビデオ情報６４は、これ等の場合のそれぞれにおいて、参照として非補間フレームを使用してビデオ・フレームを符号化する場合に要求されるビデオ情報と比べて、圧縮されることが出来る。

図６の図説例では、ビデオ・フレーム・パラメータ６６は、ＣＢＰパラメータ６７、動きベクトル・パラメータ６８、及び参照フレーム・パラメータ６９を含む。ＣＢＰパラメータ６７と動きベクトル・パラメータ６８は、フレーム６０内の個々のブロックに対して独立に指定されることが出来る。パラメータ６７〜６９のそれぞれは、Ｈ．２６４規格のような適用可能な規格のシンタックス中に規定される既存パラメータであることが出来て、符号化されるビデオ・フレーム中に含まれる。本開示で説明される諸技術は、殊にＨ．２６４規格に適用可能であると言えるが、それに限定される必要はない。ビデオ・フレーム・パラメータ６６を使用してビデオ・フレーム６０内のあるブロックを符号化するために何れのＦＲＵＣモードが使用されたかを指示することによって、十分な符号化情報が効率的な方法で提供されることが出来る。

特に、ＣＢＰパラメータ６７と動きベクトル・パラメータ６８は、ビデオ・フレーム６０内のあるブロックを符号化するために使用されたＦＲＵＣモードを指示するために使用される。先に説明されたように、ＣＢＰパラメータ６７と６８のそれぞれは、ゼロと非ゼロ値に設定されることが出来るビットを与えることが出来る。従って、ＣＢＰパラメータ６７と動きベクトル・パラメータ６８は、本開示で説明されるＦＲＵＣモードを指示するために使用されることが出来る。従って、フレーム６０中の異なるブロックは、異なるＣＢＰパラメータと動きベクトル（ＭＶ）パラメータを有してそれぞれのブロックに対して異なるＦＲＵＣモードを指示することが出来る。

参照フレーム６９は、本開示では先述の参照フレーム符号化フィールドに対応する。従って、参照フレーム・パラメータ６９は、ビデオ・フレーム６０内のブロックが参照として補間されたＦＲＵＣフレームを使用して符号化されたかどうか、或いは、参照として非補間ビデオ・フレームを使用して符号化されたかどうか、を指示するために使用される。例えば、復号器１４は、参照フレーム６０中のあるブロックを、参照パラメータ６９が０からＮ−１までの間に番号付けられている場合には、前方参照バッファ中に含まれる複数の非補間参照フレームのうちの１つに基づいて符号化されたとして、識別することが出来る。しかしながら、復号器１４は、参照パラメータ６９がＮに設定されている場合には、説明されたＦＲＵＣモードの１つに従って符号化されたとして、参照フレーム６０中のあるブロックを識別することが出来る。参照フレーム・パラメータ６９がＮに設定されている場合には、復号器１４は、ＣＢＰパラメータ６７と動きベクトル・パラメータ６８を読み取ってビデオ・フレーム６０中の所与のブロックを符号化するために何れのＦＲＵＣモードが使用されたかを決定する。

図７は、適応ＥＡ−ＦＲＵＣに関する技術を図説する流れ図である。一般に、図７で説明される技術は、Ｂフレーム又はＰフレームのような、ビデオ・フレーム中のブロックを複数のＦＲＵＣモードのうちの１つに従って選択的に符号化するために、符号器１２によって実行されることが出来る。該ＦＲＵＣモードは、符号化ビットレートと視覚的品質低下への要求を均衡させるように選択されて、ビデオ・フレームの符号化サイズを圧縮するが、その理由は、該ビデオ・フレームがＦＲＵＣフレームを参照として使用して符号化されるからである。選択されるＦＲＵＣモードは、該フレーム中の諸ブロックに関連付けられる既存パラメータ又は符号化フィールドを調節することによって、効率的に特定されることができ、そして、ある複数の態様では、符号化サイズを増大させることなく特定されることが出来る。復号器１４は、該修正されたパラメータを検査して該ビデオ・フレーム中の諸ブロックを復号するために何れのＦＲＵＣモードを使用するかを決定することによって、該符号化されたビデオ・フレームを効率的に復号することが出来る。

図７の流れ図に示される処理は、符号器１２がビデオ・フレームを受信する時に開始する８０。符号器１２は、例えばＩＢＰＢＰＢＰのように、固定ＧＯＰパターンで、或いは、複数のＢフレームがビデオ内容に基づいて隣接Ｐの間で符号化されることが出来る、適応ＧＯＰパターンで、ビデオ・フレームを受信することが出来る。符号器１２は、該受信されたビデオ・フレームを処理して、該ビデオ・フレームがＢフレームであるかどうかを決定する８２。もし該ビデオ・フレームがＢフレームでなければ、符号器１２は、Ｐフレーム符号化を実行する８４、例えば、先行Ｐフレームを参照として使用して該Ｐフレーム中の諸ブロックを符号化する。次に符号器１２は、該符号化されたＰフレームに可変長符号化（variable length coding）（ＶＬＣ）を実行して８６、通信チャネル１５を介して復号器１４に送信される出力ビットストリームを生成する８８。

符号器１２が該Ｐフレームを符号化した後、符号器１２は、ＦＲＵＣフレームを補間する９０。特に、符号器１２は、後続のＢフレームと同じ時間インデックスにあるＦＲＵＣフレームを補間する。符号器１２は、該後続のＢフレームが隣接Ｐフレームの間にある複数のフレームの先頭である場合には、たった今符号化されたＰフレーム、即ちステップ９０で符号化されたＰフレーム、の情報を使用してＦＲＵＣ情報を生成することによって、ＦＲＵＣフレームを補間することが出来る。その他の場合には、符号器１２は、両隣のＰフレームのＦＲＵＣ情報を拡大縮小することによって、及び、該拡大縮小されたＦＲＵＣ情報を使用してＦＲＵＣフレームを生成することによって、ＦＲＵＣ情報を生成することが出来る。符号器１２は、単一のＢフレームが隣接Ｐフレームの間で符号化される場合には、このようにしてＦＲＵＣフレームを補間することが出来る。

ＦＲＵＣフレームを補間するために、Ｐフレームに対する動きベクトルは、動きベクトル・バッファ中に記憶されることが出来、そして、該Ｐフレームは、再構成されて再構成フレーム・バッファ中に記憶されることが出来る。符号器１２は、動きベクトル・バッファと再構成フレーム・バッファ中に記憶された情報を使用して、ＦＲＵＣフレームを補間する９０。符号器１２は、該ＦＲＵＣフレームをバッファ中に記憶する９６。該ＦＲＵＣフレームが該バッファ中に記憶されると、符号器１２は、参照フレーム符号化フィールドを調節する。即ち、該ＦＲＵＣフレームが該バッファ中に記憶されると、前方参照バッファのサイズがＮに増やされて、該ＦＲＵＣフレームが参照フレームとして使用されることを示す。

ステップ８４でＰフレームを符号化した後、符号器１２は、別のビデオ・フレームを受信し、このビデオ・フレームを処理してそれがＢフレームであるかどうかを判定する８２。符号器１２が、該受信されたビデオ・フレームがＢフレームであると判定する場合には、符号器は、該ビデオ・フレームに対しＢフレーム符号化を実行する９８。該Ｂフレームの符号化サイズを圧縮するために、符号器１２は、該Ｂフレームについての動き推定をそれぞれの可能な参照フレームに対して実行する１００。該可能な参照フレームは、前方及び後方参照バッファ中に記憶されている。先に説明されたように、ステップ９０で生成されたＦＲＵＣフレームは、前方参照バッファ中に記憶されている。

符号器１２は、該動き推定結果にＲＤコスト関数を適用し１０２、該ＲＤコスト関数に基づいて、該フレーム中のそれぞれのブロックに対してＦＲＵＣモード又は標準モードを選択する１０４。該Ｂフレームに対する参照として該ＦＲＵＣフレームを使用して生成された動き推定結果に関して、符号器１２は、複数のＦＲＵＣモードのそれぞれに対してＲＤコスト関数を適用する。換言すれば、先に説明されたように、符号器１２は、それぞれのＦＲＵＣモードと対応する動き推定結果の情報にＲＤコスト関数を適用することが出来る。一例として、第２ＦＲＵＣモードを使用すると、符号器１２は、該動き推定の結果得られる動きベクトル情報のみをＲＤコスト関数に適用することが出来る。このようにして、符号器１２は、非補間参照フレーム中の各ブロックに対するＲＤコスト関数の結果と該ＦＲＵＣフレームに対するそれぞれのＦＲＵＣモードに関するＲＤコスト関数の結果とを比較して何れのモードを選択するかを決定する１０６。符号器１２は、次に、所与のブロックに対するＲＤコスト関数を最小にする、若しくは、例え最小でないにせよ少なくとも最も望ましいＲＤコストをもたらす、ＦＲＵＣモード又は標準、非ＦＲＵＣモード、を選択することが出来る。

もし所与のブロックに対して複数のＦＲＵＣモードのうちの１つがＲＤコスト関数を最小にするならば、符号器１２は、該選択されたＦＲＵＣモードに従って該ブロックのＶＬＣ符号化を実行する１１０。その他の場合には、符号器１２は、参照として該選択された非補間ビデオ・フレームを使用して、該ブロックの通常ＶＬＣ符号化を実行する１０８。符号器１２は、復号器１４に送信される出力ビットストリームを生成する８８。該出力ビットストリームは、符号器１２が該Ｂフレームを通常ＶＬＣ符号化を使用して符号化する場合には、Ｈ．２６４規格に準拠することが出来る。しかしながら、符号器１２が該Ｂフレーム中の１又は複数のブロックを該説明された複数のＦＲＵＣモードのうちの１つを使用して符号化する場合には、該出力ビットストリームは、Ｈ．２６４規格に準拠しないことがあり得て、その理由は、該符号化されるフレームの１又は複数のパラメータ、例えば、ＣＢＰパラメータやＭＶパラメータ、に対して行われる調節のためである。

特に、該Ｂフレームが該複数のＦＲＵＣモードのうちの１つに従って符号化される場合には、参照フレーム符号化フィールドがＮ−１からＮに増加させられるが故に、出力ビットストリームは、準拠することが出来ないことがあり得て、そして、１又は複数のブロックに対するＣＢＰパラメータ及びＭＶパラメータが該選択されたＦＲＵＣモードを指示するために使用される。出力ビットストリームが準拠していないとはいえ、復号器１４は、該ビットストリームを効率的に復号することが出来る。

図８は、本開示に記載の適応ＥＡ−ＦＲＵＣ技術に従って符号化されたビデオ・フレームを復号するための復号化技術を図説する流れ図である。一般に図８で示される復号化技術は、復号器１４によって実行されて、符号器１４から受信される符号化されたビデオ・フレームを効率的に復号する。該流れ図は、復号器１４が符号化されたビデオ・フレームを受信する時に、開始する１２０。

符号化されたビデオ・フレームを受信すると１２０、復号器１４は、参照フレーム・パラメータ又は符号化フィールドを検査して１２２、該ビデオ・フレームが前述の複数のＦＲＵＣモードのうちの１つに従って符号化されたかどうか或いは参照として非補間ビデオ・フレームを使用して符号化されたかどうかを決定する。Ｎが前方参照バッファ中の非補間参照フレームの個数である場合には、もし該参照フレーム・パラメータがＮ−１より大であれば１２４、復号器１４は、続けて前述の複数のＦＲＵＣモードのうちの１つに従って該ビデオ・フレーム中のブロックを復号する。しかしながら、もし該参照フレーム・パラメータがＮ−１より小であれば、復号器１４は、参照として該指示されたビデオ・フレームを使用して該ビデオ・フレーム中のブロックを復号する１２６。該参照フレーム・パラメータが０とＮ−１との間の値を記憶する場合には、該値は、該ビデオ・フレームを符号化するための参照として使用された非補間参照フレームを特定する。

しかしながら、参照フレーム・パラメータが値Ｎを記憶している場合には、復号器１４は、該ビデオ・フレームのそれぞれのブロックに対するＣＢＰパラメータ及びＭＶパラメータを検査して１２８、該それぞれのブロックを符号化するために使用されたＦＲＵＣモードをＣＢＰパラメータ及びＭＶパラメータに基づいて決定する１３０。このようにして、参照フレーム・パラメータは、復号器１４によるトリガとして使用されて、該ＣＢＰパラメータ及びＭＶパラメータが通常に、即ち、Ｈ．２６４規格に準拠して使用される場合を決定する、或いは、該ビデオ・フレーム中のあるブロックを符号化するために使用されたＦＲＵＣモードを指示する。ＦＲＵＣモードを決定した後、復号器１４は、該選択されたＦＲＵＣモード、即ちステップ１３０で決定されたＦＲＵＣモード、に従って該ビデオ・フレームを復号することが出来る。

図９は、本開示に記載の適応ＥＡ−ＦＲＵＣ技術に従って、ビデオ・フレーム又はその部分を符号化するためのデジタル・ビデオ符号化装置１３６を図説するブロック図である。デジタル・ビデオ符号化装置１３６は、図１のビデオ符号器１２のような、ビデオ符号器に常駐することが出来て、ハードウェア、ソフトウェア、或いはファームウェア、又はこれ等の任意の適切な組合せによって実現されることが出来る。図９に示されるように、デジタル・ビデオ符号化装置１３６は、本明細書で説明されたようにＦＲＵＣフレームを補間するためのモジュール１３８、本明細書で説明されたようにＦＲＵＣフレームを参照として使用しビデオ・フレームを符号化するためのモジュール１４０、本明細書で説明されたようにビデオ・フレーム又はその部分を符号化するために１又は複数のＦＲＵＣモードを選択するためのモジュール１４２、及び、本明細書で説明されたようにビデオ・フレーム又はその部分を符号化するために使用されるＦＲＵＣモードを指示するために諸パラメータを調節するためのモジュール１４４を含むことが出来る。ある複数の例の構成では、モジュール１３８は、図５の補間モジュール５０に実質的に対応すると言え、モジュール１４０は、図５の符号化モジュール５８に実質的に対応すると言え、モジュール１４２は、図５のモード選択モジュール５２に実質的に対応すると言え、そしてモジュール１４４は、図５のシグナリング・モジュール５６に実質的に対応すると言える。

図１０は、本開示に記載の適応ＥＡ−ＦＲＵＣ技術に従って符号化された、ビデオ・フレーム又はその部分を復号するためのデジタル・ビデオ復号装置１４６を図説するブロック図である。デジタル・ビデオ復号装置１４６は、図１のビデオ復号器１４のような、ビデオ復号器に常駐することが出来て、ハードウェア、ソフトウェア、或いはファームウェア、又はこれ等の任意の適切な組合せによって実現されることが出来る。図１０に示されるように、デジタル・ビデオ復号装置１４６は、本明細書で説明されたようにＦＲＵＣフレームを補間するためのモジュール１４８を含むことが出来る。デジタル・ビデオ復号装置１４６は又、１又は複数のＦＲＵＣモードを選択するためのモジュール１５０を含み、例えば、該選択されたＦＲＵＣモードを指示する該符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、本明細書で説明されたようにデジタル・ビデオ・フレームの少なくとも一部分を復号することが出来る。更に、デジタル・ビデオ復号装置１４６は、該ＦＲＵＣフレームを参照として使用し該選択されたＦＲＵＣモードに従って、ビデオ・フレーム又はその部分を復号するためのモジュール１５２を含むことが出来る。

本明細書に記載の技術は、ハードウェア、ソフトウェア、ファームウェア、又はこれ等の任意の組合せで実装されることが出来る。ソフトウェアで実装される場合には、本技術は、コンピュータ可読媒体を具備するデジタル・ビデオ符号化のためのコンピュータ・プログラム製品によって一部実現されることが出来る、ここで、該コンピュータ可読媒体は、コンピュータに本開示に従う技術を実行させるためのコードを具備する。この場合には、該コンピュータ可読媒体は、シンクロナス・ダイナミック・ランダム・アクセス・メモリ（synchronous dynamic random access memory）（ＳＤＲＡＭ）のような、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、非揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、磁気的又は光学的データ記憶媒体、及びこれらに類するメモリを具備することが出来る。

該プログラム・コードは、コンピュータによって、例えば１又は複数のプロセッサによって実行されることが出来る。該プロセッサの例としては、１又は複数のデジタル信号処理装置（digital signal processors）（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（application specific integrated circuits）（ＡＳＩＣｓ）、フィールド・プログラマブル・ロジック・アレイ（field programmable logic array）（ＦＰＧＡ）、又は他の同等な集積論理回路あるいは個別論理回路、がある。ある複数の態様では、本明細書に記載の機能は、符号化及び復号するために構成された専用ソフトウェア・モジュール又はハードウェア・モジュールの中で実現されることが出来る、或いは、複合型ビデオ符号器復号器（combined video encoder-decoder）（ＣＯＤＥＣ）中に統合されることが出来る。

該説明された技術に対して種々の変更が特許請求の範囲を逸脱せずに行われることが可能である。従って、上記で説明された具体的な諸態様とその他の態様は、特許請求の範囲の中にある。

本発明の開示に従う符号器支援フレーム・レート・アップコンバージョン（ＥＡ−ＦＲＵＣ）技術を利用するビデオ符号化及び復号システムを示すブロック図。 本発明の図１のシステムにおける使用のための符号器の例示的動作を示す流れ図。 本発明の図１のシステムにおける使用のための復号器の例示的動作を示す流れ図。 本発明の図１で示されるシステムのビデオ符号器における使用のためのＥＡ−ＦＲＵＣ技術の固定されたグループ・オブ・ピクチャー（ＧＯＰ）パターンに対する適用を示す概略図。 本発明の図１で示されるシステムのビデオ符号器における使用のための別のＥＡ−ＦＲＵＣ技術の適応ＧＯＰパターンに対する適用を示す概略図。 本発明の図１で示されるようなビデオ符号器における使用のためのＥＡ−ＦＲＵＣ符号器を示すブロック図。 本発明の開示に記載されるＥＡ−ＦＲＵＣ技術に従って符号化されたビデオ・フレームを示す図。 本発明の開示に記載される適応ＥＡ−ＦＲＵＣ技術に従ってビデオ・フレーム又はその一部分を符号化するための技術を示す流れ図。 本発明の開示に記載される適応ＥＡ−ＦＲＵＣ技術に従って符号化されるビデオ・フレーム又はその一部分に対する復号化技術を示す流れ図。 本発明の開示に記載される適応ＥＡ−ＦＲＵＣ技術に従ってビデオ・フレーム又はその一部分を符号化するための装置を示すブロック図。 本発明の開示に記載される適応ＥＡ−ＦＲＵＣ技術に従って符号化されたビデオ・フレーム又はその一部分を復号するための装置を示すブロック図。

Claims (30)

1. ビデオ符号器が、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間すること、
   前記ビデオ符号器が、前記ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化すること、
   前記ビデオ符号器が、前記符号化されたビデオ・フレームの前記少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択すること、及び
   前記ビデオ符号器が、前記選択されたＦＲＵＣモードを指示するために、前記符号化されたビデオ・フレームの前記少なくとも一部分に対する１又は複数のパラメータを調節すること
   を具備し、
   前記１又は複数のパラメータを調節することは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを調節して、前記選択されたＦＲＵＣモードを指示することを具備する、デジタル・ビデオ符号化方法。
2. 複数のＦＲＵＣモードのうちの１つを選択することは、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して、複数のＦＲＵＣモードのうちの１つを選択することを具備する、及び、１又は複数のパラメータを調節することは、前記それぞれのブロックに対して前記選択されたＦＲＵＣモードを指示するために、前記複数のブロックのうちの少なくとも１つに関連付けられる１又は複数のパラメータを調節することを具備する、請求項１の方法。
3. 前記ＣＢＰをゼロに且つ前記ＭＶをゼロに設定して第１モードを指示すること、前記ＣＢＰをゼロに且つ前記ＭＶを非ゼロ値に設定して第２モードを指示すること、前記ＣＢＰを非ゼロ値に且つ前記ＭＶをゼロに設定して第３モードを指示すること、及び前記ＣＢＰを非ゼロ値に且つ前記ＭＶを非ゼロ値に設定して第４モードを指示すること、を更に具備する、請求項１の方法。
4. 複数のＦＲＵＣモードのうちの１つを選択することは、レート歪最適化判定に基づいて前記複数のＦＲＵＣモードのうちの１つを選択することを具備する、請求項１の方法。
5. 前記符号化されたブロック・パターン（ＣＢＰ）と前記モーション・ベクトル（ＭＶ）とを調整することは、前記選択されたＦＲＵＣモードが第１ＦＲＵＣモードである場合に、残差情報と動きベクトル情報とを含まないこと、前記選択されたＦＲＵＣモードが第２ＦＲＵＣモードである場合に、動きベクトル情報を含むこと、前記選択されたＦＲＵＣモードが第３ＦＲＵＣモードである場合に、残差情報を含むこと、及び前記選択されたＦＲＵＣモードが第４ＦＲＵＣモードである場合に、残差情報及び動きベクトル情報の両者を含むこと、を具備する、請求項１の方法。
6. フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する補間モジュール、
   前記ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化する符号化モジュール、
   前記符号化されたビデオ・フレームの前記少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択するモード選択モジュール、及び
   前記選択されたＦＲＵＣモードを指示するために、前記符号化されたビデオ・フレーム中の前記少なくとも一部分に対する１又は複数のパラメータを調節するシグナリング・モジュール
   を具備し、
   前記シグナリング・モジュールは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを調節して、前記選択されたＦＲＵＣモードを指示する、デジタル・ビデオ符号化装置。
7. 前記モード選択モジュールは、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して複数のＦＲＵＣモードのうちの１つを選択する、及び、前記シグナリング・モジュールは、前記それぞれの複数のブロックに対して前記選択されたＦＲＵＣモードを指示するために、前記複数のブロックのそれぞれに関連付けられる１又は複数のパラメータを調節する、請求項６の装置。
8. 前記シグナリング・モジュールは、前記ＣＢＰをゼロに且つ前記ＭＶをゼロに設定して第１モードを指示し、前記ＣＢＰをゼロに且つ前記ＭＶを非ゼロ値に設定して第２モードを指示し、前記ＣＢＰを非ゼロ値に且つ前記ＭＶをゼロに設定して第３モードを指示し、及び前記ＣＢＰを非ゼロ値に且つ前記ＭＶを非ゼロ値に設定して第４モードを指示する、請求項６の装置。
9. 前記モード選択モジュールは、レート歪最適化判定に基づいて前記複数のＦＲＵＣモードのうちの１つを選択する、請求項６の装置。
10. 前記符号化されたブロック・パターン（ＣＢＰ）と前記モーション・ベクトル（ＭＶ）とを調整することは、前記選択されたＦＲＵＣモードが第１ＦＲＵＣモードである場合に、残差情報と動きベクトル情報とを含まないこと、前記選択されたＦＲＵＣモードが第２ＦＲＵＣモードである場合に、動きベクトル情報を含むこと、前記選択されたＦＲＵＣモードが第３ＦＲＵＣモードである場合に、残差情報を含むこと、及び前記選択されたＦＲＵＣモードが第４ＦＲＵＣモードである場合に、残差情報及び動きベクトル情報の両者を含むこと、を具備する、請求項６の装置。
11. デジタル・ビデオ・データを符号化するためのプロセッサであって、前記プロセッサは、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間するように、前記ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化するように、前記符号化されたビデオ・フレームの前記少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択するように、及び、前記選択されたＦＲＵＣモードを指示するために前記符号化されたビデオ・フレームの前記少なくとも一部分に対する１又は複数のパラメータを調節するように、構成され、
    前記１又は複数のパラメータを調節することは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを調節して、前記選択されたＦＲＵＣモードを指示することを具備する、プロセッサ。
12. コンピュータに、
    フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間すること、
    前記ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化すること、
    前記符号化されたビデオ・フレームの前記少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択すること、及び
    前記選択されたＦＲＵＣモードを指示するために、前記符号化されたビデオ・フレームの前記少なくとも一部分に対する１又は複数のパラメータを調節すること、
    前記符号化されたビデオ・フレーム中にモード情報を含めること、
    をさせるコードを具備するデジタル・ビデオ符号化のためのコンピュータ・プログラム、
    を記憶し、前記１又は複数のパラメータを調節することは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを調節して、前記選択されたＦＲＵＣモードを指示することを具備する、コンピュータ可読記憶媒体。
13. フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間するための手段、
    前記ＦＲＵＣフレームを参照として使用してビデオ・フレームの少なくとも一部分を符号化するための手段、
    前記符号化されたビデオ・フレームの前記少なくとも一部分に対して複数のＦＲＵＣモードのうちの１つを選択するための手段、及び
    前記選択されたＦＲＵＣモードを指示するために、前記符号化されたビデオ・フレームの前記少なくとも一部分に対する１又は複数のパラメータを調節するための手段
    を具備し、
    １又は複数のパラメータを調節するための前記手段は、前記選択されたＦＲＵＣモードを指示するために、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを調節するための手段を具備する、デジタル・ビデオ符号化装置。
14. 複数のＦＲＵＣモードのうちの１つを選択するための前記手段は、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して複数のＦＲＵＣモードのうちの１つを選択するための手段を具備する、及び、１又は複数のパラメータを調節するための前記手段は、前記それぞれのブロックに対して前記選択されたＦＲＵＣモードを指示するために、前記複数のブロックのそれぞれに関連付けられる１又は複数のパラメータを調節するための手段を具備する、請求項１３の装置。
15. 前記ＣＢＰをゼロに且つ前記ＭＶをゼロに設定して第１モードを指示するための手段、前記ＣＢＰをゼロに且つ前記ＭＶを非ゼロに設定して第２モードを指示するための手段、前記ＣＢＰを非ゼロに且つ前記ＭＶをゼロに設定して第３モードを指示するための手段、及び、前記ＣＢＰを非ゼロに且つ前記ＭＶを非ゼロに設定して第４モードを指示するための手段、を更に具備する、請求項１３の装置。
16. 複数のＦＲＵＣモードのうちの１つを選択するための前記手段は、レート歪最適化判定に基づいて前記複数のＦＲＵＣモードのうちの１つを選択するための手段を具備する、請求項１３の装置。
17. 復号器が、フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間すること、
    前記復号器が、複数のＦＲＵＣモードのうちの１つを選択して、符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号すること、ここに、前記パラメータは前記選択されたＦＲＵＣモードを指示する、及び
    前記復号器が、前記補間されたＦＲＵＣフレームを参照として使用して前記選択されたＦＲＵＣモードに従って前記符号化されたビデオ・フレームの前記少なくとも一部分を復号すること、
    を具備し、
    前記選択されたＦＲＵＣモードを指示する前記パラメータは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを具備する、デジタル・ビデオ復号方法。
18. 複数のＦＲＵＣモードのうちの１つを選択することは、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して複数のＦＲＵＣモードのうちの１つを選択することを具備する、ここに、前記複数のブロックのそれぞれに関連付けられる１又は複数のパラメータは、前記それぞれのブロックに対する前記選択されたＦＲＵＣモードを指示する、請求項１７の方法。
19. 前記ＣＢＰはゼロに設定され且つ前記ＭＶはゼロに設定されて第１モードを指示し、前記ＣＢＰはゼロに設定され且つ前記ＭＶは非ゼロに設定されて第２モードを指示し、前記ＣＢＰは非ゼロに設定され且つ前記ＭＶはゼロに設定されて第３モードを指示し、及び前記ＣＢＰは非ゼロに設定され且つ前記ＭＶは非ゼロに設定されて第４モードを指示する、請求項１７の方法。
20. 前記符号化されたブロック・パターン（ＣＢＰ）と前記モーション・ベクトル（ＭＶ）とを調整することは、前記選択されたＦＲＵＣモードが第１ＦＲＵＣモードである場合に、残差情報と動きベクトル情報とを含まないこと、前記選択されたＦＲＵＣモードが第２ＦＲＵＣモードである場合に、動きベクトル情報を含むこと、前記選択されたＦＲＵＣモードが第３ＦＲＵＣモードである場合に、残差情報を含むこと、及び前記選択されたＦＲＵＣモードが第４ＦＲＵＣモードである場合に、残差情報及び動きベクトル情報の両者を含むこと、を具備する、請求項１７の方法。
21. フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する補間モジュール、
    複数のＦＲＵＣモードのうちの１つを選択して、前記選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号するモード選択モジュール、ここに、前記パラメータは前記選択されたＦＲＵＣモードを指示する、及び
    前記補間されたＦＲＵＣフレームを参照として使用して前記選択されたＦＲＵＣモードに従って前記符号化されたビデオ・フレームの前記少なくとも一部分を復号する復号モジュール、
    を具備し、
    前記選択されたＦＲＵＣモードを指示する前記パラメータは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを具備する、デジタル・ビデオ復号装置。
22. 前記モード選択モジュールは、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して複数のＦＲＵＣモードのうちの１つを選択する、ここに、前記複数のブロックのそれぞれに関連付けられる１又は複数のパラメータは、前記それぞれのブロックに対する前記選択されたＦＲＵＣモードを指示する、請求項２１の装置。
23. 前記ＣＢＰはゼロに設定され且つ前記ＭＶはゼロに設定されて第１モードを指示し、前記ＣＢＰはゼロに設定され且つ前記ＭＶは非ゼロに設定されて第２モードを指示し、前記ＣＢＰは非ゼロに設定され且つ前記ＭＶはゼロに設定されて第３モードを指示し、及び前記ＣＢＰは非ゼロに設定され且つ前記ＭＶは非ゼロに設定されて第４モードを指示する、請求項２１の装置。
24. 前記符号化されたブロック・パターン（ＣＢＰ）と前記モーション・ベクトル（ＭＶ）とを調整することは、前記選択されたＦＲＵＣモードが第１ＦＲＵＣモードである場合に、残差情報と動きベクトル情報とを含まないこと、前記選択されたＦＲＵＣモードが第２ＦＲＵＣモードである場合に、動きベクトル情報を含むこと、前記選択されたＦＲＵＣモードが第３ＦＲＵＣモードである場合に、残差情報を含むこと、及び前記選択されたＦＲＵＣモードが第４ＦＲＵＣモードである場合に、残差情報及び動きベクトル情報の両者を含むこと、を具備する、請求項２１の装置。
25. デジタル・ビデオ・データを復号するためのプロセッサであって、前記プロセッサは、
    フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間する、
    複数のＦＲＵＣモードのうちの１つを選択し、前記選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号する、及び
    前記補間されたＦＲＵＣフレームを参照として使用し、前記選択されたＦＲＵＣモードに従って、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号する
    ように構成され、
    前記選択されたＦＲＵＣモードを指示する前記パラメータは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを具備する、プロセッサ。
26. コンピュータに、
    フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間すること、
    複数のＦＲＵＣモードのうちの１つを選択し、前記選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号すること、及び
    前記補間されたＦＲＵＣフレームを参照として使用して前記選択されたＦＲＵＣモードに従って、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号することをさせるコードを具備するデジタル・ビデオ復号のためのコンピュータ・プログラム、
    を記憶し、
    前記選択されたＦＲＵＣモードを指示する前記パラメータは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを具備する、コンピュータ可読記憶媒体。
27. フレーム・レート・アップコンバージョン（ＦＲＵＣ）ビデオ・フレームを補間するための手段、
    複数のＦＲＵＣモードのうちの１つを選択するための手段、前記手段は前記選択されたＦＲＵＣモードを指示する符号化されたビデオ・フレームの少なくとも一部分に対する１又は複数のパラメータに基づいて、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号する、及び
    前記補間されたＦＲＵＣフレームを参照として使用して前記選択されたＦＲＵＣモードに従って、前記符号化されたビデオ・フレームの前記少なくとも一部分を復号するための手段、
    を具備し、
    前記選択されたＦＲＵＣモードを指示する前記パラメータは、前記複数のブロックのそれぞれに対する符号化されたブロック・パターン（ＣＢＰ）と動きベクトル（ＭＶ）とを具備する、デジタル・ビデオ復号装置。
28. 複数のＦＲＵＣモードのうちの１つを選択するための前記手段は、前記符号化されたビデオ・フレーム内の複数のブロックのうちの少なくとも１つに対して複数のＦＲＵＣモードのうちの１つを選択するための手段を具備する、及びここに、前記複数のブロックのそれぞれに関連付けられる１又は複数のパラメータは、前記それぞれのブロックに対する前記選択されたＦＲＵＣモードを指示する、請求項２７の装置。
29. 前記ＣＢＰはゼロに設定され且つ前記ＭＶはゼロに設定されて第１モードを指示し、前記ＣＢＰはゼロに設定され且つ前記ＭＶは非ゼロに設定されて第２モードを指示し、前記ＣＢＰは非ゼロに設定され且つ前記ＭＶはゼロに設定されて第３モードを指示し、及び前記ＣＢＰは非ゼロに設定され且つ前記ＭＶは非ゼロに設定されて第４モードを指示する、請求項２７の装置。
30. 前記符号化されたブロック・パターン（ＣＢＰ）と前記モーション・ベクトル（ＭＶ）とを調整することは、前記選択されたＦＲＵＣモードが第１ＦＲＵＣモードである場合に、残差情報と動きベクトル情報とを含まないこと、前記選択されたＦＲＵＣモードが第２ＦＲＵＣモードである場合に、動きベクトル情報を含むこと、前記選択されたＦＲＵＣモードが第３ＦＲＵＣモードである場合に、残差情報を含むこと、及び前記選択されたＦＲＵＣモードが第４ＦＲＵＣモードである場合に、残差情報及び動きベクトル情報の両者を含むこと、を具備する、請求項２７の装置。

Images