JP5543407B2 - 符号器補助式適応ビデオフレーム内挿法 - Google Patents

Description

本出願は、その全体が参照してここに組み込まれる２００４年８月１８日に出願された米国特許仮出願第６０／６０２，６９８号の利益を主張するものである。

本開示は、ディジタル式のビデオの符号化と復号化に関し、より詳しくは、フレームレートの変換などの応用分野のためのスキップされたフレーム(skipped frame)の内挿法(interpolation)に関する。

ディジタルビデオのシーケンスを符号化するために、多くの様々なビデオ符号化基準が確立されている。例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む多くの基準を開発してきた。他の例には、国際電気通信連合（ＩＴＵ）Ｈ．２６３基準や新興のＩＴＵのＨ．２６４基準がある。このようなビデオ符号化基準は、一般には、データを圧縮して符号化することによって、ビデオシーケンスの改善された送信効率をサポートするものである。圧縮することによって、送信する必要があるデータの量が減少して、ビデオフレームの送信が効率的となる。

ＭＰＥＧ−４基準、ＩＴＵのＨ．２６３基準及びＩＴＵのＨ．２６４基準は例えば、一時的相関関係又はフレーム間相関関係と呼ばれる連続しているビデオフレーム同士間の類似性を利用するビデオ符号化技法をサポートして、フレーム間圧縮を提供している。このフレーム間圧縮技法は、ビデオフレームを画素ベースで表したものを動く表示に変換することによって、フレーム全体のデータ冗長性を利用するものである。フレーム間技法を用いて符号化されたフレームは、Ｐ（「予測的」）フレーム又はＢ（「双方向的」）フレームと呼ばれる。Ｉ（「イントラ」）フレームと呼ばれるある種のフレームは、非予測的な空間圧縮を用いて符号化される。

低度の帯域幅要求を満たすために、ビデオ電話通信やビデオストリーミングなどの一部のビデオ応用分野では、フレームスキップを利用して低いフレームレートでビデオを符号化することによってビットレートを下げている。意図的にスキップしたフレームは、「Ｓ」（「スキップされた」）フレームと呼ばれてよい。不運にも、フレームレートが低いビデオでは、運動がぎこちなくなるという影響が現れかねない。したがって、フレームレートアップ変換（ＦＲＵＣ）としても知られているフレーム内挿法は、一般的には復号器で用いられて、意図的にスキップされたフレームの内容を内挿するものである。

様々なＦＲＵＣ技法が開発されているが、これらは２つにカテゴリに分割することが可能である。第１のＦＲＵＣカテゴリには、フレーム反復（ＦＲ）とフレーム平均化（ＦＡ）が含まれるが、これらは双方とも、運動を考慮することなくビデオフレームの合成を使用する。これらのアルゴリズムは、運動がなければ容認可能な結果をもたらす。しかしながら、フレーム間にかなりの運動がある場合、ＦＲではぎこちない運動を発生しやすく、ＦＡでは物体がぼやける。

第２のＦＲＵＣカテゴリは、運動を用いる進歩した変換技法に基づいている。このカテゴリでは、内挿されたフレームの品質は、推測された運動と実際の物体の運動との間の差によって異なる。一般的なＦＲＵＣ応用分野では、復号器が、隣のフレームの運動情報から、内挿されたフレームの運動情報を得る。しかしながら、隣のフレームの運動ベクトルから直接得たＳフレームの運動ベクトルは、十分に正確とはいえず、その結果、内挿されたフレームに様々な影響が現れかねない。また、イントラコーディングされたブロックの場合、Ｓフレームを内挿するために用いるはずの運動情報が入手不可能であり、そのため、一般的には、信頼性のある内挿をするには復号器のところで追加の推測や処理のためのオーバヘッドが必要となる。

本開示は、ビデオフレームの符号器補助式適応内挿(encoder-assisted adaptive interpolation)技法を対象とするものである。この開示技法によれば、符号器は、スキップされたビデオフレーム、すなわち、Ｓフレームを復号器が内挿するのを補助する情報を生成する。この情報によって、復号器は、内挿されたフレーム中の視覚的な影響を軽減して、これによって視覚品質を改善することが可能となる。

この情報には、より良い結果を達成するために、Ｓフレーム内部の個々のビデオブロックに対して復号器が用いるように選択された内挿式を特定する内挿式ラベル(interpolation equation label)が含まれうる。この情報にはまた、Ｓフレームの前方運動ベクトルと差分情報とが含まれうる。

任意に帯域幅を節約するために、式ラベルが、符号器補助式内挿の差分判定基準を満足する選択されたビデオブロックに対してだけ送信される。式ラベルを持たない他のビデオブロックは、復号器のところでデフォルトの内挿技法にしたがって内挿される。

一実施形態では、本開示は、ビデオ復号器が、スキップされたビデオフレームを内挿するのを補助する情報を生成することと、ビデオ復号器に対して送信されるビデオフレームの内部で前記情報を符号化することと、を備える、ビデオ符号化方法を提供する。

別の実施形態では、本開示は、スキップされたビデオフレームの内挿を補助する情報を受信することであり、前記情報がビデオフレーム内で符号化されることと、前記情報が、前記スキップされたビデオフレームを内挿するために適用されることと、を備えるビデオ復号化方法を提供する。

さらに別の実施形態では、本開示は、スキップされたビデオフレームを分析して、前記スキップされたビデオフレームをビデオ復号器が内挿するのを補助する情報を生成する分析ユニットと、前記ビデオ復号器に対して送信されるビデオフレーム内で前記情報を符号化するアセンブリユニットとを備える、ビデオ符号器を提供する。

さらに別の実施形態では、本開示は、スキップされたビデオフレームの内挿を補助する情報を受信する内挿ユニットであり、前記情報がビデオフレーム内で符号化され、前記情報が、前記スキップされたビデオフレームを内挿するために適用される、前記内挿ユニットを備えるビデオ復号器を提供する。

本開示はまた、ビデオ符号器又は復号器を形成している１つ以上のプロセッサに、本書に記載する技法の内のいずれかを実行させる命令を備える、コンピュータ読み取り可能媒体を考察する。

１つ以上の実施形態の詳細を、添付の図面と以下の説明に記載する。他の特徴、目的及び利点は、この説明と図面及び特許請求の範囲を読めば明らかになるであろう。

本開示にしたがって符号器補助式適応内挿技法を採用しているビデオ符号化・復号化システムを示すブロック図である。 送信された運動ベクトルを用いる復号器のところで運動補償ＦＲＵＣ技法を適用する様子を示す図である。 図１に示すビデオ符号器で使用されるフレーム処理ユニットを示すブロック図である。 適応内挿に際して補助となる式フラグと絶対差分和（ＳＡＤ）フラグとの生成を示す図である。 適応内挿に際して補助となる式フラグと絶対差分和（ＳＡＤ）フラグとの生成を示す図である。 適応内挿に際して補助となる式フラグと絶対差分和（ＳＡＤ）フラグとの生成を示す図である。 符号器補助式適応内挿で用いられる埋め込みＳフレーム情報を担持しているＰフレームを示す図である。 スキップされたビデオフレームの内挿式ラベルマップを示す図である。 図１に示すようなビデオ復号器で用いられる補助式内挿復号器ユニットを示すブロック図である。 スキップされたフレームを復号器が内挿するのを補助する情報の生成技法を示すフローチャートである。 スキップされたフレームの内挿に際して符号器によって提供された情報を適用する様子を示すフローチャートである。 スキップされたフレームを復号器が内挿するのを補助する情報を生成する帯域幅節約技法を示すフローチャートである。

図１は、符号器補助式適応内挿技法を採用するように設定されたビデオ符号化／復号化システム１０を示すブロック図である。図１に示すように、システム１０は、送信チャネル１５で接続されているビデオ符号器１２とビデオ復号器１４とを含んでいる。送信チャネル１５は、有線式又は無線式の媒体である。システム１０は、例えばビデオ電話通信のために、双方向ビデオ送信をサポートできる。したがって、往復的な符号化コンポーネント、復号化コンポーネント、多重化（ＭＵＸ）コンポーネント及び逆多重化（ＤＥＭＵＸ）コンポーネントが、チャネル１５の両端に提供されてよい。一部の実施形態では、符号器システム１２と復号器システム１４が、ビデオストリーミング、ビデオ電話通信又は双方目的で装備されている無線モバイル端末などのビデオ通信デバイス内に実現されうる。

システム１０は、セッション始動プロトコル（ＳＩＰ）、ＩＴＵのＨ．３２３基準、ＩＴＵのＨ．３２４基準又は他の基準に従ってビデオ電話通信をサポートできる。ビデオ符号器１２は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵのＨ．２６３又はＩＴＵのＨ．２６４などのビデオ圧縮基準にしたがって符号化済みビデオデータを生成する。図１には示していないが、ビデオ符号器１２及びビデオ復号器１４は、それぞれオーディオ符号器及びオーディオ復号器と統合し、適切なＭＵＸ−ＤＥＭＵＸユニットを含み、これで、データストリームのオーディオ部分とビデオ部分を取り扱うようにしてもよい。このＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵのＨ．２２３マルチプレクサプロトコルや、ユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに適合するようにしてもよい。

符号器１２は、Ｐフレーム１６とＳフレーム情報１８を符号化する。Ｐフレーム１６は、ビデオ復号器１４がビデオ情報のフレームを復号化して提示することを可能とさせる十分な情報を含む予測フレームである。Ｐフレームは、良好な忠実度で符号化される。特に、運動ベクトルと量子化された予測誤差とがＰフレームに対して符号化される。Ｓフレームはスキップされたフレームであり、これを復号器１４で内挿して、ビデオ情報のフレームを発生しなければならない。

この開示にしたがって、符号器１２は実際にはＳフレームを符号化して送信することはない。そうする代わりに、符号器１２は、低オーバヘッドのＳフレーム情報１８を生成して、ビデオ復号器１４がＳフレームを内挿するのを補助して、この情報をビデオフレーム中に符号化してビデオ復号器に対して送信されるようにする。このＳフレーム情報は、専用のフレーム中に含めるか、又は送信Ｐフレームに付加してよい。Ｓフレームの内挿動作は、ビデオ復号器１４でＦＲＵＣ技法をサポートできる。

図１の例では、ビデオ符号器１２はフレーム処理ユニット２０を含んでいるが、このユニットは、ビデオ情報の入力フレームＦ_１、Ｆ_２、Ｆ_３を処理して、Ｐフレーム１６又はＳフレームの内挿を補助する情報を符号化すべきであるかどうか判定するように構成されている。Ｆ_２はスキップされる予定のフレームを表し、フレームＦ_１とＦ_３はそれぞれ前のＰフレームと後続のＰフレームを表している。

フレームＦ_１、Ｆ_２、Ｆ_３の分析に基づいて、フレーム処理ユニット２０はＰフレームを符号化すべきかＳフレーム情報１８を符号化すべきか決定する。Ｓフレームの場合、フレーム処理ユニット２０は、ビデオ復号器１４がＳフレームを内挿するのを補助する情報を生成する。この情報によって、復号器１４は、内挿されたＳフレーム中の視覚的な影響を軽減し、これによって視覚品質を改善することが可能となる。Ｓフレームはスキップされる、すなわち、復号器１４には送信されないが、Ｓフレーム情報は、Ｓフレームの内容の内挿動作をサポートする。

ＰフレームとＳフレームの双方を取り扱うため、ビデオ復号器１４は、標準の復号器２２と補助式内挿復号器２４とを含んでいる。標準復号器２２は、標準の復号化技法を適用して、各々のＰフレーム１６を復号化する。しかしながら、補助式内挿復号器２４は、ビデオ符号器１２の補助に依存して、Ｓフレームを内挿する。特に、補助式内挿復号器２４は、Ｓフレーム情報１８を受信して、このＳフレーム情報を適用して、スキップされたビデオフレームを内挿する。このＳフレームの情報は、Ｓフレームのより正確な内挿をサポートするために選択された情報を含んでよく、これで、内挿されたビデオ情報中の視覚的な影響を軽減することが可能となるようにする。

Ｓフレーム情報１８は、例えば、Ｓフレームを内挿する際にビデオ復号器１４によって用いられる特定の内挿式(interpolation equation)、又は選択された、Ｓフレーム内のビデオブロック、例えば、マクロブロック（ＭＢ）もしくはより小さいブロックに対して用いられる特定の内挿式を指定する情報を含んでよい。運動ベクトルの２つの集合、すなわち、Ｓフレームの後方（ＢＷ）運動ベクトルｍｖ_１２と次のＰフレームの前方（ＦＷ）運動ベクトルｍｖ_２３とを得た後、ある内挿技法の集合を試験して、符号器１２のところでＳフレームを予測する。所与の応用分野に対する複雑さと帯域幅要件とに基づいて、一部の実施形態では、３つ以上の運動ベクトル集合を計算して送信することが可能である。

続いて、符号器１２が式に対応するラベルをピックアップして、この式をそれぞれのビデオブロックｍ、例えば、Ｓフレーム内の４×４、８×８又は１６×１６画素のブロックに対して送る。指定される内挿式は、用いることが可能な異なるいくつかの内挿式の内の１つである。しかしながら、ビデオ符号器１２のフレーム処理ユニット２０が、Ｓフレームの所望の品質レベルを満足する内挿結果又はＳフレーム内の特定のビデオブロックを生じるものと期待される特定の内挿式を選択する。

特定のフレームやビデオブロックに対しては特定のタイプの内挿式の方が、他のタイプの内挿式よりも効果的でありうる。逆に、一部のフレームやビデオブロックでは、容認可能な結果を達成する別の内挿式を適用することを必要とする特徴を有しうる。したがって、フレーム処理ユニット２０は、所与のＳフレーム内のビデオブロックが異なれば指定する内挿式も異なってよい。Ｓフレーム情報１８は、補助式内挿復号器２４に対して、Ｓフレーム内のビデオブロックを内挿するための適切な内挿式を適用するに十分な情報となる。このようにして、ビデオ符号器１２は、復号器１４がＳフレームを内挿する際に補助する。

内挿式に加えて、Ｓフレーム情報１８は、ビデオ復号器１８による内挿の品質を改善する際に有用な他の情報を含んでよい。例えば、Ｓフレーム情報１８は、運動ベクトルと差分情報とをさらに含んでよい。これらの運動ベクトルは、スキップされたフレームと、前のフレームと、任意には後続のフレームとの間の運動を表している。この差分情報は、スキップされたフレームと、前のフレームと、後続のフレームとの間の差分、又はスキップされたフレームと、前のフレームと、後続のフレームとの内部のそれぞれ対応するビデオブロック同士間の差を示している。この差分情報はまた、絶対差分和（ＳＡＤ ; sum of absolute difference）フラグを含みうる。

Ｓフレーム情報１８が提示する帯域幅要件を軽減するため、フレーム処理ユニット２０は、Ｓフレーム内の選択されたビデオブロックに対してだけ情報を送るように構成されうる。特に、フレーム処理ユニット２０は、容認可能なビデオ品質を提供するために特定の内挿式を必要とするように思われるビデオブロックを特定できる。他のビデオブロックは、特定の内挿式を必要とすることなく正確に内挿されうる。一部の実施形態では、フレーム処理ユニット２０は、Ｓビデオフレーム内のビデオブロックと、前のビデオフレームや、後続のビデオフレームや、双方のビデオフレーム内の対応するビデオブロックとの間の差を決定して、閾値を超える差を生じるようなビデオブロックを特定する。次に、フレーム処理ユニット２０は、Ｓフレーム内の特定されたビデオブロックの内挿を実行する際にビデオ復号器１４によって用いられる特定の内挿式を指定する情報を発生する。

Ｓフレーム情報１８は、このＳフレーム情報専用のビデオフレーム内で符号化されてよく、Ｐフレーム１６とは独立して送信される。代替例では、このＳフレーム情報１８を、復号器１４に送信されるＳフレームより前又は後のＰフレーム１６内に埋め込む。どちらの場合も、Ｓフレーム情報１８の必要とする帯域幅は、Ｓフレームの実際の内容が必要とする帯域幅よりかなり少ない。したがって、システム１０は、フレームをスキップすることによって得られる帯域幅の節約をうまく利用して、なおかつ、符号器補助式内挿によるビデオ品質の改善を達成することが可能である。

ビデオ復号器１４は、Ｓフレーム情報１８を認識して利用する特別な構成であってよい。Ｓフレームの場合、マクロブロック（ＭＢ）モードはインターであるように強制される。復号器１４はＳフレームに対するマクロブロックモード（インター）判定を有するであろうため、マクロブロック判定ユニットは、内挿式とＳＡＤフラグとに関連するＳフレーム情報１８を送るために用いることが可能である。しかしながら、ビデオ復号器１４がＳフレーム情報１８を使用する目的で備えられていない場合、この情報は無視することが可能であり、備わっていた場合にビデオ復号器によって適用されるデフォルト内挿技法にしたがって、内挿が進行することが可能である。

図２は、Ｓフレーム情報１８の一部として符号器１２によって提供された運動ベクトルを用いて、復号器１４のところで運動補償ＦＲＵＣ技法を適用する様子を示す図である。一般的に、ビデオ復号器１４は、ビデオ符号器１２によって提供されたＳフレーム情報１８を適用して、Ｓフレームを内挿し、ＦＲＵＣをサポートする。一部の従来の復号器側ＦＲＵＣ技法では、復号器１２は、フレームＦ１中のブロック３０とフレームＦ_３中の対応するブロック３２との間を伸張する、ベクトルｖ_１３に依存している。フレームＦ_１とＦ_３は、内挿を必要とするＳフレームＦ_２＝Ｆ_ｔにそれぞれ先行する（ｔ−１）フレームと、後続する（ｔ＋１）フレームである。Ｆ_１、Ｆ_２及びＦ_３という専門語は、特定性を失うことなく、Ｆ_ｔ−１、Ｆ_ｔ及びＦ_ｔ＋１と一般化される。ベクトルｖ_１３は、一般的には、２分割（１：２のフレームレート変換の場合）されて、運動ベクトルｖ_１３／２と−ｖ_１３／２となって、ＳフレームＦ_２中の対応するブロック３４を特定する。１：Ｎの変換の場合、これらの運動ベクトルはそれに対応した倍率となる。

しかしながら、図２に示すように、結果として得られるブロック３４は、ＳフレームＦ_２中の実際の対応するブロック３６とは実質的に異なっている。実際の運動ベクトル情報、すなわち、ｖ_１２とｖ_２３がないと、復号器側でＦＲＵＣを実施するための実際のブロック３６を確保することが困難となる。その結果、内挿されたフレーム品質は、実際の運動ベクトルｖ_１２とｖ_２３に対する推定運動ベクトルｖ_１３／２と−ｖ_１３／２の精度に大きく依存する。この結果、復号器側でＦＲＵＣを実施したために、前方運動補償されたフレームだけを用いるとブロック化などの視覚的な好ましくない影響が入り込んだり、前方運動補償されたフレームと後方運動補償されたフレームの双方を用いるとぼやけたりする。

これとは対照的に、Ｓフレーム情報１８によって、ビデオ復号器１４は、本開示にしたがって符号器補助式内挿技法を適用することが可能である。Ｓフレーム情報１８は、実際の運動ベクトルと符号器側のところで決定された他の情報とを含んでよく、これで、復号器１４によるＳフレームＦ_２の内挿が改善される。符号器１２は、符号器処理によって得られた効果的な側の情報、すなわち、Ｓフレーム情報１８を送ることによって、復号器１４におけるフレームの内挿動作を改善することを可能とする。このようにして、ビデオ復号器１４は、ＦＲＵＣ動作における運動推定が不正確なために引き起こされかねない様々な影響を軽減する。加えて、Ｓフレーム情報１８によって、ＦＲＵＣ運動推定では通常必要とされる追加の処理を、ビデオ復号器１４中では撤廃することが可能となり、この結果、実施上の複雑さが軽減される。

図３は、図１に示すビデオ符号器１２で使用されるフレーム処理ユニット２０を示すブロック図である。図３に示すように、フレーム処理ユニット２０は、フレームタイプ判定ユニット３６と、Ｓフレーム分析ユニット３８と、差分閾値ユニット４０と、フレームアセンブリユニット４２を含んでいる。Ｓフレーム分析ユニット３８は、運動計算ユニット４４と、差分ユニット４６と、内挿選択ユニット４８をさらに含んでいる。以下に説明するように、Ｓフレーム分析ユニット３８は、Ｓフレーム情報１８を生成して、復号器１４が、改善された精度でＳフレームを内挿するのを補助する。一般に、Ｓフレーム分析ユニット３８は、Ｓフレームを分析して、運動ベクトル、差分情報及び内挿式選択を生成して、Ｓフレーム内のビデオブロックの内挿を効果的なものとする。

フレームタイプ判定ユニット３６は、入力ビデオ情報をＰフレームとして符号化すべきかＳフレームとして符号化すべきかを決定する。フレームをスキップするという判定は、部分的には、送信チャネル１５（図１）上での帯域幅変換のための符号化された情報の全体量を減少させるように設計された、均一又は不均一フレームスキップ機能に基づいていてよい。例えば、フレームタイプ判定ユニット３６は、毎ｎ番目のフレームをスキップしてよい、又はダイナミックスキップ判定基準に基づいてフレームをスキップしてよい。

一部の例では、フレームタイプ判定ユニット３６は、偶数番号のフレームをスキップしてよい。どちらの場合も、フレームタイプ判定ユニット３６は、このフレーム判定をフレームアセンブリユニット４２に通信する。このフレームスキップ判定はまた、ピーク信号対雑音比（ＰＳＮＲ）又は、前の再構成されたフレームとの平均自乗誤差などの他の客観的な視覚品質測定値や、Ｐフレームの符号化のために費やされたバイト数と相関関係付けされた運動ベクトル長とに基づいていてよい。

さらに図３に示すように、Ｓフレーム分析ユニット３８は、運動ベクトルと、絶対差分和（ＳＡＤ）フラグと、式ラベルマップとを発生するが、これらは各々が、復号器１４が内挿するのを補助するために符号器１２によって提供されるＳフレーム情報１８の一部を形成する。運動計算ユニット４４は、スキップされた（Ｓ）フレームＦ_２内のビデオブロックと、先行するフレームＦ_１及び後続のフレームＦ_３内の対応するブロックとの間の運動を表す、運動ベクトルを生成する。したがって、スキップされたフレーム内の各々のビデオブロックは、１対の運動ベクトル、すなわち、後方（ＢＷ）運動ベクトルと前方（ＦＷ）運動ベクトルを特徴とする。これらの運動ベクトルは、内挿選択ユニット４８が、Ｓフレーム内ビデオブロックに対する適切な内挿式を選択する際に補助するものである。

差分ユニット４６は、スキップされたフレーム内のビデオブロックと後続のフレーム内の対応するビデオブロックとの間の差を分析する。運動ベクトルはスキップされたフレームブロックと実質的に類似の前の又は後続のフレームブロックとの間で決定されてよいが、これら特定されたブロックはそれでも内容にかなりの差を示しうる。差分ユニット４６は、この差を絶対差分和（ＳＡＤ）計量値に基づいて決定しうる。このＳＡＤ計量値は、マクロブロック全体、例えば２〜３画素幅のマクロブロックの４辺及び隣同士のマクロブロック間の境界について決定される。このＳＡＤ計量値が非常に大きければ、前のフレームではなくて将来のフレームを参照とすることが可能であるが、これは、内挿されたＳフレームに物体が現れる可能性があるからである。差分ユニット４６は、この差を復号器１４が内挿するのを補助する差分フラグ、例えば、ＳＡＤフラグとして表現する。

内挿選択ユニット４８は、異なる内挿式の集合をスキップされたフレーム内のビデオブロックに適用して、内挿精度という点で最も効果的な内挿式を特定する。特に、内挿選択ユニット４８は、ビデオフレーム内の特定のビデオブロックに対する様々な内挿式の結果を評価する。この結果に基づいて、内挿選択ユニット４８は、スキップされたビデオフレーム内の選択されたビデオブロックの内挿に際してビデオ復号器１４によって用いられる特定の内挿式を指定する。このプロセスによって、Ｓフレーム内の様々なビデオブロックに対してこれに対応した様々な内挿式が選択されうる。

動作に際して、内挿選択ユニット４８は、Ｓフレーム内の特定のビデオブロックに対するＢＷ運動ベクトルとＦＷ運動ベクトルを運動計算ユニット４４から受信する。内挿選択ユニット４８はまた、ＳフレームＦ_２内の実際のビデオブロックを受信する。これらの運動ベクトルを用いて、内挿選択ユニット４８は、一連の様々な内挿式を適用して、これらの結果をＳフレームＦ_２内の実際のビデオブロックと比較する。このようにして、様々な内挿技術の集合を試験して、符号器１２でＳフレームを予測する。

最良の結果を生じる内挿式が選択されたら、内挿選択ユニット４８は、適用可能なビデオブロックに対する式ラベルを生成する。この式ラベルは、関連のビデオブロックに対して復号器１４によって用いられる特定の内挿式を特定する。出力として、内挿選択ユニット４８は、Ｓフレーム内の全てのビデオブロックに対する式ラベルを包含している式ラベルマップを生成する。このマップは、これら式ラベルを、Ｓフレーム内のビデオブロックに対応するロケーションに配置して、復号器１４が処理しやすいようにする。

復号器１４でのフレームの内挿動作に対する一般的な式は次のように表すことが可能である。

上の式（１）で、奇数番号のＰフレームＦ_１とＦ_３を高い忠実度で、すなわち、運動ベクトルと予測誤差を用いて符号化し、他方、偶数番号のＳフレームに対しては運動ベクトルと他の側情報だけが送られる。値ｘとｙは２次元座標軸を表し、他方、α_１、α_２、α_３及びα_４は、重み付け係数を表している。

スキップされたＳフレームは、先行するフレームＦ_１とＳフレームＦ_２間で推定されたＦＷ運動ベクトル（ｍｖ_１２）を用いて、また、ＳフレームＦ_２と後続するフレームＦ_３間で推定されたＢＷ運動ベクトル（ｍｖ_２３）を用いて、回復される。この重み付け係数（α）は、Σ_ｉα_ｉ＝１という演算を受けて、画素の強度値を標準化された状態に保つ。

上で検討したように、一部の内挿式は、Ｓフレーム内の特定のビデオブロックに対してはより効果的である。したがって、符号器補助式適応内挿の場合、内挿選択ユニット４８は、様々な式を試験して、復号器側における、特定のＳフレーム又はＳフレーム内のビデオブロックの内挿にとってもっとも効果的な式を特定する。例として、次式が一般式（１）から誘導されて、復号器１４での符号器補助式適応内挿目的で内挿選択ユニット４８によって評価される。

上の式は、ｍｖ_ａｂ（すなわち送信された運動ベクトル）の代わりに、ｍｖ_ａｂ’（すなわち処理された運動ベクトル）を用いて適用される。加えて、この式は、フレームベースや、マクロブロックベースや、より小さいブロックベース、例えば、８×８や４×４ベースで、受信済みの判定フラグに基づいて適用可能である。

一般内挿式（１）から誘導された５つの内挿式例を上述したが、内挿式の数はこれ以上でも以下でも良い。例えば、更なる式を、重み付け係数を変化させることによって、又は、上述したように処理済みの運動ベクトルを用いることによって、一般内挿式（１）から生成することが可能である。更なる式は、また、より多くの参照や将来のフレーム、例えば、時点ｔ−３やｔ＋３でのフレームを用いて生成することも可能である。

内挿選択ユニット４８が生成した式ラベルマップは、その全体が復号器１４に送られる。特に、フレームアセンブリユニット４２は、運動計算ユニット４４が生成した運動ベクトルと、差分ユニット４６が生成したＳＡＤフラグと、内挿選択ユニット４８が生成した式ラベルマップ全体とを合成する。この場合、運動ベクトル、ＳＡＤフラグ及び式ラベルマップが、復号器１４が用いるＳフレーム情報１８を形成する。

以下に説明するように、Ｓフレーム情報１８は、特殊なタイプのＰフレームとして送られたり、Ｐフレーム内のフィールドとして埋め込まれたりする。例えば、各々のＳフレームは、残留誤差コーディングがない特定のタイプのＰフレームとして符号化されるか、又は、いかなるビデオオブジェクト平面（ＶＯＰ）ヘッダもなしで側情報として符号化される。どちらの場合も、式ラベルマップは、符号化しなければならない情報のバイト数という形のかなりのオーバヘッドを必要としてよい。この理由により、式ラベルマップのサイズが減少しうるが、これについてはさらに詳述する。

図４Ａから図４Ｃは、適応内挿に際して補助となる式フラグと絶対差分和（ＳＡＤ）フラグとの生成を示す図である。特に、図４Ａは内挿式フラグを示し、図４ＢはＳフレームブロックの差分を定量化するＳＡＤフラグを示し、図４Ｃは最大の差を持つ隣のブロックを特定するＳＡＤフラグを示している。

図４Ａでは、フラグ１、２、３などは、これらフラグと関連するビデオブロックの内挿目的で復号器１４によって用いられる特定の内挿式を特定する。図４Ｂでは、フラグＬ、Ｍ及びＳは、所与のビデオブロックのＳＡＤ計量値が大きいか、中程度か、小さいかを示している。図４Ｃでは、フラグＮ、Ｅ、ＳＥなどは、結果としてＳＡＤ計量値が大きい誤差となる隣のブロックを指す北、東、東南などの方向を示している。図４ＢのフラグはＳＡＤ計量値を分類しており、一方、図４Ｃのフラグは隣り合ったブロック中での相対的なＳＡＤ値を示す方向フラグとして作用している。復号器１４は、図４Ａから図４Ｃ中のフラグをＳフレーム情報１８として用いて、Ｓフレームの内挿動作を補助することが可能である。

Ｓフレームの差成分にとって必要とされるバイト数は、帯域幅という点では重要なものとなりかねない。したがって、符号化される情報の量を減少させるためのある程度の努力が望ましい場合がある。下の表１に、Ｓフレームが特殊な場合のＰフレームとして、すなわち、残留誤差がまったく送られない状態で符号化される場合の、標準のビデオ試験シーケンスに対するヘッダとマクロブロックデータとで費やされるバイト数を、ディジタルビデオ技術の当業者には周知の４半分共通中間（ｑｕａｒｔｅｒ ｃｏｍｍｏｎ ｉｎｔｅｒｍｅｄｉａｔｅ）フォーマット（ＱＣＩＦ）サイズで示す。これらのビデオ試験シーケンスは名前によって特定されるが、ビデオ符号化技術の当業者にはなじみのあるものである。

表１では、ビデオ試験シーケンスは全て、レート制御メカニズムを持つＭＰＥＧ−４ベースのＣＯＤＥＣによって４８キロビット／秒（ｋｂｐｓ）で符号化される。全体のフレームレートは１０フレーム／秒（ｆｐｓ）であり、ここで、秒毎のフレームの半数が、本開示に記載されている方法を用いてＳフレームとして符号化される。各々のＳフレームに対する式ラベルマップを送るオーバヘッドは、費やされた全体のバイトには含まれないが、これについては本明細書の後半で説明する。

表１に示すように、特殊Ｐフレーム中で側情報として送られる前方運動ベクトルの全体的な経費は、送信する必要があるオーバヘッドで３〜２５％増加する。後方運動ベクトル、すなわち、−ｍｖ_２３は、Ｓフレーム情報の後で、後続のＰフレームと一緒に送られる。合成されたオーバヘッド、すなわち、運動ベクトル、ヘッダ及びマクロブロックデータは、表１の最後の欄に示されている。標準の試験ビデオシーケンス毎のオーバヘッド増加は次の通り：
アキヨ：３．４％
セールスマン：３．６％
沿岸警備：１５％
車電話：１８．５％
現場監督：２５％
ステファン：２０．６％
アキヨの場合などの低運動ビデオ試験シーケンスでは、運動ベクトルデータは、全体のＳフレームパケットの小さい部分を占めている。運動ベクトル以外の場合では、定量化パラメータ（ＱＰ）、マクロブロックタイプなどの他のデータを送る必要はない。したがって、この場合、運動ベクトルと式ラベルマップを含むＳフレーム情報は、側情報として次のＰフレームに添付して、マクロブロックモードや、マクロブロックレベルＱＰや、フレームレベルＱＰに起因する過度のオーバヘッドを回避すべきである。

上記したように、Ｓフレームを個々のフレームとして送信すると、その結果、Ｓフレームの内挿には不必要なバイトを含む多くの数のバイトが消費されることになりかねない。個々のＳフレーム中の半分以上のバイトが冗長であってよい。例えば、冗長情報の分量は、表１の２番目の欄の値と３番目の欄の値の差によって計算可能である。したがって、冗長なＳフレーム情報の量を減少させることが望ましい場合がある。冗長情報の量を減少させる１つの有用な技法は、専用のＳフレームを送るのではなく、上述したように、Ｐフレーム内のＳフレーム情報を埋め込むことである。

不必要な情報を送る代わりに、Ｓフレームを内挿する、したがって、再構築するために必要とされるＳフレーム情報は、側情報としてＳフレームに続くＰフレームの最後に添付することが可能である。このようにしてオーバヘッドを減少させることが可能であるが、これは、Ｓフレームは常に、インターマクロブロックモードを用いており、したがって、モードの判定結果を送る必要がまったくない。加えて、予測エラーを送る必要がないため、ＱＰやなんらかの追加情報を送る必要もまたない。したがって、Ｓフレーム情報は、次のＰフレームに対する埋め込み添付物として送ることが可能である。

図５は、符号器補助式適応内挿で用いられる埋め込みＳフレーム情報１８を担持しているＰフレームを示す図である。Ｓフレーム情報１８は、いかなるＶＯＰヘッダもなしで側情報として符号化することが可能である。こうする代わりに、図５に示すように、Ｓフレーム情報１８を特殊なＰフレーム５０内に埋め込むようにしてもよい。図５の例では、Ｐフレーム５０は、Ｐフレームヘッダ５２と、Ｐフレームエンド５４と、Ｐフレーム情報５６と、運動ベクトル５８、ＳＡＤフラグ６０及び式ラベルマップ６２を含むＳフレーム情報１８と、を含んでいる。Ｓフレーム情報１８は、Ｐフレーム情報５６の後に来るが、これを、備え付けられている復号器１４が利用して、Ｓフレーム情報を取り扱ったり、又はこれを、このように備え付けられていない復号器で破棄したりするようにすることが可能である。Ｓフレーム情報１８を符号化すると、その結果、オーバヘッドがかなり節約されることになりうる。

運動ベクトルに関連するオーバヘッドに加えて、Ｓフレーム情報１８内の式ラベルマップ６２もまた、かなりのオーバヘッドを示す。例として、標準の車電話ビデオ試験シーケンス（４８ｋｂｐｓ）のＳフレームの場合、運動補償された予測だけを実行した場合、すなわち、運動ベクトルだけで予測残留誤差がまったくない場合、次の結果が得られる： フレーム番号：１２
フレームコーディング経費＝１２７バイト
運動補償された予測ＰＳＮＲ＝３０．１０３ｄＢ
運動ベクトルサイズ＝５６１ビット（７０．１２５バイト）
ＶＯＰヘッダ＝５４ビット
マクロブロックスキップモード＝１４ビット
ＶＯＰエンド＝３ビット
他のフラグとＱＰ＝３８４ビット
例示目的のため、運動ベクトルと式ラベルマップだけが４×４のブロックに対して送られ、また、この式ラベルマップは１〜３までの数値からなっており、これらの数値が、Ｓフレームの内挿のために４×４のブロックのそれぞれに対して選択される特定の式の数を決定するものと仮定する。

図６は、上述したビデオフレーム、すなわち、車電話ビデオフレーム１２に対する内挿式ラベルマップを示す図である。図６の式ラベルマップを運動ベクトルと共に用いて、Ｓフレームに対して運動補償された内挿を施すことが可能である。この例では、次のように１〜３の数値で特定される異なる３つの内挿式がある。

図６の式ラベルマップでは、式ラベル１を割り当てられた４×４のビデオブロックの総数は６８９であり、式ラベル２を割り当てられたブロックの総数は５２８であり、式ラベル３を割り当てられたブロックの数は３６７である。式ラベル１を「０」（１ビット）で表し、式ラベル２を「１０」（２ビット）で表し、式ラベル３を「１１」（２ビット）で表すことが可能である。

図６に示す式ラベルマップがなんら圧縮も処理もなしでそのまま送られると、結果として得られるオーバヘッドは次のようになる：
６８９×１＋５２８×２＋３６７×２＝２４７９〜３１０バイト
上記のオーバヘッドの数値は、式ラベルマップに対して最適化をまったく実行しなかった状況での最悪のシナリオである。この最悪の数値は、強い帯域幅制限を受ける一部の実用的な応用分野では容認不可能でありうる。

しかしながら、式マップをもっとよく調べてみると、すぐ隣にある４×４のブロックの内の一部が同じ式ラベルを有していることが明らかである。したがって、同じ式ラベルを共有するブロックをグループ化して、合成された（より大きい）ブロックに対する共通の式ラベルを割り当てることが可能である。図６では、グループ化可能なブロックの例が参照数値６４、６６及び６８で特定されている。図６の式ラベルマップ中の４×４のブロックを８×８のブロックと１６×１６のブロックとしてグループ化すると、次の統計が得られる。
１．同じレベルを有する１６×１６のブロックの数＝１０（式ラベル１を持つブロックが５つ、式ラベル２を持つブロックが３つ、式ラベル３を持つブロックが２つ）。
２．同じレベルマップを有する８×８のブロックの数＝１７５（１６×１６のブロックと異なるブロックがたった１３５であり、式ラベル１を持つ６０のブロックと、式ラベル２を持つ４４のブロックと、式ラベル３を持つ３１のブロックを含んでいる）。
３．隣のブロックとのグループ化が不可能なグループ化されなかった４×４のブロックの数＝８８４（式ラベル１を持つブロックが２９５、式ラベル２を持つブロックが２４６、式ラベル３を持つブロックが４３）。
図６の式マップに対する総バイト数は、共通の式ラベルを共有するブロックをグループ化した後では、次のように概略計算することが可能である。

上記したように、式ラベルを共有するブロックをグループ化すると、その結果、オーバヘッドがかなり節約されることになりうる（１３７バイト対３１０バイト）。Ｓフレーム情報１８中でブロックのグループ化は、実行可能であるとはいえ、ブロックの一部は１６×１６としてグループ化され、また一部が８×８としてグループ化されたことを、復号器１４に対して信号通知するメカニズムを必要とする。例えば、Ｓフレーム情報１８の式ラベルマップ内にフラグを挿入して、グループブロックの集合の始まりと、グループのタイプ、すなわち、１６×１６であるか８×８であるかを信号通知する。この方式は有用であるとはいえ、このグループ化フラグによって、上記の１３７バイトのオーバヘッドに対して更なるオーバヘッドを追加することになる。

ブロックをグループ化する必要性と関連の信号通知の必要性とを回避するため、式ラベルマップによって生じるオーバヘッドを軽減する別の技法では、マップのサイズを減少させる可能性がある。特に、一部の実施形態では、式ラベルを、差分判定基準を満足する選択されたブロックに対してしか符号化しない可能性がある。例えば、図３を参照すると、差分閾値ユニット４０は、式ラベルマップのサイズを減少させるためにある。このようにして、式ラベルを、スキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないブロックを備える選択されたビデオブロックに対して送り、これによって、復号器１４に対して送られる符号化された情報の量を減少させることが可能となる。

差分閾値ユニット４０は、前方運動補償された予測と後方運動補償された予測との間の相関関係を利用して、内挿を効果的にするために送られる式ラベルを必要とする特定のブロックを突き止める。この結果、差分閾値を超える選択されたビデオブロックに対する式ラベルしか含まない差分閾値マップが得られる。したがって、図６の式ラベルマップの代わりに、Ｓフレーム内の全てのビデオブロックに対する式ラベルを含んでいるわけではないが、ビデオブロックのサブ集合は含んでいるマップを用いる。前方予測と後方予測とは、符号器１２と復号器１４の双方で利用可能である。その結果、差分マップを送るに際して、更なる経費はかからない。

動作に際して、差分閾値ユニット４０は、ＦＷとＢＷの運動ベクトルを得るが、これらは、参照フレームを前方運動補償する際と将来のＰフレームを後方運動補償する際に用いられる。差分閾値ユニット４０は、ＦＷ運動補償されたフレームとＢＷ運動補償されたフレームとの間の差を計算して、差分マップＤｍａｐ＝ＡＢＳ（ＦＷ−ＢＷ）を得るが、ここでＡＢＳは絶対値の略である。次に、差分閾値ユニット４０は、この差分マップに対して閾値処理を施して、差が適用可能な閾値を超えている１つ又は複数の領域を生じさせる。この差分閾値処理された領域は、非連続であってよい。

一例として、閾値が０〜２５５の画素スケールで１０という値であったりする。差分閾値ユニット４０は、この閾値をＳフレーム内のビデオブロックに対して適用して、内挿エラーを特に起こしやすいビデオブロックを特定する。この閾値は、Ｓフレーム内の全てのブロックに対して内挿ユニット４８が出力した完全な式ラベルマップに適用してよい。こうする代わりに、この差分閾値を前もって適用しておいて、内挿選択ユニット４８が、この差分閾値を満足するブロックに対する式ラベルマップしか生成しないようにすることも可能である。どちらの場合も、復号器１４に対して送信するために実際に符号化された式ラベルマップは、サイズがかなり減少している。特に、閾値より大きい差を生じるブロックだけを式ラベルを付けるために選択し、これによって、帯域幅を節約する。

Ｓフレーム中のビデオブロックのサブ集合を特定するために閾値が適用されると、差分閾値ユニット４０は、閾値処理済みの差分マップを縮小して、より小さいマップを得る。この例によれば、この小さいマップでは、各々の画素値の代わりに、オリジナルの差分マップ中の対応する４×４の画素値の和が導入される。この縮小ステップは、差分マップのサイズが、式ラベルマップのサイズと合うように実行してもよい。Ｓフレーム内の４×４のブロックに対して式ラベルが送られるものと仮定して、この例における倍率を４に選ぶ。式ラベルマップのブロックサイズが変化すれば、縮小倍率もこれにしたがって調整することが可能である。

縮小された閾値差分マップ中の各々のポイントに対して、差分閾値ユニット４０は、適切な式ラベルを選択する。特に、差分閾値ユニット４０は、内挿選択ユニット４８が特定した式ラベルを縮小動作に先立って適切なビデオブロック用に選択する。一部の実施形態では、この閾値処理プロセスは反復プロセスである。例えば、適用閾値を超える過度のビデオブロック数を生じるフレームが存在する。これらの場合、閾値処理は、はじめは、帯域幅の節約が不十分という結果をもたらす。この理由により、差分閾値ユニット４０は、縮小された閾値差分マップが大きすぎる場合に閾値を調整するように構成される。

例として、差分閾値ユニット４０は、差分閾値処理プロセスを最初に反復した後で式ラベルに対して費やされるバイトの合計数を計算するように構成される。このバイト総数が所定のレート制限値Ｒを超えると、差分閾値ユニット４０は、この最初の反復で用いられる閾値を増大させ、新たに計算された閾値を用いて閾値処理プロセスを繰り返す。

この閾値処理プロセスは、式ラベルに対して費やされるバイトの合計数がレート制限値Ｒ以下になるまで、所望しだいでは反復制限を受けるが、反復して継続される。この閾値処理プロセスが完了すると、差分閾値ユニット４０は停止して、式ラベルマップをフレームアセンブリユニット４２に渡す。フレームアセンブリユニット４２は、式ラベルをラスタースキャン順序でパッキングして、Ｐフレーム５０（図５）に埋め込まれているＳフレーム情報１８に含まれるようにする。

差分閾値技法を標準の車電話ビデオシーケンスの１２番目のフレームに対して適用すると、８１バイトというサイズを持つ式ラベルマップパケットを得ることが可能である。例えば、式ラベルマップを用いて復号器側で得られた内挿されたフレームのＰＳＮＲは３１．７２ｄＢとなるが、これは、３００バイトの式マップの場合より０．２ｄＢ低い値であるが、目立った視覚的な相違とはならないようである。

標準のビデオコーデックを用いて１０ｆｐｓで車電話シーケンス全体を符号化する、すなわち、フレームをまったくスキップしないと、少し高いＰＳＮＲ（３２．１ｄＢ）となるが、それでも個々のフレームは、幾分かの影響を示す傾向がある。フレームをスキップしないと、車電話シーケンスの１２番目のフレームに対して１０ｆｐｓで費やされる総バイト数は５３８バイトである。対照的に、本書に記載するように符号器補助式適応内挿法を用いて同じフレームに対して費やされる総バイト数は１５０バイトであり、これには、運動ベクトルに対する７０バイトと、差分閾値処理された式ラベルマップに対する８０バイトが含まれている。

図７は、図１に示すようなビデオ復号器１４で用いられる補助式内挿復号器２４を示すブロック図である。図７に示すように、補助式内挿復号器２４は、内挿ユニット６８と、内挿されたＳフレーム７２を発生するように動作する内挿式選択ユニット７０とを含んでいる。内挿ユニット６８は、運動ベクトルという形態を持つＳフレーム情報とＳＡＤフラグとを受信する。内挿選択ユニット７０は、Ｓフレーム情報を式ラベルマップという形態で受信する。この式ラベルマップを用いて、内挿選択ユニット７０は、フレーム又はフレーム内の個々のビデオブロックを内挿する目的で内挿ユニット６８に用いられる、特定の内挿式を特定する。

上述したように、式ラベルマップは差分閾値処理されてよい。この場合、内挿選択ユニット７０は、フレーム内のビデオブロックのサブ集合に対する内挿式だけを特定できる。内挿ユニット６８は、運動ベクトルと、ＳＡＤフラグと、内挿選択ユニット７０によって識別された内挿式とを適用して、内挿されたビデオブロックを生成する。式ラベルマップ中の識別されていないビデオブロックに対しては、内挿ユニット６８は、特定的に選択された内挿式ではなくて標準の内挿式を適用する。どちらの場合も、結果は内挿されたＳフレーム７２である。

図８は、スキップされたフレームを復号器１４が内挿するのを補助する、情報の生成技法を示すフローチャートである。一般に、図８に示す技法は、符号器１２によって実行されて、復号器１４によるＳフレームの符号器補助式適応内挿動作のためのＳフレーム情報を生成する。図８に示すように、次に処理するビデオフレームがＳフレームでない場合（７４）、符号器１２はＰフレームを符号化する（７６）。しかしながら、次に符号化するビデオフレームがＳフレームであれば（７４）、符号器１２はＳフレーム情報を生成する。特に、Ｓフレーム分析ユニット３８の運動計算ユニット４４は、先行するＰフレーム（Ｆ_１）とＳフレーム（Ｆ_２）との中の対応するビデオブロック間の前方（ＦＷ）運動ベクトルｍｖ_１２を得て（７８）、ＦＷ運動ベクトルを用いて一時的Ｓフレームを形成する（７９）。この一時的Ｓフレームと次のＰフレーム（Ｆ_３）を用いて、運動計算ユニット４４は、後方（ＢＷ）運動ベクトルｍ_２３を生成する（８０）。ＢＷ運動ベクトルｍ_２３を用い、また、予測エラーを追加して、次のＰフレームを予測する。これで、Ｓフレームを、ｍｖ_１２と、先行するＰフレームＦ_１、ｍｖ_２３、後続のＰフレームＦ_３とを用いて内挿することが可能である。

次に、内挿選択ユニット４８は、ＦＷ運動ベクトルとＢＷ運動ベクトルを用いて、フレーム内の個々のビデオブロックに対する異なる複数の内挿式を試験する（８１）。この内挿式の結果に基づいて、内挿選択ユニット４８は、最良の内挿式を選択して（８２）、式ラベルをそれぞれのビデオブロックに割り当てる（８４）。この「最良の」内挿式とは、試験された複数の内挿式の中でも、もっとも正確な内挿結果をもたらす特定の式のことである。式ラベルは、関連するビデオブロックの内挿目的で復号器１４によって用いられるはずの特定の内挿式を特定する働きをする。

このプロセスは、ブロックの最後に到達するまでＳフレーム内の全てのブロックに対して反復して継続される（８６、８８）。こうする代わりに、一部の実施形態では、差分閾値処理を、式を試験する前に適用して、符号器補助式内挿の候補としてのブロックのサブ集合を特定する。

いったん全てのブロックが処理されたら、内挿選択ユニット４８は、式ラベルマップを渡して、Ｓフレームを、例えば、専用のＳフレームとして又は、先行するもしくは後続のＰフレームに埋め込まれているＳフレーム情報として、符号化する（９０）。ＦＷ運動ベクトルもまた、ＳＡＤフラグと共にＳフレーム情報に含まれる。しかしながら、ＢＷ運動ベクトルは、一般的にはＳフレーム情報には含まれないが、これは、このようなベクトルは、Ｓフレームの後に来る次のＰフレームから復号器側で得ることが可能であるからである。また、式ラベルマップが、別の閾値ユニット４０によって処理されて、式ラベルマップが必要とするバイトの全体数を減少させてよい。Ｓフレーム情報がアセンブリされたら、本プロセスは次のフレームに進む（９２）。

図９は、スキップされたフレームを復号器１４で内挿するに際して符号器１２によって提供された情報を適用する様子を示すフローチャートである。図９に示すように、復号化されるはずの入力フレームがＳフレームではない場合（９４）、これは、通常の復号化プロセスを用いてＰフレーム（９６）として復号化される。しかしながら、この入力フレームがＳフレーム（９４）である場合、復号器１４は、符号化されたビデオ情報中に提供されているＳフレーム情報からＦＷ運動ベクトル（９８）を得て、また、次のＰフレーム（９９）を用いてＢＷ運動ベクトルを得る。特に、ＢＷ運動ベクトルは、Ｓフレームの後に来るＰフレームに対して推定された運動ベクトルから得られる。ＢＷ運動ベクトルは参照フレームを変更することによってＳフレームに対して推定されうるが、ＢＷ運動ベクトルを送る経費は高い。この理由により、次のＰフレームから得られたＢＷ運動ベクトルｍｖ_２３のマイナスバージョンを用いることが望ましい。

復号器１４は次に、Ｓフレーム情報が各々のビデオブロックに対して式ラベルを含んでいるかどうかを決定する（１００）。ビデオブロックに対する式ラベルがない場合（１００）、復号器１４はデフォルト内挿式を適用して、ビデオブロックを内挿する（１０２）。しかしながら、Ｓフレーム情報がビデオフレームに対する式ラベルを含んでいれば、復号器１４は、式ラベルで特定される内挿式を選択する（１０４）。次に、復号器１４は、ＦＷとＢＷの運動ベクトル及び選択された内挿式を用いた内挿によってブロックを生成する（１０６）。本プロセスは、Ｓフレーム中のブロックの最後に到達するまで反復して継続される（１０８、１１０）。復号化されたブロックに基づいて、復号器１４は、復号化されたＳフレームを生成し（１１２）、次のフレームに進む（１１４）。

図１０は、上述したように、スキップされたフレームを復号器１２が内挿するのを補助する情報を生成する帯域幅節約技法を示すフローチャートである。図１０に示すように、Ｓフレーム内のブロックに対するＢＷとＦＷの運動ベクトルを、様々な閾値ユニット４０が受信する。また、このＢＷ運動ベクトルはＳフレームに続くフレームに対する後方運動補償のために用いられ、他方、このＦＷ運動ベクトルはＳフレームに先行するフレームに対する前方運動補償のために用いられる。差分閾値ユニット４０は、ＢＷとＦＷの運動補償されたフレーム間の差に対して差分閾値を適用して、閾値差分マップＤ_ＭＡＰを生成する（１２２）。一部の実施形態では、この閾値処理された差分マップＤ_ＭＡＰを、ビデオブロックサイズの係数で縮小して（１２４）、縮小されたマップＤ_{ＭＡＰ＿ＤＳ}を生成する。

いったん縮小された閾値差分マップＤ_{ＭＡＰ＿ＤＳ}が得られたら、差分閾値ユニット４０は、反復プロセスを開始して、式ラベルによって消費されるバイト数を容認可能レベルにまで減少させる。図１０に示すように、差分閾値ユニット４０は最初に、式ラベルに対して用いられるバイトの合計数を計算する（１２６）。このバイトの合計数がレート制限値Ｒ未満であれば（１２８）、式ラベルが割り当てられて（１３０）、結果得られる式ラベルマップがフレームアセンブリユニット４２に対して、運動ベクトルやＳＡＤフラグなどの他のＳフレーム情報と共に渡される。

しかしながら、式ラベルが消費するバイトの合計数がレート制限値Ｒより大きく（１２８）、また、反復回数が適用可能反復制限値を超えていなければ（１３２）、差分閾値ユニット４０は差分閾値を増大させ（１３４）、差分閾値処理プロセスを繰り返す。この反復は、バイトの合計数がレート制限値Ｒ以下になったり（１２８）、許容反復回数を超えたりする（１３２）まで繰り返される。どちらの場合も、次に、差分閾値ユニット４０は、式ラベルを選択されたブロックに割り当て、この結果をフレームアセンブリユニット４２に渡して符号化されるようにする。

本開示に記載する技法では、Ｓフレーム内のブロックに対して運動推定を実行して、内挿結果の誤差に基づいて最良の内挿式をブロックごとに選ぶ。この技法によれば、双方向運動推定などの、より高度の複雑な運動推定アルゴリズムに対する必要性がない。加えて、複数の運動ベクトル集合や残留誤差を送る必要性がない。差分閾値処理によって、開示されている技法は、２×２画素という小さいブロックサイズを余分のオーバヘッドを必要とせずに可能とするが、この理由は、たとえ１６×１６のブロックに対して運動推定が可能であるとはいえ、式ラベルを、所望により２×２ブロックに対して送ることが可能であるからである。

一般に、本開示に記載する符号器補助式適応内挿技法は、Ｓフレームに対する式ラベルマップや、運動ベクトルや、ＳＡＤフラグなどの効果的な側情報を提供して、復号器での内挿を補助する。一部の実施形態では、これらの技法によって、式ラベルマップを、式情報に関連するオーバヘッド経費を軽減するような仕方で設定することが可能である。式ラベルマップを送るため、この余分の情報のオーバヘッド経費を軽減する方法が提案されている。本書に記載するこれらの技法は、新興のＩＴＵのＨ．２６４基準に対する新たなＢフレームモードをサポートすることが可能であるということも考えられる。さらに、これらの技法は、均一にサンプリングされたフレームのスキップに用いられるだけではなく、不均一フレームスキップでも使用される。加えて、これらの技法は、フレームレートのアップ変換応用分野だけではなく、レート制御のためのフレームスキップにも用いられる。

本書に記載する技法は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせとして実施される。ソフトウェアとして実施されると、これらの技法は、部分的には、実行されたときに上述した方法の内の１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読み取り可能媒体によって、実現されてよい。この場合、このコンピュータ読み取り可能媒体は、同期式ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）と、リードオンリーメモリ（ＲＯＭ）、不揮発式ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気もしくは光データ記憶媒体などを備えていてよい。

このプログラムコードは、１つ以上のディジタル信号プロセッサ（ＤＳＰ）などの１つ以上のプロセッサや、汎用マイクロプロセッサや、特定用途向け集積回路（ＡＳＩＣ）や、フイールドプログラム可能ロジックアレイ（ＦＰＧＡ）や、他の同等の集積回路もしくはディスクリート論理回路などによって実行される。一部の実施形態では、本書に記載する機能性は、符号化及び復号化するように構成された専用のソフトウェアモジュール又はハードウェアユニットの内部に装備されたり、組み合わされたビデオ符号器／復号器（ＣＯＤＥＣ）に組み込まれたりしている。

様々な実施形態を説明した。これら及び他の実施形態は、添付の特許請求の範囲内にある。なお、本願の出願当初の請求項と同一の記載を「その他の実施例」として以下に付記する。
[その他の実施例１]
符号化されたビデオフレームではなくてスキップされたビデオフレームとなるビデオフレームを選択することと、
スキップされたビデオフレームをビデオ復号器が内挿するのを補助する情報を生成することと、
前記情報を符号化して、前記ビデオ復号器に対して送信されるようにすることと、
を備える、ビデオ符号化方法。
[その他の実施例２]
前記情報は、スキップされたビデオフレームを内挿する際に前記ビデオ復号器が用いる内挿式を指定する、その他の実施例１に記載の方法。
[その他の実施例３]
前記情報は、スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器が用いる様々な内挿式を指定する、その他の実施例１に記載の方法。
[その他の実施例４]
前記選択されたビデオブロックが、スキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、符号化される情報の量を減少させる、その他の実施例３に記載の方法。
[その他の実施例５]
前記情報は、スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる、様々な内挿式を指定する式ラベルマップを含む、その他の実施例１に記載の方法。
[その他の実施例６]
ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価することをさらに備え、前記情報を発生することは、スキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられるはずの特定の内挿式を指定する情報を、この結果に基づいて生成することを含む、その他の実施例１に記載の方法。
[その他の実施例７]
スキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定することと、
閾値を超える差を生じるビデオブロックを特定することと、
をさらに備え、
情報を生成することが、スキップされたビデオフレーム内の特定されたビデオブロックの内挿の際に前記ビデオ復号器が用いる特定の内挿式を指定する情報を生成することを含む、その他の実施例１に記載の方法。
[その他の実施例８]
前記情報は、スキップされたフレームと前のフレームとの間の運動を表す運動ベクトルを含む、その他の実施例１に記載の方法。
[その他の実施例９]
前記情報は、スキップされたフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、その他の実施例１に記載の方法。
[その他の実施例１０]
前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣のブロック同士間の相対的ＳＡＤ値を示す方向性フラグとを含む、その他の実施例９に記載の方法。
[その他の実施例１１]
スキップされていないビデオフレーム内で情報を符号化することをさらに備える、その他の実施例１に記載の方法。
[その他の実施例１２]
意図的にスキップされたビデオフレームの内挿を補助する情報を受信することであって、この情報がビデオフレーム内で符号化されることと、
この情報を適用して、スキップされたビデオフレームを内挿することと、
を備える、ビデオ復号化方法。
[その他の実施例１３]
前記情報は、意図的にスキップされたビデオフレームの内挿に用いられる内挿式を指定し、前記方法は、意図的にスキップされたビデオフレームを内挿するために、指定された内挿式を適用することをさらに備える、その他の実施例１２に記載の方法。
[その他の実施例１４]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定し、前記方法は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿するために、指定された内挿式を適用することをさらに備える、その他の実施例１２に記載の方法。
[その他の実施例１５]
選択されたビデオブロックが、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないブロックを備え、これによって情報の量を減少させる、その他の実施例１４に記載の方法。
[その他の実施例１６]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定する式ラベルマップを含み、前記方法は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿するために、指定された内挿式を適用することをさらに備える、その他の実施例１２に記載の方法。
[その他の実施例１７]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、また、意図的にスキップされたビデオフレーム内の選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロック間の差が閾値を超える、その他の実施例１２に記載の方法。
[その他の実施例１８]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含み、前記方法は、意図的にスキップされたビデオフレームを内挿するために、運動ベクトルを適用することをさらに備える、その他の実施例１２に記載の方法。
[その他の実施例１９]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記方法は、意図的にスキップされたビデオフレームを内挿するために、差分フラグを適用することをさらに備える、その他の実施例１２に記載の方法。
[その他の実施例２０]
前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣のブロック同士間の相対的ＳＡＤ値を示す方向性フラグとを含む、その他の実施例１９に記載の方法。
[その他の実施例２１]
意図的にスキップされたビデオフレームを分析して、この意図的にスキップされたビデオフレームをビデオ復号器が内挿するのを補助する情報を生成する、分析ユニットと、
前記情報をビデオフレーム内で符号化して、前記ビデオ復号器に対して送信されるようにするアセンブリユニットと、
を備える、ビデオ符号器。
[その他の実施例２２]
前記情報は、意図的にスキップされたビデオフレームを内挿する際に前記ビデオ復号器が用いる内挿式を指定する、その他の実施例２１に記載のビデオ符号器。
[その他の実施例２３]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器が用いる様々な内挿式を指定する、その他の実施例２１に記載のビデオ符号器。
[その他の実施例２４]
前記選択されたビデオブロックが、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、符号化される情報の量を減少させる、その他の実施例２３に記載のビデオ符号器。
[その他の実施例２５]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する式ラベルマップを含む、その他の実施例２１に記載のビデオ符号器。
[その他の実施例２６]
前記分析ユニットは、ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価して、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられるはずの特定の内挿式を指定する情報を、この結果に基づいて生成する、その他の実施例２１に記載のビデオ符号器。
[その他の実施例２７]
前記分析ユニットは、
意図的にスキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定し、
閾値を超える差を生じるビデオブロックを特定し、
意図的にスキップされたビデオフレーム内の特定されたビデオブロックの内挿の際に前記ビデオ復号器が用いる特定の内挿式を指定することを含む情報を生成する、
その他の実施例２１に記載のビデオ符号器。
[その他の実施例２８]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、その他の実施例２１に記載のビデオ符号器。
[その他の実施例２９]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、その他の実施例２１に記載のビデオ符号器。
[その他の実施例３０]
前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣のブロック同士間の相対的ＳＡＤ値を示す方向性フラグとを含む、その他の実施例２９に記載のビデオ符号器。
[その他の実施例３１]
意図的にスキップされたビデオフレームの内挿を補助する情報を受信し、前記情報がビデオフレーム内で符号化され、また、意図的にスキップされたビデオフレームを内挿するために、前記情報を適用する内挿ユニットを備える、ビデオ復号器。
[その他の実施例３２]
前記情報は、意図的にスキップされたビデオフレームを内挿する際に用いられる内挿式を指定する、その他の実施例２８に記載のビデオ復号器。
[その他の実施例３３]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する、その他の実施例２８に記載のビデオ復号器。
[その他の実施例３４]
前記選択されたビデオブロックは、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、前記情報の量を減少させる、その他の実施例３３に記載のビデオ復号器。
[その他の実施例３５]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する式ラベルマップを含む、その他の実施例３１に記載のビデオ復号器。
[その他の実施例３６]
前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、また、意図的にスキップされたビデオフレーム内の選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロック間の差が閾値を超える、その他の実施例３１に記載のビデオ復号器。
[その他の実施例３７]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、その他の実施例３１に記載のビデオ復号器。
[その他の実施例３８]
前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、その他の実施例３１に記載のビデオ復号器。
[その他の実施例３９]
前記差分フラグが、絶対差分和（ＳＡＤ）フラグと、隣のブロック同士間の相対的ＳＡＤ値を示す方向性フラグとを含む、その他の実施例３８に記載のビデオ復号器。

Claims (29)

1. 符号化されたビデオフレームではなくスキップされたビデオフレームとなるビデオフレームを選択することと、
   ビデオ復号器が前記スキップされたビデオフレームを内挿するのを補助する情報を生成することと、
   前記ビデオ復号器への送信のために前記情報を符号化することと
   を備え、
   前記スキップされたビデオフレームを内挿するのを補助する前記情報は、前記情報のための専用のフレームを送るのではなく、側情報として、次のスキップされないビデオフレームに添付され、
   前記情報は、前記スキップされたビデオフレームを内挿する際に前記ビデオ復号器によって用いられる内挿式を指定し、
   前記情報は、前記スキップされたフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣接するブロック間の相対的ＳＡＤ値を示す方向性フラグとを含む、ビデオ符号化方法。
2. 前記情報は、前記スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する、請求項１に記載の方法。
3. 前記選択されたビデオブロックは、前記スキップされたビデオフレーム内の全てのビデオブロックより少ないビデオブロックを備え、これによって、前記符号化される情報の量を減少させる、請求項２に記載の方法。
4. 前記情報は、前記スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する式ラベルマップを含む、請求項１に記載の方法。
5. 前記ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価することをさらに備え、前記情報を生成することは、前記結果に基づいて、前記スキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられる特定の内挿式を指定する情報を生成することを含む、請求項１に記載の方法。
6. 前記スキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定することと、
   閾値を超える差を生じるビデオブロックを特定することと
   をさらに備え、
   情報を生成することは、前記スキップされたビデオフレーム内の前記特定されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられる特定の内挿式を指定する情報を生成することを含む、請求項１に記載の方法。
7. 前記情報は、前記スキップされたフレームと前のフレームとの間の運動を表す運動ベクトルを含む、請求項１に記載の方法。
   
8. スキップされないビデオフレーム内で前記情報を符号化することをさらに備える、請求項１に記載の方法。
9. 意図的にスキップされたビデオフレームの内挿を補助する情報を受信することであって、前記情報はビデオフレーム内で符号化されている、受信することと、
   前記スキップされたビデオフレームを内挿するために前記情報を適用することと
   を備えるビデオ復号化方法であって、
   前記スキップされたビデオフレームの内挿を補助する前記情報は、前記情報のための専用のフレームを受信するのではなく、側情報として、次のスキップされないビデオフレームに添付されており、
   前記情報は、前記意図的にスキップされたビデオフレームの内挿に用いられる内挿式を指定し、前記方法は、前記意図的にスキップされたビデオフレームを内挿するために、前記指定された内挿式を適用することをさらに備え、
   前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記方法は、前記意図的にスキップされたビデオフレームを内挿するために、前記差分フラグを適用することをさらに備え、前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣接するブロック間の相対的ＳＡＤ値を示す方向性フラグとを含む、ビデオ復号化方法。
10. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定し、前記方法は、前記意図的にスキップされたビデオフレーム内の前記選択されたビデオブロックを内挿するために、前記指定された内挿式を適用することをさらに備える、請求項９に記載の方法。
11. 前記選択されたビデオブロックは、前記意図的にスキップされたビデオフレーム内の全てのビデオブロックより少ないブロックを備え、これによって、前記情報の量を減少させる、請求項１０に記載の方法。
12. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定する式ラベルマップを含み、前記方法は、前記意図的にスキップされたビデオフレーム内の前記選択されたビデオブロックを内挿するために、前記指定された内挿式を適用することをさらに備える、請求項９に記載の方法。
13. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、前記意図的にスキップされたビデオフレーム内の前記選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差が閾値を超える、請求項９に記載の方法。
14. 前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含み、前記方法は、前記意図的にスキップされたビデオフレームを内挿するために、前記運動ベクトルを適用することをさらに備える、請求項９に記載の方法。
    
15. 意図的にスキップされたビデオフレームを分析し、ビデオ復号器が前記意図的にスキップされたビデオフレームを内挿するのを補助する情報を生成する、分析ユニットと、
    前記ビデオ復号器への送信のために、前記情報をビデオフレーム内で符号化するアセンブリユニットと
    を備え、
    前記スキップされたビデオフレームを内挿するのを補助する前記情報は、前記情報のための専用のフレームを送るのではなく、側情報として、次のスキップされないビデオフレームに添付され、
    前記情報は、前記意図的にスキップされたビデオフレームを内挿する際に前記ビデオ復号器によって用いられる内挿式を指定し、
    前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣接するブロック間の相対的ＳＡＤ値を示す方向性フラグとを含む、ビデオ符号器。
16. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する、請求項１５に記載のビデオ符号器。
17. 前記選択されたビデオブロックは、前記意図的にスキップされたビデオフレーム内の全てのビデオブロックより少ないビデオブロックを備え、これによって、前記符号化される情報の量を減少させる、請求項１６に記載のビデオ符号器。
18. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する式ラベルマップを含む、請求項１５に記載のビデオ符号器。
19. 前記分析ユニットは、前記ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価し、前記結果に基づいて、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられる特定の内挿式を指定する前記情報を生成する、請求項１５に記載のビデオ符号器。
20. 前記分析ユニットは、
    前記意図的にスキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定し、
    閾値を超える差を生じるビデオブロックを特定し、
    前記意図的にスキップされたビデオフレーム内の前記特定されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられる特定の内挿式を指定することを含む前記情報を生成する、
    請求項１５に記載のビデオ符号器。
21. 前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、請求項１５に記載のビデオ符号器。
    
22. 意図的にスキップされたビデオフレームの内挿を補助する情報を受信し、ここで、前記情報は、ビデオフレーム内で符号化されており、
    前記意図的にスキップされたビデオフレームを内挿するために、前記情報を適用する
    内挿ユニット、を備えるビデオ復号器であって、
    前記スキップされたビデオフレームを内挿するのを補助する前記情報は、前記情報のための専用のフレームを受信するのではなく、側情報として、次のスキップされないビデオフレームに添付されており、
    前記情報は、前記意図的にスキップされたビデオフレームを内挿する際に用いられる内挿式を指定し、
    前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記差分フラグは、絶対差分和（ＳＡＤ）フラグと、隣接するブロック間の相対的ＳＡＤ値を示す方向性フラグとを含む、ビデオ復号器。
23. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する、請求項２２に記載のビデオ復号器。
24. 前記選択されたビデオブロックは、前記意図的にスキップされたビデオフレーム内の全てのビデオブロックより少ないビデオブロックを備え、これによって、前記情報の量を減少させる、請求項２３に記載のビデオ復号器。
25. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する式ラベルマップを含む、請求項２２に記載のビデオ復号器。
26. 前記情報は、前記意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、前記意図的にスキップされたビデオフレーム内の前記選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差が閾値を超える、請求項２２に記載のビデオ復号器。
27. 前記情報は、前記意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、請求項２２に記載のビデオ復号器。
    
28. コンピュータに請求項１乃至１４のいずれか一項に記載された方法を実行させるプログラム。
29. プログラムを記録したコンピュータ読み取り可能な記憶デバイスであって、前記プログラムは、コンピュータに請求項１乃至１４のいずれか一項に記載された方法を実行させる、コンピュータ読み取り可能な記憶デバイス。

Images