JP4339680B2 - ビデオ圧縮フレームの補間 - Google Patents

Description

本発明はビデオ圧縮に関し、詳細には、ＭＰＥＧ等の符号化および復号化システムにおけるビデオ圧縮フレームの改良された補間に関する。

ＭＰＥＧの背景
ＭＰＥＧ−２およびＭＰＥＧ−４は、画像シーケンスをよりコンパクトな符号化データの形で表わす効率的な方法を提供するビデオシンタックスを定義する国際ビデオ圧縮標準規格である。符号化ビットの言語は、「シンタックス」である。例えば、僅かなトークンでサンプルの全ブロックを表すことができる（例えば、ＭＰＥＧ−２では６４サンプル）。両方のＭＰＥＧ標準規格には、復号化（再構成）処理も記述されており、符号化ビットを、コンパクトな表現から元のフォーマットの近似画像シーケンスへ写像する。例えば、符号化ビットストリーム内のフラグは、後続のビットを、離散コサイン変換（ＤＣＴ）アルゴリズムで復号化する前に、予測アルゴリズムで先に処理すべきかどうかを知らせる。復号化処理を含むアルゴリズムは、これらのＭＰＥＧ標準規格により定義されているセマンティックスにより規定されている。このシンタックスは、空間冗長性、時間冗長性、一様な動き、空間マスキング等の共通のビデオ特性を活用するように適用され得る。実際、これらＭＰＥＧ標準規格は、データフォーマットはもとよりプログラミング言語も定義している。ＭＰＥＧデコーダは、入力されるデータストリームを解析し、復号化できなければならないが、データストリームが対応するＭＰＥＧシンタックスに準拠している限り、広く多様な可能なデータ構造および圧縮技法を用いることができる（セマンティックスが整合性をもたないために、技術的には標準規格から逸脱することはあるが）。代替シンタックス内に必要なセマンティックスを持つことも可能である。

これらＭＰＥＧ標準規格は、イントラフレーム（フレーム内）およびインターフレーム（フレーム間）法を含む多様な圧縮法を用いる。ほとんどの映像シーンでは、動きが前景において生じている間、背景は比較的静止したままである。背景が動くこともあるが、多くのシーンは冗長である。これらＭＰＥＧ標準規格は、「イントラ」フレームまたは「Ｉフレーム」と呼ばれる基準フレームを作成することにより圧縮を開始する。Ｉフレームは、他のフレームを参照せずに圧縮されるので、フレーム全体の映像情報を含んでいる。Ｉフレームは、ランダムアクセスのためのエントリーポイントをデータビットストリームに提供するが、中程度にしか圧縮できない。Ｉフレームを表すデータは、１２から１５フレーム毎にビットストリームに配置されるのが普通である（状況によっては、Ｉフレーム間にもっと広い間隔を設けることも有用である）。従って、基準Ｉフレーム間にあるフレームの僅かな部分だけが、両側を挟むＩフレームと異なるので、その画像の差分だけが捕捉され、圧縮され、そして格納される。２種類のフレームが、かかる差分のために用いられる。すなわち、予測フレームつまりＰフレーム、および双方向補間フレームつまりＢフレームである。

Ｐフレームは、一般に過去のフレーム（Ｉフレームまたは以前のＰフレームのいずれか）を参照して符号化され、一般には後続のＰフレームに参照されて用いられる。Ｐフレームはかなり高い圧縮を受ける。Ｂフレームは、最も高い圧縮量を提供するが、符号化されるために過去と未来の両参照フレームを必要とする。標準圧縮技術で双方向フレームが参照フレームとして用いられることはない。

マクロブロックは、画像ピクセルからなる領域である。ＭＰＥＧ−２では、マクロブロックは、８×８のＤＣＴブロック４つを集めた１６×１６ピクセルであり、Ｐフレームについては１つの動きベクトル、Ｂフレームについては１つまたは２つの動きベクトルを伴う。Ｐフレーム内のマクロブロックは、イントラフレームまたはインターフレーム（予測フレーム）符号化のいずれかを用いて個別に符号化され得る。Ｂフレーム内のマクロブロックは、イントラフレーム符号化、順方向予測符号化、逆方向予測符号化、または、順方向および逆方向の両方向（すなわち、双方向補間）予測符号化を用いて個別に符号化され得る。僅かに異なってはいるが類似の構造が、ＭＰＥＧ−４ビデオ符号化で用いられている。

符号化されると、ＭＰＥＧデータビットストリームは、一連のＩ、ＰおよびＢフレームを備える。シーケンスはＩ、ＰおよびＢフレームのほとんどいかなるパターンを構成してもよい（それらの配置に多少の意味的制限はある）。しかしながら、産業上の実施においては、一定のパターン（例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）を有することが通常である。

動きベクトル予測
ＭＰＥＧ−２およびＭＰＥＧ−４（およびＨ．２６３等の類似の標準規格）では、Ｂ型（双方向予測）フレームの使用が圧縮の効率に有利であることが分かっている。各マクロブロックに対する動きベクトルは、以下の３つの方法のいずれかにより予測できる：
１）以前のＩまたはＰフレームから順方向へ予測する（すなわち、非双方向予測フレーム）。
２）後続のＩまたはＰフレームから逆方向へ予測する。
３）後続および以前のＩまたはＰフレームの両方から双方向に予測する。

モード１は、Ｐフレームに用いる順方向予測法と同一である。モード２は、後続フレームから逆方向に働くこと以外、同じ考え方である。モード３は、以前および後続のフレームからの情報を組み合わせる補間モードである。

これら３つのモードに加えて、ＭＰＥＧ−４は、第２の補間動きベクトル予測モード、すなわち、後続のＰフレームからの動きベクトルおよびデルタ値を用いる直接モード予測もサポートする。後続のＰフレームの動きベクトルは、以前のＰまたはＩフレームを指し示す。ある比率を用いて後続のＰフレームからの動きベクトルに重み付けをする。その比率は、後続のＰおよび以前のＰ（またはＩ）フレームに対する現在のＢフレームの相対的時間位置である。

図１はフレームの時系列と先行技術に基づくＭＰＥＧ−４直接モード動きベクトルである。ＭＰＥＧ−４直接モード（モード４）の概念は、間にある各Ｂフレームにおけるマクロブロックの動きが、直後のＰフレームにおいて同じ位置を符号化するのに用いられた動きに近くなりそうだということである。後続するＰフレームから得られる比例する動きベクトルに小さな補正をするために、デルタ（delta）が用いられる。動きベクトル（ＭＶ）１０１、１０２、１０３に与えられる比例した重みが、以前のＰまたはＩフレーム１０５と後続のＰフレーム１０６の間の「距離」の関数として、中間のＢフレーム１０４ａ、１０４ｂそれぞれに対して示されている。中間のＢフレーム１０４ａ、１０４ｂそれぞれに割り当てられた動きベクトルは、続くＰフレームに対する動きベクトルを割り当てられた重み値倍し、デルタ値を加えたものに等しい。

ＭＰＥＧ−２の場合、符号化の際に、Ｂフレームに対する全ての予測モードは検査され、各マクロブロックに対して最良の予測を見つけるために比較される。予測が十分でなければ、そのマクロブロックは、「Ｉ」（「イントラ」）マクロブロックとして、独立した形で符号化される。符号化モードは順方向（モード１）、逆方向（モード２）、双方向（モード３）の間の最良モードあるいはイントラとして選択される。ＭＰＥＧ−４の場合、イントラの選択は認められない。代わりに直接モードが４番目の選択となる。さらに最良の符号化モードは、何らかの最良一致基準に基づいて選択される。ＭＰＥＧ−２およびＭＰＥＧ−４の基準ソフトウエアエンコーダでは、ＤＣ一致（差の絶対値の合計（Sum of Absolute Difference）すなわち「ＳＡＤ」）を用いて最良の一致が決定される。

ＭＰＥＧでは、連続するＢフレームの数は「Ｍ」パラーメータの値によって決定される。Ｍ−１は各Ｐフレームと続くＰ（またはＩ）フレーム間のＢフレームの数である。したがって、Ｍ＝３の場合、図１に示されるように、各Ｐ（またはＩ）フレーム間に２つのＢフレームがある。主にＭの値、したがって連続するＢフレームの数を制限するのは、Ｐ（またはＩ）フレーム間の動き変化の量が大きくなることである。Ｂフレームの数を多くすることは、Ｐ（またはＩ）フレーム間の時間が長くなることを意味する。それゆえに、効率と動きベクトルによる符号化範囲の制限が中間にあるＢフレームの数の最終的な制限を生み出している。

復号化されるＰフレームはそれぞれ次の後続Ｐフレームを予測するための開始点として用いられるので、Ｐフレームは動画ストリームとともに「エネルギー変化」を順方向に運ぶということに注意することも重要である。しかしながら、Ｂフレームは使用後廃棄される。それゆえに、Ｂフレームを生成するために用いられるいかなるビットもそのフレームのためだけに用いられ、Ｐフレームと異なり、後続フレームを援助するための補正を提供しない。

本発明は、各フレームが複数のピクセルからなるビデオ画像圧縮システムにおいて１つ以上の双方向予測中間フレームの画質を改良するための方法、システムおよびコンピュータプログラムに向けられている。

一側面では、本発明は、連続する双方向予測中間フレームを挟む非双方向予測フレームにおける対応するピクセル値の重みの比として、各双方向予測中間フレームの各ピクセルの値を決定する。一実施例では、重みの比は、両側を挟む非双方向予測フレーム間の距離の関数である。他の実施例では、重みの比は、両側を挟む非双方向予測フレームのフレーム間距離と両側を挟む非双方向予測フレームの均等平均（equal average）との混合された関数である。

本発明の他の側面は、線形空間または元の非線形な表現とは異なる他の最適化された非線形空間における表現上で、ピクセル値の補間が実行されることである。

本発明の１つ以上の実施の形態の詳細を添付図面と以下の説明で述べる。本発明の他の特徴、目的、そして利点は、その説明と図面、および請求の範囲から明らかとなろう。なお、種々の図において同様な要素には同様な参照符号を付する。

詳細な説明
概観
本発明の一側面は、各Ｐ（またはＩ）フレーム間に２つのＢフレームを提供する３のＭ値を使用することが一般的であるという認識に基づいている。しかしながら、Ｍ＝２およびＭ＝４またはそれより大きな値も全て有用である。Ｍ値（Ｂフレームの数足す１）はまたフレームレートと自然な関係を生じることに留意することは特に重要である。映画の速度である毎秒２４フレーム（２４ｆｐｓ）では、フレーム間の１／２４秒の時間距離は十分なフレーム間変化をもたらしうる。しかしながら、６０ｆｐｓや７２ｆｐｓあるいはそれより高いフレームレートでは、隣接するフレーム間の時間距離は相応して減少する。したがって、フレームレートが増大するにつれて、Ｂフレームの数を大きくする（すなわちＭ値を大きくする）ことが有用になり、圧縮の効率に有益になる。

本発明のもう一つの側面は、ＭＰＥＧ−２およびＭＰＥＧ−４ビデオ圧縮が両方とも単純化し過ぎた補間法を利用しているとの認識に基づいている。例えばモード３の場合には、あるフレームの各マクロブロックに対する双方向予測は、２つの対応する動きベクトルによって置換されるとき、後続および以前のフレームのマクロブロックの均等平均である。この均等平均は、Ｍ値が２（すなわち１つの中間Ｂフレーム）の場合には、以前および後続のＰ（またはＩ）フレームから時間的に等しい距離にＢフレームがあるため、適切である。しかしながら、すべてのより大きなＭ値に対しては、対称中心にあるＢフレーム（すなわちＭ＝４，６，８等の場合の真ん中のフレーム）だけが均等な重みを用いることに最適となろう。同様に、ＭＰＥＧ−４直接モード４において、動きベクトルは比例するように重み付けされるとしても、各中間Ｂフレームに対する予測ピクセル値は以前のＰ（またはＩ）フレームと後続のＰフレームの均等な比となっている。

それゆえに、Ｍ＞２の場合、各Ｂフレームに対する予測ピクセル値に適切な比例重み付けを適用することで改良ができる。現在のＢフレームでの各ピクセルに対する比例重みは、以前および後続のＰ（またはＩ）フレームに関する現在のＢフレームの相対的な位置に対応する。それゆえに、Ｍ＝３の場合、最初のＢフレームは、以前のフレームの（動きベクトルが調整された）対応するピクセル値の２／３と、後続のフレームの（動きベクトルが調整された）対応するピクセル値の１／３を用いる。

図２は、フレームの時系列と本発明のこの側面に基づく比例ピクセル重み値である。各中間Ｂフレーム２０１ａ、２０１ｂの各マクロブロック内のピクセル値は以前のＰまたはＩフレームＡと続くＰまたはＩフレームＢの間の「距離」の関数として重み付けされる。つまり、双方向予測Ｂフレームの各ピクセル値は、両側を挟む非双方向予測フレームＡおよびＢの対応するピクセル値の重み付けされた組み合わせである。Ｍ＝３の場合であるこの例では、最初のＢフレーム２０１ａに対する重みは2/3Ａ＋1/3Ｂとなり、２番目のＢフレーム２０１ｂに対する重みは1/3Ａ＋2/3Ｂとなる。従来のＭＰＥＧシステムで割り当てられる均等平均重みも示されている。各Ｂフレーム２０１ａ、２０１ｂに対するＭＰＥＧ−１、２および４の重みは、（Ａ＋Ｂ）／２となる。

拡張されたダイナミックレンジおよびコントラストレンジへの適用
Ｍが２より大きいと、中間Ｂフレームにおけるピクセル値の比例重み付けは、多くの場合、双方向（モード３）および直接（モード４）符号化の効果を改良する。実例となるケースには、フェードアウトやクロスディゾルブのような一般的な映画やビデオの編集効果が含まれる。ＭＰＥＧ−２とＭＰＥＧ−４の両方の場合で、単純なＤＣ一致の使用および一般的なＭ＝３（すなわち２つの中間Ｂフレーム）の使用は、Ｂフレームに対する均等な比に帰着することとなるため、これらのビデオ効果の種類は、問題のある符号化の実例である。かかる場合の符号化は比例Ｂフレーム補間を用いることで改良される。

また、拡張されたダイナミックレンジおよびコントラストレンジに対して、比例Ｂフレーム補間は、符号化効率改良の直接的な応用を有する。画像符号化において通常起こるのは、照明の変化である。これは、対象が次第に影（淡い影の端）の中に入る（あるいは外に出る）ときに起こる。対数の符号化表現が輝度に対して用いられる（例えば対数輝度Ｙにより具体化されるように）ならば、照明の輝度変化はＤＣオフセット量の変化になるだろう。照明の輝度が半分に落ちれば、ピクセル値は全て等しい量だけ減少する。それゆえに、この変化を符号化するため、ＡＣ一致が見つけられるべきであり、かつ、符号化されたＤＣ差がその領域に適用されるべきである。Ｐフレーム内に符号化されているＤＣ差は、間にあるＢフレームそれぞれにも同様に比例して適用されるべきである（本出願と同時に出願され、本発明の譲受人へ譲渡された「圧縮画像の色度情報を改良するための方法およびシステム」（"Method and System for Improving Compressed Image Chroma Information”）と題する係属中の米国特許第０９／９０５，０３９号を参照のこと。対数符号化表現に関する追加情報として引用して本明細書に組み込む。）。

照明の変化に加えて、コントラストの変化も比例Ｂフレーム補間による利益を得る。例えば、飛行機が雲や霞から飛び出し、観察者へ向かって移動するにつれて、そのコントラストは次第に増加する。このコントラストの増加は、Ｐフレームの符号化マクロブロックにおけるＤＣＴのＡＣ係数において、振幅の増大として表される。この場合もやはり、間にあるＢフレームのコントラスト変化は比例補間（proportional interpolation）により最もよく近似され、符号化効率を改良する。

比例Ｂフレーム補間の使用によるダイナミックレンジおよびダイナミックコントラスト符号化効率の改良は、フレームレートが高くなり、Ｍ値が増大するにつれてますます重要になる。

時相階層化(temporal layering)への高Ｍ値の適用
符号化効率を維持し、あるいは増進すると同時に、Ｍ値従って両側を挟むＰおよび／またはＩフレーム間のＢフレームの数を増加して本発明の実施例を用いることは、時相階層化を含む多くの応用を提供する。例えば、「先端的テレビのための時相および解像度の階層化」（"Temporal and Resolution Layering for Advanced Television”）と題する米国特許第５，９８８，８６３号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）では、Ｂフレームは、階層化された時相の（フレーム）レートに適した構造であることが特筆されている。かかるレートの自由度は、利用可能なＢフレームの数に関係する。例えば、Ｂフレームが１つ（Ｍ＝２）の場合、７２ｆｐｓのストリーム内では、３６ｆｐｓの時相層を復号化でき、または６０ｆｐｓストリーム内では、３０ｆｐｓの時相層を復号化できる。Ｂフレームが３つ（Ｍ＝４）の場合、７２ｆｐｓストリーム内では、３６ｆｐｓと１８ｆｐｓ両方の時相層を復号化でき、６０ｆｐｓストリーム内では、３０ｆｐｓと１５ｆｐｓ両方の時相層を復号化できる。１２０ｆｐｓストリーム内でＭ＝１０を用いると、１２ｆｐｓ、２４ｆｐｓおよび６０ｆｐｓの時相層を復号化できる。１４４ｆｐｓストリームにＭ＝４を用いると、７２ｆｐｓおよび３６ｆｐｓの時相層が復号化できる。

「時相および解像度の階層化の向上」（"Enhancements to Temporal and Resolution Layering”）と題する係属中の米国特許出願第０９／５４５，２３３号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）に記述されているように、２４ｆｐｓでの動きぼけ特性を改良するために、全てのＮ番目フレームを取り出すことの改良として、１２０ｆｐｓや７２ｆｐｓの複数のフレームは復号化され、比例して混合される。

「動き補償とフレームレート変換のためのシステムと方法」（"System and Method for Motion Compensation and Frame Rate Conversion”）と題する係属中の米国特許出願第０９／４３５，２７７号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）に記述されている方法を利用して、より高いフレームレートでも合成され得る。例えば、７２ｆｐｓのカメラ原本は、動き補償フレームレート変換を用いて、毎秒２８８フレームの実効的なフレームレートを作り出すことができる。Ｍ＝１２を用いれば、４８ｆｐｓと２４ｆｐｓの両フレームレートを得ることができるだけでなく、１４４ｆｐｓ、９６ｆｐｓおよび３２ｆｐｓ（そしてもちろん元の７２ｆｐｓ）のような他の有用なレートを得ることができる。この方法によるフレームレート変換は、整数倍であることを必要としない。例えば、１２０ｆｐｓの実効レートは７２ｆｐｓの元データから生成され得、さらに、（Ｍ＝１０を用いると）６０ｆｐｓおよび２４ｆｐｓレートの両方に対する元データとしても用いられ得る。

それゆえに、Ｂフレーム補間の性能を最適化することは、時相階層化に有益である。上記の比例Ｂフレーム補間は、より大きなＢフレーム数をより効率的に機能せしめ、したがって、これらの受益を可能とする。

混合されたＢフレーム補間比
Ｂフレームのピクセル値に対する動き補償モード予測子として、均等平均重み付けが従来のシステムで用いられてきた１つの理由は、特定のＢフレームの前後にあるＰ（またはＩ）フレームがノイズを多く含むかもしれず、したがって不十分に一致するかもしれないということにある。均等な混合は、補間された動き補償ブロックにおいて、ノイズを最大限減少する。残差は量子化ＤＣＴ関数を用いて符号化される。もちろん、動き補償の比との一致が良好であるほど、要求される残差ビットは少なくなり、結果として得られる画質も高くなる。

影や霞に入ったり出たりする対象がある場合に、Ｍ＞２ならば、真の比はより良好な予測を提供する。しかしながら、明るさやコントラストが変化しないときは、均等重み付けはより良好な予測子となるかもしれない。なぜなら、動きベクトルに沿ってマクロブロックを順方向へ移動させる際の誤差が、逆方向へ移動するブロックからの誤差で平均化され、ゆえに、半分だけ各々における誤差が減少するからである。そうだとしても、Ｂフレームのマクロブロックは、離れたＰ（またはＩ）フレームよりも、より近くにあるＰ（またはＩ）フレームと、より強い相関関係を持ちそうである。

それゆえに、局所的なコントラストや明るさの変化があるような一定の状況においては、Ｂフレームマクロブロックのピクセル重み付けに対して（輝度と色度の両方について）真の比を利用することが望ましい。他の状況においては、ＭＰＥＧ−２およびＭＰＥＧ−４と同様に、均等な比を利用することが、より最適かもしれない。

これら２つの比の技法（均等平均対フレーム距離比）から、混合したものも作ることができる。例えば、Ｍ＝３の場合には、１／３および２／３の３／４を比とし、均等平均の１／４と組み合わせることで、２つの比は３／８と５／８になる。この技法は「混合因子」Ｆを用いて、一般化され、
Weight＝Ｆ・(FrameDistanceProportionalWeight)＋(１−Ｆ)・(EqualAverageWeight)
となる。実用的な混合因子Ｆの範囲は、完全な比例補間を示す１から、完全な均等平均を示す０までである（逆数をとってもよい）。

図３は、フレームの時系列と本発明のこの側面に基づく比例および均等ピクセル重み値の混合である。各中間Ｂフレーム３０１ａ、３０１ｂの各マクロブロックのピクセル値は、以前のＰまたはＩフレームＡと続くＰまたはＩフレームＢ間の「時間距離」の関数として、およびＡとＢの均等平均の関数として重み付けされる。この例は、Ｍ＝３および混合因子Ｆ＝３／４の場合であり、１番目のＢフレーム３０１ａに対する混合された重みは5/8Ａ＋3/8Ｂ（すなわち比例重みである2/3Ａ＋1/3Ｂの３／４倍に均等平均の重みである（Ａ＋Ｂ）／２の１／４倍を加えたもの）となる。同様に、２番目のＢフレーム３０１ｂに対する重みは3/8Ａ＋5/8Ｂとなる。

混合因子の値は、完全な符号化全体について、または各ＧＯＰ（group of picture）、Ｂフレームの範囲、各Ｂフレーム、あるいはＢフレーム内の各領域（例えば、可能な限り細かく、各マクロブロックあるいは８ｘ８モードでＰベクトルを用いるＭＰＥＧ−４直接モードの場合には、個別の８ｘ８動きブロックさえも含む）について設定できる。

ビット節約を促進するために、そして通常、混合比は各マクロブロックに伝えられるほど重要ではないという事実を反映し、混合の最適な使用は圧縮される画像の種類に関係するはずである。例えば、フェードやディゾルブしている画像や全体の明るさやコントラストが次第に変化している画像に対しては、混合因子Ｆを１かそれに近い値（すなわち比例補間を選択すること）とすることが、一般的に最適である。かかる明るさやコントラストの変化がない連続する画像に対しては、２／３や１／２や１／３のようなより小さな混合因子値が最良の選択となり、それによって、いくらかの均等平均補間の利益と同様に、いくらかの比例補間の利益が保たれる。０から１の範囲内の全ての混合因子値は一般に有用であり、与えられたいかなるＢフレームに対しても、この範囲内のある特定の値が最適となる。

広いダイナミックレンジと広いコントラストレンジの画像に対しては、局所的な領域の特性に依存して、混合因子は局所的に決定できる。しかしながら一般には、広い範囲の明るさやコントラストは、混合因子値が均等平均補間よりむしろ完全な比例補間を支持するように促す。

場面の特定の種類から得られる知識を用いて、場面の種類によって混合因子の表を作成するのではあるが、最適な混合因子は一般には経験的に決定される。例えば、画像変化特性の決定を使用して、フレームや領域の混合比を選択できる。あるいは、Ｂフレームは多くの混合因子の候補（フレーム全体と領域のどちらかに対して）を用いて符号化でき、同時に、それぞれが画質を最適化し（例えば最大信号雑音比（ＳＮＲ）によって決定される）、さらに、最も少ないビット数となるために評価される。これらの候補評価は混合比の最良値を選択するために用いられる。画像変化特性と符号化の質／効率の両方の組み合わせも、用いることができる。

もちろん、シーケンスの真ん中付近のＢフレームや、低Ｍ値の結果得られるＢフレームは、算出される比がすでに均等平均に近くなるため、ほとんど比例補間による影響を受けない。しかしながら高Ｍ値の場合、端に位置するＢフレームは、混合因子の選択により著しく影響を受ける。ここで留意すべきは、隣接する両方のＰ（またはＩ）フレームからの大きな比をすでに有するため、均等平均から外れることによる利益がほとんど、あるいはまったく得られないより中央近くの位置と比べて、これらの端の位置に対しては、均等平均をより多く利用するように混合因子を異ならせられることである。例えばＭ＝５の場合、１番目と４番目のＢフレームは、より多くの均等平均を混合するような混合因子Ｆを用いるが、２番目と３番目の真ん中にあるＢフレームは、厳密に２／５と３／５の均等平均な比を用いてもよい。比対平均の混合因子が変化する場合、それは圧縮されるビットストリーム中にまたは付け足し情報として、デコーダに伝達される。

静的で一般的な混合因子が必要となる場合（値を伝達する方法の欠如による）、２／３が通常最適に近い値となり、エンコーダとデコーダの両方において、Ｂフレーム補間に対する静的な値として選択できる。例えばＦ＝２／３を混合因子として用いると、Ｍ＝３の場合、次のフレームの比は７／１８（７／１８＝２／３＊１／３＋１／３＊１／２）および１１／１８（１１／１８＝２／３＊２／３＋１／３＊１／２）となる。

線形補間
圧縮に用いられる輝度値は非線形である。非線形表現の様々な形式での使用は、対数、指数（様々な冪に対する）および黒補正を伴う指数（ビデオ信号に一般に用いられる）を含む。

狭いダイナミックレンジにわたって、またはすぐ近くの領域の補間に対しては、これらの近接する補間は区分的線形補間を表すので、非線形表現は許容範囲にある。それゆえに、輝度の微小変化は、線形補間により妥当に近似される。しかしながら、広いダイナミックレンジと広いコントラストレンジの画像で生じるように輝度が大きく変化する場合、非線形信号を線形信号として取り扱うことは不正確となるだろう。通常のコントラストレンジの画像についてさえ、線形なフェードおよびクロスディゾルブは線形補間により劣化され得る。フェードやクロスディゾルブの中には、非線形なフェードおよびディゾルブ率を利用するものがあり、さらに複雑になる。

それゆえに、比例混合の使用に対するさらなる改良は、線形空間、または元の非線形な輝度表現と異なる他の最適化された非線形空間で表現されるピクセル値に対する補間を実行することである。

例えばこれは、最初に（以前および後続のＰ（またはＩ）フレームからの）２つの非線形輝度信号を線形表現あるいは別の非線形表現に変換することで、達成してもよい。それから比例混合を適用し、その後逆変換を適用し、画像の元の非線形輝度表現で、混合された結果を生成する。しかしながら、比例関数は輝度信号のより最適な表現で実行されるだろう。

霞や曇りにおける変化と結びついたコントラスト変化で生じるように、色がフェードし、またはより飽和しつつあるときに、この線形または非線形変換を輝度に加えて色値に、有益に適用することも可能である。

実施例
図４は、コンピュータに実装され得る方法として本発明の例示的な実施形態を示すフロー図である。

ステップ４００：ビデオ画像圧縮システムにおいてＢフレームを算出するための直接および補間モードに対して、フレーム距離比、および、均等重みと元データ（例えば、ビデオ画像ストリーム）から入力されるシーケンスの両側を挟む少なくとも２つの非双方向予測フレームから得られるフレーム距離比との混合、のうちの１つを使用して、２つ以上の双方向予測中間フレームの入力シーケンスの各ピクセルに適用する補間値を決定する。

ステップ４０１：フレーム内の領域や１つ以上のフレームのような画像単位に関して、補間値を最適化する。補間値は、符号化セッション全体に対して静的に設定してもよいし、場面、ＧＯＰ、フレーム、フレーム群毎、またはフレーム内の局所に対し動的に設定してもよい。

ステップ４０２：さらに場面の種類や符号化の簡潔さに関して、補間値を最適化する。例えば、補間値は静的に設定してもよく（２／３を比例に、かつ１／３を均等平均に）、均等平均に近いフレームに対しては比例的に設定し、隣接するＰ（またはＩ）フレームの近くでは均等平均と混合させて設定してもよく、フェードおよびクロスディゾルブのように場面全体の特性に基づいて動的に設定してもよく、局所的なコントラストレンジおよび局所的なダイナミックレンジのような局所的な画像領域の特性に基づいて動的に（かつ局所的に）設定してもよく、最大の符号化ＳＮＲおよび生成される最小の符号化ビットのような符号化性能に基づいて動的に（かつ局所的に）設定してもよい。

ステップ４０３：静的に補間値を決定しない場合は、デコーダに適切な比の量を伝達する。

ステップ４０４：任意で、各フレームに対する輝度（および任意で色度）情報を線形あるいは別の非線形表現に変換し、さらに静的に補間値を決定しない場合は、その代替混合表現をデコーダに伝達する。

ステップ４０５：決定した補間値を用いて、比例ピクセル値を求める。

ステップ４０６：必要に応じて（ステップ４０４により）、元の表現に再変換する。

実装
本発明は、ハードウエアもしくはソフトウエアまたは両者の組み合わせ（例えば、プログラマブル・ロジック・アレー）で実装してもよい。特に規定のない限り、本発明の一部として含まれるアルゴリズムは、如何なる特定のコンピュータまたは他の装置と本質的に関連しない。特に、本明細書の教示に従って書かれたプログラムを有する各種の汎用マシンを用いることができ、あるいはより特化した装置（例えば、集積回路）を構成して特定の機能を実行すると更に便利になろう。このように、本発明は、１台以上のプログラマブルコンピュータシステム上の１つ以上のコンピュータプログラムに実装でき、各システムは、少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性または不揮発性メモリおよび／または記憶素子を含む）、少なくとも１つの入力装置またはポート、および少なくとも１つの出力装置またはポートを備える。プログラムコードを入力データに適用して本明細書で説明した機能を実行するとともに、出力情報を生成する。出力情報は、既知の方法で１台以上の出力装置に適用される。

コンピュータシステムと通信するための、任意の所望するコンピュータ言語（機械語、アセンブリ言語、または高レベル手続き型言語、論理型言語、またはオブジェクト指向プログラム言語を含む）で、かかるプログラムをそれぞれ実装してよい。いずれにしても、言語は、コンパイラ型言語でもインタープリタ型言語でもよい。

本明細書で説明した手段を実行するためのコンピュータシステムにより、汎用または特定用途のプログラマブルコンピュータにより可読な記憶媒体または装置（例えば、固体メモリか媒体、または磁気式か光学式媒体）が読み込まれる際に、コンピュータを構成するとともに操作するため、かかるコンピュータプログラムはそれぞれ、その記憶媒体または装置に格納するかダウンロードされるのが好ましい。本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読の記憶媒体として実施されると考えられてもよく、その場合、そのように構成された記憶媒体は、コンピュータシステムを特定のかつ予め定義された方法で動作させて、本明細書で説明した機能を実行する。

本発明の多くの実施の形態を説明してきた。それにもかかわらず、本発明の趣旨と範囲から逸脱することなく、多様な改変がなされるだろうことは言うまでもない。例えば、上記のステップの幾つかは順不同であってもよく、従って、説明したものと異なる順序で実行してもよい。よって、他の実施の形態は、以下の請求の範囲内にある。

図１は、フレームの時系列と先行技術に基づくＭＰＥＧ−４直接モード動きベクトルである。 図２は、フレームの時系列と本発明の第一の側面に基づく比例ピクセル重み値である。 図３は、フレームの時系列と本発明の第二の側面に基づく比例ピクセル重み値と均等ピクセル重み値の混合である。 図４は、コンピュータに実装され得る方法として本発明の例示的な実施形態を示すフロー図である。

Claims (33)

1. 各フレームが複数のピクセルを備えるビデオ画像圧縮システムにおいて、連続する２つ以上の双方向予測中間フレームの画質を改良するための方法であって、前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセル値に重みweightを用いて重み付けした比として、各双方向予測中間フレームの各ピクセル値を決定するステップを含む方法において、
   前記重みweightが、
   weight＝Ｆ・(frame distance proportional weight)
   ＋(１−Ｆ)・(equal average weight)
   であり、ここで、
   Ｆは、０から１の範囲にある選択された混合因子であり、
   “frame distance proportional weight”は、各双方向予測中間フレームとその両側を挟む前記非双方向予測フレームとの距離に基づく重みであり、
   “equal average weight”は、前記両側を挟む非双方向予測フレームの前記対応するピクセル値を均等平均するための１／２という重みである方法。
2. さらに、少なくとも１つのフレームの中の選択された領域に対する前記混合因子Ｆを最適化するステップを含む請求項１の方法。
3. さらに、選択された範囲のフレームに対する前記混合因子Ｆを最適化するステップを含む請求項１の方法。
4. さらに、少なくとも１つのフレーム内での場面特性の関数として、前記混合因子Ｆを最適化するステップを含む請求項１の方法。
5. 前記混合因子Ｆは、前記両側を挟む非双方向予測フレームに関する双方向予測フレームの位置の関数として変化する請求項１の方法。
6. さらに、
   （ａ）少なくとも２つの混合因子Ｆの候補を選択するステップと、
   （ｂ）少なくとも１つの双方向予測中間フレームに対するピクセル値を決定する際に、混合因子Ｆの前記候補を適用し、対応するフレームの評価セットを決定するステップと、
   （ｃ）各フレームの評価セットを符号化するステップと、
   （ｄ）少なくとも１つの圧縮特性に関して、それぞれのかかる符号化されたフレームの評価セットを評価するステップと、
   （ｅ）所望の圧縮特性を有する１つのかかるフレームの評価セットを選択するステップと、
   （ｆ）最終的な混合因子Ｆとして、前記選択されたフレームの評価セットに対応する混合因子Ｆの前記候補を選択するステップとを含む請求項１の方法。
7. 前記圧縮特性は、符号化中に生成されるビット数である請求項６の方法。
8. 前記圧縮特性は、信号雑音比の大きさである請求項６の方法。
9. 各フレームが、第一の非線形表現における輝度と色度の特性を有する複数のピクセルを備え、
   前記各ピクセル値を決定するステップが、
   （ａ）かかる複数のピクセルの前記輝度および色度のうちの少なくとも１つの特性を第二の表現に変換するステップと、
   （ｂ）前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセルの前記輝度および色度の特性の値に前記重みweightを用いて重み付けした比として、かかる第二の表現において、各双方向予測中間フレームの各ピクセルの前記輝度および色度の特性の値を決定するステップと、
   （ｃ）かかる複数のピクセルを前記第二の表現から前記第一の表現へ変換して戻すステップとを含む請求項１の方法。
10. 前記第二の表現は、線形表現である請求項９の方法。
11. 前記第二の表現は、前記第一の非線形表現と異なる非線形表現である請求項９の方法。
12. 各フレームが複数のピクセルを備えるビデオ画像圧縮システムにおいて、連続する２つ以上の双方向予測中間フレームの画質を改良するためにコンピュータ可読な媒体上に記憶されたコンピュータプログラムであって、前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセル値に重みweightを用いて重み付けした比として、各双方向予測中間フレームの各ピクセル値を決定することをコンピュータに実行させるための命令を備えるコンピュータプログラムにおいて、
    前記重みweightが、
    weight＝Ｆ・(frame distance proportional weight)
    ＋(１−Ｆ)・(equal average weight)
    であり、ここで、
    Ｆは、０から１の範囲にある選択された混合因子であり、
    “frame distance proportional weight”は、各双方向予測中間フレームとその両側を挟む前記非双方向予測フレームとの距離に基づく重みであり、
    “equal average weight”は、前記両側を挟む非双方向予測フレームの前記対応するピクセル値を均等平均するための１／２という重みであるコンピュータプログラム。
13. さらに、少なくとも１つのフレームの中の選択された領域に対する前記混合因子Ｆを最適化することをコンピュータに実行させるための命令を含む請求項１２のコンピュータプログラム。
14. さらに、選択された範囲のフレームに対する前記混合因子Ｆを最適化することをコンピュータに実行させるための命令を含む請求項１２のコンピュータプログラム。
15. さらに、少なくとも１つのフレーム内での場面特性の関数として、前記混合因子Ｆを最適化することをコンピュータに実行させるための命令を含む請求項１２のコンピュータプログラム。
16. 前記混合因子Ｆは、前記両側を挟む非双方向予測フレームに関する双方向予測フレームの位置の関数として変化する請求項１２のコンピュータプログラム。
17. さらに、
    （ａ）少なくとも２つの混合因子Ｆの候補を選択することと、
    （ｂ）少なくとも１つの双方向予測中間フレームに対するピクセル値を決定する際に、混合因子Ｆの前記候補を適用し、対応するフレームの評価セットを決定することと、
    （ｃ）各フレームの評価セットを符号化することと、
    （ｄ）少なくとも１つの圧縮特性に関して、それぞれのかかる符号化されたフレームの評価セットを評価することと、
    （ｅ）所望の圧縮特性を有する１つのかかるフレームの評価セットを選択することと、
    （ｆ）最終的な混合因子Ｆとして、前記選択されたフレームの評価セットに対応する混合因子Ｆの前記候補を選択することとをコンピュータに実行させるための命令を含む請求項１２のコンピュータプログラム。
18. 前記圧縮特性は、符号化中に生成されるビット数である請求項１７のコンピュータプログラム。
19. 前記圧縮特性は、信号雑音比の大きさである請求項１７のコンピュータプログラム。
20. 各フレームが、第一の非線形表現における輝度と色度の特性を有する複数のピクセルを備え、
    （ａ）かかる複数のピクセルの前記輝度および色度のうちの少なくとも１つの特性を第二の表現に変換することと、
    （ｂ）前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセルの前記輝度および色度の特性の値に前記重みweightを用いて重み付けした比として、かかる第二の表現において、各双方向予測中間フレームの各ピクセルの前記輝度および色度の特性の値を決定することと、
    （ｃ）かかる複数のピクセルを前記第二の表現から前記第一の表現へ変換して戻すことと、
    を含む方法によって各ピクセルの値をコンピュータに決定させるための命令を備える請求項１２のコンピュータプログラム。
21. 前記第二の表現は、線形表現である請求項２０のコンピュータプログラム。
22. 前記第二の表現は、前記第一の非線形表現と異なる非線形表現である請求項２０のコンピュータプログラム。
23. 各フレームが複数のピクセルを備えるビデオ画像圧縮システムにおいて、連続する２つ以上の双方向予測中間フレームの画質を改良するためのシステムであって、
    （ａ）前記連続する双方向予測中間フレームの両側を挟む、少なくとも２つの非双方向予測フレームを入力する手段と、
    （ｂ）前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセル値に重みweightを用いて重み付けした比として、各双方向予測中間フレームの各ピクセル値を決定する手段とを含むシステムにおいて、
    前記重みweightが、
    weight＝Ｆ・(frame distance proportional weight)
    ＋(１−Ｆ)・(equal average weight)
    であり、ここで、
    Ｆは、０から１の範囲にある選択された混合因子であり、
    “frame distance proportional weight”は、各双方向予測中間フレームとその両側を挟む前記非双方向予測フレームとの距離に基づく重みであり、
    “equal average weight”は、前記両側を挟む非双方向予測フレームの前記対応するピクセル値を均等平均するための１／２という重みであるシステム。
24. さらに、少なくとも１つのフレームの中の選択された領域に対する前記混合因子Ｆを最適化する手段を含む請求項２３のシステム。
25. さらに、選択された範囲のフレームに対する前記混合因子Ｆを最適化する手段を含む請求項２３のシステム。
26. さらに、少なくとも１つのフレーム内での場面特性の関数として、前記混合因子Ｆを最適化する手段を含む請求項２３のシステム。
27. 前記混合因子Ｆは、前記両側を挟む非双方向予測フレームに関する双方向予測フレームの位置の関数として変化する請求項２３のシステム。
28. さらに、
    （ａ）少なくとも２つの混合因子Ｆの候補を選択する手段と、
    （ｂ）少なくとも１つの双方向予測中間フレームに対するピクセル値を決定する際に、混合因子Ｆの前記候補を適用し、対応するフレームの評価セットを決定する手段と、
    （ｃ）各フレームの評価セットを符号化する手段と、
    （ｄ）少なくとも１つの圧縮特性に関して、それぞれのかかる符号化されたフレームの評価セットを評価する手段と、
    （ｅ）所望の圧縮特性を有する１つのかかるフレームの評価セットを選択する手段と、
    （ｆ）最終的な混合因子Ｆとして、前記選択されたフレームの評価セットに対応する混合因子Ｆの前記候補を選択する手段とを含む請求項２３のシステム。
29. 前記圧縮特性は、符号化中に生成されるビット数である請求項２８のシステム。
30. 前記圧縮特性は、信号雑音比の大きさである請求項２８のシステム。
31. 各フレームが、第一の非線形表現における輝度と色度の特性を有する複数のピクセルを備え、
    （ａ）かかる複数のピクセルの前記輝度および色度のうちの少なくとも１つの特性を第二の表現に変換する手段と、
    （ｂ）前記連続する双方向予測中間フレームの両側を挟む非双方向予測フレームにおいて対応するピクセルの前記輝度および色度の特性の値に前記重みweightを用いて重み付けした比として、かかる第二の表現において、各双方向予測中間フレームの各ピクセルの前記輝度および色度の特性の値を決定する手段と、
    （ｃ）かかる複数のピクセルを前記第二の表現から前記第一の表現へ変換して戻す手段とを含む請求項２３のシステム。
32. 前記第二の表現は、線形表現である請求項３１のシステム。
33. 前記第二の表現は、前記第一の非線形表現と異なる非線形表現である請求項３１のシステム。

Images