JP5727673B2 - 時間予測のためのジョイントサブピクセル補間フィルタ - Google Patents

Description

本発明は、時間予測のためのジョイントサブピクセル補間フィルタに関する。

高効率ビデオコーティング（ＨＥＶＣ：Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、ブロックベースのハイブリッド空間および時間予測符号化方式である。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１，ＭＰＥＧ−２およびＭＰＥＧ−４等の他のビデオ符号化規格と同様に、ＨＥＶＣは、Ｉピクチャ等のイントラピクチャ、およびＢピクチャ等のインターピクチャをサポートする。ＨＥＶＣにおいて、ＰピクチャおよびＢピクチャは、参照ブロックとして用いることのできる汎用Ｂピクチャに整理統合されている。

イントラピクチャは、他のどのピクチャも参照することなく符号化される。したがって、イントラピクチャ内の符号化単位（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）／予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に対して、空間予測のみが可能である。しかし、インターピクチャは、イントラ予測およびインター予測の両方をサポートする。インターピクチャにおけるＣＵ／ＰＵは、空間的にまたは時間的に予測符号化することができる。時間予測符号化は、以前に符号化されたブロックを参照することができる。

時間的動き予測は、符号化効率を向上させる有効な方法であり、高圧縮を実現できる。ＨＥＶＣは、動き予測のために並進モデルを用いる。該並進モデルに従って、現在のピクチャ内の所定のブロックのための予測信号が、参照ブロック内の対応するブロックから生成される。該参照ブロックの座標は、現在のブロックの座標に付加されるか、該座標から取り去られるであろう水平方向（ｘ）および垂直方向（ｙ）に沿った並進運動を示す動きベクトルによって与えられる。復号器は、圧縮された映像を復号するのに該動きベクトルを必要とする。

該参照ブロック内のピクセルは、予測に用いられる。一実施例において、動きは、整数個のピクセルによってキャプチャすることができる。しかし、全てのオブジェクトが、整数個のピクセル（ペルとも呼ぶ）の間隔を伴って動くわけではない。例えば、物体の動きは、サンプリンググリッドとは完全に無関係であるため、場合によっては、該物体の動きは、フルペル動き（sub-pel motion）よりも、サブペル（微小）動きに似ている。したがって、ＨＥＶＣは、サブペル精度で動きベクトルを可能にする。

サブペル変位を推定および補償するために、それらのサブペル位置での画像信号が、補間プロセスによって生成される。ＨＥＶＣにおいて、サブペル補間は、有限インパルス応答フィルタ（ＦＩＲ：Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いて行われる。一般的に、該フィルタは、８つのタップを有して、ハーフペル位置およびクォーターペル位置等のサブペル位置のためのサブペル値を決めることができる。補間フィルタのタップは、サブペル信号を生成するための係数値で、整数個のピクセルを重み付けする。異なる係数は、信号歪およびノイズの異なる圧縮性能を生じさせる可能性がある。

ＨＥＶＣは、当該参照ブロックのサブペル位置の選択に基づいて、各参照ブロックに対して動き推定のための固有の補間フィルタを用いる。双予測においては、現在のブロックを予測するのに、２つの参照ブロックを用いることができる。一方の参照ブロックは、リスト０上に見つけられ、他方の参照ブロックは、リスト１上に見つけられる。該サブペル位置の選択が、リスト０のハーフペルシフトである場合、ハーフペル補間フィルタが、リスト０の参照ブロックに適用される。また、該サブペル位置の選択が、リスト１のクォーターペルシフトである場合には、クォーターペル補間フィルタが、リスト１に対して決定される。リスト１の該サブペル位置が、例えば、ハーフペルシフトに変わる場合であっても、同じハーフペル補間フィルタが、リスト０の参照ブロックに適用される。

一実施形態においては、ビデオコンテンツを符号化または復号するための方法が提供される。該方法は、ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するのに用いられる複数の補間フィルタを決定する。該複数の補間フィルタは、２つの参照ブロックに対するサブペルオフセットに基づいて構成される。次に、該方法は、一単位のビデオコンテンツの第１の参照ブロック用の第１のサブペルオフセットを決定し、および該一単位のビデオコンテンツの第２の参照ブロック用の第２のサブペルオフセットを決定する。該一単位のビデオコンテンツのための時間予測プロセスに用いるサブペルピクセル値のセットを補間するための補間フィルタのセットが決定される。該補間フィルタのセットは、第１のサブペルオフセットおよび第２のサブペルオフセットに従って構成され、および第１の参照ブロック用の第１のサブペルピクセル値と、第２の参照ブロック用の第２のサブペル値を補間するように用いられる。

一実施形態において、装置は、ビデオコンテンツを符号化または復号するように構成される。該装置は、コンピュータ可読記憶媒体であって、実行時に、１つ以上のコンピュータプロセッサと、ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するように用いられる複数の補間フィルタを決定すること（この場合、該複数の補間フィルタは、２つの参照ブロックのためのサブペルオフセットに基づいて構成される）、一単位のビデオコンテンツのための第１の参照ブロック用の第１のサブペルオフセットを決定すること、該一単位のビデオコンテンツのための第２の参照ブロック用の第２のサブペルオフセットを決定すること、該一単位のビデオコンテンツのための該時間予測プロセスに用いるサブペルピクセル値のセットを補間するための補間フィルタのセットを決定すること（この場合、該補間フィルタのセットは、第１のサブペルオフセットおよび第２のサブペルオフセットに従って構成される）、第１の参照ブロック用の第１のサブペルピクセル値と、第２の参照ブロック用の第２のサブペル値を補間することを実施すべく、該１つ以上のコンピュータプロセッサを制御する命令を具備するコンピュータ可読記憶媒体とを含む。

一実施形態においては、ビデオコンテンツを符号化または復号するための命令を含む持続性のコンピュータ可読記憶媒体が提供され、該命令は、ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するように用いられる複数の補間フィルタを決定すること（この場合、該複数の補間フィルタは、２つの参照ブロックのためのサブペルオフセットに基づいて構成される）、一単位のビデオコンテンツのための第１の参照ブロック用の第１のサブペルオフセットを決定すること、該一単位のビデオコンテンツのための第２の参照ブロック用の第２のサブペルオフセットを決定すること、該一単位のビデオコンテンツのための該時間予測プロセスに用いるサブペルピクセル値のセットを補間するための補間フィルタのセットを決定すること（この場合、該補間フィルタのセットは、第１のサブペルオフセットおよび第２のサブペルオフセットのために構成される）、第１の参照ブロック用の第１のサブペルピクセル値と、第２の参照ブロック用の第２のサブペル値を補間することを実施すべく、実行時に、コンピュータシステムを制御する。

一実施形態による、ビデオコンテンツを符号化および復号するためのシステムの実施例を示す。 一実施形態による、ビデオコンテンツを符号化または復号するための方法の簡略化したフローチャートを示す。 一実施形態による、補間フィルタ１０６のためのオフセットを示す実施例を示す。 一実施形態による、１つ以上の参照に基づいて時間予測を実行するための符号器の実施例を示す。 一実施形態による、１つ以上の参照に基づいて時間予測を実行するための復号器の実施例を示す。

本願明細書には、画像圧縮システムのための技術が記載されている。以下の記述においては、説明のため、本発明の実施形態に関する完全な理解をもたらすために、多数の実施例および特定の詳細が記載されている。クレームによって定義される具体的な実施形態は、単独で、または、以下に記載されている他の特徴とともに、それらの実施例における特徴のうちのいくつかまたは全てを含むことができ、さらに、本明細書に記載されている特徴およびコンセプトの変更例および等価物を含むことができる。

図１は、一実施形態による、ビデオコンテンツを符号化および復号化するためのシステム１００の実施例を示す。システム１００は、符号器１０２と、復号器１０４を含み、両方とも、以下でより詳細に説明する。符号器１０２および復号器１０４は、動き推定および動き補償によって時間予測（temporal prediction）を実行する。動き推定は、現在の一単位の画像のための動きベクトル（ＭＶ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を決定するプロセスである。動き補償は、符号化または復号化される現在の一単位に該動きベクトルを適用することである。例えば、該時間予測は、参照ブロックによって、現在の予測単位（ＰＵ）に対する最良の予測を探索する。該参照ブロックは、ブロック、ピクチャまたはフレーム等のビデオコンテンツの何らかの単位を指すことができる。該最良の予測は、該動きベクトルと、関連する参照ブロックまたはピクチャＩＤによって示される。また、ＢピクチャにおけるＰＵは、動きベクトルを２つまで有することができる。

該時間予測は、微小（サブペル）ピクチャ精度を可能にする。サブペル予測は、時間の２つのインスタンス（現在のブロックおよび参照ブロックのキャプチャ時間）中の動きが、画素座標内のサブペル位置に対応することができ、および各サブペル位置に対応する異なる予測データの生成が、現在のＰＵにおける信号を最も良く適合するように予測信号を調整するという実現性をもたらすように用いられる。

補間フィルタ１０６は、単位利得に関して線形位相であるように構成される。一定の（単一）利得特性および線形位相特性は、補間フィルタ１０６が該信号を決して歪めないようにするのに必要である。しかし、全ての周波数に対して、一定の単位利得または完全な線形位相シフトを有することは、不可能である可能性がある。したがって、補間フィルタ１０６は、平坦で、可能な限り広範な単位に最も近い位相応答を伴う、適切な位相傾斜または群遅延を有する最良の線形位相フィルタを有するように構成される。あるサブペル位置（例えば、ある微小位相オフセット）の場合、周波数応答の「平坦性」と「広範性」との間の異なるトレードオフは、異なるサブペルの補間フィルタ１０６をもたらす。例えば、自然画像の場合、信号のほとんどは、低域および中域の周波数に集中し、一般的には、低中域で可能な限りフラットであるとともに、高域の周波数が、より多くの変動を有する可能性のある補間フィルタ１０６を有することが好適である。雑音消去を考慮した場合には、補間フィルタ１０６は、雑音が支配的である周波数を減衰させることが好適である可能性がある。通常、雑音の特性（shape of a noise）は、画像内容と、圧縮の量とに依存する。例えば、低量子化法の場合の圧縮ノイズは、より平坦になる可能性がある。一実施形態において、信号歪と雑音消去を両立させるには、雑音電力が信号電力よりも大きい周波数のみを減衰させることが好適である可能性がある。

補間フィルタ１０６は、異なるサブペルピクセル位置のサブペルピクセル値を決定するのに用いられる係数値で、フルペルピクセル値を重み付けするタップを含む。異なる補間フィルタ１０６を用いた場合、該補間フィルタは、異なる係数の値および異なる数のタップのうちの少なくとも一つを用いる可能性がある。

具体的な実施形態は、多数の参照ブロックからのジョイントサブペル位置情報（joint sub-pel position information）に基づいて、補間フィルタ１０６を構成する。例えば、現在の予測ブロックに対して、（１つまたは２つのピクチャからの）２つの参照ブロックを用いて、双予測を実行することができる。該２つの参照ブロックは、リスト０およびリスト１から利用できる。また、２つ以上の参照ブロックを用いてもよい。リスト０は、第１の参照ブロックと関連付けることができ、また、リスト１は、第２の参照ブロックと関連付けることができる。そして、リスト０およびリスト１の両方に対するサブペル位置が、両参照ブロックに対する補間フィルタ１０６を決定するのに用いられる。

一実施例において、第１の参照ブロックが、垂直方向に３．５ピクセルだけ存在する場合、その動きベクトルは、３つの整数個のピクセルとハーフピクセルになる。また、第２の参照ブロックは、垂直方向に１．２５ピクセルとなり、それは、１つの整数個のピクセルとクォーターピクセルとなる。したがって、上述したように、補間フィルタ１０６は、第１の参照ブロックのためのハーフペル（half-pel movement）動きと、第２の参照ブロックのためのクォーターペル動き（quarter-pel movement）を補間するのに用いられる必要がある。従来は、他方の参照ブロックがどのサブペル位置にあるかに関係なく、ハーフペル補間フィルタが第１の参照ブロックに用いられ、クォーターペル補間フィルタが第２の参照ブロックに用いられている。しかし、具体的な実施形態は、第１の参照ブロックのハーフペル動きおよび第２のブロックのクォーターペル動きに従って構成された補間フィルタ１０６を決定する。すなわち、補間フィルタ１０６は、両参照ブロックの両サブペル動きを考慮するように構成される。

補間フィルタ１０６は、各リストのあらゆる組合せに基づいて構成される必要がある。例えば、リスト０は、各組合せに基づいて構成された補間フィルタ１０６の第１のセットを有することができ、また、リスト１は、該各組合せに基づいて構成された補間フィルタ１０６の第２のセットを有することができる。例えば、以下は、リスト０およびリスト１の補間フィルタ１０６のための係数の実施例を示す。

上記の補間フィルタの構成において、ｘおよびｙ方向のそれぞれに対して、４つのサブペル値がある。例えば、該値は、サブペル動き微調整（sub-pel motion refinement）がない場合、０とすることができ、クォーターペル動き微調整（quarter-pel motion refinement）の場合は１とすることができ、ハーフペル動き微調整（half-pel motion refinement）の場合は２とすることができ、および３／４ペル動き微調整（3/4--pel motion refinement）の場合は３とすることができる。上記において、例えば、第１の参照ブロックの場合、該第１の参照ブロックがハーフペル動き微調整を用い、且つ第２の参照ブロックが、例えば、リスト０からクォーターペル動き微調整を用いるとき、補間フィルタＨ_１（２，１）が用いられる。また、リスト１の場合、Ｈ_２（２，１）の補間フィルタが用いられる。これらの補間フィルタ１０６は、両参照ブロックのサブペル位置に基づいて、共同して設計される（designed jointly）。上記の実施例は、６タップという複雑性（complexity of 6 taps）を伴う、共同して設計された補間フィルタセット（jointly designed interpolation filter sets）の事例を示す。

以下は、第１の参照ブロックおよび第２の参照ブロックに基づいて、最適な補間フィルタ１０６を決定するための計算を示す。ＰＵの双予測の場合、リスト０およびリスト１からの２つの参照ブロックが利用できる。また、各参照ブロックは、それぞれ、リスト０およびリスト１の予測の場合のサブピクセル位相シフトα_１およびα_２を示す。さらに、現在のＰＵの予測の参照信号を生成するために、単純平均が実施されることになる。平均化が行われる前の参照ブロックの前処理のためのフィルタの選択は、Ｈ_１（ω）およびＨ_２（ω）によって示される。

現在のＰＵにおける信号がＳ（ω）であり、２つの参照ブロック内の２つの信号がＰ_１（ω）およびＰ_２（ω）である場合、次のことを仮定することができる。

予測信号は、次のようになる。

Ｓ（ω）の理想的な予想の場合、

となるように、Ｈ_１（ω）およびＨ_２（ω）を構成する必要がある。

上記の式は、最適なＨ_１（ω）およびＨ_２（ω）が、通常、α_１およびα_２の両方に依存していることを示している。そのため、参照符号“ｎ”が利用できる一般的ケースにおける参照符号“ｉ”に対する最適な補間フィルタは、Ｈ_ｉ（α_１，…，α_ｎ，ω）ｉ∈｛１，…，ｎ｝という形を有することになる。

同じ原理が、重ね合わせ（例えば、加重平均等）を伴う多数の予測ブロックが、最終的な予測信号の導出に用いられる場合にも当てはまることに留意されたい。
具体的な実施形態は、補間フィルタ１０６のタップの数を低減することも可能である。いくつかの実施例においては、６タップは、８タップの場合の領域をカバーすることができ、そのことについて、以下で説明する。第２の実施例において、２つの参照ブロックは、サブピクセルシフトを除いて、ＰＵ内の対応するピクセルに相対的に追従しなければならないため、サブピクセルの補間フィルタ１０６の複雑さが分かっている実施形態（complexity aware implementation）は、各予測ブロックの非対称フィルタ係数によって構成することができ、この場合、右／上部のピクセルは、（例えば、リスト０からの）一方の参照ブロックに適用された第１の補間フィルタ１０６からのフィルタ係数によって判定され（considered）、また、反対側（左／下）のピクセルは、（例えば、リスト１からの）他方の参照ブロックに適用された第２の補間フィルタ１０６によって判定される。上記の実施例における補間フィルタ１０６の場合の遅延は３であり、以下、そのことについてより詳細に説明する。

当該フィルタの係数が、補間されるべきサブペルピクセル位置の左のより多くのピクセルに適用され、該ピクセル位置の右のより少数のピクセルに適用されるように、リスト０に対する補間フィルタ１０６がオフセットされ、当該フィルタの係数が、補間されるべきサブペルピクセル位置の右のより多くのピクセルに適用され、該ピクセル位置の左のより少数のピクセルに適用されるように、リスト１に対する補間フィルタ１０６がオフセットされるため、８タップの場合の領域をカバーすることができる。図３は、一実施形態による補間フィルタ１０６に対するオフセットを示す実施例を図示している。図３において、Ｐ１のサブピクセル位置ＦＬと、Ｐ２のサブピクセル位置Ｈは、Ｓのピクセル位置Ｌ０を予測するのに用いられる。Ｐ１における参照は、Ｐ１およびＰ２によって予測されるＳにおけるピクセルに対して、１／４サブペルシフトを有し、Ｐ２における参照は、Ｐ１およびＰ２によって予測されるＳにおけるピクセルに対して、１／２サブペルシフトを有している。フィルタ遅延は、該オフセットを意味する。例えば、６タップフィルタでは、リスト０の場合の遅延「４」は、補間フィルタ１０６の４つのタップが、補間されるべきサブペル位置の左側にあり、２つのタップが、補間されるべきサブペル位置の右側にあることを意味する。符号３５０において、第１の補間フィルタ１０６の場合、符号Ｌ３，Ｌ２，Ｌ１およびＬ０におけるピクセル位置のためのタップは、サブピクセル位置ＦＬの左側にある。サブピクセル位置ＦＬの右側のピクセル位置Ｒ０，Ｒ１のためのタップも、第１の補間フィルタ１０６に含まれている。ピクセル位置Ｒ２およびＲ３のためのタップは用いられない。

リスト１の場合の遅延「２」は、２つのタップが、補間されるべきサブペル位置の左側にあり、４つのタップが、補間されるべきサブペル位置の右側にあることを意味する。符号３５２において、第２の補間フィルタ１０６の場合、符号Ｒ０，Ｒ１，Ｒ２およびＲ３におけるピクセル位置のためのタップは、サブピクセル位置Ｈの右側にある。サブピクセル位置Ｈの左側のピクセル位置Ｌ０およびＬ１のためのタップも、第２の補間フィルタ１０６に含まれている。ピクセル位置Ｌ２およびＬ３のためのタップは用いられない。

したがって、リスト０およびリスト１上のフィルタリングの組合せは、補間されるべきサブペル位置の右側の４つのピクセルと、左側の４つのピクセルをカバーすることになる。これは、対称的な８タップフィルタがカバーする領域に等しい。具体的な実施形態は、ＳにおけるピクセルＬ０を予測するのに、ラインＰ１からピクセル位置Ｌ３〜Ｒ１を用い、且つラインＰ２のピクセル位置Ｌ１〜Ｒ３を用いる。その他のピクセル値もまた、補間することができる。両補間フィルタ１０６による該値の出力は、付加して平均化することができ、それによって、８タップフィルタ領域に対応する。これは、対称的な８タップフィルタを用いた場合、各補間フィルタ１０６のために決定されたピクセル値が同様のものになるためである。例えば、ピクセル位置１の場合、該値は、２つの対称的な８タップ補間フィルタ１０６によって補間された場合に同様のものになり、この場合、各フィルタは、遅延４を有する。

以下の実施例は、５つのみのタップを備えた等価な８タップフィルタの領域をカバーする補間フィルタ１０６の事例を示す。リスト０の場合のサンプル遅延は４であり、リスト１の場合は１であることに留意する。

図２は、一実施形態による、ビデオコンテンツを符号化または復号するための方法の簡略化したフローチャート２００を示す。符号２０２において、該方法は、ビデオコンテンツの時間予測プロセスのためのサブペル値を補間するのに用いられる複数の補間フィルタ１０６を決定する。補間フィルタ１０６は、２つの参照ブロックに対するサブペルオフセットに基づいて構成される。符号２０４において、該方法は、一単位のビデオコンテンツを決定する。例えば、ＰＵを受け取る。符号２０６において、該一単位のビデオコンテンツの場合の第１の参照ブロックに対する第１のサブペルオフセットが決定される。符号２０８において、該一単位のビデオコンテンツの場合の第２の参照ブロックに対する第２のサブペルオフセットが決定される。例えば、これらのサブペルオフセットは、それぞれ、第１および第２の参照のためのクォーターペルおよびハーフペルとすることができる。符号２１０において、該方法は、該一単位のビデオコンテンツの場合の時間予測プロセスに用いるサブペルピクセル値のセットを補間する補間フィルタ１０６のセットを決定する。補間フィルタ１０６の該セットは、第１のサブペルオフセットおよび第２のサブペルオフセットに従って構成され、および第１の参照ブロックの第１のサブペルピクセル値と、第２の参照ブロックの第２のサブペル値を補間するのに用いられる。例えば、第１の補間フィルタ１０６は、第１のリスト０から決定され、また、第２の補間フィルタ１０６は、第２のリスト１から決定される。

以下は、補間フィルタ１０６の異なる実施例を示す。他の実施例を正しく認識できることが理解されるであろう。
（４、５および６タップ補間フィルタの実施例）
以下の実施例において、補間フィルタ１０６は、４タップ、５タップまたは６タップのみを用いて等価な８タップフィルタの領域までカバーすることができる。各フィルタの場合のサンプル遅延が該セットの前に示されていることに留意する。

（実施例１）
以下の実施例は、複雑な４タップを用いて共同して設計された補間フィルタセットの事例を示す。各フィルタのサンプル遅延が該セットの前に示されていることに留意されたい。

（実施例２）
以下の実施例は、複雑な５タップを用いて共同して設計された補間フィルタセットの事例を示す。各フィルタのサンプル遅延が該セットの前に示されていることに留意されたい。

（実施例３）
以下の実施例は、複雑な６タップを用いて共同して設計された補間フィルタ１０６のセットの事例を示す。各フィルタのサンプル遅延は、該セットの前に示されていることに留意されたい。

（６および８タップ補間フィルタの実施例）
（実施例１）
以下の実施例は、６つしかタップを備えていない、等価な従来の１２タップフィルタの領域までカバーすることができる補間フィルタ１０６の事例を示す。

以下のことに留意して、またこれらを用いることができる。
（１）６タップの遅延を伴う等価な１２タップ補間フィルタ１０６に基づいて、各６タップ補間フィルタ１０６のアラインメント（alignment）を示すために、６つの係数が、１２タップアレイ内に入っている。

（２）各補間フィルタ１０６のジョイントサブピクセル位置（joint sub-pixel position）は、該フィルタ係数の最後に付加されている。
（３）この実施例の場合の全体的なフィルタ直流（ＤＣ）利得（overall filter direct current gain）は、（７ビットの整数係数を要する）１２８である。

（実施例２）
以下の実施例は、実施例１のフィルタとは異なる周波数特性を備えた複雑な６タップを有する、共同して設計された補間フィルタ１０６のセットを示す。

以下のことに留意して、またこれらを用いることができる。
（１）６タップの遅延を伴う等価な１２タップ補間フィルタ１０６に基づいて、各６タップ補間フィルタ１０６のアラインメントを示すために、６つの係数が１２タップアレイ内に入っている。

（２）各補間フィルタ１０６の場合のジョイントサブピクセル位置は、該フィルタ係数の最後に付加されている。
（３）この実施例の場合の全体的なフィルタＤＣ利得は、（６ビットの整数係数を要する）６４である。

（実施例３）
以下の実施例は最大で、双予測のための従来の１６タップフィルタと同じ領域までカバーすることができる、複雑な８タップを用いて共同して設計されたフィルタセットの事例を示す。

以下のことに留意して、またこれらを用いることができる。
（１）８タップの遅延を伴う等価な１６タップ補間フィルタ１０６に基づいて、各８タップ補間フィルタ１０６のアラインメントを示すために、８つの係数が１６タップアレイ内に入っている。

（２）各フィルタの場合のジョイントサブピクセル位置は、該フィルタ係数の最後に付加されている。
（３）この実施例の場合の全体的なフィルタＤＣ利得は、（６ビットの整数係数を要する）６４である。

（追加的なフィルタの実施例の第１のセット）
（実施例１）
この実施例は、４つのタップのみを用いて等価な８タップフィルタの領域までカバーできるようなフィルタの事例を示す。各フィルタのサンプル遅延が該セットの前に示されていることに留意されたい。

（実施例２）
以下の実施例は、複雑な５タップを用いて共同して設計された補間フィルタ１０６のセットの事例を示す。各フィルタのサンプル遅延が該セットの前に示されていることに留意する。

（実施例３）
以下の実施例は、複雑な６タップを用いて共同して設計されたフィルタセットの事例を示す。各フィルタのサンプル遅延が該セットの前に示されていることに留意する。

（６および８タップ複合フィルタの実施例）
具体的な実施形態は、双予測のためのジョイントサブピクセル補間フィルタの構成に基づくフィルタ（例えば、６タップ）の１つのセットと、従来の単一予測フィルタに基づくフィルタ（例えば、８タップ）の別のセットを組み合わせる。補間フィルタリング方法において、２つの参照の一方におけるサブピクセルオフセットがゼロである場合には、その補間フィルタリングは、片予測（uni-prediction）のために設計されたフィルタ（すなわち、単一参照の場合のサブピクセル補間）によって、各参照における位相を相殺する従来の方法と同様に実施することができる。

（実施例１）
この実施例において、具体的な実施形態は、補間フィルタリングのメモリアクセスオーバヘッドを下げる。一実施形態において、ジョイントサブピクセル補間フィルタ１０６は６タップであり、片予測を実行する補間フィルタ１０６は、８タップである。片予測補間フィルタ１０６とジョイント双予測補間フィルタ１０６を組み合わせることにより、メモリアクセスオーバヘッドを改善することができる。例えば、双予測の場合に、基準座標系の一方が、ゼロサブピクセル位相オフセットを有し、および他方の基準座標系が、ゼロではない位相オフセットを有するケースにおいて、ジョイント双予測補間フィルタ１０６がフィルタリングに用いられる場合、該フィルタが適用される水平方向および垂直方向の各々において、メモリアクセスのために、（６−１）×２＝１０のピクセルオーバヘッドを要することになる。ゼロではないサブペルオフセット参照に対して片予測フィルタリングを実行するだけで双予測が実施される場合（ゼロオフセットを伴う参照は、この場合、フィルタリングされる必要がないことに留意する）、８タップ補間フィルタ１０６の場合の補間に必要なオーバヘッドは、該フィルタが適用される水平方向および垂直方向の各々において、たったの８−１＝７ピクセルである。この実施例は、ジョイントサブピクセル補間フィルタ（一般的に、より短いタップ）と、単純な片予測の場合の補間フィルタ（一般的に、より大きなタップ）を組合わせることによって、どれほど多くのメモリ帯域幅を節約することができるかを示している。

この実施例で挙げられているフィルタは、複雑性を低減するために、該ジョイント双予測フィルタを、単純な（非ジョイント）予測フィルタと組合わせている。
以下のことに留意して、以下のことを用いることができる。

（１）６タップの遅延を伴う等価な１２タップ補間フィルタ１０６に基づいて、各６タップまたは８タップ補間フィルタ１０６のアラインメントを示すために、６つの係数が１２タップアレイ内に入っている。

（２）各補間フィルタ１０６の場合のジョイントサブピクセル位置は、該フィルタ係数の最後に付加されている。
（３）この実施例の場合の全体的なフィルタＤＣ利得は、（６ビットの整数係数を要する）６４である。

（制約されたＤＣ利得を有するフィルタの実施例）
一実施形態において、補間フィルタ１０６は、参照ブロックに適用される各単一の補間フィルタ１０６が、該フィルタのセット内の他のフィルタと同じＤＣ利得を有しているという追加的な要件を伴って、双予測のジョイントサブピクセル補間フィルタの構成に基づいている。補間フィルタ１０６は、前述の実施例の場合と同様に、一定のＤＣ利得を有しているが（すなわち、これまでの実施例においては、２つのフィルタ処理した参照を付加した後の全体のＤＣ利得は、１つのセットにおける全てのフィルタの組の場合に同じであった）、該要件は、異なるＤＣ利得を有するように、（例えば、位置（１／４，１／２）のために）一組のジョイント補間フィルタのセットにおいて、個々の補間フィルタ１０６を無効にするであろう。この制約は、２つの予測を付加し、およびそれらの予測を平均化して、それらをシフトする前に、フィルタ処理された時間予測を保持するためのより小サイズのメモリを有することを可能にする。

（実施例１）
この実施例で挙げられている補間フィルタ１０６は、ジョイント双予測６タップフィルタを、シンプルな（非ジョイント）８タップフィルタと組合わせている。

以下のことに留意して、これらを用いることができる。
（１）６タップ遅延を伴う等価な１２タップ補間フィルタ１０６に基づいて、各６タップまたは８タップの補間フィルタ１０６のアラインメントを示すために、係数が１２タップアレイ内に入っている。

（２）各補間フィルタ１０６の場合のジョイントサブピクセル位置は、該フィルタ係数の最後に付加されている。
（３）各補間フィルタ１０６の場合のフィルタＤＣ利得は、（６ビットの整数係数を要する）６４である。

（予測器ブロックの数に基づくフィルタの実施例）
一実施形態において、サブピクセル補間フィルタ１０６の選択は、参照ブロックの数に依存することになる。以下のことに留意して、これらを用いることができる。

（１）予測のための参照ブロックが１つだけ存在する場合、具体的な実施形態は、２０１２年６月２５日に出願された“Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｐｈａｓｅ Ｏｆｆｓｅｔｓ Ｆｏｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒｓ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ”というタイトルの米国特許出願第１３／５３２，２１７号明細書に記載されているフィルタ構成等の片予測のフィルタ構成のうちの１つを利用し、動き補償の精度およびパフォーマンスを向上させるために、該明細書の全体を参照によって本願明細書に組み入れるものとする。

（２）双予測の動き補償の場合、ジョイント補間フィルタ１０６が用いられることとなる。これらのジョイントサブぺル補間フィルタ（ＪＳＰＩＦｓ：Ｊｏｉｎｔ Ｓｕｂ−Ｐｅｌ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒｓ）１０６は、削減された数のフィルタタップによって、かなり広い帯域幅を実現でき、それによって、（従来のサブピクセル補間に用いられるフィルタと比較して）複雑性を下げる。

（符号器および復号器の実施例）
図４Ａは、一実施形態による、１つ以上の参照に基づいて、時間予測を実行するための符号器１０２の実施例を示す。次に、符号器１０２の通常動作について説明する。本願明細書における開示および教示に基づいて、記載されている符号化プロセスに関する変形例が当業者により正しく認識されることは理解されるであろう。

現在のＰＵ、すなわちｘの場合、予測ＰＵ、すなわちｘ’は、空間予測または時間予測のいずれかによって得られる。次に、予測ＰＵは、現在のＰＵから引かれて、残りＰＵであるｅを生成する。空間予測ブロック３０４は、水平方向、垂直方向、斜め方向４５度、斜め方向１３５度、ＤＣ（フラット平均化）および平面等のＰＵ当たりで異なる空間予測方向を含むことができる。

時間予測ブロック３０６は、動き推定および動き補償動作によって時間予測を実行する。動き推定動作は、参照ブロックを通じて、現在のＰＵの場合の最良の予測を探索する。該最良の予測は、動きベクトル（ＭＶ）と、関連する参照ブロック（ｒｅｆｌｄｘ）とによって記述される。該動きベクトルおよび関連する参照ブロックは、符号化されたビットストリーム内に含まれている。動き補償において、現在のＰＵの場合の最良の予測は、該ＭＶおよびｒｅｆｌｄｘを用いて決定される。

変換ブロック３０７は、残りＰＵ、すなわちｅに対して変換動作を実行する。変換ブロック３０７は、変換領域内の残りＰＵ、すなわちＥを出力する。
次に、量子化器３０８は、残りＰＵの変換係数Ｅを量子化する。量子化器３０８は、該変換係数を有限個の可能値（a finite number of possible value）に変換する。エントロピー符号化ブロック３１０は、該量子化された係数をエントロピー符号化し、それによって、伝送すべき最終的な圧縮ビットを生成する。コンテキスト適応可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）またはコンテキスト適応２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の異なるエントロピー符号化法を用いてもよい。

また、符号器１０２内での復号プロセスにおいて、逆量子化器３１２は、残りＰＵの量子化された変換係数を逆量子化する。そして、逆量子化器３１２は、逆量子化された変換係数Ｅ’を出力する。逆変換ブロック３１４は、その逆量子化された変換係数を受取り、そして、それらの係数が逆変換されて、再構成された残りＰＵ、すなわちｅ’を生成する。次いで、再構成されたＰＵ、すなわちｅ’は、対応する予測ｘ’に空間的または時間的に付加されて、新たな再構成されたＰＵ、すなわちｘ’’が形成される。ループフィルタ３１６は、該再構成されたＰＵ、すなわちｘ’’に対してデブロッキングを実行して、ブロッキングアーチファクトを低減する。また、ループフィルタ３１６は、符号化されたピクチャのためのデブロッキングフィルタプロセスの完了後に、サンプル適応オフセットプロセスを実行することができ、それによって、再構成されたピクセルと元のピクセルとの間のピクセル値オフセットを補償する。また、ループフィルタ３１６は、該再構成されたＰＵに関して適応フィルタリングを実行することができ、それによって、入力ピクチャと出力ピクチャとの間の符号化歪を最小限にする。加えて、それらの再構成されたピクチャが参照ブロックである場合、該参照ブロックは、今後の時間予測のために参照バッファ３１８に格納される。

補間フィルタ１０６は、時間予測ブロック３０６のためのサブペルピクセル値を補間する。時間予測ブロック３０６は、そのサブペルピクセル値を用いて、現在のＰＵの予測を生成する。

図４Ｂは、一実施形態による、１つ以上の参照に基づいて、時間予測を実行するための復号器１０４の実施例を示す。次に、復号器１０４の一般的な動作について説明する。本願明細書における開示および教示に基づいて、記載されている復号プロセスに関する変形例が当業者により正しく認識されることは理解されるであろう。復号器１０４は、圧縮ビデオコンテンツのために符号器１０２から入力ビットを受け取る。

エントロピー復号ブロック３３０は、残りＰＵの量子化された変換係数に対応する入力ビットに対してエントロピー復号を実行する。逆量子化器３３２は、残りＰＵの量子化された変換係数を逆量子化する。そして、逆量子化器３３２は、残りＰＵの逆量子化された変換係数、すなわちＥ’を出力する。逆変換ブロック３３４は、該逆量子化された変換係数を受取り、そして、それらの係数は逆変換されて、再構成されたＰＵ、すなわちｅ’を生成する。

次いで、該再構成されたＰＵ、すなわちｅ’は、対応する予測ｘ’に空間的または時間的に付加されて、新たな再構成されたＰＵ、すなわちｘ’’が形成される。ループフィルタ３３６は、該再構成されたＰＵ、すなわちｘ’’に対してデブロッキングを実行して、ブロッキングアーチファクトを低減する。また、ループフィルタ３３６は、符号化されたピクチャのためのデブロッキングフィルタプロセスの完了後に、サンプル適応オフセットプロセスを実行することができ、それによって、再構成されたピクセルと元のピクセルとの間のピクセル値オフセットを補償する。また、ループフィルタ３３６は、該再構成されたＰＵに関して適応ループフィルタを実行することができ、それによって、入力ピクチャと出力ピクチャとの間の符号化歪を最小限にする。加えて、それらの再構成されたピクチャが参照ブロックである場合、該参照ブロックは、今後の時間予測のために参照バッファ３３８に格納される。

予測ＰＵ、すなわちｘ’は、空間予測または時間予測のいずれかによって得られる。空間予測ブロック３４０は、水平方向、垂直方向、斜め方向４５度、斜め方向１３５度、ＤＣ（フラット平均化）および平面等のＰＵ当たりで符号化された空間予測方向を受け取る可能がある。これらの空間的予測方向は、予測ＰＵ、すなわちｘ’を決定するのに用いられる。

補間フィルタ１０６は、時間予測ブロック３４２への入力のために、サブペルピクセル値を補間する。時間予測ブロック３４２は、動き推定および動き補償動作によって時間予測を実行する。そして、符号化された動きベクトル、または、他の動き情報から導出された動きベクトルが、予測ＰＵ、すなわちｘ’を決定するのに用いられる。

具体的な実施形態は、命令実行システム、装置、システムまたはマシンによって、またはそれらとともに用いられる持続性コンピュータ可読記憶媒体に実装することができる。該コンピュータ可読記憶媒体は、具体的な実施形態によって説明された方法を実行するためのコンピュータシステムを制御するための命令を含んでいる。該命令は、１つ以上のコンピュータプロセッサによって実行される場合、具体的な実施形態において記載されていることを実行するように機能させることができる。

「１つの」および「該」という用語は、本願明細書の説明で用いる場合、および後述するクレーム全体を通して、文脈上明確に他の意味に解釈すべき場合を除いて、複数の参照を含む。また、「内で」の意味は、本願明細書の説明で用いる場合、および後述するクレーム全体を通して、文脈上明確に他の意味に解釈すべき場合を除いて、「内で」および「上で」という意味を含むものとする。

上記の説明は、本発明の態様をどのように実施することができるかに関する実施例とともに、本発明の様々な実施形態を示している。上記の実施例および実施形態は、唯一の実施形態であると見なすべきではなく、および以下のクレームによって定義されるような本発明の柔軟性および効果を説明するために提示されている。上記の開示および以下のクレームに基づいて、クレームによって定義される本発明の範囲から逸脱することなく、その他の構成、実施形態、実施および等価物を採用することが可能である。

Claims (19)

1. ビデオコンテンツを符号化または復号化するための方法であって、
   ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するのに用いられる複数の補間フィルタを決定することであって、前記複数の補間フィルタは、２つの参照ブロックに対するサブペルオフセットに基づいて構成される、前記複数の補間フィルタを決定すること、
   計算装置によって、一単位のビデオコンテンツの第１の参照ブロック用の第１のサブペルオフセットを決定すること、
   前記計算装置によって、前記一単位のビデオコンテンツの第２の参照ブロック用の第２のサブペルオフセットを決定すること、
   前記計算装置によって、補間フィルタのセットを決定して前記一単位のビデオコンテンツのための前記時間予測プロセスに用いるサブペルピクセル値のセットを補間することを備え、
   前記補間フィルタのセットは、前記第１のサブペルオフセットおよび前記第２のサブペルオフセットに従って構成され、前記第１の参照ブロック用の第１のサブペルピクセル値と、前記第２の参照ブロック用の第２のサブペル値を補間するのに用いられ、前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの一方が位相シフトを有しておらず、位相シフトを有する前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの他方を補間するのに片予測が用いられる、方法。
2. 前記補間フィルタのセットを決定することは、
   前記第１の参照ブロックの第１の補間フィルタを決定することであって、前記第１の補間フィルタは、前記第１のサブペルオフセットと前記第２のサブペルオフセットとに基づいて構成される、前記第１の補間フィルタを決定すること、
   前記第２の参照ブロックの第２の補間フィルタを決定することであって、前記第２の補間フィルタは、前記第１のサブペルオフセットと前記第２のサブペルオフセットとに基づいて構成される、前記第２の補間フィルタを決定することを含む、請求項１に記載の方法。
3. 前記複数の補間フィルタは、前記第１の参照ブロックと関連付けられた第１のリストに用いられる補間フィルタの第１の部分を含み、
   前記複数の補間フィルタは、前記第２の参照ブロックと関連付けられた第２のリストに用いられる補間フィルタの第２の部分を含み、
   前記第１の補間フィルタは、前記補間フィルタの第１の部分から選択され、
   前記第２の補間フィルタは、前記補間フィルタの第２の部分から選択される、請求項２に記載の方法。
4. 前記複数の補間フィルタは、前記第１の参照ブロックおよび前記第２の参照ブロックのサブペルオフセットの全てを組合せるように構成される、請求項１に記載の方法。
5. 前記補間フィルタのセットを決定することは、
   前記第１の参照ブロックの第１の補間フィルタを決定することであって、前記第１の補間フィルタは、第１の遅延を有するように構成されて、ピクセル値の第１の部分をカバーする、前記第１の補間フィルタを決定すること、
   前記第２の参照ブロックの第２の補間フィルタを決定することであって、前記第２の補間フィルタは、第２の遅延を有するように構成されて、ピクセル値の第２の部分をカバーする、前記第２の補間フィルタを決定することを含み、
   前記ピクセル値の第１の部分は、前記ピクセル値の第２の部分とは異なる、請求項１に記載の方法。
6. 前記第１の補間フィルタおよび前記第２の補間フィルタは、第１の数のタップを含み、
   前記第１の補間フィルタおよび前記第２の補間フィルタは、前記第１の遅延および前記
   第２の遅延により前記第１の数のタップよりも大きなピクセル領域をカバーする、請求項５に記載の方法。
7. カバーされる前記領域が、前記第１の数とは異なる第２の数のタップを備えた補間フィルタを用いることに等しい、請求項６に記載の方法。
8. 片予測のための補間フィルタおよび双予測のための補間フィルタが前記複数の補間フィルタに含まれ、
   片予測を用いる補間フィルタは、双予測を用いる補間フィルタとは異なる数のタップを含む、請求項１に記載の方法。
9. 直流（ＤＣ）利得の合計は、前記補間フィルタのセットにおける補間フィルタの各組に対して一定である、請求項１に記載の方法。
10. 直流（ＤＣ）利得は、前記補間フィルタのセットにおける各補間フィルタに対して一定である、請求項１に記載の方法。
11. ビデオコンテンツを符号化または復号化するように構成された装置であって、
    １つ以上のコンピュータプロセッサと、
    コンピュータ可読記憶媒体であって、実行時に、
    ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するのに用いられる複数の補間フィルタを決定することであって、前記複数の補間フィルタは、２つの参照ブロックに対するサブペルオフセットに基づいて構成される、前記複数の補間フィルタを決定すること、
    一単位のビデオコンテンツに対する第１の参照ブロック用の第１のサブペルオフセットを決定すること、
    前記一単位のビデオコンテンツに対する第２の参照ブロック用の第２のサブペルオフセットを決定すること、
    前記一単位のビデオコンテンツのための前記時間予測プロセスに用いるサブペルピクセル値のセットを補間するための補間フィルタのセットを決定することであって、前記補間フィルタのセットは、前記第１のサブペルオフセットおよび前記第２のサブペルオフセットに従って構成され、前記第１の参照ブロック用の第１のサブペルピクセル値と、前記第２の参照ブロック用の第２のサブペル値を補間するのに用いられ、前記補間フィルタのセットを決定することは、
    前記第１の参照ブロックのための第１の補間フィルタを決定することであって、前記第１の補間フィルタは、第１の遅延を有するように構成されて、ピクセル値の第１の部分をカバーする、前記第１の補間フィルタを決定すること、
    前記第２の参照ブロックのための第２の補間フィルタを決定することであって、前記第２の補間フィルタは、第２の遅延を有するように構成されて、ピクセル値の第２の部分をカバーする、前記第２の補間フィルタを決定することを含み、
    前記ピクセル値の第１の部分は、前記ピクセル値の第２の部分とは異なる、前記補間フィルタのセットを決定することを実行するように、前記１つ以上のコンピュータプロセッサを制御する命令を含むコンピュータ可読記憶媒体とを備える、装置。
12. 前記複数の補間フィルタは、前記第１の参照ブロックに関連付けられた第１のリストに
    用いられる補間フィルタの第１の部分を含み、
    前記複数の補間フィルタは、前記第２の参照ブロックに関連付けられた第２のリストに用いられる補間フィルタの第２の部分を含み、
    前記第１の補間フィルタは、前記補間フィルタの第１の部分から選択され、
    前記第２の補間フィルタは、前記補間フィルタの第２の部分から選択される、請求項１１に記載の装置。
13. 前記複数の補間フィルタは、前記第１の参照ブロックおよび前記第２の参照ブロックに対するサブペルオフセットの全てを組合せるように構成される、請求項１１に記載の装置。
14. 前記第１の補間フィルタおよび前記第２の補間フィルタは、第１の数のタップを含み、
    前記第１の補間フィルタおよび前記第２の補間フィルタは、前記第１の遅延および前記第２の遅延により、第１の数のタップよりも大きなピクセル領域をカバーする、請求項１１に記載の装置。
15. カバーされる前記領域が、遅延が利用されない場合に、第２の数のタップを備えた補間フィルタを用いることに等しい、請求項１４に記載の装置。
16. 前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの一方が位相シフトを有しておらず、位相シフトを有する前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの他方を補間するのに片予測が用いられる、請求項１１に記載の装置。
17. ビデオコンテンツを符号化または復号化するための命令を含む持続性のコンピュータ可読記憶媒体であって、前記命令は、実行時に、
    ビデオコンテンツの時間予測プロセスのためにサブペル値を補間するのに用いられる複数の補間フィルタを決定することであって、前記複数の補間フィルタは、２つの参照ブロックに対するサブペルオフセットに基づいて構成される、前記複数の補間フィルタを決定すること、
    一単位のビデオコンテンツのための第１の参照ブロック用の第１のサブペルオフセットを決定すること、
    前記一単位のビデオコンテンツのための第２の参照ブロック用の第２のサブペルオフセットを決定すること、
    前記一単位のビデオコンテンツのための前記時間予測プロセスに用いるサブペルピクセル値のセットを補間するための補間フィルタのセットを決定することであって、前記補間フィルタのセットは、前記第１のサブペルオフセットおよび前記第２のサブペルオフセットに従って構成され、前記第１の参照ブロック用の第１のサブペルピクセル値と、前記第２の参照ブロック用の第２のサブペル値を補間するのに用いられ、前記複数の補間フィルタは、前記第１の参照ブロックおよび前記第２の参照ブロックに対するサブペルオフセットの全てを組合せるように構成される、前記補間フィルタのセットを決定することを実行するようにコンピュータシステムを制御する、持続性のコンピュータ可読記憶媒体。
18. 前記補間フィルタのセットを決定するための命令は、
    前記第１の参照ブロックのための第１の補間フィルタを決定することであって、前記第１の補間フィルタは、第１の遅延を有するように構成されて、ピクセル値の第１の部分をカバーする、前記第１の補間フィルタを決定すること、
    前記第２の参照ブロックのための第２の補間フィルタを決定することであって、前記第２の補間フィルタは、第２の遅延を有するように構成されて、ピクセル値の第２の部分をカバーする、前記第２の補間フィルタを決定することを含み、
    前記ピクセル値の第１の部分は、前記ピクセル値の第２の部分とは異なる、請求項１７に記載の持続性のコンピュータ可読記憶媒体。
19. 前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの一方が位相シフトを有しておらず、位相シフトを有する前記第１のサブペルオフセットまたは前記第２のサブペルオフセットの他方を補間するのに片予測が用いられる、請求項１７に記載の持続性のコンピュータ可読記憶媒体。