JP5654091B2

JP5654091B2 - ビデオコード化における動き補償のための高度内挿技術

Info

Publication number: JP5654091B2
Application number: JP2013147070A
Authority: JP
Inventors: マルタ・カークゼウィックズ; ヤン・イエ; ペイソン・チェン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2008-04-10
Filing date: 2013-07-12
Publication date: 2015-01-14
Anticipated expiration: 2029-04-10
Also published as: CN101990760B; WO2009126936A1; EP3454560A1; EP2286594A1; JP2013243739A; CN101990760A; KR20100130644A; EP2947885A1; US20190028736A1; KR101208383B1; BRPI0910640A2; CA2720128A1; US20090257499A1; JP2011517241A; TW201004363A

Description

関連出願の参照

本件特許出願は、2008年4月10日に出願された仮出願61/044,023、2008年4月11日に出願された仮出願61/044,240、および2008年5月30日に出願された仮出願61/057,373に基づいて優先権を主張するものであって、当該仮出願のすべての内容は、参照によって本件明細書に明白に組み込まれている。

本件開示は、デジタルビデオコード化に関係し、より詳細には、ビデオコード化において使用される予測データの分数の内挿に関係する。

デジタルビデオ能力は、デジタルテレビ、デジタルダイレクト放送システム、ワイヤレス放送システム、携帯情報端末（PDA）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話などを含むデバイスの広い領域に組み込まれることができる。デジタルビデオデバイスは、より効率的にデジタルビデオ情報を送信および受信するために、MPEG-2、MPEG-4、またはITU-T H.264/MPEG-4、Part10、AVC（Advanced Video Coding）のようなビデオ圧縮技術を実装する。ビデオ圧縮技術は、ビデオシーケンスにおける固有の冗長性を低減または除去するために、空間的予測および／または時間的予測を実行することができる。

ブロックベースのインターコード化は、ビデオシーケンスの連続的なコード化単位のビデオブロック間の時間的な冗長性を低減または除去するために時間的予測に依拠する非常に役に立つコード化技術である。コード化単位は、ビデオフレーム、ビデオフレームのスライス、画像のグループ、またはビデオブロックの他の定義された単位を具備してもよい。インターコード化の場合、ビデオ符号化器は、２つ以上の近接コード化単位の対応するビデオブロックの動きを追跡するために動き推定および動き補償を実行する。動き推定は、動きベクトルを生成する。動きベクトルは、1つまたは複数のレファレンスフレームまたは他のコード化単位における対応する予測ビデオブロックに対するビデオブロックの変位を示す。動き補償は、レファレンスフレームまたは他のコード化単位から予測ビデオブロックを生成するために動きベクトルを使用する。動き補償の後、コード化されているオリジナルビデオブロックから予測ビデオブロックを減算することによって残りのビデオブロックが形成される。

ビデオ符号化器はまた、残りのブロックの通信と関連するビットレートをさらに低減するために変換、量子化、およびエントロピーコード化処理を適用することができる。変換技術は、離散コサイン変換（DCT）または概念的に同様の処理を具備してもよい。代替的に、ウェーブレット変換、整数変換、または他のタイプの変換が使用されてもよい。DCT処理において、例として、1セットのピクセル値が変換係数に変換される。変換係数は、周波数ドメインにおけるピクセル値のエネルギーを表わすことができる。量子化は、変換係数に適用される。一般に量子化は、任意の所与の変換係数と関連するビット数を制限する処理をともなう。エントロピーコード化は、量子化された変換係数のシーケンスを集合的に圧縮する1つまたは複数の処理を具備する。エントロピーコード化の事例は、CAVLC（content adaptive variable length coding）およびCABAC（context adaptive binary arithmetic coding）を含むが、これらに限られない。

コード化ビデオブロックは、予測ブロック、およびコード化されているブロックと予測ブロックとの間の差を示す残りのデータブロックを作成または識別するために使用されることができる予測情報によって表わされてもよい。予測情報は、予測データブロックを識別するために使用される1つまたは複数の動きベクトルを具備することができる。動きベクトルが与えられると、復号器は、残りをコード化するために使用された予測ブロックを復元することができる。したがって、1セットの残りのブロックおよび1セットの動きベクトル（および可能性としていくつかの追加のシンタックス）が与えられると、復号器は、本来の符号化されたビデオフレームを復元することができてもよい。連続するビデオフレームまたは他のタイプのコード化単位は、しばしば非常に類似しているので、動き推定および動き補償に基づくインターコード化は、非常に良い圧縮を達成することができる。符号化されたビデオシーケンスは、残りのデータブロック、動きベクトル、および可能性として他のタイプのシンタックスを具備してもよい。

内挿技術は、インターコード化において達成されることができる圧縮レベルを改善するために発展させられてきた。この場合において、ビデオブロックをコード化するために使用される、動き補償の間に生成される予測データは、動き推定において使用されるビデオフレームのビデオブロック、または他のコード化単位のピクセルから内挿されてもよい。内挿は、予測1/2ピクセル値（half-pel）および予測1/4ピクセル値（quarter-pel）を生成するためにしばしば実行される。そのような内挿は、ビデオコード化において使用される予測フレームまたは他のコード化単位の実際のビデオブロックよりも、コード化されているビデオブロックにずっとよく類似している予測ブロックをしばしば生成する。

一般に、本件開示は、ビデオコード化の動き補償処理の間に符号化器および復号器によって実行される内挿技術を記載する。本件開示の技術にしたがって、符号化器は、複数の異なる内挿予測データを生成するために複数の予め定義される内挿フィルターを適用することができる。最高の圧縮レベルを達成する内挿予測データが選択されることができ、使用された内挿フィルターは、シンタックスとしてコード化されて、コード化ビデオデータの一部として復号デバイスに通信されることができる。内挿フィルターは、予測単位につき一度定義されることができる（例えば、予測フレームにつき一度）、またはブロックベースで定義されることができる（例えば、予測単位内の異なるビデオブロックに異なるフィルタリングが適用されることができる）。代替的に、内挿フィルターは、サンプルベースで定義されることができる、またはサブサンプルベースで定義されることができる。

復号器は、コード化ビデオデータを受信し、符号化器によって使用された内挿フィルターを識別するためにシンタックスを解釈することができる。このようにして、復号器は、それの動き補償処理の間に、符号化処理の間に使用されたのと同じ内挿フィルターを識別し使用することができる。符号化器において複数の異なる内挿フィルターを考慮することによって、固定の内挿フィルターを有する技術に対比して圧縮が改善されることができる。同時に、本件技術は、通常の適応型内挿フィルタリングよりも複雑性が著しく少なくてもよい。これは、内挿フィルター係数をコード化処理の一部として適応的に定義する。本件開示のいくつかの態様にしたがって、異なる内挿フィルターは、良い圧縮という結果となりそうな内挿フィルター係数のセットを予め定義するために、適応型内挿フィルタリングまたは他の技術をテストビデオシーケンスに対して実装することによって予め定義されることができる。代替的に、異なる数のフィルター係数（異なるタップ数）または異なるフィルタータイプ全体を予め定義した後、符号化処理および復号処理の間に選択し使用することができる。

加えて、本件開示はまた、1/2ピクセル値の通常の丸め処理によるコード化の非能率を認識し、中間丸め処理を低減または除去することによって内挿を改善することができる技術を提供する。この場合、内挿された1/2ピクセル値は、1/2ピクセル内挿の目的のために丸め処理されることができる。しかしながら、1つまたは複数の内挿された1/2ピクセル値に基づいて生成されることができる1/4ピクセル値は、1/2ピクセル値の非丸め処理バージョンに依拠してもよい。これは、1/2ピクセル値から1/4ピクセル値への、丸め処理の不正確性の伝搬を除去することができる。いくつかの場合において、1/2ピクセルの任意の中間値を記憶するために16ビット記憶エレメントが使用されることを確実にするために、最終的な値の正確性を犠牲にすることなく1つの固有の1/2ピクセル値にわずかな丸め処理が適用されてもよい。詳細には、あらゆるピクセル位置のために15個の可能なサブピクセル位置が定義されるとき、特定の1/2ピクセル値のうちの1つは、他の1/2ピクセル値に基づいて生成される必要があり（つまり、２つのレベルの1/2ピクセル内挿を必要とする）、およびこの特定の1/2ピクセル値は、すべての内挿された値を記憶するために16ビット記憶エレメントが使用され得ることを確実にするために丸め処理を必要とするかもしれない。

いずれの場合においても、本件明細書に記載されているように、中間丸め処理タスクの除去は、複数の予め定義される内挿フィルターの実装によりまたは当該実装によらずになされることができる。例えば、本件明細書に記載されているように、中間丸め処理の除去は、複数の予め定義される内挿フィルターを使用する実装のコンテキストにおいて実行されることができる。代替的に、中間丸め処理の除去は、適応型内挿フィルタリング（AIF）のコンテキストにおけるような、より通常の内挿のコンテキストにおいて実行されることができる。

１つの例において、本件開示は、符号化ビデオデータの方法を提供する。当該方法は、予測データを生成することを具備する。ここにおいて、予測データを生成することは、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む。当該方法はまた、予測データに基づいてビデオデータを符号化することを具備する。

他の例において、本件開示は、ビデオデータを復号する方法を提供する。前記復号方法は、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信することと、予測データを生成することと（ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む）、および前記予測データに基づいて前記ビデオデータを復号することとを具備する。

他の例において、本件開示は、ビデオコード化のために予測ビデオデータを内挿する方法を提供する。前記方法は、整数ピクセル値に基づいて1/2ピクセル値を生成することと、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶することと、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することとを具備する。

他の例において、本件開示は、ビデオデータを符号化する装置を提供する。前記装置は、予測データを生成する動き補償装置を含むビデオ符号化器を具備する。前記動き補償装置は、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿し、および前記ビデオ符号化器は、前記予測データに基づいて前記ビデオデータを符号化する。

他の事例において、本件開示は、ビデオデータを復号する装置を提供する。前記装置は、動き補償装置を含むビデオ復号器を具備する。前記ビデオ復号器は、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信する。前記動き補償装置は、予測データを生成する。ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む。前記ビデオ復号器は、次に、前記予測データに基づいて前記ビデオデータを復号する。

他の事例において、本件開示は、ビデオ符号化のために予測ビデオデータを内挿する装置であって、前記装置は、整数ピクセル値に基づいて1/2ピクセル値を生成し、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する動き補償装置を含む装置を提供する。

他の事例において、本件開示は、ビデオデータを符号化するデバイスであって、前記デバイスは、予測データを生成するための手段と（ここにおいて、前記予測データを生成するための手段は、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含む）、および前記予測データに基づいて前記ビデオデータを符号化するための手段とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオデータを復号するデバイスであって、前記デバイスは、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信するための手段と、予測データを生成するための手段と（ここにおいて、前記予測データを生成するための手段は、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含む）、および前記予測データに基づいて前記ビデオデータを復号するための手段とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオコード化のための予測ビデオデータを内挿するデバイスであって、前記デバイスは、整数ピクセル値に基づいて1/2ピクセル値を生成するための手段と、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理するための手段と、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶するための手段と、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成するための手段とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオデータを符号化するデバイスであって、前記デバイスは、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することによって予測データを生成し、前記予測データに基づいて前記ビデオデータを符号化する動き補償装置を含むビデオ符号化器と、および前記ビデオデータを他のデバイスに送信するワイヤレス送信機とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオデータを復号するデバイスであって、前記デバイスは、前記ビデオデータを受信するワイヤレス受信機と、および複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信し、予測データを生成し（ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む）、および前記予測データに基づいて前記ビデオデータを復号する動き補償装置を含むビデオ復号器とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオデータを符号化するデバイスであって、前記デバイスは、整数ピクセル値に基づいて1/2ピクセル値を生成し、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する動き補償装置を含むビデオ符号化器と、および前記動き補償装置によって符号化される前記ビデオデータを他のデバイスに送信するワイヤレス送信機とを具備するデバイスを提供する。

他の事例において、本件開示は、ビデオデータを復号するデバイスであって、前記デバイスは、前記ビデオデータを受信するワイヤレス受信機と、および前記ビデオデータを復号する動き補償装置を含むビデオ復号器とを具備するデバイスを提供する。前記ビデオデータを復号することにおいて、前記動き補償装置は、整数ピクセル値に基づいて1/2ピクセル値を生成し、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する。

本件開示において記載されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらのものの任意の組み合わせにおいて実装されることができる。ソフトウェアにおいて実装される場合、前記ソフトウェアは、マイクロプロセッサー、特定用途集積回路（ASIC）、フィールドプログラム可能ゲートアレー（FPGA）、またはデジタル信号プロセッサー（DSP）のような１つまたは複数のプロセッサーにおいて実行されることができる。本件技術を実行するソフトウェアは、最初にコンピュータ可読媒体に記憶され、プロセッサーにおいてロードされおよび実行されてもよい。

したがって、本件開示はまた、実行の際にビデオデータをデバイスに符号化させる命令を具備するコンピュータ可読記憶媒体であって、前記命令は、予測データを生成することと（ここにおいて、前記予測データを生成するとは、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む）、および前記予測データに基づいて前記ビデオデータを符号化することとを前記デバイスにさせる、コンピュータ可読記憶媒体を企図する。

本件開示はまた、実行の際にビデオデータをデバイスに復号させる命令を具備するコンピュータ可読記憶媒体であって、前記命令は、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信する際に、予測データを生成することと（ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む）、および前記予測データに基づいて前記ビデオデータを復号することとを前記デバイスにさせる、コンピュータ可読記憶媒体を企図する。

加えて、本件開示はまた、実行の際にビデオコード化のための予測ビデオデータをデバイスに内挿させる命令を具備するコンピュータ可読記憶媒体であって、前記命令は、整数ピクセル値に基づいて1/2ピクセル値を生成することと、1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することとを前記デバイスにさせる、コンピュータ可読記憶媒体を企図する。

本件開示の１つまたは複数の態様の詳細は、付随の図面および以下の詳細な説明において述べられる。本件開示において記載されている技術の他の特徴、目的、および利点は、詳細な説明および図面から、または特許請求の範囲から明白になるだろう。

図1は、ビデオ符号化および復号システムを例示している例示的ブロック図である。図2は、本件開示と一致するビデオ符号化器の一例を例示しているブロック図である。図3は、本件開示と一致するビデオ復号器の一例を例示しているブロック図である。図4Aは、予測ビデオブロックのピクセルを具備してもよい整数ピクセルおよび内挿ピクセルを例示している概念図である。図4Bは、予測ビデオブロックのピクセルを具備してもよい整数ピクセルおよび内挿ピクセルを例示している概念図である。図4Cは、予測ビデオブロックのピクセルを具備してもよい整数ピクセルおよび内挿ピクセルを例示している概念図である。図4Dは、予測ビデオブロックのピクセルを具備してもよい整数ピクセルおよび内挿ピクセルを例示している概念図である。図5は、本件開示と一致する技術を例示するフロー図である。図6は、本件開示と一致する技術を例示するフロー図である。図7は、本件開示と一致する技術を例示するフロー図である。図8は、本件開示と一致する技術を例示するフロー図である。

発明の詳細な説明

本件開示は、ビデオコード化の動き補償処理の間に符号化器および復号器によって実行される様々な内挿技術を記載する。本件開示の１つの態様にしたがって、符号化器は、複数の異なる内挿予測データを生成するために複数の予め定義される内挿フィルターを適用することができる。最高の圧縮レベルを達成する内挿予測データが符号化器において選択されることができ、使用された内挿フィルターは、シンタックスとしてコード化されて、コード化ビデオデータの一部として復号デバイスに通信されることができる。内挿予測データは、レファレンスデータを具備する。コード化されるべきビデオデータ（例えば、ビデオブロック）は、符号化データの残りのブロックを定義するために内挿予測データ（例えば、内挿予測レファレンスブロック）から減算されることができる。符号化データの残りのブロックは、次に、変換され、量子化され、およびエントロピーコード化されることができる。

内挿フィルターは、予測単位ごとに一度（例えば、予測フレームごとに一度）定義されることができる、またはサンプルベースで定義されることができる（例えば、予測単位内の異なるビデオブロックまたは異なるサンプル位置に異なるフィルタリングが適用されることができる）。異なる内挿フィルターは、例えば、異なるセットのフィルター係数、異なる数のフィルター係数、または可能性として異なるフィルタータイプによって定義されることができる。いずれの場合においても、複数の予め定義される内挿フィルターを提供することによって、内挿データは、改善されたデータ圧縮を提供することができる。

復号器は、コード化ビデオデータを受信し、および符号化器によって使用された内挿フィルターを識別するためにシンタックスを解釈することができる。このようにして、復号器は、それの動き補償処理の間に、符号化処理の間に使用されたのと同じ内挿フィルターを識別し使用することができる。再び、符号化器において複数の異なる内挿フィルターを考慮することによって、単一の定義される内挿フィルターを有する技術に対比して圧縮が改善されることができる。同時に、本件技術は、通常の適応型内挿フィルタリングより著しく少ない複雑性であることができる。通常の適応型内挿フィルタリングは、コード化処理の一部として内挿フィルターを（フィルター係数を選択することによって）適応的に定義する。１つの事例において、内挿フィルターは、良い圧縮という結果となりそうな内挿フィルター係数のセットを予め定義するために、適応型内挿フィルタリングまたは他の技術をテストビデオシーケンスに対して実装することによって予め定義されることができる。

本件開示の他の態様において、1/4ピクセル内挿のために1/2ピクセル値の中間丸め処理を除去または著しく低減する内挿技術が記載されている。中間丸め処理を除去または著しく低減する本件技術は、予め定義される内挿フィルターを使用する上述の技術によりまたはこの技術によらずに使用されることができる。言い換えると、中間丸め処理を除去または著しく低減する本件技術は、１つまたは複数の予め定義される内挿フィルターにしたがって内挿の間に使用されることができるが、固定内挿フィルターを使用する内挿または可能性として適応型改良内挿技術とともに使用されることもまた可能である。

本件開示は、1/2ピクセル値の通常の丸め処理により生じるかもしれないコード化の非能率を認識し、中間丸め処理を除去または低減することによって内挿を改善するための技術を提案する。この場合において、内挿1/2ピクセル値は、1/2ピクセル内挿の目的のために丸め処理されることができる。しかしながら、1つまたは複数の内挿1/2ピクセル値に基づいて生成されることができる1/4ピクセル値は、1/2ピクセル値の非丸め処理バージョンに依拠してもよい。これは、1/2ピクセル値から1/4ピクセル値への、丸め処理の不正確性の伝搬を除去することができる。いくつかの場合において、任意の中間値を記憶するために16ビットデータ構成が使用されることができることを確実にするために、1/2ピクセル値のうちのいくつかにわずかな丸め処理が適用されることができる。いくつかの場合において、最終的な正確性に対するわずかな丸め処理の影響は、丸め処理を正しく実行することによってゼロにされることができる。いずれの場合においても、本件明細書に記載されているように、中間丸め処理の除去または低減は、複数の予め定義される内挿フィルターの実装によりまたはこの実装によらずになされることができる。

図1は、本件開示の技術を実装することができる1つの例示的ビデオ符号化および復号システム10を例示しているブロック図である。図1において図示されているように、システム10は、通信チャネル15を通って目的デバイス16に、符号化されたビデオを送信するソースデバイス12を含む。ソースデバイス12および目的デバイス16は、デバイスの広い範囲のいずれかを具備することができる。いくつかの場合において、ソースデバイス12および目的デバイス16は、セルラーまたは衛星無線電話とも呼ばれるワイヤレスハンドセットのようなワイヤレス通信デバイス、または通信チャネル15上でビデオ情報を通信する（この場合通信チャネル15は、ワイヤレスである）ことができる任意のワイヤレスデバイスを具備する。しかしながら、動き補償の内挿に関係する本件開示の技術は、ワイヤレスアプリケーションまたはワイヤレス設定に限定される必要はない。

図1の例において、ソースデバイス12は、ビデオソース20、ビデオ符号化器22、変調器／復調器（モデム）23、および送信機24を含んでもよい。目的デバイス16は、受信機26、モデム27、ビデオ復号器28、およびディスプレイデバイス30を含んでもよい。本件開示にしたがって、ソースデバイス12のビデオ符号化器22は、ビデオ符号化処理の一部として本件開示の内挿技術のうちの1つまたは複数を適用するように構成されていてもよい。同様に、目的デバイス16のビデオ復号器28は、ビデオ復号処理の一部として本件開示の内挿技術のうちの1つまたは複数を適用するように構成されていてもよい。

図1の例示されているシステム10は、単なる一例である。本件開示の内挿技術は、サブピクセル解像度に対する動き補償の内挿をサポートする任意の符号化デバイスによって実行されることができる。ソースデバイス12および目的デバイス16は、そのようなコード化デバイスの単なる事例である。この場合において、ソースデバイス12は、目的デバイス16への送信のためにコード化ビデオデータを生成する。デバイス12、16は、各々がビデオ符号化コンポーネントおよびビデオ復号コンポーネントを含むような実質的に対称的方法（例えば、結合された符号化器−復号器（CODEC））で作動することができる。したがって、システム10は、ビデオデバイス12と16との間の一方向または二方向のビデオ送信を（例えば、ビデオストリーム、ビデオ再生、ビデオ放送、またはビデオ電話通信のために）サポートすることができる。

ソースデバイス12のビデオソース20は、ビデオカメラ、以前に取得されたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダーからのビデオ供給のようなビデオ取得デバイスを含むことができる。さらなる代替として、ビデオソース20は、ソースビデオとして、またはライブビデオ、アーカイブビデオ、およびコンピュータ生成のビデオの組み合わせとしてコンピュータグラフィックベースのデータを生成することができる。いくつかの場合において、ビデオソース20がビデオカメラである場合、ソースデバイス12および目的デバイス16は、いわゆるカメラ電話またはビデオ電話を形成することができる。各々の場合において、取得されたビデオ、事前に取得されたビデオ、またはコンピュータ生成のビデオは、ビデオ符号化器22によって符号化されることができる。符号化されたビデオ情報は、次に、通信規格（例えば、符号分割多元接続（CDMA）または他の通信規格）にしたがってモデム23によって変調されることができ、送信機24を通って目的デバイス16に送信されることができる。モデム23は、様々な混合器、フィルター、増幅器、または信号変調のために設計された他のコンポーネントを含んでもよい。ワイヤレスアプリケーションの場合、送信機24は、増幅器、フィルター、および1つまたは複数のアンテナを含む、データを送信するために設計された回路を含んでもよい。

目的デバイス16の受信機26は、チャネル15上で情報を受信し、モデム27は、情報を復調する。再び、ビデオ符号化処理は、動き補償の間に内挿を改善するために、本件明細書記載の技術のうちの1つまたは複数を実装することができる。ビデオ復号器28によって実行されるビデオ復号処理はまた、ビデオ復号器28の復号処理の動き補償段階の間に内挿を実行することができる。ディスプレイデバイス30は、ユーザに、復号されたビデオデータをディスプレイし、および陰極線管、液晶ディスプレイ（LCD）、プラズマディスプレイ、有機発光ダイオード（OLED）ディスプレイ、または他のタイプのディスプレイデバイスのような様々なディスプレイデバイスのいずれかを具備してもよい。

図1の例において、通信チャネル15は、無線周波数（RF）スペクトルまたは1つまたは複数の物理送信ライン、またはワイヤレス媒体および有線媒体の任意の組み合わせのような任意のワイヤレス通信媒体または有線通信媒体を具備することができる。通信チャネル15は、ローカルエリア・ネットワーク、ワイドエリア・ネットワーク、またはインターネットのようなグローバル・ネットワークのようなパケットベースのネットワークの一部を形成することができる。通信チャネル15は、一般に、ソースデバイス12から目的デバイス16にビデオデータを送信するための任意の適切な通信媒体、または異なる通信媒体の集合を表わす。

ビデオ符号化器22およびビデオ復号器28は、代替的に、MPEG 4、パート10、AVC（Advanced Video Coding）として記載されるITU-T H.264規格のようなビデオ圧縮規格にしたがって作動することができる。しかしながら、本件開示の技術は、特定のコード化規格のいずれにも限定されない。図1には図示されていないが、いくつかの態様において、ビデオ符号化器22およびビデオ復号器28は、オーディオ符号化器および復号器と各々統合されていてもよく、共通のデータストリームまたは別々のデータストリームにおけるオーディオおよびビデオの両方の符号化を扱うために適切なMUX-DEMUX装置または他のハードウェアおよびソフトウェアを含むことができる。適用可能であれば、MUX-DEMUX装置は、ITU H.223多重化プロトコル、またはユーザデータグラムプロトコル（UDP）のような他のプロトコルに従ってもよい。

ITU-T H.264/MPEG-4 (AVC)規格は、JVT（Joint Video Team）として知られている集合的連携の製品としてISO/IEC MPEG（Moving Picture Experts Group）と一緒にITU-T VCEG（Video Coding Experts Group）によって公式化された。いくつかの態様において、本件開示において記載されている技術は、H.264規格に一般に従うデバイスに適用されることができる。H.264規格は、2005年3月付の、ITU-T研究グループによるITU-T勧告H.264に記載されている。ITU-T勧告H.264は、一般的な視聴覚サービスのための進んだビデオコード化であって、本件明細書において、H.264規格、またはH.264仕様、またはH.264/AVC規格または仕様と呼ばれてもよい。JVT（Joint Video Team）は、H.264/MPEG-4 AVCの発展に引き続き取り組んでいる。

ビデオ符号化器22およびビデオ復号器28の各々は、1つまたは複数のマイクロプロセッサー、デジタル信号プロセッサー（DSP）、特定用途集積回路（ASIC）、フィールドプログラム可能ゲートアレー（FPGA）、離散論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらのものの任意の組み合わせとして実装されてもよい。ビデオ符号化器22およびビデオ復号器28の各々は、1つまたは複数の符号化器または復号器に含まれてもよい。符号化器または復号器のどちらでも、それぞれのモバイルデバイス、加入者デバイス、放送デバイス、サーバー、または同様のものにおいて、結合されたCODECの一部として統合されることができる。

ビデオシーケンスは、典型的に、一連のビデオフレームを含む。ビデオ符号化器22は、ビデオデータを符号化するために個々のビデオフレーム内のビデオブロック上で作動する。ビデオブロックは、固定または可変のサイズを有していてもよく、および特定のコード化規格にしたがってサイズが異なってもよい。各々のビデオフレームは、一連のスライスを含む。各々のスライスは、一連のマクロブロックを含んでもよい。一連のマクロブロックは、サブブロックに整列させられることができる。例として、ITU-T H.264規格は、輝度成分について16×16、8×8、または4×4、および彩度成分について8x8のような様々なブロックサイズにおけるイントラ予測をサポートするだけでなく、輝度成分について16×16、16×8、8×16、8×8、8×4、4×8、および4×4、および彩度成分について、対応するスケールサイズのような様々なブロックサイズにおけるインター予測もサポートする。ビデオブロックは、ピクセルデータのブロック、または変換係数のブロック（例えば、離散コサイン変換または概念的に同様の変換処理のような変換処理に続くもの）を具備することができる。

より小さいビデオブロックは、より良い解像度を提供することができ、高いレベルのディテールを含むビデオフレームの位置のために使用されることができる。一般に、マクロブロック（MB）および様々なサブブロックがビデオブロックとみなされてもよい。加えて、スライスは、MBおよび／またはサブブロックのような一連のビデオブロックとみなされてもよい。各々のスライスは、独立に復号可能なビデオフレームの単位であってもよい。ビデオ符号化器22およびビデオ復号器28は、インターベースの予測コード化を実行する。インターベースの予測コード化は、予測レファレンスデータの生成、および残りのデータを生成するために予測レファレンスデータからのコード化されるべきビデオブロックの減算をともなう。残りのデータは、次に、変換され、量子化され、およびエントロピーコード化されることができる。インターベースの予測コード化は、本件開示にしたがって予測データの内挿を含むことができる。

インターベースの予測コード化（本件開示の内挿技術を含む）に続いて、および任意の変換（H.264/AVCにおいて使用される4x4または8x8の整数変換または離散コサイン変換DCTのような変換）に続いて、量子化が実行されることができる。量子化は、一般に、当該係数を表わすために使用されるデータ量をできる限り低減するために係数が量子化される処理のことをいう。量子化処理は、いくつかのまたはすべての係数と関連するビット深さを低減することができる。例えば、16ビット値は、量子化の間に15ビット値に切り捨てられる。量子化に続いて、例えば、CAVLC（content adaptive variable length coding）、CABAC（context adaptive binary arithmetic coding）、または他のエントロピー符号化方法にしたがってエントロピーコード化が実行されることができる。

本件開示の技術にしたがって、ビデオ符号化器22は、複数の異なる内挿予測データを生成するために複数の予め定義される内挿フィルターを適用することができる。最高の圧縮レベルを達成する内挿予測データがビデオ符号化器22によって選択されることができ、および選択された内挿予測データのために使用された内挿フィルターは、シンタックスとしてコード化されて、コード化ビデオデータの一部として目的デバイス16に通信されることができる。この場合において、ビデオ復号器28は、コード化ビデオデータを受信し、ビデオ符号化器22によって使用された内挿フィルターを識別するためにシンタックスを解釈することができる。したがって、ビデオ復号器28は、それの動き補償復号処理の間に、符号化処理の間に使用されたのと同じ内挿フィルターを識別し使用することができる。異なる予め定義される内挿フィルターは、異なるセットのフィルター係数（フィルタータップ）と類似しているフィルターを具備してもよい。代替的に、異なる予め定義される内挿フィルターは、異なる数のフィルタータップ、または可能性として異なるタイプのフィルター構成を全体で有するフィルターを具備することができる。

また、本件開示の他の態様にしたがって、ビデオ符号化器22およびビデオ復号器28は、1/4ピクセル内挿のために1/2ピクセル値の中間丸め処理を除去または著しく低減する内挿技術を適用することができる。この場合、ビデオ符号化器22およびビデオ復号器28は、1/2ピクセル内挿の目的のために内挿1/2ピクセル値を丸め処理することができる。しかしながら、1/4ピクセル内挿の場合、ビデオ符号化器22およびビデオ復号器28は、1/2ピクセル値から1/4ピクセル値への、丸め処理の不正確性の伝搬を低減または除去するために1/2ピクセル値の非丸め処理バージョンを記憶および使用することができる。いくつかの場合において、任意の中間値を記憶するために固定サイズ記憶エレメント（例えば、16ビットレジスター）が使用されることができることを確実にするために、２つのレベルの内挿を要する１つの特定の1/2ピクセル値にわずかな丸め処理が適用されることができる。いくつかの場合において、本件明細書において記載されているように、最終的な正確性に対するわずかな切り捨ての影響は、切り捨てを正しく実行することによってゼロにされることができる。

図2は、本件開示と一致する動き補償の内挿を実行することができるビデオ符号化器50の一例を例示するブロック図である。ビデオ符号化器50は、デバイス20のビデオ符号化器22、または異なるデバイスのビデオ符号化器に対応してもよい。イントラコード化は例示されていないが、ビデオ符号化器50は、ビデオフレーム内のブロックのイントラコード化およびインターコード化を実行することができる。イントラコード化は、所与のビデオフレーム内のビデオにおいて空間的冗長性を低減または除去するために、空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム内のビデオにおいて時間的冗長性を低減または除去するために、時間的予測に依拠する。イントラモード（I-mode（登録商標））は、空間ベースの圧縮モードのことをいい、予測（P-mode）または二方向（B-mode）のようなインターモードは、時間ベースの圧縮モードをいう。本件開示の技術は、典型的に、インターコード化の間に適用されることができる。したがって、空間的予測装置のようなイントラコード化装置は、例示の簡略化および容易のために図2において例示されていない。しかしながら、本件開示の丸め処理技術はまた、空間的予測およびイントラコード化技術に適用されることができる。

図2において図示されているように、ビデオ符号化器50は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例において、ビデオ符号化器50は、動き推定装置32、動き補償装置35、レファレンスフレーム記憶装置34、加算器48、変換装置38、量子化装置40、およびエントロピーコード化装置46を含む。ビデオブロック復元の場合、ビデオ符号化器50はまた、逆量子化装置42、逆変換装置44、加算器51を含む。また、復元されたビデオからブロック化アーティファクトを除去するためにブロックの境界をフィルターするために、デブロック化フィルター（図示されていない）が含まれてもよい。必要があれば、デブロック化フィルターは、加算器51の出力を典型的にフィルターするであろう。

符号化処理の間、ビデオ符号化器50は、コード化されるべきビデオブロックを受信し、動き推定装置32および動き補償装置35は、インター予測コード化を実行する。動き推定装置32および動き補償装置35は、高度に統合されることができるが、概念的目的のために別々に例示されている。典型的に、動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成する処理とみなされる。動きベクトルは、例えば、現在のフレーム内のコード化されている現在のブロック（または他のコード化単位）に対する予測フレーム内の予測ブロック（または他のコード化単位）の変位を示してもよい。典型的に、動き補償は、動き推定によって決定される動きベクトルに基づいて予測ブロックを取り出すまたは生成する処理とみなされる。再び、動き推定装置32および動き補償装置35は、機能的に統合されることができる。本件開示において記載されている内挿技術は、動き補償装置35によって実行されるものとして記載されている。しかしながら、内挿は、最も良い動きベクトルの選択を容易にするために動き推定の間に実行されることができる。

本件開示にしたがって、動き推定32は、ビデオブロックと、予測コード化単位のビデオブロック（例えば、以前のフレーム）とを比較することによって、コード化されるべきビデオブロックのための適切な動きベクトルを選択する。この時点で、動き補償装置35は、サブピクセル解像度における予測データを生成するために内挿を実行することができる。いくつかの場合において、動き推定の間、当該内挿は、固定内挿フィルターに基づくものであってもよい。他の場合において、動きベクトル選択の目的のための動き推定処理の間に、動き補償の間に適用される異なる内挿フィルター（以下で概要が述べられるように）も使用されることができる。

動き推定装置32が、コード化されるべきビデオブロックのために動きベクトルをいったん選択すると、動き補償装置35は、当該動きベクトルと関連する予測ビデオブロックを生成する。しかしながら、本件開示にしたがって、動き補償装置35は、サブピクセル解像度を有する任意の予測ビデオブロックの様々なバージョンを考慮することができる。この場合、動き補償装置35は、コード化されるべきビデオブロックのための複数の異なる内挿予測データを生成するために複数の予め定義される内挿フィルターを適用することができる。動き補償装置35は、次に、最高の圧縮レベルを達成する内挿予測データ（例えば、内挿フィルターのうちの１つと関連する内挿ビデオブロック）を選択する。内挿データを生成するために使用された内挿フィルターは、内挿シンタックスとしてコード化され、コード化ビットストリームにおける包含のためにエントロピーコード化装置46に通信されることができる。いったん動き補償装置35が選択され、最も良い内挿フィルターが適用されると、動き補償装置35は、当該内挿フィルターを使用して予測データを生成し、およびビデオ符号化器は、残りのデータを生成するために、コード化されているビデオブロックから当該予測データを減算するために加算器48を適用する。

また、本件開示の他の態様にしたがって、ビデオ符号化器22およびビデオ復号器28は、1/4ピクセル内挿のために1/2ピクセル値の中間丸め処理を除去または著しく低減する内挿技術を適用することができる。この場合、ビデオ符号化器22およびビデオ復号器28は、1/2ピクセル内挿の目的のために内挿1/2ピクセル値を丸め処理することができる。しかしながら、1/4ピクセル内挿の場合、ビデオ符号化器22およびビデオ復号器28は、1/2ピクセル値から1/4ピクセル値への、丸め処理の不正確性の伝搬を低減または除去するために1/2ピクセル値の非丸め処理バージョンを記憶および使用することができる。いくつかの場合において、固定のサイズの記憶エレメント（例えば、16ビットレジスター）が任意の中間値を記憶するために使用されることができることを確実にするために2つのレベルの内挿を要する1つの特定の1/2ピクセル値にわずかな丸め処理が適用されてもよい。

了解されるように、動き補償装置35が予測データ（例えば、内挿予測ビデオブロック）をいったん生成したら、ビデオ符号化器50は、コード化されているオリジナルビデオブロックから予測データを減算することによって残りのビデオブロックを形成する。加算器48は、この減算演算を実行する1つのコンポーネントまたは複数のコンポーネントを表わす。変換装置38は、残りの変換ブロック係数を具備するビデオブロックを生成する、離散コサイン変換（DCT）または概念的に類似の変換のような変換を残りのブロックに適用する。例えば、変換装置38は、DCTに概念的に類似している、H.264規格によって定義される変換のような他の変換を実行することができる。ウェーブレット変換、整数変換、副帯域変換、または他のタイプの変換も使用されることができる。いずれの場合においても、変換装置38は、残りの変換係数のブロックを生成する変換を残りのブロックに適用する。前記変換は、ピクセルドメインから周波数ドメインに残りの情報を変換することができる。

量子化装置40は、ビットレートをさらに低減するために残りの変換係数を量子化する。量子化処理は、いくつかのまたはすべての係数と関連するビット深さを低減することができる。例えば、16ビット値は、量子化の間に15ビット値に切り捨てられることができる。量子化に続いて、エントロピーコード化装置46は、量子化された変換係数をエントロピーコード化する。例えば、エントロピーコード化装置46は、CAVLC（content adaptive variable length coding）、CABAC（context adaptive binary arithmetic coding）、または他のエントロピーコード化方法を実行することができる。エントロピーコード化装置46によるエントロピーコード化に続いて、符号化されたビデオは、他のデバイスに送信されることができ、または後の送信または検索のためにアーカイブされることができる。コード化ビットストリームは、エントロピーコード化された残りのブロックと、そのようなブロックのための動きベクトルと、および動き補償装置35によって適用された内挿フィルターを識別する内挿シンタックスを含む他のシンタックスとを含むことができる。

逆量子化装置42および逆変換装置44は、ピクセルドメインにおける残りのブロックを復元するために（レファレンスブロックの後の使用のために）逆量子化および逆変換をそれぞれ適用する。加算器51は、レファレンスフレーム記憶装置34における記憶のために、復元されたビデオブロックを生成するために動き補償装置35によって生成される動き補償予測ブロックに、復元された残りのブロックを追加する。復元されたビデオブロックは、後のビデオフレームにおけるブロックをインター符号化するためにレファレンスブロックとして動き推定装置32および動き補償装置35によって使用されることができる。

図3は、ビデオ復号器60の一例を例示するブロック図である。ビデオ復号器60は、本件明細書記載の方法で符号化されるビデオシーケンスを復号する。ビデオ復号器60は、復号の際に本件開示の内挿技術を実行する動き補償装置55を含む。詳細には、動き補償装置55は、復号側で、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するエントロピー復号装置52からシンタックスエレメントを受信することができる。動き補償装置55は、予測データを生成することができる。予測データは、シンタックスエレメントによって識別される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む。詳細には、動き補償装置55は、エントロピー復号装置52から受信される動きベクトルに基づく予測データ、およびシンタックスエレメントによって定義されるような内挿（図3において内挿シンタックスとラベルされている）を生成することができる。この内挿予測データに基づいて、ビデオデータ（例えば、復元された残りのビデオブロック）が復号されることができる。

エントロピー復号装置52は、量子化された係数およびシンタックス（例えば、動き補償装置55に送られる内挿シンタックスおよび動きベクトル）を生成するために、受信されたビットストリームをエントロピー復号する。逆量子化装置56は、量子化されたブロック係数を逆量子化（つまり、量子化を元に戻すこと）をする。逆量子化処理は、H.264復号によって定義されるような通常の処理であってもよい。逆変換装置58は、ピクセルドメインにおける残りのブロックを生成するために逆変換（例えば、逆DCTまたは概念的に類似の逆変換処理）を変換係数に適用する。動き補償装置55は、本件明細書記載の方法で動き補償ブロックを生成する（例えば、シンタックスエレメント（つまり、内挿シンタックス）によって識別された1セットの内挿フィルター係数に基づく内挿を含む）。

加算器64は、復号ブロックを形成するために、残りのブロックと、動き補償装置55によって生成される対応する予測ブロックとを加算することによって残りのブロックを復号する。必要があれば、デブロック化フィルターはまた、ブロック状のアーティファクトを除去するために、復号ブロックをフィルターするために適用されることができる。復号ビデオブロックは、次に、レファレンスフレーム記憶装置62に記憶される。レファレンスフレーム記憶装置62は、その後の動き補償のためにレファレンスブロックを提供する記憶エレメントであり、また、ドライブディスプレイデバイス（図1のデバイス28のようなデバイス）に復号ビデオを提供する。

再び、本件開示の技術は、予測ビデオブロックのピクセル値がサブピクセル解像度に内挿される動き補償の内挿に関係する。符号化器は、複数の予め定義される内挿フィルターから所望の内挿フィルターを識別するために本件開示の技術を使用する。異なるフィルターは、異なるセットのフィルター係数、異なる数のフィルター係数、または異なるフィルタータイプによって特徴付けられてもよい。復号器は、符号化器によって使用される同じ所望のセットの内挿フィルター係数を識別するために符号化器から送られるシンタックスエレメントを解釈する。

図4A-4Dは、予測ビデオブロックのピクセルを具備することができる整数ピクセルおよび内挿ピクセルを例示している概念図である。図4の概念的例示において、異なるボックスは、ピクセルを表わしている。大文字（実線によるボックス内）は、整数ピクセル位置を表わしているのに対し、小文字（点線によるボックス内）は、内挿ピクセル位置を表わしている。文字が付けられたラベルは、本件明細書において、ピクセル位置（the pixel locations, or pixel positions）を説明するために使用されることができる、または様々な位置と関連するピクセル値のことをいうことができる。ピクセル位置「aa」、「bb」、「cc」、「dd」、「ee」、「ff」、「gg」、「hh」、「ii」および「jj」は、ピクセル位置「C3」と関連する様々な分数位置の分数内挿において使用される1/2ピクセル位置である。

すべてのピクセル位置は、関連する15個の異なる分数位置を（例えば、H.264/AVC規格に従う内挿に従って）有することができる。図4A-4Dの一例において、ピクセル「C3」と関連するこれらの15個の異なる分数位置が例示されている。例示の簡略化および容易のために、他の分数位置（ピクセル「C3」と関連する15個の異なる分数位置のうちの1つまたは複数を生成するために使用される上で述べられたものの他）のほとんどは図示されていない。

ITU H.264/AVC規格において、1/2ピクセル位置において輝度信号を得るために、係数[1, -5, 20, 20, -5, 1]を備える6タップのウィーナーフィルターが典型的に使用される。次に、1/4ピクセル位置において輝度信号を得るために、バイリニアフィルターが使用される。バイリニアフィルターはまた、彩度成分のために分数ピクセル内挿において使用されることができる。彩度成分は、H.264/AVCにおいて1/8ピクセル精度まで有することができる。

ピクセル位置「b」および「h」の1/2ピクセル内挿は、水平方向および垂直方向にそれぞれ図4Bにおいて明示されている。この場合、ピクセル位置「b」は、整数ピクセル「C1」、「C2」、「C3」、「C4」、「C5」および「C6」に基づいて内挿されることができる。同様に、ピクセル位置「h」は、整数ピクセル「A3」、「B3」、「C3」、「D3」、「E3」および「F3」に基づいて内挿されることができる。本件明細書において記載されているように、ピクセル位置「b」および「h」の異なる内挿値を生成するために異なる内挿フィルター（例えば、異なるセットのフィルタータップ）が適用されることができる。図4Bにおいて、内挿ピクセル位置「b」および「h」は、斜線により図示されており、および整数ピクセル位置「C1」、「C2」、「C3」、「C4」、「C5」、「C6」、「A3」、「B3」、「C3」、「D3」、「E3」および「F3」は、網線により図示されている。

図4Cは、2つのレベルの内挿を必要とし得る１つの特別の場合を例示している。詳細には、ピクセル位置「j」は、他の1/2ピクセル値に基づいてそれ自身内挿される限りにおいて他の1/2ピクセル位置と異なる。例えば、ピクセル位置「j」は、水平方向において1/2ピクセル内挿値「cc」、「dd」、「h」、「ee」、「ff」および「gg」に基づいて内挿されることができる。代替的に、ピクセル位置「j」は、垂直方向において1/2ピクセル内挿値「aa」、「bb」、「b」、「hh」、「ii」および「jj」に基づいて内挿されることができる。図4Cにおいて、内挿ピクセル位置「j」は、斜線により図示されており、垂直方向における1/2ピクセル内挿値「aa」、「bb」、「b」、「hh」、「ii」および「jj」は、右から左への斜線により図示されており、および1/2ピクセル内挿値「cc」、「dd」、「h」、「ee」、「ff」および「gg」は、左から右への斜線により図示されている。

図4Dは、1/4ピクセル位置「a」、「c」、「d」、「e」、「f」、「g」、「i」、「k」、「l」、「m」、「n」および「o」を網線により例示し、およびそのような1/4ピクセル位置のために使用される整数および1/2ピクセル位置（例えば、「C3」、「b」、「C4」、「h」、「j」、「ee」、「D3」、「hh」および「D4」）を斜線により例示している。

動き推定の後、所与のビデオブロックのための最も良い動きベクトルが（例えば、可能性としてコード化比率および品質のバランスを保つためにレート／歪みモデルを使用して）識別されることができる。その後、予測ビデオブロックは、最も良い動きベクトルを使用して動き補償の間に形成される。上で概略が述べられたように、オリジナルビデオブロックから予測ビデオブロックを減算することによって残りのビデオブロックが形成される。次に、残りのブロックに変換が適用され、変換係数は、ビットレートを更に低減するために量子化およびエントロピーコード化される。

再び、図4A-4Dは、上部の場合の文字を備える実線ボックスにおける整数ピクセルサンプル（フルピクセルとも呼ばれる）を図示している。任意の所与の整数ピクセルサンプルの場合、全体で15個のサブピクセル位置があり得る。図4A-4Dにおいて、15個のサブピクセル位置は、整数ピクセルサンプル「C3」について図示され、「a」ないし「o」とラベルされている。H.264/AVCにおいて、1/2ピクセル位置「b」、「h」および「j」は、最初に１次元6タップのウィーナーフィルターを使用して計算されることができる。注目されるように、1/2ピクセル位置「j」は、6タップのフィルタリングを使用するこの内挿の2つのレベルを必要とし得る。この場合、ピクセル位置「j」について、内挿フィルターは、データが16ビット記憶エレメント内に記憶されることができることを確実にするために１次元における内挿の後に可能性として内挿ピクセル値の内挿丸め処理により、最初に水平方向に適用され、次に垂直方向に適用される。残りの1/4ピクセル位置は、次に、バイリニアフィルターと既に計算された1/2ピクセルサンプルとを使用するフィルタリングによって内挿される。

ITU-T SG16/Q.6/VCEG (Video Coding Expert Group)委員会は、H.264/AVCよりも高いコード化効率を提供するコード化技術を探究している。そのような探究は、KTA（Key Technology Areas）フォーラムにおいてなされる。KTAに採用されたコード化ツールのうちの1つは、AIF（適応型内挿フィルター）と呼ばれる。AIFは、特に、高い解像度（例えば、720ｐ）を備えるビデオシーケンス上でH.264/AVCを超える大きなコード化利得を提供する。AIFにおいて、各々のサブピクセル位置のための内挿フィルターは、予測誤りエネルギーを最小限にすることによって各々のビデオフレームのために解析的に計算される。各々のフレームのために解析的に導き出された適応型フィルター係数は、次に、予測され、量子化され、コード化され、およびビデオビットストリームに送られる。

本件開示の技術は、AIFに対比して実装の複雑性を低減すると同時に、AIFによって達成されるものに匹敵するコード化の改善を達成することができる。記載される技術は、各々のビデオフレームのためのフィルター係数を導き出すために解析的処理を必要としなくてもよい。その代わりに、１つの例において、リアルタイムのアプリケーションのための異なるセットのフィルター係数が予め計算されおよび予め定義される。この場合、予め定義されるフィルター係数は、テストシーケンスに適用されるAIFまたは他の選択判断に基づいてもよい。

3つの異なるタイプのAIF方式がKTAに採用されている。1つ目は、NS-AIF（二次元非分離AIF）であり、2つ目は、SAIF（分離可能AIF）であり、3つ目は、DAIF（方向フィルターを備えるAIF）である。しかしながら、すべての3つのAIF方式は、フィルター係数を導き出すために同じ解析的処理を使用する。例として非分離AIFを使用するフィルター係数が以下に記載される。

6x6の2次元非分離フィルターが係数

を有すると仮定する。なお、i,j = 0…5であり、およびSPは、図4A-4Dにおいて図示されている15個のサブピクセル位置（aないしo）のうちの1つを表わす。15個のサブピクセル位置のうちの6個（「a」、「b」、「c」、「d」、「h」および「i」）は、1次元サブピクセル位置であり、１次元のサブピクセル位置は、内挿をするために6タップのフィルターを使用することができることに注意せよ。また、レファレンスフレームにおける整数ピクセル位置（図4におけるA1ないしF6）における予測ピクセルが、ピクセル値

を取ると仮定する。なお、i,j = 0…5である。すなわち、A1は、値P_0,0,…,を取り、A6は、値P_5,0,…,を取り、F1は、値P_5,0,…,を取り、およびF6は、値P_5,5を取る。次に、サブピクセル位置SPにおける内挿値P^SP、SP∈{a,…,0}、は、次の方程式を使用して計算されることができる。

S_X,Yが位置（x,y）において現在のビデオフレームにおけるピクセル値であるとする。

(mvx,mvy)は、動きベクトルであり、

は、動きベクトルの整数コンポーネントであり、およびFOは、フィルターオフセットである。例えば、6タップのフィルターの場合において、FO = 6 / 2 - 1 = 2である。各々のサブピクセル位置SPの場合、現在のフレームにおける実際のピクセル値と、内挿値との間の予測誤りエネルギー(e^SP)²は、サブピクセル位置SPに対応する動きベクトル精度を有するすべてのピクセルのために累積されることができる。予測誤りエネルギー(e^SP)²は、次の方程式を使用して計算される。

サブピクセル位置「a」…「o」の各々について、個々のセットの方程式は、フィルター係数

に関して (e^SP)²の導関数を計算することによって構成されることができる。この場合、方程式の数は、現在のサブピクセル位置SPのために使用されるフィルター係数の数と等しい。6x6タップの2次元フィルターを使用する各々の2次元サブピクセル位置「e」、「f」、「g」、「i」、「j」、「k」、「m」、「n」および「o」の場合、36個の未知数を備える36個の方程式のシステムが解かれることができる。1次元フィルターのみを要し得る残りのサブピクセル位置「a」、「b」、「c」、「d」、「h」および「l」について、6個の方程式のシステムが解かれることができる。

要約すると、AIFフィルターを導き出すおよび適用するプロセスの一例は、以下のステップを有してもよい。

1. 動きベクトル(mvx,mvy)は、コード化されるべきすべてのビデオフレームについて推定されることができる。動き推定の間、固定の内挿フィルター（例えば、H.264/AVCの内挿処理）が適用されることができる。

2. これらの動きベクトルを使用して、各々のサブピクセル位置SPのための予測誤りエネルギーは、現在のビデオフレーム上で累積されることができる。次に、適応型フィルター係数

は、上の2つの予測エネルギー方程式のように予測誤りエネルギーを最小限にすることによって独立に各々のサブピクセル位置について計算されることができる。

3. 次に、新しい動きベクトルが推定されることができる。この動き推定処理の間、ステップ２において計算された適応型内挿フィルターが適用されることができる。適応型内挿フィルターを使用して、エイリアシング、カメラノイズなどによって生じる動き推定誤りが低減され、より良い動き予測が達成されることができる。

すべての3つの存在するAIF方式は、上で与えられたような処理と同じ解析的処理を使用する。これらの方式間の差は、使用される固有のフィルター係数の数、内挿フィルターが分離可能であるか否か、およびどのフィルターサポート（つまり、内挿するために使用される整数ピクセル位置）が使用されるかにほぼ依拠する。これらの方式の各々において、ビデオビットストリームにおいて送られる必要があるフィルター係数の数を低減するために、AIFフィルター上で、ある対称的な制約が課される。

上で述べられたように、H264/AVCにおいて、中間丸め処理オペレーションにより内挿が実行される。通常、この場合において、1/2ピクセル位置（「b」、「h」、および「ｊ」）は、1/2ピクセル位置が1/4ピクセル位置を得るために使用される前にフィルターされ、丸め処理される。さらに、1/4ピクセル値を得るために使用されるバイリニアフィルタリングの間、上方への丸め処理が使用されることができる（つまり、(a+b+1)>>1は、通常のバイリニアフィルターにおいて使用されることができる）。内挿の間のそのような頻繁なおよびバイアスされた丸め処理オペレーションは、内挿フィルターの精度を下げるかもしれない。詳細には、シミュレーションの結果、H.264/AVCにおいて使用されるバイリニアフィルターおよび6タップのウィーナーフィルターから直接導き出される比較的高精度の内挿フィルターを用いると、特に、720ｐシーケンスのような高精彩（HD）ビデオシーケンスの場合、H.264/AVCを上回る著しい利得が得られるということがわかった。AIF方式（NS-AIF、S-AIF、およびDAIF）によって達成される利得の著しい部分は、これらのAIF方式がH.264/AVCよりも高精度のフィルターを使用するという事実から来るかもしれない。

本件開示にしたがって、比較的簡単なSIFO（オフセットによる交換内挿フィルター）方式が使用されてもよい。各々のフレームについてフィルター係数を適応的に導き出す（これは符号化側において非常にコストのかかる処理である）代わりに、SIFO方式は、複数の固定フィルター（例えば、複数の異なる予め定義されるセットの内挿フィルター係数によってそれぞれ定義されることができる）の間で選択をすることができる。フレームレベルまたはサブピクセル位置レベルのいずれかで内挿フィルターの選択がなされることができる。これらは、フレームベースの選択またはサンプルベースの選択とそれぞれ呼ばれてもよい。必要があれば、予測の後にDCオフセットが加えられてもよく、当該DCオフセットはまた、フレームベースまたはサンプルベースで加えられてもよい。したがって、１つまたは複数のDCオフセットが各々のフレームのために定義されることができ、異なるDCオフセット（またはDCオフセットのセット）がフレームの異なるビデオブロックのために定義されることができる。異なるDCオフセットは、各々のピクセルおよびサブピクセル内挿位置のために定義されることができる。フレームは、コード化単位の一例であり、「フレームベースの選択」という言葉は、より広く、コード化単位ベースの選択のことをいう。いくつかの場合において、フレームのスライスまたはフレームの部分は、例えば、個々のコード化単位として別々にコード化されることができる。

異なるセットの固定のフィルターは、図2および3の動き補償装置35および55によってそれぞれに使用されることができる。事例は、標準H.264フィルターセット、H.264/AVCに基づきながらより高い精度（1/2ピクセル位置に関する中間丸め処理および1/4ピクセル位置に関するバイアス丸め処理をしていない）を備えるフィルターセット、または１つまたは複数のセットのカスタマイズされた内挿フィルターを含む。１つのセットまたは複数のセットのカスタマイズされた内挿フィルターは、１セットのトレーニングビデオシーケンスを使用することによって得られることができる。予測誤りエネルギーを最小限にする適応型フィルターは、AIF方式において使用される解析的処理をトレーニングビデオセットに適用することによって導き出されることができる。次に、各々のサブピクセル位置のための平均フィルターは、本件明細書において記載されているように、動き補償装置35および55によって適用されるカスタマイズされた内挿フィルターとして計算および使用されることができる。

特定のサブピクセル位置のための平均フィルターはまた、すべてのフィルター係数が1. 0まで増すように正規化されることができる。平均フィルターはまた、ある固定小数点式の精度（例えば、13ビット精度）に量子化されることができる。フィルター係数において固定小数点式の精度の使用は、異なるプラットフォームにわたる実装がドリフトを有さないことを確実にする。さらに、真の固定ポイント実装は、そのような予め定義されるフィルター係数から導き出されることができる。任意のカスタマイズされたフィルターは、異なる特徴を有していてもよい。詳細には、異なるフィルターは、分離不可能フィルター、または分離可能フィルターであってもよく、異なるフィルターは、異なるフィルターサポート（例えば、6×6または4×4）を定義することができる。

いずれの場合においても、任意の所与の実例における最も良い予測（例えば、最も小さい予測誤りエネルギー）を提供するフィルターセットが、符号化処理の間に動き補償装置35によって選択されることができる。再び、フィルターセット選択は、フレームベースまたはサンプルベースであってもよく、このことは、フィルターが、各々のフレーム（または他のコード化単位）のために選択されることができること、または各々のフレームの異なるビデオブロックのために選択されることができることを意味する。複数のレファレンスフレームが使用されるとき、異なるフィルターセットが異なるレファレンスフレームのために選択されることができる。さらに、いくつかのレファレンスフレームがフレームベースのフィルター選択を有しつつ、その他のレファレンスフレームがサンプルベースのフィルター選択を有することもできる。フレームベースのフィルター選択が使用されるとき、およびカスタマイズされたフィルターセットが選択されるとき、1/2ピクセル位置（例えば、位置「b」、「h」および「j」）に標準フィルターを適用しつつ、その他のサブピクセル位置に、カスタマイズされたフィルターセットを適用することもできる。

内挿の間にオフセットが適用されることもできる。予測値にDCオフセットを加えることは、フラッシュ、暗くなっていく空などのような異なるビデオフレーム間のイルミネーション変化を取得するのを助けることができる。本件開示の方法において、DCオフセットは、フレームレベルで適用される（フレームにおけるすべてのピクセルが同じDCオフセットを使用する）、またはサンプル位置レベルで適用される（異なるピクセル位置が異なるDCオフセットを有する）ことができる。サンプルベースのDCオフセットが使用されるとき、整数ピクセル位置および15個の可能な非整数ピクセル位置が異なるオフセットを各々定義することができるように、全部で16個のDCオフセットがビデオビットストリームの中で送られる必要があるかもしれない。サンプルベースのDCオフセットのアプリケーションは、シンプルだが効果的な動きセグメント化ツールを提供することができるので、有益である。例えば、静止した背景として暗くなる空を含み、および前景として動いている物を含むビデオフレームを取るとする。この場合、背景および前景は、異なる程度のイルミネーション変化を有していてもよく、サンプルベースのDCオフセットを使用することは、前景および背景における異なる程度のイルミネーション変化を取得するのを助けることができる。

複数のレファレンスフレームが使用されるとき、異なるレファレンスフレームのために、異なるDCオフセットが計算され、送られることができる。さらに、いくつかのレファレンスフレームがフレームベースのDCオフセットを有しつつ、その他のレファレンスフレームがサンプルベースのDCオフセットを有することができる。１つの特定の方式は、時間的距離において現在のフレームに最も近いレファレンスフレームのみに対してサンプルベースのDCオフセットを使用すること、およびすべての他のレファレンスフレームのためにフレームベースのDCオフセットを使用することである。使用されるオフセットのタイプ、および異なるピクセル位置におけるそのようなオフセットの大きさを復号器に知らせるために、ビットストリームの中に情報がコード化されることができる。

サブピクセル動きベクトルとは、内挿される必要のあるレファレンス画像におけるサブピクセル位置のことをいう。H.264は、サブピクセルのための１つの内挿処理を定義する。ここにおいて、サブピクセル「b」および「h」（図4A-4Dを参照せよ）は、以下のようなタップ値(1, -5, 20, 20, -5, 1)を有する6タップのフィルターを備える水平および垂直のフィルタリングによって計算されることができる。

b1 =C1-5*C2+20*C3+20*C4-5*C5+C6
なお、「C1」、「C2」、「C3」、「C4」、「C5」および「C6」は、水平方向において「b」を囲む6個の最も近い整数ピクセルを表わし、ピクセル「C3」および「C4」は、最も近く、「C2」および「C5」は、次に最も近く、および「C1」および「C6」は、その次に最も近い。

h1 =A3-5*B3+20*C3+20*D3-5*E3+F3
なお、「A3」、「B3」、「C3」、「D3」、「E3」および「F3」は、垂直方向において「h」を囲む6個の最も近い整数ピクセルを表わし、ピクセル「C3」および「D3」は、最も近く、「B3」および「E3」は、次に最も近く、および「A3」および「F3」は、その次に最も近い。

この場合、「b」および「h」の値は、次のように定義されることができる。

b = max(0, min(255, (b1+16)>>5))
h = max(0, min(255, (h1+16)>>5))
なお、”>>”は、右シフト演算である。本件開示において、”>>”は、右シフト演算を表わし、”<<”は、左シフト演算を表わす。

サブピクセル「j」を内挿するために、内挿値「j1」は、最初、次のように導かれる。

j1 = aa1-5*bb1+20*b1+20*hh1-5*ii1+jj1
なお、「aa1」、「bb1」、「hh1」、「ii1」および「jj1」として示される内挿値は、「aa」、「bb」、「hh」、「ii」および「jj」の位置における「b1」の計算と同じ方法で水平に6タップのフィルターを適用することによって導き出される。最終的な値「j」は、次のように計算されることができる。

j = max(0, min(255, (j1+512)>>10)).
「a」、「c」、「d」、「l」、「f」、「i」、「k」および「n」とラベルされた1/4ピクセル位置におけるピクセルは、整数および1/2ピクセル位置における２つの最も近いピクセルを平均化し、次に上方への丸め処理を適用することによって表1にしたがって導き出されることができる。

「e」、「g」、「m」および「o」としてラベルづけされた1/4ピクセル位置におけるピクセルは、対角方向における1/2ピクセル位置における２つの最も近いピクセルを平均化し、次に、上方への丸め処理を適用することによって表2にしたがって計算される。

これらの1/4ピクセルの最終的な値は、インターバルにおける値（0,255）に最終的にクリップされることができる。

中間ステップを通じて最も高い可能な精度を保つために、内挿処理の本当に最後のステップまでいかなるシフト、丸め処理、およびクリップ演算も避けられることができる。H. 264規格において定義される実装とは異なって、「a」、「c」、「d」、「l」、「f」、「i」、「k」および「n」としてラベルづけされている1/4ピクセル位置におけるピクセルは、整数および1/2ピクセル位置「b」、「h」、「j」、「ee」および「hh」における２つの最も近いピクセルを上方への丸め処理により平均化することによって表3にしたがって導き出されることができる。

この場合、「ee1」および「hh1」として示される中間値は、上でリストされた「h1」および「b1」の計算と同じ方法であるが、「ee」および「hh」の位置において垂直および水平に6タップのフィルターを適用することによって導き出される。本件明細書において記載されるように「ee1」および「hh1」の生成におけるこの段階において丸め処理が避けられることができる。

「e」、「g」、「m」および「o」としてラベルづけされている1/4ピクセル位置におけるピクセルは、上方への丸め処理による対角方向における1/2ピクセル位置における２つの最も近いピクセルを平均化することによって表4にしたがって計算されることができる。

それらの1/4ピクセルの最終的な値は、値域内の値（0,255）にクリップされることができる。中間値の完全な精度を保持することによって、内挿されたサブピクセルは、より正確になるだろう。詳細には、「b」、「h」、「ee」および「hh」における1/2ピクセル値は、1/4ピクセル生成の目的のために「b1」、「h1」、「ee1」および「hh1」として示される非丸め処理の値であってもよい。

残念ながら、値「j」の内挿は、位置「j」における内挿が２つのレベルの1/2ピクセル内挿を要するので、より複雑であるかもしれない。詳細には、「j」を内挿するために、中間値「j1」を表わすために20ビットが必要とされ得る。この場合、「j」の内挿バージョン「j1」は、16ビット内に収まるように丸め処理されてもよい。この場合、マイナーな修正により上で議論された演算が実装されることができるので、すべての演算は、精度を犠牲にすることなく16ビットデータ構成内に収まることができる。「b」および「h」の内挿は、それらの中間バージョン「b1」および「h1」が他のサブピクセル内挿のために記憶されることができることを除いて、上で定義されたものと同じであってもよい。以下の表は、16ビット記憶エレメントにおける他のサブピクセルのための内挿処理を表示する。以下の表において、各々のコラムにおいて定義される演算は、それぞれの表によって連続的に実行される。斜線の列は、処理の終わりに実行され、他のサブピクセル位置の内挿のためには使用されない演算を含む。

以下の表7は、ピクセル位置「j」におけるピクセル値を導き出す16ビットの実装を例示する。すべての1-Dの1/2ピクセル「aa1」、「bb1」、「b1」、「hh1」、「ii1」および「jj1」は、いかなるシフトダウンにもよらずに得られる。オーバーフローを避けるためのクリップ領域は、（-2372,18640）である。再び、表の斜線の列は、内挿処理の終わりにおいてのみ実行される演算を示し、これらの結果は、他のサブピクセル位置の内挿のためには使用されない。内挿値「j1」は、「f」、「i」、「k」および「n」の内挿のために保存される。

以下の表8は、{f,i,k,n}を内挿することの16ビット実装のために取られることができるステップを明示している。{f,i,k,n}は、中間値「j1」を内挿するために使用する位置である。

要するに、上の議論は、すべての可能なサブピクセル位置「a」、「b」、「c」、「d」、「e」、「f」、「g」、「h」、「i」、「j」、「k」、「l」、「m」、「n」および「o」を、実装上望ましい16ビット記憶エレメントを超えずに内挿するための完全な技術を明示する。ほとんどの中間1/2ピクセル値は、1/4ピクセル内挿の目的のために丸め処理されないままである。しかしながら、ピクセル位置「j」が、２つのレベルの1/2ピクセル内挿を必要とするので、ピクセル位置「j」は、自身の1/2ピクセル位置を生成する目的のために中間結果の丸め処理を要するかもしれない。しかしながら、本件開示にしたがって、ピクセル位置「j」における丸め処理は、「j」に依拠する1/4ピクセルの最終的な値の正確性に影響を与えない。

図5は、本件開示に一致するビデオ符号化の１つまたは複数の態様と一致するフロー図である。図5は、図2において図示されているビデオ符号化器50の観点から議論される。詳細には、動き補償装置35は、予測データを生成する（101）。予測データは、複数の予め定義される内挿フィルターに基づいて内挿することを含む。動き補償装置35は、次に、予め定義される内挿フィルターの各々と関連する予測データに基づいてビデオデータ（例えば、ビデオブロック）を符号化する（102）。例えば、動き補償装置35は、予め定義される内挿フィルターの各々と関連する残りのブロックを生成するために加算器48を呼び出すことができるので、最も良い残りのブロックを見い出すために異なる残りのブロックが互いに比較されることができる。動き補償装置35は、最も高い圧縮のレベルを達成するビデオデータを選択する（103）。詳細には、選択されたビデオデータは、加算器48の「残りのブロック」の出力として例示される。「残りのブロック」の出力は、最終的な出力である。加算器48のこの最終的な出力は、変換装置38によって変換され、量子化装置40によって量子化され、およびエントロピーコード化装置46によってエントロピーコード化される。

動き補償装置35はまた、最も高い圧縮のレベルを達成する選択された残りのビデオデータと関連させられていた特定の内挿フィルターを識別する。動き補償装置35は、内挿シンタックスエレメントをエントロピーコード化装置46に転送する。内挿シンタックスエレメントは、使用された特定の内挿フィルターを識別する。エントロピーコード化装置46は、出力ビットストリームの一部を形成するためにシンタックスエレメントを符号化する（105）。このようにして、符号化器50において使用される内挿フィルター（例えば、使用されたフィルター係数または他のフィルター設計またはパラメーター）は、目的デバイスに通信されることができるので、目的デバイスは、ビデオ復元の間に正しい内挿フィルタリングを実行することができる。

内挿フィルタリングは、フレームごとをベースに定義されることができる、またはビデオブロックごとをベースに定義されることができる。他の場合において、内挿フィルタリングは、サンプルごとをベースに定義されることができる、またはサブサンプルごとをベースに定義されることができる。「ビデオ単位」という用語は、ビデオフレーム、ビデオブロック、ビデオサンプル、またはビデオサブサンプルのことをいうことができる。いずれの場合においても、ビデオ符号化器50は、ビデオデータの異なるコード化単位のための予測データを生成するために使用される異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化することができる。代替的に、ビデオ符号化器は、レファレンスビデオデータの異なるビデオブロックのために使用される異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化することができる。いずれの場合においても、内挿フィルターは、テストビデオシーケンスを使用して予め定義されることができる。この場合、例えば、適応型内挿フィルタリング（AIF）は、所望の結果を達成する異なる内挿フィルターを定義するためにビデオシーケンスに適用されることができ、およびこれらの内挿フィルターは、動き補償装置35にプログラムされることができる。

図6は、本件開示と一致するビデオ復号の１つまたは複数の態様と一致するフロー図である。図6は、図2において図示されているビデオ符号化器50の観点から議論される。詳細には、ビデオ符号化器60は、符号化されたビデオデータを受信し（111）、および複数の内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信する。符号化されたビットストリームは、符号化器において使用された内挿フィルターを識別する符号化された残りのビデオデータおよびシンタックスエレメントの両方を含むことができる。エントロピー復号装置52は、逆変換量子化装置56および逆変換装置58に送られる変換されたおよび量子化された残りのブロックを解析するために、および動き補償装置55に送られる内挿シンタックスエレメントおよび動きベクトルを解析するために、受信されたビットストリームをエントロピー復号することができる。

動き補償装置55は、シンタックスエレメントによって識別される内挿フィルターに基づく内挿を含む予測データを生成する（113）。ビデオ復号器60は、予測データに基づいてビデオデータを復号する（114）。詳細には、動き補償装置55によって生成される予測データは、ピクセルドメインにおいてビデオデータを復元するために加算器64によって残りのデータと結合されることができる。復号されたビデオは、次に、予測におけるその後の使用のためにレファレンスフレーム記憶装置62に記憶されることができ、およびユーザへの表示のために（例えば、ディスプレイまたは他の出力デバイスによって）出力されることもできる。

符号化と同じように、復号処理の間の内挿フィルタリングは、フレームごとをベースに定義されることができ、またはビデオブロックごと、サンプルごと、またはサブサンプルごとをベースに定義されることができる。詳細には、ビデオ復号器60は、ビデオデータの異なるコード化単位のための予測データを生成するために使用される異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために異なるシンタックスエレメントを復号することができ、ビデオ復号器60は、レファレンスビデオデータの異なるビデオブロックのために使用される異なる内挿フィルターを識別するために異なるシンタックスエレメントを復号することができる。いずれの場合においても、内挿フィルターは、テストビデオシーケンスを使用して予め定義されることができ、およびこれらの内挿フィルターは、動き補償装置55にプログラムされることができるので、動き補償装置55内の正しい内挿フィルターを識別しおよび呼び出すためにシンタックスが使用されることができる。

図7は、符号化処理の間に動き補償装置35によって、または復号処理の間に動き補償装置55によって実行されることができる内挿技術を例示する。図7において図示されているように、動き補償装置35または55は、整数ピクセル値に基づいて1/2ピクセルを生成する（121）。例えば、これらの1/2ピクセル値は、図4A-4Dの位置「b」および「h」におけるピクセル値に対応することができる。動き補償装置35または55は、1/2ピクセル内挿値を生成するためにこれらの1/2ピクセル値を丸め処理する（122）が、1/2ピクセル値の非丸め処理バージョンも記憶する（123）。動き補償装置35および55は、1/2ピクセル値の非丸め処理バージョンに対応する中間値のこの時間的な記憶を容易にするために記憶エレメントを有することができる。動き補償装置35または55は、次に、非丸め処理の1/2ピクセル値と整数ピクセル値とに基づいて1/4ピクセル値を生成することができる（124）。これらの1/4ピクセル値は、例えば、図4A-4Dにおいて図示されている位置「a」、「c」、「d」および「l」に対応することができる。

上で説明したように、図4A-4Dにおける位置「j」における1/2ピクセル値は、位置「j」が1/2ピクセル内挿の2つのレベルを要し得るので、中間値のいくつかの丸め処理を要し得る。図8は、16ビットのような固定ビットの実装内で、内挿された値のすべて（図4A-4Dにおいて図示されている「a」ないし「o」）を生成するために、符号化処理の間に動き補償装置35によって、または復号処理の間に動き補償装置55によって実行されることができる内挿技術を例示する。

図7の処理のように、図8の処理は、整数ピクセル値（例えば、整数ピクセル値は、図4A-4Dの位置「b」および「h」におけるピクセル値に対応することができる）に基づいて1/2ピクセル値を生成する動き補償装置35または55により開始する（131）。動き補償装置35または55は、次に、1/2ピクセル内挿値を生成するためにこれらの1/2ピクセル値を丸め処理する（132）が、1/2ピクセル値の非丸め処理バージョンも記憶する（133）。

次に、動き補償装置35または55は、非丸め処理の1/2ピクセル値に基づいて追加の1/2ピクセル値（例えば、図4A-4Dにおける位置「j」に対応する値）を生成する。「j」に依拠する1/4ピクセルの正確性を犠牲にせずにこの値が固定のビット深さ（例えば、１６ビット）内に収まることを確実にする（135）ために、必要な場合は、動き補償装置35または55は、追加の1/2ピクセル値を丸め処理する（例えば、図4A-4Dにおける位置「j」に対応する値）。動き補償装置35または55は、次に、非丸め処理の1/2ピクセル値、追加の1/2ピクセル値と整数ピクセル値とに基づいて1/4ピクセル値を生成することができる（136）。このようにして、図4Dにおいて斜線により図示されているすべての1/4ピクセル値（例えば、位置「a」、「c」、「d」、「e」、「f」、「g」、「i」、「k」、「l」、「m」、「n」および「o」）が生成されることができる。上記の表および議論は、この処理において実行されることができる演算に対するより詳細な説明を提供する。

図7および8の技術は、多くの異なる内挿コンテキストに適用されることができる。詳細には、これらの技術は、予め定められた内挿フィルターを使用する、本件明細書記載の他の技術によりまたはこれらの技術によらずに使用されることができる。言い換えると、中間丸め処理を除去または著しく低減する図7および8の技術は、１つまたは複数の予め定められた内挿フィルターにしたがって内挿の間に使用されることができるが、固定の内挿フィルターを使用する内挿または可能性として適応型改善内挿技術により使用されることもできる。したがって、本件明細書記載の異なる技術は、一緒に実行される必要はないが、多くの異なる内挿設定または状況において所望のアプリケーションを有することができる。

本件開示の技術は、ワイヤレスハンドセット、および集積回路（IC）または１セットのIC（つまり、チップセット）を含む広い様々なデバイスまたは装置において実施されることができる。記載されているどのコンポーネント、モジュール、または装置も、機能的態様を強調するために提供されており、必ずしも異なるハードウェア装置などによる実現を必要とするものではない。

したがって、本件明細書記載の技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実装されることができる。ハードウェアにおいて実装される場合、モジュール、装置またはコンポーネントとして説明されたいかなる特徴も、集積論理デバイスにおいて一緒に実装されるか、または分離しているが相互運用性のある論理デバイスとして別々に実装されることができる。ソフトウェアにおいて実装される場合、本件技術は、プロセッサーにおいて実行されるとき、上で記載された方法の1つまたは複数を実行する命令を具備するコンピュータ可読媒体の少なくとも一部によって実現されることができる。コンピュータ可読媒体は、コンピュータ可読記憶媒体を具備することができ、およびコンピュータプログラムの一部を形成することができる。コンピュータプログラムは、パッケージングマテリアルを含んでもよい。コンピュータ可読記憶媒体は、同期動的ランダムアクセスメモリー（SDRAM）、読み出し専用メモリー（ROM）、非発揮性ランダムアクセスメモリー（NVRAM）、電子的消去可能プログラム可能読み出し専用メモリー（EEPROM）、フラッシュメモリー、磁気または光データ記憶媒体などのようなランダムアクセスメモリー（RAM）を具備することができる。当該技術は、追加的にまたは代替的に、コンピュータによって接続、読み出し、および／または実行されることができる命令またはデータ構造の形式でコードを搬送または通信するコンピュータ可読通信媒体の少なくとも一部によって現実化されることができる。

前記コードは、1つまたは複数のデジタル信号プロセッサー（DSP）、一般目的マイクロプロセッサー、特定用途集積回路（ASIC）、フィールドプログラム可能論理アレー（FPGA）、または他の同等の集積回路または離散論理回路のような1つまたは複数のプロセスによって実行されることができる。したがって、本件明細書において使用されるような「プロセッサー」という用語は、前述の構造のうちのいずれかまたは本件明細書記載の技術の実装に適した任意の他の構造のことを言うことができる。加えて、いくつかの態様において、本件明細書において記載された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内で提供されることができ、または結合されたビデオ符号化器・復号器（CODEC）に組み入れられることができる。また、本件技術は、1つまたは複数の回路または論理エレメントにおいて十分に実装されることができる。

以上において、本件開示の様々な態様が説明された。これらの特徴および他の態様は、以下の特許請求の範囲の範囲内である。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ビデオデータを符号化する方法であって、前記方法は、
予測データを生成することと、ここにおいて、前記予測データを生成することは、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記予測データに基づいて前記ビデオデータを符号化することと
を具備する方法。
［Ｃ２］複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することは、複数の異なるセットの予め定義される内挿フィルター係数に基づいてレファレンスビデオデータのピクセル値を内挿することを具備する、Ｃ1に記載の方法。
［Ｃ３］前記ビデオデータを符号化することは、
前記異なる予め定義される内挿フィルターの各々と関連する前記予測データに基づいて前記ビデオデータを符号化することと、および
最高のデータ圧縮レベルを達成する符号化されたビデオデータを選択することと
を具備する、Ｃ1に記載の方法。
［Ｃ４］前記ビデオデータを符号化することは、
前記最高のデータ圧縮レベルと関連する特定の内挿フィルターを識別することと、および
前記特定の内挿フィルターを識別するために復号器へのシンタックスを符号化することと
をさらに具備する、Ｃ3に記載の方法。
［Ｃ５］前記ビデオデータの異なるコード化単位のための前記予測データを生成するために使用される異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化することをさらに具備する、Ｃ4に記載の方法。
［Ｃ６］前記レファレンスビデオデータの異なるビデオブロックのために使用される異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化することをさらに具備する、Ｃ4に記載の方法。
［Ｃ７］前記予め定義される内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されるビデオコード化に基づいて予め定義される、Ｃ1に記載の方法。
［Ｃ８］前記予め定義される内挿フィルターのうちの少なくとも１つと関連するピクセル値を内挿することは、
整数ピクセル値に基づいて1/2ピクセル値を生成することと、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶することと、および
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することと
を含む、Ｃ1に記載の方法。
［Ｃ９］前記値のうちのあらゆるものが16ビットデータ構成内に記憶されることができる、Ｃ8に記載の方法であって、前記方法は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成することと、
前記他の1/2ピクセル値が前記16ビットデータ構成内に記憶されることができるように前記他の1/2ピクセル値を丸め処理することと、および
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成することと
をさらに具備する、Ｃ8に記載の方法。
［Ｃ１０］ビデオデータを復号する方法であって、前記方法は、
複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信することと、
予測データを生成することと、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記予測データに基づいて前記ビデオデータを復号することと
を具備する方法。
［Ｃ１１］前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することは、前記シンタックスエレメントによって識別される予め定義される1セットの内挿フィルター係数に基づいてレファレンスビデオデータのピクセル値を内挿することを具備する、Ｃ10に記載の方法。
［Ｃ１２］前記予め定義される内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されるビデオコード化に基づいて予め定義される、Ｃ10に記載の方法。
［Ｃ１３］ピクセル値を内挿することは、
整数ピクセル値に基づいて1/2ピクセル値を生成することと、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶することと、および
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することと
を含む、Ｃ10に記載の方法。
［Ｃ１４］前記値のうちのあらゆるものが16ビットデータ構成内に記憶されることができる、Ｃ13に記載の方法であって、ピクセル値を内挿することは、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成することと、
前記他の1/2ピクセル値が前記16ビットデータ構成内に記憶されることができるように前記他の1/2ピクセル値を丸め処理することと、および
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成することと
を含む、Ｃ13に記載の方法。
［Ｃ１５］前記予測データを生成するために使用される異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信することと、および前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿することとをさらに具備するＣ10に記載の方法。
［Ｃ１６］前記予測データを生成するために使用されるレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信することと、および前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿することとをさらに具備するＣ10に記載の方法。
［Ｃ１７］ビデオデータを符号化する装置であって、前記装置は、予測データを生成する動き補償装置を含むビデオ符号化器を具備する装置であって、
前記動き補償装置は、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿し、および
前記ビデオ符号化器は、前記予測データに基づいて前記ビデオデータを符号化する、装置。
［Ｃ１８］前記複数の異なる予め定義される内挿フィルターは、複数の異なるセットの予め定義される内挿フィルター係数によって定義される、Ｃ17に記載の装置。
［Ｃ１９］前記ビデオ符号化器は、
前記異なる予め定義される内挿フィルターの各々と関連する前記予測データに基づいて前記ビデオデータを符号化し、および
最高のデータ圧縮レベルを達成する符号化されたビデオデータを選択する、Ｃ17に記載の装置。
［Ｃ２０］前記ビデオ符号化器は、
前記最高のデータ圧縮レベルと関連する特定の内挿フィルターを識別し、および
前記特定の内挿フィルターを識別するために復号器へのシンタックスを符号化する、Ｃ19に記載の装置。
［Ｃ２１］前記ビデオ符号化器は、
前記ビデオデータの異なるコード化単位のための前記予測データを生成するために使用される異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化する、Ｃ20に記載の装置。
［Ｃ２２］前記ビデオ符号化器は、
前記レファレンスビデオデータの異なるビデオブロックのために使用される異なる内挿フィルターを識別するために異なるシンタックスエレメントを符号化する、Ｃ20に記載の装置。
［Ｃ２３］前記予め定義される内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されるビデオコード化に基づいて予め定義される、Ｃ17に記載の装置。
［Ｃ２４］前記動き補償装置は、
整数ピクセル値に基づいて1/2ピクセル値を生成し、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する、Ｃ17に記載の装置。
［Ｃ２５］前記値のうちのあらゆるものが16ビットデータ構成内に記憶されることができる、Ｃ24に記載の装置であって、前記動き補償装置は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成し、
前記他の1/2ピクセル値が前記16ビットデータ構成内に記憶されることができるように前記他の1/2ピクセル値を丸め処理し、および
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成する、Ｃ24に記載の装置。
［Ｃ２６］前記装置は、集積回路を具備する、Ｃ17に記載の装置。
［Ｃ２７］前記装置は、マイクロプロセッサーを具備する、Ｃ17に記載の装置。
［Ｃ２８］ビデオデータを復号する装置であって、前記装置は、動き補償装置を含むビデオ復号器を具備する装置であって、
前記ビデオ復号器は、複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信し、
前記動き補償装置は、予測データを生成し、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記ビデオ復号器は、前記予測データに基づいて前記ビデオデータを復号する、装置。
［Ｃ２９］前記複数の異なる予め定義される内挿フィルターは、複数の異なるセットの予め定義される内挿フィルター係数によって定義される、Ｃ28に記載の装置。
［Ｃ３０］前記予め定義される内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されるビデオコード化に基づいて予め定義される、Ｃ28に記載の装置。
［Ｃ３１］前記動き補償装置は、
整数ピクセル値に基づいて1/2ピクセル値を生成し、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、および
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する、Ｃ28に記載の装置。
［Ｃ３２］前記値のうちのあらゆるものが16ビットデータ構成内に記憶されることができる、Ｃ31に記載の装置であって、前記動き補償装置は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成し、
前記他の1/2ピクセル値が前記16ビットデータ構成内に記憶されることができるように前記他の1/2ピクセル値を丸め処理し、および
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成する、Ｃ31に記載の装置。
［Ｃ３３］前記ビデオ復号器は、前記予測データを生成するために使用される異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信し、および前記動き補償装置は、前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿する、Ｃ28に記載の装置。
［Ｃ３４］前記ビデオ復号器は、前記予測データを生成するために使用されるレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信し、および前記動き補償装置は、前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿する、Ｃ28に記載の装置。
［Ｃ３５］前記装置は、集積回路を具備する、Ｃ28に記載の装置。
［Ｃ３６］前記装置は、マイクロプロセッサーを具備する、Ｃ28に記載の装置。
［Ｃ３７］実行の際にビデオデータをデバイスに符号化させる命令を具備するコンピュータ可読記憶媒体であって、前記命令は、
予測データを生成することと、ここにおいて、前記予測データを生成することは、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記予測データに基づいて前記ビデオデータを符号化することと
を前記デバイスにさせる、コンピュータ可読記憶媒体。
［Ｃ３８］前記複数の異なる予め定義される内挿フィルターは、複数の異なるセットの予め定義される内挿フィルター係数によって定義される、Ｃ37に記載のコンピュータ可読記憶媒体。
［Ｃ３９］前記命令は、
前記異なる予め定義される内挿フィルターの各々と関連する前記予測データに基づいて前記ビデオデータを符号化することと、および
最高のデータ圧縮レベルを達成する符号化されたビデオデータを選択することと
を前記デバイスにさせる、Ｃ37に記載のコンピュータ可読記憶媒体。
［Ｃ４０］実行の際にビデオデータをデバイスに復号させる命令を具備するコンピュータ可読記憶媒体であって、前記命令は、
複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信するとすぐ、
予測データを生成することと、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記予測データに基づいて前記ビデオデータを復号することと
を前記デバイスにさせる、コンピュータ可読記憶媒体。
［Ｃ４１］前記予め定義される内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されるビデオコード化に基づいて予め定義される、Ｃ40に記載のコンピュータ可読記憶媒体。
［Ｃ４２］前記命令は、
前記予測データを生成するために使用される異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信するとすぐ、
前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿すること
を前記デバイスにさせる、Ｃ40に記載のコンピュータ可読記憶媒体。
［Ｃ４３］前記命令は、
前記予測データを生成するために使用されるレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信するとすぐ、
前記異なるシンタックスエレメントによって識別される異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿すること
を前記デバイスにさせる、Ｃ40に記載のコンピュータ可読記憶媒体。
［Ｃ４４］ビデオデータを符号化するデバイスであって、前記デバイスは、
予測データを生成するための手段と、ここにおいて、前記予測データを生成するための手段は、複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含む、および
前記予測データに基づいて前記ビデオデータを符号化するための手段と
を具備するデバイス。
［Ｃ４５］ビデオデータを復号するデバイスであって、前記デバイスは、
複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信するための手段と、
予測データを生成するための手段と、ここにおいて、前記予測データを生成するための手段は、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含む、および
前記予測データに基づいて前記ビデオデータを復号するための手段と
を具備するデバイス。
［Ｃ４６］ビデオデータを符号化するデバイスであって、前記デバイスは、
複数の異なる予め定義される内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することによって予測データを生成し、および前記予測データに基づいて前記ビデオデータを符号化する動き補償装置を含むビデオ符号化器と、および
前記ビデオデータを他のデバイスに送信するワイヤレス送信機と
を具備するデバイス。
［Ｃ４７］前記デバイスは、ワイヤレス通信ハンドセットを具備する、Ｃ46に記載のデバイス。
［Ｃ４８］ビデオデータを復号するデバイスであって、前記デバイスは、
前記ビデオデータを受信するワイヤレス受信機と、および
複数の異なる予め定義される内挿フィルターから内挿フィルターを識別するシンタックスエレメントを受信し、
予測データを生成し、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別される前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含む、および
前記予測データに基づいて前記ビデオデータを復号する
動き補償装置を含むビデオ復号器と
を具備するデバイス。
［Ｃ４９］前記デバイスは、ワイヤレス通信ハンドセットを具備する、Ｃ48に記載のデバイス。

Claims

ビデオデータを符号化する方法であって、前記方法は、
予測データの複数の異なるセットを生成することと、ここにおいて、前記予測データの複数の異なるセットを生成することは、複数の異なる予め定義された内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含み、
前記予測データの複数の異なるセットに基づいて前記ビデオデータの複数のバージョンを符号化することと、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、
最高のデータ圧縮レベルを達成する、前記ビデオデータの符号化された複数のバージョンのうちの１つを識別することと、
前記最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた特定の内挿フィルターを識別することと、ここにおいて、前記予め定義された内挿フィルターのうちの前記特定の内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行され、
前記予め定義された内挿フィルターのうちの特定の内挿フィルターを識別するために、前記サブピクセル位置レベルでシンタックスエレメントを符号化することと
を具備する方法。
複数の異なる予め定義された内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することは、予め定義された内挿フィルター係数の複数の異なるセットに基づいてレファレンスビデオデータのピクセル値を内挿することを具備する、請求項1に記載の方法。
前記ビデオデータの異なるコード化単位のための前記予測データを生成するために使用された異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために、異なるシンタックスエレメントを符号化すること
をさらに具備する、請求項１に記載の方法。
前記レファレンスビデオデータの異なるビデオブロックのために使用された異なる内挿フィルターを識別するために、異なるシンタックスエレメントを符号化すること
をさらに具備する、請求項１に記載の方法。
前記予め定義された内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されたビデオコード化に基づいて予め定義される、請求項1に記載の方法。
前記予め定義された内挿フィルターのうちの少なくとも１つと関連するピクセル値を内挿することは、
整数ピクセル値に基づいて1/2ピクセル値を生成することと、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶することと、
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することと
を含む、請求項1に記載の方法。
前記値のうちのあらゆるものが16ビットデータ構成内で記憶されることができ、前記方法は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成することと、
前記他の1/2ピクセル値が前記16ビットデータ構成内で記憶されることができるように前記他の1/2ピクセル値を丸め処理することと、
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成することと
をさらに具備する、請求項６に記載の方法。
ビデオデータを復号する方法であって、前記方法は、
最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた内挿フィルターを識別するサブピクセル位置レベルのシンタックスエレメントを受信することと、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、前記サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、前記内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行されたものであり、
予測データを生成することと、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別された前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含み、
前記予測データに基づいて前記ビデオデータを復号することと
を具備する方法。
前記シンタックスエレメントによって識別された前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することは、前記シンタックスエレメントによって識別された内挿フィルター係数の予め定義されたセットに基づいてレファレンスビデオデータのピクセル値を内挿することを具備する、請求項８に記載の方法。
前記予め定義された内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されたビデオコード化に基づいて予め定義される、請求項８に記載の方法。
ピクセル値を内挿することは、
整数ピクセル値に基づいて1/2ピクセル値を生成することと、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理することと、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶することと、
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成することと
を含む、請求項８に記載の方法。
前記値のうちのあらゆるものが16ビットデータ構成内で記憶されることができ、ピクセル値を内挿することは、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成することと、
前記他の1/2ピクセル値が前記16ビットデータ構成内で記憶されることができるように前記他の1/2ピクセル値を丸め処理することと、
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成することと
を含む、請求項１１に記載の方法。
前記予測データを生成するために使用された異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信することと、前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿することと、をさらに具備する請求項８に記載の方法。
前記予測データを生成するために使用されたレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信することと、前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿することと、をさらに具備する請求項８に記載の方法。
ビデオデータを符号化する装置であって、前記装置は、
予測データの複数の異なるセットを生成するように構成された動き補償装置を含むビデオ符号化器であって、前記動き補償装置は、複数の異なる予め定義された内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するようにさらに構成される、ビデオ符号化器を具備し、
前記ビデオ符号化器は、前記予測データの複数の異なるセットに基づいて前記ビデオデータの複数のバージョンを符号化するようにさらに構成され、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、
前記ビデオ符号化器は、最高のデータ圧縮レベルを達成する、前記ビデオデータの符号化された複数のバージョンのうちの１つを識別するようにさらに構成され、
前記ビデオ符号化器は、前記最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた特定の内挿フィルターを識別するようにさらに構成され、ここにおいて、前記予め定義された内挿フィルターのうちの前記特定の内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行され、
前記ビデオ符号化器は、前記予め定義された内挿フィルターのうちの特定の内挿フィルターを識別するために、前記サブピクセル位置レベルでシンタックスエレメントを符号化するようにさらに構成される、装置。
前記複数の異なる予め定義された内挿フィルターは、予め定義された内挿フィルター係数の複数の異なるセットによって定義される、請求項１５に記載の装置。
前記ビデオ符号化器は、前記ビデオデータの異なるコード化単位のための前記予測データを生成するために使用された異なるレファレンスビデオ単位のための異なる内挿フィルターを識別するために、異なるシンタックスエレメントを符号化するようにさらに構成される、請求項１５に記載の装置。
前記ビデオ符号化器は、前記レファレンスビデオデータの異なるビデオブロックのために使用された異なる内挿フィルターを識別するために、異なるシンタックスエレメントを符号化するように構成される、請求項１５に記載の装置。
前記予め定義された内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されたビデオコード化に基づいて予め定義される、請求項１５に記載の装置。
前記動き補償装置は、
整数ピクセル値に基づいて1/2ピクセル値を生成し、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する
ようにさらに構成される、請求項１５に記載の装置。
前記値のうちのあらゆるものが16ビットデータ構成内で記憶されることができ、前記動き補償装置は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成し、
前記他の1/2ピクセル値が前記16ビットデータ構成内で記憶されることができるように前記他の1/2ピクセル値を丸め処理し、
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成する
ようにさらに構成される、請求項２０に記載の装置。
前記装置は、集積回路を具備する、請求項１５に記載の装置。
前記装置は、マイクロプロセッサーを具備する、請求項１５に記載の装置。
ビデオデータを復号する装置であって、前記装置は、動き補償装置を含むビデオ復号器を具備し、
前記ビデオ復号器は、最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた内挿フィルターを識別するサブピクセル位置レベルのシンタックスエレメントを受信するように構成され、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、前記サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、前記内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行されたものであり、
前記動き補償装置は、予測データを生成するように構成され、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別された前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含み、
前記ビデオ復号器は、前記予測データに基づいて前記ビデオデータを復号するようにさらに構成される、装置。
前記複数の異なる予め定義された内挿フィルターは、予め定義された内挿フィルター係数の複数の異なるセットによって定義される、請求項２４に記載の装置。
前記予め定義された内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されたビデオコード化に基づいて予め定義される、請求項２４に記載の装置。
前記動き補償装置は、
整数ピクセル値に基づいて1/2ピクセル値を生成し、
1/2ピクセル内挿値を生成するために前記1/2ピクセル値を丸め処理し、
前記1/2ピクセル値の非丸め処理バージョンとして前記1/2ピクセル値を記憶し、
前記1/2ピクセル値の前記非丸め処理バージョンと前記整数ピクセル値とに基づいて1/4ピクセル値を生成する
ようにさらに構成される、請求項２４に記載の装置。
前記値のうちのあらゆるものが16ビットデータ構成内で記憶されることができ、前記動き補償装置は、
前記1/2ピクセル値の複数の前記非丸め処理バージョンに基づいて他の1/2ピクセル値を生成し、
前記他の1/2ピクセル値が前記16ビットデータ構成内で記憶されることができるように前記他の1/2ピクセル値を丸め処理し、
前記他の1/2ピクセル値と前記1/2ピクセル値の前記非丸め処理バージョンとに基づいて追加の1/4ピクセル値を生成する
ようにさらに構成される、請求項２７に記載の装置。
前記ビデオ復号器は、前記予測データを生成するために使用された異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信するようにさらに構成され、前記動き補償装置は、前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿するようにさらに構成される、請求項２４に記載の装置。
前記ビデオ復号器は、前記予測データを生成するために使用されたレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信するようにさらに構成され、前記動き補償装置は、前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿するようにさらに構成される、請求項２４に記載の装置。
前記装置は、集積回路を具備する、請求項２４に記載の装置。
前記装置は、マイクロプロセッサーを具備する、請求項２４に記載の装置。
実行されるとデバイスにビデオデータを符号化させる命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、前記デバイスに、
予測データの複数の異なるセットを生成することと、ここにおいて、前記予測データの複数の異なるセットを生成することは、複数の異なる予め定義された内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含み、
前記予測データの複数の異なるセットに基づいて前記ビデオデータの複数のバージョンを符号化することと、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、
最高のデータ圧縮レベルを達成する、前記ビデオデータの符号化された複数のバージョンのうちの１つを識別することと、
前記最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた特定の内挿フィルターを識別することと、ここにおいて、前記予め定義された内挿フィルターのうちの前記特定の内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行され、
前記予め定義された内挿フィルターのうちの特定の内挿フィルターを識別するために、前記サブピクセル位置レベルでシンタックスエレメントを符号化することと
をさせる、コンピュータ可読記憶媒体。
前記複数の異なる予め定義された内挿フィルターは、予め定義された内挿フィルター係数の複数の異なるセットによって定義される、請求項３３に記載のコンピュータ可読記憶媒体。
実行されるとデバイスにビデオデータを復号させる命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、前記デバイスに、
最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた内挿フィルターを識別するサブピクセル位置レベルのシンタックスエレメントを受信するとすぐ、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、前記サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、前記内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行されたものであり、
予測データを生成することと、ここにおいて、前記予測データを生成することは、前記シンタックスエレメントによって識別された前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿することを含み、
前記予測データに基づいて前記ビデオデータを復号することと
をさせる、コンピュータ可読記憶媒体。
前記予め定義された内挿フィルターのうちの少なくともいくつかは、テストビデオシーケンスに適用されたビデオコード化に基づいて予め定義される、請求項３５に記載のコンピュータ可読記憶媒体。
前記命令は、前記デバイスに、
前記予測データを生成するために使用された異なるレファレンスビデオ単位のための異なるシンタックスエレメントを受信するとすぐ、
前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるレファレンスビデオ単位のためのピクセル値を内挿すること
をさせる、請求項３５に記載のコンピュータ可読記憶媒体。
前記命令は、前記デバイスに、
前記予測データを生成するために使用されたレファレンスビデオ単位の異なるビデオブロックのための異なるシンタックスエレメントを受信するとすぐ、
前記異なるシンタックスエレメントによって識別された異なる内挿フィルターに基づいて前記異なるビデオブロックのためのピクセル値を内挿すること
をさせる、請求項３５に記載のコンピュータ可読記憶媒体。
ビデオデータを符号化するデバイスであって、前記デバイスは、
予測データの複数の異なるセットを生成するための手段と、ここにおいて、前記予測データの複数の異なるセットを生成するための手段は、複数の異なる予め定義された内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含み、
前記予測データの複数の異なるセットに基づいて前記ビデオデータの複数のバージョンを符号化するための手段と、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、
最高のデータ圧縮レベルを達成する、前記ビデオデータの符号化された複数のバージョンのうちの１つを識別するための手段と、
前記最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた特定の内挿フィルターを識別するための手段と、ここにおいて、前記予め定義された内挿フィルターのうちの前記特定の内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行され、
前記予め定義された内挿フィルターのうちの特定の内挿フィルターを識別するために、前記サブピクセル位置レベルでシンタックスエレメントを符号化するための手段と
を具備するデバイス。
ビデオデータを復号するデバイスであって、前記デバイスは、
最高のデータ圧縮レベルを有するものとして識別された前記ビデオデータの符号化された複数のバージョンのうちの１つに関連づけられた内挿フィルターを識別するサブピクセル位置レベルのシンタックスエレメントを受信するための手段と、ここにおいて、前記ビデオデータの符号化された複数のバージョンは、前記サブピクセル位置レベルでのピクセル値の非丸め処理バージョンを含み、前記内挿フィルターを識別することに関連づけられた選択は、前記サブピクセル位置レベルで実行されたものであり、
予測データを生成するための手段と、ここにおいて、前記予測データを生成するための手段は、前記シンタックスエレメントによって識別された前記内挿フィルターに基づいてレファレンスビデオデータのピクセル値を内挿するための手段を含み、
前記予測データに基づいて前記ビデオデータを復号するための手段と
を具備するデバイス。
前記ビデオデータを他のデバイスに送信するワイヤレス送信機をさらに具備する、請求項１５に記載の装置。
前記装置は、ワイヤレス通信ハンドセットを具備する、請求項４１に記載の装置。
前記ビデオデータを受信するワイヤレス受信機をさらに具備する、請求項２４に記載の装置。
前記装置は、ワイヤレス通信ハンドセットを具備する、請求項４３に記載の装置。