JP5628155B2 - 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置 - Google Patents

Description

本発明は、ビデオ符号化及び復号化の分野に関し、より詳細には、動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置に関する。
本出願は、2008年6月12日に提出された米国仮出願第61/060,929号（代理人番号PU080087）の利益を特許請求するものである。

現在、適応型の補間フィルタリング技術は、グローバルデータ、すなわち全体画像からの画像データを考慮するために最適化されたフィルタと使用される。これは、フィルタは、画像全体からの信号の統計量を平均する（又は全体的に結合する）ことを意味する。この事実は、係る適応型の補間フィルタのフィルタリング能力に影響を及ぼし、多くの場合、画像のある領域におけるオーバフィルタリング及び画像の他の領域におけるアンダーフィルタリングを招く。

さらに、適応型の参照フィルタは、動き補償のために使用される。動き補償予測は効率的ではなく及び／又は問題があるシナリオが存在する。たとえば、１つの係る問題は、（たとえば変化している焦点、ハンドヘルド装置によるカメラパニング、シーン変化のために形成される特殊効果等により生じる）符号化される参照フレームと現在のフレームとの間の鮮明さと不鮮明さとの間の不調和である。適応型の参照フィルタは、係る不調和を低減することができる。さらに、参照フィルタリングは、動き補償の前に、エリアシングの低減と量子化雑音の抑圧のために使用される。しかし、フィルタは、平均すると、特定の領域における動き補償のために使用される全体のデータセットについて最適である。

従来の適応型の参照フレームのフィルタリングは、動き補償のサブピクセルの参照を生成することを狙いとしている。たとえば、適応補間フィルタは、第一の従来技術のアプローチにおいてフレームベースで提案されている。ISO/IEC（International Organization for Standardization/International Electrotechnical Commission）MPEG-4（Moving Picture Experts Group-4）Part 10 AVC（Advanced Video Coding）標準／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下、MPEG-4 AVC標準）に従って、固定された６タップフィルタにより補間された参照フレームを使用して動きベクトルを取得した後、適応型の補間フィルタの係数は、SSD（Sum of Square Difference）又はSAD（Sum of Absolute Difference）のような整合誤差の測度を最小にすることで計算される。適応フィルタは、補間された参照画像を生成し、補間された参照画像は、その後に動き補償のために使用される。このプロセスは、新たに補間されたサブピクセルの参照により更なる動き予測を実行しない。フィルタ設計は、垂直及び水平方向に分離可能であり、双一次フィルタでカスケード接続される。

さらに、第二の従来のアプローチは、上述された第一の従来のアプローチのバージョンを改善する適応型の補間フィルタの別のバージョンを提供する。はじめに、動きベクトルは、標準的な補間フィルタにより得られる。動きベクトルのサブピクセルに依存して、異なる補間フィルタは、異なるサブピクセルの位置について設計される。採用されるフィルタは、解決されるべき係数の数を低減するために所定の対称な制約をもつ、２次元の分離不可能なフィルタである。第二の動き予測／補償は、サブピクセルの参照を生成するため、これら新たなフィルタで実行される。

また、第三の従来のアプローチは、補間及び適応フィルタの計算が要求する複雑度における影響を低減するため、第二の従来のアプローチに対する変形を提案している。第三の従来のアプローチでは、１次元（１Ｄ）フィルタのみが使用される。垂直、水平及び対角線フィルタは、水平、垂直及び対角線のサブピクセルの参照をそれぞれ計算するために考慮される。前のケースに類似して、前に得られた動きベクトルの最初のセットに基づいて、最適なフィルタが得られる。

さらに、現在の画像及び参照画像に基づいて、これら２つの画像間の不調和を補償することを狙いとするフィルタのセットを適応的に計算する第四の従来のアプローチが提案されている。次いで、計算されたフィルタは、参照画像が予測のために使用される前に、参照画像に適用される。これらのフィルタは、予測ビデオ符号化のために良好な整合を提供するため、フィルタリングされた画素を持つ新たな参照が生成されるように動作する。

したがって、フレーム又はスライスであることがある領域全体について最適なフィルタが計算されることは、上記のアプローチの全てに共通することである。これらの画像領域のそれぞれについて、フィルタ係数は、明示的に符号化され、デコーダに送出される。これらの係数の送信の典型的な設定は、それぞれのスライスヘッダに埋め込むことである。これらのアプローチが対処しないことは、画像の統計量が空間を通して変化し、したがって最適なフィルタが空間を通して適合すべきである点である。

従来技術のこれらの問題及び課題、並びに他の問題及び課題は、本発明により対処され、動き補償の補間及び参照画像のフィルタリングのための、局所的な適応フィルタリングの方法及び装置に向けられる。

本発明の態様によれば、装置が提供され、本装置は、画像データを符号化するエンコーダを含む。エンコーダは、画像データに関して参照画像のフィルタリングと補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを実行する少なくとも１つの局所的な適応フィルタを含む。

本発明の別の態様によれば、方法が提供され、本方法は、参照画像のフィルタリングと補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを使用して画像データを符号化することを含む。

本発明の更に別の態様によれば、装置が提供され、本装置は、画像データを復号化するデコーダを含む。デコーダは、画像データに関する参照画像のフィルタリング及び補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを実行する少なくとも１つの局所的な適応フィルタを含む。

本発明の更に別の態様によれば、方法が提供され、本方法は、参照画像のフィルタリング及び補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを使用して画像データを復号化することを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。本発明は、以下の例示的な図面に従って良好に理解される。

本発明の実施の形態に係る、局所的な適応参照フィルタリングによる例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、局所的な適応参照フィルタリングによる例示的なビデオデコーダを示すブロック図である。 本発明の実施の形態に係る、フィルタの最適化のためにトレーニングエリアを示すピクチャブロックの例示的なセットを示すブロック図である。 本発明の実施の形態に係る、局所的な適応フィルタリングによるビデオ符号化の例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、局所的な適応フィルタリングによるビデオ復号化の例示的な方法を示すフローダイアグラムである。

本発明は、動き補償の補間フィルタリング及び参照画像のフィルタリングのための、局所的な適応フィルタリングの方法及び装置に向けられる。
本実施の形態は、本発明の原理を例示するものである。当業者であれば、本実施の形態で明示的に記載又は図示されないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれるアレンジメントを創作することができることを理解されたい。

本明細書で引用される全ての例及び条件付きの言語は、当該技術分野を促進するために本発明者により寄与される本発明及び概念の理解において読者を支援することが意図され、特に引用される例及び条件に限定されないように解釈されるべきである。

さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、その特定の例を引用する説明と同様に、その構造的及び機能的に等価なものを包含することが意図される。さらに、係る等価なものは、現在知られている等価なものと同様に、将来に開発される等価なもの、すなわち構造に関わらずに同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

したがって、たとえば、本実施の形態で与えられるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことが当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表され、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解される。

図示される様々なエレメントの機能は、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用により提供される場合がある。プロセッサにより提供されたとき、これらの機能は、１つの専用プロセッサにより、１つの共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性メモリを含む場合がある。

コンベンショナル及び／又はカスタムの他のハードウェアが含まれる場合がある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作により、専用ロジックにより、プログラム制御と専用ロジックのやり取りにより、或いは手動的に実行される場合があり、特定の技術は、文脈からより詳細に理解されるように実現者により選択可能である。

本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、たとえばａ）その機能を実行する回路エレメントの組み合わせ、ｂ）その機能を実行するためにそのソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロプロセッサ等を含む任意の形態のソフトウェア、を含むその機能を実行する任意の方法を包含することが意図される。請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項で定義されるように纏められる事実にある。したがって、それらの機能を提供することができる任意の手段は、本実施の形態で示されるものに等価であると見なされる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、その他の変形例に対する明細書における参照と同様に、実施の形態と共に記載される特徴、構造、特徴等が本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書全体を通して様々な位置に現れる記載「１実施の形態では」又は「実施の形態では」の出現は、他の変形例の出現と同様に、必ずしも、同じ実施の形態を全て示すものではない。

なお、「／」、「及び／又は」、「少なくとも１つの」の何れかの使用は、たとえば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「少なくとも１つのＡ及びＢ」の場合、最初に列挙されたオプションＡのみの選択、又は第二の列挙されたオプションＢのみの選択、又はオプションＡ及びＢの両者の選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「少なくとも１つのＡ、Ｂ及びＣ」の場合、係る記載は、最初の列挙されたオプションＡのみの選択、又は第二の列挙されたオプションＢのみの選択、又は第三の列挙されたオプションＣのみの選択、又は第一及び第二の列挙されたオプション（Ａ及びＢ）のみの選択、又は第一及び第三の列挙されたオプション（Ａ及びＣ）の選択、又は第二及び第三の列挙されたオプション（Ｂ及びＣ）の選択、或いは全てのオプション（Ａ，Ｂ及びＣ）の選択を包含することが意図される。このことは、当業者により容易に理解されるように、多数の列挙されたアイテムについて拡張される場合がある。

さらに、本発明の１以上の実施の形態はＭＰＲＧ−４ ＡＶＣ標準に関して記載されるが、本発明は、この規格に限定されるものではなく、本発明の精神を維持しつつ、他のビデオ符号化標準、勧告及びその拡張に関して利用することができる。

さらに、本実施の形態で使用されるように、記載「グローバル」とは、全体のピクチャ、フレーム又はスライスに関して（限定されるものではないが信号の統計量を含む）１以上のアイテムを示す。対照的に、本明細書で使用されるように、記載「ローカル」とは、ピクチャ、フレーム又はスライスにおける１以上であって全て未満の画像ブロックに関して（限定されるものではないが、信号の統計量を含む）１以上のアイテムを示す。

図１を参照して、局所的な適応参照フィルタリングによる例示的なビデオエンコーダは、参照符号１００により示される。エンコーダ１００は、変換器１１０の入力と接続される出力を有する結合器１０５を含む。変換器１１０の出力は、量子化器１１５の入力と接続される。量子化器１１５の出力は、エントロピーコーダ１３０の第一の入力と逆量子化器１２０の入力と接続される。逆量子化器１２０の出力は、逆変換器１２５の入力と接続される。逆変換器１２５の出力は、結合器１７０の第一の反転入力と接続される。結合器１７０の出力は、デブロッキングフィルタ１３５の入力と接続される。デブロッキングフィルタ１３５の出力は、デコードされた参照画像のバッファ１４０の入力及び局所的な適合フィルタの予測器１５５の第一の入力と接続される。デコードされた参照画像のバッファ１４０の出力は、局所的な適応フィルタの予測器１５５の第二の入力及び参照画像フィルタ１５０の第二の入力と接続される。局所的な適応フィルタの予測器１５５の出力は、参照画像フィルタ１５０の第一の入力と接続される。参照画像フィルタ１５０の出力は、局所的に適応されたフィルタリングされた参照画像のバッファ１４５の入力と接続される。局所的に適応されたフィルタリングされた参照画像のバッファ１４５の出力は、動き／視差予測器１６０の第二の入力及び動き／視差補償器１６５の第二の入力と接続される。動き／視差予測器１６０の出力は、動き／視差補償器１６５の第一の入力及びエントロピーコーダ１３０の第二の入力と接続される。動き／視差補償器１６５の出力は、結合器１０５の反転入力と結合器１７０の第二の非反転入力と接続される。

結合器１０５の非反転入力と動き／視差予測器１６０の第一の入力は、入力ビデオを受信するため、エンコーダ１００の入力として利用可能である。エントロピーコーダ１３０の出力は、ビットストリームを出力するため、エンコーダ１００の出力として利用可能である。

図２を参照して、局所的な適応参照フィルタリングによる例示的なビデオデコーダは、参照符号２００により示される。ビデオデコーダ２００は、逆量子化器２１０の入力と接続される第一の出力を有するエントロピーデコーダ２０５を含む。逆量子化器２１０の出力は、逆変換器２１５の入力と接続される。逆変換器２１５の出力は、結合器２２０の第一の非反転入力と接続される。結合器２２０の出力は、デブロッキングフィルタ２２５の入力と接続される。デブロッキングフィルタ２２５の出力は、デコーダの参照画像のバッファ２５０の入力及び局所的な適応フィルタ予測器２３０の第二の入力と接続される。デコードされた参照画像バッファ２５０の出力は、局所的な適応フィルタ予測器２３０の第一の入力と参照画像フィルタ２３５の第一の入力と接続される。局所的な適応フィルタ予測器２３０の出力は、参照画像フィルタ２３５の第二の入力と接続される。参照画像フィルタ２３５の出力は、局所的な適応されたフィルタリングされた参照画像のバッファ２４０の入力と接続される。局所的に適応されたフィルタリングされた参照画像のバッファ２４０の出力は、動き／視差補償器２４５の第一の入力と接続される。動き／視差補償器２４５の出力は、結合器２２０の第二の非反転入力と接続される。エントロピーデコーダ２０５の第二の出力は、動き／視差補償器２４５の第二の入力と接続される。

エントロピーデコーダ２０５の入力は、ビットストリームを受信するため、デコーダ２００の入力として利用可能である。デブロッキングフィルタ２２５の出力は、ピクチャを出力するため、デコーダ２００の出力として利用可能である。

上述されたように、本発明は、動き補償補間フィルタリング及び参照画像のフィルタリングに関する局所的な適応フィルタリングのための方法及び装置に向けられる。実施の形態では、動き補償（ＭＣ）のために、局所的な適応補間フィルタ（又は局所的な適応参照フィルタ）の使用が提案される。これは、あるフィルタが使用のために選択されるピクチャ領域において動き補償された画像における少なくともエリアジング及びノイズを最小にするため、補間フィルタ及び／又は参照フィルタがピクチャに関して局所的にトレーニングされるように、少なくとも補間フィルタ及び／又は参照フィルタのピクチャコンテンツへの局所的な適応が意図される。

実施の形態では、グローバルな平均の統計量ではなく（たとえば制限されたデータセットから）データの局所的な統計量にフィルタ係数が最適化されるように、局所的な領域に適応される補間（及び／又は参照）フィルタの使用を可能にする。別の実施の形態では、局所的な適応参照フィルタを提案することで、適応参照フィルタの概念を改善することができる。このように、フィルタは、良好なフィルタリングのためにデータの局所的な特性に良好に適応される。

したがって、本発明は、動き補償について局所的な適応補間フィルタを導入する。さらに、本発明は、局所的な適応参照フレームフィルタの使用を導入する。

［ビデオエンコーダ／デコーダにおける適応参照フィルタリング］
実施の形態では、局所的に適応的にフィルタリングされた参照画像の生成の符号化及び復号化プロセスにおける更なるステップを導入する。

実施の形態では、参照画像は、動き補償のために使用される前に適応的にフィルタリングされる。実施の形態では、少なくとも１つのフィルタは、符号化されたマクロブロックごとに使用される。このフィルタは、現在のマクロブロックに関して（参照フレームからの）隣接する画素のセットが原データに最良に適応するようにフィルタリングされるように、マクロブロックごとに適応的に最適化される。図３は、係る隣接する画素の例を示す。図３を参照して、フィルタの最適化のためのトレーニングエリアを含む例示的なピクチャブロックのセットは、参照符号３００により示される。フィルタの最適化は、ブロック３００のうちの影付きの領域によっても示される、トレーニングエリア３１０に関して実行される。その後、この隣接するデータを最良にフィルタリングするフィルタは、現在のマクロブロックを予測するために使用される参照データをフィルタリングするために使用される。

実施の形態では、「トレーニングエリア」から使用される画素は、１ピクセル単位よりも精密な補間を受ける前に、フィルタリングされていない参照から予測の整数の位置の画素である。

フィルタ演算は、参照画像のフィルタリングされたバージョンを生成するため、オリジナルのサンプリンググリッドでデコードされた参照画像に適用される。

サブピクセルの参照について、３つの例示的なアプローチが記載される。本実施の形態で提供される本発明の教示が与えられるが、当業者であれば、本発明の範囲を維持しつつ、サブピクセルの参照のこれらの例示的なアプローチ及び他の例示的なアプローチを容易に予期するであろう。第一のアプローチは、１ピクセル単位の参照のフィルタリングについて生成されたフィルタを使用することを含む。第二のアプローチは、ＭＰＥＧ−４ ＡＶＣ標準の補間フィルタでサブピクセルを生成することを含むが、上述のように得られた新たな参照画像からの画素に基づく。

例示的な目的で、本発明の１以上の実施の形態は、有限インパルス応答（FIR）線形フィルタに関して記載される。しかし、本発明はFIRフィルタにのみ限定されるものではなく、本発明の精神を維持しつつ、他のタイプのフィルタが本発明の教示に従って使用される場合があることを理解されたい。たとえば、無限インパルス応答（IIR）フィルタ及び非線形フィルタを使用することもできる。さらに、多数のデコードされた参照画像を含む３次元フィルタのようなフィルタの設計において時間的な方法を考慮することも可能である。これらのタイプのフィルタ及びフィルタリング方法及び他のタイプのフィルタ及びフィルタリング方法は、本発明の精神を維持しつつ、本発明の教示に従って使用される場合がある。

適合フィルタ予測の後、実際のフィルタ演算は、動き補償プロセスの間にオンザフライで局所的に適用されるか、又は、全体の参照画像は、はじめにフィルタリングされ、補償のために使用される前に記憶される。

符号化プロセスの間、各画像ブロック当たり様々なミスマッチを補償するため、トレーニングデータと原データとの間の歪みの測度を最小にするフィルタを発見することで、フィルタが局所的且つ適応的に設計及び構成される。動き補償は、フィルタリングされた参照フレームによりブロックごとに実行される。実施の形態では、それぞれのブロックのフィルタ係数は、フィルタ係数が対応するデコーダで逆に計算されるときに送出される必要がない。局所的な適応フィルタの使用の最終的な有効又は無効は、正しい再構成のためにデコーダに送出される。ブロックレベルのフィルタ選択は、たとえば本発明の精神を維持しつつ、当業者にとって容易に明らかなるように、知られている様々な管理方法の何れかを含むシグナリング方法を使用して指示される場合がある。特定のMPEG-4 AVC標準に基づく実施の形態について、参照のインデックスメカニズムは、特定のブロックの符号化のためにどのフィルタを使用するかを指示するために使用される。デコーダ側で、局所的な適応フィルタは、エンコーダにおけるのと同じやり方で再現される。デコードされたブロックごとに生成される対応する新たな参照は、ビデオ系列を適切にデコードするために生成される。

実施の形態では、適応フィルタは、それぞれのマクロブロックについて以下の２つのステップを含む。（１）フィルタ決定／予測、及び（２）動き予測／補償。

［フィルタ決定／予測］
それぞれのブロックについて、トレイニングエリア（図３におけるトレイニングエリア３１０参照）に基づいて予測誤差のコスト関数を最小にすることで、フィルタ係数が計算される。現在のフィルタに関連する画素のみが予測プロセスに含まれる（たとえばトレイニングエリアにおける画素）。コスト関数は、たとえばSSD（sum of squared difference）、SAD（sum of absolute difference）等のような画素の絶対差の増加しない関数である。この計算されたフィルタは、次いで計算される。デコーダがデコーダ時間でフィルタを暗黙的に駆動するのを可能にするため、現在エンコードされたピクチャからの利用可能な隣接するデコードされたデータは、フィルタ予測プロセスにおけるコスト関数の参照として使用される。実施の形態では、得られたフィルタは、デコードされた再構成されたデータのトレーニングエリアにおける予測のために、参照データを最良に適応させるフィルタである。

［動き予測／補償］
前のステップで計算されたフィルタにより、参照画像は、動き補償を実行するために計算される。符号化コスト及び歪みの測度に依存して、所与のブロックは、局所的な適応参照フィルタを使用するか使用しないで符号化される。実施の形態では、対応するサイド情報は、デコーダが動作モードを選択することができるようにデコーダに送出される。

実施の形態では、局所的な適応参照フィルタを使用するとき、１ピクセル単位よりもっと精密なフィルタの使用が回避される場合がある。別の実施の形態では、１ピクセル単位よりもっと精密なフィルタの使用は、マクロブロックごとに適応的に選択される。さらに、実施の形態では、局所的に適応的な参照フィルタの使用は、マクロブロックごとに適応的に有効又は無効にされる。

表１は、本発明の実施の形態に係る、マクロブロックレベルでの局所的な適応的な参照フィルタの使用をオン／オフにするために必要なフラグを含むマクロブロックのシンタックスを示す。

図４を参照して、局所的な適応フィルタリングによるビデオ符号化の例示的な方法は、参照符号４００により示される。本方法４００は、開始ブロック４０５を含み、このブロックは、ループリミットブロック４１０に制御を移す。ループリミットブロック４１０は、マクロブロックＪからマクロブロックＮに各マクロブロックを通したループを実行し、制御を機能ブロック４１５に移す。機能ブロック４１５は、（たとえば、現在の画像の少なくとも１部、参照画像の少なくとも１部、現在の画像の少なくとも１部と参照画像の少なくとも１部との間の動きベクトル、現在の画像の少なくとも１部と参照画像の少なくとも１部の間の強度、現在の画像の少なくとも１部と参照画像の少なくとも１部の間の色情報等から）利用可能なデコードされたデータを使用して、局所的な適応フィルタの決定（たとえば、使用されるフィルタの数、フィルタの係数等を決定する）を実行し、制御を機能ブロック４２０に移す。機能ブロック４２０は、（たとえば参照画像のフィルタリングから得られる１以上のフィルタの画像における整数ピクセル及びサブピクセルを生成するため）参照画像のフィルタリングを実行し、制御を機能ブロック４２５に移す。機能ブロック４２５は、現在のマクロブロックを符号化し、制御をループリミットブロック４３０に移す。ループリミットブロック４３０は、ループを終了し、制御を終了ブロック４９９に移す。

図５を参照して、局所的な適応フィルタリングによりビデオ復号化の例示的な方法は、参照符号５００により示される。本方法５０００は、開始ブロック５０５を含み、このブロックは、制御を機能ブロック５１０に移す。ループリミットブロック５１０は、マクロブロックＪからマクロブロックＮに各マクロブロックを通してループを実行し、制御を機能ブロック５１５に移す。機能ブロック５１５は、（たとえば、現在の画像の少なくとも１部、参照画像の少なくとも１部、現在の画像の少なくとも１部と参照画像の少なくとも１部との間の動きベクトル、現在の画像の少なくとも１部と参照画像の少なくとも１部の間の強度、現在の画像の少なくとも１部と参照画像の少なくとも１部の間の色情報等から）利用可能なデコードされるデータを使用して、局所的な適応フィルタの決定（たとえば、使用されるフィルタの数、フィルタの係数等を決定する）を実行し、制御を機能ブロック５２０に移す。機能ブロック５２０は、（たとえば参照画像のフィルタリングから得られる１以上のフィルタの画像における整数画素及び／又はサブピクセルを生成するため）参照画像データのフィルタリングを実行して、制御を機能ブロック５２５に移す。機能ブロック５２５は、現在のマクロブロックの動き補償を実行し、制御をループリミットブロック５３０に移す。ループリミットブロック５３０は、ループを終了し、制御を終了ブロック５９９に移す。表１に示されるlocally_adaptive_reference_filter_flagの意味は、以下の通りである。

locally_adaptive_reference_filter_flagは、局所的な適応参照フィルタの特定のマクロブロックにおける使用（又は不使用）を示すシンタックスエレメントである。
マクロブロックデータのシンタックスにおけるlocally_adaptive_reference_filter_flagの使用は、局所的な適応参照フィルタの適応的な使用を有効にすることが対象となる。フィルタが永続的に使用されるように設定されるとき、又は決して使用されないように設定されるとき、係るシンタックスエレメントは必要ではないことが理解される。

本発明の多数の付随する利点／特徴の幾つかに関する説明が与えられ、その幾つかは、先に説明された。たとえば、１つの利点／特徴は、画像データを符号化するエンコーダを有する装置である。エンコーダは、画像データに関して、参照画像のフィルタリング及び補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを実行する少なくとも１つの局所的な適応フィルタを含む。

別の利点／特徴は、上述されたエンコーダを有する装置であり、画像データは、現在の画像に対応し、局所的な適応フィルタリングのためのフィルタ係数及びフィルタの数の少なくとも１つは、現在の画像及び参照画像から導出された情報に基づいて決定される。

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、少なくとも１つの局所的な適応フィルタは、局所的な適応フィルタリングから得られる少なくともフィルタリングされた画像における整数画素及びサブピクセルのうちの少なくとも１つを生成するために使用される。

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、多数のフィルタリングされた画像は、画像データの符号化において使用するために有効にされ、局所的な適応フィルタリングの使用又は不使用は、ブロックごとに有効にされる。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、少なくとも１つの局所的な適応フィルタは、１次元、２次元又は３次元の何れかで適用される。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、画像データは、現在の画像に対応し、少なくとも１つの局所的な適応フィルタを導出するために使用される情報は、現在の画像と参照画像との間の動き情報を含む。

また、別の利点／特徴は、上述されたエンコーダを有する装置であり、画像データは、現在の画像に対応し、少なくとも１つの局所的な適応フィルタを導出するために使用される情報は、現在の画像と参照画像との間の強度情報及び色情報の少なくとも１つを含む。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、画像データは、現在のピクチャに対応し、局所的な適応フィルタリングのフィルタ係数は、トレイニングデータに基づいて導出される。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、トレイニングデータは、現在の画像と参照画像の少なくとも１つにおける局所的な隣接する画素を含む。

本発明のこれらの特徴及び利点並びに他の特徴及び利点は、本実施の形態における教示に基づいて当業者により容易に確かめられる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせの様々な形態で実現されることが理解される。

より好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、該コンピュータにより実行される。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載される様々なプロセス及び機能は、CPUにより実行される場合がある、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはその組み合わせの何れかである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージ装置及びプリンティング装置のようなコンピュータプラットフォームに接続される場合がある。

添付図面に示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されるのが好ましいため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合がある。本明細書での教示が与えられたとき、当業者は、本発明のこれらの実現又はコンフィギュレーション及び他の実現又はコンフィギュレーションを考えることができるであろう。

例示的な実施の形態は添付図面を参照して本実施の形態で記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、様々な変形例及び変更例は、本発明の範囲又は精神から逸脱することなしに当業者により行われる場合があることを理解されたい。全ての係る変形例及び変更例は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

Claims (18)

1. 画像データを符号化するエンコーダを有する装置であって、
   前記エンコーダは、前記画像データに関して参照画像のフィルタリング及び補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを行う少なくとも１つの局所的な適応フィルタを含み、
   前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数はトレーニングデータに基づいて導出され、前記トレーニングデータは、前記現在の画像と参照画像の少なくとも１つの複数の画像ブロックにおける局所的な隣接する画素を含み、前記トレーニングデータを含むエリアから使用される画素は、サブピクセルの補間を受ける前のフィルタリングされていない参照画像からの予測の整数の位置の画素であり、前記複数の画像ブロックは、前記現在の画像と前記参照画像の少なくとも１つにおける全ての画像ブロック未満であり、
   前記少なくとも１つの局所的な適応フィルタは、前記トレーニングデータと前記現在の画像における対応するブロックとの間の歪みの測度を最小にする前記少なくとも１つの局所的な適応フィルタのうちの特定の１つを選択することで、局所的且つ適応的に構成され、
   前記少なくとも１つの局所的な適応フィルタは、マクロブロックごとに適応的に有効又は無効にされる、
   ことを特徴とする装置。
2. 前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのためのフィルタ係数及びフィルタの数の少なくとも１つは、前記現在の画像と参照画像から導出される情報に基づいて決定される、
   請求項１記載の装置。
3. 参照画像のフィルタリング及び補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを使用して画像データを符号化するステップを含む方法であって、
   前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数はトレーニングデータに基づいて導出され、前記トレーニングデータは、前記現在の画像と参照画像の少なくとも１つの複数の画像ブロックにおける局所的な隣接する画素を含み、前記トレーニングデータを含むエリアから使用される画素は、サブピクセルの補間を受ける前のフィルタリングされていない参照画像からの予測の整数の位置の画素であり、前記複数の画像ブロックは、前記現在の画像と前記参照画像の少なくとも１つにおける全ての画像ブロック未満であり、
   少なくとも１つの局所的な適応フィルタは、前記トレーニングデータと前記現在の画像における対応するブロックとの間の歪みの測度を最小にする前記少なくとも１つの局所的な適応フィルタのうちの特定の１つを選択することで、局所的且つ適応的に構成され、
   前記少なくとも１つの局所的な適応フィルタは、マクロブロックごとに適応的に有効又は無効にされる、
   ことを特徴とする方法。
4. 前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのためのフィルタ係数及びフィルタの数の少なくとも１つは、前記現在の画像と参照画像から導出される情報に基づいて決定される、
   請求項３記載の方法。
5. 画像データを復号化するデコーダを有する装置であって、
   前記デコーダは、前記画像データに関して、参照画像のフィルタリングと補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを実行する少なくとも１つの局所的な適応フィルタを含み、
   前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数はトレーニングデータに基づいて導出され、前記トレーニングデータは、前記現在の画像と参照画像の少なくとも１つの複数の画像ブロックにおける局所的な隣接する画素を含み、前記トレーニングデータを含むエリアから使用される画素は、サブピクセルの補間を受ける前のフィルタリングされていない参照画像からの予測の整数の位置の画素であり、前記複数の画像ブロックは、前記現在の画像と前記参照画像の少なくとも１つにおける全ての画像ブロック未満であり、
   前記少なくとも１つの局所的な適応フィルタは、前記トレーニングデータと前記現在の画像における対応するブロックとの間の歪みの測度を最小にする前記少なくとも１つの局所的な適応フィルタのうちの特定の１つを選択することで、局所的且つ適応的に構成され、
   前記少なくとも１つの局所的な適応フィルタは、マクロブロックごとに適応的に有効又は無効にされる、
   ことを特徴とする装置。
6. 前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数及びフィルタの数の少なくとも１つは、前記現在の画像と参照画像から導出される情報に基づいて決定される、
   請求項５記載の装置。
7. 参照画像のフィルタリングと補間フィルタリングの少なくとも１つについて局所的な適応フィルタリングを使用して画像データを復号化するステップを含む方法であって、
   前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数はトレーニングデータに基づいて導出され、前記トレーニングデータは、前記現在の画像と参照画像の少なくとも１つの複数の画像ブロックにおける局所的な隣接する画素を含み、前記トレーニングデータを含むエリアから使用される画素は、サブピクセルの補間を受ける前のフィルタリングされていない参照画像からの予測の整数の位置の画素であり、前記複数の画像ブロックは、前記現在の画像と前記参照画像の少なくとも１つにおける全ての画像ブロック未満であり、
   少なくとも１つの局所的な適応フィルタは、前記トレーニングデータと前記現在の画像における対応するブロックとの間の歪みの測度を最小にする前記少なくとも１つの局所的な適応フィルタのうちの特定の１つを選択することで、局所的且つ適応的に構成される、
   前記少なくとも１つの局所的な適応フィルタは、マクロブロックごとに適応的に有効又は無効にされる、
   ことを特徴とする方法。
8. 前記画像データは、現在の画像に対応し、前記局所的な適応フィルタリングのフィルタ係数及びフィルタの数の少なくとも１つは、前記現在の画像と参照画像から導出される情報に基づいて決定される、
   請求項７記載の方法。
9. 前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つは、前記局所的な適応フィルタリングから得られる少なくとも１つのフィルタリングされた画像における整数画素とサブピクセルの少なくとも１つを生成するために使用される、
   請求項３記載の方法。
10. 多数のフィルタリングされた参照画像は、前記画像データの復号化における使用のために有効にされ、前記局所的な適応フィルタリングの使用又は不使用は、ブロックごとに有効にされる、
    請求項３記載の方法。
11. 前記局所的な適応フィルタリングのために使用される局所的な適応フィルタは、１次元、２次元又は３次元の何れかに適用される、
    請求項３記載の方法。
12. 前記画像データは、現在の画像に対応し、前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つを導出するために使用される情報は、現在の画像と参照画像との間の動き情報を含む、
    請求項３記載の方法。
13. 前記画像データは、現在の画像に対応し、前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つを導出するために使用される情報は、前記現在の画像と参照画像との間の強度情報及び色情報の少なくとも１つを含む、
    請求項３記載の方法。
14. 前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つは、前記局所的な適応フィルタリングから得られる少なくとも１つのフィルタリングされた画像における整数画素とサブピクセルの少なくとも１つを生成するために使用される、
    請求項７記載の方法。
15. 多数のフィルタリングされた参照画像は、前記画像データの符号化又は復号化における使用のために有効にされ、前記局所的な適応フィルタリングの使用又は不使用は、ブロックごとに有効にされる、
    請求項７記載の方法。
16. 前記局所的な適応フィルタリングのために使用される局所的な適応フィルタは、１次元、２次元又は３次元の何れかに適用される、
    請求項７記載の方法。
17. 前記画像データは、現在の画像に対応し、前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つを導出するために使用される情報は、現在の画像と参照画像との間の動き情報を含む、
    請求項７記載の方法。
18. 前記画像データは、現在の画像に対応し、前記少なくとも１つの局所的な適応フィルタのうちの少なくとも１つを導出するために使用される情報は、前記現在の画像と参照画像との間の強度情報及び色情報の少なくとも１つを含む、
    請求項７記載の方法。

Images