JP2024522138A - ビデオを符号化／復号するための方法及び装置 - Google Patents

Abstract

ビデオを符号化／復号するための方法及び装置が提供される。ビデオからのピクチャがビットストリームから復号され、ピクチャは、ピクチャの元の解像度よりも低い解像度でビットストリーム内に符号化される。ピクチャを復号することは、復号されたピクチャを元の解像度にアップサンプリングすることと、アップサンプリングされた復号されたピクチャのうち少なくとも１つの成分に適応フィルタを適用することとを更に含む。いくつかの実施形態によれば、適応フィルタは、復号／符号化プロセスのループ内又はループ外で実行され得る。

Description

本実施形態は、概して、ビデオの符号化又は復号のための方法及び装置に関する。いくつかの実施形態は、元のピクチャ及び再構成されたピクチャが符号化のために動的にリスケーリングされる、ビデオの符号化又は復号のための方法及び装置に関する。

高い圧縮効率を実現するために、画像及びビデオのコーディング方式は、通常、ビデオコンテンツ内の空間冗長性及び時間冗長性を活用するために予測及び変換を採用している。概して、イントラピクチャ又はインターピクチャ相関を利用するために、イントラ予測又はインター予測が使用され、次いで、予測誤差又は予測残差と呼ばれることが多い、原ブロックと予測ブロックとの間の差が、変換、量子化、及びエントロピコーディングされる。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。

一態様によれば、ビデオから第１の解像度で第１のピクチャを復号するための方法が提供され、第１のピクチャを復号することは、復号されたピクチャを第１の解像度にアップサンプリングすることであって、復号されたピクチャが第２の解像度で符号化され、第２の解像度が第１の解像度より低い、アップサンプリングすることと、アップサンプリングされた復号されたピクチャの少なくとも１つの成分に適応フィルタを適用することと、を含む。

別の態様によれば、ビデオを復号するための装置が提供され、この装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、ビデオから第１の解像度で第１のピクチャを復号するように構成されており、第１のピクチャを復号することは、復号されたピクチャを第１の解像度にアップサンプリングすることであって、復号されたピクチャが第２の解像度で符号化され、第２の解像度が第１の解像度より低い、アップサンプリングすることと、アップサンプリングされた復号されたピクチャの少なくとも１つの成分に適応フィルタを適用することと、を含む。

別の態様によれば、ビデオの第１のピクチャを符号化するための方法が提供され、第１のピクチャは第１の解像度を有し、第１のピクチャを符号化することは、第１のピクチャを第１の解像度よりも低い第２の解像度にダウンサンプリングすることと、ダウンサンプリングされたピクチャを符号化及び再構築することと、再構築されたピクチャを第１の解像度にアップサンプリングすることと、アップサンプリングされた復号されたピクチャの少なくとも１つの成分に適応フィルタを適用することとを含む。

別の態様によれば、ビデオを符号化するための装置が提供され、この装置は、１つ以上のプロセッサを備え、当該１つ以上のプロセッサは、第１のピクチャは第１の解像度を有し、第１の解像度を有するビデオを符号化するように、第１の解像度より低い第２の解像度へ第１のピクチャをダウンサンプリングすることを含む第１のピクチャを符号化するように、ダウンサンプリングされたピクチャを符号化して再構成するように、再構成されたピクチャを第１の解像度にアップサンプリングするように、アップサンプリングされた復号されたピクチャの少なくとも１つの成分に適応フィルタを適用するように、構成される。

一実施形態によれば、フィルタリングされた復号／再構成ピクチャは、第１の解像度で復号されたピクチャバッファに記憶される。

１つ以上の実施形態によりまた、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、本明細書に述べた実施形態のいずれかによる符号化方法又は復号方法を行わせる命令を含む、コンピュータプログラムを提供する。本実施形態のうちの１つ以上はまた、上で説明された方法に従って、ビデオデータを符号化するか、又は復号するための命令を記憶したコンピュータ可読記憶媒体を提供する。１つ以上の実施形態はまた、これまで述べた方法により起こされたビットストリームを記憶しているコンピュータ可読記憶媒体を提供する。１つ以上の実施形態によりまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。

本実施形態の態様が実装され得るシステムのブロック図を示す。 ビデオエンコーダの一実施形態のブロック図を示す。 ビデオデコーダの一実施形態のブロック図を示す。 一実施形態によるビデオを符号化するための例示的な方法を示す。 一実施形態によるビデオを再構成するための例示的な方法を示す。 リサンプリングフィルタに関連付けられたサンプル位置（位相）の例を示す。 一実施形態による、デコーダの例を示す。 対称フィルタ及びフィルタ回転の例を示す。 ある実施形態による再構成されたピクチャをフィルタリングする方法の一例を示す。 一実施形態による、ＡＬＦパラメータ送信のためのビットストリームの構造一例を示す。 一実施形態による、ＲＰＲが有効化され、ＡＬＦが低解像度ピクチャに適用されるデコーダの一例を示す。 一実施形態によるビデオを符号化／復号するための方法のブロック図を示す。 一実施形態による、アップサンプリング後にＲＰＲが有効化され、ＡＬＦが高解像度ピクチャに適用されるデコーダの一例を示す。 一実施形態による、ＲＰＲが有効化され、ＡＬＦが高解像度ピクチャ及び低解像度ピクチャに適用されるデコーダの一例を示す。 高解像度ピクチャのブロック内のサンプル位置（位相）の例を示す。 一実施形態による、アップサンプリング前に位相０で適用された低解像度ＡＬＦと、アップサンプリング後の高解像度ＡＬＦとの一例を示す。 一実施形態による、仮想境界におけるルーマ成分のための修正されたＡＬＦフィルタリングの一例を示す。 本原理の例による通信ネットワークを介して通信する２つのリモートデバイスを示す。 本原理の例による信号のシンタックスを示す。

本出願では、ツール、特徴、実施形態、モデル、手法などを含む様々な態様について説明している。これらの態様のうちの多くは、具体的に説明され、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように説明される。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。

本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。以下の図１、図２、及び図３は、いくつかの実施形態を提供するが、他の実施形態が意図され、図１、図２、及び図３の考察は、実装形態の間口を限定するものではない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号するための命令を自体に記憶したコンピュータ可読記憶媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自体に記憶したコンピュータ可読記憶媒体、として実装することができる。

本出願では、「再構成された（reconstructed）」及び「復号された（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」、「ピクチャ（picture）」、及び「フレーム（frame）」という用語は、交換可能に使用され得る。

様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。加えて、「第１の（first）」、「第２の（second）」などの用語は、様々な実施形態において、例えば、「第１の復号（first decoding）」及び「第２の復号（second decoding）」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第１の復号は、第２の復号の前に実施される必要はなく、例えば、第２の復号の前、第２の復号の間、又は第２の復号と重複する時間中に発生し得る。

本出願に記載の様々な方法及び他の態様は、図２及び図３に示すように、ビデオエンコーダ２００及びデコーダ３００のモジュールを修正するために使用することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。

図１は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を示す。システム１００は、以下に記載の様々なコンポーネントを含むデバイスとして具現化され得、本明細書に記載の態様のうちの１つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム１００の要素は、単独で、又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又は個別のコンポーネントで具現化され得る。例えば、少なくとも１つの実施形態では、システム１００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は別個のコンポーネントにわたって分散している。様々な実施形態では、システム１００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１００は、本出願に記載された態様のうちの１つ以上を実装するように構成される。

システム１００は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム１００は、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１００は、記憶デバイス１４０を含み、この記憶デバイスは、限定されるものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／若しくは光ディスクドライブを含む、不揮発性メモリ並びに／又は揮発性メモリを含み得る。記憶デバイス１４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを含み得る。

システム１００は、例えば、データを処理して、符号化ビデオ又は復号ビデオを提供するように構成されたエンコーダ／デコーダモジュール１３０を含み、そのエンコーダ／デコーダモジュール１３０は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール１３０は、符号化機能及び／又は復号機能を実施するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号モジュールのうちの一方又は両方を含み得る。加えて、エンコーダ／デコーダモジュール１３０は、システム１００の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ１１０内に組み込まれ得る。

本出願に記載の様々な態様を実行するためにプロセッサ１１０又はエンコーダ／デコーダ１３０上にロードされるプログラムコードは、記憶デバイス１４０内に記憶され、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされ得る。様々な実施形態によれば、プロセッサ１１０、メモリ１２０、記憶デバイス１４０、及びエンコーダ／デコーダモジュール１３０のうちの１つ以上は、本出願に記載されるプロセスの実行中に、様々な項目のうちの１つ以上を記憶し得る。かかる記憶された項目は、限定されるものではないが、入力ビデオ、復号ビデオ、又は復号ビデオの一部分、ビットストリーム、行列、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含み得る。

いくつかの実施形態では、プロセッサ１１０及び／又はエンコーダ／デコーダモジュール１３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１１０又はエンコーダ／デコーダモジュール１３０のいずれかであり得る）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１２０及び／又は記憶デバイス１４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２はまたＩＳＯ／ＩＥＣ１３８１８を指し、１３８１８－１はまたＨ．２２２として既知であり、１３８１８－２はまたＨ．２６２として既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２はまた既知である）、又はＶＶＣ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）によって開発中の新しい標準である多用途ビデオコーディング）などのビデオのコーディング動作及び復号動作のための作業メモリとして使用される。

システム１００の要素への入力は、ブロック１０５に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（radio frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。他の実施例には、図１には示されていないが、コンポジットビデオが含まれる。

様々な実施形態では、ブロック１０５の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）特定の実施形態で、（例えば）チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限された信号を復調する、（ｖ）誤り訂正を実施する、及び（ｖｉ）データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差訂正器、及びデマルチプレクサを含む。ＲＦ部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数（例えば、中間周波数、若しくは近接ベースバンド周波数）に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、ＲＦ部とその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を行う。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ－デジタル変換器を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。

加えて、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続全体にわたって、システム１００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理ＩＣ内又はプロセッサ１１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、個別のインターフェースＩＣ内又はプロセッサ１１０内に実装され得る。例えば、プロセッサ１１０、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１３０を含む様々な処理要素に、復調され、エラー訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために必要に応じてデータストリームを処理する。

システム１００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成１１５、例えば、Ｉ２Ｃバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。

システム１００は、通信チャネル１９０を介して他のデバイスとの通信を可能にする通信インターフェース１５０を含む。通信インターフェース１５０は、限定されるものではないが、通信チャネル１９０を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース１５０は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル１９０は、例えば、有線及び／又は無線媒体内に実装され得る。

データは、様々な実施形態では、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）を指す）などのＷｉ－Ｆｉネットワークを使用して、システム１００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル１９０及び通信インターフェース１５０によって受信される。これらの実施形態の通信チャネル１９０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１０５のＨＤＭＩ接続によってデータを配信するセットトップボックスを使用して、システム１００にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック１０５のＲＦ接続を使用して、システム１００にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

システム１００は、出力信号を、ディスプレイ１６５、スピーカ１７５、及び他の周辺デバイス１８５を含む、様々な出力デバイスに提供し得る。様々な実施形態のディスプレイ１６５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１６５は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は他のデバイス用とすることができる。また、ディスプレイ１６５を、他の構成要素と統合することができ（例えば、スマートフォン内のように）、又は別個にする（例えば、ラップトップ用の外部モニタ）こともできる。他の周辺デバイス１８５は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語でＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態は、システム１００の出力に基づいて機能を提供する１つ以上の周辺デバイス１８５を使用する。例えば、ディスクプレーヤは、システム１００の出力を再生する機能を実施する。

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム１００とディスプレイ１６５、スピーカ１７５、又は他の周辺デバイス１８５との間で通信される。出力デバイスは、それぞれのインターフェース１６０、１７０、及び１８０を通じた専用接続を介してシステム１００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１５０を介し、通信チャネル１９０を使用して、システム１００に接続され得る。ディスプレイ１６５及びスピーカ１７５は、例えば、テレビなどの電子デバイスにおいて、システム１００の他のコンポーネントとともに単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１６０は、ディスプレイドライバ、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップを含む。

ディスプレイ１６５及びスピーカ１７５は、代替的に、例えば、入力１０５のＲＦ部分が個別のセットトップボックスの一部である場合、他のコンポーネントのうちの１つ以上から分離され得る。ディスプレイ１６５及びスピーカ１７５が外部コンポーネントである様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用の出力接続を介して提供され得る。

実施形態は、プロセッサ１１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実行することができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１２０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリデバイスなど、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。

一態様によれば、ビデオを符号化／復号するための方法が開示され、符号化すべき元のピクチャ及び復号から取得されたピクチャは、より良いコーディング効率のトレードオフのために動的にリスケーリングされ得る。図４及び図５は、ＶＶＣの参照ピクチャリサンプリング（Reference Picture Resampling、ＲＰＲ）ツールのように、符号化する画像を符号化のためにリスケーリングすることができる一実施形態によるビデオをそれぞれ符号化（４００）及び復号（５００）する方法の例を示す。例えば、そのようなエンコーダ及びデコーダは、ＶＶＣ規格に準拠することができる。

サイズ（ｐｉｃＷｉｄｔｈ×ｐｉｃＨｅｉｇｈｔ）のピクチャから構成される元のビデオシーケンスが与えられると、エンコーダは、元のピクチャごとに、フレームをコーディングするための解像度（すなわち、ピクチャサイズ）を選択する。異なるＰＰＳ（Picture Parameter Set）は、ピクチャのサイズを有するビットストリームにおいてコーディングされ、復号するピクチャのスライス／ピクチャヘッダは、ピクチャを復号するためにデコーダ側でどのＰＰＳを使用するかを示す。

前処理又は後処理としてそれぞれ使用されるダウンサンプラ（４４０）及びアップサンプラ（５４０）機能は、ＨＥＶＣやＶＶＣのような既存の一部の規格によって指定されていない。

各フレームについて、エンコーダは、元の解像度で符号化するか、ダウンサイズされた解像度（例えば、ピクチャの幅／高さを２で割ったもの）で符号化するかを選択する。この選択は、２パス符号化を用いて、又は元のピクチャにおける空間的及び時間的アクティビティを考慮して行うことができる。

エンコーダがダウンサイズされた解像度で元のピクチャを符号化することを選択するとき、元のピクチャは、ビットストリームを生成するためにコアエンコーダ（４１０）に入力される前にダウンスケールされる（４４０）。一実施形態によると、次に、ダウンスケールされた解像度で再構成されたピクチャは、後続のピクチャをコーディングするために復号されたピクチャバッファ（decoded picture buffer、ＤＰＢ）に記憶される（４２０）。その結果、復号されたピクチャバッファ（ＤＰＢ）は、現在のピクチャサイズとは異なるサイズのピクチャを含むことができる。

デコーダでは、ビットストリームからピクチャが復号され（５１０）、ダウンスケールされた解像度で再構成されたピクチャが、後続のピクチャを復号するために復号されたピクチャバッファ（ＤＰＢ）に記憶される（５２０）。一実施形態によれば、再構成されたピクチャは、その元の解像度にアップサンプリングされ（５４０）、例えばディスプレイに送信される。

一実施形態によれば、符号化される現在のピクチャが、現在のピクチャとは異なるサイズを有するＤＰＢからの参照ピクチャを使用する場合、予測ブロックを構築するための参照ブロックのリスケーリング（４３０／５３０）（アップスケール又はダウンスケール）は、明示的に（動き補償の前に）又は動き補償プロセス中に暗黙的に行われる。

アップサンプリングフィルタ及びダウンサンプリングフィルタ
従来のビデオコーデックでは、リサンプリングプロセス（ダウンサンプリング及びアップサンプリング）は、線形フィルタを使用して実行される。フィルタは、複雑さを低減するために連続して適用される２つの１Ｄリサンプリングフィルタ（水平及び垂直）から構成されることが好ましい。

リサンプリングフィルタ係数は、リサンプリングされたピクチャ内の再構成されたサンプル位置（サンプル位相としても既知である）に依存する。例えば、図６は、水平アップサンプリングフィルタの２つの位相が描かれている一方、ダウンサンプリングは１つの位相を有し、元のサンプルは、上に示された元のサンプルに適用されるフィルタ係数の例とともに、上の行に正方形として示され、リサンプリングされたサンプルは、サンプルの０、１の位相を示す内部の番号とともに、下の行に示される。一般に、エイリアシングを回避するために、ダウンサンプルの位置を元のサンプルの位置の中間に選択するのが好ましいが、一方、いくつかのアップサンプル位置は、過度の平滑化を回避するために元の位置と同じ場所に配置され得る。

係数のセットが各サンプル位相に関連付けられている。リサンプリングされた値が入力サンプルと同じであることが起こり得る。これは、通常、アップサンプリングの場合に起こり得る。図６では、ＶＶＣ基準ソフトウェアの例において、ダウンサンプリング及びアップサンプリングの場合に、各位相に使用される係数を示す。この例では、位相０のアップサンプリングは入力と同じである。

ダウンサンプリング係数：ｐｈ０＝｛２，－３，－９，６，３９，５８，３９，６，－９，－３，２，０｝
アップサンプリング係数：ｐｈ０＝｛０、０、０、６４、０、０、０、０｝
ｐｈ１＝｛－１，４，－１１，４０，４０，－１１，４，－１｝

ＶＶＣでは、４つのループ内フィルタ、すなわち、ルーママッピングクロマスケーリング（luma-mapping chroma scaling、ＬＭＣＳ）、非ブロッキングフィルタ（deblocking filter、ＤＢＦ）、サンプル適応オフセット（sample adaptive offset、ＳＡＯ）、及び適応ループフィルタリング（Adaptive Loop Filtering、ＡＬＦ）がある。

図７は、ビットストリームをエントロピ復号し、逆量子化（ｉｎｖＱ）し、逆変換（Ｔ^－１）し、再構成された残差を提供し、イントラ予測又はインター予測し、再構成された残差を加算した後に得られる再構成されたピクチャに、これらのループ内フィルタが適用されることを示すデコーダの例を示す。

ループ内ＡＬＦフィルタ（適応ループフィルタリング）は線形フィルタであり、その目的は、再構成されたサンプルに対するコーディングアーチファクトを低減することである。

図９には、一実施形態による再構成されたピクチャをフィルタリングするための方法９００の一例を示す。フィルタの係数「ｃ_ｎ」は、元のサンプル「ｓ（ｒ）」とフィルタリングされたサンプル「ｆ（ｒ）」との間の平均二乗誤差を最小化するために、ウィナー（Ｗｉｅｎｅｒ）ベースの適応フィルタ技法を使用することによって、エンコーダ側で判定される（ルーマ成分については９２０、クロマ成分については９３０）。

ここで、
ｒ＝（ｘ，ｙ）は、フィルタリングする領域「Ｒ」に属するサンプル場所である。
元のサンプル：ｓ（ｒ）
フィルタリングするサンプル：ｔ（ｒ）
Ｎ個の係数を有するＦＩＲフィルタ：ｃ＝［ｃ_０，．．．ｃ_Ｎ－１］^Ｔ
フィルタタップ位置オフセット：｛ｐ_０，ｐ_１，．．．ｐ_Ｎ－１｝、ここでｐ_ｎは、ｎ番目のフィルタタップのｒに対するサンプル場所オフセットを示す。以下のようにタップ位置のセットは、フィルタ「形状」とも呼ぶ。
フィルタリングされたサンプル：ｆ（ｒ）

ｓ（ｒ）とｆ（ｒ）との間の最小二乗和誤差（sum of squared error、ＳＳＥ）を求めるために、ＳＳＥの導関数をｃ_ｎに関して計算することができ、導関数は０に等しく設定される。次に、係数値「ｃ」は、次式（図９より９２０、９３０を参照）を解くことによって得られる。

［Ｔｃ］．ｃ^Ｔ＝ｖ^Ｔ（式２）
ここで、

ＶＶＣの基準によれば、再構成されたルーマサンプル「ｔ（ｒ）」は、Ｋ個のクラス（例えば、ルーマサンプルの場合はＫ＝２５、クロマサンプルの場合はＫ＝１）に分類され（９１０）、各クラスのサンプルを用いてＫ個の異なるフィルタが判定される。分類は、局所勾配を用いて導出された方向性（Directionality）値及びアクティビティ（Activity）値を用いて行われる。

ＶＶＣにおいて、ＡＬＦの係数は、それらがビデオコンテンツに動的に適応することができるように、ビットストリームにおいてコーディングされ得る。いくつかのデフォルト係数も存在する。９４０において、エンコーダは、９２０、９３０において導出された係数とデフォルト係数との間で、又はＣＴＵがフィルタリングされない場合に、ＣＴＵごとにどの係数のセットが使用されるべきかを選択し、示す。９５０において、選択された係数が再構成されたピクチャに適用される。

ＶＶＣでは、対称フィルタを使用することができ（図８の上部）、回転によって他のフィルタからいくつかのフィルタが取得され得る（図８の下部）。

ＣＣ－ＡＬＦ
一実施形態によれば、追加のクロス成分間フィルタ（cross-component filter、ＣＣ－ＡＬＦ）が、クロマサンプルを補正することができる。９６０において、補正ＣＣ－ＡＬＦ係数が判定される。補正は、再構成され同じ場所に配置されたルーマサンプルの線形結合として行われる。（式１、２）において、ｓ（ｒ）の値はターゲット（元の）クロマサンプル値であり、ｔ（ｒ）はＡＬＦ前のルーマサンプル値（９０１）であり、ｆ（ｒ）はクロマ補正である。一変形形態では、ｔ（ｒ）は、ＡＬＦ後のルーマサンプル値（９０２）である。ＡＬＦ係数に関しては、９７０において、エンコーダは、例えば、レート歪み基準に基づいて、ＣＣ－ＡＬＦ係数を選択し、次に、ＣＣ－ＡＬＦ係数は、９８０においてクロマ成分に適用される。

このようにして、フィルタリングされたピクチャが９９０で取得される。

エンコーダ側では、係数選択の情報が、必要であればフィルタ係数とともにビットストリームで送信される。デコーダ側では、再構成されたピクチャをフィルタリングする方法が、最終的にステップ９１０、９５０、及び９８０に対応する。係数は、ビットストリームから送信された情報を使用して取得される。

ＡＬＦパラメータ
ＶＶＣ規格によれば、所与のピクチャについて、ＡＬＦ係数は、１つのＡＰＳ ｎａｌユニットにおいてコーディングされ得る。ＣＴＵレベルでは、ＡＬＦ係数は、前の適応パラメータセット（Adaptive Parameters Set、ＡＰＳ）から、又はいくつかのデフォルトから取り出され得る。ＡＬＦ処理は、ＣＴＵ単位で行われる。ＡＬＦパラメータは３重である（ＡＬＦパラメータのビットストリームの構造の例が図１０に示されている）：
－ Ａｌｆ＿ｐｈ＿ｐａｒａｍ：ピクチャ又はスライスヘッダ内：ＡＬＦ及びＣＣ－ＡＬＦが各成分に対してアクティブ化されるかどうかを示す５つのフラグ：ｓｈ＿ａｌｆ＿ｅｎａｂｌｅｄ［ｉ＝０，１，２］，ｓｈ＿ａｌｆ＿ｃｃ＿ｃｂ＿ｅｎａｂｌｅｄ＿ｆｌａｇ，ｓｈ＿ａｌｆ＿ｃｃ＿ｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ．
－ Ａｌｆ＿ａｐｓ＿ｐａｒａｍ：ＡＰＳでは、いくつかのＡＬＦ及びＣＣ－ＡＬＦ係数フィルタがコーディングされる：ａｌｆ＿ｄａｔａ（）
－ Ａｌｆ＿ｃｔｕ＿ｐａｒａｍ：各ＣＴＵについて、ＣＴＵヘッダ（コーディングされたピクチャ）において、成分ごとにシグナリングされる：
○ ＡＬＦが有効化されている場合：ａｌｆ＿ｃｔｂ＿ｆｌａｇ［ｉ＝０，１，２］［ｃｔｕ］．
○ 及び、有効化されている場合に各成分に対してどのフィルタインデックスを使用するか：ａｌｆ＿ｌｕｍａ＿ｆｉｘｅｄ＿ｆｉｌｔｅｒ＿ｉｄｘ（ｌｕｍａ），ａｌｆ＿ｃｔｂ＿ｆｉｌｔｅｒ＿ａｌｔ＿ｉｄｘ［０，１］［ｃｔｕ］，ａｌｆ＿ｃｔｂ＿ｃｃ＿ｃｂ＿ｉｄｃ［ｃｔｕ］，ａｌｆ＿ｃｔｂ＿ｃｃ＿ｃｒ＿ｉｄｃ［ｃｔｕ］

他のパラメータ／シンタックス要素もシグナリングされ得る。

ＶＶＣにおいて、Ａｌｆ＿ｐｈ＿ｐａｒａｍ及びＡｌｆ＿ａｐｓ＿ｐａｒａｍは、可変長コーディング（variable length coding、ＶＬＣ）コーディングを使用し、Ａｌｆ＿ｃｔｕ＿ｐａｒａｍは、エントロピコーディング（ＣＡＢＡＣ）を使用する。

ＶＶＣにおけるＡＬＦフィルタの設計は、ターゲット参照として使用されるエンコーダ入力ピクチャ（元のピクチャとしても既知である）と再構築／復号されたピクチャとの間のコーディング歪みを低減するために採用されている。しかしながら、ＲＰＲが有効化されるとき、入力ピクチャは、高解像度（高解像度用）の元のピクチャをダウンスケーリングした（低解像度用の低解像度）バージョンであるが、表示に望ましいターゲットは依然として高解像度の画像である。

したがって、上述の実施形態によれば、ＡＬＦ係数は、低解像度ピクチャにおけるコーディングアーチファクトを低減するように最適化され、一方、図１１に示されるように、表示のために送信され再構成されたピクチャは、アップサンプリングされた（高解像度）ピクチャである。図１１に示されるように、「通常の」ＡＬＦが、送信されたＡＬＦデータを使用してダウンスケールされ再構成されたピクチャに適用され、フィルタリングされた低解像度ピクチャは、次に、表示のために高解像度ピクチャにアップサンプリングされる。

現在のＶＶＣ設計では、ＲＰＲがいくつかのピクチャに対して有効化されているとき、これらのピクチャに対してＲＰＲがアクティブ化されているか否かに応じて、再構成されたピクチャは低い空間解像度（以下、低解像度）であり得、又は高い空間解像度（以下、高解像度）であり得る。しかしながら、同じＡＬＦ係数は再構成されたピクチャに対して、どのような解像度であっても適用されてしまう。

したがって、この状況を改善する必要性がある。

再構成されアップサンプリングされたフレームの歪みを低減するための適応フィルタパラメータをシグナリング及び符号化する方法が提供される。また、適応ポストフィルタを用いてアップサンプリングを実行するいくつかの方法が提供される。

ビデオを符号化／復号するための方法及び装置が提供される。ビデオからのピクチャがビットストリームから復号され、ピクチャは、ピクチャの元の解像度よりも低い解像度でビットストリーム内に符号化される。換言すれば、ピクチャは符号化の前にダウンサンプリングされている。ピクチャを復号することは、復号されたピクチャを元の解像度にアップサンプリングすることと、アップサンプリングされた復号されたピクチャのうち少なくとも１つの第１の成分に適応フィルタを適用することとを更に含む。いくつかの実施形態では、適応フィルタは、復号／符号化プロセスのループ内又はループ外で実行することができる。

図１２は、一実施形態によるビデオをそれぞれ符号化、復号するための方法１２００のブロック図を示す。再構成されたピクチャが入力として取り込まれる。ビデオを復号するための方法において、再構成されたピクチャは、受信されたビットストリームからのビデオの現在のピクチャの復号から取得される。ビデオを符号化するための方法において、再構成されたピクチャは、ビデオの現在のピクチャの符号化から取得される。再構成されたピクチャは、元のピクチャ解像度からダウンスケールされたバージョンでビットストリームにおいて符号化されている。換言すれば、符号化の前に、第１の空間解像度を有する現在のピクチャ（高解像度）が、第２の空間解像度にダウンサンプリングされ、第２の空間解像度は第１の空間解像度よりも低い。ダウンスケーリングされた（低解像度）ピクチャは、その後、例えば、ＶＶＣ規格からのＲＰＲ技術に従って、ビットストリーム内で符号化されるか、又はビットストリームから復号される。

１２１０において、再構成されたピクチャは、第１の解像度にアップサンプリングされ、１２２０において、適応フィルタが、再構成されアップサンプリングされたピクチャの少なくとも１つの成分（ルーマ、クロマ）に適用される。

いくつかの実施形態では、再構成されアップサンプリングされたピクチャは、他のピクチャを符号化／復号するときにインター予測用で将来使用するために復号されたピクチャバッファに記憶されてもよく、及び／又は再構成されアップサンプリングされたピクチャはディスプレイに送信されてもよい。

以下では、解像度が何であれ、再構成されたピクチャに適用される、ＶＶＣで説明されているような通常のＡＬＦ（適応ループフィルタ）及びＣＣ－ＡＬＦ（クロス成分間適応ループフィルタ）処理を「通常のＡＬＦ」と呼ぶことにする。

以下では、実施形態は、ＶＶＣ規格に記載されているようなＡＬＦ及びＣＣ－ＡＬＦを使用する文脈で説明されるが、本明細書に記載される基本方式は、現在のピクチャがダウンスケールされたバージョンで符号化され得るピクチャの符号化と組み合わされたときに、再構築されたピクチャの後処理におけるループ内又はループ外の任意の種類の適応フィルタリングに適用されることを理解されたい。

以下では、復号する方法のみを記載する。符号化が復号（ループ内処理のためのピクチャの再構成）の一部を含むので、同様の処理が符号化方法においても実施される。

アップサンプリングフィルタ後のＡＬＦ
一実施形態では、再構成されアップサンプリングされたピクチャを改善するために、図１３に示すように、アップサンプリングプロセスの後にＡＬＦプロセス（高解像度ＡＬＦ）を適用することができる。図１３は、一実施形態によるビデオを復号するための方法１３００のブロック図を示す。図１３に示されるように、「通常の」ＡＬＦ（１３１０）が、送信されたＡＬＦデータを使用してダウンスケールされ再構成されたピクチャに適用され、フィルタリングされた低解像度ピクチャは、次に、表示のために高解像度ピクチャにアップサンプリングされる（１３２０）。アップサンプリングされたピクチャにＡＬＦ又は適応フィルタが適用される（１３３０）。一変形形態では、「通常の」ＡＬＦによってフィルタリングされた低解像度ピクチャは、後続のピクチャインター予測のためにＤＰＢに記憶される。

別の変形形態では、これは、後続のピクチャインター予測のためにＤＰＢ（図１３の破線によって表される）に記憶される、１３３０においてフィルタリングされた高解像度ピクチャである。

一変形形態では、符号化側において、高解像度ピクチャのフィルタリングに使用される係数及びフィルタインデックスは、元の高解像度ピクチャをターゲットとして選択されている。

一変形形態によれば、通常のＡＬＦプロセスで補正されたルーマサンプル（図９の９９０で取得された、フィルタリングされたピクチャ）を使用して別の分類（図９の９１０）を実行することができる。あるいは、別の変形形態では、通常のＡＬＦプロセスによって行われる分類（９１０）が、複雑さを低減するために再使用される。

アップサンプリングプロセス（アップサンプリングフィルタ）は、仕様によって指定されてもよいし、指定されなくてもよい。上記で説明した変形形態に応じて、アップサンプリングは、符号化ループ内又は符号化ループ外で実行され得る。

通常のＡＬＦパラメータ（例：ａｌｆ＿ｃｔｂ＿ｆｌａｇｓ）の一部を再利用し、他の高解像度ＡＬＦパラメータをコーディングすることも、完全な高解像度ＡＬＦパラメータをコーディングすることもできる（以下で更に説明する）。

ａｌｆ＿ｃｔｕ＿ｐａｒａｍはＣＴＵベースである。通常のＣＴＵサイズとは異なるＣＴＵサイズを選択することができる。それは、アップスケーリングプロセスと同じ割合で再スケーリングされた通常のＣＴＵサイズから導出され得る。

高解像度ＡＬＦがそれ自体のパラメータを有する場合、適切なシンタックスを用いて通常のＡＬＦ及び高解像度ＡＬＦを別々に有効化又は無効化することを選択することができる。一変形形態では、通常のＡＬＦプロセス及び高解像度ＡＬＦプロセスは、互いに排他的である（通常のＡＬＦプロセス及び高解像度ＡＬＦプロセスは、同じスライス又はピクチャに対して一緒にアクティブ化することができない）。この場合、ＡＬＦパラメータのための通常のシンタックスを最大限に再利用することができ、ＡＬＦパラメータの１つのセットのみがビットストリーム中に存在する。

別の変形形態では、ＤＰＢがアップサンプリング後の高解像度ピクチャ及び場合によっては高解像度ＡＬＦを含むことができるように、高解像度ピクチャがＤＰＢに記憶される。別の変形形態では、フラグがピクチャごとにコーディングされ、高解像度ピクチャがＤＰＢに記憶されるべきか否かを指示する。

別の変形形態では、アップサンプリングモジュールへの入力は、通常のＡＬＦの前に再構成されたサンプルである。次に、低解像度ピクチャは通常のＡＬＦで表示され、高解像度ピクチャは高解像度ＡＬＦで表示されるが、ＡＬＦフィルタの１つのレベルのみ適用される。

単一位相ＡＬＦ補正のみ行った後のアップサンプリング
実験結果によると、通常のＲＰＲ方式の性能は、特にクロマに対して低い可能性がある。

別の実施形態では、高解像度適応フィルタリングは、ＣＣ－ＡＬＦのみである。図１４は、一実施形態によるビデオを復号するための方法１４００のブロック図を示す。

一変形形態では、ＡＬＦは、アップサンプリング（１４３０）の前、通常のＡＬＦの後、又は通常のＡＬＦ（１４１０）の前に、再構成された低解像度ピクチャ（１４２０）に対して実行され、ＣＣ－ＡＬＦ（１４４０）は、アップサンプリング（１４３０）の後、高解像度ピクチャに対して実行される。この変形形態では、低解像度ＡＬＦ（１４２０）は、係数を導出するために異なるターゲットサンプルを使用するので、通常のＡＬＦ（１４１０）とは異なり、その場合、低解像度ＡＬＦの係数と通常のＡＬＦの係数とは異なり得る。通常のＡＬＦは、元のピクチャのダウンサンプリングされたバージョンを使用して係数を導出する。一方、例えば、低解像度のＡＬＦ係数は、高解像度の元のピクチャサンプルの１つの特定の位相－Ｘ（例えば、図１５において灰色の四角形で示される位相－０サンプル）をターゲットとして導出され得る。図１６に示されるように、低解像度ＡＬＦは、低解像度再構築サンプルに適用される。有利なことに、アップサンプリングプロセスは、低解像度ＡＬＦで補正された低解像度サンプルを位相－Ｘサンプルに使用し、他の位相サンプルは、この補正された（低解像度ＡＬＦフィルタリングされた）位相－Ｘサンプル（水平及び垂直フィルタリングを伴う）を用いて導出され、高解像度画像を提供する。次に、高解像度ＣＣ－ＡＬＦがアップサンプリングされた（高解像度）ピクチャに適用される。

一変形形態では、１４４０において、ＡＬＦ＋ＣＣ－ＡＬＦが実行され得る。

別の変形形態では、１４１０における通常のＡＬＦは実行されなくてもよい。

仮想境界
ＶＶＣ規格では、ＡＬＦプロセスは仮想境界に適合する。仮想境界は、スライス又はタイル境界に対応する。並列性の理由から、仮想境界の外側のサンプルはアクセスされない。ＡＬＦフィルタリングの場合、フィルタパターンにおける対称性を保つために、図１７に示されるように、仮想境界の外側のフロンティアサンプルと対称なサンプルは使用されない。

しかしながら、アップサンプリングされたピクチャがＤＰＢに記憶されない場合、アップサンプリングプロセスはオプションであり（標準ではない）、外部モジュールによって実行されてもよい。デコーダ側では、上記の実施形態のいずれか１つにおいて記載されたようなＡＬＦフィルタプロセスに続くアップサンプリングプロセスは、計算能力をあまり必要とせず、もはや並列処理を必要としない場合がある。したがって、別の実施形態によれば、仮想境界制限プロセスは、本明細書で提供される高解像度適応フィルタリングプロセスに対して無効化される。

ハイレベルシンタックス（ＨＬＳ）
一実施形態では、追加のシンタックス要素により、提案された高解像度（又は低解像度）ＡＬＦパラメータのシグナリングとコーディングとが可能になる。

例えば、（以下の表１及び表２によって例示されるように）新しいＡＰＳタイプ「ＡＬＦ＿ＲＰＲ＿ＡＰＳ」が作成される。関連するＡＬＦデータａｌｆ＿ｄａｔａ＿ｒｐｒ（）のタイプ及びシンタックスは、それらが新しい高解像度（又は低解像度）ＡＬＦパラメータ及び通常のＡＬＦパラメータをそれぞれ参照することを除いて、ａｌｆ＿ｄａｔａ（）と同じである。

一変形形態では、新しいＡＰＳタイプは作成されず、ＡＬＦパラメータのためにＶＶＣ規格において使用される「ＡＬＦ＿ＡＰＳ」のタイプは、高解像度ＡＬＦのために引き続き使用されるが、通常のＡＬＦがａｐｓ＿ｉｄ（ａｐｓ＿ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）にいくつかの値を使用するのに対し、高解像度ＡＬＦは他の値を使用し得る。

ＳＰＳでは、ピクチャがＲＰＲを使用してコーディングされるときに、高解像度ＡＬＦがシーケンスレベルで有効化されるかどうかを示す追加のシンタックス要素ｓｐｓ＿ａｌｆ＿ｒｐｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが（以下の表３に示されるように）追加される。一変形形態では、図１４～図１６に関連して以下に説明するように、ピクチャがＲＰＲを使用してコーディングされるときに、高解像度ピクチャでＣＣ＿ＡＬＦが有効であるかどうかをシグナリングするためにシンタックス要素ｓｐｓ＿ｃｃａｌｆ＿ｒｐｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇも追加される。

ＳＰＳと同様に、Ａｌｆ＿ｐｈ＿ｐａｒａｍのためのスライス又はピクチャヘッダにおいて、及びＡｌｆ＿ｃｔｕ＿ｐａｒａｍのためのＣＴＵヘッダにおいて、追加のシンタックス要素が、高解像度ＡＬＦパラメータをコーディングするために追加され得る。

ＶＶＣと互換性のあるＨＬＳ
別の実施形態では、新しいＡＰＳをシグナリング及びコーディングするために、現在のＶＶＣと互換性のあるＨＬＳを定義する。新しいＡＰＳタイプ「ＡＬＦ＿ＲＰＲ＿ＡＰＳ」の使用は、通常のＶＶＣデコーダによって破棄されるので、ＶＶＣと互換性があるという利点を有する。一変形形態では、Ａｌｆ＿ａｐｓ＿ｐａｒａｍに加えて、ＡＰＳは、いくつかのＡｌｆ＿ｐｈ＿ｐａｒａｍ又はＡｌｆ＿ｃｔｕ＿ｐａｒａｍパラメータを含み得る。

別の変形形態では、ＡＰＳタイプ「ＡＬＦ＿ＡＰＳ」が高解像度ＡＬＦのために再使用されるが、ａｐｓ＿ｉｄの値が異なる場合、通常のＶＶＣデコーダは、このａｐｓ＿ｉｄがＡｌｆ＿ｐｈ＿ｐａｒａｍパラメータによってもＡｌｆ＿ｃｔｕ＿ｐａｒａｍパラメータによっても（ブロックのために使用すべきａｐｓ＿ｉｄを示すｓｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｌｕｍａ及びｓｈ＿ａｌｆ＿ａｐｓ＿ｉｄ＿ｃｈｒｏｍａシンタックス要素などによって）参照されないので、高解像度ＡＬＦに対応するａｐｓ＿ｉｄを有するＡＰＳを使用しない。

別の変形形態では、Ａｌｆ＿ｐｈ＿ｐａｒａｍ及びＡｌｆ＿ｃｔｕ＿ｐａｒａｍ（及びＡＬＦ＿ＲＰＲ＿ＡＰＳ又はＡＬＦ＿ＡＰＳ内にない場合は、Ａｌｆ＿ａｐｓ＿ｐａｒａｍ）を実行する専用の新しいＳＥＩ ＮＡＬユニットタグ（ＳＥＩ＿ＲＰＲ＿ＡＬＦ）を設計することもできる。これは、関連付けられたピクチャに対する対応するＡＬＦパラメータ、又はピクチャＰＯＣで参照されるいくつかのピクチャに対するＡＬＦパラメータのリストをグループ化することができる。このＳＥＩは、通常のＶＶＣデコーダによって破棄される。

いくつかの変形形態では、これらのＡＰＳ及びＳＥＩは、ＳＥＩネストされたメッセージにグループ化されてもよいし、１つのＳＥＩにグループ化されてもよい。

以下の表４は、ＲＰＲコーディングピクチャのための高解像度ＡＬＦをサポートし、Ａｌｆ＿ｐｈ＿ｐａｒａｍ及びＡｌｆ＿ｃｔｕ＿ｐａｒａｍのうちの一部と、いくつかの付加的で有用なパラメータとを含む、ＳＥＩのシンタックスの一例を示す。この例では、ＳＥＩは、いくつかのピクチャに関係する情報を含むが、一変形形態では、ＳＥＩは、１つのピクチャのみについての情報を含んでいてもよい。他の例は、いくつかのパラメータを再配置、除去、又は追加することによって導出することができる。

この例では、Ａｌｆ＿ｃｔｕ＿ｐａｒａｍのコーディングは、エントロピコーディング（ＣＡＢＡＣ）を使用する。一変形形態において、それらは可変長コーディング（ＶＬＣ）コーディングを使用する。

シンタックス要素ＸＸＸＸ［ｈ］は、インデックスｈ及びｐｏｃ［ｈ］を有するピクチャに関連付けられる。

これらのシンタックス要素の意味は以下の通りである。
ａｌｆ＿ｒｐｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｃｃａｌｆ＿ｒｐｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、それぞれＶＶＣ仕様におけるｓｐｓ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｃｃａｌｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇと同じセマンティクスを有し、高解像度ＡＬＦに適用される。

ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５に５を加えた値は、アップサンプリング後にＡＬＦブロックサイズａｌｆＣｔｂＳｉｚｅＹを導出することを可能にする。ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５の値は、例えば両端を含む０～２の範囲であることがある。変数ａｌｆＣｔｂＬｏｇ２ＳｉｚｅＹ及びａｌｆＣｔｂＳｉｚｅＹは、以下のように導出される：
ａｌｆＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５＋５
ａｌｆＣｔｂＳｉｚｅＹ＝１＜＜ａｌｆＣｔｂＬｏｇ２ＳｉｚｅＹ

ｎｂ＿ｒｐｒ＿ｃｔｕ＿ｘ＿ｍｉｎｕｓ１＋１及びｎｂ＿ｒｐｒ＿ｃｔｕ＿ｙ＿ｍｉｎｕｓ１＋１は、アップサンプリング後のＡＬＦブロックサイズの水平方向及び垂直方向の数をそれぞれ指定する。

ｎｕｍ＿ａｌｆ＿ｒｐｒ＿ｐａｒａｍ＿ｍｉｎｕｓ１＋１は、ＳＥＩに含まれるピクチャベースのＡＬＦパラメータの数を指定する。

ｐｏｃＢａｓｅ及びｄｅｌｔａ＿ｐｏｃ［ｈ］は、インデックスｈに関連付けられたピクチャのｐｏｃ［ｈ］を以下のように導出することを可能にする：
ｐｏｃ［ｈ］＝ｐｏｃＢａｓｅ＋ｄｅｌｔａ＿ｐｏｃ［ｈ］

他のシンタックス要素ＸＸＸＸ［ｈ］は、ＶＶＣ仕様に対応するシンボルＸＸＸＸと同じセマンティクスを使用するが、ピクチャがＲＰＲを使用してコーディングされるとき、本明細書で提案される高解像度ＡＬＦプロセスに適用される。

別の実施形態によれば、ＶＶＣスケーラブルシンタックスを利用して、アップスケーリングされたピクチャのポストフィルタリングをエミュレートすることができる。この実施形態では、拡張レイヤ（ＥＬ）は、最大ピクチャサイズと現在のピクチャサイズとをそれぞれ含むＳＰＳとＰＰＳを有し、高解像度ピクチャと等しくすることができる。ベースレイヤ（base layer、ＢＬ）ピクチャが低解像度でコーディングされるとき、現在のピクチャのＥＬ復号には、動き補償段階中にＲＰＲプロセスを介して暗黙的アップサンプリングを使用し、ＣＵがインター予測でコーディングされ、レイヤ間参照ピクチャ（ＩＬＲＰ）を動きがゼロに等しい一方向参照ピクチャとして使用する場合、レイヤ間参照ピクチャはベースレイヤから再構成された低解像度ピクチャである。

したがって、全てのＣＵがＩＬＲＰを用いて予測され、０に等しい残差を有する特定の場合（例：スキップモードでコーディングされたＣＵ、ｃｕ＿ｓｋｉｐ＿ｆｌａｇ＝１）、ＥＬにおけるＣＵの再構成は、暗黙的なＲＰＲアップサンプリングにポストフィルタリングプロセスを加えたものとなる。次いで、ＥＬ内のＡＬＦパラメータが、上述した実施形態のいずれか１つにおいて説明したように判定されている場合、再構成されアップサンプリングされた低解像度（ベースレイヤピクチャ）にＡＬＦが適用される。

しかしながら、既存のＶＶＣシンタックスを再利用するこの手法の１つの欠点は、表示には拡張レイヤの解像度のみが望ましいのに、復号デバイスが２つのデコーダ（レイヤごとに１つのデコーダ）及び関連するリソース（メモリなど）をインスタンス化する必要があることである。付加的に、復号は、アップサンプリング（ＲＰＲによる動き補償）及びポストフィルタリング段階を実際に実行する必要があるだけである。

一実施形態では、これらの欠点は、全てのＣＵがコーディングモードのサブセット（例えば、インタースキップモード）でコーディングされるなど、ＥＬコーディングレイヤビデオシーケンス（ＣＬＶＳ）において使用されるコーディングモードのいくつかの制限をシグナリングする高レベルシンタックスによって活用され得る。このシグナリングは、スライス又はピクチャレベル（例：ピクチャヘッダ、スライスヘッダ）、又は特定のＮＡＬユニット（例：ＳＥＩ、ＶＰＳ）において実行され、次のピクチャ（ピクチャユニット、ＰＵ）又はピクチャのグループ、又はレイヤの全てのピクチャが、ある特定のコーディングモード（例：「スキップモード」）でコーディングされることを示すが、ポストフィルタリングは有効化されてもよい。ＤＢＦ（非ブロッキングフィルタ）又はＳＡＯが無効化にされるなど、他の制限が、このシグナリングに適用され得る。一変形形態では、ＳＰＳ及びＰＰＳの無用なシンタックス要素（例えば、使用されない他のコーディングモードパラメータ）は存在しない。

上記では、様々な方法とシンタックス、例えば、（スケーラビリティに関連する）ＶＶＣシンタックスを利用して、アップスケールされたピクチャのポストフィルタリングをエミュレートする方法について、ピクチャレベルで説明した。より一般的には、提案されたシグナリングは、領域レベルで適用することができ、領域は、１つ以上のブロック、例えば、１つ以上のサブピクチャ、タイル、及びスライスから構成される。

付加的に、様々な方法及びシンタックスが、ＡＬＦフィルタについて上述されている。より一般的には、これらの方法及びシンタックスは、例えば、リスケーリングされたピクチャにＳＡＯフィルタリングを適用するために追加のＳＡＯパラメータを含む、ＳＡＯフィルタ及び非ブロッキングフィルタのような他のポストフィルタに適用することができる。

図２は、上述した実施形態のいずれか１つが実施されるエンコーダ２００を示す。このエンコーダ２００の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ２００について説明される。

いくつかの実施形態では、図２はまた、ＨＥＶＣ規格に改良を加えたエンコーダ、又はＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）によって開発中のＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）エンコーダなど、ＨＥＶＣに類似する技術を採用したエンコーダを示す。

符号化される前に、ビデオシーケンスは、符号化前処理（２０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実施する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経ることができる。

一実施形態によれば、符号化前処理（２０１）は、ＶＶＣ規格のＲＰＲプロセスなどにおいて、符号化のために入力ピクチャをダウンサンプリングすることを含む。

メタデータは、前処理に関連付けられ、ビットストリームに添付され得る（２９０）。このようなメタデータは、例えばＳＥＩ又はＡＰＳ Ｎａｌユニットにおいて、上記で説明した高解像度ＡＬＦパラメータなど、後処理のためのパラメータを含むことができる。

エンコーダ２００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分割され（２０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測（２６０）を実施する。インターモードでは、動き推定（２７５）及び動き補償（２７０）が実施される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（２０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。エンコーダはまた、イントラ予測結果とインター予測結果を混合（２６３）してもよいし、又は異なるイントラ／インター予測方法からの結果を混合してもよい。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって（２１０）計算される。

動き改良モジュール（２７２）は、元のブロックを参照せずにブロックの動きフィールドを改良するために、既に利用可能な参照ピクチャを使用する。ある領域についての動きフィールドは、その領域を有する全てのピクセルについての動きベクトルの集合とみなすことができる。動きベクトルがサブブロックベースである場合、動きフィールドは、領域内の全てのサブブロック動きベクトルの集合として表すこともできる（サブブロック内の全てのピクセルは同じ動きベクトルを有し、動きベクトルはサブブロックごとに異なり得る）。単一の動きベクトルが領域に対して使用される場合、領域に対する動きフィールドもまた、単一の動きベクトル（領域内の全てのピクセルに対して同じ動きベクトル）によって表すことができる。

その予測残差は、次いで、変換され（２２５）、量子化される（２３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコーディングされる（２４５）。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コーディングされる。

エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化され（２４０）、逆変換される（２５０）。デコードされた予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。ループ内フィルタ（２６５）は、例えば、符号化アーチファクトを低減するための非ブロック化／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）又は適応ループフィルタ（Adaptive Loop filter、ＡＬＦ）フィルタリングを実施するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

一変形形態では、入力ピクチャが符号化前にダウンサンプリングされている場合、エンコーダ（２００）は、一実施形態で上述したように、再構成画像のアップサンプリングを含む。非ブロッキングなどのループ内フィルタリング、ＳＡＯ（又はＡＬＦ）は、再構成されダウンサンプリングされたピクチャに適用され、ＡＬＦは、アップサンプリングされたピクチャに適用され、場合によってはＤＰＢに記憶され得る。

別の変形形態では、入力ピクチャが符号化の前にダウンサンプリングされているとき、適応フィルタリングは、その後、低解像度バージョンでＤＰＢに記憶され得る再構成ピクチャのダウンサンプリングされたバージョンに対して実行される。

図３は、上述した実施形態のいずれか１つが実施されるビデオデコーダ３００のブロック図を示す。デコーダ３００では、以下に説明するように、ビットストリームが、デコーダ要素によって復号される。ビデオデコーダ３００は、概して、図２に記載の符号化パスとは逆の復号パスを実施する。エンコーダ２００もまた、概して、ビデオデータを符号化することの一部としてビデオ復号を実施する。

特に、デコーダの入力は、ビデオビットストリームを含み、このビデオビットストリームは、ビデオエンコーダ２００によって生成され得るものである。

一実施形態によれば、ビットストリームは、符号化前にピクチャに対して実行される前処理に関連付けられたメタデータを含む。このようなメタデータ（３０１）は、上で説明された高解像度ＡＬＦパラメータなど、後処理のためのパラメータを含む。

ビットストリームは、最初に、変換係数、動きベクトル、及び他のエンコーディングされた情報を取得するために、エントロピ復号される（３３０）。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号されたピクチャ分割情報に従ってピクチャを分割し得る（３３５）。変換係数は、予測残差を復号するために、逆量子化され（３４０）、逆変換される（３５０）。デコードされた予測残差と予測されたブロックとを組み合わせて（３５５）、画像ブロックが再構成される。

イントラ予測（３６０）又は動き補償予測（すなわち、インター予測）（３７５）から、予測ブロックを得ることができる（３７０）。デコーダは、イントラ予測結果とインター予測結果を混合（３７３）してもよいし、又は複数のイントラ／インター予測方法からの結果を混合してもよい。動き補償の前に、動きフィールドは、既に利用可能な参照ピクチャを使用することによって改良され得る（３７２）。ループ内フィルタ（３６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（３８０）に記憶される。

復号されたピクチャは、復号後処理（３８５）、例えば、逆カラー変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（２０１）において実施された再マッピングプロセスの逆を実施する逆再マッピング、又は復号されたピクチャのアップサンプリングなど、を更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータ（３０１）を使用することができる。

一変形形態では、復号されたピクチャが、符号化前にダウンサンプリングされた入力ピクチャの符号化から得られる場合、デコーダ（３００）は、一実施形態で上述したように、復号された画像のアップサンプリングを含む。次いで、非ブロッキング、ＳＡＯ、又はＡＬＦなどのループ内フィルタリングが、ダウンサンプリング及び／又はアップサンプリングされたピクチャに適用され、場合によってはＤＰＢに記憶される。

別の変形形態では、復号されたピクチャが、符号化の前にダウンサンプリングされた入力ピクチャの符号化から取得されるとき、適応フィルタリングが、その後、低解像度バージョンでＤＰＢに記憶され得る再構成ピクチャのダウンサンプリングされたバージョンに対して実行される。

図１８に示される一実施形態では、通信ネットワークＮＥＴを介した２つの遠隔デバイスＡとＢとの間の送信コンテキストにおいて、デバイスＡは、図１～図１７に説明されるようなビデオを符号化するための方法を実装するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備え、デバイスＢは、図１～図１７に関連して説明されるようなビデオを復号するための方法を実装するように構成されたメモリＲＡＭ及びＲＯＭに関連するプロセッサを備える。

一実施例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスにビデオを表す符号化データをブロードキャスト／送信するように適合されたブロードキャストネットワークである。

デバイスＡによって送信されることが意図された信号は、ビデオを表すコーディングされたデータを含む少なくとも１つのビットストリームを搬送する。ビットストリームは、本原理の任意の実施形態から生成されてもよい。

図１９は、パケットベースの伝送プロトコル上で送信されるそのような信号のシンタックスの一例を示す。各送信パケットＰは、ヘッダＨ及びペイロードＰＡＹＬＯＡＤを含む。いくつかの実施形態では、ペイロードＰＡＹＬＯＡＤは、上述した実施形態のいずれか１つに従って符号化された、コーディングされたビデオデータを含み得る。いくつかの実施形態では、信号は、上記で判定されたアップサンプリングフィルタ係数を含む。

様々な実装形態は、復号することを含む。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態では、そのようなプロセスにはまた、又は代替的に、本出願に記載される、例えば、アップサンプリングフィルタ係数を復号する、復号されたピクチャをアップサンプリングするなどの様々な実装形態のデコーダによって実施されるプロセスも含まれる。

更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

様々な実装形態は、符号化を伴う。「復号（decoding）」に関する上記の考察と同様に、本出願で使用される「符号化（encoding）」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実施されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、又は代替的に、本出願に記載される、例えば、入力ピクチャのダウンサンプリング、アップサンプリングフィルタ係数の判定、復号されたピクチャをアップサンプリングなどの、様々な実装形態のエンコーダによって実施されるプロセスも含まれる。

更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

本明細書で使用する際のシンタックス要素が、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

本開示では、例えば、送信又は記憶することができるシンタックスなどの様々な情報を説明してきた。この情報は、様々な様式でパッケージ化又は配置することができ、例えば、情報をＳＰＳ、ＰＰＳ、ＮＡＬユニット、ヘッダ（例えば、ＮＡＬユニットヘッダ、又はスライスヘッダ）、又はＳＥＩメッセージに入れるなど、ビデオ規格において一般的な様式を含む。他の様式も利用可能であり、例えば、情報を以下のうちの１つ以上に入れるなどのシステムレベル又はアプリケーションレベルの規格において一般的な様式を含む。
ａ．ＳＤＰ（セッション記述プロトコル（session description protocol））、例えば、ＲＦＣに説明され、ＲＴＰ（リアルタイム輸送プロトコル（Real-time Transport Protocol））送信と連動して使用されるような、セッション告知及びセッション招待の目的のためのマルチメディア通信セッションを記述するためのフォーマット。
ｂ．例えば、ＤＡＳＨに説明され、ＨＴＴＰを介して送信されるようなＤＡＳＨ ＭＰＤ（Media Presentation Description）記述子であり、記述子は、コンテンツ表現に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
ｃ．例えば、ＲＴＰストリーミング中に使用されるような、ＲＴＰヘッダ拡張子。
ｄ．例えば、ＯＭＡＦで使用され、いくつかの仕様では、「ａｔｏｍｓ」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト指向構築ブロックであるボックスを使用するような、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）。
ｅ．ＨＴＴＰを介して送信されるＨＬＳ（ＨＴＴＰライブストリーミング（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ））マニフェスト。マニフェストは、例えば、バージョン又はバージョンの集合の特性を提供するために、コンテンツのバージョン又はバージョンの集合に関連付けることができる。

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。

いくつかの実施形態は、レート歪み最適化を指す。特に、符号化プロセス中に、しばしば計算複雑性の制約ゆえに、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なる手法がある。例えば、これらの手法は、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得るが、それらの符号化コスト、並びに符号化及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くの手法は、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。

本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサで実装され得る。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（Personal Digital Assistant、「ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。

加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（A and/or B）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A,B,and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A,B,and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。

また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、再構成されたピクチャの適応フィルタリングに関する１つ以上のシンタックス要素をシグナリングする。このように、ある実施形態では、同じパラメータが、エンコーダ側でもデコーダ側でも使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明確なシグナリング）。これに対し、デコーダが既にその特定のパラメータとともに他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。

当業者には明白であるように、実装形態は、例えば、記憶され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実施するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。

いくつかの実施形態について述べる。これらの実施形態の特徴は、様々な特許請求の範疇及びタイプにわたって単独でも、いかなる組み合わせでも提供され得る。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
● 記載の実施形態のいずれかによる、元のピクチャ／領域を高分解能又はより低分解能で符号化することができる、ビデオを符号化／復号すること。
● 記載の実施形態のいずれかによる、ダウンスケールされた復号されたピクチャ／領域からピクチャ／領域を再構成すること。
● ビットストリーム又は信号は、記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含む。
● ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む。
● 記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する。
● 説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する。
● 説明された実施形態のいずれかによって、方法、プロセス、装置、命令を記憶する媒体、データ又は信号を記憶する媒体を提供する。
● 記載の実施形態のいずれかによるビデオの復号を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
● 記載される実施形態のいずれかによるビデオの復号を実行し、結果として生じる画像を表示する（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
● 符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）選択し、記載の実施形態のいずれかによるビデオの復号を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
● 符号化された画像を含む無線上の信号を（例えば、アンテナを使用して）受信し、記載の実施形態のうちのいずれかによるビデオの復号を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。

Claims (33)

1. ビデオから第１の解像度で第１のピクチャを復号することを含む方法であって、前記第１のピクチャを復号することが、
   － 復号されたピクチャを前記第１の解像度にアップサンプリングすることであって、前記復号されたピクチャが第２の解像度で符号化され、前記第２の解像度が前記第１の解像度よりも低い、アップサンプリングすることと、
   － アップサンプリングされた前記復号されたピクチャの少なくとも１つの成分に適応フィルタを適用することと、を含む、方法。
2. １つ以上のプロセッサを備える装置であって、前記１つ以上のプロセッサが、ビデオから第１の解像度で第１のピクチャを復号するように構成されており、前記第１のピクチャを復号することが、
   － 復号されたピクチャを前記第１の解像度にアップサンプリングすることであって、前記復号されたピクチャが第２の解像度で符号化され、前記第２の解像度が前記第１の解像度よりも低い、アップサンプリングすることと、
   － アップサンプリングされた前記復号されたピクチャの少なくとも１つの成分に適応フィルタを適用することと、を含む、装置。
3. 前記１つ以上のプロセッサが、
   － 適応ループフィルタの適用が有効化されるとき、前記第２の解像度の前記復号されたピクチャの少なくとも１つの成分に前記適応ループフィルタを適用するように更に構成されている、更に含む、請求項１に記載の方法、又は請求項２に記載の装置。
4. 前記１つ以上のプロセッサが、
   － 前記適応ループフィルタの前記適用が有効化されるとき、前記第２の解像度のフィルタリングされた前記復号されたピクチャを、復号されたピクチャバッファに記憶するように更に構成されている、更に含む、請求項３に記載の方法、又は請求項３に記載の装置。
5. 前記適応フィルタの係数が、前記第１の解像度の前記第１のピクチャに基づいて判定される、請求項１又は３若しくは４のいずれか一項に記載の方法、あるいは請求項２～４のいずれか一項に記載の装置。
6. 前記適応フィルタが、前記アップサンプリングされた復号されたピクチャに対して実行される分類に基づいて、適応フィルタのセットの中から選択される、請求項１若しくは３～５のいずれか一項に記載の方法、又は請求項２～５のいずれか一項に記載の装置。
7. 前記適応フィルタが、前記第２の解像度の前記フィルタリングされた復号されたピクチャに対して実行される分類に基づいて、適応フィルタのセットの中から選択される、請求項３～６のいずれか一項に記載の方法、又は請求項３～６のいずれか一項に記載の装置。
8. － 前記第２の解像度の前記復号されたピクチャへの前記適応ループフィルタの前記適用を有効化することが、前記第１の解像度のアップサンプリングされた前記復号されたピクチャへの前記適応フィルタの前記適用を無効化するか、又は
   － 前記第１の解像度の前記アップサンプリングされた復号されたピクチャへの前記適応フィルタの前記適用を有効化することが、前記第２の解像度の前記復号されたピクチャへの前記適応ループフィルタの前記適用を無効化する、請求項３～７のいずれか一項に記載の方法、又は請求項３～７のいずれか一項に記載の装置。
9. 前記１つ以上のプロセッサが、
   － 前記第１の解像度のフィルタリングされたアップサンプリングされた前記復号されたピクチャを、復号されたピクチャバッファに記憶するように更に構成されている、更に含む、請求項１若しくは３～８のいずれか一項に記載の方法、又は請求項２～８のいずれか一項に記載の装置。
10. 前記１つ以上のプロセッサが、
    － 前記第１の解像度のフィルタリングされたアップサンプリングされた前記復号されたピクチャが前記復号されたピクチャバッファに記憶されているかどうかを示すインジケータを復号するように更に構成されている、更に含む、請求項９に記載の方法、又は請求項９に記載の装置。
11. 前記第１の解像度の前記アップサンプリングされた復号されたピクチャに前記適応フィルタを適用することが、クロミナンス成分のみに対して実行される、請求項３～９のいずれか一項に記載の方法又は装置。
12. 前記第２の解像度の前記復号されたピクチャに適応ループフィルタを適用することが、輝度成分のみに対して実行される、請求項１１に記載の方法又は装置。
13. 前記第２の解像度の前記復号されたピクチャに前記適応ループフィルタを適用することが、前記復号されたピクチャを前記第１の解像度にアップサンプリングする前に実行される、請求項１２に記載の方法又は装置。
14. 前記１つ以上のプロセッサが、
    － 前記第１の解像度の前記アップサンプリングされた復号されたピクチャに前記適応フィルタを適用し、前記第２の解像度の前記復号されたピクチャに適応ループフィルタを適用する前に、前記第２の解像度の前記復号されたピクチャに第２の適応ループフィルタを適用するように更に構成されている、更に含む、請求項１１～１３のいずれか一項に記載の方法、又は請求項１１～１３のいずれか一項に記載の装置。
15. 前記適応ループフィルタの係数が、前記第２の解像度の前記第１のピクチャのサンプルに対応する、前記第１の解像度の前記第１のピクチャのサンプルに基づいて判定される、請求項１２～１４のいずれか一項に記載の方法又は装置。
16. 前記適応フィルタのためのパラメータがビットストリームから取得される、請求項１若しくは３～１５のいずれか一項に記載の方法、又は請求項２～１５のいずれか一項に記載の装置。
17. ビットストリームであって、
    － ビデオの第１のピクチャであって、前記第１のピクチャは第１の解像度を有し、前記第１のピクチャは第２の解像度で符号化され、前記第２の解像度は前記第１の解像度よりも低い、第１のピクチャを表すコーディングされたデータと、
    － 前記コーディングされたデータから復号された、アップサンプリングされたピクチャの少なくとも１つの成分をフィルタリングするための適応フィルタの少なくとも１つのパラメータと、を含む、ビットストリーム。
18. 前記適応フィルタの少なくとも１つのパラメータが、前記適応ループフィルタのために使用される同じシンタックス要素においてコーディングされる、請求項１６に記載の方法若しくは装置、又は請求項１７に記載のビットストリーム。
19. 前記適応フィルタのパラメータが、
    － 少なくとも１つの成分に対して前記適応フィルタを有効化又は無効化するための少なくとも１つの第１のインジケータ、
    － 少なくとも１つのフィルタ係数、
    － 前記第１のピクチャのブロックに対して前記適応フィルタを有効化又は無効化するための少なくとも１つの第２のインジケータ、
    － 前記第１のピクチャのブロックのためのフィルタインデックスを示す少なくとも１つの第３のインジケータ、のうち少なくとも１つを含む、請求項１６若しくは１８のいずれか一項に記載の方法又は装置、あるいは請求項１７又は１８に記載のビットストリーム。
20. 前記少なくとも１つの第２のインジケータ及び／又は前記少なくとも１つの第３のインジケータが、前記第２の解像度の前記復号されたピクチャのブロックに対して、又は前記第１の解像度の前記第１のピクチャのブロックに対してコーディングされる、請求項１９に記載の方法若しくは装置、又はビットストリーム。
21. コーディングされる前記パラメータのうちの少なくとも一部が、専用適応パラメータセットＮＡＬユニット又は専用ＳＥＩ ＮＡＬユニットである、請求項１６若しくは１８～２０のいずれか一項に記載の方法又は装置、あるいは請求項１７～２０のいずれか一項に記載のビットストリーム。
22. 前記適応フィルタを有効化することが、シーケンスパラメータセットにおいてシグナリングされる、請求項１～２１のいずれか一項に記載の方法若しくは装置、又は請求項１７～２１のいずれか一項に記載のビットストリーム。
23. 前記少なくとも１つの第１のインジケータが、スライス又はピクチャヘッダ中でシグナリングされる、請求項１９～２２のいずれか一項に記載の方法又は装置又はビットストリーム。
24. 前記少なくとも１つの第２のインジケータ及び／又は前記少なくとも１つの第３のインジケータが、前記復号されたピクチャのブロックヘッダ中でシグナリングされる、請求項２０～２３のいずれか一項に記載の方法若しくは装置、又はビットストリーム。
25. 復号することを更に含む、請求項１若しくは３＿１８又は２０～２４のいずれか一項に記載の方法、又は前記１つ以上のプロセッサが、復号するように更に構成されている、請求項２～１８若しくは２０～２４のいずれか一項に記載の装置、あるいは
    第１のピクチャの全てのブロックがスキップブロックとしてコーディングされ、前記第２の解像度で符号化された前記ピクチャからレイヤ間予測によって予測されることを示すシンタックス要素を更に含む、請求項１９～２４のいずれか一項に記載のビットストリーム。
26. 請求項１７～２５のいずれか一項に記載のビットストリームを含む信号。
27. 請求項２６に記載のビットストリームを含むコンピュータ可読媒体。
28. １つ以上のプロセッサに、請求項１又は３～２５のいずれか一項に記載の方法を実行させるための命令を記憶しているコンピュータ可読記憶媒体。
29. 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１又は３～２５のいずれか一項に記載の方法を行わせる、コンピュータプログラム製品。
30. デバイスであって、
    － 請求項２～２５のいずれか一項に記載の装置と、
    － （ｉ）ビデオを表すデータを含む信号を受信するように構成されたアンテナ、（ｉｉ）受信された前記信号を、ビデオを表す前記データを含む周波数帯域に制限するように構成された帯域制限器、又は（ｉｉｉ）少なくとも１つの第１の画像の少なくとも一部分を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイス。
    －
31. ＴＶ、携帯電話、タブレット又はセットトップボックスを含む、請求項３０に記載のデバイス。
32. 装置であって、
    ○ 請求項２６に記載の信号を含むデータにアクセスするように構成されたアクセスユニットと、
    ○ アクセスされた前記データを送信するように構成された送信機と、を備える、装置。
33. 請求項２６に記載の信号を含むデータにアクセスし、かつ前記アクセスされたデータを送信することを含む方法。

Images