JP5232854B2 - デブロッキング・フィルタ配列 - Google Patents

Description

本発明は、ビデオ（video：動画像）のエンコード及びデコード技術に関し、特にビデオ会議応用技術に関連する。更に詳しくは、本発明は、様々なデブロッキング・フィルタ（de-blocking filter）装置及びビデオ・イメージ（image：静止画像）シーケンサに対する複数のデブロッキング・フィルタの応用に関する。本書で述べている技術はIUT-I（国際電気通信連合電気通信標準化部門）が奨励する動画圧縮規格であるH.264 a/k/a ISO/IEC 14496-10（「H.246」という）に関して特に有利に応用されるが、ビデオ・イメージシーケンサは多様なコード化標準によってエンコードされていてよい。H.246規格については、その全部を本書中に引用して組み込む。本発明は、また、ダニエル・ホング氏、アレックス・エレフセリアダディス氏、オファー・シャピロ氏、ジーザズ・サンペドロ氏によって著され、２００７年４月２６日に提出された「スライス境界デブロッキングでマルチスレッドをサポートするＳＶＣのためのデブロッキング・フィルタプロセス（改訂１）」JVT-W063、に関係しているおり、これは、上記で参照した仮出願に添付されており、そして、その全部を本書中に引用して組み込む。

デブロッキング・フィルタは、様々なブロック単位のビデオエンコードアルゴリズムで共通に使用され、そのようなアルゴリズムでエンコードした結果たる各ブロック間の知覚しうる境界を減少する又は分からなくするよう作用する。一般に、デブロッキングフィルタは、ループフィルタとポストフィルタという二つのタイプのうちの一方である。ループフィルタは、フィルタ結果が参照フレーム内に含まれるようなエンコード及び／又はデコード経路の一部である。参照フレームは、予測ブロックすなわちインター符号化ブロック（inter coded block）を再構築するために使用される。反対に、ポストフィルタは、フィルタ結果が参照フレーム内に含まれないように、コード化ループの出力に対して適用される。

いくつかの実例において、マルチスレッド、マルチプロセッサ及び／又はマルチコアプロセッサ装備を使用するH.246エンコーダ及び／又はデコーダを装備することが有利であることが見出されている。これらの装備において、イメージの或る部分例えばスライスが１つのスレッド、プロセッサ及び／又はコアによってエンコードされてよく、同じイメージの別の部分例えば別のスライスが異なるスレッド、プロセッサ及び／又はコアによってエンコードされてよい。そのような実例は、異なるスレッド、チップ及び／又はコアによってコード化された複数区間（例えば複数のスライス画像）にわたる標準によって特定されるデブロッキング・ループフィルタを使用しなくてもよい。例えば、このフィルタは、システム効率の理由のために、異なるスレッド、プロセッサ及び／又はコアによってエンコードされた複数スライス間の複数境界にわたって、しばしば不能化される。このため、H.246標準は、H.246ビットストリーム内で信号を送るべきデブロッキングループフィルタの使用（又は不使用）を許す。

複数のスレッド、プロセッサ及び／又はコアの実例に加えて、スライス画像の境界にわたってデブロッキング・ループフィルタを不能化することが望まれる別の状況が存在する。例えば、低い複雑さの画面分割（continuous presence）（H.246のソフト−ＣＰ）が、フレキシブル・マクロブロック・オーダリング（flexible macroblock ordering：ＦＭＯ）を使用するH.246において装備されることができる。フレキシブル・マクロブロック・オーダリングは、異なるエンドポイント（端末地点）から受信したビットストリームが合成された画面分割フレームで新たなビットストリームを構築するように処理する。ソフト−ＣＰにおいて、デブロッキング・ループフィルタは、スライス（切り取られた画像）の全てのエッジ（縁部）にわたって不能化される。これは画面分割イメージの個々の区分のブロックノイズ（blockiness）をもたらすであろう。例えば、４画面分割の例において、区分けした影響は、各４分の１画像内の内側のスライス・エッジにわたって頻繁に見られるであろう。しかし、各４分の１画像間のエッジにわたっては見られないかもしれない。

どのような場合においても、デブロッキング・ループフィルタを不能化することは、ビデオが表示されるとき可視的な区分けの影響が出るので、普通は画像品質にとって不利である。そこで、この分野の技術において必要なものは、デブロッキング・ループフィルタが不能化され得るこれらの及びその他の実例に、デブロッキング・フィルタが加え戻され得るような、ビデオエンコード及びデコード装置である。

ここに説明するのは、デブロッキング・ループフィルタを含むビデオエンコーダ及びデコーダ用のデブロッキング・フィルタ配列（arrangement: 装置／手順）である。いくつかの実施例において、ループフィルタによって処理されなかったすべてのエッジを処理するように構成されたポストフィルタが設けられる。別の実施例において、エンコーダは、どのエッジがループフィルタによって及び／又はポストフィルタによって処理されるべきであるかを特定してよい。

また、ここに説明するのは、第１及び第２のデブロッキング・ループフィルタを含むビデオエンコーダ及びデコーダ用のデブロッキング・フィルタ配列（arrangement: 装置／手順）である。第２のデブロッキング・ループフィルタは、例えば上述した理由の１つによって第１のデブロッキング・ループフィルタによって処理されなかったスライス画像の境界についてのみ処理するように構成され得る。別の例として、第１及び第２のデブロッキング・ループフィルタは、或るエッジ及び／又は輝度（luma：ルーマ）及び／又は彩度（chroma：クロマ）データを処理する若しくは処理しないということを個別に構成されていてもよい。

デブロッキング・ループフィルタ及びデブロッキング・ポストフィルタを備えたビデオ・デコード化ループの簡略化したブロック図。

２つのデブロッキング・ループフィルタを備えたビデオ・デコード化ループの簡略化したブロック図。

本明細書を通して、ビデオ・エンコード及びデコードとは、絵、フレーム、フィールド、ブロック、スライス、マクロブロック、その他を含むビデオ（動画）の様々な成分に関して定義される用語である。この分野の当業者であれば、多くの場合においてフレームについての処理の説明は走査方式のビデオのフィールドに対しても適用されること、「ブロック」および「マクロブロック」の用語は同義であってよく若しくは文脈その他に依存していないかもしれないこと、が容易に理解できるであろう。よって、以下の説明は、ビデオ圧縮及びエンコードの技術分野の当業者の能力から容易に理解され、読み取れるように意図している。

図１は、ビデオ・デコード化ループの簡略化したブロック図を示す。入力ビデオデータ１０１はスイッチ部１０３において分析され、イントラ符号化されたフレーム（又はフィールド）データすなわちそれ自身に関してのみ符号化されたビデオ画像を含むか、あるいは他の画像（すなわち「参照フレーム」）に関してコード化される予測フレーム（又はフィールド）データ（例えばイントラ又は双方向予測画像）を含むかどうかが判定される。つまり、イントラ符号化されたフレームであれば、経路１０５を通ってデコーダ１０７に行き、或るエンコード／デコードアルゴリズムに従って該イントラ符号化されたフレームをデコードする。デコードされたフレームは、それから、選択的に使用可能なデブロッキング・ループフィルタ１０９及び／又は選択的に使用可能なデブロッキング・ポストフィルタ１１３を通って過通し、出力フレームデータ１１９となる。この出力フレームデータ１１９は、例えば、ユーザのために表示される。加えて、（もしループフィルタが使用されるならループフィルタ後の）デコードされたフレームは、参照フレーム１１１として記憶され、次に述べるように予測フレームとして使用される。もし入力データ１０１が予測フレームデータを含むと（スイッチ部１０３によって）判定されたならば、経路１１５を通ってデコーダ１０７に行き、或るエンコード／デコードアルゴリズムに従って該入力データを参照フレーム１１１と合成し、デコードされたフレームを生成する。上述したイントラ符号化されたフレームに関しては、デコードされた予測フレームがデブロッキング・ループフィルタ１０９及び／又はデブロッキング・ポストフィルタ１１３で処理され、出力フレーム１１９を生成する。また、このデコードされたフレームは参照フレーム１１１を更新するようにしてよい。

上述のように、H.264ビデオエンコードアルゴリズムはデブロッキング・ループフィルタを含むが、このデブロッキング・ループフィルタの使用は選択的にオフとしてもよい。いくつかの実施例において、デブロッキング・ループフィルタを補完し、補充し、及び／又は置換するために、H.264デコーダの後段にデブロッキング・ポストフィルタを追加することが望ましいかもしれない。処理の一態様において、デブロッキング・ポストフィルタはデコードされたフレーム中のデブロッキング・ループフィルタ処理を受けなかったすべてのエッジを処理することができる。別の態様において、エンコーダは、ビデオ・ビットストリームに或るヒント又はトリガーを付加することにより、デブロッキング・ポストフィルタを使用すべきエッジがどれであるかを特定するようにしてもよい。これらのヒントは、フラグ又はその他の信号の使用を含んでいてもよく、若しくは、スライス画像の境界のようなビデオ・ビットストリーム中の所定の部位であってもよい。これは、このエンコーダがデコーダによって施されるデブロッキングに対して完全な制御をなす能力を提供し、特定のエッジがデブロック（ブロック化解消）されるべきでないことを特定するために有利に使用される。

これらの処理態様のいずれもが、H.264で使用されるだけでなく、デブロッキング・ループフィルタを含むか若しくは含まないその他のアルゴリズムでも使用されることができる。どの場合でも、デブロッキング・ポストフィルタとデブロッキング・ループフィルタの組み合わせは、デコードされた画像について区切りの影響を十分に減少させることができ、画質を十分に向上させることができる。加えて、デブロッキング・ポストフィルタの使用は、デブロッキング・ループフィルタが使用され得ない（例えばソフト−ＣＰ）場合若しくは実質的な効率限界（例えばマルチプロセッサ装備）のためにデブロッキング・ループフィルタの使用が非実用的である場合において画質を向上させるために有用化できる。

別の実施例において、デブロッキング・ポストフィルタよりはむしろ、ループ内の第１のデブロッキング・フィルタ（例えばスライス画像の境界にわたって不能化されたもの）によってデブロックされなかったスライス画像のエッジのみを処理するように、ループ内の第２のデブロッキング・フィルタを追加するようにしてもよい。簡略化されたブロック図が図２に示されており、そこにおいて図１における対応する要素と同じ要素は同じ番号である。図２のデコーダにおいて、第１のデブロッキング・ループフィルタ２０９は或るエッジを処理し、それ以外は除外するようになっていてよい。例えば、第１のデブロッキング・ループフィルタ２０９は、スライス画像の境界にあるエッジ以外のすべてのエッジを処理するようにしてよい。第２のデブロッキング・ループフィルタ２１３はスライス画像の境界を処理するようにしてよい。これは、例えば、独立に処理されることができるマクロブロックのエッジ（例えばスライス画像の境界以外のエッジ）の数を最大にすることができ、多数のスレッド、多数のコア又は多数のプロセッサを備えた装置の場合において、十分な計算効率をもたらすであろう。このアプローチは、また、第２のデブロッキング・ループフィルタ２１３によって処理されざるを得ないマクロブロックのエッジ数を最小にするであろう。

別の変形例において、エンコーダが、ビットストリームにおけるフラグ又はトリガを使用して、或る複数のエッジが第１のデブロッキング・ループフィルタ２０９、又は第２のデブロッキング・ループフィルタ２１３、若しくは両方のデブロッキング・ループフィルタによって処理されるべき、あるいはどのデブロッキング・ループフィルタによっても処理されるべきでない、ということを特定できるようにしてよい。加えて、各デブロッキング・ループフィルタは、luma（ルーマ：輝度）及びchroma（クロマ：彩度）のブロックについて、又はlumaのブロックのみについて、若しくはchromaのブロックのみについて、独立に処理してよい。例えば、いくつかの実施例において、第１のデブロッキング・ループフィルタにluma及びchromaブロックを処理させる一方で、第２のデブロッキング・ループフィルタがlumaブロックのみを処理するようにしてよい。

更に別の変形例は、デコード化ループが２以上の経路を形成する単一のループ内のデブロッキング・フィルタを含んでいてよい。例えば、第１の経路においてスライス画像のエッジがデブロックされず、第２の経路においてスライス画像のエッジがデブロックされる。多数の経路についての別の使用例が可能であり、当業者によって理解されるであろう。

ここに開示したシステム及び方法は、デジタル電子回路装置、又はコンピュータハードウェア、ソフトウェア若しくはそれらの組み合わせにおいて実施され得る。例えば、ソフトウェア装備は、第三者の追加インストールその他を含むことができ、ハードウェア、ファームウェアその他として上記のように装備されていてもよい。本開示に係る装置は、プログラム可能なプロセッサによる実行のために、機械読み取り可能な記憶装置内に実体的に装備されるコンピュータ・プログラム製品において具現化されることができ、そして、本開示に係る方法の各ステップは、入力データを処理して出力を生ずることにより当該方法の機能を実現する命令群からなるプログラムを実行するプログラム可能なプロセッサによって実行されることができる。この方法は、データ記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置、に対してデータ及び命令を送受信するように結合された、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行される１又はそれ以上のコンピュータプログラム内に有利に装備されることができる。各コンピュータプログラムは、ハイレベルの処理手続（procedural）又はオブジェクト指向プログラミングにおいて、若しくはもし望むならばアセンブリ又は機械言語において、具現化されることができ、どの場合でも、その言語はコンパイル若しくはインタプリトされた言語であり得る。適切なプロセッサは、一例として、並列的に処理するマルチ・プロセッサ及び／又はコアを含む、シングル又はマルチコア、デジタル信号処理装置（ＤＳＰ）、その他を具備する、汎用及び特別仕様のマイクロプロセッサの両方を含む。概して、プロセッサはリードオンリーメモリ及び／又はランダムアクセスメモリから命令とデータを受信する。概して、コンピュータはデータファイルを記憶するための１又はそれ以上の大型記憶装置を含む。そのような記憶装置は、内部ハードディスク及び着脱式ディスクのような磁気ディスク、光磁気ディスク、フラッシュメモリ装置、光学式ディスク、その他を含む。コンピュータプログラム命令とデータを実体的に装備するために適切な記憶装置は全ての形式の不揮発メモリを含んでいてよく、一例として、ＥＰＲＯＭやＥＥＰＲＯＭやフラッシュメモリのような半導体記憶装置、内部ハードディスク及び着脱式ディスクのような磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＨＤ−ＤＶＤ及びブルーレイディスク（登録商標）などを含む。上述したどれもが、ＡＳＩＣ（特定の応用に特化された集積回路）又はＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）が付加されるか又はそれらの中に組み込まれるようになっていてよい。

本開示に係る方法及び装置の多くの実施形態を上述した。しかし、本発明の精神と範囲から外れることなくその他の多様な変形をなし得るであろうことが理解されるであろう。例えば、上述の実施例はビデオデコード装置及び方法に関して述べられているが、ここに述べた原理（図１及び２を参照して上述した構成）をビデオエンコード装置及び方法に対しても適用することができ、そのことは更に詳述するまでもなく、当業者は容易に理解するであろう。従って、これらのビデオデコード及びエンコードの実施形態及びその他の実施形態は添付の特許請求の範囲の範囲内に含まれる。

Claims (8)

1. 入力ビデオデータのビットストリームを提供する入力部に結合されたビデオデコーダと、
   前記ビデオデコーダの出力に結合された第１のデブロッキング・フィルタと、
   前記第１のデブロッキング・フィルタの出力に結合された第２のデブロッキング・フィルタと
   を具備し、
   前記第１のデブロッキング・フィルタはスライス画像の境界以外のエッジを処理するようになされたループフィルタであり、前記第２のデブロッキング・フィルタはスライス画像の境界を処理するようになされたポストフィルタであり、
   前記第１のデブロッキング・フィルタと前記第２のデブロッキング・フィルタの少なくとも一方が、デコードされたビデオデータの全てのエッジ又は該デコードされたビデオデータの一部のエッジについて処理するか、若しくは該ビデオデータのどのエッジも処理しないように構成され得ることを特徴とするビデオデコード装置。
2. 前記第１のデブロッキング・フィルタと前記第２のデブロッキング・フィルタの少なくとも一方が、或る複数エッジについて処理するように予め構成されている、請求項１のビデオデコード装置。
3. 前記第１のデブロッキング・フィルタと前記第２のデブロッキング・フィルタの少なくとも一方が、前記入力ビデオデータのビットストリームによって環境設定される、請求項１のビデオデコード装置。
4. 前記第１のデブロッキング・フィルタが輝度（luma）データのみを処理するように構成され、前記第２のデブロッキング・フィルタが輝度（luma）データのみを処理するように構成されている、請求項１のビデオデコード装置。
5. 入力ビデオデータのビットストリームを受信することと、
   前記入力ビデオデータのビットストリームをデコードし、デコードされたビデオを生成することと、
   前記デコードされたビデオに対して第１のデブロッキング・フィルタを施し、デブロックされたビデオを生成することと、
   前記デブロックされたビデオに対して第２のデブロッキング・フィルタを施し、最終的なビデオを生成することと
   を具備し、
   前記第１のデブロッキング・フィルタはスライス画像の境界以外のエッジを処理するようになされたループフィルタであり、前記第２のデブロッキング・フィルタはスライス画像の境界を処理するようになされたポストフィルタであり、
   前記第１のデブロッキング・フィルタと前記第２のデブロッキング・フィルタの少なくとも一方が、デコードされたビデオデータの全てのエッジ又は該デコードされたビデオデータの一部のエッジについて処理するか、若しくは該ビデオデータのどのエッジも処理しないように構成され得ることを特徴とするビデオデータのデコード方法。
6. 前記デコードされたビデオに対して第１のデブロッキング・フィルタを施し、デブロックされたビデオを生成することが、前記入力ビデオデータのビットストリームにおいて特定されるエッジをデブロックすることからなり、
   前記デブロックされたビデオに対して第２のデブロッキング・フィルタを施し、最終的なビデオを生成することが、前記入力ビデオデータのビットストリームにおいて特定されるその他のエッジをデブロックすることからなる、請求項５の方法。
7. 前記デコードされたビデオに対して第１のデブロッキング・フィルタを施し、デブロックされたビデオを生成することが、輝度（luma）データのみをデブロックすることからなり、
   前記デブロックされたビデオに対して第２のデブロッキング・フィルタを施し、最終的なビデオを生成することが、輝度（luma）データのみをデブロックすることからなる、請求項５の方法。
8. 前記第１のデブロッキング・フィルタを施すことと前記第２のデブロッキング・フィルタを施すことが、単一の適合可能なデブロッキング・フィルタを順次に適用することからなる、請求項５の方法。

Images