JP4191779B2 - イントラｂｌモードを考慮したビデオデコーディング方法、ビデオデコーダ、及び、記録媒体 - Google Patents

Description

本発明は、ビデオ圧縮技術に係り、より詳細には、多階層ビデオエンコーダまたはデコーダで使われるデブロックフィルタに関する。

インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りなく、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータはその量がぼう大で大容量の保存媒体を必要とし、転送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを転送するためには圧縮コーディング技法を使用することが必須である。

データを圧縮する基本的な原理はデータの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。

現在、大部分のビデオコーディング標準は、モーション補償予測コーディング法に基づいているが、時間的重複はモーション補償に基づいた時間的フィルタリングにより除去し、空間的重複は空間的変換により除去する。

データの重複を除去した後、生成されるマルチメディアを伝送するためには、伝送媒体が必要であるが、その速度は伝送媒体別に違う。現在、使われている伝送媒体は、秒当り数十Ｍｂｉｔのデータを伝送できる超高速通信網から秒当り３８４ ｋｂｉｔの伝送速度を有する移動通信網のように多様な伝送速度を有する。

このような環境で、多様な速度の伝送媒体を支援するために、または伝送環境によってこれに適した伝送率でマルチメディアを伝送可能にする、すなわち、スケーラビリティーを有するデータコーディング方法がマルチメディア環境にさらに適している。

このようなスケーラビリティーとは、１つの圧縮されたビットストリームに対してビットレート、エラー率、システム資源などの条件によってデコーダまたはプリデコーダ端で部分的デコーディングを可能にする符号化方式である。デコーダまたはプリデコーダは、このようなスケーラビリティーを有するコーディング方式で符号化されたビットストリームの一部だけを取って異なる画質、解像度、またはフレームレートを有するマルチメディアシーケンスを復元しうる。

現在、進行しているＭＰＥＧ−２１スケーラブルビデオコーディング標準（以下、ＳＶＣ標準と称する）では、既存のＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を基盤として、図１の例のような多階層ビデオコーディングを具現するための研究が進行しつつある。

このようなスケーラブルビデオコーディングに関して、既に、ＭＰＥＧ−２１ＰＡＲＴ−１３では、その標準化を進行している。その中、多階層基板のビデオコーディング方法によってスケーラビリティーを具現しようとする努力はあった。このような多階層ビデオコーディングの例に、基礎階層、第１向上階層、ＣＩＦ、第２向上階層の多階層を含んで、各階層は、異なる解像度（ＱＣＩＦ、ＣＩＦ、２ＣＩＦ）、または異なるフレームレートで構成されうる。

図１は、多階層構造を用いたスケーラブルビデオコーディング方式の一例を示す図である。前記方式において、基礎階層は、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、１５Ｈｚ（フレームレート）に設定され、第１向上階層は、ＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、３０ｈｚに、第２向上階層は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、６０ｈｚに設定される。

このような多階層ビデオフレームのエンコーディングには、階層間の関連性を利用できるが、例えば、第１向上階層のビデオフレームのうち、ある領域１２は、基礎階層のビデオフレームのうち、対応する領域１３からの予測を通じて効率よくエンコーディングされる。同様に、第２向上階層ビデオフレームのうち、ある領域１１は、前記第１向上階層の領域１２からの予測を通じて効率よくエンコーディングされうる。もし、多階層ビデオにおいて各階層別に解像度が異なる場合には、前記予測を行う以前に基礎階層のイメージはアップサンプリングされねばならない。

現在、進行しているＭＰＥＧ−２１スケーラブルビデオコーディング標準（以下、ＳＶＣ標準と称する）では、既存のＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を基盤として、図１の例のような多階層ビデオコーディングを具現するための研究が進行しつつある。

ところで、Ｈ．２６４では空間的変換方法としてＤＣＴ変換を用いるが、このようなＤＣＴ基盤のコーデックでは圧縮率が高まるにつれて、望ましくないブロッキングアーティファクトないしブロック効果が発生する。このようなブロック人為性を発生させる原因としては、大きく２つを挙げられる。

その原因は、まず、ブロック基板の整数ＤＣＴ変換に起因する。前記ＤＣＴ変換結果であるＤＣＴ係数を量子化することによって、ブロック境界での不連続性が発生するためである。Ｈ．２６４では、相対的に小さな４×４サイズのＤＣＴ変換単位を用いるので、このような問題が多少減少したが、十分に解決されたとは言えない。

そして、ブロック人為性を発生させる第２の原因は、モーション補償予測である。モーション補償ブロックは、他の参照フレームの他の位置から補間されたピクセルデータをコピーして生成される。このデータが正確に一致しないために、コピーされたブロックのエッジには不連続性が発生する。また、前記コピー過程において、参照フレームに存在するブロックの不連続性は、モーション補償されるブロックの内部にそのまま伝えられる。

最近、このようなブロック効果を解決するための幾つかの技術が開発された。Ｈ．２６３及びＭＰＥＧ−４では、ブロッキング効果を減少させるために、重複ブロックモーション補償（ｏｖｅｒｌａｐｐｅｄ ｂｌｏｃｋｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ：ＯＢＭＣ）技法を提示する。ＯＢＭＣがブロック人為性の解決に効果的であるとしても、エンコーダ端でのモーション推定時に要求される演算量が非常に大きいという問題がある。したがって、Ｈ．２６４ではデブロックフィルタを用いて前記ブロック人為性を除去し、主観的／客観的画質を向上させようとする。前記フィルタによるフィルタリング過程は、エンコーダまたはデコーダ端で、逆変換以後、マクロブロックの復元前に適用される。この場合、色々な状況に適するようにデブロックフィルタを適用する強度を調節できる。

図２は、従来のＨ．２６４標準によるデブロックフィルタ強度を決定する方法を説明するフローチャートである。ここで、ブロックｑ及びブロックｐは、デブロックフィルタを適用するブロック境界をなす２つのブロックであって、各々現在ブロック及び隣接ブロックを表す。ｐまたはｑがイントラコーディングされたブロックであるか、対象サンプルがマクロブロック境界に位置するか、ｐまたはｑがコーディングされたブロックであるかによって、０ないし４まで５種のフィルタ強度（Ｂｓと表示される）が与えられる。ここで、Ｂｓ＝０である場合、該当対象ピクセルはデブロックフィルタを適用しないという意味である。

言い換えれば、このような従来のデブロックフィルタ強度決定では、対象サンプルが存在する現在ブロック及び隣接ブロックがイントラコーディングされたものであるか、インターコーディングされたものであるか、またはコーディングされていないものであるかをフィルタ強度の適用のための基準としている。そして、対象サンプルが４×４ブロックの境界に存在するか、１６×１６マクロブロックの境界に存在するかも、さらなる適用基準としている。

ところで、現在まで進行されたＳＶＣ標準では、図１のように下位階層で生成されたフレームを用いて現在階層でのフレームを予測する技術、すなわち、イントラＢＬモードを採択しているにも拘わらず、デブロックフィルタ強度を決定する部分では、図２のような従来のＨ．２６４標準にそのまま基づいている。

しかし、多階層ビデオエンコーダ／デコーダでは、各階層別にデブロックフィルタが適用されるので、現在階層フレームを効率よく予測するために、下位階層で提供されるフレームに再びデブロックフィルタを強く適用させることは非合理的である。それにも拘わらず、現在のＳＶＣ標準では、イントラＢＬモードをイントラコーディングの一種に含め、図２のようなフィルタ強度決定方式をそのまま適用することによって、前記フィルタ強度を決定するに当って、現在ブロックがイントラＢＬマクロブロックに属しているか否かは、全く考慮されていない実情である。

それぞれの状況に適したフィルタ強度を決定してデブロックフィルタを適用することが、復元されたビデオの客観的、主観的画質の上昇に相当役に立つということは既に知られている。したがって、多階層ビデオのコーディング／デコーディング時にイントラＢＬモードに該当するか否かを考慮して、適切にフィルタ強度を決定する技法を研究する必要がある。
米国公開特許２００４−００１７８５２号明細書

本発明は、前記必要性を考慮して案出されたものであって、多階層ビデオエンコーダ／デコーダでデブロックフィルタを適用する如何なるロックがイントラＢＬモードを使用するか否かによって適切なデブロックフィルタ強度を与えることを目的とする。

前記目的を達成するために、本発明による多階層ビデオフレームのエンコーディング又は多階層ビデオフレームのデコーディングにおける、複数のブロックで構成されるフレームに対するデブロックフィルタリング強度を決定する方法は、（ａ）デブロックフィルタリングを行う現在ブロックとその隣接ブロックとを決定する段階と、（ｂ）前記現在ブロック及び／又は前記隣接ブロックが、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされたか否かを判断する段階と、（ｃ）前記現在ブロックと前記隣接ブロックとのうちの少なくとも一が前記イントラＢＬモードでコーディングされたと判断された場合に、前記現在ブロック及び前記隣接ブロックがイントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、を含み、前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１である。

前記目的を達成するために、本発明による多階層ビデオフレームのエンコーディング又は多階層ビデオフレームのデコーディングにおける、複数のブロックで構成されるフレームをデブロックフィルタリングする方法は、（ａ）デブロックフィルタリングを行う現在ブロックとその隣接ブロックとを決定する段階と、（ｂ）前記現在ブロック及び／又は前記隣接ブロックが、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされたか否かを判断する段階と、（ｃ）前記現在ブロックと前記隣接ブロックとのうちの少なくとも一が前記イントラＢＬモードでコーディングされたと判断された場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、（ｄ）前記デブロックフィルタ強度によって前記現在ブロックと前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１である。

前記目的を達成するために、本発明によるデブロックフィルタリングを用いるビデオフレームの多階層スケーラブルエンコーディング方法は、（ａ）入力ビデオフレームを符号化する段階と、（ｂ）前記符号化されたフレームを復号化する段階と、（ｃ）デブロックフィルタリングを行う現在ブロックとその隣接ブロックとのうちの少なくとも一が、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされたと判断された場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、（ｄ）前記決定されたデブロックフィルタ強度によって前記現在ブロック及び前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１である。

前記目的を達成するために、本発明によるデブロックフィルタリングを用いるビデオフレームの多階層スケーラブルデコーディング方法は、（ａ）入力されたビットストリームからビデオフレームを復元する段階と、（ｂ）前記復元されたフレームに含まれる現在ブロックとその隣接ブロックとのうちの少なくとも一が、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされた場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、（ｃ）前記決定されたデブロックフィルタ強度によって前記現在ブロックと前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１である。

本発明によれば、多階層ビデオエンコーダ／デコーダでデブロックフィルタを適用する如何なるブロックがイントラＢＬモードを使用するか否かによって適切なデブロックフィルタ強度を与え得る。また、前記のような適切なデブロックフィルタ強度を与えることによって、復元されたビデオの画質向上を来し得る。

以下、添付した図面に基づいて本発明を詳細に説明する。本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。

一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

図３は、本発明の一実施形態による多階層ビデオコーダのフィルタ強度決定方法を示すフローチャートである。本明細書においてビデオコーダとは、ビデオエンコーダ及びビデオデコーダを通称する概念である。図３の実施形態は、図２の従来の技術と比較するとき、Ｓ２５、Ｓ３０、Ｓ５５、及びＳ６０段階がさらに追加されていることが分かる。

まず、ブロック（例えば、４×４ブロック）境界を中心に対象サンプルを選択する（Ｓ１０）。対象サンプルとは、現在ブロックｑと隣接ブロックｐとの間の境界を中心に、図４または図５のように配列されたサンプルの集合を意味する。図６に示したように、ブロックの生成順序を考慮する時、現在ブロックｑの上側ブロック及び左側ブロックが隣接ブロックｐ（ｐａ及びＰｂ）に該当し、よってデブロックフィルタが適用される対象は現在ブロックｑの上側境界と左側境界となる。もちろん、現在ブロックｑの下側境界及び右側境界は次に下側ブロック及び右側ブロックに対する作業時にフィルタリングされる。本発明において４×４ブロックを基準とするのは、Ｈ．２６４標準で４×４ＤＣＴ変換を用いており、モーション推定時の可変ブロックの最小単位も４×４であるために、その場合の例として説明することである。しかし、もし、８×８ＤＣＴ変換を使用するなど異なる特性を有するビデオコーダにおいては８×８ブロックまたはその他の異なるサイズのブロック境界に対してフィルタリングを適用することもできるということは、当業者ならば十分に理解できるであろう。

図４を参照すれば、ブロック境界が垂直な場合、すなわち、現在ブロックｑの左側境界を中心とした対象サンプルが現れている。対象サンプルは垂直境界を中心に隣接ブロックｐに存在する境界線左側４個のサンプルｐ０、ｐ１、ｐ２、ｐ３及び現在ブロックｑに存在する境界線右側４個のサンプルｑ０、ｑ１ｑ２、ｑ３である。一旦、対象自体は４個がいずれも対象となるが、実際決定されるフィルタ強度によって参照されるサンプルの数及び実際フィルタリングされるサンプルの数は変わりうる。

一方、図５を参照すれば、ブロック境界が水平である場合、すなわち、現在ブロックｑの上側境界を中心にした対象サンプルが現れている。対象サンプルは、水平境界を中心に隣接ブロックｐに存在する境界線上側の４個のサンプルｐ０、ｐ１、ｐ２、ｐ３及び現在ブロックｑに存在する境界線下側の４個のサンプルｑ０、ｑ１ｑ２、ｑ３である。

既存のＨ．２６４標準によれば、デブロックフィルタは、輝度信号及び色差信号成分に各々適用され、１つのフレームを構成するマクロブロック単位でラスタースキャン順序によって順次に実行される。各マクロブロックに対して、図４のような垂直方向境界に対するフィルタリングを先に行った後、図５のような水平方向の境界に対するフィルタリングを行えるが、その反対の順序でフィルタリングを行っても良い。

再び図３を参照すれば、Ｓ１０段階に次いで前記対象サンプルが属するブロックｐ及びブロックｑのうち、少なくとも１つがイントラコーディングされたか否かを判断する（Ｓ１５）。このようにイントラコーディングされたブロックであるか否かを判断する理由は、フレーム内の類似性を用いるイントラコーディングが、フレーム間の類似性を用いるインターコーディングに比べて相対的にブロック効果が大きく現れるからである。したがって、イントラコーディングされたブロックが存在する場合は、そうでない場合に比べて相対的にフィルタ強度を高める。

本発明において、“イントラコーディング”は１つのフレームにおいて、隣接ブロックのある部分から現在ブロックを予測する“方向的イントラ予測モード”によるコーディングと現在階層の下位階層で復元されたイメージから現在マクロブロックを予測する“イントラＢＬモード”によるコーディングを何れも含む概念と定義する。

Ｓ１５の判断結果、そうであれば、その次は前記ブロック境界がマクロブロック境界と一致しているか否かを判断する（Ｓ２０）。なぜなら、単に４×４ブロック境界よりは、マクロブロック境界でブロック効果がさらに大きく現れるために、このような判断によってマクロブロックの境界では、フィルタ強度をさらに高めるようになる。

前記ブロック境界がマクロブロック境界と一致するならば（Ｓ２０のはい）、ブロックｐ及びブロックｑがイントラＢＬモードに該当するか否かを判断し（Ｓ２５）、そうであれば、フィルタ強度を表す値（以下、“Ｂｓ”と称する）はＡと決定し（Ｓ３０）、そうでなければ、Ｂｓは４に決定する（Ｓ５０）。本実施形態では、ブロックｐ及びブロックｑのうち、１つでもＢＬモードではなければ、ＢＳは４に決定されることとする。

前記Ａ値は、Ｓ２５の‘いいえ’で選択される値、すなわち、４よりは小さな値にならねばならない。なぜなら、従来技術の問題点の説明でも述べたように、イントラＢＬモードを用いるために提供される基礎階層のイメージは、既にデブロックフィルタが適用されているので、他のイントラ予測モードと同じ強度のフィルタを適用させるということは不合理なためである。したがって、Ａ値は、０ないし３のうち、１つを有することができるが、実験を通じて捜し出したところによれば、Ａ値は１になることが最も望ましいということを確認できた。

Ｓ２０段階の判断結果、前記ブロック境界がマクロブロック境界と一致していなければ、（Ｓ２０のいいえ）、ブロックｑがイントラＢＬモードでコーディングされたか否かを判断し（Ｓ５５）、そうであれば、ＢｓはＢに決定し（Ｓ６０）、そうでなければ、Ｂｓは３に決定する（Ｓ６５）。上記でＡ値を決定すると同様な理由で、ＢもＳ５５の‘いいえ’で選択される値である３よりは小さくなければならない。したがって、Ｂ値は、０ないし２のうち、１つを有することができるが、実験を通じて捜し出したところによれば、Ｂ値も１になることが最も望ましいということが分かる。

一方、Ｓ１５段階において、ブロックｐとブロックｑのうち、イントラコーディングされたものが存在していなければ（Ｓ１５のいいえ）、ブロックｐとブロックｑのうち、コーディングされたものの有無を判断する（Ｓ７０）。イントラコーディングされないブロックは、インター予測を通じてインターコーディングされることが一般的であるが、Ｈ．２６４標準ではインター予測の結果、予測されたイメージと現在イメージとの差分が一定の臨界値より低い場合には、前記差分をコーディングしない技法を用いるために、Ｓ７０の判断が必要であるものである。これは、コーディングされた場合に比べてブロック効果が発生する可能性が低いので、相対的に低いフィルタ強度を適用するためである。

もし、ブロックｐとブロックｑのうち、コーディングされたブロックが１つでも存在すれば（Ｓ７０のはい）、Ｂｓは２に設定する（Ｓ７５）。しかし、両ブロックがいずれもコーディングされていない場合には（Ｓ８０のいいえ）、ブロックｐ及びブロックｑの間に参照フレームが相異なるか、または参照フレームの数が相異なる場合（Ｓ８０のはい）には、Ｂｓは１に設定する（Ｓ８５）。その理由は、参照フレームが相異なるということは、相対的にブロック効果が発生する可能性が大きいということを意味するからである。

Ｓ８０の判断結果、そうでなければ（Ｓ８０のいいえ）、ブロックｐ及びブロックｑのモーションベクトルが相異なるか中を判断する（Ｓ９０）。これは、両ブロックが同じ参照フレームを有する場合（Ｓ８０のいいえ）にも、モーションベクトルが一致していない場合は、モーションベクトルが一致する場合に比べてブロック効果が発生する可能性が相対的に高いので、その判断結果によって異なるフィルタ強度を適用するためである。

Ｓ９０の判断結果、そうであれば（Ｓ９０のはい）、Ｂｓは１に設定し（Ｓ８５）、そうでなければ、Ｂｓは０に設定する（Ｓ９５）。

図７は、本発明の他の実施形態による多階層ビデオコーダのフィルタ強度決定方法を示すフローチャートである。図５の実施形態では、Ｓ２５段階でブロックｐ及びブロックｑがいずれもイントラＢＬモードである場合と、そうでない場合とに分けたが、本実施形態では、前記段階で両ブロックのうち、イントラＢＬモードが１つである場合と２つである場合とを分離して、各々異なるフィルタ強度を適用する。

それ以外の部分は、図５の実施形態と同一なので、以下では違う部分を中心に説明する。図７のＳ２５段階で、ブロックｐ及びブロックｑがいずれもイントラＢＬモードである場合には（Ｓ２５のはい）、Ｂｓは図５の実施形態と同様にＡに設定する（Ｓ３０）。しかし、ブロックｐ及びｑのうち、１つだけイントラＢＬモードである場合には（Ｓ３５のはい）、Ｂｓは新たな値Ｃに設定する（Ｓ４５）。そして、ブロックｐ及びｑがいずれもイントラＢＬモードでなければ（Ｓ３５のいいえ）、Ｂｓは図５の実施形態と同様にそのまま４を設定する（Ｓ５０）。

前記Ｃは、両ブロックのうち、１つだけイントラＢＬモードである場合であるために、フィルタ強度をＡよりは大きく、４よりは小さな値に設定せねばならない。もし、Ａを図５のように１にすれば、Ｃは２、３のうち、１つの値を有することができる。

一方、図８は、前記のようなフィルタ強度決定方式によるデブロックフィルタを含む多階層ビデオエンコーダの構成を示す図である。前記多階層ビデオエンコーダは、閉ループ方式、または開ループ方式で具現されうる。ここで、閉ループ方式とは、元のフレームを参照として予測を行う方式を、開ループ方式とは、復元されたフレームを参照として予測を行う方式を、各々意味する。

選択部２８０は、基礎階層エンコーダ１００のアップサンプラー１９５から伝えられる信号と、モーション補償部２６０から伝えられる信号と、イントラ予測部２７０から伝達される信号のうち、１つを選択して出力する。このような選択は、イントラＢＬモード、インター予測モード、及びイントラ予測モードのうち、さらにコーディング効率の高い方を選択する過程で実行される。

イントラ予測部２７０は、加算器２１５から提供される復元された隣接ブロックイメージから所定のイントラ予測モードによって現在ブロックのイメージを予測する。Ｈ．２６４では、このようなイントラ予測モードを定義しているが、前記イントラ予測モードは、方向性を有する８個のモードと１個のＤＣモードとを含んで、総９個が存在する。このうち、いかなるモードを使用するかも、コーディング効率の高い方を選択する方式でなされる。イントラ予測部２７０は、前記選択されたイントラ予測モードによって生成される予測ブロックを加算器２０５に提供する。

モーション推定部２５０は、入力ビデオフレームのうち、参照フレームを基準に現在マクロブロックのモーション推定を行ってモーションベクトルを求める。このような動き推定のために広く使われるアルゴリズムはブロックマッチングアルゴリズムである。すなわち、与えられたモーションブロックを参照フレームの特定探索領域内においてピクセル単位で動かしつつ、そのエラーが最低となる場合の変位を動きベクトルで推定することである。モーション推定のために固定された大きさのモーションブロックを用いることもできるが、階層的可変サイズブロックマッチング法（Ｈｉｅｒａｒｃｈｉｃａｌ Ｖａｒｉａｂｌｅ Ｓｉｚｅ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ：ＨＶＳＢＭ）による可変サイズを有するモーションブロックを用いてモーション推定を行っても良い。モーション推定部２５０は、モーション推定の結果で求められるモーションベクトル、モーションブロックのモード、参照フレーム番号などのモーションデータをエントロピー符号化部２４０に提供する。

モーション補償部２６０は、前記モーション推定部２５０で計算されたモーションベクトル及び参照フレームを用いてモーション補償を行って現在フレームに対するインター予測イメージを生成する。

差分器２０５は、現在入力フレーム信号から、前記選択部２８０で選択された信号を差分することによって、残余フレームを生成する。

空間的変換部２２０は、差分器２０５によって生成された残余フレームに対して空間的変換を行う。このような空間的変換方法としては、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換などがある。空間的変換結果、変換係数が求められるが、空間的変換方法において、ＤＣＴを使用する場合にはＤＣＴ係数が、ウェーブレット変換を使用する場合にはウェーブレット係数が求められる。

量子化部２３０は、空間的変換部２２０で求めた変換係数を量子化して量子化係数を生成する。量子化とは、任意の実数値で表現される前記変換係数を一定区間に分けて不連続的な値に表す作業を意味する。このような量子化方法としては、スカラー量子化、ベクトル量子化などの方法があるが、この中、簡単なスカラー量子化方法は、変換係数を量子化テーブルの該当値で割った後、整数桁に四捨五入する過程で実行される。

一方、空間的変換方法としてウェーブレット変換を用いる場合には、量子化方法として主にエンベデッド量子化方法を用いる。このようなエンベデッド量子化方法は前記変換係数をスレショルド値を変更させつつ（１／２に変更）、そのスレショルド値を超える成分を優先的に符号化する方式であって、空間的連関性を用いて効率的な量子化を行う。このようなエンベデッド量子化方法としては、ＥＺＷ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏｔｒｅｅｓ Ｗａｖｅｌｅｔ Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔパーティションｉｎｇ ｉｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ Ｚｅｒｏ Ｂｌｏｃｋ Ｃｏｄｉｎｇ）などがある。以上のエントロピー符号化以前段階までの符号化過程を損失符号化過程という。エントロピー符号化部２４０は、前記量子化係数と、モーション推定部２５０によって提供されるモーション情報を無損失符号化し、出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化、可変長符号化などがある。

図９は、前記生成されるビットストリーム５０の構造の例を示す図である。Ｈ．２６４では、ビットストリームはスライス単位で符号化される。ビットストリーム５０は、スライスヘッダ６０と、スライスデータ７０を含み、スライスデータ７０は複数のマクロブロックデータ（ＭＢ）７１、７２、７３、７４で構成される。また１つのマクロブロックデータ７３は、ｍｂ＿ｔｙｐｅフィールド８０と、ｍｂ＿ｐｒｅｄフィールド８５と、テクスチャーデータフィールド９０で構成されうる。

ここで、ｍｂ＿ｔｙｐｅフィールド８０には、マクロブロックの種類を表す値が記録される。すなわち、現在マクロブロックがイントラマクロブロックであるか、インターマクロブロックであるか、またはイントラＢＬマクロブロックであるかを表す。

そして、ｍｂ＿ｐｒｅｄフィールド８５には、前記マクロブロックの種類による細部予測モードが記録される。イントラマクロブロックの場合には、前記選択されたイントラ予測モードが記録され、インターマクロブロックの場合にはマクロブロックパーティション別に参照フレーム番号及びモーションベクトルが記録される。テクスチャーデータフィールド９０には、符号化された残余フレーム、すなわち、テクスチャーデータが記録される。

再び、図８を参照すれば、向上階層エンコーダ２００は逆量子化部２７１、逆空間的変換部２７２、及び加算器２１５をさらに含むが、これらは損失符号化されたフレームを逆に復号化して復元するために使われる。

逆量子化部２７１は、量子化部２３０で量子化された係数を逆量子化する。このような逆量子化過程は、量子化過程の逆に該当する過程である。そして、逆空間的変換部２７２は、前記逆量子化結果を逆空間的変化して、これを加算器２１５に提供する。加算器２１５は逆空間的変換部２７２から提供された信号と選択部２８０で選択されてフレームバッファ（図示せず）に保存された予測信号とを加算して、ビデオフレームを復元する。加算器２１５によって復元されたビデオフレームは、デブロックフィルタ２９０に提供され、前記復元されたビデオフレームのうち、隣接ブロックのイメージはイントラ予測部２７０に提供される。

フィルタ強度決定部２９１は、図３または図７で説明したフィルタ強度決定方式によって１つのマクロブロックでのマクロブロック境界及びブロック（例えば、４×４ブロック）境界に対してフィルタ強度を決定する。輝度成分の場合、マクロブロックは、図１０と同様に１６×１６サイズであるが、色差成分の場合、マクロブロックは、図１１と同様に８×８サイズを有する。図１０及び図１１で１つのマクロブロックに対してフィルタ強度を表示する境界部分には、‘Ｂｓ’と表記した。ただし、マクロブロックの右側境界線及び下側境界線には表示されていない。現在マクロブロックの右側または下側にマクロブロックが存在していなければ、その部分に対するデブロックフィルタは不要であって、右側または下側にマクロブロックが存在すれば、該当マクロブロックに対するデブロックフィルタリング時に前記境界線に対するフィルタ強度が決定されるからである。

図１０のような輝度成分マクロブロックの多様な境界線に対してフィルタ強度を決定した例は、図１２に示すようである。ここでは、現在マクロブロック及び左側のマクロブロックは、イントラＢＬマクロブロックであり、上側のマクロブロックはインターマクロブロック（またはイントラマクロブロック）であることを例と挙げた。

図３の実施形態を基準とするならば、マクロブロック内部の４×４ブロック境界線はいずれもフィルタ強度が‘Ｂ’に設定され、イントラマクロブロック間の境界線（現在マクロブロックの左側境界線）は、いずれもフィルタ強度が‘Ａ’に設定される。そして、現在マクロブロックの上側境界線はいずれもフィルタ強度が‘４’に設定される。

もし、図７の実施形態を基準とするならば、図１２とは違って現在マクロブロックの上側境界線はいずれもフィルタ強度が‘Ｃ’に設定される。

デブロックフィルタ２９０は、フィルタ強度決定部２９１で決定されたフィルタ強度によってそれぞれの境界線に対して実際にデブロックフィルタリングを行う。また図４及び図５を参照すれば、垂直境界または水平境界の両側での４つのピクセルが現れている。それぞれのフィルタリング動作は、境界の両側の最大３つのピクセルに、すなわち、最大｛ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２｝にまで影響を与え得る。これは、フィルタ強度Ｂｓ、隣接したブロックの量子化パラメータＱＰなどを考慮して決められる。

ところが、デブロックフィルタリングにおいて、ピクチャーに存在する実際エッジとＤＣＴ係数とを量子化して発生したエッジを区別することは非常に重要である。イメージの鮮明さを保持するために、実際エッジは可能なかぎりフィルタリングされずに残っていなければならず、人為的なエッジはフィルタリングされて目につかなくせねばならない。したがって、次の式（１）の条件をいずれも満足する場合にのみフィルタリングが実行される。

ここで、αとβは、量子化パラメータ、ＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢなどによって決まるスレショルド値である。

仮に、Ｂｓが１、２、３のうちいずれか１つであり、４−タブフィルタが入力ｐ１、ｐ０、ｑ０、及びｑ１に適用されるならば、フィルタリングされた出力はＰ０（ｐ０をフィルタリングした結果）、及びＱ０（ｑ０をフィルタリングした結果）になりうる。輝度成分において、もし、

ならば、４−タブフィルタは入力ｐ２、ｐ１、ｐ０及びｑ０に適用され、フィルタリングされた出力はＰ１（ｐ１をフィルタリングした結果）となりうる。同様に、もし、

ならば４−タブフィルタはｑ２、ｑ１、ｑ０、及びｐ０に適用され、フィルタリングされた出力はＱ１（ｑ１をフィルタリングした結果）となりうる。

一方、Ｂｓが４ならば３−タブフィルタ、４−タブフィルタ、または５−タブフィルタが適用され、スレショルド値α、β、及び実際８個のピクセルに基づいてＰ０、Ｐ１、Ｐ２（ｐ０、ｐ１、ｐ２をフィルタリングした結果）、Ｑ０、Ｑ１、及びＱ２（ｑ０、ｑ１、ｑ２をフィルタリングした結果）が出力されうる。

このようなデブロックフィルタリングを行う過程に対するさらに詳細な情報は、“Ｄｒａｆｔ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＩＴＵ−Ｔｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）、Ｐａｔｔａｙａ、Ｔｈａｉｌａｎｄ、７−１４ Ｍａｒｃｈ、２００３”を参照すれば分かる。

再び図８を参照すれば、デブロックフィルタ２９０によってフィルタリングされた結果フレームＤ１は、他の入力フレームに対するインター予測を行うのに使用するために、モーション推定部２５０に提供される。また、現在向上階層の上位の向上階層がさらに存在する場合には、前記Ｄ１は上位の向上階層でイントラＢＬモードの予測を行うのに参照フレームとして提供されうる。ただし、上記の通りにデブロックフィルタの出力Ｄ１がモーション推定部２５０に入力されることは、閉ループ方式のビデオエンコーダの場合だけである。ＭＣＴＦ（Ｍｏｔｉｏｎ
Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）基盤のビデオエンコーダのように開ループ方式を用いる場合には、インター予測時に参照フレームとして原本フレームを用いるので、デブロックフィルタの出力が再びモーション推定部２５０に入力される必要はない。

一方、基礎階層エンコーダ１００は、空間的変換部１２０、量子化部１３０、エントロピー符号化部１４０、モーション推定部１５０、モーション補償部１６０、イントラ予測部１７０、選択部１８０、逆量子化部１７１、逆空間的変換部１７２、ダウンサンプラー１０５、アップサンプラー１９５、デブロックフィルタ１９０を含んで構成されうる。

ダウンサンプラー１０５は、元の入力フレームを基礎階層の解像度でダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）し、アップサンプラー１９５はデブロックフィルタ１９０でフィルタリングされた結果をアップサンプリングして向上階層の選択部２８０に提供する。

ただし、基礎階層エンコーダ１００では下位階層の情報を利用できないので、選択部１８０はイントラ予測信号及びインター予測信号のうち、１つを選択し、デブロックフィルタ１９０は従来のＨ．２６４と同じ方式でフィルタ強度を決定する。

その他に、異なる構成要素は前記向上階層エンコーダ２００に存在する同一名称の構成要素の動作と同じであるために、重複的な説明は省略する。

図１３は、本発明の一実施形態によるビデオデコーダ３０００の構成の一例を示すブロック図である。ビデオデコーダ３０００は、大きく向上階層デコーダ６００と、基礎階層デコーダ５００を含んで構成されうる。まず、向上階層デコーダ６００の構成を説明する。エントロピー復号化部６１０は、入力される向上階層ビットストリームに対してエントロピー符号化方式の逆に無損失復号化を行い、マクロブロック種類情報（マクロブロックの種類を表す情報）、イントラ予測モード、モーション情報、及びテクスチャーデータなどを抽出する。ここで、前記ビットストリームは、図９の例と同様に構成されうる。ここで、マクロブロックの種類は、ｍｂ＿ｔｙｐｅフィールド８０から分かり、具体的なイントラ予測モード及びモーション情報は、ｍｂ＿ｐｒｅｄフィールド８５から分かる。そして、テクスチャーデータは、テクスチャーデータフィールド９０を読取ることによって分かる。

エントロピー復号化部６１０は、テクスチャーデータは逆量子化部６２０に提供し、イントラ予測モードはイントラ予測部６４０に提供し、モーション情報はモーション補償部６５０に提供する。そして、現在マクロブロックの種類情報はフィルタ強度決定部６９１に提供する。逆量子化部６２０は、エントロピー復号化部６１０から伝えられたテクスチャー情報を逆量子化する。この際、ビデオエンコーダ側で使用したものと同じ量子化テーブルを用いる。

次いで、逆空間的変換部６３０は、前記逆量子化結果に対して逆空間的変換を行う。このような逆空間的変換は、ビデオエンコーダ端での空間的変換に対応する方式で実行される。すなわち、エンコーダ端でＤＣＴ変換を実行したならば、ここでは逆空間的変換を、エンコーダ端でウェーブレット変換を実行したならば、ここでは逆ウェーブレット変換を行う。逆空間的変換の結果、残余フレームが復元される。イントラ予測部６４０は、エントロピー復号化部６１０から伝えられるイントラ予測モードによって加算器６１５から出力される復元された周辺イントラブロックから現在イントラブロックに対する予測ブロックを生成して選択部６６０に提供する。

一方、モーション補償部６５０は、エントロピー復号化部６１０から提供されるモーション情報及びデブロックフィルタ６９０から提供される参照フレームを用いてモーション補償を行う。モーション補償の結果、生成される予測フレームは選択部６６０に提供される。

そして、選択部６６０は、アップサンプラー５９５から伝えられる信号と、モーション補償部６５０から伝えられる信号、及びイントラ予測部６４０から伝えられる信号のうち、１つを選択して加算器６１５に伝達する。この際、選択部６６０はエントロピー復号化部６１０から提供される現在マクロブロック種類情報を把握し、その種類によって３種の信号のうち該当信号を選択する。

加算器６１５は、前記逆空間的変換部６３０から出力される信号で前記選択部６６０で選択された信号を加算することによって、向上階層のビデオフレームを復元する。

フィルタ強度決定部６９１は、図３または図７で説明したフィルタ強度決定方式によって１つのマクロブロックでのマクロブロック境界及びブロック境界に対してフィルタ強度を決定する。この場合、現在フィルタリングを行うために、図１２のようにマクロブロックの種類を知らねばならないが、このようなマクロブロックの種類に関する情報はエントロピー復号化部６１０から提供される。

そして、デブロックフィルタ６９０は、フィルタ強度決定部６９１から決定されたフィルタ強度によってそれぞれの境界線に対して実際にデブロックフィルタリングを行う。

このような、デブロックフィルタ６９０によりフィルタリングされた結果フレームＤ３は、他の入力フレームに対するインター予測フレームを生成するためにモーション補償部６５０に提供される。また、現在向上階層の上位の向上階層がさらに存在する場合には、前記Ｄ３は上位の向上階層でイントラＢＬモードの予測を行うのに参照フレームとして提供されうる。

一方、基礎階層デコーダ５００の構成も向上階層の構成と類似している。ただし、基礎階層デコーダ５００では下位階層の情報を利用できないので、選択部５６０はイントラ予測信号及びインター予測信号のうち、１つを選択し、デブロックフィルタ５９０は従来のＨ．２６４と同じ方式でフィルタ強度を決定する。また、アップサンプラー５９５は、デブロックフィルタ５９０でフィルタリングされた結果をアップサンプリングして、向上階層の選択部６６０に提供する。

その他の構成要素は、前記向上階層デコーダ６００に存在する同一名称の構成要素の動作と同じであるために、重複的な説明は省略する。

以上の説明で、ビデオエンコーダ及びビデオデコーダは各々１つの基礎階層及び１つの向上階層、すなわち２個の階層よりなると説明した。しかし、これは１つの例に過ぎず、当業者ならば、このような本発明の説明に基づいて３つ以上の階層を有するビデオコーダをいくらでも具現できるであろう。

前記図８及び図１３の各構成要素は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはエーシック（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味する。しかし、前記構成要素は、ソフトウェアまたはハードウェアに限定されるものではない。アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。構成要素から提供される機能は、より少数の構成要素及びモジュールで結合されるか、追加的な構成要素とモジュールにさらに分離されうる。複数の構成要素を結合して特定の機能を行う一つの構成要素で具現されることもある。

図１４Ａないし図１６Ｂは、本発明と従来の技術との実験結果を比較して表した図である。ここで、従来の技術では、“ＩＳＯ／ＩＥＣ ２１０００−１３ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｎ６７１６、Ｐａｌｍａ、Ｏｃｔ．２００４。”で提供するＳＶＭ３．０モデルを用いた。

図１４Ａは、ＣＲＥＷシーケンスで輝度成分ＰＳＮＲ（Ｙ−ＰＳＮＲ）をビット率の変化によって示すグラフであり、図１４Ｂは、ＨＡＲＢＯＵＲシーケンスで輝度成分ＰＳＮＲ（Ｙ−ＰＳＮＲ）をビット率の変化によって示すグラフである。ＣＲＥＷシーケンスでは、明白に０．１ないし０．２ｄＢ程度の画質向上を来すことを確認できる。ところが、ＨＡＲＢＯＵＲシーケンスでは画質向上が微小であった。しかし、どの場合のどんなテストポイントでも画質の低下が現れる所はなかった。したがって、本発明による方法は、迅速な動きを有するシーケンス（前者）にさらに効果的であり、動きが遅いか、時間的に強い連関性を有するシーケンス（後者）では相対的に効果が落ちることを確認しうる。その理由は、本発明がイントラＢＬマクロブロックを使用する場合に性能向上を来すが、後者の場合には選択されるイントラＢＬマクロブロックの数が少ないためであると解釈される。

図１５Ａ及び図１５Ｂは、フレーム単位で各々ＣＩＦ＠１０２４ｋｂｐｓのＦＯＯＴＢＡＬＬシーケンス及び、４ＣＩＦ＠３０００ｋｂｐｓのＣＲＥＷシーケンスについて、従来の技術に対する本発明の性能向上を示すグラフである。図１４Ａ、図１４Ｂで示したように、平均的なＰＳＮＲ向上は、あまり大きくないかも知れないが、幾つかのフレームにおいてはＰＳＮＲ値が０．７ｄＢまで向上することを確認しうる。また、ＣＲＥＷシーケンスではいろいろなフレームのＰＳＮＲ値が０．１７ｄＢまで向上することを確認しうる。画質向上が大きく現れるフレームは、相対的に動きの速いフレームであって、従来の技術による場合、画質低下が大きく表れるフレームである。このように本発明は、特に画質低下の激しいフレームでの画質向上を来すという点で大きな意義を有する。

図１６Ａ及び図１６Ｂは、各々ＦＯＯＴＢＡＬＬシーケンスのうち、１２番目のフレームを従来の技術（ＳＶＭ３）によって復元したイメージと、本発明によって復元されたイメージとを表す。ここでは、いずれもＣＩＦ＠１０２４ｋｂｐｓを使用した。その結果、本発明による方法がデブロック過程で発生する過度なスムージィング（ｏｖｅｒ−ｓｍｏｏｔｈｉｎｇ）効果を減らすことによって、従来の技術に比べて視覚的ディテールを相対的によく保存するということが分かる。

以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、多階層ビデオエンコーダまたはデコーダで使われるデブロックフィルタに関連した技術分野に好適に適用されうる。

多階層構造を用いたスケーラブルビデオコデックの一例を示す図である。 従来のＨ．２６４標準によるデブロックフィルタ強度を決定する方法を説明するフローチャートである。 本発明の一実施形態による多階層ビデオコーダのフィルタ強度決定方法を示すフローチャートである。 ブロックの垂直境界及び対象サンプルを示す図である。 ブロックの水平境界及び対象サンプルを示す図である。 現在ブロックｑと隣接ブロックｐ_ａ、ｐ_ｂとの位置関係を示す図である。 本発明の他の実施形態による多階層ビデオコーダのフィルタ強度決定方法を示すフローチャートである。 本発明の一実施形態による閉ループ方式のビデオエンコーダの構成を示すブロック図である。 本発明の一実施形態によって生成されるビットストリームの構造を示す図である。 輝度成分についてマクロブロック及びブロックの境界を示す図である。 色差成分についてマクロブロック及びブロックの境界を示す図である。 マクロブロックの各境界別にフィルタ強度を設定した例を示す図である。 本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。 ＣＲＥＷシーケンスで輝度成分ＰＳＮＲをビット率の変化によって示すグラフである。 ＨＡＲＢＯＵＲシーケンスで輝度成分ＰＳＮＲをビット率の変化によって示すグラフである。 フレーム単位でＣＩＦ＠１０２４ｋｂｐｓのＦＯＯＴＢＡＬＬシーケンスについて、従来の技術に対する本発明の性能向上を示すグラフである。 フレーム単位で４ＣＩＦ＠３０００ｋｂｐｓのＣＲＥＷシーケンスについて、従来の技術に対する本発明の性能向上を示すグラフである。 ＦＯＯＴＢＡＬＬシーケンスのうち、１つのフレームを従来の技術によって復元したイメージである。 図１６Ａのフレームを本発明によって復元したイメージである。

符号の説明

５０ ビットストリーム
１００、３００ 基礎階層エンコーダ
２００、４００ 向上階層エンコーダ
５００ 基礎階層デコーダ
６００ 向上階層デコーダ
１０００、２０００ ビデオエンコーダ
３０００ ビデオデコーダ
２９０、６９０ デブロックフィルタ
２９１、６９１ フィルタ強度決定部

Claims (3)

1. ビデオフレームの多階層スケーラブルエンコーディング又はビデオフレームの多階層スケーラブルデコーディングにおける、複数のブロックで構成されるフレームをデブロックフィルタリングする方法において、
   （ａ）デブロックフィルタリングを行う現在ブロックとその隣接ブロックとを決定する段階と、
   （ｂ）前記現在ブロック及び／又は前記隣接ブロックが、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされたか否かを判断する段階と、
   （ｃ）前記現在ブロックと前記隣接ブロックとのうちの少なくとも一が前記イントラＢＬモードでコーディングされたと判断された場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、
   （ｄ）前記デブロックフィルタ強度によって前記現在ブロックと前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、
   前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１であるデブロックフィルタリング方法。
2. デブロックフィルタリングを用いる、ビデオフレームの多階層スケーラブルエンコーディング方法において、
   （ａ）入力ビデオフレームを符号化する段階と、
   （ｂ）前記符号化されたフレームを復号化する段階と、
   （ｃ）デブロックフィルタリングを行う現在ブロックとその隣接ブロックとのうちの少なくとも一が、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされたと判断された場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、
   （ｄ）前記決定されたデブロックフィルタ強度によって前記現在ブロック及び前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、
   前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１であるビデオのコーディング方法。
3. デブロックフィルタリングを用いる、ビデオフレームの多階層スケーラブルデコーディング方法において、
   （ａ）入力されたビットストリームからビデオフレームを復元する段階と、
   （ｂ）前記復元されたフレームに含まれる現在ブロックとその隣接ブロックとのうちの少なくとも一が、下位階層で生成されたフレームを用いて現在階層でのフレームを予測するイントラＢＬモードでコーディングされた場合に、前記現在ブロック及び前記隣接ブロックが前記イントラＢＬモードでコーディングされていない場合に比して低いデブロックフィルタ強度を決定する段階と、
   （ｃ）前記決定されたデブロックフィルタ強度によって前記現在ブロックと前記隣接ブロックとの境界に対してデブロックフィルタリングを行う段階と、を含み、
   前記境界がマクロブロックの境界と一致していない場合には、前記現在ブロックが前記イントラＢＬモードでコーディングされていない場合に設定されるフィルタ強度は３であり、前記現在ブロックが前記イントラＢＬモードでコーディングされている場合に設定されるフィルタ強度は１であるビデオデコーディング方法

Images