JPWO2011145601A1 - 画像処理装置と画像処理方法 - Google Patents

Abstract

デブロッキングフィルタ２４は、ブロック毎に符号化された画像データを復号化して得られる復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行う。フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズの少なくとも一方が所定のブロックサイズより拡張されているとき、タップ長を拡張した長さに設定して歪みの除去強度を強くしたり、フィルタ処理対象画素範囲を拡張した範囲に設定する。拡張された大きさのマクロブロックが用いられたとき、平滑化の度合いが強くされたり、ブロック境界から遠くまでの画素がフィルタ対象とされるので、様々なブロックサイズを用いる場合、または拡張された大きさのブロックを用いる場合においても良好な画質の画像を得られるようになる。

Description

この技術は、画像処理装置と画像処理方法に関する。詳しくは、良好な画質の復号画像を得られるようにする。

近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局や一般家庭において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば、４〜８Ｍｂｐｓ符号量（ビットレート）を割り当てることで良好な画質の実現が可能である。また、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０ （Advanced Video Coding、以下「Ｈ．２６４／ＡＶＣ」と記す）という名の下に国際標準となった。

さらに、その拡張として、ＲＧＢや４：２：２、４：４：４といった、業務用に必要な符号化ツールや、ＭＰＥＧ２で規定されていた８×８ＤＣＴや量子化マトリクスをも含んだＦＲＥxt(Fidelity Range Extension)の標準化が２００５年２月に完了した。これにより、Ｈ．２６４／ＡＶＣ方式を用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Ｂｌｕ−Ｒａｙ（登録商標）等の幅広いアプリケーションに用いられる運びとなった。

このような符号化復号化処理では、ブロック単位で画像データの符号化が行われている。また、符号化データの復号化では、例えば特許文献１に示すように、ブロック境界強度や量子化パラメータを基にしてフィルタ処理を行うことブロック歪みを抑制することが行われている。

さらに、昨今、４０００×２０００画素程度の画像を圧縮したい、またはインターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、さらなる高圧縮率符号化に対するニーズが高まっている。このため、非特許文献１のように、マクロブロックサイズを、ＭＰＥＧ２やＨ．２６４／ＡＶＣよりも大きい例えば３２画素×３２画素といった大きさにすることが提案されている。すなわち、非特許文献１では、マクロブロックについて階層構造を採用することにより、１６×１６画素ブロック以下に関しては、Ｈ．２６４／ＡＶＣにおけるマクロブロックと互換性を保ち、そのスーパーセットとして、より大きなブロックが定義されている。

特開２００７−３６４６３号公報

"Video Coding Using Extended Block"(Study Group16, Contribution 123, ITU, 2009年1月)

ところで、従来のデブロッキングフィルタでブロック歪みの除去を行う場合には、特に低いビットレートにおいてブロック歪みが大きくなり、ブロック歪みが十分に除去されなくなって画質の劣化を生じてしまうおそれがある。

そこで、本技術では、様々なブロックサイズを用いる場合、又は、拡張された大きさのブロックを用いる場合においても良好な画質の画像を得られる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、ブロック毎に符号化された画像データを復号する復号部と、
前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、を備える画像処理装置にある。

この技術では、ブロック毎に符号化された画像データを復号化して得られる復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、フィルタの設定を行うフィルタ設定部が設けられる。フィルタ設定部では、例えばブロック境界において隣接する隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、ブロック境界に対するフィルタ処理のタップ長をブロックサイズが大きいほど長く設定する又はフィルタ処理の処理対象となるフィルタ処理対象画素範囲をブロックサイズが大きいほど広く設定する。また、隣接ブロックにおいて隣接する側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲が設定される。また、隣接ブロックのブロックサイズに対応したケース分類が行われて、隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースに応じて、フィルタ処理のタップ長とフィルタ処理対象画素範囲が設定される。ケース分類では、例えば隣接ブロックが１６×１６画素以下である場合と、２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、２つのブロックの少なくとも一方が３２×３２画素より大きい場合に分類される。ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである。さらに、フィルタ設定部は、復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、タップ長又はフィルタ処理対象画素範囲の設定が行われる。

この技術の第２の側面は、ブロック毎に符号化された画像データを復号する復号工程と、前記復号工程において復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ工程と、を有する画像処理方法にある。

この技術の第３の側面は、直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化部と、を備える画像処理装置にある。

この技術の第４の側面は、直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定工程と、前記フィルタ工程においてフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化工程と、を有する画像処理方法にある。

この技術によれば、ブロック歪みが軽減された良好な画質の画像を得られるようになる。

画像符号化装置の構成を示す図である。 デブロッキングフィルタのフィルタ処理に用いる画素データを示した図である。 量子化パラメータＱＰと閾値αの関係を示す図である。 デブロッキングフィルタとフィルタ設定部の構成を示す図である。 画像符号化処理で用いる予測ブロックサイズを示す図である。 画像符号化処理動作を示すフローチャートである。 予測処理を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 フィルタ設定処理を示すフローチャートである。 画像復号化装置の構成を示している。 画像復号化処理動作を示すフローチャートである。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。

以下、本技術を実施するための形態について説明する。本技術の画像処理装置は、予測ブロックサイズで画像データを符号化処理する画像符号化装置や、予測ブロックサイズで符号化が行われた画像データを復号化処理する画像復号化装置等に適用可能である。したがって、画像符号化装置に適用した場合と画像復号化装置に適用した場合について、以下の順序で説明する。
１．画像符号化装置の構成
２．デブロッキングフィルタのフィルタ処理について
３．画像符号化装置におけるデブロッキングフィルタの構成
４．画像符号化装置の動作
５．画像復号化装置の構成
６．画像復号化装置の動作
７．応用例

＜１．画像符号化装置の構成＞
図１は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。

Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。

画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。

減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。

直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。

量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。

可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。

蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。

レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。

逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。

逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。

加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２４とフレームメモリ２５に出力する。

デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ２５に出力する。また、デブロッキングフィルタ２４は、後述するフィルタ設定部４１から供給されたパラメータ値に基づきタップ長とフィルタ処理対象画素範囲を設定する。

フレームメモリ２５は、加算部２３から供給された復号画像データとデブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データとを保持する。

セレクタ２６は、イントラ予測を行うためにフレームメモリ２５から読み出されたフィルタ処理前の復号画像データをイントラ予測部３１に供給する。また、セレクタ２６は、インター予測を行うためフレームメモリ２５から読み出されたフィルタ処理後の復号画像データを動き予測・補償部３２に供給する。

イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データとフレームメモリ２５から読み出したフィルタ処理前の復号画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。

動き予測・補償部３２は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ２５から読み出されたフィルタ処理後の復号画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。なお、動き予測・補償部３２は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。

予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードの予測モード情報を可逆符号化部１６とフィルタ設定部４１に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測を行う。

フィルタ設定部４１は、最適モードの予測モード情報によって示された予測ブロックサイズに応じて、フィルタのタップ長とフィルタ処理対象画素範囲を設定するためのパラメータ値を生成してデブロッキングフィルタ２４に出力する。

＜２．デブロッキングフィルタのフィルタ処理について＞
デブロッキングフィルタのフィルタ処理において、Ｈ２６４．／ＡＶＣの符号化方式では、画像圧縮情報に含まれるPicture Parameter Set RBSPのdeblocking_filter_control_present_flagおよびSlice Headerに含まれるdisable_deblocking_filter_idcという２つのパラメータによって、
(a) ブロック境界、およびマクロブロック境界に施す
(b) Macroblock境界にのみ施す
(c) 施さない
の３通りを指定することが可能である。

量子化パラメータＱＰについては、以下の処理を輝度データに対して適用する場合は、ＱＰYを、色差データに対して適用する場合はＱＰCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化(CAVLC/CABAC)においては、異なるスライスに属する画素値は“not available”として処理する。さらに、フィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は“available”であるとして処理を行う。

以下の説明では、隣接するブロックＰ，Ｑについて、ブロック境界におけるフィルタ処理前の画素データを、図２の（Ａ）に示すように境界位置からｐ0〜ｐ4，ｑ0〜ｑ4とする。また、処理後の画素データを、図２の（Ｂ）に示すように境界位置からｐ0’〜ｐ4’，ｑ0’〜ｑ4’とする。

フィルタ処理に先立ち、図２における画素ｐおよび画素ｑに対して、表１に示すように、ブロック境界強度データＢｓ(Boundary Strength)が定義される。

表１に示すように、ブロック境界強度データＢｓは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックＭＢに属し、且つ、当該画素がマクロブロックＭＢの境界に位置する場合に、最もフィルタ強度が高い「４」が割り当てられている。

ブロック境界強度データＢｓは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックＭＢに属し、且つ、当該画素がマクロブロックＭＢの境界に位置しない場合に、「４」の次にフィルタ強度が高い「３」が割り当てられている。

ブロック境界強度データＢｓは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、「３」の次にフィルタ強度が高い「２」が割り当てられている。

ブロック境界強度データＢｓは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を場合に満たし、且つ、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たす場合に、「１」が割り当てられている。

ブロック境界強度データＢｓは、画素ｐ，ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合、「０」が割り当てられている。なお。「０」は、フィルタ処理を行わないことを意味する。

図２における(ｐ2，ｐ1，ｐ0，ｑ0，ｑ1，ｑ2)は、式（１）の条件が成立する場合のみ、フィルタ処理が施される。
Ｂｓ＞０
|ｐ0−ｑ0|＜α；|ｐ1−ｐ0|＜β;|ｑ1−ｑ0|＜β
・・・（１）

ここで、フィルタ強度すなわちフィルタのかかりやすさを調整するパラメータ値である閾値α，βは、デフォルトでは以下のように量子化パラメータＱＰに応じてその値が定められている。また、画像圧縮情報中のSlice Headerに含まれるslice_alpha_c0_offset_div2、およびslice_beta_offset_div2という２つのパラメータによって、ユーザがその強度を調整することが可能である。なお、図３は、量子化パラメータＱＰと閾値αの関係を示しており、量子化パラメータＱＰにオフセット量を加えると、量子化パラメータＱＰと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。

また、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータｑＰp，ｑＰｑを用いて式（２）〜（４）からindexAとindexBを算出して、表２に示すテーブルから閾値α，βを求める。
ｑＰav＝（ｑＰｐ＋ｑＰｑ＋１）＞＞１ ・・・（２）
indexA＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetA） ・・・（３）
indexB＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetB） ・・・（４）

フィルタ処理は、「Ｂｓ＜４」の場合と「Ｂｓ＝４」の場合に対して異なる方法が定義されている。
先ず、「Ｂｓ＜４」の場合を説明する。
デブロッキングフィルタは、式（５）〜（７）に示す演算を行って、フィルタ処理後の画素データｐ0’，ｑ0’を算出する。

式（７）において、Clip３は、クリッピング処理を示す。
ｐ0’＝Clip１（ｐ0＋Δ） ・・・（５）
ｑ0’＝Clip１（ｑ0＋Δ） ・・・（６）
Δ＝Clip３（−ｔc，ｔc（（（（ｑ0−ｐ0）＜＜２）＋（ｐ1−ｑ1）＋４）＞＞３）） ・・・（７）

デブロッキングフィルタは、式（７）の「ｔc」を、chromaEdgeFlagが「０」を示す場合に式（８）に基づいて算出し、それ以外の場合に式（９）に基づいて算出する。

式（８）において、「（ ）？１：０」は、（ ）内の条件を満たすと「１」、それ以外の場合は「０」を示す。
ｔc＝ｔc0＋（（ａｐ＜β）？１：０）＋（ａｑ＜β）？１：０） ・・・（８）
ｔc＝ｔc0＋１ ・・・（９）
このｔcの値は、ＢｓとindexAの値に応じて表３のように定義される。

また、デブロッキングフィルタは、式（８）のａｐ，ａｑを式（１０）（１１）にしたがって算出する。
ａｐ＝｜ｐ2−ｐ0｜ ・・・（１０）
ａｑ＝｜ｑ2−ｑ0｜ ・・・（１１）

デブロッキングフィルタは、フィルタ処理後の画素データｐ1’を、chromaEdgeFlagが「０」で、且つ、ａｐが「β」以下である場合に式（１２）に示す演算を行って算出し、それ以外の場合に式（１３）により取得する。
ｐ1’＝ｐ1＋Clip３（-ｔc0，ｔc0，（ｐ2＋（（ｐ0＋ｑ0＋１）＞＞１）−（ｐ1＜＜１））＞＞１） ・・・（１２）
ｐ1’＝ｐ1 ・・・（１３）

デブロッキングフィルタは、フィルタ処理後の画素データｑ1’を、chromaEdgeFlagが「０」で、且つ、ａｑが「β」以下である場合に式（１４）に示す演算を行って算出し、それ以外の場合に式（１５）により取得する。
ｑ1’＝ｑ1＋Clip３（-ｔc0，ｔc0，（ｑ2＋（（ｐ0＋ｑ0＋１）＞＞１）−（ｑ１＜＜１））＞＞１） ・・・（１４）
ｑ1’＝ｑ1 ・・・（１５）

また、画素データｐ2'と画素データｑ2'はフィルタ前の値とする。
ｐ2’＝ｐ2 ・・・（１６）
ｑ2’＝ｑ2 ・・・（１７）

次に、「Ｂｓ＝４」の場合を説明する。
デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たす場合に、画素データｐ0’，ｐ1’，ｐ2’を式（１９）〜（２１）にしたがって算出する。
ａｐ＜β ＆＆ ｜ｐ0−ｑ0｜＜（（α＞＞２）＋２） ・・・（１８）
ｐ0’＝（ｐ2＋２・ｐ1＋２・ｐ0＋２・ｑ0＋ｑ1＋４）＞＞３ ・・・（１９）
ｐ1’＝（ｐ2＋ｐ1＋ｐ0＋ｑ0＋２）＞＞２ ・・・（２０）
ｐ2’＝（２・ｐ3＋３・ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）＞＞３ ・・・（２１）

デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たさない場合に、画素データｐ0’，ｐ1’，ｐ2’を式（２２）〜（２４）にしたがって算出する。
ｐ0’＝（２・ｐ1＋ｐ0＋ｑ1＋２）＞＞２ ・・・（２２）
ｐ1’＝ｐ1 ・・・（２３）
ｐ2’＝ｐ2 ・・・（２４）

デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たす場合に、画素データｑ0’，ｑ1’，ｑ2’を式（２６）〜（２８）にしたがって算出する。
ａｑ＜β ＆＆ ｜ｐ0−ｑ0｜＜（（α＞＞２）＋２） ・・・（２５）
ｑ0’＝（ｐ1＋２・ｐ0＋２・ｑ0＋２・ｑ1＋ｑ2＋４）＞＞３ ・・・（２６）
ｑ1’＝（ｐ0＋ｑ0＋ｑ1＋ｑ2＋２）＞＞２ ・・・（２７）
ｑ2’＝（２・ｑ3＋３・ｑ2＋ｑ1＋ｑ0＋ｐ4＋４）＞＞３ ・・・（２８）

デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たさない場合に、画素データｑ0’，ｑ1’，ｑ2’を式（２９）〜（３１）にしたがって算出する。
ｑ0’＝（２・ｑ1＋ｑ0＋ｐ1＋２）＞＞２ ・・・（２９）
ｑ1’＝ｑ1 ・・・（３０）
ｑ2’＝ｑ2 ・・・（３１）

このように、Ｈ２６４．／ＡＶＣの符号化方式では、画素データｐ0〜ｐ3，ｑ0〜ｑ3を用いてフィルタ処理を行い画素データｐ0’〜ｐ2’，ｑ0’〜ｑ2’を算出する。

＜３．画像符号化装置におけるデブロッキングフィルタとフィルタ設定部の構成＞
フィルタ設定部４１は、当該マクロブロックにおける最適モードの予測ブロックサイズに応じて、デブロッキングフィルタ２４におけるタップ長とフィルタ処理対象画素範囲を設定する。

一般に、ブロック歪みは、ブロックサイズがより大きい場合の方が、人間の目につきやすい。また、より大きなブロックサイズは、あまりテクスチャ情報を含まないフラットな領域に対して選択されやすい。

したがって、フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズに応じてケース分類を行い、ケース分類結果に応じてフィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部４１は、ケース分類において、例えば隣接する２つのブロックにおける隣接側が共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースに分類する。

フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズが共に所定ブロックサイズ以下、例えばＨ．２６４／ＡＶＣ規格のマクロブロックサイズであるケースでは、上述のようにフィルタ処理を行い画素データｐ0’〜ｐ2’，ｑ0’〜ｑ2’を算出する。また、フィルタ設定部４１は、少なくとも一方が所定のブロックサイズより拡張されている場合、ブロック境界のブロックサイズに応じてタップ長やフィルタ処理対象画素範囲の拡張を行う。フィルタ設定部４１は、タップ長やフィルタ処理対象画素範囲を拡張することで、ブロックサイズが大きくブロック歪が目につきやすい部分については、より強度の強い平滑化処理や、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施す。したがって、ブロック歪みが目につきにくくなり、復号画像における主観画質をより好ましいものとする。

なお、より強度の強い平滑化処理を行うと、画像の持つ高域成分も失われる。しかし、大きいブロックサイズが適用されるのは、画像内において、高域成分の少ない比較的フラットな領域である場合が多いため、テクスチャが失われるといった主観上の劣化を生じることはない。

このように、フィルタ設定部４１は、予測ブロックサイズに応じて設定したタップ長とフィルタ処理対象画素範囲を示すパラメータ値を生成してデブロッキングフィルタ２４に供給する。また、フィルタ設定部４１は、所定のマクロブロックよりもブロックサイズが大きい複数の異なるサイズのマクロブロックが用いられる場合、ブロックサイズが大きいほどタップ長が長くフィルタ処理対象画素範囲が広くなるように設定してもよい。

図４は、デブロッキングフィルタとフィルタ設定部の構成を示している。フィルタ設定部４１は、ブロックサイズバッファ４１１とパラメータ値生成部４１２を備えている。また、デブロッキングフィルタ２４は、フィルタ強度決定部２４１とフィルタ処理部２４２を備えている。

ブロックサイズバッファ４１１は、予測画像・最適モード選択部３３で選択された最適モードおける予測ブロックサイズを示す情報を、１フレーム画像分蓄積する。すなわち、ブロックサイズバッファ４１１には、符号化対象の１フレーム画像における各マクロブロックの予測ブロックサイズに関する情報が記憶されている状態となる。

パラメータ値生成部４１２は、ブロックサイズバッファ４１１の予測ブロックサイズの情報に基づき、隣接する２つのブロックにおける隣接側の予測ブロックサイズを判別する。パラメータ値生成部４１２は、この２つのブロックのブロック境界に対するフィルタ処理のタップ長とフィルタ処理対象画素範囲を設定するためのパラメータ値を、判別した予測ブロックサイズに基づいて生成してフィルタ強度決定部２４１に供給する。

フィルタ強度決定部２４１は、可逆符号化部１６から供給された予測モード情報に基づきブロック境界強度データＢｓを決定して、決定したブロック境界強度データＢｓと、パラメータ値生成部４１２から供給されたパラメータ値をフィルタ処理部２４２に出力する。

フィルタ処理部２４２は、ブロック境界強度データＢｓとパラメータ値で示されたタップ長とフィルタ処理対象画素範囲でフィルタ処理を行い、フィルタ処理後の画素データを算出する。

ここで、隣接する２つのブロックにおける隣接側の予測ブロックサイズが共に所定ブロックサイズ（１６×１６画素）以下である第１のケースと、少なくとも一方が所定ブロックサイズよりも拡張されている第２のケースにケース分類する場合について例示する。この場合、第１のケースでは、上述のＨ．２６４／ＡＶＣの符号化方式のフィルタ処理を行う。また、第２のケースでは、タップ長を拡張した長さに設定して平滑化の強度を強くする。および／または、フィルタ処理対象画素範囲を拡張して、ブロック境界から離れた位置の画素までフィルタ処理を行う。

次に、タップ長とフィルタ処理対象画素範囲を拡張したときのフィルタ処理について例示する。

フィルタ処理部２４２は、パラメータ値に基づきタップ長とフィルタ処理対象画素範囲を拡張してフィルタ処理を行い、画素データｐ0〜ｐ4，ｑ0〜ｑ4からフィルタ処理後の画素データｐ0’〜ｐ3’，ｑ0’〜ｑ3’を算出する。この場合、フィルタ処理部２４２は、上述の式（７）に替えて式（３２）を用いる。
Δ＝Clip３（−ｔc，ｔc（（（（ｑ0−ｐ0）＜＜３）＋（（ｐ1−ｑ1）＜＜１）＋（ｐ2−ｑ2）＋８）＞＞４）） ・・・（３２）

さらに、フィルタ処理部２４２は、式（１２），（１４）に替えて式（３３），（３４）を用いることで画素データｐ1’，ｑ1’を算出する。
ｐ1’＝ｐ1＋Clip３（-ｔc0，ｔc0，（ｐ3＋ｐ2＋ｐ0＋（（ｑ0＋ｑ1＋１）＞＞１）−（ｐ1＜＜２））＞＞２） ・・・（３３）
ｑ1’＝ｑ1＋Clip３（-ｔc0，ｔc0，（ｑ3＋ｑ2＋ｑ0＋（（ｑ0＋ｑ1＋１）＞＞１）−（ｑ1＜＜２））＞＞２） ・・・（３４）

また、フィルタ処理部２４２は、式（１６），（１７）に替えて式（３５）（３６）を用いることで画素データｐ2’，ｑ2’を算出する。
ｐ2’＝ｐ2＋Clip３（-ｔc0，ｔc0，（ｐ4＋ｐ3＋ｐ1＋（（ｐ0＋ｑ1＋１）＞＞１）−（ｐ2＜＜２））＞＞２） ・・・（３５）
ｑ2’＝ｑ2＋Clip３（-ｔc0，ｔc0，（ｑ4＋ｑ3＋ｑ1＋（（ｑ0＋ｑ1＋１）＞＞１）−（ｑ2＜＜２））＞＞２） ・・・（３６）

また、フィルタ処理部２４２は、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たす場合に、画素データｐ0’，ｐ1’，ｐ2’，ｐ3’を式（３７）〜（４０）にしたがって算出する。
ｐ0’＝（ｐ3＋２・ｐ2＋３・ｐ1＋４・ｐ0＋３・ｑ0＋２・ｑ1＋ｑ2＋８）＞＞４ ・・・（３７）
ｐ1’＝（ｐ3＋ｐ2＋２・ｐ1＋２・ｐ0＋ｑ0＋ｑ1＋４）＞＞３ ・・・（３８）
ｐ2’＝（ｐ4＋３・ｐ3＋４・ｐ2＋３・ｐ1＋２・ｐ0＋２・ｑ0＋ｑ1＋８）＞＞４ ・・・（３９）
ｐ3’＝（ｐ4＋３・ｐ3＋ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）＞＞３ ・・・（４０）

また、フィルタ処理部２４２は、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たす場合に、画素データｑ0’，ｑ1’，ｑ2’，ｑ3’を式（４１）〜（４４）にしたがって算出する。
ｑ0’＝（ｐ2＋２・ｐ1＋３・ｐ0＋４・ｑ0＋３・ｑ1＋２・ｑ2＋ｑ3＋８）＞＞４ ・・・（４１）
ｑ1’＝（ｐ1＋ｐ0＋２・ｑ0＋２・ｑ1＋ｑ2＋ｑ3＋４）＞＞３ ・・・（４２）
ｑ2’＝（ｑ4＋３・ｑ3＋４・ｑ2＋３・ｑ1＋２・ｑ0＋２・ｐ0＋ｐ1＋８）＞＞４ ・・・（４３）
ｑ3’＝（ｑ4＋３・ｑ3＋ｑ2＋ｑ1＋ｑ0＋ｐ0＋４）＞＞３ ・・・（４４）

なお、タップ長とフィルタ処理対象画素範囲の設定は、２つのブロックがどちらも１６×１６画素若しくはそれ以下の大きさである場合と、２つのブロックの少なくとも一方が１６×１６画素より大きい場合の２つにケース分類する場合に限られない。例えば、２つのブロックがどちらも１６×１６画素若しくはそれ以下の大きさである場合と、２つのブロックの少なくとも一方が１６×１６画素より大きく、両方が３２×３２画素以下である場合や、２つのブロックの少なくとも一方が３２×３２画素より大きい場合のケース分類を行うようにしてもよい。この場合、ブロックサイズがより大きい境界では、タップ長をさらに長くして平滑化の強度を強く、またフィルタ処理対象画素範囲をさらに広くしてブロック境界より遠い画素値に対してフィルタ処理を行うようにする。また、タップ長とフィルタ処理対象画素範囲の設定では、ケース分類結果に応じて、タップ長とフィルタ処理対象画素範囲の何れか一方のみを拡張するようにしてもよい。

このように、画像符号化装置では、隣接する２つのブロックにおける隣接側のブロックサイズに応じてフィルタのタップ長とフィルタ処理対象画素範囲を設定して、ブロックサイズが大きくブロック歪が目につきやすい部分については、平滑化の強度を強くしたり、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施す。したがって、ブロック歪みが目につきにくくなり、予測画像の生成に用いる復号画像における画質をより好ましいものにできる。

＜４．画像符号化装置の動作＞
次に、画像符号化処理動作について説明する。図５は、画像符号化処理で用いる予測ブロックサイズを示している。Ｈ．２６４／ＡＶＣ方式では、図５の（Ｃ）（Ｄ）に示すように１６×１６画素〜４×４画素の予測ブロックサイズが規定されている。また、Ｈ．２６４／ＡＶＣ方式よりも拡張された大きさのマクロブロックを用いる場合、例えば３２×３２画素のマクロブロックを用いる場合、例えば図５の（Ｂ）に示す予測ブロックサイズが規定される。また、例えば６４×６４画素のマクロブロックを用いる場合、例えば図５の（Ａ）に示す予測ブロックサイズが規定される。

なお、図５において、「Ｓｋｉｐ／ｄｉｒｅｃｔ」は、動き予測・補償部３２において、スキップドマクロブロックやダイレクトモードを選択したときの予測ブロックサイズであることを示している。また、「ＭＥ」は動き補償ブロックサイズであることを示している。また、「Ｐ８×８」は、マクロブロックのサイズを小さくした下位の階層でさらに分割できることを示している。

図６は、画像符号化処理動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。

ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並び替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部３３でイントラ予測部３１から供給された予測画像と動き予測・補償部３２からの予測画像の選択がスライス単位で行われるとき、イントラ予測部３１から供給された予測画像が選択されたスライスでは、イントラ予測が行われることになる。また、動き予測・補償部３２からの予測画像が選択されたスライスでは、インター予測が行われることになる。

ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を行い、変換係数データを出力する。

ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。

ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。

ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。

ステップＳＴ１８において加算部２３は、復号画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。

ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。

ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、フィルタ処理前の復号画像データとフィルタ処理後の復号画像データを記憶する。

ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理の詳細は、図７を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。

ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。なお、選択した予測画像データに対応する予測モード情報は、可逆符号化部１６とフィルタ設定部４１に出力される。

ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２２において可逆符号化部１６に入力された予測モード情報（例えばマクロブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む）なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。

ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。

次に、図７のフローチャートを参照して、図６のステップＳＴ２１における予測処理を説明する。

ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ２４によりフィルタ処理が行われることなくフレームメモリ２５に記憶されている復号画像データが用いられる。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。

ステップＳＴ３２において、動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２５に記憶されているフィルタ処理後の復号画像データを用いて、候補となる全てのインター予測モード（全ての予測ブロックサイズ）のインター予測処理を行う。インター予測処理の詳細は後述するが、この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。

次に、図７のステップＳＴ３１におけるイントラ予測処理について図８のフローチャートを参照して説明する。

ステップＳＴ４１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、フレームメモリ２５に記憶されているフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。

ステップＳＴ４２でイントラ予測部３１は、各予測モードに対するコスト関数値を算出する。コスト関数値としては、Ｈ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。

すなわち、High Complexity モードにおいては、ステップＳＴ４１の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（４５）で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=Ｄ+λ・Ｒ ・・・（４５）

Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤおよびＲを算出するため、候補となる全ての予測モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

一方、Low Complexity モードにおいては、ステップＳＴ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（４６）で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=Ｄ+QPtoQuant(QP)・Header_Bit ・・・（４６）

Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。

すなわち、Low Complexity Modeにおいては、それぞれの予測モードに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexity Modeより低い演算量での実現が可能である。

ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。

次に、図９のフローチャートを参照して、図７のステップＳＴ３２のインター予測処理について説明する。

ステップＳＴ５１で動き予測・補償部３２は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部３２は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。

ステップＳＴ５２で動き予測・補償部３２は、各予測モードに対して動き補償を行う。動き予測・補償部３２は、各予測モード（各予測ブロックサイズ）について、ステップＳＴ５１で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。

ステップＳＴ５３で動き予測・補償部３２は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部３２は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップＳＴ５４におけるコスト関数値の算出にも用いられて、最終的に予測画像・最適モード選択部３３で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部１６へ出力される。

ステップＳＴ５４で動き予測・補償部３２は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部３２は、上述した式（４５）または式（４６）を用いてコスト関数値の算出を行う。なお、インター予測モードに対するコスト関数値の算出には、Ｈ．２６４／ＡＶＣ方式において定められているSkip ModeおよびDirect Modeのコスト関数値の評価も含まれる。

ステップＳＴ５５で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ５４において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つの予測モードを選択して最適インター予測モードに決定する。

次に、フィルタ設定処理について図１０に示すフローチャートを用いて説明する。なお、図１０では、タップ長とフィルタ処理対象画素範囲を拡張する場合を示している。

ステップＳＴ６１でフィルタ設定部４１は、最適モードの予測ブロックサイズを取得する。フィルタ設定部４１は、図６のステップＳＴ２２で選択された予測画像に対応する予測ブロックサイズ、すなわち最適モードで符号化を行うときの予測ブロックサイズを取得する。

ステップＳＴ６２でフィルタ設定部４１は、当該ブロックまたは隣接ブロックは１６×１６画素より大きいか否か判別する。フィルタ設定部４１は、当該ブロックまたは隣接ブロックの少なくともいずれかが１６×１６画素よりも大きいときステップＳＴ６３に進み、当該ブロックと隣接ブロックが共に１６×１６画素以下であるときステップＳＴ６４に進む。

ステップＳＴ６３でフィルタ設定部４１は、タップ長とフィルタ処理対象画素範囲を拡張して設定する。例えばフィルタ設定部４１は、Ｈ２６４．／ＡＶＣの符号化方式よりもタップ長とフィルタ処理対象画素範囲を拡張して、上述のように、フィルタ処理後の画素データｐ0’〜ｐ3’，ｑ0’〜ｑ3’を算出させる。

ステップＳＴ６４でフィルタ設定部４１は、タップ長とフィルタ処理対象画素範囲を拡張しないで設定する。例えばフィルタ設定部４１は、Ｈ２６４．／ＡＶＣの符号化方式のタップ長とフィルタ処理対象画素範囲に設定して、上述のように、フィルタ処理後の画素データｐ0’〜ｐ2’，ｑ0’〜ｑ2’を算出させる。

このように、本技術を適用した画像符号化装置および方法によれば、符号化効率が最良となる予測ブロックサイズを決定して、決定された予測ブロックサイズで画像データの符号化処理が行われる。このとき、この予測ブロックサイズを示す情報は、フィルタ設定部４１のブロックサイズバッファ４１１に蓄積される。したがって、符号化効率が最良となる予測ブロックサイズで符号化処理された画像データを復号化処理して復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファ４１１に蓄積された情報に基づき、予測ブロックサイズに応じてタップ長とフィルタ処理対象画素範囲を設定することで、予測ブロックサイズが大きくてもブロック歪みを少なくできる。また、予測画像の生成のための復号画像データにおけるブロック歪みを少なくできるので、ブロック歪みの影響によって予測誤差データが大きくなってしまうことを防止できることから、符号化処理後のデータ量をさらに少なくできる。

＜５．画像復号化装置の構成＞
入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号化装置に供給されて復号される。

図１１は、画像復号化装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号化部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、Ｄ／Ａ変換部５８を備えている。さらに、画像復号装置５０は、フレームメモリ６１、セレクタ６２，６５、イントラ予測部６３、動き補償部６４、フィルタ設定部７１を備えている。

蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号化部５２は、蓄積バッファ５１より供給された符号化ストリームを、図１の可逆符号化部１６の符号化方式に対応する方式で復号化する。また、可逆復号化部５２は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部６３や動き補償部６４、デブロッキングフィルタ５６に出力する。

逆量子化部５３は、可逆復号化部５２で復号された量子化データを、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図１の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。

加算部５５は、逆直交変換後のデータとセレクタ６５から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ５６とフレームメモリ６１に出力する。

デブロッキングフィルタ５６は、図１のデブロッキングフィルタ２４と同様に構成されている。デブロッキングフィルタ５６は、加算部５５から供給された復号画像データを対象としてフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５７に出力する。また、デブロッキングフィルタ５６は、可逆復号化部５２から供給された予測モード情報と後述するフィルタ設定部７１から供給されたパラメータ値に基づき、タップ長とフィルタ処理対象画素範囲を設定してフィルタ処理を行う。

画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。

Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。

フレームメモリ６１は、加算部５５から供給されたフィルタ処理前の復号画像データとデブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データとを保持する。

セレクタ６２は、可逆復号化部５２から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ６１から読み出されたフィルタ処理前の復号画像データをイントラ予測部６３に供給する。また、セレクタ２６は、可逆復号化部５２から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ６１から読み出されたフィルタ処理後の復号画像データを動き補償部６４に供給する。

イントラ予測部６３は、可逆復号化部５２から供給された予測モード情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ６５に出力する。また、イントラ予測部６３は生成した予測画像のブロックサイズを示す情報をフィルタ設定部７１に出力する。

動き補償部６４は、可逆復号化部５２から供給された予測モード情報に基づいて、動き補償を行い、予測画像データを生成してセレクタ６５に出力する。すなわち、動き補償部６４は、予測モード情報に含まれる動きベクトル情報と参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して動きベクトル情報に基づく動きベクトルで動き補償を行い、予測画像データを生成する。また、動き補償部６４は生成した予測画像のブロックサイズを示す情報をフィルタ設定部７１に出力する。

セレクタ６５は、イントラ予測部６３で生成された予測画像データを加算部５５に供給する。また、セレクタ６５は、動き補償部６４で生成された予測画像データを加算部５５に供給する。

フィルタ設定部７１は、図４に示すフィルタ設定部４１と同様に構成されている。また、フィルタ設定部７１は、復号化済みのブロックの予測ブロックサイズを示す情報を蓄積しておく。フィルタ設定部７１は、復号化対象のブロックと復号化対象のブロックに隣接する復号化済みのブロックの隣接側の予測ブロックサイズに応じて、タップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部７１は、設定したタップ長やフィルタ処理対象画素範囲を示すパラメータ値をデブロッキングフィルタ５６に供給する。また、フィルタ設定部７１は、当該ブロック、若しくは隣接ブロックのどちらか一方で最適モードにおける予測ブロックサイズが拡張されたブロックサイズである場合、大きい方の予測ブロックサイズに応じてタップ長とフィルタ処理対象画素範囲を設定する。また、フィルタ設定部７１は、所定のマクロブロックよりもサイズが大きい複数のマクロブロックが用いられる場合、サイズが大きいほどタップ長が長くフィルタ処理対象画素範囲が広くなるように設定を行う。

＜６．画像復号化装置の動作＞
次に、図１２のフローチャートを参照して、画像復号装置５０で行われる画像復号処理動作について説明する。

ステップＳＴ７１で蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。ステップＳＴ７２で可逆復号化部５２は、可逆復号化処理を行う。可逆復号化部５２は、蓄積バッファ５１から供給される符号化ストリームを復号化する。すなわち、図１の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号化部５２、符号化ストリームのヘッダ情報に含まれている予測モード情報の可逆復号化を行い、得られた予測モード情報をデブロッキングフィルタ５６やセレクタ６２，６５に供給する。さらに、可逆復号化部５２は、予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部６３に出力する。また、可逆復号化部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部６４に出力する。

ステップＳＴ７３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号化部５２により復号された量子化データを、図１の量子化部１５の特性に対応する特性で逆量子化する。

ステップＳＴ７４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図１の直交変換部１４の特性に対応する特性で逆直交変換する。

ステップＳＴ７５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ７９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。

ステップＳＴ７６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。

ステップＳＴ７７においてフレームメモリ６１は、復号画像データの記憶処理を行う。

ステップＳＴ７８においてイントラ予測部６３と動き補償部６４は、予測画像データの生成を行う。イントラ予測部６３と動き補償部６４は、可逆復号化部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。

すなわち、可逆復号化部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部６３は、予測モード情報に基づき、フレームメモリ６１の復号画像データを用いてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号化部５２からインター予測の予測モード情報が供給された場合、動き補償部６４は、予測モード情報に基づきフレームメモリ６１の復号画像データを用いて動き補償を行い、予測画像データを生成する。

ステップＳＴ７９において、セレクタ６５は予測画像データの選択を行う。すなわち、セレクタ６５は、イントラ予測部６３から供給された予測画像と動き補償部６４で生成された予測画像データを選択して加算部５５に供給して、上述したように、ステップＳＴ７５において逆直交変換部５４の出力と加算させる。

ステップＳＴ８０において画面並べ替えバッファ５７は、画面並べ替えを行う。すなわち画面並べ替えバッファ５７は、図１の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳＴ８１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

また、図１２のステップＳＴ７６におけるフィルタ処理では、上述の図１０に示すフィルタ設定処理をフィルタ設定部７１で行う。フィルタ設定部７１は、復号化対象のブロックと復号化対象のブロックに隣接する復号化済みのブロックの隣接側の予測ブロックサイズに応じて、タップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部７１は、当該ブロックまたは隣接ブロックの少なくともいずれかの隣接側のブロックサイズが拡張されているとき、拡張されたタップ長とフィルタ処理対象画素範囲に設定する。なお、復号化済みのブロックの隣接側の予測ブロックサイズは、この隣接ブロックを復号化したとき、フィルタ設定部７１のブロックサイズバッファに蓄積させておく。フィルタ設定部７１は、設定したタップ長とフィルタ処理対象画素範囲を示すパラメータ値を生成してデブロッキングフィルタ５６に出力する。デブロッキングフィルタ５６は、フィルタ設定部７１から供給されたパラメータ値で示されたタップ長とフィルタ処理対象画素範囲で、復号化対象のブロックと、復号化対象のブロックに隣接する復号化済みのブロックとのブロック境界に対してフィルタ処理を行う。

このように、本技術を適用した画像復号化装置および方法によれば、符号化処理で用いられた予測ブロックサイズを示す情報が、フィルタ設定部７１のブロックサイズバッファに蓄積される。したがって、符号化ストリームの復号化処理を行って画像表示のための復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファに蓄積された情報に基づき、ブロックサイズが大きくブロック歪が目につきやすい部分については、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施して、より強度の強い平滑化処理が行われる。したがって、ブロック歪みが目につきにくく、画質の良好な復号画像を得ることができるようになる。

さらに、画像処理装置のフィルタ設定部は、復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、タップ長とフィルタ処理対象画素範囲の設定を行えばよい。例えば画像処理装置が画像符号化装置であるとき、フィルタ設定部は、予測画像の生成のための復号画像データに対して、予測画像の生成に用いる復号画像の画質を良好な画質として、符号化ストリームのデータ量が少なくなるように設定を行う。また、例えば画像処理装置が画像復号化装置であるとき、フィルタ設定部は、画像表示に用いる復号画像の画質をユーザの好みの画質となるように設定を行う。このようにすれば、フィルタ設定部が画像符号化装置に設けられるときは画像符号化に適したデブロッキングフィルタ処理、フィルタ設定部が画像復号化装置に適したデブロッキングフィルタ処理を行うことができる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、上述の実施形態では、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、パラメータ値であるタップ長やフィルタ処理対象画素範囲を設定する場合について説明したが、フィルタ設定部は、隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合、フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定して、ブロック歪みが軽減された良好な画質の画像を得られるようにしてもよい。例えば、フィルタ設定部は、隣接ブロックのブロックサイズが大きいほど、フィルタ処理に用いるブロック境界強度データの値を大きく設定してブロック歪みを軽減させる。

デブロックフィルタの処理単位のサイズ又はマクロブロックのサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。例えば、Ｈ．２６４／ＡＶＣのマクロブロックのサイズは１６×１６画素に固定されているのに対し、ＨＥＶＣの符号化単位のサイズはシーケンスごとに動的に指定され得る。ＨＥＶＣの符号化単位は符号化ツリーブロック（Coding Tree Block）とも呼ばれ、最大のサイズを有する符号化単位を最大符号化単位（ＬＣＵ：Largest Coding Unit）、最小のサイズを有する符号化単位を最小符号化単位（ＳＣＵ：Smallest Coding Unit）という。画像圧縮情報の一部であるシーケンスパラメータセットにおいてこれらＬＣＵ及びＳＣＵのサイズを指定することで、使用可能な符号化単位のサイズの範囲が定義される。さらに、split_flagの値を指定することで、個々のシーケンスにおいて使用される符号化単位のサイズが特定される。

符号化単位の形状は正方形である場合、一辺のサイズが２のべき乗で表現される。さらに、符号化単位は、イントラ予測又はインター予測の処理単位である予測単位（ＰＵ：Prediction Unit）に分割され得る。また、符号化単位は、直交変換の処理単位である変換単位（ＴＵ：Transform Unit）にも分割され得る。ＨＥＶＣでは、４×４画素及び８×８画素に加えて、１６×１６画素及び３２×３２画素のサイズを有する変換単位を使用することができる。本明細書におけるブロックとの用語は、マクロブロック、符号化単位、予測単位、変換単位又はそれ以外の様々なユニットの概念を含む。

ブロックのサイズは、固定的であってもよく動的に変化してもよい。ブロックサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。例えば、ブロックサイズが４、８、１６のように、１６×１６画素以下のブロックに対しても同様の手法を用いることができる。この場合も同様に、ブロックサイズが大きくなるのに応じて、フィルタのタップ長を長く設定する、又は、処理対象画素範囲を広く設定すればよい。

ブロックサイズは、４×４画素、８×８画素、１６×１６画素、３２×３２画素である正方形の場合だけではなく、８×２画素、２×８画素、１６×４画素、４×１６画素、３２×８画素、８×３２画素である非正方の場合にも適用することが可能である。この場合、隣接ブロックにおいて隣接する側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲を設定することもできる。また、隣接ブロックにおいて隣接しない側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲を設定することもできる。さらに、ブロックの形状とブロックサイズとに応じて、隣接する側のブロックサイズを適用とするか、隣接しない側のブロックサイズを適用するか、を適応的に選択することも可能である。

また、デブロックフィルタの処理のために使用される情報を符号化側から復号側に伝送する手法は、これら情報を符号化ストリームのヘッダに多重化する手法に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

＜７．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置５０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［７−１．第１の応用例］
図１３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース９０９は、テレビジョン装置９０と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９０の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９０において、デコーダ９０４は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、テレビジョン装置９０での画像の復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。

［７−２．第２の応用例］
図１４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置５０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。

［７−３．第３の応用例］
図１５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。

［７−４．第４の応用例］
図１６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置５０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。

さらに、本技術は、上述した実施形態に限定して解釈されるべきではない。この実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

なお、本技術は以下のような構成も取ることができる。
（１） ブロック毎に符号化された画像データを復号する復号部と、
前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
を備える画像処理装置。
（２） 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記タップ長を拡張した長さに設定する（１）記載の画像処理装置。
（３） 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタのタップ長を長く設定する（２）に記載の画像処理装置。
（４） 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理対象画素範囲を拡張した広さに設定する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理対象画素範囲を広く設定する（１）乃至（４）の何れかに記載の画像処理装置。
（６） 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定する（１）乃至（５）の何れかに記載の画像処理装置。
（７） 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理に用いるブロック境界強度データの値を大きく設定する（６）に記載の画像処理装置。
（８） 前記フィルタ設定部は、前記隣接ブロックにおいて隣接する側のブロックサイズに応じて、前記フィルタ処理のタップ長又は前記フィルタ処理対象画素範囲を設定する（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記フィルタ設定部は、前記隣接ブロックのブロックサイズに対応したケース分類に応じて、前記フィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記ケース分類は、前記隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースである（９）に記載の画像処理装置。
（１１） 前記フィルタ設定部は、前記隣接ブロックが１６×１６画素以下である場合と、前記２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、前記２つのブロックの少なくとも一方が３２×３２画素より大きい場合に、ケース分類を行う（１０）に記載の画像処理装置。
（１２） 前記ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである（１）乃至（１１）の何れかに記載の画像処理装置。
（１３） 前記ブロックサイズは、直交変換を行う際の処理単位である変換サイズである（１）乃至（１２）の何れかに記載の画像処理装置。
（１４） 前記所定のブロックサイズは、Ｈ．２６４/ＡＶＣ規格のマクロブロックサイズである（２）乃至（１３）の何れかに記載の画像処理装置。
（１５） 前記フィルタ設定部は、前記復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、前記タップ長又はフィルタ処理対象画素範囲の設定を行う（１）乃至（１４）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、ブロック歪みが軽減された良好な画質の画像を得られるようになる。したがって、ＭＰＥＧ、Ｈ.２６ｘ等のように、ブロック単位で符号化を行うことにより得られた画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号化装置等に適している。

１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、２６，６２，６５・・・セレクタ、３１，６３・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、４１，７１・・・フィルタ設定部、５０・・・画像復号装置、５２・・・可逆復号化部、５８・・・Ｄ／Ａ変換部、６４・・・動き補償部、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、２４１・・・フィルタ強度決定部、２４２・・・フィルタ処理部、４１１・・・ブロックサイズバッファ、４１２・・・パラメータ値生成部、９０１、９２１・・・アンテナ、９０２、９４１・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６・・・表示部、９０７・・・音声信号処理部、９０８・・・スピーカ、９０９、９４２、９６６・・・外部インタフェース部、９１０、９３１，９４９，９７０・・・制御部、９１１，９３２，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２４・・・スピーカ、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３０・・・表示部、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８、９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６５・・・表示部、９６７・・・メモリ部、９６８・・・メディアドライブ

Claims (18)

1. ブロック毎に符号化された画像データを復号する復号部と、
   前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
   ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
   を備える画像処理装置。
2. 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記タップ長を拡張した長さに設定する
   請求項１記載の画像処理装置。
3. 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタのタップ長を長く設定する
   請求項２に記載の画像処理装置。
4. 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理対象画素範囲を拡張した広さに設定する
   請求項１記載の画像処理装置。
5. 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理対象画素範囲を広く設定する
   請求項４に記載の画像処理装置。
6. 前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定する
   請求項１記載の画像処理装置。
7. 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理に用いるブロック境界強度データの値を大きく設定する
   請求項６に記載の画像処理装置。
8. 前記フィルタ設定部は、前記隣接ブロックにおいて隣接する側のブロックサイズに応じて、前記フィルタ処理のタップ長又は前記フィルタ処理対象画素範囲を設定する
   請求項１に記載の画像処理装置。
9. 前記フィルタ設定部は、前記隣接ブロックのブロックサイズに対応したケース分類に応じて、前記フィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する
   請求項１記載の画像処理装置。
10. 前記ケース分類は、前記隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースである
    請求項９記載の画像処理装置。
11. 前記フィルタ設定部は、前記隣接ブロックが１６×１６画素以下である場合と、前記２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、前記２つのブロックの少なくとも一方が３２×３２画素より大きい場合に、ケース分類を行う
    請求項１０記載の画像処理装置。
12. 前記ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである
    請求項１に記載の画像処理装置。
13. 前記ブロックサイズは、直交変換を行う際の処理単位である変換サイズである
    請求項１に記載の画像処理装置。
14. 前記所定のブロックサイズは、Ｈ．２６４/ＡＶＣ規格のマクロブロックサイズである
    請求項２記載の画像処理装置。
15. 前記フィルタ設定部は、前記復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、前記タップ長又はフィルタ処理対象画素範囲の設定を行う
    請求項１記載の画像処理装置。
16. ブロック毎に符号化された画像データを復号する復号工程と、
    前記復号工程において復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、
    ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ工程と、
    を有する画像処理方法。
17. 直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
    ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
    前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化部と、
    を備える画像処理装置。
18. 直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、
    ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定工程と、
    前記フィルタ工程においてフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化工程と、
    を有する画像処理方法。

Images