JP5464435B2 - 画像復号装置および方法 - Google Patents

Description

本発明は画像復号装置および方法に関し、特に、符号化効率を向上させ、復号画像における主観画質を向上させるようにした画像復号装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。その後、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。

図１は、H．264/AVCに基づいた圧縮画像を出力とする画像符号化装置の構成例を示すブロック図である。

図１の例において、画像符号化装置１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、演算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７により構成されている。

A/D変換部１１は、入力された画像をA/D変換し、画面並べ替えバッファ１２に出力し、記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。

演算部１３は、画面並べ替えバッファ１２から読み出された画像から、予測画像選択部２６により選択されたイントラ予測部２４からの予測画像または動き予測・補償部２５からの予測画像を減算し、その差分情報を直交変換部１４に出力する。直交変換部１４は、演算部１３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部１５は直交変換部１４が出力する変換係数を量子化する。

量子化部１５の出力となる、量子化された変換係数は、可逆符号化部１６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。

可逆符号化部１６は、イントラ予測を示す情報をイントラ予測部２４から取得し、インター予測モードを示す情報などを動き予測・補償部２５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。

可逆符号化部１６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部１６は、符号化したデータを蓄積バッファ１７に供給して蓄積させる。

例えば、可逆符号化部１６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１７は、可逆符号化部１６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などの復号側に出力する。

また、量子化部１５より出力された、量子化された変換係数は、逆量子化部１８にも入力され、逆量子化された後、さらに逆直交変換部１９において逆直交変換される。逆直交変換された出力は演算部２０により予測画像選択部２６から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ２１は、復号された画像のブロック歪を除去した後、フレームメモリ２２に供給し、蓄積させる。フレームメモリ２２には、デブロックフィルタ２１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ２３はフレームメモリ２２に蓄積された参照画像を動き予測・補償部２５またはイントラ予測部２４に出力する。

この画像符号化装置１においては、例えば、画面並べ替えバッファ１２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部２４に供給される。また、画面並べ替えバッファ１２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部２５に供給される。

イントラ予測部２４は、画面並べ替えバッファ１２から読み出されたイントラ予測する画像とフレームメモリ２２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

その際、イントラ予測部２４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。

イントラ予測部２４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部２６に供給する。イントラ予測部２４は、予測画像選択部２６により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部１６に供給する。可逆符号化部１６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。

動き予測・補償部２５には、画面並べ替えバッファ１２から読み出されたインター処理する画像と、スイッチ２３を介してフレームメモリ２２から参照画像が供給される。動き予測・補償部２５は、候補となる全てのインター予測モードのブロックの動き予測を行い、各ブロックの動きベクトルを生成する。

動き予測・補償部２５は、予測した各ブロックの動きベクトルを用いて、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部２５は、算出したコスト関数値のうち、最小値を与えるブロックの予測モードを、最適インター予測モードとして決定する。

動き予測・補償部２５は、決定された最適インター予測モードの対象ブロックの予測画像とそのコスト関数値を、予測画像選択部２６に供給する。動き予測・補償部２５は、予測画像選択部２６により最適インター予測モードの対象ブロックの予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部１６に出力する。

このとき、動きベクトル情報、参照フレーム情報なども可逆符号化部１６に出力される。可逆符号化部１６は、動き予測・補償部２５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

予測画像選択部２６は、イントラ予測部２４または動き予測・補償部２５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部２６は、決定された最適予測モードの予測画像を選択し、演算部１３，２０に供給する。このとき、予測画像選択部２６は、予測画像の選択情報を、イントラ予測部２４または動き予測・補償部２５に供給する。

レート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

図２は、図１の画像符号化装置に対応する画像復号装置の構成例を示すブロック図である。

図２の例において、画像復号装置３１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、演算部４５、デブロックフィルタ４６、画面並べ替えバッファ４７、D/A変換部４８、フレームメモリ４９、スイッチ５０、イントラ予測部５１、動き補償部５２、およびスイッチ５３により構成されている。

蓄積バッファ４１は伝送されてきた圧縮画像を蓄積する。可逆復号部４２は、蓄積バッファ４１より供給された、図１の可逆符号化部１６により符号化された情報を、可逆符号化部１６の符号化方式に対応する方式で復号する。逆量子化部４３は可逆復号部４２により復号された画像を、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部４４は、図１の直交変換部１４の直交変換方式に対応する方式で逆量子化部４３の出力を逆直交変換する。

逆直交変換された出力は演算部４５によりスイッチ５３から供給される予測画像と加算されて復号される。デブロックフィルタ４６は、復号された画像のブロック歪を除去した後、フレームメモリ４９に供給し、蓄積させるとともに、画面並べ替えバッファ４７に出力する。

画面並べ替えバッファ４７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部４８は、画面並べ替えバッファ４７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ５０は、インター処理される画像と参照される画像をフレームメモリ４９から読み出し、動き補償部５２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ４９から読み出し、イントラ予測部５１に供給する。

イントラ予測部５１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部４２から供給される。イントラ予測部５１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ５３に出力する。

動き補償部５２には、ヘッダ情報を復号して得られた情報のうち、インター予測モード情報、動きベクトル情報、参照フレーム情報などが可逆復号部４２から供給される。インター予測モード情報は、マクロブロック毎に送信されてくる。動きベクトル情報や参照フレーム情報は、対象ブロック毎に送信されてくる。

動き補償部５２は、可逆復号部４２から供給されるインター予測モード情報が示す予測モードで、可逆復号部４２から供給される動きベクトル情報および参照フレーム情報などを用いて、対象ブロックに対する予測画像の画素値を生成する。生成された予測画像の画素値は、スイッチ５３を介して、演算部４５に供給される。

スイッチ５３は、動き補償部５２またはイントラ予測部５１により生成された予測画像を選択し、演算部４５に供給する。

さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。

かかる符号化効率改善の１手法として、非特許文献１において、適応ループフィルタ（ALF（Adaptive Loop Filter））という手法が提案されている。

図３は、適応ループフィルタを適用した画像符号化装置の構成例を示すブロック図である。なお、図３の例において、説明の便宜上、図１のA/D変換部１１、画面並べ替えバッファ１２、蓄積バッファ１７、スイッチ２３、イントラ予測部２４、予測画像選択部２６、およびレート制御部２７は省略されている。また、矢印なども適宜省略されている。したがって、図３の例の場合、フレームメモリ２２からの参照画像は、動き予測・補償部２５に直接入力され、動き予測・補償部２５からの予測画像は、演算部１３および２０に直接出力されている。

すなわち、図３の画像符号化装置６１は、デブロックフィルタ２１とフレームメモリ２２の間に適応ループフィルタ７１が追加された点のみが、図１の画像符号化装置１と異なっている。

適応ループフィルタ７１は、画面並べ替えバッファ１２（図示は省略）からの原画像との残差を最小とするよう、適応ループフィルタ係数の算出を行い、この適応ループフィルタ係数を用いて、デブロックフィルタ２１からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

また、適応ループフィルタ７１は、算出した適応ループフィルタ係数を、可逆符号化部１６に送る。可逆符号化部１６においては、この適応ループフィルタ係数を、可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

図４は、図３の画像符号化装置に対応する画像復号装置の構成例を示すブロック図である。なお、図４の例において、説明の便宜上、図２の蓄積バッファ４１、画面並べ替えバッファ４７、D/A変換部４８、スイッチ５０、イントラ予測部５１、およびスイッチ５３は省略されている。また、矢印なども適宜省略されている。したがって、図４の例の場合、フレームメモリ４９からの参照画像は、動き補償部５２に直接入力され、動き補償部５２からの予測画像は、演算部４５に直接出力されている。

すなわち、図４の画像復号装置８１は、デブロックフィルタ４６とフレームメモリ４９の間に適応ループフィルタ９１が追加された点のみが、図２の画像復号装置３１と異なっている。

適応ループフィルタ９１には、可逆復号部４２から復号され、ヘッダから抽出された適応ループフィルタ係数が供給される。適応ループフィルタ９１は供給されたフィルタ係数を用いて、デブロックフィルタ４６からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

これにより、復号画像の画質を向上させ、さらに、参照画像の画質をも向上させることができる。

また、上述したH．264/AVC方式において、マクロブロックサイズは１６×１６画素である。しかしながら、マクロブロックサイズを１６×１６画素とするのは、次世代符号化方式の対象となるようなUHD(Ultra High Definition;4000×2000画素)といった大きな画枠に対しては最適ではない。

そこで、非特許文献２などにおいては、マクロブロックサイズを、例えば、３２×３２画素といった大きさに拡張することも提案されている。

なお、非特許文献２は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、非特許文献３には、拡張されたマクロブロックを、イントラスライスに適用することが提案されている。

Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 "Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009 "Intra Coding Using Extended Block Sizes",VCEG-AL28, July 2009

ところで、非特許文献１において提案されている方式では、画面全体の予測効率を最適化するためのフィルタリング処理を行うため、ブロックノイズを除去することが困難であった。

特に、H．264/AVC方式においては、デブロックフィルタを、画像符号化装置や画像復号装置の構成の一部として、動き予測・補償ループ内に保持しているが、エッジやテクスチャを含む領域に発生しやすい、モスキートノイズを除去することが困難であった。

そして、非特許文献２または３に記載されているような拡張されたマクロブロックが導入され、直交変換サイズが大きくなった場合、さらにその困難性は顕著になってしまう。

本発明は、このような状況に鑑みてなされたものであり、符号化効率を向上させ、復号画像における主観画質を向上させることができるものである。

本発明の一側面の画像復号装置は、画像が符号化されたビットストリームを復号して、前記画像を生成する復号手段と、前記復号手段により生成された画像を、所定のブロック毎に、前記所定のブロックを構成する画素値のベースバンド情報を用いて、平坦領域クラスとエッジまたはテクスチャクラスとにクラス分類する分類手段と、前記分類手段によりクラス分類された各所定のブロックに対して、同じクラスにクラス分類された前記所定のブロックを用いて算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段とを備え、前記ベースバンド情報は、前記所定のブロックのエッジ強度を示す情報、または前記所定のブロックの画素分散値であり、前記分類手段は、前記画像を、前記所定のブロックのエッジ強度が、第１の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックのエッジ強度が、前記第１の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類するか、または、前記画像を、前記所定のブロックの画素分散値が、第２の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックの画素分散値が、前記第２の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類し、前記所定のブロックは、マクロブロックまたは前記マクロブロックを構成するブロックであり、前記第１または第２の所定の閾値を、前記マクロブロックが含まれるフレームに対してデブロックフィルタが施されているか否かに応じて決定する閾値決定手段をさらに備える。

前記閾値決定手段は、前記第１または第２の所定の閾値を、前記フレームに対してデブロックフィルタが施されている場合、デブロックフィルタが施されていない場合に比して低い値に決定する。

前記所定のブロックのエッジ強度は、Sobel operatorを用いて算出される。

前記閾値決定手段は、前記第１または第２の所定の閾値を、前記マクロブロックにおける量子化パラメータに応じて決定する。

前記閾値決定手段は、前記第１または第２の所定の閾値を、より高い量子化パラメータに対して、より低い値に決定する。

前記画像のビットストリームと、前記フィルタ係数とを受け取る受け取り手段をさらに備えることができる。

本発明の一側面の画像処理方法は、画像復号装置が、画像が符号化されたビットストリームを復号して、前記画像を生成し、生成された画像を、所定のブロック毎に、前記所定のブロックを構成する画素値のベースバンド情報を用いて、平坦領域クラスとエッジまたはテクスチャクラスとにクラス分類し、クラス分類された各所定のブロックに対して、同じクラスにクラス分類された前記所定のブロックを用いて算出されたフィルタ係数を用いてフィルタ処理を行い、前記ベースバンド情報は、前記所定のブロックのエッジ強度を示す情報、または前記所定のブロックの画素分散値であり、前記画像を、前記所定のブロックのエッジ強度が、第１の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックのエッジ強度が、前記第１の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類するか、または、前記画像を、前記所定のブロックの画素分散値が、第２の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックの画素分散値が、前記第２の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類し、前記所定のブロックは、マクロブロックまたは前記マクロブロックを構成するブロックであり、前記第１または第２の所定の閾値を、前記マクロブロックが含まれるフレームに対してデブロックフィルタが施されているか否かに応じて決定する。

本発明の一側面においては、画像が符号化されたビットストリームを復号して、前記画像を生成し、生成された画像が、所定のブロック毎に、前記所定のブロックを構成する画素値のベースバンド情報を用いて、平坦領域クラスとエッジまたはテクスチャクラスとにクラス分類される。そして、クラス分類された各所定のブロックに対して、同じクラスにクラス分類された前記所定のブロックを用いて算出されたフィルタ係数を用いてフィルタ処理が行われる。また、前記ベースバンド情報は、前記所定のブロックのエッジ強度を示す情報、または前記所定のブロックの画素分散値であり、前記画像が、前記所定のブロックのエッジ強度が、第１の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類され、前記所定のブロックのエッジ強度が、前記第１の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類されるか、または、前記画像が、前記所定のブロックの画素分散値が、第２の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類され、前記所定のブロックの画素分散値が、前記第２の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類される。そして、前記所定のブロックは、マクロブロックまたは前記マクロブロックを構成するブロックであり、前記第１または第２の所定の閾値が、前記マクロブロックが含まれるフレームに対してデブロックフィルタが施されているか否かに応じて決定される。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本発明によれば、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

H．264/AVC方式の画像符号化装置の構成例を示すブロック図である。 H．264/AVC方式の画像復号装置の構成例を示すブロック図である。 適応ループフィルタを適用した画像符号化装置の構成例を示すブロック図である。 適応ループフィルタを適用した画像復号装置の構成例を示すブロック図である。 本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 デブロックフィルタの動作原理を説明する図である。 Bsの定義の方法を説明する図である。 デブロックフィルタの動作原理を説明する図である。 indexAおよびindexBとαおよびβの値の対応関係の例を示す図である。 BsおよびindexAとtC0との対応関係の例を示す図である。 マクロブロックの例を示す図である。 図５の適応ループフィルタの構成例を示すブロック図である。 図５の画像符号化装置の符号化処理を説明するフローチャートである。 図１３のステップＳ１３のイントラ予測処理を説明するフローチャートである。 図１３のステップＳ１４の動き予測・補償処理を説明するフローチャートである。 図１３のステップＳ２３のクラス分類係数算出処理の例を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図１７の適応ループフィルタの構成例を示すブロック図である。 図１７の画像復号装置の復号処理を説明するフローチャートである。 図１９のステップＳ１３３の予測画像生成処理を説明するフローチャートである。 図１９のステップＳ１３９のクラス分類フィルタ処理の例を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

以下、図を参照して本発明の実施の形態について説明する。

［画像符号化装置の構成例］
図５は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図５の画像符号化装置１０１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、演算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７を備える点で、図１の画像符号化装置１と共通している。

また、図５の画像符号化装置１０１は、適応ループフィルタ１１１およびエッジ検出部１１２が追加された点で、図１の画像符号化装置１と異なっている。

すなわち、適応ループフィルタ１１１とエッジ検出部１１２は、デブロックフィルタ２１の後、フレームメモリ２２の前に設けられている。すなわち、適応ループフィルタ１１１とエッジ検出部１１２は、演算部１３、直交変換部１４、量子化部１５、逆量子化部１８、逆直交変換部１９、演算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４または動き予測・補償部２５、および予測画像選択部２６からなる動き補償ループ内に設けられている。すなわち、動き補償ループ内では、画像がループして用いられている。

適応ループフィルタ１１１は、デブロックフィルタ２１からの復号画像（ローカルデコード後のベースバンド情報）を、そのベースバンド情報に応じたクラスに分類する。具体的には、デブロックフィルタ２１からの復号画像は、そのベースバンド情報として、ベースバンド情報から得られる情報、すなわち、エッジ検出部１１２により検出されるエッジ情報に応じたクラスに分類される。

適応ループフィルタ１１１は、分類されたクラス毎に、画面並べ替えバッファ１２からの原画像とデブロックフィルタ２１からの画像との残差を最小とするよう、フィルタ係数の算出を行う。適応ループフィルタ１１１は、分類されたクラス毎に、算出されたフィルタ係数を用いて、フィルタ処理を行い、フィルタ処理後の画像を、フレームメモリ２２に出力する。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

また、適応ループフィルタ１１１は、算出したフィルタ係数を、可逆符号化部１６に送る。なお、このとき、可逆符号化部１６は、図３の場合のように、適応ループフィルタ１１１により算出されたフィルタ係数も、符号化し、圧縮画像のスライスヘッダ部またはピクチャパラメータセットに挿入する。

エッジ検出部１１２は、デブロックフィルタ２１からの復号画像（すなわち、ローカルデコード後のベースバンド情報）から、エッジを検出し、エッジを検出した結果であるエッジ情報を、適応ループフィルタ１１１に供給する。

なお、図５の例においては、デブロックフィルタ２１からの復号画像が直接エッジ検出部１１２に入力される例が示されているが、デブロックフィルタ２１からの復号画像を一旦フレームメモリ２２に格納して、それがエッジ検出部１１２に入力されるように構成することも可能である。

［デブロックフィルタ］
次に、上述した各処理の詳細について説明する。まず、デブロックフィルタについて説明する。デブロックフィルタ２１は、動き補償ループ内に含まれ、復号画像におけるブロック歪を除去する。これにより、動き補償処理により参照される画像へのブロック歪の伝播が抑制される。

デブロックフィルタの処理としては、符号化データに含まれる、Picture Parameter Set RBSP（Raw Byte Sequence Payload）に含まれるdeblocking_filter_control_present_flag、及び、スライスヘッダ（Slice Header）に含まれるdisable_deblocking_filter_idcという２つのパラメータによって、以下の（ａ）乃至（ｃ）の３通りの方法が選択可能である。

（ａ）ブロック境界、及びマクロブロック境界に施す
（ｂ）マクロブロック境界にのみ施す
（ｃ）施さない

量子化パラメータQPについては、以下の処理を輝度信号に対して適用する場合は、QPYを、色差信号に対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化（CAVLC/CABAC）においては、異なるスライスに属する画素値は"not available"として処理するが、デブロックフィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は"available"であるとして処理を行う。

以下においては、図６に示されるように、デブロックフィルタ処理前の画素値をp0〜p3、q0〜q3とし、処理後の画素値をp0'〜p3'、q0'〜q3'とする。

まず、デブロックフィルタ処理に先立ち、図６におけるp及びqに対して、図７に示される表のように、Bs（Boundary Strength）が定義される。

図６における(p2,p1,p0,q0,q1,q2)は、以下の式（１）および式（２）により示される条件が成立する場合のみ、デブロックフィルタ処理が施される。

Bs > 0 ・・・（１）
|p0-q0| < α; |p1-p0| < β; |q1-q1| < β ・・・（２）

式（２）のαおよびβは、デフォルトでは以下のようにQPに応じてその値が定められているが、符号化データの、スライスヘッダに含まれる、slice_alpha_c0_offset_div2及びslice_beta_offset_div2という２つのパラメータによって、図８に示されるグラフの矢印のように、ユーザがその強度を調整することが可能である。

図９に示される表のように、αはindexAから求められる。同様に、βはindexBから求められる。このindexAおよびindexBは、以下の式（３）乃至式（５）のように定義される。

qP_aν＝（qP_p＋qP_q＋１）＞＞１ ・・・（３）
indexA＝Clip3（0,51,qP_aν＋FilterOffsetA） ・・・（４）
indexB＝Clip3（0,51,qP_aν＋FilterOffsetB） ・・・（５）

式（４）および式（５）において、FilterOffsetA及びFilterOffsetBが、ユーザによる調整分に相当する。

デブロックフィルタ処理は、以下に説明するように、Bs<4の場合と、Bs=4の場合とで、互いに異なる方法が定義されている。Bs<4の場合、デブロックフィルタ処理後の画素値p'0及びq'0が、以下の式（６）乃至式（８）のように求められる。

Δ＝Clip3（−t_c,t_c（（（（q0−p0）＜＜２）＋（p1−q1）＋４）＞＞３））
・・・（６）
p'0＝Clip1（p0＋Δ） ・・・（７）
q'0＝Clip1（q0＋Δ） ・・・（８）

ここで、t_cは、以下の式（９）または式（１０）ように算出される。すなわち、chromaEdgeFlagの値が「０」である場合、t_cは以下の式（９）のように算出される。

t_c＝t_c0＋（（a_p＜β）?1:0）＋（（a_ｑ＜β）?1:0） ・・・（９）

また、chromaEdgeFlagの値が「０」以外である場合、t_cは以下の式（１０）のように算出される。

t_c＝t_c0＋１ ・・・（１０）

t_C0の値は、BsとindexAの値に応じて、図１０Ａおよび図１０Ｂに示される表のように定義される。

また、式（９）のa_p及びa_qの値は、以下の式（１１）および（１２）のように算出される。
a_p＝|p2−p0| ・・・（１１）
a_q＝|q2−q0| ・・・（１２）

デブロックフィルタ処理後の画素値p'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、a_pの値がβ以下である場合、p'1は、以下の式（１３）のように求められる。

p'1＝p1＋Clip3（−t_c0,t_c0,（p2＋（（p0＋q0＋１）＞＞１）−（p1＜＜１））＞＞１）
・・・（１３）

また、式（１３）が成り立たない場合、p'1は、以下の式（１４）のように求められる。

p'1＝p1 ・・・（１４）

デブロックフィルタ処理後の画素値q'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、a_qの値がβ以下である場合、q'1は、以下の式（１５）のように求められる。

q'1＝q1＋Clip3（−t_c0,t_c0,（q2＋（（p0＋q0＋１）＞＞１）−（q1＜＜１））＞＞１）
・・・（１５）

また、式（１５）が成り立たない場合、q'1は、以下の式（１６）のように求められる。

q'1＝q1 ・・・（１６）

p'2及びq'2の値は、Filtering前の値p2及びq2と変わらない。すなわち、p'2は、以下の式（１７）のように求められ、q'2は、以下の式（１８）のように求められる。

p'2＝p2 ・・・（１７）
q'2＝q2 ・・・（１８）

Bs=4の場合、デブロックフィルタ後の画素値p'i（i＝0..2）は、以下のように求められる。chromaEdgeFlag の値が「０」であり、以下の式（１９）に示される条件が成り立つ場合、p'0、p'1、及びp'2は、以下の式（２０）乃至式（２２）のように求められる。

ap＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（１９）
p'0＝（p2＋２×p1＋２×p0＋２×q0＋q1＋４）＞＞３ ・・・（２０）
p'1＝（p2＋p1＋p0＋q0＋２）＞＞２ ・・・（２１）
p'2＝（２×p3＋３×p2＋p1＋p0＋q0＋４）＞＞３ ・・・（２２）

また、式（１９）に示される条件が成り立たない場合、p'0、p'1、及びp'2は、以下の式（２３）乃至（２５）のように求められる。

p'0＝（２×p1＋p0＋q1＋２）＞＞２ ・・・（２３）
p'1＝p1 ・・・（２４）
p'2＝p2 ・・・（２５）

デブロックフィルタ処理後の画素値q'i（I＝0..2）は、以下のように求められる。すなわち、chromaEdgeFlagの値が「０」であり、以下の式（２６）に示される条件が成り立つ場合、q'0、q'1、及びq'2は、以下の式（２７）乃至（２９）のように求められる。

aq＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（２６）
q'0＝（p1＋２×p0＋２×q0＋２×q1＋q2＋４）＞＞３ ・・・（２７）
q'1＝（p0＋q0＋q1＋q2＋２）＞＞２ ・・・（２８）
q'2＝（２×q3＋３×q2＋q1＋q0＋p4＋４）＞＞３ ・・・（２９）

また、式（２６）に示される条件が成り立たない場合、q'0、q'1、及びq'2は、以下の式（３０）乃至（３２）のように求められる。

q'0＝（２×q1＋q0＋p1＋２）＞＞２ ・・・（３０）
q'1＝q1 ・・・（３１）
q'2＝q2 ・・・（３２）

［拡張マクロブロックの例］
また、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。画像符号化装置１０１においては、図１１に示されるように、マクロブロックサイズを、例えば、３２画素×３２画素、６４×６４画素といった大きさにすることが採用される場合がある。

図１１は、非特許文献２で提案されているブロックサイズの例を示す図である。非特許文献２では、マクロブロックサイズが３２×３２画素に拡張されている。

図１１の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図１１の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図１１の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。

すなわち、３２×３２画素のマクロブロックは、図１１の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。

上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。

中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。

これらのブロックは、以下の３階層に分類することができる。すなわち、図１１の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と呼ぶ。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と呼ぶ。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と呼ぶ。

図１１のような、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

［予測モードの選択］
さらに、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。画像符号化装置１０１においては、例えば、High Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択する方法が考えられる。この方法の場合、どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数値は、以下の式（３３）のように求めることができる。

Cost（Mode∈Ω）＝Ｄ＋λ×Ｒ ・・・（３３）

式（３３）において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Ｄは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Ｒは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行なうには、上記パラメータＤ及びＲを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

これに対してLow Complexity Modeにおけるコスト関数値は、以下の式（３４）のように求めることができる。

Cost（Mode∈Ω）＝Ｄ＋QP2Quant（QP）×HeaderBit ・・・（３４）

となる。式（３４）において、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant（QP）は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

High Profileにおいては、例えば、４×４直交変換と、８×８直交変換との選択も、上述のHigh Complexity Mode若しくはLow Complexity Modeのいずれかに基づき行なわれる。

［詳細な構成例］
以上の画像符号化装置１０１においては、画像符号化処理に、適応ループフィルタ処理を適用する。画像符号化装置１０１は、動き予測・補償ループ内に適応ループフィルタ１１１を有し、ローカルデコードされた画像を、その画像のベースバンド情報に応じてクラス分類し、クラス分類されたそれぞれのクラスに対して、最適フィルタ係数の算出およびフィルタ処理を行う。

例えば、ベースバンド情報として、動き予測・補償ループ内に適応ループフィルタ１１１とともに設けられたエッジ検出部１１２によりローカルデコードされた画像から得られるエッジ情報が用いられる。

以下に、適応ループフィルタ１１１とエッジ検出部１１２の構成の詳細について説明する。適応ループフィルタ１１１においては、非特許文献１において提案されている方法に準じて、動き補償ループ内で適応フィルタ処理を行う。

ただし、非特許文献１においては、画面全体を１つのクラスとして、ウィナーフィルタにより劣化を最小限にする処理が行われる。

これに対して、適応ループフィルタ１１１においては、画面全体を、平坦部を含む平坦領域のクラスと、エッジまたはテクスチャを含む、エッジ・テクスチャ領域のクラスにクラス分類が行われる。そして、それぞれのクラスに対して、ウィナーフィルタにより劣化を最小限にする処理が行われる。

すなわち、復号処理（ローカルデコード処理）がなされ、デブロックフィルタ処理がなされた復号画像は、適応ループフィルタ１１１だけでなく、エッジ検出部１１２にも入力される。

エッジ検出部１１２においては、例えば、次の式（３５）に示されるSobel Operatorが、復号画像のそれぞれの画素に対して施される。

そして、式（３５）の結果を合計したものが、それぞれg_HSとg_VSとして、次の式（３６）のように、それぞれの画素におけるエッジの強さをそれぞれの画素に対して算出される。

式（３６）により算出された各画素のエッジの強さを、当該ブロックまたは当該マクロブロックで合計したものが、当該ブロックまたは当該マクロブロックにおけるエッジ強度edge_strengthとする。

そして、適応ループフィルタ１１１においては、このエッジ強度edge_strengthと、予め定められた閾値Θが比較されて、次の式（３７）が成り立つならば、当該ブロックまたは当該マクロブロックは、エッジ・テクスチャ領域であると判定される。式（３７）が成り立たないならば、当該ブロックまたは当該マクロブロックは、平坦領域であると判定される。

edge_strength ＞ Θ ・・・（３７）

すなわち、エッジ強度が閾値Θよりも大きい場合には、当該ブロックまたは当該マクロブロックは、エッジ・テクスチャ領域であると判定され、エッジ強度が閾値Θより以下である場合には、当該ブロックまたは当該マクロブロックは、平坦領域であると判定される。

適応ループフィルタ１１１は、以上のようにして分類された平坦領域クラスと、エッジ・テクスチャ領域クラスの各クラスに対して、適応フィルタ係数の算出およびフィルタ処理を行う。

なお、閾値Θは、当該マクロブロックに対する量子化パラメータQPの関数として与えられてもよい。すなわち、ビットレートが低いとき、つまり、量子化パラメータが高いときは、量子化歪みのため、また、デブロックフィルタがよりかかりやすくなるため、入力画像の持つ高域成分（エッジ情報）が失われやすい。より高いQPに対して、より低い閾値Θを設定することにより、この高域成分喪失を回避、抑制することが可能である。

また、H．264/AVC方式においては、デブロックフィルタをかける、またはかけないの制御を、図示せぬ操作入力部などを操作することでユーザが設定することが可能であるが、閾値Θの値を、デブロックフィルタの有無（かける、かけない）に応じて設定してもよい。すなわち、デブロックフィルタをかけない場合に比して、かける場合の方が、当該フレームのそれぞれに対してローパスフィルタ処理が行われている可能性がより高くなるため、エッジ情報も、より失われている可能性が高い。このため、前者の場合に比して、後者の場合、より小さな値を閾値Θとして設定する必要がある。

画面内のフラットな領域（平坦部の領域）に対しては、ブロック歪みが生じやすく、エッジやテクスチャを含む領域に対しては、モスキート歪みが生じやすい。しかしながら、非特許文献１に提案された方法では、画像全体の劣化を最小にすることはできても、平坦領域およびエッジ・テクスチャ領域のそれぞれにおける特有な画質劣化を改善することが困難であった。

そこで、適応ループフィルタ１１１においては、復号画像（ベースバンド情報）に応じてクラス分類が行われ、それぞれのクラスに対してフィルタ係数の算出、適応フィルタ処理が行われる。

すなわち、画面内を平坦領域と、エッジ・テクスチャ領域とのクラスに分け、それぞれに対して、適応フィルタ処理が行われる。

これにより、平坦領域およびエッジ・テクスチャ領域のそれぞれにおける特有な画質劣化の改善を実現することが可能になる。

なお、平坦領域のブロック歪みとエッジ、テクスチャ領域のモスキート歪みが低減されるので、結果的に、画面全体の歪みが低減され、デブロックフィルタ２１の処理を不要にすることも可能である。

また、上述したエッジ検出は、後述する画像復号装置２０１においても同様の動作を行うことが可能である。すなわち、クラス分類のためのフラグ情報（すなわち、どのクラスであるかということを識別するための情報）を復号側に送る必要がない。したがって、フラグ情報のオーバーヘッドにより符号化効率を低下させることがない。

さらに、また、モスキートノイズが生じるのは、単に、エッジまたはテクスチャが含まれるというだけでなく、エッジまたはテクスチャが含まれる部分の、特に高域成分に対して、量子化誤差が生じた場合である。単に、入力画像でエッジを検出して、クラス分類を行い、ブロックもしくはマクロブロック毎にフラグ情報を送るだけでは、モスキートノイズの除去がまだまだ足りない。

上述した画像符号化装置１０１のように、復号画像を用い、さらに、閾値の設定にも、量子化パラメータや、デブロックフィルタを施したか否かの符号化情報を用いることで、モスキートノイズをより良好に除去することが可能になる。

なお、上記説明においては、クラス分類に、ベースバンド情報として、エッジ情報を用いる例を説明したが、エッジ情報に限定されない。例えば、復号画像を構成するそれぞれのブロックまたはマクロブロック毎に、画素値の分散値（アクティビティ）を算出して、それに応じてクラス分類を行うようにしてもよい。すなわち、クラス分類に、ベースバンド情報として、ベースバンド情報から得られる画素値の分散値を用いることもできる。

この場合も、画素値の分散値が所定の閾値よりも大きい場合には、当該ブロックまたは当該マクロブロックは、エッジ・テクスチャ領域であると判定され、画素値の分散値が所定の閾値より以下である場合には、当該ブロックまたは当該マクロブロックは、平坦領域であると判定される。分散値の場合も所定の閾値は、エッジ情報の場合と同様に、量子化パラメータやデブロックフィルタのオン、オフにより設定される。

また、上記説明においては、エッジ検出の方法として、Sobel Operatorを用いたエッジ検出方法を説明したが、それに限定されず、他のエッジ検出方法を用いるようにしてもよい。

［適応ループフィルタの構成例］
図１２は、適応ループフィルタ１１１の構成例を示すブロック図である。

図１２の例において、適応ループフィルタ１１１は、クラス分類部１３１、フィルタ係数算出部１３２−１および１３２−２、並びにフィルタ処理部１３３−１および１３３−２により構成されている。

デブロックフィルタ２１からのデブロックフィルタ処理後の画素値が、クラス分類部１３１とエッジ検出部１１２に供給される。また、そのデブロックフィルタ処理後の画素値を用いて検出されたエッジ検出の結果であるエッジ情報が、エッジ検出部１１２からクラス分類部１３１に供給される。

クラス分類部１３１は、エッジ検出部１１２からのエッジ情報に応じて、デブロックフィルタ処理後の各マクロブロック（またはブロック）の画素値を、平坦領域クラスに属するものと、エッジ・テクスチャ領域クラスに属するものに分類する。そして、クラス分類部２３２は、分類したクラスの画素値を、それぞれ、フィルタ係数算出部１３２−１および１３２−２に供給する。

画面並べ替えバッファ１２から、入力画像画素値が、フィルタ係数算出部１３２−１および１３２−２に供給される。フィルタ係数算出部１３２−１および１３２−２は、それぞれ、平坦領域クラスおよびエッジ・テクスチャ領域クラスに対する適応フィルタ係数を算出する。

フィルタ係数算出部１３２−１により算出された平坦領域クラスに対する適応フィルタ係数は、平坦領域クラスのデブロックフィルタ処理後の画素値とともに、フィルタ処理部１３３−１に供給される。フィルタ係数算出部１３２−２により算出されたエッジ・テクスチャ領域クラスに対する適応フィルタ係数は、エッジ・テクスチャ領域クラスのデブロックフィルタ処理後の画素値とともに、フィルタ処理部１３３−２に供給される。また、算出された各クラスに対する適応フィルタ係数は、可逆符号化部１６にも供給される。

フィルタ処理部１３３−１は、平坦領域クラスのデブロックフィルタ処理後の画素値に対して、平坦領域クラスに対する適応フィルタ係数を用いてフィルタ処理を行う。フィルタ処理部１３３−２は、エッジ・テクスチャ領域クラスのデブロックフィルタ処理後の画素値に対して、エッジ・テクスチャ領域クラスに対する適応フィルタ係数を用いてフィルタ処理を行う。適応フィルタ処理後の画素値は、それぞれ、フレームメモリ２２に出力される。

［画像符号化装置の符号化処理の説明］
次に、図１３のフローチャートを参照して、図５の画像符号化装置１０１の符号化処理について説明する。

ステップＳ１１において、A/D変換部１１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ１２は、A/D変換部１１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

画面並べ替えバッファ１２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２２から読み出され、スイッチ２３を介してイントラ予測部２４に供給される。

これらの画像に基づいて、ステップＳ１３において、イントラ予測部２４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ２１と適応ループフィルタ１１１によりフィルタリングされていない画素が用いられる。

ステップＳ１３におけるイントラ予測処理の詳細は、図１４を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。

画面並べ替えバッファ１２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２２から読み出され、スイッチ２３を介して動き予測・補償部２５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部２５は、動き予測・補償処理を行う。

ステップＳ１４における動き予測・補償処理の詳細は、図１５を参照して後述する。この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。

ステップＳ１５において、予測画像選択部２６は、イントラ予測部２４および動き予測・補償部２５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２６は、決定した最適予測モードの予測画像を選択し、演算部１３，２０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部２４または動き予測・補償部２５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部２５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。

ステップＳ１６において、演算部１３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２５から、イントラ予測する場合はイントラ予測部２４から、それぞれ予測画像選択部２６を介して演算部１３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１７において、直交変換部１４は演算部１３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１８において、量子化部１５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２８の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部１８は量子化部１５により量子化された変換係数を量子化部１５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部１９は逆量子化部１８により逆量子化された変換係数を直交変換部１４の特性に対応する特性で逆直交変換する。

ステップＳ２１において、演算部２０は、予測画像選択部２６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部１３への入力に対応する画像）を生成する。

ステップＳ２２においてデブロックフィルタ２１は、演算部２０より出力された画像に対して、デブロックフィルタ処理を行う。これによりブロック歪みが除去される。デブロックフィルタ２１からの復号画像は、適応ループフィルタ１１１およびエッジ検出部１１２に出力される。

ステップＳ２３において、適応ループフィルタ１１１は、クラス分類係数算出処理を行う。このクラス分類係数算出処理の詳細は、図１６を参照して後述される。なお、この場合の適応ループフィルタ１１１は、図１２に示したように構成される。

ステップＳ２３の処理により、復号画像のベースバンド情報、すなわち、ベースバンド情報から得られるエッジ情報に応じてクラス分類が行われ、各クラスに対して適応フィルタ係数が算出される。そして、算出された適応フィルタ係数が、各クラスに分類されたデブロックフィルタ処理後の画素値とともに、対応するフィルタ処理部１３３−１および１３３−２に供給される。

なお、ステップＳ２３で算出された適応フィルタ係数の情報は、可逆符号化部１６に供給され、後述するステップＳ２６において、可逆符号化部１６により符号化されて、圧縮画像のピクチャパラメータセットまたはスライスヘッダに付加される。

ステップＳ２４において、適応ループフィルタ１１１は、算出された適応フィルタ係数を用いて、デブロックフィルタ処理後の画素値に対して、適応ループフィルタ処理を行う。適応フィルタ処理後の画素値は、フレームメモリ２２に出力される。

すなわち、フィルタ処理部１３３−１は、平坦領域クラスのデブロックフィルタ処理後の画素値に対して、平坦領域クラスに対する適応フィルタ係数を用いてフィルタ処理を行う。フィルタ処理部１３３−２は、エッジ・テクスチャ領域クラスのデブロックフィルタ処理後の画素値に対して、エッジ・テクスチャ領域クラスに対する適応フィルタ係数を用いてフィルタ処理を行う。

ステップＳ２５においてフレームメモリ２２は、フィルタリングされた画像を記憶する。なお、フレームメモリ２２にはデブロックフィルタ２１と適応ループフィルタ１１１によりフィルタ処理されていない画像も演算部２０から供給され、記憶される。

一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部１６にも供給される。ステップＳ２６において、可逆符号化部１６は量子化部１５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。

また、このとき、上述したステップＳ２４において可逆符号化部１６に入力された適応フィルタ係数、並びに、上述したステップＳ１５において可逆符号化部１６に入力された、イントラ予測部２４からのイントラ予測モード情報、または、動き予測・補償部２５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。

例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。フィルタ係数は、スライス毎あるいはピクチャパラメータセット毎に符号化される。

ステップＳ２７において蓄積バッファ１７は差分画像を圧縮画像として蓄積する。蓄積バッファ１７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２８においてレート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

［イントラ予測処理の説明］
次に、図１４のフローチャートを参照して、図１３のステップＳ１３におけるイントラ予測処理を説明する。なお、図１４の例においては、輝度信号の場合を例として説明する。

イントラ予測部２４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。

輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。

具体的には、イントラ予測部２４は、処理対象のブロックの画素を、フレームメモリ２２から読み出され、スイッチ２３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ２１と適応ループフィルタ１１１によりフィルタリングされていない画素が用いられる。

イントラ予測部２４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値を求めるためのコスト関数としては、式（３３）または式（３４）のコスト関数が用いられる。

イントラ予測部２４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部２４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。

イントラ予測部２４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部２４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部２６に供給する。

［動き予測・補償処理の説明］
次に、図１５のフローチャートを参照して、図１３のステップＳ１４の動き予測・補償処理について説明する。

動き予測・補償部２５は、ステップＳ６１において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。

動き予測・補償部２５は、ステップＳ６２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ６１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、各インター予測モードでの予測画像が生成される。

動き予測・補償部２５は、ステップＳ６３において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（３３）または式（３４）で示されるコスト関数値を算出する。

ステップＳ６４において、動き予測・補償部２５は、ステップＳ６３において算出されたインター予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部２５は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部２６に供給する。

［クラス分類係数算出処理の説明］
次に、図１６のフローチャートを参照して、図１３のステップＳ２３のクラス分類係数算出処理について説明する。

デブロックフィルタ２１からのデブロックフィルタ処理後の画素値がクラス分類部１３１およびエッジ検出部１１２に供給される。

エッジ検出部１１２は、ステップＳ８１において、デブロックフィルタ処理後の画素値（すなわち、ベースバンド情報）に対して、エッジ検出を行う。具体的には、エッジ検出部１１２は、例えば、式（３６）および式（３５）を参照して上述したように、復号画像を構成する当該ブロックまたはマクロブロックにおけるエッジ強度を算出する。そして、エッジ検出部１１２は、算出したエッジ強度情報を、エッジ検出の結果として、クラス分類部１３１に供給する。

クラス分類部１３１は、ステップＳ８２において、エッジ検出部１１２からのエッジ検出の結果と所定の閾値Θを比較することで、１つのブロック（マクロブロック）がエッジ、テクスチャを含むブロック（マクロブロック）であるか否かを判定する。

上述した式（３７）が成り立つ場合、ステップＳ８２において、そのブロック（マクロブロック）が、エッジ、テクスチャを含むブロック（マクロブロック）であると判定され、処理は、ステップＳ８３に進む。ステップＳ８３において、クラス分類部１３１は、そのブロック（マクロブロック）を、エッジ・テクスチャ領域クラスに分類する。

上述した式（３７）が成り立たない場合、ステップＳ８２において、そのブロック（マクロブロック）が、エッジ、テクスチャを含むブロック（マクロブロック）ではないと判定され、処理は、ステップＳ８４に進む。ステップＳ８４において、クラス分類部１３１は、そのブロック（マクロブロック）を、平坦領域クラスに分類する。

ステップＳ８３またはＳ８４の後、処理は、ステップＳ８５に進む。ステップＳ８５において、クラス分類部１３１は、画面を構成するすべてのブロック（マクロブロック）に対する処理が終了したか否かを判定する。ステップＳ８５において、終了していないと判定された場合、ステップＳ８２に戻り、それ以降の処理が繰り返される。

ステップＳ８５において、すべてのブロック（マクロブロック）に対する処理が終了したと判定された場合、クラス分類部１３１は、各クラスに分類されたブロック（マクロブロック）の画素値を、各フィルタ係数算出部１３２−１および１３２−２に供給する。

すなわち、クラス分類部１３１は、平坦領域クラスに分類されたブロック（マクロブロック）の画素値を、フィルタ係数算出部１３２−１に供給する。エッジ・テクスチャ領域クラスに分類されたブロック（マクロブロック）の画素値を、フィルタ係数算出部１３２−２に供給する。その後、処理は、ステップＳ８６に進む。

ステップＳ８６において、フィルタ係数算出部１３２−１および１３２−２は、平坦領域クラスおよびエッジ・テクスチャ領域クラスに対する適応フィルタ係数を算出する。

すなわち、フィルタ係数算出部１３２−１は、画面並べ替えバッファ１２からの入力画像画素値と、平坦領域クラスのデブロックフィルタ処理後の画素値との残差を最小とするよう、平坦領域クラスに対する適応フィルタ係数を算出する。算出された平坦領域クラスに対する適応フィルタ係数は、平坦領域クラスのデブロックフィルタ処理後の画素値とともに、フィルタ処理部１３３−１に供給される。

また、フィルタ係数算出部１３２−２は、画面並べ替えバッファ１２からの入力画像画素値と、エッジ・テクスチャ領域クラスのデブロックフィルタ処理後の画素値との残差を最小とするよう、エッジ・テクスチャ領域クラスに対する適応フィルタ係数を算出する。算出されたエッジ・テクスチャ領域クラスに対する適応フィルタ係数は、エッジ・テクスチャ領域クラスのデブロックフィルタ処理後の画素値とともに、フィルタ処理部１３３−２に供給される。各クラスの適応フィルタ係数は、さらに、可逆符号化部１６にも供給される。

以上のように、ローカルデコードされた画素を、そのベースバンド情報に応じて、平坦領域のマクロブロックのクラスと、エッジまたはテクスチャが含まれる領域のマクロブロックのクラスとに分類し、クラス毎に適応ループフィルタ処理を行うようにした。

これにより、画面内のローカルな歪みを低減することが可能になる。すなわち、平坦領域およびエッジ・テクスチャ領域のそれぞれにおける特有な画質劣化の改善を実現することが可能になる。

また、クラス分類のためのフラグ情報（すなわち、どのクラスであるかということを識別するための情報）を復号側に送る必要がないので、フラグ情報のオーバーヘッドにより符号化効率を低下させることがない。

符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。

［画像復号装置の構成例］
図１７は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。

図１７の画像復号装置２０１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、演算部４５、デブロックフィルタ４６、画面並べ替えバッファ４７、D/A変換部４８、フレームメモリ４９、スイッチ５０、イントラ予測部５１、動き補償部５２、およびスイッチ５３を備える点で、図２の画像復号装置３１と共通している。

また、図１１の画像復号装置２０１は、適応ループフィルタ２１１およびエッジ検出部２１２が追加された点で、図２の画像復号装置３１と異なっている。

すなわち、可逆復号部４２は、図２の可逆復号部４２と同様に、蓄積バッファ４１より供給された、図５の可逆符号化部１６により符号化された情報を、可逆符号化部１６の符号化方式に対応する方式で復号する。このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、平坦領域クラスおよびエッジ・テクスチャ領域クラスの適応フィルタ係数なども復号される。

動きベクトル情報および参照フレーム情報は、ブロック毎に動き補償部５２に供給される。予測モード情報は、マクロブロック毎にイントラ予測部５１および動き補償部５２の対応する部に供給される。各クラスの適応フィルタ係数は、スライス毎またはピクチャパラメータセット毎に適応ループフィルタ２１１に供給される。

適応ループフィルタ２１１およびエッジ検出部２１２は、デブロックフィルタ４６の後、フレームメモリ４９の前に設けられている。すなわち、適応ループフィルタ２１１およびエッジ検出部２１２は、演算部４５、デブロックフィルタ４６、フレームメモリ４９、スイッチ５０、動き補償部５２、およびスイッチ５３からなる動き補償ループ内に設けられている。すなわち、動き補償ループ内では、画像がループして用いられている。

適応ループフィルタ２１１は、可逆復号部４２から供給された適応フィルタ係数を用いて、デブロックフィルタ４６からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

ただし、適応ループフィルタ２１１は、図５の適応ループフィルタ１１１と同様に、デブロックフィルタ４６からの復号画像（ローカルデコード後のベースバンド情報）を、そのベースバンド情報に応じたクラスに分類する。具体的には、デブロックフィルタ４６からの復号画像は、そのベースバンド情報として、ベースバンド情報から得られる情報、すなわち、エッジ検出部２１２により検出されるエッジ情報に応じたクラスに分類される。

適応ループフィルタ２１１は、分類されたクラス毎に、可逆復号部４２から供給された適応フィルタ係数を用いて、フィルタ処理をそれぞれ行い、フィルタ処理後の画像を、画面並べ替えバッファ４７およびフレームメモリ４９に出力する。

エッジ検出部２１２は、デブロックフィルタ４６からの復号画像（すなわち、ローカルデコード後のベースバンド情報）から、図５のエッジ検出部１１２と同様にしてエッジを検出し、エッジを検出した結果であるエッジ情報を、適応ループフィルタ２１１に供給する。

なお、図１７の例においても、デブロックフィルタ４６からの復号画像が直接エッジ検出部２１２に入力される例が示されているが、デブロックフィルタ４６からの復号画像を一旦フレームメモリ４９に格納して、それがエッジ検出部２１２に入力されるように構成することも可能である。

なお、図５の適応ループフィルタ１１１においては、各クラスの画素値が用いられて適応フィルタ係数が算出され、算出されたフィルタ係数が用いられて、各クラスの画素値に対してフィルタ処理が行われる。これに対して、図１７の適応ループフィルタ２１１においては、圧縮画像のヘッダからスライス毎またはピクチャパラメータセット毎に取得されるフィルタ係数が用いられて、各クラスの画素値に対してフィルタ処理が行われる。

［適応ループフィルタの構成例］
図１８は、適応ループフィルタ２１１の構成例を示すブロック図である。

図１８の例において、適応ループフィルタ２１１は、フィルタ係数バッファ２３１、クラス分類部２３２、並びにフィルタ処理部２３３−１および２３３−２により構成されている。

可逆復号部４２は、ピクチャパラメータセットまたはスライスヘッダから得られる、平坦領域クラスおよびエッジ・テクスチャ領域クラスに対する適応フィルタ係数を、フィルタ係数バッファ２３１に供給してくる。

フィルタ係数バッファ２３１は、平坦領域クラスに対する適応フィルタ係数とエッジ・テクスチャ領域クラスに対する適応フィルタ係数を蓄積する。そして、フィルタ係数バッファ２３１は、平坦領域クラスに対する適応フィルタ係数を、フィルタ処理部２３３−１に供給し、エッジ・テクスチャクラスに対する適応フィルタ係数を蓄積し、フィルタ処理部２３３−２に供給する。

デブロックフィルタ４６からのデブロックフィルタ処理後の画素値が、クラス分類部２３２とエッジ検出部１１２に供給される。また、そのデブロックフィルタ処理後の画素値を用いて検出されたエッジ検出の結果であるエッジ情報が、エッジ検出部２１２からクラス分類部２３２に供給される。

クラス分類部２３２は、エッジ検出部２１２からのエッジ情報に応じて、デブロックフィルタ処理後の各マクロブロック（またはブロック）の画素値を、平坦領域クラスに属するものと、エッジ・テクスチャ領域クラスに属するものに分類する。そして、クラス分類部２３２は、分類したクラスの画素値を、それぞれ、フィルタ処理部２３３−１および２３３−２に供給する。

フィルタ処理部２３３−１は、フィルタ係数バッファ２３１からの平坦領域クラスに対する適応フィルタ係数を用いて、平坦領域クラスに分類された画素値に対して、フィルタ処理を行う。フィルタ処理部２３３−２は、フィルタ係数バッファ２３１からのエッジ・テクスチャ領域クラスに対する適応フィルタ係数を用いて、エッジ・テクスチャ領域クラスに分類された画素値に対して、フィルタ処理を行う。

適応フィルタ処理後の各画素値は、画面並べ替えバッファ４７およびフレームメモリ４９に出力される。

［画像復号装置の復号処理の説明］
次に、図１９のフローチャートを参照して、画像復号装置２０１が実行する復号処理について説明する。

ステップＳ１３１において、蓄積バッファ４１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部４２は、蓄積バッファ４１から供給される圧縮画像を復号する。すなわち、図５の可逆符号化部１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、各クラスに対する適応フィルタ係数なども復号される。

すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部５１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報は、動き補償部５２に供給される。各クラスに対する適応フィルタ係数は、スライスまたはピクチャパラメータセット毎に復号され、適応ループフィルタ２１１に供給される。

ステップＳ１３３において、イントラ予測部５１または動き補償部５２は、可逆復号部４２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。

すなわち、可逆復号部４２からイントラ予測モード情報が供給された場合、イントラ予測部５１は、イントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。可逆復号部４２からインター予測モード情報が供給された場合、動き補償部５２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。

ステップＳ１３３における予測画像生成処理の詳細は、図２０を参照して後述するが、この処理により、イントラ予測部５１により生成された予測画像（イントラ予測画像）、または動き補償部５２により生成された予測画像（インター予測画像）がスイッチ５３に供給される。

ステップＳ１３４において、スイッチ５３は予測画像を選択する。すなわち、イントラ予測部５１により生成された予測画像、または動き補償部５２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部４５に供給され、後述するステップＳ１３７において逆直交変換部４４の出力と加算される。

上述したステップＳ１３２において、可逆復号部４２により復号された変換係数は、逆量子化部４３にも供給される。ステップＳ１３５において、逆量子化部４３は可逆復号部４２により復号された変換係数を、図５の量子化部１５の特性に対応する特性で逆量子化する。

ステップＳ１３６において逆直交変換部４４は、逆量子化部４３により逆量子化された変換係数を、図５の直交変換部１４の特性に対応する特性で逆直交変換する。これにより図５の直交変換部１４の入力（演算部１３の出力）に対応する差分情報が復号されたことになる。

ステップＳ１３７において、演算部４５は、上述したステップＳ１３４の処理で選択され、スイッチ５３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３８においてデブロックフィルタ４６は、演算部４５より出力された画像に対して、デブロックフィルタ処理を行う。これにより、画面全体におけるブロック歪みが除去される。

ステップＳ１３９において、適応ループフィルタ１１１は、クラス分類フィルタ処理を行う。このクラス分類フィルタ処理の詳細は、図２１を参照して後述される。なお、この場合の適応ループフィルタ２１１は、図１８に示したように構成される。

ステップＳ１３９の処理により、復号画像のベースバンド情報、すなわち、ベースバンド情報から得られるエッジ情報に応じてクラス分類が行われ、各クラスに対して適応フィルタ処理が行われる。適応フィルタ処理後の画素値は、画面並べ替えバッファ４７およびフレームメモリ４９に出力される。

ステップＳ１４０においてフレームメモリ４９は、適応フィルタリングされた画像を記憶する。

ステップＳ１４１において、画面並べ替えバッファ４７は、適応ループフィルタ２１１後の画像の並べ替えを行う。すなわち画像符号化装置１０１の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１４２において、D/A変換部４８は、画面並べ替えバッファ４７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

［画像復号装置の予測画像生成処理の説明］
次に、図２０のフローチャートを参照して、図１９のステップＳ１３３の予測画像生成処理を説明する。

イントラ予測部５１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部４２からイントラ予測モード情報がイントラ予測部５１に供給されると、イントラ予測部５１は、ステップＳ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。このとき、イントラ予測部５１は、このイントラ予測モード情報を、エッジ検出部２１２に供給する。

イントラ予測部５１は、ステップＳ１７２において、イントラ予測モード情報を取得し、ステップＳ１７３において、イントラ予測を行い、イントラ予測画像を生成する。

すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ４９から読み出され、スイッチ５０を介してイントラ予測部５１に供給される。ステップＳ１７３において、イントラ予測部５１は、ステップＳ１７２で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ５３に出力される。

一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７４に進む。

処理対象の画像がインター処理される画像である場合、可逆復号部４２からインター予測モード情報、参照フレーム情報、動きベクトル情報が動き補償部５２に供給される。

ステップＳ１７４において、動き補償部５２は、可逆復号部４２からの予測モード情報などを取得する。すなわち、動き（インター）予測モード情報、参照フレーム情報、動きベクトル情報が取得される。

ステップＳ１７５において、動き補償部５２は、動きベクトル情報を用いて、フレームメモリ４９からの参照画像に補償を行い、インター予測画像を生成する。生成された予測画像は、スイッチ５３を介して、演算部４５に供給され、図１９のステップＳ１３７において逆直交変換部４４の出力と加算される。

［画像復号装置のクラス分類フィルタ処理の説明］
次に、図２１のフローチャートを参照して、図１９のステップＳ１３９のクラス分類フィルタ処理について説明する。

可逆復号部４２は、ピクチャパラメータセットまたはスライスヘッダから得られる、平坦領域クラスおよびエッジ・テクスチャ領域クラスに対する適応フィルタ係数を、フィルタ係数バッファ２３１にそれぞれ供給してくる。

フィルタ係数バッファ２３１は、平坦領域クラスおよびエッジ・テクスチャ領域クラスに対する適応フィルタ係数を蓄積し、平坦領域クラスに対する適応フィルタ係数を、フィルタ処理部２３３−１に供給する。また、フィルタ係数バッファ２３１は、エッジ・テクスチャ領域クラスに対する適応フィルタ係数を、フィルタ処理部２３３−２に供給する。

ステップＳ１９１において、フィルタ処理部２３３−１および２３３−２は、フィルタ係数バッファ２３１からのそれぞれのクラスに対する適応フィルタ係数をそれぞれ受け取る。

デブロックフィルタ４６からのデブロックフィルタ処理後の画素値がクラス分類部２３２およびエッジ検出部２１２に供給される。

エッジ検出部２１２は、ステップＳ１９２において、デブロックフィルタ処理後の画素値（すなわち、ベースバンド情報）に対して、エッジ検出を行う。具体的には、エッジ検出部２１２は、例えば、式（３６）および式（３５）を参照して上述したように、復号画像を構成する当該ブロックまたはマクロブロックにおけるエッジ強度を算出する。そして、エッジ検出部２１２は、算出したエッジ強度情報を、エッジ検出の結果として、クラス分類部２３２に供給する。

クラス分類部２３２は、ステップＳ１９３において、エッジ検出部２１２からのエッジ検出の結果と所定の閾値Θを比較することで、処理対象のブロック（マクロブロック）がエッジ、テクスチャを含むブロック（マクロブロック）であるか否かを判定する。

上述した式（３７）が成り立つ場合、ステップＳ１９３において、そのブロック（マクロブロック）が、エッジ、テクスチャを含むブロック（マクロブロック）であると判定され、処理は、ステップＳ１９４に進む。ステップＳ１９４において、クラス分類部２３１は、そのブロック（マクロブロック）を、エッジ・テクスチャ領域クラスに分類する。

クラス分類部２３２は、エッジ・テクスチャ領域クラスに分類したマクロブロックの画素値を、フィルタ処理部２３３−２に供給する。

ステップＳ１９５において、フィルタ処理部２３３−２は、エッジ・テクスチャ領域クラスについて適応フィルタ処理を行う。すなわち、フィルタ処理部２３３−２は、クラス分類部２３２によりエッジ・テクスチャ領域クラスに分類されたマクロブロックの画素値に対して、フィルタ係数バッファ２３１からのエッジ・テクスチャ領域クラスに対する適応フィルタ係数を用いて、フィルタ処理を行う。この適応フィルタ処理後の画素値は、画面並べ替えバッファ４７およびフレームメモリ４９に供給される。

一方、上述した式（３７）が成り立たない場合、ステップＳ１９３において、そのブロック（マクロブロック）が、エッジ、テクスチャを含むブロック（マクロブロック）ではないと判定され、処理は、ステップＳ１９６に進む。ステップＳ１９６において、クラス分類部２３２は、そのブロック（マクロブロック）を、平坦領域クラスに分類する。

クラス分類部２３２は、平坦領域クラスに分類したマクロブロックの画素値を、フィルタ処理部２３３−１に供給する。

ステップＳ１９７において、フィルタ処理部２３３−１は、平坦領域クラスについて適応フィルタ処理を行う。すなわち、フィルタ処理部２３３−１は、クラス分類部２３２により平坦領域クラスに分類されたマクロブロックの画素値に対して、フィルタ係数バッファ２３１からの平坦領域クラスに対する適応フィルタ係数を用いて、フィルタ処理を行う。この適応フィルタ処理後の画素値は、画面並べ替えバッファ４７およびフレームメモリ４９に供給される。

以上のように、画像符号化装置１０１および画像復号装置２０１においては、復号画像が、そのベースバンド情報から得られるエッジ情報に応じたクラスに分類され、クラス毎に、適応ループフィルタ処理が行われる。

これにより、画面全体における画質劣化を最小限にするとともに、画面の平坦部、およびテクスチャなどを含む領域のそれぞれで生じてしまうローカルな画質劣化も改善することができる。すなわち、平坦領域およびエッジ・テクスチャ領域のそれぞれにおける特有な画質劣化の改善を実現することが可能になり、この結果、符号化効率が向上し、復号画像における主観画質を向上することができる。

なお、上記説明においては、画像復号装置２０１においては、画像符号化装置１０１により算出されたフィルタ係数を用いた適応フィルタ処理後の画素値を、フレームメモリ４９だけでなく、画面並べ替えバッファ４７にも出力するようにした。これに限らず、例えば、画面並べ替えバッファ４７へ出力する適応フィルタについては、復号画像のベースバンド情報から得られるエッジ情報に応じて分類されたクラス毎にフィルタ係数を算出して、算出したフィルタ係数を用いて行うようにしてもよい。

これにより、復号画像における主観画質をさらに向上させることができる。

以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本発明はこれに限らず、動き予測・補償ループ内に適応フィルタを含む、その他の符号化方式／復号方式を適用することができる。

なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

［パーソナルコンピュータの構成例］
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)２５１、ROM(Read Only Memory)２５２、RAM(Random Access Memory)２５３は、バス２５４により相互に接続されている。

バス２５４には、さらに、入出力インタフェース２５５が接続されている。入出力インタフェース２５５には、入力部２５６、出力部２５７、記憶部２５８、通信部２５９、およびドライブ２６０が接続されている。

入力部２５６は、キーボード、マウス、マイクロホンなどよりなる。出力部２５７は、ディスプレイ、スピーカなどよりなる。記憶部２５８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２５９は、ネットワークインタフェースなどよりなる。ドライブ２６０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２６１を駆動する。

以上のように構成されるコンピュータでは、CPU２５１が、例えば、記憶部２５８に記憶されているプログラムを入出力インタフェース２５５及びバス２５４を介してRAM２５３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２５１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２６１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２６１をドライブ２６０に装着することにより、入出力インタフェース２５５を介して、記憶部２５８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２５９で受信し、記憶部２５８にインストールすることができる。その他、プログラムは、ROM２５２や記憶部２５８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置１０１や画像復号装置２０１は、任意の電子機器に適用することができる。以下にその例について説明する。

［テレビジョン受像機の構成例］
図２３は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図２３に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。

地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。

映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。

グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。

パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。

表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。

地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。

音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。

音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。

音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。

さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。

デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。

MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。

テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置２０１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置２０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。

MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。

また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。

A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。

さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。

A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。

音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。

ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。

音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。

SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。

MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。

受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。

CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。

USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置２０１を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。

［携帯電話機の構成例］
図２４は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図２４に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。

また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。

電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。

携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。

また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。

なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。

この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置１０１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置１０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。

携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置２０１を用いる。したがって、画像デコーダ４５６は、画像復号装置２０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。

また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。

携帯電話機４００は、画像エンコーダ４５３として画像符号化装置１０１を用いることにより、符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機４００は、画像デコーダ４５６として画像復号装置２０１を用いることにより、符号化効率を向上させることができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。

なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置１０１および画像復号装置２０１を適用することができる。

［ハードディスクレコーダの構成例］
図２５は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２５に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２５に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。

また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。

受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。

通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。

オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。

ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。

ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。

モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。

レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。

以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置２０１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置２０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

したがって、ハードディスクレコーダ５００は、処理の高速化を実現するとともに、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。

また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置１０１を用いる。したがって、エンコーダ５５１は、画像符号化装置１０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

したがって、ハードディスクレコーダ５００は、例えば、処理の高速化を実現するとともに、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置１０１および画像復号装置２０１を適用することができる。

［カメラの構成例］
図２６は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。

図２６に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。

レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。

カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。

以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。

デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。

コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。

さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。

記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。

さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。

以上のようなカメラ６００は、デコーダ６１５として画像復号装置２０１を用いる。したがって、デコーダ６１５は、画像復号装置２０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高速に、より高精細な復号画像を得て、LCD６１６に表示させることができる。

また、カメラ６００は、エンコーダ６４１として画像符号化装置１０１を用いる。したがって、エンコーダ６４１は、画像符号化装置１０１の場合と同様に、符号化効率を向上させ、復号画像における主観画質を向上させることができる。

したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、より高速に、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。

なお、コントローラ６２１が行う復号処理に画像復号装置２０１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置１０１の符号化方法を適用するようにしてもよい。

また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置１０１および画像復号装置２０１は、上述した装置以外の装置やシステムにも適用可能である。

１６ 可逆符号化部， ２１ デブロックフィルタ， ２４ イントラ予測部， ４２可逆復号部， ４６ デブロックフィルタ， ５１ イントラ予測部，１０１ 画像符号化装置， １１１ 適応ループフィルタ， １１２ エッジ検出部， １３１ クラス分類部， １３２−１，１３２−２ フィルタ係数算出部， １３３−１，１３３−２ フィルタ処理部， ２０１ 画像復号装置， ２１１ 適応ループフィルタ， ２１２ エッジ検出部， ２３１ フィルタ係数バッファ， ２３２ クラス分類部， ２３３−１， ２３３−２ フィルタ処理部

Claims (7)

1. 画像が符号化されたビットストリームを復号して、前記画像を生成する復号手段と、
   前記復号手段により生成された画像を、所定のブロック毎に、前記所定のブロックを構成する画素値のベースバンド情報を用いて、平坦領域クラスとエッジまたはテクスチャクラスとにクラス分類する分類手段と、
   前記分類手段によりクラス分類された各所定のブロックに対して、同じクラスにクラス分類された前記所定のブロックを用いて算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段と
   を備え、
   前記ベースバンド情報は、前記所定のブロックのエッジ強度を示す情報、または前記所定のブロックの画素分散値であり、
   前記分類手段は、前記画像を、前記所定のブロックのエッジ強度が、第１の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックのエッジ強度が、前記第１の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類するか、または、前記画像を、前記所定のブロックの画素分散値が、第２の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックの画素分散値が、前記第２の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類し、
   前記所定のブロックは、マクロブロックまたは前記マクロブロックを構成するブロックであり、
   前記第１または第２の所定の閾値を、前記マクロブロックが含まれるフレームに対してデブロックフィルタが施されているか否かに応じて決定する閾値決定手段を
   さらに備える画像復号装置。
2. 前記閾値決定手段は、前記第１または第２の所定の閾値を、前記フレームに対してデブロックフィルタが施されている場合、デブロックフィルタが施されていない場合に比して低い値に決定する
   請求項１に記載の画像復号装置。
3. 前記所定のブロックのエッジ強度は、Sobel operatorを用いて算出される
   請求項１に記載の画像復号装置。
4. 前記閾値決定手段は、前記第１または第２の所定の閾値を、前記マクロブロックにおける量子化パラメータに応じて決定する
   請求項１に記載の画像復号装置。
5. 前記閾値決定手段は、前記第１または第２の所定の閾値を、より高い量子化パラメータに対して、より低い値に決定する
   請求項４に記載の画像復号装置。
6. 前記画像のビットストリームと、前記フィルタ係数とを受け取る受け取り手段
   をさらに備える請求項１に記載の画像復号装置。
7. 画像復号装置が、
   画像が符号化されたビットストリームを復号して、前記画像を生成し、
   生成された画像を、所定のブロック毎に、前記所定のブロックを構成する画素値のベースバンド情報を用いて、平坦領域クラスとエッジまたはテクスチャクラスとにクラス分類し、
   クラス分類された各所定のブロックに対して、同じクラスにクラス分類された前記所定のブロックを用いて算出されたフィルタ係数を用いてフィルタ処理を行い、
   前記ベースバンド情報は、前記所定のブロックのエッジ強度を示す情報、または前記所定のブロックの画素分散値であり、
   前記画像を、前記所定のブロックのエッジ強度が、第１の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックのエッジ強度が、前記第１の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類するか、または、前記画像を、前記所定のブロックの画素分散値が、第２の所定の閾値を超える場合、前記所定のブロックを前記エッジまたはテクスチャクラスにクラス分類し、前記所定のブロックの画素分散値が、前記第２の所定の閾値を超えていない場合、前記平坦領域クラスにクラス分類し、
   前記所定のブロックは、マクロブロックまたは前記マクロブロックを構成するブロックであり、
   前記第１または第２の所定の閾値を、前記マクロブロックが含まれるフレームに対してデブロックフィルタが施されているか否かに応じて決定する
   画像復号方法。

Images