WO2011158867A1

WO2011158867A1 - 画像復号装置、及び画像符号化装置

Info

Publication number: WO2011158867A1
Application number: PCT/JP2011/063709
Authority: WO
Inventors: 将伸八杉; 知宏猪飼; 友子青野
Original assignee: シャープ株式会社
Priority date: 2010-06-17
Filing date: 2011-06-15
Publication date: 2011-12-22

Abstract

　符号化データ（＃１）から復号された周波数領域上の予測残差を、変換単位ごとに空間領域上の予測残差（Ｄ）に変換し、予測単位ごとに生成した予測画像（Ｐｒｅｄ）に予測残差（Ｄ）を加算することにより復号画像（Ｐ）を生成する動画像復号装置（１）において、上記予測画像（Ｐｒｅｄ）を平滑化する平滑化フィルタ（１７）であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ（１７）を備えており、上記復号画像（Ｐ）の生成において、上記平滑化フィルタ（１７）により平滑化処理が施された上記予測画像（Ｆ＿Ｐｒｅｄ）に上記予測残差（Ｄ）を加算する構成である。

Description

画像復号装置、及び画像符号化装置

　本発明は画像を符号化する画像符号化装置および符号化された画像を復号する画像復号装置に関する。

　動画像を効率的に伝送または記録するために、動画像を符号化する動画像符号化装置、及び、動画像を復号する動画像復号装置が広く用いられている。代表的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ（非特許文献１）や、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。

　これらの符号化方式において、動画像を構成する各ピクチャは、ピクチャを分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することにより得られるブロックからなる階層構造により管理される。

　動画像符号化装置は、動画像をブロック単位で符号化する。具体的には、（１）原画像から予測画像を減算して得た予測残差をブロックごとにＤＣＴ変換（Discrete Cosine Transform）し、（２）得られたＤＣＴ係数を量子化し、（３）量子化されたＤＣＴ係数を可変長符号化する。原画像をＤＣＴ変換／量子化／符号化するのではなく、予測残差をＤＣＴ変換／量子化／符号化することによって、通常、符号量の削減を図ることができる。

　動画像符号化装置は、上述した予測画像を、量子化されたＤＣＴ係数を逆量子化／逆ＤＣＴ変換して得た局所復号画像に基づいて生成する。予測画像の生成方法には、画面間予測（インター予測）と画面内予測（イントラ予測）とがあり、動画像符号化装置において、どちらの予測方法を用いるかをマクロブロック毎に選択する。

　さらには、近年、さらに効果的かつ柔軟に動画コンテンツを再現できるように、動画像の符号化および復号化において、予測単位および変換単位を独立して設定することが提案されている（非特許文献２）。すなわち、非特許文献２では、予測処理および変換処理を、それぞれの処理に適したサイズの領域に対して行うことが提案されている。

　ここで、変換単位とは、直交変換を行う単位のことを示している。予測単位とは、大まかにいえば予測処理を行う単位のことを示している。さらに詳しくいえば、予測単位とは、イントラ予測においては、予測モードを割り当てる単位のことであり、インター予測においては、動きベクトルを割り当てる単位のことである。

「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009（２００９年３月公開） Ken McCann et. al.,"Samsung’s Response to the Call for Proposals on Video Compression Technology（JCTVC-A124）", 1st Meeting: Dresden, DE, 15-23 April, 2010（２０１０年４月公開）

　従来のＨ．２６４／ＭＰＥＧ－４．ＡＶＣでは、変換単位と予測単位とが同じ大きさであるか、変換単位が予測単位よりも小さいため、変換単位の内部に予測単位の境界が含まれる場合はない。

　一方、非特許文献２に開示されているような技術では、変換単位と予測単位とを独立に設定することができるため、変換単位および予測単位の境界が一致せず、変換単位の内部に予測単位の境界が含まれる場合がある。

　そして、隣接する２つの予測単位において予測パラメータが異なることにより、予測単位の境界両側の画素値にレベル差を生じることがある。

　例えば、隣接する２つの予測単位がイントラ予測を行う領域であり、隣接する２つの予測単位の間で予測モードが異なる場合、予測単位の境界両側の画素値にレベル差を生じることがある。

　よって、変換単位の内部に予測単位の境界が含まれる場合、上述のようなレベル差により予測単位の境界近傍において歪みを生じている予測画像が予測誤差の算出に用いられてしまうことになる。

　このため、予測誤差の高周波成分が増加してしまい、符号化効率が低下するおそれがある。

　しかし、非特許文献２では、上記問題が生じるおそれがあるにもかかわらず、具体的な対応策が示されていない。また、従来のＨ．２６４／ＭＰＥＧ－４．ＡＶＣでは、上述のとおり、変換単位と予測単位とが同じ大きさであるか、変換単位が予測単位よりも小さいため、その可能な組み合わせにおいて、上記問題がそもそも生じない。

　本発明は、上記の問題に鑑みてなされたものであり、その目的は、変換単位の内部に予測単位の境界が含まれるときに、予測単位の境界近傍における歪みを低減することができる画像復号装置および画像符号化装置を実現することにある。

　本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする。

　上記構成によれば、予測画像において変換単位の内部に、複数の予測単位が含まれるような場合、予測画像に含まれる画素のうち、当該予測単位の境界近傍に位置する画素を平滑化することができる。ここで、予測単位の境界近傍とは、その境界を含む領域のことであり、例えば、境界を中心として予め定められた範囲の領域のことをいう。

　予測画像において、変換単位の内部に予測単位の境界が含まれるような場合、例えば、各予測単位において予測モードが相互に異なることが有り得る。このため、当該予測単位の境界近傍で高周波成分が増加することがある。この高周波成分の増加は、予測画像において歪みとなって現れる。

　よって、上記構成によれば、このような高周波成分が現れる箇所に対して平滑化を施すことができるので、予測単位の境界近傍に現れる高周波成分を低減することができる。すなわち、予測画像において、予測単位の境界近傍に現れる歪みを低減することができる。

　本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備えることを特徴とする。

　予測残差が平滑化された場合、原画像の再現性が低下する場合がある。つまり、予測画像と、予測残差とから復号画像を生成するときに、予測残差を平滑化した分、復号画像において歪みが生じる場合がある。

　上記構成によれば、平滑化された予測残差から復号画像を生成する場合において、復号画像を生成したとき、当該復号画像に対して、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を施すことができる。

　このため、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができるという効果を奏する。

　本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、上記復号画像の生成において、上記予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算することを特徴とする。

　上記構成は、予測残差が平滑化された場合において、上述の復号画像に生じ得る歪みに対応する。すなわち、上記構成によれば、復号画像を生成するときに、上記予測残差に対して変換単位の内部に含まれる予測単位の境界近傍に選択的にエッジ強調処理を施し、予測画像と加算することにより復号画像を生成する。

　つまり、平滑化された予測残差にエッジ強調処理を施して、平滑化により丸められた箇所のエッジを強調することにより、丸められた予測残差を補う。

　本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記予測画像を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成されることを特徴とする。

　上記構成によれば、予測画像において、変換単位の内部に含まれる上記予測単位の境界近傍を選択的に平滑化することができるので、予測単位の境界近傍に現れる歪みを低減する。このためで、符号化効率の向上を図ることができる。換言すれば、予測誤差の高周波成分が増加し符号化効率が低下することを防ぐことができる。

　本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記空間領域上の予測残差を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化することを特徴とする。

　上述のとおり、予測画像において、変換単位の内部に予測単位の境界が含まれる場合、境界両側の予測単位に割り当てられている予測パラメータの違い等により、予測単位の境界近傍に歪みが現れるときがある。

　このような、歪みは、原画像から予測画像を減算して得られる予測残差にも高周波成分として現れる。

　上記構成によれば、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を空間領域上の予測残差に施すことができる。

　このため、上述のような予測残差における歪みを低減して符号化することができるため、符号化効率の向上を図ることができる。

　本発明に係る画像復号装置は、予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算する構成である。

　よって、予測画像において、予測単位の境界近傍に現れる歪みを低減することができる。

　また、本発明に係る画像復号装置は、復号画像を平滑化する復号画像平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備える構成である。

　また、本発明に係る画像復号装置は、周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、復号画像の生成において、予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算する構成である。

　よって、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができる。

　また、本発明に係る画像符号化装置は、予測画像を平滑化する平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成される構成である。

　よって、予測誤差の高周波成分が増加することにより符号化効率が低下することを防ぐことができる。

　本発明に係る画像符号化装置は、空間領域上の予測残差を平滑化する平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化する構成である。

　よって、このため、上述のような予測残差における歪みを低減して符号化することができ、符号化効率の向上を図ることができる。

本発明の一実施形態に係る画像復号装置の概略的構成を示す機能ブロック図である。本発明の一実施形態に係る画像符号化装置の概略的構成を示す機能ブロック図である。上記動画像復号装置によって復号される符号化データの構成を示す図であって、（ａ）は、符号化データのピクチャレイヤの構成を示しており、（ｂ）は、ピクチャレイヤに含まれるスライスレイヤの構成を示しており、（ｃ）は、スライスレイヤに含まれるマクロブロックレイヤの構成を示しており、（ｄ）は、マクロブロックレイヤに含まれるマクロブロックヘッダの構成を示している。動画符号化／復号処理における予測単位および変換単位について示す図であり、（ａ）は、予測単位について示しており、（ｂ）は、変換単位について示しており、（ｃ）は、予測単位および変換単位を重ね合わせた場合について示している。変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフであり、（ａ）は、原画像および予測画像の輝度値について示したグラフであり、（ｂ）は、原画像および予測画像の予測残差を示すグラフである。変換単位の内部に、予測単位の境界が含まれている場合の平滑化処理について示す図である。変換単位の内部に、予測単位の境界が含まれている場合において、平滑化フィルタによるフィルタ処理を施したときの原画像、予測画像、および予測残差について示すグラフであり、（ａ）は、原画像および予測画像の輝度値について示したグラフであり、（ｂ）は、原画像および予測画像の予測残差を示すグラフである。本発明の他の実施形態に係る動画像復号装置の概略的構成を示す機能ブロック図である。本発明の他の実施形態に係る動画像符号化装置の概略的構成を示す機能ブロック図である。本発明のさらに別の実施形態に係る動画像復号装置の概略的構成を示す機能ブロック図である。本発明のさらに別の実施形態に係る動画像符号化装置の概略的構成を示す機能ブロック図である。変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフであり、（ａ）は、原画像および予測画像の輝度値について示したグラフであり、（ｂ）は、原画像および予測画像の予測残差を示すグラフである。変換単位の内部に、予測単位の境界が含まれている場合において、平滑化フィルタによるフィルタ処理を施したときの原画像および予測画像の輝度値について示したグラフである。平滑化した予測残差をデブロッキングフィルタによって補正したときの原画像および予測画像の予測残差を示すグラフである。本発明のさらに別の実施形態に係る動画像復号装置の概略的構成を示す機能ブロック図である。本発明のさらに別の実施形態に係る動画像符号化装置の概略的構成を示す機能ブロック図である。変換単位の内部に、予測単位の境界が含まれている変換単位について示す図である。変換単位の内部に、予測単位の境界が含まれている変換単位について示す図であり、（ａ）は、予測単位の境界が、変換単位の端部にある場合について示しており、（ｂ）は、予測単位の境界が、変換単位において、水平または垂直でない場合について示している。予測単位の境界の傾きに応じたフィルタの例について示す図であり、（ａ）は、水平な境界用のフィルタの例であり、（ｂ）は、傾きが４５度の境界用のフィルタの例である。

　〔実施形態１〕
　本発明の一実施形態について図１～図７を参照して説明すると以下のとおりである。

　まず、図２および図１を用いて、本実施形態に係る動画像符号化装置（画像符号化装置）２および動画像復号装置（画像復号装置）１の概要について説明する。図２は、動画像符号化装置２の概略的構成を示すブロック図であり、図１は、動画像復号装置１の概略的構成を示すブロック図である。

　図２に示す動画像符号化装置２および図１に示す動画像復号装置１は、それぞれ、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含むものである。

　動画像符号化装置２は、動画像＃１０を入力として、動画像符号化装置２は、動画像＃１０を符号化することによって、符号化データ＃１を生成する装置である。動画像符号化装置２は、生成した符号化データ＃１を動画像復号装置１に送信する。

　動画像復号装置１は、動画像符号化装置２から受信した符号化データ＃１を復号することによって動画像＃２を生成するための装置である。

　　（符号化データのデータ構造）
　ここで、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１のデータ構造について説明すると次のとおりである。

　符号化データ＃１は、シーケンスレイヤ、ＧＯＰ（Group Of Pictures）レイヤ、ピクチャレイヤ、スライスレイヤ、及び、マクロブロックレイヤ、からなる階層構造を有している。なお、マクロブロックは、ＬＣＵ（Largest Coding Unit）とも呼ばれる。

　図３を用いて、ピクチャレイヤ以下の階層について符号化データの構造についてより詳しく説明する。図３の（ａ）～（ｄ）は、それぞれ、ピクチャレイヤＰ、スライスレイヤＳ、マクロブロックレイヤＭＢ、およびマクロブロックヘッダＭＢＨの構造を示す図である。

　ピクチャレイヤＰは、対応ピクチャを復号するために動画像復号装置１が参照するデータの集合である。

　図３の（ａ）に示すように、ピクチャレイヤＰは、ピクチャヘッダＰＨ、及び、スライスレイヤＳ₁～Ｓ_Nsを含んでいる（ＮsはピクチャレイヤＰに含まれるスライスレイヤの総数）。

　ピクチャヘッダＰＨには、対応ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entoropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。

　ピクチャレイヤＰに含まれる各スライスレイヤＳは、対応スライスを復号するために動画像復号装置１が参照するデータの集合である。

　図３の（ｂ）に示すように、スライスレイヤＳは、スライスヘッダＳＨ、及び、マクロブロックレイヤＭＢ₁～ＭＢ_Nm（ＮmはスライスレイヤＳに含まれるマクロブロックの総数）を含んでいる。

　スライスヘッダＳＨには、対応スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスヘッダＳＨに含まれる符号化パラメータの例としては、（１）スライスタイプを指定するスライスタイプ指定情報（slice_type）、（２）対応スライスを含むピクチャの表示順序（ＰＯＣ：Picture Order Count）を指定するＰＯＣ指定情報（pic_order_cnt_lbsやdelta_pic_order_cntなど）、および、（３）動画像符号化装置２が符号化の際に用いた重み係数を指定する重み係数指定情報（pred_weight_table）などが挙げられる。

　なお、スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

　スライスレイヤＳに含まれる各マクロブロックレイヤＭＢは、対応マクロブロックを復号するために動画像復号装置１が参照するデータの集合である。

　図３の（ｃ）に示すように、マクロブロックレイヤＭＢは、スキップフラグＳＫＩＰ、マクロブロックヘッダＭＢＨ、予測パラメータＰＰ₁～ＰＰ_Np、及び、量子化予測残差ＱＤ₁～ＱＤ_Nrを含んでいる。ここで、Ｎpは、対応マクロブロックに含まれる予測単位（パーティション、またはＰＵ：Prediction Unitとも呼ばれる）の総数を表し、Ｎｒは、対応マクロブロックに含まれる変換単位（ブロック、またはＴＵ：Transform Unitとも呼ばれる）の総数を表す。スキップフラグＳＫＩＰの値が１の場合、すなわち、対応マクロブロックがスキップブロックである場合、そのマクロブロックレイヤにおけるマクロブロックヘッダＭＢＨ、予測パラメータＰＰ₁～ＰＰ_Np、及び、量子化予測残差ＱＤ₁～ＱＤ_Nrは省略される。

　マクロブロックヘッダＭＢＨには、対応マクロブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。

　図３の（ｄ）に示すように、マクロブロックヘッダＭＢＨには、具体的には、対応マクロブロックのマクロブロックタイプを指定するマクロブロックタイプ指定情報ＭＢＴ（mb_type）、符号化ブロックパターンを指定するＣＢＰ（coded_block_pattern）、量子化ステップの大きさを指定する量子化パラメータ差分Δqp（mb_qp_delta）が含まれる。マクロブロックタイプ指定情報ＭＢＴは、予測単位指定情報ＰＴと変換単位指定情報ＴＴとを含む。

　予測単位指定情報ＰＴは、対応マクロブロックの予測単位（パーティション）への分割パターンと、動画像符号化装置２が各予測単位における予測画像を生成する際に用いた予測方法（Ｌ０単方向予測、Ｌ１単方向予測、双方向予測など）を指定する。

　予測単位（パーティション）のサイズとして、例えば、４Ｎ×４Ｎ、２Ｎ×２Ｎの正方形領域、４Ｎ×２Ｎ、２Ｎ×４Ｎの長方形領域、４Ｎ×Ｎ、４Ｎ×３Ｎ、Ｎ×４Ｎ、３Ｎ×４Ｎの非等分割領域を採用することができる。なお、Ｎは、マクロブロックのサイズに応じて、Ｎ＝３２などを用いることができる。

　一方、変換単位指定情報ＴＴは、対応マクロブロックの変換単位（ブロック）への分割パターンを指定する。変換単位のサイズとして、例えば、４Ｎ×４Ｎ画素、２Ｎ×２Ｎ画素、又はＮ×Ｎ画素の正方形領域を採用することができる。また、これに限られず、変換単位のサイズとして、例えば、たとえば、８×１６や１６×１など、長方形領域を採用することもできる。

　量子化パラメータ差分Δｑｐは、対応マクロブロックにおける量子化パラメータｑｐと、そのマクロブロックの直前に符号化されたマクロブロックにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。

　マクロブロックレイヤＭＢに含まれる各量子化予測残差ＱＤ_nは、動画像符号化装置２が以下の処理１～３を対応ブロックに施すことによって生成した符号化データである。処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する。処理２：処理１にて得られたＤＣＴ係数を量子化する。処理３：処理２にて量子化されたＤＣＴ係数を可変長符号化する。上述した量子化パラメータｑｐは、動画像符号化装置２がＤＣＴ係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^ｑｐ／６）。

　なお、マクロブロックレイヤＭＢに含まれる予測パラメータＰＰのうち、インター予測によって予測画像が生成される予測単位に関する予測パラメータＰＰは、参照画像インデックスＲＩと、推定動きベクトルインデックスＰＭＶＩと、動きベクトル残差ＭＶＤとを含んでいる。

　動きベクトル残差ＭＶＤは、動きベクトルｍｖと動きベクトルの推定値（以下、「推定動きベクトル」と称する）ｐｍｖとをそれぞれ求めて、これらの差分を取ることにより得られる。

　参照画像インデックスＲＩは、動きベクトル残差ＭＶＤを算出するときに使用する符号化／復号化済みの局所復号画像（参照画像）を指定するものである。

　推定動きベクトルインデックスＰＭＶＩは、動きベクトルｍｖの推定値（以下「推定動きベクトル」とも呼称）ｐｍｖを導出する推定方法を指定するものである。

　なお、単方向予測を行う予測単位に関する予測パラメータＰＰには、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤがそれぞれ１つずつ含まれるが、双方向予測（重み付き予測）を行う予測単位に関する予測パラメータＰＰには、２つの参照画像インデックスＲＩ１及びＲＩ２、２つの推定動きベクトルインデックスＰＭＶＩ１及びＰＭＶＩ２、並びに、２つの動きベクトル残差ＭＶＤ１及びＭＶＤ２が含まれる。

　マクロブロックレイヤＭＢに含まれる予測パラメータＰＰのうち、イントラ予測によって予測画像が生成される予測単位に関する予測パラメータＰＰは、予測モードフラグＰＭＦと予測モード符号ＰＭＣとを含んでいる。予測モードフラグＰＭＦは、対応パーティションにおける予測モードが隣接パーティションから推定した予測モードと一致する場合に値“１”を取り、そうでない場合に値“０”を取る。予測モード符号ＰＭＣは、対応パーティションにおける予測モードを指定する予測モード指定情報を符号化したものであり、予測モードフラグＰＭＦの値が１である場合には省略される。予測モード指定情報において指定できる予測モードの例としては、ＤＣ予測、プレーン予測、方向予測などが挙げられる。

　　（動画像復号装置の詳細）
　次に、図１を用いて、動画像復号装置１の詳細について説明する。図１に示すように動画像復号装置１は、可変長符号復号部１３、逆量子化・逆変換部１４、加算器１５、予測処理部１６、平滑化フィルタ（平滑化手段）１７、および、デブロッキングフィルタ１８を含む構成である。

　なお、図１では、各ブロック間におけるデータの流れを記載しているが、このうち“＜＊＊（ＭＢＴ）＞”と記載しているものは、マクロブロックタイプ指定情報ＭＢＴに含まれる情報、すなわちマクロブロック単位で生成される情報であることを示している。

　可変長符号復号部１３は、符号化データ＃１から、マクロブロックタイプＭＢＴ、各パーティションに関する予測パラメータＰＰ、各ブロックに関する量子化予測残差ＱＤ、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δｑｐを復号する。

　また、可変長符号復号部１３は、変換単位指定情報ＴＴを平滑化フィルタ１７に供給する。そして、可変長符号復号部１３は、予測パラメータＰＰおよび予測単位指定情報ＰＴを予測処理部１６に供給する。さらに、可変長符号復号部１３は、量子化予測残差ＱＤ、および、量子化パラメータ差分Δｑｐ、ならびに、変換単位指定情報ＴＴを逆量子化・逆変換部１４に供給する。

　逆量子化・逆変換部１４は、変換単位指定情報ＴＴにおいて指定されている各変換単位に対して、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器１５に供給する。逆ＤＣＴ変換は、周波数領域上の予測残差を空間領域上の予測残差に変換する処理に相当する。

　なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１４は、可変長符号復号部１３から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したマクロブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２^ｑｐ／６によって導出できる。

　加算器１５は、平滑化フィルタ１７から供給された平滑化後予測画像Ｆ＿Ｐｒｅｄと、逆量子化・逆変換部１４から供給された予測残差Ｄとを加算することによって復号画像Ｐ（デブロッキング前）を生成する。また、加算器１５によって生成された復号画像Ｐは、デブロッキングフィルタ１８に供給される。

　予測処理部１６は、予測単位指定情報ＰＴにおいて指定されている各予測単位について、予測パラメータＰＰを用いてインター予測またはイントラ予測により予測画像Ｐｒｅｄを生成し出力する。

　インター予測においては、各予測単位における予測画像が、その予測単位が属するピクチャとは異なる符号化／復号化済みの他のピクチャ（以下「参照画像」と呼称）から、動き補償予測により生成される。

　一方、イントラ予測においては、各予測単位における予測画像が、そのパーティションと同じピクチャに属する符号化／復号化済みの他のパーティション（以下「参照パーティション」と呼称）における局所復号画像から、外挿により生成される。なお、これに限られず、内挿を用いて予測画像を生成することも可能である。

　予測パラメータＰＰがインター予測に関するものであるとき、予測処理部１６は、インター予測により予測画像Ｐｒｅｄを生成する。具体的には、予測処理部１６は、予測パラメータＰＰおよび他のパーティションに関する復元済み動きベクトルｍｖ’等のパラメータに基づいて、参照画像としての復号画像ＤＦ＿Ｐ’からインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。

　ここで、復号画像ＤＦ＿Ｐ’は、既に復号が完了した復号済みの復号画像であり、予測処理部１６は、復号画像ＤＦ＿Ｐ’を構成する各画素の画素値をバッファメモリ１１から読み出すことができる。また、予測処理部１６は、復元済み動きベクトルｍｖ’を、バッファメモリ１１から読み出すことができる。

　また、予測パラメータＰＰがイントラ予測に関するものであるとき、予測処理部１６は、イントラ予測により予測画像Ｐｒｅｄを生成する。具体的には、予測処理部１６は、予測パラメータＰＰに含まれる予測モード指定情報により指定された予測モードを用いて、局所的に復号済みの復号画像ＤＦ＿Ｐからイントラ予測によりイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。

　ここで、復号画像ＤＦ＿Ｐは、未だ復号が完了していない復号中の復号画像であり、予測処理部１６は、復号画像ＤＦ＿Ｐを構成する画素のうち、既に復号が完了したブロックに属する各画素の画素値をバッファメモリ１１から読み出すことができる。

　そして、予測処理部１６は、インター予測により生成したインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒまたはイントラ予測により生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして、予測単位指定情報ＰＴと共に、平滑化フィルタ１７に供給する。

　平滑化フィルタ１７は、予測画像Ｐｒｅｄにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を平滑化するフィルタである。平滑化フィルタは平滑化処理を施した平滑化後予測画像Ｆ＿ｐｒｅｄを加算器１５に供給する。平滑化フィルタ１７の詳細については後述する。

　デブロッキングフィルタ１８は、復号画像Ｐにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、またはマクロブロック境界に対してデブロッキング処理を施す。デブロッキングフィルタ１８は、復号画像Ｐにデブロッキング処理を施すことにより得られた復号画像ＤＦ＿Ｐをバッファメモリ１１に格納するとともに、外部に動画像＃２として出力する。

　　（平滑化フィルタの詳細について）
　次に、図４～７を参照しながら、平滑化フィルタの詳細について説明する。

　そこで、まず、動画像復号装置１がサポートする予測単位および変換単位について説明する。動画像復号装置１は、図２を用いて示した予測単位指定情報ＰＴおよび変換単位指定情報ＴＴで指定される多様なサイズの予測単位および変換単位をサポートする。

　その具体例を図４に示す。図４は、動画符号化／復号処理における予測単位および変換単位について示す図であり、（ａ）は、予測単位について示しており、（ｂ）は、変換単位について示しており、（ｃ）は、予測単位および変換単位を重ね合わせた場合について示している。

　図４の（ａ）に示す予測単位ＰＵは、Ｎ×４Ｎの予測単位Ｐ１と３Ｎ×４Ｎの予測単位Ｐ２とからなる。なお、ＢＰＵは、予測単位Ｐ１およびＰ２の境界線を示している。また、図４の（ｂ）に示す変換単位ＴＵは、２Ｎ×２Ｎの４つの変換単位Ｔ１～Ｔ４により構成される。なお、ＢＴＵは、これらの変換単位Ｔ１～Ｔ４の境界線を示している。

　このように、動画像復号装置１では、予測単位ＰＵおよび変換単位ＴＵについて、それぞれ、柔軟なブロック構成をサポートしている。よって、図４の（ｃ）に示すように、予測単位ＰＵの境界ＢＰＵが、変換単位ＴＵの内部に含まれることがある。つまり、変換単位Ｔ１およびＴ２の内部において、各変換単位を横切るように予測単位ＰＵの境界ＢＰＵが出現する。言い換えれば、変換単位Ｔ１（Ｔ２）において、予測単位Ｐ１およびＰ２が混在する。

　このような場合、予測単位の境界ＢＰＵの両側において画素値にレベル差が生じやすくなり、このレベル差のため予測残差の高周波成分が増加することがある。

　図５を用いて、このように高周波成分が増加する場合の例についてさらに詳しく説明すると次のとおりである。図５は、図４の（ｃ）で示したように変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフである。同図の（ａ）は、原画像および予測画像の輝度値について示したグラフであり、同図の（ｂ）は、原画像および予測画像の予測残差を示すグラフである。

　図５の（ａ）に示すように、原画像の輝度値を示すグラフは、予測単位の境界ＢＰＵの前後において、すなわち、予測単位Ｐ１側から予測単位Ｐ２側にかけて、それほど大きなレベル差は生じていない。

　しかし、図５の（ａ）に示すように、例えば、予測単位Ｐ１および予測単位Ｐ２の間における予測モードの違いなどに起因して、予測画像Ｐｒｅｄの輝度値が、予測単位の境界ＢＰＵの前後において大きく変化する場合がある。

　図５の（ａ）において、符号Ｃ１で示すようなレベル差は、予測画像において歪みとして現れる。また、このような予測画像が、予測残差の算出に用いられることになる。

　このため、図５の（ｂ）において、符号Ｃ２で示すように、予測残差ｄｅｖのグラフには、予測単位の境界ＢＰＵの前後にかけて、急峻な段差が現れる。符号Ｃ２で示す箇所では、予測誤差の高周波成分が増加するため、符号化効率が低下する。

　以下、平滑化フィルタ１７の説明に戻り、図６および図７を用いて、平滑化フィルタ１７の動作についてさらに詳しく説明する。

　平滑化フィルタ１７は、図５に示したような段差を平滑化するために、次のようにして平滑化処理の対象を定める。すなわち、平滑化フィルタ１７は、予測処理部１６から供給される予測単位指定情報ＰＴおよび可変長符号復号部１３から供給される変換単位指定情報ＴＴに基づいて、変換単位の内部において、予測単位の境界が含まれている箇所を特定する。そして、平滑化フィルタ１７は、特定した箇所の所定の範囲を平滑化処理の対象とする。

　ここで、図６を用いて、平滑化フィルタ１７が平滑化対象とする平滑化対象領域についてより詳しく説明する。図６は、変換単位の内部に、予測単位の境界が含まれている場合の平滑化処理について示す図である。図６は、図４の（ｃ）と同様、予測単位ＰＵの境界ＢＰＵが、変換単位ＴＵの内部に含まれる例について示している。

　平滑化フィルタ１７は、図６に斜線を付して示す平滑化対象領域Ｒ１に対して平滑化処理を行う。平滑化フィルタ１７は、予測単位指定情報ＰＴおよび変換単位指定情報ＴＴに基づいて平滑化対象領域Ｒ１を設定する。例えば、平滑化フィルタ１７は、予測単位の境界ＢＰＵを含む、所定幅の帯状領域として平滑化対象領域Ｒ１を設定する。

　また、平滑化フィルタ１７は、下記（１）～（３）の何れかが満たされる場合、各変換単位ＴＵの内部に存在する予測単位ＰＵの境界ＢＰＵの所定幅（例えば１画素）を有する帯状領域として平滑化対象領域Ｒ１を設定する。

　（１）変換単位指定情報ＴＴで示される変換単位ＴＵの横幅（水平方向の長さ）が予測単位指定情報ＰＴで示される予測単位ＰＵの横幅よりも大きい。

　（２）変換単位指定情報ＴＴで示される変換単位ＴＵの高さ（垂直方向の長さ）が予測単位指定情報ＰＴで示される予測単位ＰＵの高さよりも大きい。

　（３）変換単位ＴＵのサイズと予測単位ＰＵのサイズが同一であり、変換単位ＴＵの開始座標（例えば、当該ＴＵの左上座標）と、予測単位ＰＵの開始座標とが異なる。

　平滑化フィルタ１７は、図５の（ａ）のグラフにおいて符号Ｃ１で示したレベル差が出現した箇所を含むような幅を事前に求め、境界ＢＰＵを中心として平滑化対象領域Ｒ１を設定することができる。なお、図６では、変換単位Ｔ１および変換単位Ｔ２の両方に平滑化対象領域Ｒ１が展開しているが、変換単位Ｔ１および変換単位Ｔ２のいずれか一方に係る部分のみを平滑化対象領域とすることもできる。つまり、この平滑化処理は変換単位ごとに行うことができる。

　（変換単位ごとの平滑化処理の一例）
　以下では、平滑化フィルタ１７によって行われる変換単位ごとの平滑化処理の具体例の一つを説明する。

　平滑化フィルタ１７は、変換単位指定情報ＴＴに含まれる各変換単位ＴＵ（ここではＴ１とする）について以下の処理を行う。

　まず、平滑化フィルタ１７は、変換単位Ｔ１の左上座標（Ｘ１、Ｙ１）を含む予測単位Ｐ１（Ｘ１、Ｙ１）を参照する。ここで、予測単位Ｐ１（Ｘ１、Ｙ１）との表記は、該予測単位Ｐ１の左上座標が（Ｘ１、Ｙ１）であることを示している。

　続いて、予測単位Ｐ１（Ｘ１、Ｙ１）の横幅Ｗ１が変換単位Ｔ１の横幅よりも小さい場合には、平滑化フィルタ１７は、該予測単位Ｐ１（Ｘ１、Ｙ１）と、該予測単位Ｐ１（Ｘ１、Ｙ１）の右側に隣接する予測単位Ｐ２（Ｘ１＋Ｗ１、Ｙ１）との間の境界近傍に平滑化処理を行う。

　続いて、予測単位Ｐ２（Ｘ１＋Ｗ１、Ｙ１）の横幅Ｗ２と、予測単位Ｐ１（Ｘ１、Ｙ１）の横幅Ｗ１との和が、変換単位Ｔ１の横幅よりも小さい場合には、平滑化フィルタ１７は、さらに、該予測単位Ｐ２（Ｘ１＋Ｗ１、Ｙ１）と、該予測単位Ｐ２（Ｘ１＋Ｗ１、Ｙ１）の右側に隣接する予測単位Ｐ３との間の境界近傍に平滑化処理を行う。

　このようにして、平滑化フィルタ１７は、変換単位Ｔ１に含まれる予測単位であって、左上座標のｙ成分がＹ１である予測単位の境界近傍に対して平滑化処理を行う。

　その後、予測単位Ｐ１（Ｘ１、Ｙ１）の高さＨ１が変換単位Ｔ１の高さよりも小さい場合には、平滑化フィルタ１７は、該予測単位Ｐ１（Ｘ１、Ｙ１）と、該予測単位Ｐ１（Ｘ１、Ｙ１）の下側に隣接する予測単位Ｐ１’（Ｘ１、Ｙ１＋Ｈ１）との間の境界近傍に平滑化処理を行う。

　続いて、平滑化フィルタ１７は、予測単位Ｐ１’（Ｘ１、Ｙ１＋Ｈ１）と、該予測単位Ｐ１’（Ｘ１、Ｙ１＋Ｈ１）の右側に隣接する予測単位Ｐ２’（Ｘ１＋Ｗ１、Ｙ１＋Ｈ１）との間の境界近傍に平滑化処理を行う。

　以下、同様に、変換単位Ｔ１に含まれる予測単位ＰＵを全て処理するまで上記平滑化処理を繰り返す。

　このように、各変換単位ＴＵに含まれる予測単位ＰＵを所定の順にスキャン（この例ではラスタスキャン）し、それら予測単位ＰＵの境界近傍に対して順に平滑化処理をすることができる。

　（変換単位ごとの平滑化処理の他の例）
　続いて、平滑化フィルタ１７によって行われる変換単位ごとの平滑化処理の他の具体例を説明する。

　予測単位ＰＵの最小横幅と最小高さが各々ＭＩＮＰＷ、ＭＩＮＰＨである場合には、平滑化フィルタ１７は、変換単位ＴＵを最小サイズからなる矩形単位ＭＩＮＰＷ、ＭＩＮＰＨに分割したときに生じる境界を境界候補とし、その境界候補がＰＵ境界に一致するか否かをスキャン順に沿って判定する。

　判定の結果、境界候補がＰＵ境界に一致する場合には、平滑化フィルタ１７は、変換その境界近傍の所定幅（例えば境界の両側各１画素）の範囲を平滑化対象領域Ｒ１とし、平滑化処理を行う。境界候補がＰＵ境界に一致しない場合には、平滑化フィルタ１７は、変換平滑化処理を行わない。

　さらに具体的には例えば、変換単位ＴＵの左上座標が（Ｘ１、Ｙ１）である場合には、平滑化フィルタ１７は、ループ変数ｉとループ変数ｊとを用いた２重ループにおいて、座標（Ｘ１＋ｉ、Ｙ１＋ｊ）に対して、対象矩形単位（Ｘ１＋ｉ、Ｙ１＋ｊ）と、該対象矩形単位の右側に隣接する右隣接矩形単位（Ｘ１＋（ｉ＋１）、Ｙ１＋ｊ）とが同一のＰＵに含まれているか否か、及び、対象矩形単位（Ｘ１＋ｉ、Ｙ１＋ｊ）と、該対象矩形単位の下側に隣接する下隣接矩形単位（Ｘ１＋ｉ、Ｙ１＋（ｊ＋１））とが同一のＰＵに含まれているか否か、を判定する。

　判定の結果、上記対象矩形単位と、上記右隣接矩形単位（上記下隣接矩形単位）とが同一ＰＵに含まれていなければ、平滑化フィルタ１７は、境界候補がＰＵ境界に一致するとして処理する。一方、上記対象矩形単位と、上記右隣接矩形単位（上記下隣接矩形単位）とが同一ＰＵに含まれていれば、平滑化フィルタ１７は、境界候補がＰＵ境界に一致しないとして処理する。

　なお、平滑化フィルタ１７が行う平滑化処理においては任意の平滑化フィルタを用いることができる。平滑化フィルタの例としては、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣのデブロッキングフィルタのように適応的に平滑化を行うもの、単純なぼかしフィルタ（例：係数行列｛１／４，２／４，１／４｝によるフィルタ）、およびメディアンフィルタなどが挙げられる。

　図７を用いて、平滑化フィルタ１７が図６に示す平滑化対象領域Ｒ１に対して平滑化処理を行うことにより図５で示したグラフがどのように変化するかを示す。

　図７は、変換単位の内部に、予測単位の境界が含まれている場合において、平滑化フィルタ１７によるフィルタ処理を施したときの原画像、予測画像、および予測残差について示すグラフである。（ａ）は、原画像および予測画像の輝度値について示したグラフであり、（ｂ）は、原画像および予測画像の予測残差を示すグラフである。

　図７の（ａ）の予測画像のグラフに注目すると、境界ＢＰＵの前後において、すなわち、符号Ｃ３に示す箇所において、図５の（ａ）に見られたようなレベル差を解消することができる。

　また、これにより、図（７）の（ｂ）において符号Ｃ４で示すように、予測残差のグラフにおいて、図５の（ｂ）に見られたような急峻な段差を解消することができる。

　平滑化フィルタ１７によれば、予測誤差の高周波成分を低減することができるので、符号化効率を向上させることができる。

　　（イントラ予測とインター予測の処理順序について）
　なお、再び図４を参照しながら、動画像復号装置１におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像復号装置１におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。

　図４の（ｃ）を用いて具体的に説明すると、動画像復号装置１では、インター予測およびイントラ予測を、予測単位Ｐ１、予測単位Ｐ２の順で行い、その後、変換単位Ｔ１、Ｔ２、Ｔ３、およびＴ４の順で変換処理を行う。

　これにより、イントラ予測を行う場合、変換単位および予測単位の自由度が広がる。

　なお、従来、イントラ予測は、対象となる予測単位について、予測処理と、変換処理とを行ってから、次の対象となる予測単位について、予測処理と、変換処理とを行う構成であった。つまり、上記構成では、イントラ予測を行う場合の順番を変更している。

　ここで、イントラ予測では、上述のような変換単位の内部に予測単位の境界が含まれるような組み合わせでは処理しないように制限してもよい。すなわち、イントラ予測を行う場合には、変換単位の内部に単一の予測単位しか含まれないような組み合わせのみを用いるようにしてもよい。これにより、イントラ予測の順番を変更しなくても、イントラ予測において上述のような変換単位内部の予測画像に歪みが生じる問題を回避できる。

　　（作用・効果）
　以上に示したように、動画像復号装置１は、符号化データ＃１から復号された周波数領域上の予測残差を、変換単位ごとに空間領域上の予測残差Ｄに変換し、予測単位ごとに生成した予測画像Ｐｒｅｄに予測残差Ｄを加算することにより復号画像Ｐを生成する動画像復号装置１において、上記予測画像Ｐｒｅｄを変換単位ごとに平滑化する平滑化フィルタ１７であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ１７を備えており、上記復号画像Ｐの生成において、上記平滑化フィルタ１７により平滑化処理が施された上記平滑化後予測画像Ｆ＿Ｐｒｅｄに予測残差Ｄを加算する構成である。

　よって、予測画像Ｐｒｅｄにおいて、予測単位の境界ＢＰＵ近傍に現れる歪みを低減することができる。

　　（変形例）
　上記動画像復号装置１では、デブロッキングフィルタ１８の前後において、デブロッキングフィルタ１８以外に、ＡＬＦ（Adaptive loop filter）を設けてもよい。

　すなわち、ＡＬＦにより、変換単位の内部に含まれる予測単位の境界近傍に対して平滑化等のフィルタ処理を適応的に行ってもかまわない。

　この場合、符号化データ＃１に、ＡＬＦのためのフィルタパラメータが含まれることが想定され、可変長符号復号部１３が当該フィルタパラメータを復号し、ＡＬＦに供給する。

　ＡＬＦは、可変長符号復号部１３からフィルタパラメータを取得して、平滑化等のフィルタ処理を適応的に復号画像に対して施す。

　フィルタパラメータには、例えば、フィルタのＯＮ／ＯＦＦ、フィルタの強度、フィルタ処理を施す範囲などを指定する情報が含まれていてもよい。

　　（動画像符号化装置の詳細）
　次に、図２を用いて、動画像符号化装置２の詳細について説明する。図２に示すように動画像符号化装置２は、変換・量子化部２１、可変長符号化部２２、逆量子化・逆変換部２３、予測処理部（予測画像生成手段）２５、平滑化フィルタ（平滑化手段）２６、デブロッキングフィルタ２７、減算器２８および加算器２９を備える構成である。

　変換・量子化部２１は、（１）予測残差Ｄを変換単位（ブロック）毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号化部２２および逆量子化・逆変換部２３に供給する。ＤＣＴ変換は、空間領域上の予測残差を周波数領域上の予測残差に変換する処理に相当する。

　なお、変換・量子化部２１は、（１）量子化の際に用いる量子化ステップＱＰをマクロブロック毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号化部２２に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するマクロブロックに関する量子化パラメータｑｐ（ＱＰ＝２^ｑｐ／６）の値から、直前にＤＣＴ変換／量子化したマクロブロックに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。

　また、変換・量子化部２１は、変換に用いた変換単位を変換単位指定情報ＴＴとして、可変長符号化部２２に供給する。

　可変長符号化部２２は、変換・量子化部２１から供給された量子化予測残差ＱＤ、Δｑｐ、および変換単位指定情報ＴＴを、後述する予測処理部２５から供給された予測パラメータＰＰおよび予測単位指定情報ＰＴと共に可変長符号化することによって、符号化データ＃１を生成する。

　逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器３１に供給する。

　この逆ＤＣＴ変換は、周波数領域上の予測残差を空間領域上の予測残差に変換する処理に相当する。

　量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２１から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２１に入力される予測残差Ｄに量子化誤差を加えたものであるが、ここでは簡単のために共通の呼称を用いる。

　予測処理部２５は、予測単位指定情報ＰＴにおいて指定されている予測単位について、予測パラメータＰＰを用いてインター予測またはイントラ予測により予測画像Ｐｒｅｄを生成し出力する。

　予測処理部２５は、インター予測により予測画像Ｐｒｅｄを生成する場合、具体的には、予測処理部２５は、他のパーティションに関する復元済み動きベクトルｍｖ’等のパラメータに基づいて、参照画像としての復号画像ＤＦ＿Ｐ’からインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。

　ここで、復号画像ＤＦ＿Ｐ’は、既に復号が完了した復号済みの復号画像であり、予測処理部２５は、復号画像ＤＦ＿Ｐ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。また、予測処理部２５は、復元済み動きベクトルｍｖ’を、バッファメモリ２４から読み出すことができる。

　予測処理部２５は、イントラ予測により予測画像Ｐｒｅｄを生成する場合、具体的には、（１）イントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて局所復号画像ＤＦ＿Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。ここで、復号画像ＤＦ＿Ｐは、未だ復号が完了していない復号中の局所復号画像であり、予測処理部２５は、局所復号画像Ｐを構成する画素のうち、既に復号が完了したブロックに属する各画素の画素値をバッファメモリ２４から読み出すことができる。

　予測処理部２５は、生成したインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒまたはイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとし、選択した予測モードを指定する予測モード指定情報を予測パラメータＰＰに設定して、予測画像Ｐｒｅｄおよび予測パラメータＰＰを、平滑化フィルタ２６に供給する。また、予測処理部２５は、予測パラメータＰＰおよび予測単位指定情報ＰＴを可変長符号化部２２に供給する。

　平滑化フィルタ２６は、予測画像Ｐｒｅｄにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を平滑化するフィルタである。平滑化フィルタ２６は、予測処理部２５から予測画像Ｐｒｅｄ、予測単位指定情報ＰＴを取得し、変換・量子化部２１から変換単位指定情報ＴＴを取得する。そして、平滑化フィルタ２６は、図１の平滑化フィルタ１７と同様、予測画像Ｐｒｅｄにおいて図６で示した平滑化対象領域Ｒ１に対し平滑化処理を施す。

　なお、平滑化フィルタ２６が行う処理の詳細については、図１等を用いて既に説明したとおりであるので、ここでは省略する。また、平滑化フィルタ２６は、平滑化処理を施した平滑化後予測画像Ｆ＿Ｐｒｅｄを減算器２８に供給する。

　デブロッキングフィルタ２７は、復号画像Ｐにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、またはマクロブロック境界に対してデブロッキング処理を施す。デブロッキングフィルタ２７は、復号画像Ｐにデブロッキング処理を施すことにより得られた復号画像ＤＦ＿Ｐをバッファメモリ２４に格納する。

　減算器２８は、符号化対象画像である動画像＃１０から、平滑化フィルタ２６により供給される平滑化後予測画像Ｆ＿Ｐｒｅｄを減算して、予測残差Ｄを生成する。減算器２８は、予測残差Ｄを変換・量子化部２１に供給する。

　加算器２９は、平滑化フィルタ２６から供給された平滑化後予測画像Ｆ＿Ｐｒｅｄと、逆量子化・逆変換部２３から供給された予測残差Ｄとを加算することによって復号画像Ｐ（デブロッキング前）を生成する。また、加算器２９によって生成された復号画像Ｐは、デブロッキングフィルタ２７に供給される。

　　（イントラ予測とインター予測の処理順序について）
　ここで、再び図４を参照しながら、動画像符号化装置２におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像符号化装置２におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。

　図４の（ｃ）を用いて具体的に説明すると、動画像符号化装置２では、インター予測およびイントラ予測を、予測単位Ｐ１、予測単位Ｐ２の順で行い、その後、変換単位Ｔ１、Ｔ２、Ｔ３、およびＴ４の順で変換処理を行う。

　　（作用・効果）
　以上に示したように、動画像符号化装置２は、入力された動画像＃１０から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差Ｄを、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する動画像符号化装置２において、予測画像Ｐｒｅｄを平滑化する平滑化フィルタ２６であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ２６を備えており、上記周波数領域上の予測残差Ｄは、平滑化フィルタ２６が平滑化処理を施した平滑化後予測画像Ｆ＿Ｐｒｅｄを用いて生成されることを特徴とする。

　このため、予測誤差の高周波成分が増加することにより符号化効率が低下することを防ぐことができる。

　　（変形例）
　上記動画像符号化装置２では、デブロッキングフィルタ２７の前後において、デブロッキングフィルタ２７以外に、ＡＬＦ（Adaptive loop filter）を設けてもよい。

　この場合、ＡＬＦは、平滑化処理に際して用いたパラメータをフィルタパラメータとして出力する。フィルタパラメータには、例えば、フィルタのＯＮ／ＯＦＦ、フィルタの強度、フィルタ処理を施す範囲などを指定する情報が含まれていてもよい。

　また、この場合、可変長符号化部２２は、ＡＬＦが出力したフィルタパラメータを符号化して符号化データ＃１に含める。

　〔実施形態２〕
　本発明の他の実施形態について図８および図９を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

　まず、図９を用いて、動画像符号化装置（画像符号化装置）２Ａについて説明する。同図に示すように、動画像符号化装置２Ａは、図２で示した動画像符号化装置２において、平滑化フィルタ２６に替えて、平滑化フィルタ（平滑化手段）２６Ａを設け、可変長符号化部２２に替えて、可変長符号化部２２Ａを設けたものである。

　以下、動画像符号化装置２Ａと、動画像符号化装置２との相違点である平滑化フィルタ２６Ａおよび可変長符号化部２２Ａについて説明する。

　平滑化フィルタ２６Ａは、変換単位の内部に、予測単位の境界が含まれるとき、予測単位の境界近傍に生じる予測残差のレベル差が所定の条件を満たすような箇所に対して平滑化処理を行う。例えば、平滑化フィルタ２６Ａは、変換単位に含まれる予測単位の境界と重なる映像本来の輪郭を不用意に平滑化してしまわないように、輪郭を判定するための閾値と、平坦な箇所を判定するための閾値とを用いて平滑化処理を行う。

　より詳しく言えば、平滑化フィルタ２６Ａは、レベル差が、輪郭を判定するための閾値以上の箇所は輪郭と判定し、平滑化処理を行わない。また、平滑化フィルタ２６Ａは、レベル差が、平坦な箇所を判定するための閾値以上であって、輪郭を判定するための閾値未満の箇所、すなわち、輪郭と判定されない程度のレベル差を示す箇所を歪みとみなして適応的に平滑化を行う。

　そして、平滑化フィルタ２６Ａは、変換単位に含まれる予測単位の境界について、平滑化処理を行うべきか否か、すなわちフィルタのＯＮ／ＯＦＦを示す平滑化フィルタ使用フラグを出力する。また、平滑化フィルタ２６Ａは、平滑化フィルタ使用フラグに加えて、フィルタ強度、選択したフィルタの種類、フィルタ強度等を導出するための閾値を平滑化フィルタ使用パラメータとして出力する。

　なお、ここで平滑化フィルタ２６Ａが、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータのいずれか一方のみを出力するように構成することも可能である。

　平滑化フィルタ２６Ａは、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを可変長符号化部２２Ａに供給する。

　可変長符号化部２２Ａは、量子化予測残差ＱＤ、Δｑｐ、および予測パラメータＰＰ、予測単位指定情報ＰＴに加えて、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを共に可変長符号化することによって、符号化データ＃１Ａを生成する。

　次に、図８を用いて、動画像復号装置（画像復号装置）１Ａについて説明する。同図に示すように、動画像復号装置１Ａは、図１で示した動画像復号装置１において、可変長符号復号部１３に替えて、可変長符号復号部１３Ａを設け、平滑化フィルタ１７に替えて、平滑化フィルタ１７Ａを設けたものである。

　以下、動画像復号装置１Ａと、動画像復号装置１との相違点である可変長符号復号部１３Ａおよび平滑化フィルタ１７Ａについて説明する。

　可変長符号復号部１３Ａは、符号化データ＃１Ａから、マクロブロックタイプＭＢＴ、各予測単位に関する予測パラメータＰＰ、各ブロックに関する量子化予測残差ＱＤ、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δｑｐに加えて、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを復号する。

　可変長符号復号部１３Ａは、変換単位指定情報ＴＴおよび平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを平滑化フィルタ１７に供給する。可変長符号復号部１３Ａが予測処理部１６、逆量子化・逆変換部１４に供給するパラメータについては、可変長符号復号部１３と同様である。

　平滑化フィルタ１７Ａは、予測画像Ｐｒｅｄにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を適応的に平滑化するフィルタである。平滑化フィルタ１７Ａは、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いて、予測画像Ｐｒｅｄにおいて、歪みが大きくなっている箇所に対して適応的に平滑化を行う。

　平滑化フィルタ１７Ａは、平滑化処理において平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いること点で、平滑化フィルタ１７と異なっているが、それ以外の点（例えば、平滑化対象領域の特定方法等）は同様である。

　平滑化フィルタ１７Ａは平滑化処理を施した平滑化後予測画像Ｆ＿ｐｒｅｄを加算器１５に供給する。

　　（変形例）
　以上では、動画像符号化装置２Ａにおいて、平滑化フィルタ２６が、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを出力して、動画像復号装置１Ａにおいて、平滑化フィルタ１７Ａが平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いて平滑化処理を行う例について説明したが、次のように構成することもできる。すなわち、平滑化フィルタ２６および平滑化フィルタ１７Ａを、Ｈ２６４／ＡＶＣにおいて採用されているデブロッキングフィルタの機能を流用することにより構成することができる。

　ここで、まず、Ｈ２６４／ＡＶＣのデブロッキングフィルタについて説明する。Ｈ２６４／ＡＶＣのデブロッキングフィルタでは、適応的にフィルタのＯＮ／ＯＦＦを行うとともに、フィルタの強度を制御することが可能である。

　フィルタのＯＮ／ＯＦＦは、閾値α、βにより制御する。閾値α、βは、ブロック境界またはマクロブロック境界のそれぞれにおけるエッジ判定（エッジらしさの判定）に用いられるパラメータである。閾値α、βは、画素ごとにフィルタの適用を判定するための閾値であり、フィルタがかかる画素の増減の決定に用いられる。このように、フィルタがかかる画素の増減、すなわちフィルタのＯＮ／ＯＦＦを制御することにより、フィルタの効果を調節することができる。

　また、フィルタの強度は、Ｂｓ（Boundary Strength）値により制御する。Ｂｓ値は、ブロック境界またはマクロブロック境界の目立ちやすい箇所に強いフィルタをかけるための制御パラメータである。Ｂｓ値は、互いに隣接するブロックの特性を評価することにより決定される。Ｈ．２６４／ＡＶＣでは、５段階の評価が規定されており、Ｂｓは、０～４の値をとり得る。この評価は、例えば、マクロブロックタイプの組み合わせ（どちらかがイントラマクロブロックに属しているかどうか）、動きベクトル値の同一性、参照画像の同一性、あるいは、変換係数の有無により行われる。

　これらの特性が異なれば、ブロック境界が目立つと判断し、より強いフィルタをかける。一方、特性が類似していれば、ブロック境界が目立たないと判断し、より弱いフィルタをかけるか、フィルタをかけない。

　ところで、上記閾値α、βには、量子化パラメータｑｐが影響するが、量子化パラメータｑｐは、変換処理前には確定していない。また、変換係数の有無は、ＣＢＰ（Coded Book Pattern）で表されるが、ＣＢＰについても変換の結果得られるパラメータである。

　そこで、平滑化フィルタ２６Ａおよび平滑化フィルタ１７Ａに替えて、Ｈ２６４／ＡＶＣにおいて採用されているデブロッキングフィルタを流用する場合は、下記（Ａ）～（Ｃ）のごとく当該デブロッキングフィルタを構成変更すればよい。

　（Ａ）量子化パラメータｑｐについては、暫定値を設定しておく。例えば、スライスデフォルトＱＰ値を用いることができる。さらにいえば、当該暫定値が、変換後において実際に確定する量子化パラメータｑｐと多少異なっていても、大きな影響はない。

　（Ｂ）ＣＢＰについては、例えば、存在する前提で上記の評価を行うようにする。

　（Ｃ）フィルタを適用する領域については、変換単位における予測単位の境界にのみに限定する。つまり、マクロブロック境界を意味するＢｓ＝４は用いない。

　このように構成変更し、境界ＢＰＵの両側にある２つの予測単位において、例えば、一方がイントラ予測である場合、動きベクトルの差が大きい場合（例えば１画素以上）、及び参照画像が異なる場合にはフィルタ処理を行い、それ以外ではフィルタ処理を行わない。

　以上の構成によれば、動画像符号化装置２Ａでは、既存のデブロッキングフィルタの一部機能を流用することにより、可変長符号化部２２において、平滑化フィルタパラメータおよび平滑化フィルタ使用フラグを符号化しなくても済む。また、動画像復号装置１Ａでは、平滑化フィルタパラメータおよび平滑化フィルタ使用フラグを復号化しなくても、デブロッキングフィルタによる適応的な平滑化を行うことができる。

　また、従来のデブロッキングフィルタの構成の一部を流用するので、平滑化フィルタ２６Ａおよび平滑化フィルタ１７Ａを全くの新規には開発しなくても済み、装置構成を簡素化することができるという利点がある。

　〔実施形態３〕
　本発明のさらに別の実施形態について図１０～図１４を参照して説明すると以下のとおりである。なお、以上の実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

　図１１および図１０を用いて、本実施形態に係る動画像符号化装置（画像符号化装置）２Ｂおよび動画像復号装置（画像復号装置）１Ｂの概要について説明する。図１１は、動画像符号化装置２Ｂの概略的構成を示すブロック図であり、図１０は、動画像復号装置１Ｂの概略的構成を示すブロック図である。

　図２に示した動画像符号化装置２および図１に示した動画像復号装置１では、予測画像を平滑化処理の対象としていたのに対して、以下に説明する動画像符号化装置２Ｂおよび動画像復号装置１Ｂでは、予測残差を平滑化処理の対象としている。

　まず、図１１を参照しながら、動画像符号化装置２Ｂについて説明すると次のとおりである。

　図１１に示すように、動画像符号化装置２Ｂは、図２で示した動画像符号化装置２と比較すると、平滑化フィルタの設置位置が異なる。

　すなわち、動画像符号化装置２では、平滑化フィルタ２６を、予測処理部２５および減算器２８の間に設けていたのに対して、動画像符号化装置２Ｂでは、平滑化フィルタ（平滑化手段）２６Ｂを、減算器２８および変換・量子化部２１の間に設けている。このような構成より、動画像符号化装置２Ｂは、減算器２８から供給される予測残差Ｄを平滑化処理する。

　また、動画像符号化装置２Ｂでは、可変長符号化部２２に替えて、可変長符号化部２２Ｂを設け、デブロッキングフィルタ２７に替えて、デブロッキングフィルタ２７Ｂを設けている。

　なお、これに伴い、予測処理部２５は、予測画像Ｐｒｅｄを減算器２８に供給するよう構成変更している。

　以下、動画像符号化装置２Ｂと、動画像符号化装置２との相違点である平滑化フィルタ２６Ｂ、可変長符号化部２２Ｂ、およびデブロッキングフィルタ２７Ｂについて説明する。

　平滑化フィルタ２６Ｂは、減算器２８から供給される予測残差Ｄにおいて、変換単位の内部に予測単位の境界が含まれる場合、当該境界周辺に現れる段差を適応的に平滑化するフィルタである。すなわち、平滑化フィルタ２６Ｂは、上記段差が所定以上の値を示すときに平滑化処理を施す。

　また、平滑化フィルタ２６Ｂは、平滑化処理を施した平滑化後予測残差Ｆ＿Ｄを変換・量子化部２１に供給する。また、平滑化フィルタ２６Ｂは、当該変換単位において予測残差にフィルタを使用したことを示す予測残差フィルタ使用フラグを可変長符号化部２２Ｂおよびデブロッキングフィルタ２７Ｂに送信する。なお、これに限られず、平滑化フィルタ２６Ｂは、変換単位ごとにではなく、いくつかの変換単位をひとまとめにした変換単位の集合ごとに予測残差フィルタ使用フラグを生成してもよい。

　可変長符号化部２２Ｂは、変換・量子化部２１から供給された量子化予測残差ＱＤ及びΔｑｐを、予測処理部２５から供給された予測パラメータＰＰおよび予測単位指定情報ＰＴに加えて、さらに平滑化フィルタ２６Ｂから供給される予測残差フィルタ使用フラグを共に可変長符号化することによって、符号化データ＃１Ｂを生成する。

　デブロッキングフィルタ２７Ｂは、デブロッキングフィルタ２７と同様、デブロッキングフィルタ処理を施すものである。デブロッキングフィルタ２７との違いは、デブロッキングフィルタ２７Ｂが、予測残差フィルタ使用フラグによりフィルタ対象範囲・強度を制御する点にある。デブロッキングフィルタ２７Ｂの動作の詳細については後述する。

　次に、図１０を参照しながら、動画像復号装置１Ｂについて説明すると次のとおりである。同図に示すように、動画像復号装置１Ｂは、図１で示した動画像復号装置１において、可変長符号復号部１３に替えて、可変長符号復号部１３Ｂを設け、デブロッキングフィルタ１８に替えて、デブロッキングフィルタ（復号画像平滑化手段）１８Ｂを設け、さらに動画像復号装置１が備えていた平滑化フィルタ１７を取り除いたものである。

　なお、これに伴い、予測処理部１６は、予測画像Ｐｒｅｄを加算器１５に供給するよう構成変更している。

　以下、動画像復号装置１Ｂと、動画像復号装置１との相違点である可変長符号復号部１３Ｂおよびデブロッキングフィルタ１８Ｂについて説明する。

　可変長符号復号部１３Ｂは、符号化データ＃１Ｂから、マクロブロックタイプＭＢＴ、各予測単位に関する予測パラメータＰＰ、各ブロックに関する量子化予測残差ＱＤ、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δｑｐに加えて、予測残差フィルタ使用パラメータを復号する。

　可変長符号復号部１３Ｂは、予測残差フィルタ使用パラメータ、予測単位指定情報ＰＴおよび変換単位指定情報ＴＴをデブロッキングフィルタ１８Ｂに供給する。可変長符号復号部１３Ｂが予測処理部１６および逆量子化・逆変換部１４に供給するパラメータについては、可変長符号復号部１３と同様である。

　デブロッキングフィルタ１８Ｂは、デブロッキングフィルタ１８と同様、デブロッキングフィルタ処理を施すものである。デブロッキングフィルタ１８との違いは、デブロッキングフィルタ１８Ｂが、予測残差フィルタ使用フラグによりフィルタ対象範囲・強度を制御する点にある。デブロッキングフィルタ１８Ｂの動作の詳細については後述する。

　　（平滑フィルタおよびデブロッキングフィルタについて）
　ここで、図１２を用いて、平滑化フィルタ２６Ｂが、図５で示したような予測残差のレベル差をどのように処理するかについて説明する。

　図１２は、図４の（ｃ）で示したように変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフである。同図の（ａ）は、原画像および予測画像の輝度値について示したグラフであり、同図の（ｂ）は、原画像および予測画像の予測残差を示すグラフである。

　図１２の（ａ）の符号Ｃ５は、図５の（ａ）の符号Ｃ１で示したように、予測単位の境界ＢＰＵの前後にかけて、すなわち、符号Ｃ５にて示す箇所において、原画像および予測画像の間で大きなレベル差が現れていることを示している。

　平滑化フィルタ２６Ｂは、図５の（ｂ）の符号Ｃ２で示したような急峻な段差が現れている箇所に対して平滑化処理を行う。これにより、予測残差のグラフでは、図５の（ｂ）の符号Ｃ２に示したようなレベル差は、図１２の（ｂ）の符号Ｃ６に示すようになだらかになる。

　ところで、平滑化フィルタ２６Ｂは、予測残差を平滑化しているため、予測画像Ｐｒｅｄおよび予測残差Ｄから復号画像Ｐを得る際、平滑化した分だけ原画像の再現性が低下する。予測残差を平滑化した場合の原画像、予測画像、および復号画像の関係について図１３を用いて説明すれば次のとおりである。

　この場合、図１３に示すように、予測単位の境界ＢＰＵ近傍において、符号Ｃ７に示すように、復号画像の輝度値が所望の輝度値にならないことがある。符号Ｃ７に示す箇所では、予測残差を平滑化した分、復号画像の輝度値が低下しており、このため復号画像のグラフが段差を生じている。この段差の深さが再現性の低下につながり、復号画像では、このような段差が歪みとして現れる。

　動画像符号化装置２Ｂのデブロッキングフィルタ２７Ｂおよび動画像復号装置１Ｂのデブロッキングフィルタ１８Ｂでは、この段差を適応的に補正するため予測残差フィルタ使用フラグを用いる。

　例えば、デブロッキングフィルタ１８Ｂおよび２７Ｂは、予測残差フィルタ使用フラグに基づいて予測残差においてフィルタを適用された箇所を特定すると、特定した箇所には強い強度のフィルタをかける。

　このようにデブロッキングフィルタ１８Ｂおよび２７Ｂが予測残差フィルタ使用フラグに基づいてデブロッキングフィルタ処理を行うことで、図１３に示したグラフを、図１４に示すグラフのように補正することができる。

　すなわち、予測残差フィルタ使用フラグに基づいて、予測単位の境界ＢＰＵ近傍で予測残差が平滑化処理されたことを特定し、特定した箇所に強い強度のフィルタをかけることにより、図１４で符号Ｃ８にて示す箇所のように、図１３の復号画像のグラフに見られた段差（符号Ｃ７で示した箇所）をなだらかにすることができる。これにより、復号画像に含まれる歪みを軽減することができる。

　　（作用・効果）
　以上に示したように、動画像復号装置１Ｂは、符号化データ＃１Ｂから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Ｄに変換し、予測単位ごとに生成した予測画像Ｐｒｅｄに予測残差を加算することにより復号画像Ｐを生成する動画像復号装置１Ｂにおいて、復号画像Ｐを平滑化するデブロッキングフィルタ１８Ｂであって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するデブロッキングフィルタ１８Ｂを備える構成である。

　また、以上に示したように、動画像符号化装置２Ｂは、入力された動画像＃１０から、予測単位ごとに生成した予測画像Ｐｒｅｄを減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する動画像符号化装置２Ｂにおいて、予測残差Ｄを平滑化する平滑化フィルタ２６Ｂであって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ２６Ｂを備えており、平滑化フィルタ２６Ｂが平滑化処理を施した平滑化後予測残差Ｆ＿Ｄを変換して、符号化する構成である。

　　（変形例）
　上述の動画像符号化装置２Ｂが備える平滑化フィルタ２６Ｂは、なお、平滑化フィルタ２６Ｂには、任意の平滑化フィルタを用いることができる。また、平滑化フィルタ２６Ｂは、Ｈ．２６４／ＡＶＣのデブロッキングフィルタが備える機能の一部を流用して構成することができる。流用の手法は、図９を用いて示した平滑化フィルタ２６Ａの場合と同様であるので、その説明を省略する。

　〔実施形態４〕
　本発明のさらに別の実施形態について図１５および図１６を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

　図１６および図１５を用いて、本実施形態に係る動画像符号化装置（画像符号化装置）２Ｃおよび動画像復号装置（画像復号装置）１Ｃの概要について説明する。図１６は、動画像符号化装置２Ｃの概略的構成を示すブロック図であり、図１５は、動画像復号装置１Ｃの概略的構成を示すブロック図である。

　図１１を用いて示した動画像符号化装置２Ｂおよび図１０を用いて示した動画像復号装置１Ｂとの違いは、動画像符号化装置２Ｃおよび動画像復号装置１Ｃでは、予測残差を平滑化処理することにより生じる段差を補正するためのフィルタをデブロッキングフィルタとは別に設ける点にある。

　まず、図１６を参照しながら、動画像符号化装置２Ｃについて説明すると次のとおりである。

　図１６に示すように、動画像符号化装置２Ｃは、図１１を用いて示した動画像符号化装置２Ｂにおいて、逆量子化・逆変換部２３および加算器（復号画像生成手段）２９の間に、エッジ強調フィルタ３０を追加するとともに、デブロッキングフィルタ２７Ｂを、デブロッキングフィルタ２７に変更した構成である。

　なお、これに伴い、平滑化フィルタ２６Ｂは、可変長符号化部２２Ｂおよびエッジ強調フィルタ３０に予測残差フィルタ使用フラグを供給するよう構成変更し、逆量子化・逆変換部２３は、エッジ強調フィルタ３０に予測残差Ｄを供給するよう構成変更している。

　以下、エッジ強調フィルタ３０について説明すると次のとおりである。すなわち、エッジ強調フィルタ３０は、平滑化フィルタ２６Ｂから予測残差フィルタ使用フラグを取得して、逆量子化・逆変換部２３から供給される予測残差Ｄに対して、予測残差フィルタ使用フラグに基づきエッジ強調処理を施す。エッジ強調フィルタ３０が施すエッジ強調処理には、任意のエッジ強調フィルタを用いることができる。

　また、エッジ強調フィルタ３０は、エッジ強調処理を施した予測残差Ｓ＿Ｄを加算器２９に供給する。

　次に、図１５を参照しながら、動画像復号装置１Ｃについて説明すると次のとおりである。

　図１５に示すように、動画像復号装置１Ｃは、図１０を用いて示した動画像復号装置１Ｂにおいて、逆量子化・逆変換部１４および加算器１５の間に、エッジ強調フィルタ（エッジ強調手段）１９を追加するとともに、デブロッキングフィルタ１８Ｂをデブロッキングフィルタ１８に変更した構成である。なお、これに伴い、逆量子化・逆変換部１４は、予測残差Ｄをエッジ強調フィルタ１９に供給するよう構成変更し、可変長符号復号部１３Ｂは、エッジ強調フィルタ１９に予測残差フィルタ使用フラグを供給するよう構成変更している。

　以下、エッジ強調フィルタ１９について説明すれば次のとおりである。すなわち、エッジ強調フィルタ１９は、可変長符号復号部１３Ｂから、予測残差フィルタ使用フラグを取得して、逆量子化・逆変換部１４から供給される予測残差Ｄに対して、取得した予測残差フィルタ使用フラグに基づいてエッジ強調処理を施す。エッジ強調フィルタ１９が施すエッジ強調処理には、任意のエッジ強調フィルタを用いることができる。

　また、エッジ強調フィルタ１９は、エッジ強調処理を施した予測残差Ｓ＿Ｄを加算器１５に供給する。

　　（作用・効果）
　以上に示したように、動画像復号装置１Ｃは、符号化データ＃１Ｂから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Ｄに変換し、予測単位ごとに生成した予測画像Ｐｒｅｄに予測残差Ｄを加算することにより復号画像Ｐを生成する動画像復号装置１Ｃにおいて、予測残差Ｄに対してエッジ強調処理を施すエッジ強調フィルタ１９であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調フィルタ１９を備え、復号画像Ｐの生成において、予測画像Ｐｒｅｄに、上記エッジ強調処理を施した予測残差Ｄ（すなわち、予測残差Ｓ＿Ｄ）を加算する構成である。

　よって、エッジ強調処理を施した予測残差Ｄ（すなわち、予測残差Ｓ＿Ｄ）から復号画像Ｐを生成する場合、復号画像Ｐにおいて、上記境界近傍に生じ得る歪みを軽減することができる。

　〔フィルタの変形例〕
　本発明の好ましいフィルタの変形例について図１７～図１９を参照して説明すると以下のとおりである。以下に示す変形例は、上記各実施形態について好ましく適用可能である。より具体的には、以下に示す変形例は、上記の平滑化フィルタ１７、１７Ａ、平滑化フィルタ２６、２６Ａ、２６Ｂをはじめ、変換単位の内部に予測単位の境界が含まれるとき、当該境界を平滑化するフィルタ（以下において、平滑化フィルタ１７等と称する）に適用することができる。

　なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。

　　（変換単位のサイズに応じたフィルタ処理）
　平滑化フィルタ１７等は、処理単位、すなわち予測単位または変換単位のサイズに応じて適応的にフィルタ処理を行ってもよい。

　平滑化フィルタ１７等は、このように処理単位に応じて適応的にフィルタ処理を行うことで、処理単位の境界の近傍または境界を越えてフィルタの適用範囲が広がったり、過度に強い強度のフィルタが適用されたりすることを防ぐ。これによりフィルタの影響によって符号化効率が低下することを防ぐことができる。

　平滑化フィルタ１７等は、具体的には、変換単位のサイズが所定サイズより小さい場合、予測単位のサイズが所定サイズより小さい場合、および、予測単位のサイズが変換単位のサイズよりも小さい場合のいずれかの場合に、次のようなフィルタ制御を行う。すなわち、このような場合、平滑化フィルタ１７等は、フィルタをＯＦＦにする、フィルタの強度を弱くする、またはタップ数を減少するといったフィルタ制御を行う。

　なお、このようなフィルタ制御は、基本的には、より小さな処理単位に対してはより小さなフィルタをかけるという発想に基づく。これは、より小さな処理単位に対して、より大きなタップ数のフィルタ、すなわち、より複雑な処理のフィルタをかけることは、処理量の増加につながるためである。よって、フィルタ処理の範囲を直接的に変更することが好ましく、タップ数を制御することが特に望ましい。

　　（隣接する予測単位の特性に応じたフィルタ処理）
　隣接する予測単位の特性が、それぞれ特定の条件に該当する場合、あるいは特定の組み合わせとなっている場合、予測画像において歪みが生じやすくなる。

　そこで、平滑化フィルタ１７等は、変換単位の内部に、予測単位の境界が含まれる場合において、隣接する予測単位の特性に応じて適応的にフィルタ処理を行ってもよい。

　すなわち、平滑化フィルタ１７等は、隣接する予測単位の特性から歪みが生じやすい箇所を判定し、判定の結果、予測画像において歪みが生じやすいと判定された箇所については、歪みを軽減できるようにフィルタを制御する。

　境界における歪みが生じやすい場合としては、例えば、隣接する予測単位が、それぞれイントラ予測を行う領域である場合であって、予測方向が両者において大きく異なるようなときが挙げられる。例えば、両者のイントラ予測の予測方向が直交するまたは略直交するようなときがこれに該当する。

　このようなとき、平滑化フィルタ１７等は、双方の予測単位において、フィルタをＯＮにする、フィルタの強度を強くする、またはタップ数を増加させるといった制御を行う。これにより、歪みに対するフィルタ効果を向上させることができる。

　一方、判定の結果、予測画像において歪みが生じやすいと判定されなかった箇所については、境界における歪みが少ないと考えられる。

　例えば、隣接する予測単位が、それぞれイントラ予測を行う領域である場合であって、両者の予測方向のなす角が所定の範囲にあるとき、すなわち両者の予測方向のなす角がそれほど大きくないようなときが挙げられる。

　このような箇所については、平滑化フィルタ１７等は、境界ＢＰＵ２近傍の領域において、フィルタをＯＦＦにする、フィルタの強度を弱くする、またはタップ数を減少させるといった制御を行う。これにより、過度にフィルタの影響が及ぶことを防ぐことができる。

　図１７を用いて、具体的な事例について説明する。図１７は、変換単位の内部に、予測単位の境界が含まれている変換単位について示す図である。

　図１７に示すように、変換単位ＴＵの内部には、４つの予測単位ＰＵ１～ＰＵ４が含まれる。予測単位ＰＵ１～ＰＵ４では、イントラ予測を行う。そして、予測単位ＰＵ１は、予測単位ＰＵ２と水平方向に隣接し、予測単位ＰＵ３と垂直方向に隣接している。また、予測単位ＰＵ２は、予測単位ＰＵ４と垂直方向に隣接しており、予測単位ＰＵ３は、予測単位ＰＵ４と水平方向に隣接している。

　予測単位ＰＵ１および予測単位ＰＵ２と、予測単位ＰＵ３および予測単位ＰＵ４との間の水平方向の境界を境界ＢＰＵ１とし、予測単位ＰＵ１および予測単位ＰＵ３と、予測単位ＰＵ２および予測単位ＰＵ４との間の垂直方向の境界を境界ＢＰＵ２とする。

　ここで、予測単位ＰＵ１の予測方向は、略垂直方向であり、予測単位ＰＵ２の予測方向は、垂直方向である。また、予測単位ＰＵ３の予測方向は、略水平方向であり、予測単位ＰＵ４の予測方向は、水平方向である。

　予測単位ＰＵ１および予測単位ＰＵ２は、両者の予測方向のなす角がそれほど大きくない。また、予測単位ＰＵ３および予測単位ＰＵ４も、両者の予測方向のなす角はそれほど大きくない。よって、これらの境界ＢＰＵ２では、境界における歪みが少ないと考えられる。このため、平滑化フィルタ１７等は、境界ＢＰＵ２に対しては、フィルタをＯＦＦにする等の制御を行う。

　一方、予測単位ＰＵ１および予測単位ＰＵ３については、予測単位ＰＵ１の予測方向が略垂直方向であるのに対し、予測単位ＰＵ３の予測方向が略水平方向であるので、両者の予測方向のなす角が大きく異なる。

　また、予測単位ＰＵ２および予測単位ＰＵ４についても、予測単位ＰＵ２の予測方向が垂直方向であるのに対し、予測単位ＰＵ４の予測方向が水平方向であるので、両者の予測方向のなす角が大きく異なる。

　よって、これらの境界ＢＰＵ１は、境界における歪みが生じやすい場所と考えられる。このため、平滑化フィルタ１７等は、境界ＢＰＵ１の周辺領域Ｒ２において、フィルタをＯＮにする等の制御を行う。

　また、他にも、隣接する予測単位のいずれか一方がイントラ予測を行う領域であり、所定の予測モードあるいは予測方向の場合、例えば、境界に対して直交または略直交する予測方向である場合には、境界における歪みが生じやすい箇所と考えられる。

　このような箇所について、平滑化フィルタ１７等は、フィルタをＯＮにする等の制御を行う。

　このように、変換単位の内部に、予測単位の境界が含まれる場合において、隣接する予測単位の特性に応じて適用的にフィルタ処理を行うことで、歪みを低減することができる。

　　（予測単位の境界と変換単位の境界との位置関係に応じたフィルタ処理）
　また、平滑化フィルタ１７等は、予測単位の境界と変換単位の境界との位置関係に応じて適応的にフィルタ処理を行ってもよい。

　平滑化フィルタ１７等は、例えば、予測単位の境界が、変換単位の端部にある場合、タップ数を減じて、フィルタを適用する領域が、当該変換単位をはみださないようにする。

　また、平滑化フィルタ１７等は、例えば、予測単位の境界が、変換単位において、水平または垂直でない場合、傾きに応じたフィルタを適用する。これにより、フィルタの効果の向上を図ることができる。

　図１８を用いて、具体的な事例について説明すると次のとおりである。図１８は、変換単位の内部に、予測単位の境界が含まれている変換単位について示す図であり、（ａ）は、予測単位の境界が、変換単位の端部にある場合について示しており、（ｂ）は、予測単位の境界が、変換単位において、水平または垂直でない場合について示している。

　図１８の（ａ）では、変換単位ＴＵ１１には、予測単位ＰＵ１１およびＰＵ１２が含まれており、予測単位ＰＵ１１およびＰＵ１２の間における境界ＢＰＵ３が、変換単位ＴＵ１１の端部Ｅ１に含まれる位置関係にある。ここで端部Ｅ１は、例示的に、変換単位ＴＵ１１の外周からの距離が、変換単位ＴＵ１１の一辺の長さの１／４より小さい位置にある部分である。

　平滑化フィルタ１７等は、このような境界ＢＰＵ３近傍の領域Ｒ１１おいて、フィルタをＯＦＦにする、フィルタの強度を弱くする、またはタップ数を減少させるといった制御を行う。

　また、これに対して、図示はしていないが予測単位の境界ＢＰＵ３が変換単位ＴＵ１１の端部Ｅ１に含まれない位置関係にある場合には、平滑化フィルタ１７等は、このような境界ＢＰＵ３近傍の領域Ｒ１１おいて、フィルタをＯＮにする、フィルタの強度を強くする、またはタップ数を増加させるといった制御を行ってもよい。

　他にも、平滑化フィルタ１７等は、予測単位の境界が変換単位ＴＵ１１の中央部を通る位置関係にある場合や、予測単位の境界が変換単位ＴＵ１１の中心点との距離が所定の閾値未満である場合に、上記の制御を行ってもかまわない。

　また、図１８の（ｂ）では、変換単位ＴＵ２１には、予測単位ＰＵ２１およびＰＵ２２が含まれている。予測単位ＰＵ２１および予測単位ＰＵ２２は、正方形ではなく、台形である。このため、予測単位ＰＵ２１および予測単位ＰＵ２２の間における境界ＢＰＵ４は、変換単位ＴＵ２１を斜めに横切っており、変換単位ＴＵ２１において水平または垂直ではない。

　平滑化フィルタ１７等は、このような境界ＢＰＵ４近傍の領域Ｒ２１において、境界ＢＰＵ４の傾きに応じたフィルタを適用する。

　ここで、図１９を用いて境界ＢＰＵ４の傾きに応じたフィルタの例について説明すると次のとおりである。図１９は、境界ＢＰＵ４の傾きに応じたフィルタの例について示す図である。同図の（ａ）は、水平な境界用のフィルタの例であり、同図の（ｂ）は、傾きが４５度の境界用のフィルタの例である。

　図１９の（ａ）に示すように水平な境界用のフィルタＦＩＬ１は、１×５画素の形をしている。つまりフィルタＦＩＬ１は、垂直方向に５つの係数をもつ。平滑化フィルタ１７等は、フィルタＦＩＬ１の原点Ｘ１に注目画素をあわせて、フィルタ処理を行う。

　また、図１９の（ｂ）に示すように４５度の境界用のフィルタＦＩＬ２は、左から右にかけて右斜め上に並んだ５画素分の係数をもつ。平滑化フィルタ１７等は、フィルタＦＩＬ１の原点Ｘ２に注目画素をあわせて、フィルタ処理を行う。

　このように、平滑化フィルタ１７等は、境界の傾きに応じたフィルタは、境界に対して直交または略直交する方向に平滑化処理を施すようなフィルタを選択する。これにより、フィルタの効果を向上させることができる。

　（付記事項１）
　なお、上記実施形態における、マクロブロックは、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣの後継規格として提案されているＨＥＶＣ（High Efficiency Video Coding）のＬＣＵ（最大コーディングユニット：Largest Coding Unit、コーディングツリー（Coding Tree）のrootと呼ばれることもある）に相当し、マクロブロックおよびブロックは、ＨＥＶＣのＣＵ（コーディングユニット：Coding Unit、コーディングツリーのleafと呼ばれることもある）、ＰＵ（Prediction Unit）、またはＴＵ（Transformation Unit）に相当するものである。

　　（付記事項２）
　以上のように、本発明に係る画像復号装置は、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする。

　本発明に係る画像復号装置では、上記平滑化手段は、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。

　上記構成によれば、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定するので、変換単位のサイズまたは予測単位のサイズに合わせたフィルタの調整を行うことができる。

　例えば、変換単位のサイズまたは予測単位のサイズが所定サイズよりも小さい場合、または、予測単位のサイズが変換単位のサイズよりも小さい場合、フィルタの強度を弱めたり、タップ数を減少させたりする。なお、フィルタの強度を弱めることには、フィルタの強度をゼロにして、フィルタをオフにすることが含まれる。

　このように、フィルタの調整を行うことにより、境界近傍においてフィルタが広がりすぎたり、強まりすぎたりして、符号化効率が低下してしまうことを防ぐことができる。

　本発明に係る画像復号装置では、上記平滑化手段は、隣接する２つの予測単位がイントラ予測を行う領域であるとき、該２つの予測単位に割り当てられる予測モードの組み合わせに応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。

　上記構成によれば、変換単位の内部に含まれる複数の予測単位のうち、隣接する２つの予測単位がイントラ予測を行う領域であるときには、それぞれの領域における予測モードの組み合わせに応じてフィルタを調整することができる。

　隣接する２つの予測単位において予測モードが異なる場合、これに起因して予測単位の境界付近で歪みが生じることがある。

　予測モードの例としては、ＤＣ予測、プレーン予測、方向予測などが挙げられる。

　例えば、方向予測の場合、２つの予測方向が異なる場合、２つの予測方向が同じ場合よりも、予測モードの性質が異なるため、上述の歪みが生じやすい。２つの予測方向がなす角度が大きくなればなるほど、この歪みは大きくなる傾向がある。

　上記構成によれば、例えば、一方の予測単位における予測方向と他方の予測単位における予測方向とのなす角が異なるような場合、平滑化処理をオンにする、平滑化処理の強度を強める、タップ数を増加させるといったフィルタ調整をすることができるので、このような歪みを低減することができる。

　一方、２つの予測方向がそれほど大きく異ならない場合、２つの予測方向が異なる場合よりも、フィルタ処理の必要性は低下するので、平滑化処理の強度を弱めたり、タップ数を減少させたりすることができる。またこのような場合には、平滑化処理をオフにすることも考えられる。

　このように、上記構成によれば、歪みが生じやすいような関係にある領域の境界に対して、適切な平滑化処理を行うことができるという効果を奏する。

　本発明に係る画像復号装置では、上記平滑化手段は、上記変換単位の内部における予測単位の境界の位置に応じて平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。

　上記構成によれば、予測単位の境界が、変換単位の内部において所定の位置にある場合、これに応じた適切な平滑化処理を行うことができる。

　例えば、予測単位の境界が、変換単位の端のほうにある場合、強いフィルタ、広範囲のフィルタをかけてしまうと、当該変換単位を越えてフィルタをかけてしまうことになりかねない。

　上記構成によれば、このような場合にも、適切なフィルタを選択することができるので、過度に平滑化処理をかけてしまうことを防ぐことができる。

　本発明に係る画像復号装置では、上記平滑化手段は、上記変換単位の内部における予測単位の境界の方向に応じてフィルタが作用する領域の形状を決定することが好ましい。

　上記構成によれば、予測単位の境界が、変換単位の内部において所定の角度にある場合、これに応じたフィルタの形状で適切な平滑化処理を行うことができる。

　予測単位の境界が、変換単位の内部において、水平または垂直に変換単位の境界を横切らないようなものであるとき、変換単位の内部において予測単位の境界がなす角度に応じたフィルタを選択することが好ましい。

　上記構成によれば、このような場合にも、適切なフィルタを選択することができるので、フィルタの効果を向上させることができる。

　本発明に係る画像符号化装置では、上記予測画像に、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段と、上記復号画像平滑化手段が平滑化した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることが好ましい。

　上記画像符号化装置は、予測残差を平滑化するため、原画像の再現性が低下する場合がある。つまり、予測画像と、予測残差とから復号画像を生成するときに、予測残差を平滑化した分、復号画像において歪みが生じる場合がある。

　上記構成によれば、復号画像を生成したとき、当該復号画像に対して、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を施すことができる。

　このように復号画像を平滑化することで、復号画像において上記境界付近に生じ得る歪みを軽減することができるという効果を奏する。

　本発明に係る画像符号化装置では、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対して、エッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段と、
　上記予測画像に、上記エッジ強調手段よりエッジ強調処理が施された上記空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段が生成した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることが好ましい。

　上記構成は、上述の復号画像に生じ得る歪みに対応する。すなわち、上記構成によれば、復号画像を生成するときに、上記予測残差に対して、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用するエッジ強調処理を施し、予測画像と加算することにより復号画像を生成する。

　このように、予測画像と、エッジ強調処理を施した予測残差とを加算することにより復号画像を生成することで、平滑化により丸められた予測残差を補うことができる。このため、平滑化された予測残差から復号画像を生成する場合、復号画像において上記境界付近に生じ得る歪みを軽減することができるという効果を奏する。

　　（付記事項３）
　なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　最後に、上述した動画像復号装置１、１Ａ、１Ｂ、１Ｃおよび動画像符号化装置２、２Ａ、２Ｂ、２Ｃの各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ／ブルーレイ・ディスク（登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

　本発明は、動画像を符号化する動画像符号化装置、符号化された動画像を復号する動画像復号装置を備える動画像処理システムにおいて好適に利用することができる。

　１、１Ａ、１Ｂ、１Ｃ　動画像復号装置（画像復号装置）
　２、２Ａ、２Ｂ、２Ｃ　動画像符号化装置（画像符号化装置）
　１７、１７Ａ　　　　　平滑化フィルタ（平滑化手段）
　１８Ｂ　　　　　　　　　デブロッキングフィルタ（復号画像平滑化手段）
　１９　　　　　　　　　エッジ強調フィルタ（エッジ強調手段）
　２５　　　　　　　　　予測処理部（予測画像生成手段）
　２６、２６Ａ、２６Ｂ　平滑化フィルタ（平滑化手段）
　２９　　　　　　　　　加算器（復号画像生成手段）
　＃１、＃１Ａ、＃１Ｂ　符号化データ
　＃１０　　　　　　　　動画像（原画像）

Claims

　符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
　上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
　上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする画像復号装置。
　上記平滑化手段は、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項１に記載の画像復号装置。
　上記平滑化手段は、隣接する２つの予測単位がイントラ予測を行う領域であるとき、該２つの予測単位に割り当てられる予測モードの組み合わせに応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項１または２に記載の画像復号装置。
　上記平滑化手段は、上記変換単位の内部における予測単位の境界の位置に応じて平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項１から３のいずれか１項に記載の画像復号装置。
　上記平滑化手段は、上記変換単位の内部における予測単位の境界の方向に応じてフィルタが作用する領域の形状を決定することを特徴とする請求項１から４のいずれか１項に記載の画像復号装置。
　符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
　上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備えることを特徴とする画像復号装置。
　符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
　上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、
　上記復号画像の生成において、上記予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算することを特徴とする画像復号装置。
　原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、
　上記予測画像を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
　上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成されることを特徴とする画像符号化装置。
　原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、
　上記空間領域上の予測残差を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
　上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化することを特徴とする画像符号化装置。
　上記予測画像に、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、
　上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段と、
　上記復号画像平滑化手段が平滑化した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることを特徴とする請求項９に記載の画像符号化装置。
　上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対して、エッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段と、
　上記予測画像に、上記エッジ強調手段よりエッジ強調処理が施された上記空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、
　上記復号画像生成手段が生成した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることを特徴とする請求項９に記載の画像符号化装置。