JPWO2011070698A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

Abstract

デブロッキングフィルタ処理部３０が復号信号１３から第１の加工復号画像信号３１を生成し、鮮鋭化フィルタ部３２で第２の加工復号画像信号３３にする。ウィーナフィルタ設計部３４が、第１，第２の加工復号画像信号３１，３３に基づいてそれぞれ第１，第２のウィーナフィルタ係数３５，３６を設計する。ウィーナフィルタ処理部３７は、第１のウィーナフィルタ係数３５のウィーナフィルタ処理を施した第１の加工復号画像信号３１か、第１，第２のウィーナフィルタ係数３５，３６のウィーナフィルタ処理を施した第２の加工復号画像信号３３か、フィルタ処理なしの第１の加工復号画像信号３１のいずれかを、参照画像信号１５とする。

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を行った後、生成した予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行う。この際、圧縮率が高くなると、動き補償予測のために用いる予測参照画像の品質が低下することに起因して圧縮効率が妨げられるという問題がある。そのため、ＭＰＲＧ−４ ＡＶＣ／Ｈ．２６４符号化方式（非特許文献１参照）では、直交変換係数の量子化に伴って発生するブロックひずみを除去した後、予測参照画像として利用するループ内デブロッキングフィルタの処理が採用されている。

図１５は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２において、輝度信号に基づいて１６画素×１６ラインの矩形画像領域に対応するマクロブロックの単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。

予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。

圧縮部１００６は、予測誤差信号１００５に対して、ＤＣＴ（離散コサイン変換）処理を施して隣接画素間の信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されると共に、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。

この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４で符号化ひずみを緩和するフィルタ処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

非特許文献１のループフィルタ１０１４では、非特許文献２に開示されるブロックひずみ除去フィルタの処理が行われる。この処理は、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、ブロック境界に発生するひずみの低減を図るものである。これによって、上述したように、参照画像信号１０１５の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。

一方、この方式では、ＤＣＴ変換のブロックサイズが小さい場合、圧縮率が高くなると画面全体が過度に平滑化され、映像がぼやけてしまうという問題がある。この問題を解決するために、非特許文献３では、ループフィルタ１０１４にウィーナフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）を適用して、原画像信号である入力映像信号１００１とこれに対応する参照画像信号１０１５との二乗誤差ひずみを最小化するようにループフィルタ１０１４を構成する技術が提案されている。

図１６は、非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。図１６において、信号ｓは、符号化装置への入力映像信号１００１に相当する信号であり、信号ｓ’は、復号信号１０１３、または復号信号１０１３に対して非特許文献２のループフィルタ処理（ブロックひずみ除去処理）を施した信号に相当する信号である。つまり、信号ｓ’は、信号ｓに符号化雑音ｅが重畳された信号である。ウィーナフィルタは、この符号化雑音ｅを二乗誤差ひずみの規範で最小化するように信号ｓ’に対して施されるフィルタとして定義され、一般に、信号ｓ’の自己相関行列Ｒ_s's'と、信号ｓ，ｓ’の相互相関行列Ｒ_ss'とによって、下式（１）からフィルタ係数ｗを求めることができる。行列Ｒ_s's'，Ｒ_ss'の大きさは求められるフィルタタップ数に対応する。

フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、参照画像信号１０１５に相当する信号として得られる。

MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 P.List, A.Joch, J.Lainema, G.Bjontegaard, G.Karczewicz,"Adaptive Deblocking Filter", IEEE Transaction on Circuits and Systems for Video Technology, vol.13, no.7, July 2003 T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage,"Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 meeting, July 2008

上述したようにウィーナフィルタをループフィルタに適用する場合、復号装置側でも符号化装置と等価なループフィルタ処理を実行しなければならないが、復号装置では信号ｓは既知ではないため、求めたフィルタ係数ｗを符号化してビットストリームに多重し、復号装置に伝達しなければならない。
非特許文献３では、複数種類のタップ数のフィルタ係数ｗを映像フレーム全体で求め、フィルタ係数ｗの符号量とフィルタ処理実施後の雑音（ｅ’＝ｓハット−ｓ）がレートひずみ規範で最適となるタップ数のフィルタを特定した後、さらに信号ｓ’を複数サイズのブロックに分割し、ブロックごとに求めたウィーナフィルタを適用するか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロックごとに伝送する。これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して予測画像品質を改善することができる。

しかしながら、非特許文献３の手法では、フィルタ係数ｗの決定がフレーム単位で行われるので、本来局所的な信号の性質に応じて変化すべき係数へのローカライズを行うことができない。このため、品質改善性能に限界がある。

この発明は、上記のような課題を解決するためになされたもので、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、最適性を高めた画像符号化装置およびその方法、並びに画像復号装置およびその方法を提供することを目的とする。

この発明に係る画像符号化装置は、局所復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理部と、局所復号画像の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第２の加工復号画像を生成する鮮鋭化フィルタ処理部と、第１の加工復号画像に基づいて第１のウィーナフィルタ係数を設計し、第２の加工復号画像に基づいて第２のウィーナフィルタ係数を設計するウィーナフィルタ設計部と、第１の加工復号画像および第２の加工復号画像のうち少なくとも一方に対して、第１のウィーナフィルタ係数および第２のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理部とを有するようにしたものである。

この発明に係る画像復号装置は、復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理部と、ウィーナフィルタ処理識別情報が第１のウィーナフィルタ処理を行うことを示す場合に、第１の加工復号画像に対してウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第１のウィーナフィルタ処理部と、ウィーナフィルタ処理識別情報が第２のウィーナフィルタ処理を行うことを示す場合に、第１の加工復号画像のうち、デブロッキングフィルタ処理部でデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像を生成し、当該第２の加工復号画像のうち、デブロッキング処理が行われた画素とその他の画素に対して異なるウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第２のウィーナフィルタ処理部とを有するようにしたものである。

この発明に係る画像符号化方法は、局所復号画像を変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理ステップと、局所復号画像の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第２の加工復号画像を生成する鮮鋭化フィルタ処理ステップと、第１の加工復号画像に基づいて第１のウィーナフィルタ係数を設計し、第２の加工復号画像に基づいて第２のウィーナフィルタ係数を設計するウィーナフィルタ設計ステップと、第１の加工復号画像および第２の加工復号画像のうち少なくとも一方に対して、第１のウィーナフィルタ係数および第２のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理ステップとを有するようにしたものである。

この発明に係る画像復号方法は、フィルタステップは、復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理ステップと、ウィーナフィルタ処理識別情報が第１のウィーナフィルタ処理を行うことを示す場合に、第１の加工復号画像に対してウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第１のウィーナフィルタ処理ステップと、ウィーナフィルタ処理識別情報が第２のウィーナフィルタ処理を行うことを示す場合に、第１の加工復号画像のうち、デブロッキングフィルタ処理ステップでデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像を生成し、当該第２の加工復号画像のうち、デブロッキング処理が行われた画素とその他の画素に対して異なるウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第２のウィーナフィルタ処理ステップとを有するようにしたものである。

この発明によれば、局所復号画像にウィーナフィルタ処理を施す場合に、変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第１の加工復号画像を生成すると共に第１のウィーナフィルタ係数を設計し、その他の画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像を生成すると共に第２のウィーナフィルタ係数を設計して、第１の加工復号画像および第２の加工復号画像のうち少なくとも一方に対して第１のウィーナフィルタ係数および第２のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成するようにしたので、ディジタル映像信号の圧縮符号化を行う場合において、映像信号の各フレームの時間変化の特性に対して柔軟に適応する画像符号化装置およびその方法並びに画像復号装置およびその方法を構成することができ、最適な符号化処理を行うことができる。

この発明の実施の形態１に係る画像符号化装置および画像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部による、スライス分割およびＭ_ｍａｘ値指定方法を説明するための図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を示す図である。 図２に示すループフィルタの内部構成を示すブロック図である。 図９に示すウィーナフィルタ処理部の動作を示すフローチャートである。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 図１２に示すループフィルタの内部構造を示すブロック図である。 図１３に示すループフィルタの動作を示すフローチャートである。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。

ここで、図１に、実施の形態１に係る画像符号化装置および画像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間はＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。

以下に説明する画像符号化装置および画像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。

なお、非特許文献１にならい、以降、映像信号の各フレームの符号化データをピクチャと呼ぶ。また、一定枚数のピクチャの集合をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼び、一定枚数のピクチャの集合または一定数のＧＯＰの集合をシーケンスと呼ぶ。以下では特に断らない限り、映像信号はフレームの単位で処理することを前提に説明するが、符号化対象の映像信号がインタレース信号である場合は、１フィールド画像をピクチャとして処理するように構成すれば、本実施の形態１の装置構成を適用して同様の効果を奏することができる。

１．画像符号化装置
図２は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図２に示す画像符号化装置は、４：４：４フォーマットの入力映像フレームをＭ_ｍａｘ×Ｍ_ｍａｘ画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。

まず、符号化対象となる映像信号はピクチャの単位で入力映像信号１として入力され、ブロック分割部２において基準ブロックの単位に分割されて符号化信号３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍ_ｍａｘ×Ｍ_ｍａｘ画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭ_ｍａｘはシーケンス、ＧＯＰ、ピクチャ等の上位レイヤデータレベルで決定・符号化するように構成してもよいし、ピクチャ内において、複数の基準ブロックをまとめた単位として構成するスライスごとに基準ブロックサイズＭ_ｍａｘを変更するように構成してもよい。

基準ブロックデータは、さらにＬ_i×Ｍ_i画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_ｍａｘ／２、Ｍ₀＝Ｍ_ｍａｘ／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_ｍａｘ／２、Ｍ₀＝Ｍ_ｍａｘであり、図３（ａ），（ｂ）ともにＬ₁＝Ｍ₁＝Ｌ₂＝Ｍ₂＝Ｍ_ｍａｘである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックサイズＭ_ｍａｘを変更する場合は、３つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズＬ_i,Ｍ_iそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、ピクチャ、スライス、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズＭ_ｍａｘは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズＬ_i，Ｍ_iを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。

予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号５を得る。予測部４の動作は、本実施の形態１の画像符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対してＤＣＴ等の直交変換・量子化を行い、予測誤差圧縮データ７を可変長符号化部８および局所復号部１０へ出力する。

可変長符号化部８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号（動き予測画像）１２と加算部で加算されて復号信号（局所復号画像）１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。

ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７、量子化パラメータ１９および加工強度制御パラメータ２０を用いて符号化信号３に漸近するように信号補正を行う。このループフィルタ１４の動作は、本実施の形態１の画像符号化装置の特徴であるため、後で詳しく述べる。

非特許文献１の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。

次に、本実施の形態１の予測部４の動作について説明する。
予測部４は、基準ブロックを、各色成分の信号の性質に合わせてＬ_i×Ｍ_i画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌ_i×ｍ_i画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌ_i×ｍ_i画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の画像符号化装置においては、Ｍ_iとｍ_i、Ｌ_iとｌ_iとの間に「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の画像符号化装置では、図４に示す分割形状のパターン（分割パターン）ｍｃ＿ｍｏｄｅ０〜７は３つの色成分に対して共通であるものとする。ただし、分割パターンｍｃ＿ｍｏｄｅ０〜７を３つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では「動き予測モード」と呼ぶこととする。

本実施の形態１の画像符号化装置における図４のアプローチは、まず、１）Ｍ_ｍａｘの値を符号化の条件や映像信号の解像度や性質に基づいてピクチャ、スライス等の上位レベルで変更可能とし、２）Ｍ_ｍａｘ×Ｍ_ｍａｘの画素ブロックを色成分Ｃ_iごとの特性に合わせて基本ブロックＬ_i×Ｍ_i画素へ分割可能とし、３）基本ブロックの分割条件を「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保する。基準ブロックのサイズＭ_ｍａｘの値は隣接する基準ブロックごとに変更せず、ピクチャレベル、スライスレベル、ピクチャ列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭ_ｍａｘ×Ｍ_ｍａｘ画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。

そこで、基準ブロックサイズＭ_ｍａｘの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭ_ｍａｘの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭ_ｍａｘの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。

基準ブロックサイズＭ_ｍａｘの値を決定する方法には、例えば以下のような方法がある。なお、以下（１）〜（４）の方法は、単独で用いても、組み合わせて用いてもよい。
（１） 符号化対象映像の解像度に基づいてシーケンスの単位で決定する。同一Ｍ_ｍａｘ値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭ_ｍａｘ値を大きくして画像信号パターンを捕捉できるようにする。

（２） フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭ_ｍａｘ値で、小さい場合は大きなＭ_ｍａｘ値で、フレームごとにＭ_ｍａｘ値を変化させて動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭ_ｍａｘ値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。

（３） ピクチャの符号化モードに応じて決定する。すべての基準ブロックをイントラ符号化モードで符号化するイントラピクチャでは、主に空間予測を用いるため、Ｍ_ｍａｘ値を小さくして隣接する基準ブロック間の画素相関を高くして予測効率を高めるように設定し、基準ブロックを主としてフレーム間動き補償予測で符号化するインターピクチャでは、Ｍ_ｍａｘ値をイントラピクチャよりも大きくして予測効率を確保しつつ、動きベクトルとして符号化すべきオーバヘッド情報を削減した符号化を行う。

（４） フレーム内の局所的な信号の性質に合わせて、スライス分割の仕方を変化させ、スライス内は一定のＭ_ｍａｘ値、異なるスライス間ではＭ_ｍａｘ値を指定できるように構成する。この例を図５に示す。図５は、予測部４によるスライス分割およびＭ_ｍａｘ値指定方法を説明するための図である。映像中に、動きの激しい被写体領域（例えば人物の顔近辺）と、比較的静止している状態の領域（例えば人物の以外）が存在している場合、動きの激しい領域をスライスＰとして独立なスライスとして構成し、その他の領域をスライスＯ，Ｑとする。予測部４は、スライスＰの領域が細かい動きが多いことから、小さいＭ_ｍａｘ値を割り当てて動きの補足が細かく行えるようにし、他方、残りのスライスＯ，Ｑの領域は大きいＭ_ｍａｘ値を割り当てて、予測効率を大きく損なうことなく、かつ、符号化の際に動きベクトルのオーバヘッド情報を削減できるようにする。フレーム内で図５のようなスライス分割を可能とすることにより、動きを表現する情報へより多くの符号量を配分すべき領域と、動きを表現する情報を極力削減可能な領域とを、画面内で適応配置・決定することが可能となり、結果としてより効率的な符号化を行うことができる。
なお、非特許文献１にも規定されているように、スライスはそれ単独で独立して復号処理が可能となるように、スライス間をまたがる予測・符号化処理の依存性を断ち切って符号化することとする。本実施の形態１では、１つのスライスの内部ではＭ_ｍａｘ値を固定化するため、複数のスライスを並列処理するように構成しても、個々のスライス内では同一Ｍ_ｍａｘ値を維持して処理することができる。そのため、画面内で常に同一のＭ_ｍａｘ値を用いるよりも柔軟な符号配分を可能としながら、簡潔な装置構成でスライス符号化・復号処理を実現できる。

基準ブロックサイズＭ_ｍａｘの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬ_i，Ｍ_iについては輝度信号Ｙ成分のサイズＬ_i，Ｍ_iよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。

これら判断を行った結果として得られる各ブロックサイズＭ_ｍａｘ，Ｌ_i，Ｍ_iの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍ_ｍａｘに対してＬ_i，Ｍ_iを簡易な演算で導出可能な値に設定しておけば、Ｌ_i，Ｍ_iを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
なお、以下の説明においては、すべての色成分のＬ_ｉ，Ｍ_ｉの値が等しい設定を前提とする。この前提の場合、４：２：０フォーマットの符号化においては、Ｌ_１＝Ｌ_２＝（Ｌ_０／２）、Ｍ_１＝Ｍ_２＝（Ｍ_０／２）となる。

予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬ_i,Ｍ_iに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図６は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣ_i成分をＬ_i×Ｍ_i画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。

予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
Ｊ＝Ｄ＋λＲ （λ：定数）

そこで、予測部４はまず、各動き予測モードｍｃ＿ｍｏｄｅ_kに対して、コストＪ_kの計算を行う（ステップＳＴ１）。図７に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ₀，Ｂ₁からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ_0,Ｂ₁はこれら２枚の参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）を使って動き予測できるものとする。図６では分割領域Ｂ₀は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶ_t-2（Ｂ₀）を検出し、分割領域Ｂ₁は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶ_t-1（Ｂ₁）を検出している。Ｂを分割領域、Ｓ_n（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（３）として計算できる。

予測誤差量Ｄは、上式（３）計算の結果、得られる分割領域Ｂ_0,Ｂ₁に対応する予測誤差量Ｄ₀，Ｄ₁からＤ＝Ｄ₀＋Ｄ₁として求める。

一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ₀），ＰＭＶ（Ｂ₁）を用いて、下式（４）から動きベクトル予測差分値ＭＶＤ（Ｂ₀），ＭＶＤ（Ｂ₁）を得て、これらの値を符号量換算して符号量Ｒ₀，Ｒ₁を得て、総符号量Ｒ＝Ｒ₀＋Ｒ₁として求める。
ＭＶＤ（Ｂ₀）＝ＭＶ_t-2（Ｂ₀）−ＰＭＶ（Ｂ₀） （４）
ＭＶＤ（Ｂ₁）＝ＭＶ_t-1（Ｂ₁）−ＰＭＶ（Ｂ₁）

以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を図８に示す。図８において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。図８では、ｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶ算出例を示すが、これ以外のｍｃ＿ｍｏｄｅ０，５〜７については非特許文献１に例示されている。
なお、Ｌ_i×Ｍ_i画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌ_i×ｍ_i画素ブロックに対して、ｍｃ＿ｍｏｄｅ０〜７のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０〜７とする。ｌ_i×ｍ_i画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図６の処理フローに準ずるものとし、Ｌ_i×Ｍ_i画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ₇は、ｌ_i×ｍ_i画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。

続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅ_kでのコストＪ_kが、それまでに検証したｍｃ＿ｍｏｄｅ_kでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅ_kをその時点までの最適な動き予測モードとして保持すると共に、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。

以下、本実施の形態１の特徴であるループフィルタ１４の詳細な動作について説明する。ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７、量子化パラメータ１９および加工強度制御パラメータ２０を用いて符号化信号３に漸近するように信号補正を行うウィーナフィルタ係数を定め、同ウィーナフィルタ係数を用いたフィルタリング処理を行った結果を参照画像信号１５として出力し、かつ、実施したウィーナフィルタ処理を特定する情報（ウィーナフィルタ係数３５，３６、ウィーナフィルタ処理識別情報３８等）を可変長符号化部８へ出力する。

非特許文献３においては、先立って説明したように、復号画像に対して非特許文献２のデブロッキングフィルタを施した画像データについて、複数種類のタップ数のフィルタ係数ｗを上式（１）に基づいてフレーム全体で求め、フィルタ係数の符号量とフィルタ処理実施後の符号化雑音ｅ（＝ｓハット−ｓ）がレートひずみ規範で最適となるタップ数のフィルタを適用した後、さらに信号ｓ’を複数サイズのブロックに分割し、ブロックごとに求めたフィルタ係数ｗのウィーナフィルタを適用する方がよいか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロックごとに伝送していた。

符号化ひずみが重畳される映像圧縮処理においては、入力映像信号にさまざまな形でひずみが加わる。例えば、ブロック単位でＤＣＴ等の変換符号化を施すことに伴うブロック境界の顕在化（ブロックひずみ）、並びにＤＣＴ係数の過度の量子化で特定の基底成分が不足することにより現れるモスキート雑音およびリンギング等の波形ひずみがある。また、エッジ成分を再現するために必要な周波数成分が不足することでエッジのボケが生じることもある。

非特許文献２のアプローチでは、これらの符号化ひずみが持つ特性を個別に考慮することなく、入力映像信号（即ち信号ｓ）との間の平均二乗ひずみを一律に最小化するフィルタを設計しようとするため、特に高圧縮に伴う符号化ひずみにより、復号画像（即ち信号ｓ’）がもとの入力映像信号で本来表現されていた信号波形とは大きくかけ離れた信号になってしまう場合、ウィーナフィルタの設計効率が高められないことがある。

そこで、本実施の形態１に係るループフィルタ１４では、復号信号１３に対して適応的な平滑化・鮮鋭化フィルタを施し、符号化ひずみにより符号化信号３からかけ離れた信号表現になってしまった箇所を符号化信号３へ近づける処理を行うこととする。

図９は、ループフィルタ１４の内部構造を示すブロック図である。このループフィルタ１４は、復号信号１３を入力とし、デブロッキングフィルタ処理部３０が、復号信号１３のうちの変換ブロック境界の画素に対してデブロッキングフィルタ処理を施し、第１の加工復号画像信号３１を生成する。
デブロッキングフィルタ処理部３０は、復号信号１３の、圧縮部６におけるＤＣＴ処理などを実施したブロック境界の周辺画素に対して、予測信号生成用パラメータ１７と量子化パラメータ１９とから得られる量子化の粗さ、符号化モード、および動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、適応平滑化フィルタによってブロック境界に発生するひずみの低減を図る。

鮮鋭化フィルタ処理部３２は、デブロッキングフィルタ処理部３０によってフィルタ処理された第１の加工復号画像信号３１に対して下式（２）の鮮鋭化処理を施し、第２の加工復号画像信号３３を生成する。
Ｉ’（ｘ，ｙ）
＝Ａ・Ｉ（ｘ，ｙ）
＋Ｂ｛Ｉ（ｘ−１，ｙ）＋Ｉ（ｘ＋１，ｙ）
＋Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ，ｙ＋１）｝
＋Ｃ｛Ｉ（ｘ−１，ｙ−１）＋Ｉ（ｘ＋１，ｙ−１）
＋Ｉ（ｘ−１，ｙ＋１）＋Ｉ（ｘ＋１，ｙ＋１）｝ （２）
ここで、Ａ＝ｆ（α，ｋ），Ｂ＝ｇ（α，ｋ），Ｃ＝ｐ（α，ｋ）

αは加工強度制御パラメータ２０を示し、ｋは色成分を示す。また、フィルタ係数Ａ，Ｂ，Ｃはαおよびｋの関数として表現される。また、Ｉ（ｘ，ｙ）は、フィルタ処理対象画素位置（ｘ，ｙ）の画素値を示す。したがって、加工強度制御パラメータ２０は、色成分ごとにその強度が調整されて、各鮮鋭化フィルタの係数を動的に決定する。

この加工強度制御パラメータ２０は、例えばスライス内のＭ_ｍａｘ値、量子化パラメータ１９、またはＭ_ｍａｘ値と量子化パラメータ１９の組み合わせ等により決定される。
図５の例では、スライス内のＭ_ｍａｘ値はスライス中の動きの細かさに応じて決定され、比較的映像ボケが少なく鮮明で、かつ、細かい動きを含むスライスに対してはＭ_ｍａｘ値を小さく設定する。そのような場合は、動き予測が困難で、高圧縮時には量子化によるエッジつぶれが生じやすい。したがって、Ｍ_ｍａｘ値が小さくなるほど加工強度制御パラメータ２０を大きくし、鮮鋭化フィルタ処理部３２で鮮鋭化フィルタが強くかかるように設定する。
一方、比較的映像ボケが多く、かつ、広い領域に渡って動きが一様なスライスに対してはＭ_ｍａｘ値を大きく設定する。そのような場合は、急峻なエッジは存在しにくく、動き予測も比較的容易で、波形ひずみが生じにくい。したがって、Ｍ_ｍａｘ値が大きくなるほど加工強度制御パラメータ２０を小さくし、鮮鋭化フィルタ処理部３２で鮮鋭化フィルタの強度を弱くするか、またはＯＦＦとなるように設定する。

同様に、量子化パラメータ１９も、量子化が粗くなるほどエッジつぶれが大きくなるため、量子化パラメータ１９が粗い量子化を示す場合ほど加工強度制御パラメータ２０を大きく設定して、鮮鋭化フィルタ処理部３２で鮮鋭化フィルタが強くかかるように設定するといった制御を行うことが考えられる。

なお、鮮鋭化フィルタ処理部３２は、上式（２）以外の方法を用いてもよく、フィルタ強度を適応制御可能な方法であればいかなる方法を用いてもよい。また、加工強度制御パラメータ２０は、画像符号化装置で決定した値を符号化して画像復号装置に伝送する構成にして、画像復号装置で同じ値を用いることができるようにしてもよい。

ウィーナフィルタ設計部３４は、ブロックひずみを平滑化除去して符号化信号３に近づけた第１の加工復号画像信号３１と、復号信号１３の局所的性質に適応して強度を制御した鮮鋭化フィルタ処理により特にエッジ領域周辺での符号化信号３との信号相関を高めるように復号信号１３を加工した第２の加工復号画像信号３３という、符号化信号３に近づけた２種類の信号を選択肢として得る。そして、ウィーナフィルタ設計部３４は、非定常な映像信号の局所変動に適応するウィーナフィルタ処理を行うために、第１の加工復号画像信号３１と第２の加工復号画像信号３３の両方の信号領域でウィーナフィルタ係数を設計する。

ウィーナフィルタ設計部３４におけるウィーナフィルタ係数の設計方法は、先述の式（１）を用いる方法とし、第１の加工復号画像信号３１を用いて第１のウィーナフィルタ係数（ｗ_１）３５を生成すると共に、第２の加工復号画像信号３３を用いて第２のウィーナフィルタ係数（ｗ_２）３６を生成する。

最後に、ウィーナフィルタ処理部３７が、第１の加工復号画像信号３１または第２の加工復号画像信号３３に対して、第１のウィーナフィルタ係数３５または第２のウィーナフィルタ係数３６を選択的に適用してフィルタ処理を施し、参照画像信号１５を得る。

図１０は、ウィーナフィルタ処理部３７の動作を示すフローチャートである。ウィーナフィルタ処理部３７はまず、スライスまたはピクチャ内の所定ブロック単位で、第１の加工復号画像信号３１に対して第１のウィーナフィルタ係数３５を用いたフィルタ処理を行う（ステップＳＴ１１）。このフィルタ処理した画像信号を画像データＡとする。

続いてウィーナフィルタ処理部３７は、スライスまたはピクチャ内の所定ブロック単位で、第２の加工復号画像信号３３のうち、デブロッキングフィルタ処理部３０の処理対象となった画素のみに対して第１のウィーナフィルタ係数３５を用いたフィルタ処理を行う（ステップＳＴ１２）。

続いてウィーナフィルタ処理部３７は、スライスまたはピクチャ内の所定ブロック単位で、第２の加工復号画像信号３３のうち、デブロッキングフィルタ処理部３０の処理対象となった画素以外の画素に対して第２のウィーナフィルタ係数３６を用いたフィルタ処理を行う（ステップＳＴ１３）。ステップＳＴ１２およびステップＳＴ１３にてフィルタ処理した画像信号を合わせて画像データＢとする。

続いてウィーナフィルタ処理部３７は、ステップＳＴ１１のフィルタ処理を施した画像データＡと、ステップＳＴ１２，ＳＴ１３のフィルタ処理を施した画像データＢと、フィルタ処理を一切行わない第１の加工復号画像信号３１のままの画像データＣのうち、最も効率のよい画像データを選択する（ステップＳＴ１４）。効率の良さの判定方法としては、符号化信号３と画像データＡ，Ｂ，Ｃそれぞれとの差分量（例えば差分絶対値和、差分二乗和）に基づいて判定する方法があり、差分量が最も小さい画像データを最も効率のよい画像データとして選択する。

続いてウィーナフィルタ処理部３７は、ステップＳＴ１４にて選択した画像データを当該ブロックの参照画像信号１５として確定する。また、どの画像データを選択するか（即ち、どのフィルタ処理を行うか）を示すウィーナフィルタ処理識別情報３８を、ブロック単位で生成する。確定された参照画像信号１５はメモリ１６へ出力され、第１のウィーナフィルタ係数３５、第２のウィーナフィルタ係数３６およびウィーナフィルタ処理識別情報３８はそれぞれ可変長符号化部８へ出力される（ステップＳＴ１５）。

このようにして、ウィーナフィルタ処理部３７による選択的フィルタ処理の結果、スライスまたはピクチャ内において、符号化信号３へより漸近した信号領域でのウィーナフィルタ処理結果を考慮した参照画像信号１５の生成が可能となる。特定のウィーナフィルタの最適性が満たされない場合でも選択肢を増やしてウィーナフィルタ処理を行うことができるので、予測部４による、この参照画像信号１５を用いたこれ以降の予測効率を改善することができる。

なお、ウィーナフィルタ処理部３７の処理において、例えばステップＳＴ１１を除外して処理するように構成することもできる。ステップＳＴ１１に伴う効果が小さい場合は、ステップＳＴ１１の処理を除外することにより、予測効率を落とすことなく所定のブロック単位でウィーナフィルタ処理識別情報３８を削減することができる。
また、処理対象のスライスまたはピクチャ内のすべての所定ブロックが、画像データＡ，Ｂ，Ｃのいずれかに固定的に選択された場合は、可変長符号化部８がブロック単位でウィーナフィルタ処理識別情報３８の符号化を行わずに、スライスまたはピクチャのレベルで画像データＡ，Ｂ，Ｃのいずれを参照画像信号１５として用いるかを識別するウィーナフィルタ処理識別情報３８相当の情報を多重するように構成してもよい。これにより、ウィーナフィルタ処理識別情報３８の符号化に伴う符合量を効率的に削減できる。

２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図２の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。
図１１に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、ピクチャ中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一ピクチャに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダ、および同一スライスに属する基準ブロックが共通パラメータとして参照するスライスレベルヘッダが用意され、このスライスレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭ_ｍａｘが、シーケンス、ＧＯＰまたはピクチャのレベルで固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダ、ＧＯＰレベルヘッダまたはピクチャレベルヘッダに多重するように構成してもよい。

各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１０の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードおよび動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。

動き予測モードとしては、まずｍｃ＿ｍｏｄｅ０〜７の種別が符号化され、ｍｃ＿ｍｏｄｅ０〜６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。ｍｃ＿ｍｏｄｅ７であれば、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの符号化が行われる。

また、スライス単位にウィーナフィルタ処理識別情報３８を多重する。ウィーナフィルタ処理識別情報３８は、スライス中に含まれる所定のブロック分だけの参照画像信号１５選択の識別情報を含む。さらに、第１のウィーナフィルタ係数３５または第２のウィーナフィルタ係数３６を、ウィーナフィルタ処理識別情報３８の示す情報に応じて多重する。例えば、ウィーナフィルタ処理識別情報３８がウィーナフィルタ処理部３７による画像データＡのみしか使用しないことを示す場合には第１のウィーナフィルタ係数３５のみを多重し、画像データＢのみしか使用しないことを示す場合には第１のウィーナフィルタ係数３５および第２のウィーナフィルタ係数３６ともに多重し、画像データＣのみしか使用しないことを示す場合にはフィルタ係数を一切多重しない。

なお、図示はしていないが、ウィーナフィルタ処理部３７がピクチャの単位で処理を実施する場合には、可変長符号化部８が、ウィーナフィルタ処理識別情報３８をピクチャのデータの一部として符号化するようにしてもよい。このとき、ウィーナフィルタ処理識別情報３８は、ピクチャ中に含まれる所定のブロック分だけの参照画像信号１５選択の識別情報を含む。

同じく図示はしていないが、処理対象のスライスまたはピクチャ内のすべての所定のブロックが画像データＡ，Ｂ，Ｃのいずれかに固定的に選択される場合は、可変長符号化部８が、ウィーナフィルタ処理識別情報３８の符号化を行わずに、スライスまたはピクチャレベルで画像データＡ，Ｂ，Ｃのいずれを参照画像信号１５として用いるかを固定的に識別する情報を多重する。

また、ウィーナフィルタ処理部３７が用いる加工強度制御パラメータ２０を基準ブロック、スライス、ピクチャ等のレベルで明示的にビットストリームに多重化するように構成してもよい。図１１では基準ブロックヘッダに多重化した例を示す。

３．画像復号装置
図１２は、本実施の形態１における画像復号装置の構成を示すブロック図である。可変長復号部１００は、図１１に示すビットストリーム９を入力とし、シーケンスレベルヘッダおよびピクチャレベルヘッダを復号した後、スライスレベルヘッダを復号して基準ブロックサイズ情報１８を復号する。これにより当該スライスで用いる基準ブロックのサイズＭ_ｍａｘと動き予測単位ブロックのサイズＬ_i，Ｍ_iを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。

可変長復号部１００は、基準ブロックデータの復号をまず、基準ブロックヘッダの復号から行う。次いで、可変長復号部１００は、動き予測単位ブロックあたりに適用する動き予測モード、動きベクトルの復号を行って予測信号生成用パラメータ１７を得て、予測部１０２へ出力する。

予測誤差圧縮データ７、量子化パラメータ１９は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、図２の画像符号化装置における局所復号部１０と等価な処理を行う。
予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号（動き予測画像）１２を生成する。なお、予測部１０２は画像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０〜７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測信号１２を生成する。
復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号（復号画像）１３としてループフィルタ１０４へ入力される。

可変長復号部１００は、当該スライス内のすべての基準ブロックのビットストリーム多重データの解析を終えた後、スライスデータの一部として多重化されているウィーナフィルタ処理識別情報３８を復号および解釈して、ループフィルタ１０４にて必要となる第１のウィーナフィルタ係数３５または第２のウィーナフィルタ係数３６を復号する。また、可変長復号部１００は、加工強度制御パラメータ２０が多重化されている場合はそれも復号する。
第１のウィーナフィルタ係数３５、第２のウィーナフィルタ係数３６、ウィーナフィルタ処理識別情報３８および加工強度制御パラメータ２０は、ループフィルタ１０４へ入力される。

復号信号１３は、ループフィルタ１０４においてウィーナフィルタによって符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。このループフィルタ１０４は、図２の画像符号化装置におけるループフィルタ１４と等価な処理を行う。

図１３は、ループフィルタ１０４の内部構造を示すブロック図である。図１３に示す各部のうち、図９に示すループフィルタ１４の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。また、図１４に、ループフィルタ１０４の動作を表すフローチャートを示す。
このループフィルタ１０４には、ウィーナフィルタ処理識別情報３８、第１のウィーナフィルタ係数３５または第２のウィーナフィルタ係数３６、予測信号生成用パラメータ１７、量子化パラメータ１９、および加工強度制御パラメータ２０が入力され、同じく入力される復号信号１３の信号補正を行って、参照画像信号１５を生成する。
なお、上述したように、画像符号装置において、ループフィルタ１４がブロック単位で画像データＡ，Ｂ，Ｃのうちのいずれかを参照画像信号１５として出力するようにしたので、画像復号装置においては、ループフィルタ１０４が画像データＡ，Ｂ，Ｃのうちのいずれかに相当する参照画像信号１５ａ，１５ｂ，１５ｃを出力するように構成する。

デブロッキングフィルタ処理部３０が、予測信号生成用パラメータ１７および量子化パラメータ１９に基づいて、復号信号１３に対してデブロッキングフィルタ処理を行い、第１の加工復号画像信号３１を生成する（ステップＳＴ２１）。

続いて処理選択部１０５が、所定のブロック単位でウィーナフィルタ処理識別情報３８をチェックし、当該ブロックに対応する参照画像信号１５ａ，１５ｂ，１５ｃのいずれかを生成する方法を特定する（ステップＳＴ２２）。
ウィーナフィルタ処理識別情報３８が、第１の加工復号画像信号３１に対して第１のウィーナフィルタ係数３５を用いたフィルタ処理を行うことを示す情報である場合には（ステップＳＴ２２“Ａ”）、処理選択部１０５がスイッチ（以下、ＳＷ）１０６を切り替えて、第１の加工復号画像信号３１を第１のウィーナフィルタ処理部１０７へ入力させる。第１のウィーナフィルタ処理部１０７は、第１のウィーナフィルタ係数３５を用いて、第１の加工復号画像信号３１に対してウィーナフィルタ処理を行った結果得られる、当該ブロックの画像データを、参照画像信号１５ａとして出力する（ステップＳＴ２３）。
なお、ステップＳＴ２３は、第１のウィーナフィルタ処理を構成する。

ウィーナフィルタ処理識別情報３８が、第２の加工復号画像信号３３に対して第１のウィーナフィルタ係数３５および第２のウィーナフィルタ係数３６を用いたフィルタ処理を行うことを示す情報である場合には（ステップＳＴ２２“Ｂ”）、処理選択部１０５がＳＷ１０６を切り替えて、第１の加工復号画像信号３１を鮮鋭化フィルタ処理部３２へ入力させる。鮮鋭化フィルタ処理部３２は、加工強度制御パラメータ２０に基づいて、第１の加工復号画像信号３１に対して画像符号化装置の鮮鋭化フィルタ処理部３２の動作と等価な処理を施し、第２の加工復号画像信号３３を生成する（ステップＳＴ２４）。次いで第２のウィーナフィルタ処理部１０８が、第２の加工復号画像信号３３のうち、デブロッキングフィルタ処理部３０においてデブロッキングフィルタ処理の対象となった画素のみに対して第１のウィーナフィルタ係数３５を用いたウィーナフィルタ処理を行い、第２の加工復号画像信号３３のうち、デブロッキングフィルタ処理の対象となった画素以外の画素に対して第２のウィーナフィルタ係数３６を用いたウィーナフィルタ処理を行う（ステップＳＴ２５）。第２のウィーナフィルタ処理部１０８は、ウィーナフィルタ処理を行った結果得られる、当該ブロックの画像データを、参照画像信号１５ｂとして出力する。
なお、ステップＳＴ２４，ＳＴ２５は、第２のウィーナフィルタ処理を構成する。

ウィーナフィルタ処理識別情報３８が、所定ブロックの単位で、第１の加工復号画像信号３１に対して一切のウィーナフィルタ処理を行わないことを示す情報である場合には（ステップＳＴ２２“Ｃ”）、処理選択部１０５がＳＷ１０６を切り替えて、当該ブロックの第１の加工復号画像信号３１をそのまま参照画像信号１５ｃとして出力する。

なお、加工強度制御パラメータ２０は、画像符号化装置と等価な処理によって、スライス内のＭ_ｍａｘ値（即ち基準ブロックサイズ情報１８）もしくは量子化パラメータ１９、またはこれらの組み合わせ等に基づいて、ループフィルタ１０４等において導出するように構成してもよいし、予め画像符号化装置が加工強度制御パラメータ２０をビットストリーム９に多重しておき、画像復号装置側では、可変長復号部１００においてビットストリーム９に多重された加工強度制御パラメータ２０を抽出・復号して用いるように構成してもよい。
前者の場合は、画像符号化装置で加工強度制御パラメータ２０の情報を明示的に符号化しなくてすむため、ビットストリーム９の符号量を効率的に削減することができる。一方、後者の場合は、画像復号装置で加工強度制御パラメータ２０に対応する値を導出する処理を省略できるため、装置構成を簡略化することができる。

以上の構成によるループフィルタ１０４の選択的フィルタ処理の結果、スライスまたはピクチャ内において、符号化信号３へより漸近した信号領域でのウィーナフィルタ処理結果を考慮した参照画像信号１５の生成が可能となる。特定のウィーナフィルタの最適性が満たされない場合でも選択肢を増やしてウィーナフィルタ処理を行うことができるので、予測部１０２による、この参照画像信号１５を用いたこれ以降の予測効率を改善することができる。

なお、ループフィルタ１０４の処理において、例えばステップＳＴ２３を除外して処理するように構成することもできる。ステップＳＴ２３に伴う効果が小さい場合は、ステップＳＴ２３の処理を除外することにより、予測効率を落とすことなく所定のブロック単位でウィーナフィルタ処理識別情報３８を削減することができる。
また、処理対象のスライスまたはピクチャ内のすべての所定ブロックが、参照画像信号１５ａを生成するための処理（ステップＳＴ２３）、参照画像信号１５ｂを生成するための処理（ステップＳＴ２４，ＳＴ２５）、および参照画像信号１５ｃを生成するための処理のいずれかに固定的に選択される場合は、可変長復号部１００がブロック単位でウィーナフィルタ処理識別情報３８の復号を行わずに、スライスまたはピクチャのレベルで、参照画像信号１５ａ，１５ｂ，１５ｃのいずれの信号を参照画像信号１５として用いるかを識別するウィーナフィルタ処理識別情報３８相当の情報を復号するように構成してもよい。これにより、ウィーナフィルタ処理識別情報３８のビットストリーム９への多重化に伴う符号量を効率的に削減できる。

以上より、実施の形態１によれば、画像符号化装置を、入力映像信号１を基準ブロックに分割するブロック分割部２と、当該ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される予測信号１２とこの予測信号１２を符号化信号３から差し引いた予測誤差信号５とを生成する予測部４と、予測誤差信号５を量子化して、変換ブロック単位で圧縮符号化する圧縮部６と、圧縮部６が量子化した予測誤差圧縮データ７を局所復号して復号予測誤差信号１１を生成する局所復号部１０と、復号予測誤差信号１１と予測信号１２とを加算して復号信号１３を得る加算部と、復号信号１３の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第１の加工復号画像信号３１を生成するデブロッキングフィルタ処理部３０と、復号信号１３の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像信号３３を生成する鮮鋭化フィルタ処理部３２と、第１の加工復号画像信号３１に基づいて第１のウィーナフィルタ係数３５を設計し、第２の加工復号画像信号３３に基づいて第２のウィーナフィルタ係数３６を設計するウィーナフィルタ設計部３４と、第１の加工復号画像信号３１に対して第１のウィーナフィルタ係数３５を用いたウィーナフィルタ処理を施して参照画像信号１５を生成するか、第２の加工復号画像信号３３に対して第１のウィーナフィルタ係数３５および第２のウィーナフィルタ係数３６を用いたウィーナフィルタ処理を施して参照画像信号１５を生成するか、第１の加工復号画像信号３１にフィルタ処理を施さずそのまま参照画像信号１５にすると共に、用いた第１のウィーナフィルタ係数３５または第２のウィーナフィルタ係数３６、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報３８を出力するウィーナフィルタ処理部３７と、予測誤差圧縮データ７並びに第１のウィーナフィルタ係数３５、第２のウィーナフィルタ係数３６およびウィーナフィルタ処理識別情報３８を符号化する可変長符号化部８とを備えるように構成した。このため、符号化ひずみにより、入力映像信号である符号化信号３からかけ離れた信号表現になってしまった復号信号１３を、ループフィルタ１４が符号化信号３に近づけるように、かつ、非定常な映像信号の局所変動に適応するようにフィルタ処理を行って参照画像信号１５を生成することができるようになるため、この参照画像信号１５を用いることにより予測信号１２の品質改善を実現することが可能となる。よって、ウィーナフィルタの最適性を高め、効率的な情報圧縮を行うことのできる画像符号化装置および画像符号化方法を提供することができる。

また、上記実施の形態１によれば、画像復号装置を、入力されたビットストリーム９から予測信号生成用パラメータ１７と、予測誤差圧縮データ７と、ウィーナフィルタ処理識別情報３８と、第１のウィーナフィルタ係数３５および第２のウィーナフィルタ係数３６とを抽出する可変長復号部１００と、ビットストリーム９から抽出された予測誤差圧縮データ７を逆量子化して、変換ブロック単位で復号した復号予測誤差信号１１を生成する予測誤差復号部１０１と、予測信号生成用パラメータ１７に基づいて予測信号１２を生成する予測部１０２と、復号予測誤差信号１１と予測信号１２とを加算して復号信号１３を生成する加算部と、復号信号１３の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第１の加工復号画像信号３１を生成するデブロッキングフィルタ処理部３０と、ウィーナフィルタ処理識別情報３８に従ってウィーナフィルタ処理を切り替える処理選択部１０５およびＳＷ１０６と、ウィーナフィルタ処理識別情報３８が第１のウィーナフィルタ処理を行うことを示す場合に、ＳＷ１０６の切替に応じて、第１の加工復号画像信号３１に対して第１のウィーナフィルタ係数３５を用いたウィーナフィルタ処理を施して参照画像信号１５ａを生成する第１のウィーナフィルタ処理部１０７と、ウィーナフィルタ処理識別情報３８が第２のウィーナフィルタ処理を行うことを示す場合に、ＳＷ１０６の切替に応じて、第１の加工復号画像信号３１のうちのデブロッキングフィルタ処理部３０でデブロッキングフィルタ処理が行われなかった画素に対して、加工強度制御パラメータ２０を用いた鮮鋭化フィルタ処理を施して第２の加工復号画像信号３３を生成する鮮鋭化フィルタ処理部３２と、第２の加工復号画像信号３３のうちのデブロッキング処理が行われた画素に対して第１のウィーナフィルタ係数３５を、その他の画素に対して第２のウィーナフィルタ係数３６を用いてそれぞれウィーナフィルタ処理を施す第２のウィーナフィルタ処理部１０８とを備えるように構成した。このため、上記画像符号化装置に対応した画像復号装置および画像復号方法を提供することができる。

なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。

この発明に係る画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法は、ディジタル映像信号の圧縮符号化を行う場合において、映像信号の各フレームの時間変化の特性に対して柔軟に適応する画像符号化装置およびその方法並びに画像復号装置およびその方法を構成することができ、最適な符号化処理を行うことができるため、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に利用するのに適している。

Claims (4)

1. 入力画像フレームを所定の動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を前記入力画像から差し引いた予測誤差信号とを生成する予測部と、
   前記予測誤差信号を量子化して、所定の変換ブロック単位で圧縮符号化する圧縮部と、
   前記圧縮部が量子化した符号化データを局所復号して、前記予測誤差信号の復号値を生成する局所復号部と、
   前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算部と、
   前記局所復号画像に対して、所定のウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するフィルタ部と、
   前記予測誤差信号の符号化データ、ならびに前記フィルタ部で用いた前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報を符号化する可変長符号化部とを備えるとともに、
   前記フィルタ部は、
   前記局所復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理部と、
   前記局所復号画像の前記変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第２の加工復号画像を生成する鮮鋭化フィルタ処理部と、
   前記第１の加工復号画像に基づいて前記第１のウィーナフィルタ係数を設計し、前記第２の加工復号画像に基づいて前記第２のウィーナフィルタ係数を設計するウィーナフィルタ設計部と、
   前記第１の加工復号画像および前記第２の加工復号画像のうち少なくとも一方に対して、前記第１のウィーナフィルタ係数および前記第２のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して前記参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別する前記ウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理部とを有することを特徴とする画像符号化装置。
2. 入力画像フレームにおいて動きベクトルを探索した動きベクトル割り当て領域の形状を特定する動き予測モードと、当該各動きベクトル割り当て領域に対応する動きベクトルと、動き予測に伴う予測誤差信号の符号化データと、局所復号画像に施したウィーナフィルタ処理を識別するウィーナフィルタ処理識別情報と、当該ウィーナフィルタ処理で用いたウィーナフィルタ係数とをビットストリームから抽出する可変長復号部と、
   前記ビットストリームから抽出された前記予測誤差信号の符号化データを逆量子化して、所定の変換ブロック単位で復号した復号予測誤差信号を生成する復号部と、
   前記ビットストリームから抽出された前記動き予測モードおよび前記動きベクトルに基づいて動き予測画像を生成する予測部と、
   前記復号予測誤差信号と前記動き予測画像とを加算して復号画像を生成する加算部と、
   前記ビットストリームから抽出された前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報に基づいて、前記復号画像に対してウィーナフィルタ処理を施して参照画像を生成するフィルタ部とを備えるとともに、
   前記フィルタ部は、
   前記復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理部と、
   前記ウィーナフィルタ処理識別情報が第１のウィーナフィルタ処理を行うことを示す場合に、前記第１の加工復号画像に対して前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第１のウィーナフィルタ処理部と、
   前記ウィーナフィルタ処理識別情報が第２のウィーナフィルタ処理を行うことを示す場合に、前記第１の加工復号画像のうち、前記デブロッキングフィルタ処理部でデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像を生成し、当該第２の加工復号画像のうち、前記デブロッキング処理が行われた画素とその他の画素に対して異なる前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第２のウィーナフィルタ処理部とを有することを特徴とする画像復号装置。
3. 入力画像フレームを所定の動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を前記入力画像から差し引いた予測誤差信号とを生成する予測ステップと、
   前記予測誤差信号を量子化して、所定の変換ブロック単位で圧縮符号化する圧縮ステップと、
   前記圧縮ステップで量子化した符号化データを局所復号して、前記予測誤差信号の復号値を生成する局所復号ステップと、
   前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算ステップと、
   前記局所復号画像に対して、所定のウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するフィルタステップと、
   前記予測誤差信号の符号化データ、ならびに前記フィルタステップで用いた前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報を符号化する可変長符号化ステップとを備えるとともに、
   前記フィルタステップは、
   前記局所復号画像を前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理ステップと、
   前記局所復号画像の前記変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第２の加工復号画像を生成する鮮鋭化フィルタ処理ステップと、
   前記第１の加工復号画像に基づいて前記第１のウィーナフィルタ係数を設計し、前記第２の加工復号画像に基づいて前記第２のウィーナフィルタ係数を設計するウィーナフィルタ設計ステップと、
   前記第１の加工復号画像および前記第２の加工復号画像のうち少なくとも一方に対して、前記第１のウィーナフィルタ係数および前記第２のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して前記参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別する前記ウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理ステップとを有することを特徴とする画像符号化方法。
4. 入力画像フレームにおいて動きベクトルを探索した動きベクトル割り当て領域の形状を特定する動き予測モードと、当該各動きベクトル割り当て領域に対応する動きベクトルと、動き予測に伴う予測誤差信号の符号化データと、局所復号画像に施したウィーナフィルタ処理を識別するウィーナフィルタ処理識別情報と、当該ウィーナフィルタ処理で用いたウィーナフィルタ係数とをビットストリームから抽出する可変長復号ステップと、
   前記ビットストリームから抽出された前記予測誤差信号の符号化データを逆量子化して、所定の変換ブロック単位で復号した復号予測誤差信号を生成する復号ステップと、
   前記ビットストリームから抽出された前記動き予測モードおよび前記動きベクトルに基づいて動き予測画像を生成する予測ステップと、
   前記復号予測誤差信号と前記動き予測画像とを加算して復号画像を生成する加算ステップと、
   前記ビットストリームから抽出された前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報に基づいて、前記復号画像に対してウィーナフィルタ処理を施して参照画像を生成するフィルタステップとを備えるとともに、
   前記フィルタステップは、
   前記復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第１の加工復号画像を生成するデブロッキングフィルタ処理ステップと、
   前記ウィーナフィルタ処理識別情報が第１のウィーナフィルタ処理を行うことを示す場合に、前記第１の加工復号画像に対して前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第１のウィーナフィルタ処理ステップと、
   前記ウィーナフィルタ処理識別情報が第２のウィーナフィルタ処理を行うことを示す場合に、前記第１の加工復号画像のうち、前記デブロッキングフィルタ処理ステップでデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第２の加工復号画像を生成し、当該第２の加工復号画像のうち、前記デブロッキング処理が行われた画素とその他の画素に対して異なる前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第２のウィーナフィルタ処理ステップとを有することを特徴とする画像復号方法。

Images