JP5361998B2 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を行った後、生成した予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行う。この際、圧縮率が高くなると、動き補償予測のために用いる予測参照画像の品質が低下することに起因して圧縮効率が妨げられるという問題がある。そのため、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４符号化方式（非特許文献１参照）では、直交変換係数の量子化に伴って発生するブロックひずみを除去した後、予測参照画像として利用するループ内ブロッキングフィルタの処理が採用されている。

図１３は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２においてマクロブロックの単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。

予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。

圧縮部１００６は、予測誤差信号１００５に対して、ＤＣＴ（離散コサイン変換）処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。

この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４でブロックひずみを除去する処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

非特許文献１のループフィルタ１０１４は、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、ブロック境界に発生するひずみの低減を図っている。これによって、上述したように、参照画像信号１０１５の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
一方、この方式では、ＤＣＴ変換のブロックサイズが小さい場合、圧縮率が高くなると画面全体が過度に平滑化され、映像がぼやけてしまうという問題がある。この問題を解決するために、非特許文献２では、ループフィルタ１０１４にウィーナフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）を適用して、原画像信号である入力映像信号１００１とこれに対応する参照画像信号１０１５との二乗誤差ひずみを最小化するようにループフィルタ１０１４を構成する技術が提案されている。

図１４は、非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。図１４において、信号ｓは、符号化装置への入力映像信号１００１に相当する信号であり、信号ｓ’は、復号信号１０１３、または復号信号１０１３に対して非特許文献１に係るループフィルタ１０１４の処理を施した信号に相当する信号である。つまり、信号ｓ’は、信号ｓに符号化雑音ｅが重畳された信号である。ウィーナフィルタは、この符号化雑音ｅを二乗誤差ひずみの規範で最小化するように信号ｓ’に対して施されるフィルタとして定義され、一般に、信号ｓ’の自己相関行列Ｒ_s's'と、信号ｓ，ｓ’の相互相関行列Ｒ_ss'とによって、下式（１）からフィルタ係数ｗを求めることができる。行列Ｒ_s's'，Ｒ_ss'の大きさは求められるフィルタタップ数に対応する。

フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、参照画像信号１０１５に相当する信号として得られる。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ.２６４規格 Ｔ.Ｃｈｕｊｏｈ, Ｇ.Ｙａｓｕｄａ, Ｎ.Ｗａｄａ, Ｔ.Ｗａｔａｎａｂｅ, Ｔ.Ｙａｍａｋａｇｅ, "Ｂｌｏｃｋ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ", ＶＣＥＧ−ＡＩ１８, ＩＴＵ−Ｔ ＳＧ１６／Ｑ．６ ｍｅｅｔｉｎｇ, Ｊｕｌｙ ２００８

上述したようにウィーナフィルタをループフィルタに適用する場合、復号装置側でも符号化装置と等価なループフィルタ処理を実行しなければならないが、復号装置では信号ｓは既知ではないため、求めたフィルタ係数ｗを符号化してビットストリームに多重し、復号装置に伝達しなければならない。
非特許文献２では、複数種類のタップ数のフィルタ係数ｗを映像フレーム全体で求め、フィルタ係数ｗの符号量とフィルタ処理実施後の雑音（ｅ’＝ｓハット−ｓ）がレートひずみ規範で最適となるタップ数のフィルタを特定した後、さらに信号ｓ’を複数サイズのブロックに分割し、各ブロックごとに求めたウィーナフィルタを適用するか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロックごとに伝送する。これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して予測画像品質を改善することができる。

一方、非特許文献１の手法では、フィルタ係数ｗの決定がフレーム単位で行われるので、本来局所的な信号の性質に応じて変化すべき係数へのローカライズを行うことができない。このため、品質改善性能に限界がある。また、フィルタＯＮ／ＯＦＦの判定および判定単位となるブロックサイズの決定をすべてフレームないしスライス単位で行うために、フレームないしスライス全体で複数回のひずみ計算を要し、符号化処理が複雑、かつ処理の並列化が困難となる課題があった。

この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、最適性を高めた画像符号化装置およびその方法、並びに画像復号装置およびその方法を提供することを目的とする。

この発明に係る画像符号化装置は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測部と、予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮部と、圧縮部によって量子化された圧縮データと量子化パラメータとから局所復号を行って、予測誤差信号の復号値を生成する局所復号部と、予測誤差信号の復号値と動き予測画像とを加算して局所復号画像を得る加算部と、局所復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して、局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いたフィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ部と、ウィーナフィルタ処理の単位となるブロック毎に、動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、ウィーナフィルタインデックスとを符号化する可変長符号化部とを備えるようにしたものである。

この発明に係る画像復号装置は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号部と、ビットストリームから抽出された量子化パラメータに基づいて、ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号部と、ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測部と、復号予測誤差信号と動き予測画像を加算して復号画像を生成する加算部と、復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して復号画像に対してウィーナフィルタ処理を施すフィルタ部とを備えるようにしたものである。

この発明に係る画像符号化方法は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測ステップと、予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮ステップと、圧縮ステップで量子化された圧縮データと量子化パラメータとから局所復号を行って、予測誤差信号の復号値を生成する局所復号ステップと、予測誤差信号の復号値と動き予測画像とを加算して局所復号画像を得る加算ステップと、局所復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いたフィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ処理ステップと、ウィーナフィルタ処理の単位となるブロック毎に、動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、ウィーナフィルタインデックスとを符号化する可変長符号化ステップとを備えるようにしたものである。

この発明に係る画像復号方法は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号ステップと、ビットストリームから抽出された量子化パラメータに基づいて、ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号ステップと、ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測ステップと、復号予測誤差信号と動き予測画像を加算して復号画像を生成する加算ステップと、復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して復号画像に対してウィーナフィルタ処理を施すフィルタ処理ステップとを備えるようにしたものである。

この発明によれば、予め保持している複数のウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して局所復号画像にウィーナフィルタ処理を施すと共に、このフィルタ係数の情報をウィーナフィルタインデックスとして出力するようにしたので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、４：４：４フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法を提供することができる。

この発明の実施の形態１に係る画像符号化装置および画像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を示す図である。 実施の形態１に係る画像符号化装置および画像復号装置で共有するフィルタ係数セット設計の動作を示すフローチャートである。 図２に示すループフィルタの内部構成を示すブロック図である。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 図１１に示すループフィルタの内部構成を示すブロック図である。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。

ここで、図１に、実施の形態１に係る画像符号化装置および画像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間はＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。

以下に説明する画像符号化装置および画像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。

１．画像符号化装置
図２は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図２に示す画像符号化装置は、４：４：４フォーマットの入力映像フレームを所定サイズのブロック、即ちＭ_max×Ｍ_max画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。

まず、符号化対象となる入力映像信号１は、ブロック分割部２において基準ブロックの単位に分割されて符号化信号３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍ_max×Ｍ_max画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭ_maxはフレーム若しくはシーケンス、またはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズＭ_maxを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズＭ_maxを指定するようにする。

基準ブロックデータは、さらにＬ_i×Ｍ_i画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_max／２、Ｍ₀＝Ｍ_max／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ₀＝Ｍ_max／２、Ｍ₀＝Ｍ_maxであり、図３（ａ），（ｂ）ともにＬ₁＝Ｍ₁＝Ｌ₂＝Ｍ₂＝Ｍ_maxである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックサイズＭ_maxを変更する場合は、３つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズＬ_i,Ｍ_iそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズＭ_maxは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズＬ_i，Ｍ_iを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。

予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号５を得る。予測部４の動作は、本実施の形態１の画像符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対してＤＣＴ等の直交変換・量子化を行い、予測誤差圧縮データ７を可変長符号化部８および局所復号部１０へ出力する。

可変長符号化部８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号（動き予測画像）１２と加算部で加算されて復号信号（局所復号画像）１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１７の符号化方法についても、本実施の形態１における特徴のひとつであるため、後で詳しく述べる。

ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７および量子化パラメータ１９を用いて符号化信号３に漸近するように信号補正を行う。このループフィルタ１４の動作は、本実施の形態１の画像符号化装置の特徴であるため、後で詳しく述べる。

非特許文献１の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。

以下、本実施の形態１の特徴のひとつである予測部４の詳細な動作について説明する。本実施の形態１の予測部４の特徴は以下の２点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定

上記（１）については、予測部４が、まず基準ブロックを、各色成分の信号の性質に合わせてＬ_i×Ｍ_i画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌ_i×ｍ_i画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌ_i×ｍ_i画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の画像符号化装置においては、Ｍ_iとｍ_i、Ｌ_iとｌ_iとの間に「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の画像符号化装置では、図４に示す分割形状のパターン（分割パターン）ｍｃ＿ｍｏｄｅ０〜７は３つの色成分に対して共通であるものとする。ただし、分割パターンｍｃ＿ｍｏｄｅ０〜７を３つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では「動き予測モード」と呼ぶこととする。

非特許文献１の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図４のような矩形以外の対角分割を用いることができない。これに対して本実施の形態１では図４のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。
また、「Ｓ.Ｋｏｎｄｏ ａｎｄ Ｈ.Ｓａｓａｉ, "Ａ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｕｓｉｎｇ Ｓｌｉｃｅｄ Ｂｌｏｃｋｓ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ", ＶＣＩＰ ２００５, Ｊｕｌｙ ２００５」では、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法が開示されている。この文献では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Ｍを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。

問題１：
基準ブロックの分割パターンを記述するための符号量が増加する。Ｍ_max ｍｏｄ ｍ_i＝０なる任意のｍ_iを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。

問題２：
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、画像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって、画像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。

これに対して、本実施の形態１の画像符号化装置における図４のアプローチは、まず、１）Ｍ_maxの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、２）Ｍ_max×Ｍ_maxの画素ブロックを色成分Ｃ_iごとの特性に合わせて基本ブロックＬ_i×Ｍ_i画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍ_i＝Ｍ_i／２」、「ｌ_i＝Ｌ_i／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の３つの工夫により、上記問題を解決する。基本ブロックのサイズＭ_maxの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭ_max×Ｍ_max画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。

そこで、基準ブロックサイズＭ_maxの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭ_maxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭ_maxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。

基準ブロックサイズＭ_maxの値を決定する方法には、例えば以下のような方法がある。
（１） 符号化対象映像の解像度に基づいて決定する。同一Ｍ_max値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭ_max値を大きくして画像信号パターンを捕捉できるようにする。
（２） フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭ_max値で、小さい場合は大きなＭ_max値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭ_max値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
（３） １）と２）の方法を重み付けで組み合わせて判断する。

基準ブロックサイズＭ_maxの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬ_i，Ｍ_iについては輝度信号Ｙ成分のサイズＬ_i，Ｍ_iよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。

これら判断を行った結果として得られる各ブロックサイズＭ_max,Ｌ_i,Ｍ_iの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍ_maxに対してＬ_i,Ｍ_iを簡易な演算で導出可能な値に設定しておけば、Ｌ_i，Ｍ_iを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
なお、図２では特に図示していないが、画像符号化装置は、Ｍ_max,Ｌ_i,Ｍ_iの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報１８を決定する構成であってもよい。

予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬ_i,Ｍ_iに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図５は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣ_i成分をＬ_i×Ｍ_i画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。

予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
Ｊ＝Ｄ＋λＲ （λ：定数） （２）

そこで、予測部４はまず、各動き予測モードｍｃ＿ｍｏｄｅ_kに対して、コストＪ_kの計算を行う（ステップＳＴ１）。図６に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ₀，Ｂ₁からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ_0,Ｂ₁はこれら２枚の参照画像Ｆ’（ｔ−１），Ｆ’（ｔ−２）を使って動き予測できるものとする。図６では分割領域Ｂ₀は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶ_t-2（Ｂ₀）を検出し、分割領域Ｂ₁は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶ_t-1（Ｂ₁）を検出している。Ｂを分割領域、Ｓ_n（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（３）として計算できる。

予測誤差量Ｄは、上式（３）計算の結果、得られる分割領域Ｂ_0,Ｂ₁に対応する予測誤差量Ｄ₀，Ｄ₁からＤ＝Ｄ₀＋Ｄ₁として求める。

一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ₀），ＰＭＶ（Ｂ₁）を用いて、下式（４）から動きベクトル予測差分値ＭＶＤ（Ｂ₀），ＭＶＤ（Ｂ₁）を得て、これらの値を符号量換算して符号量Ｒ₀，Ｒ₁を得て、総符号量Ｒ＝Ｒ₀＋Ｒ₁として求める。
ＭＶＤ（Ｂ₀）＝ＭＶ_t-2（Ｂ₀）−ＰＭＶ（Ｂ₀） （４）
ＭＶＤ（Ｂ₁）＝ＭＶ_t-1（Ｂ₁）−ＰＭＶ（Ｂ₁）

以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１〜４の予測ベクトルＰＭＶの算出例を図７に示す。図７において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。
なお、Ｌ_i×Ｍ_i画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌ_i×ｍ_i画素ブロックに対して、ｍｃ＿ｍｏｄｅ０〜７のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０〜７とする。ｌ_i×ｍ_i画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図５の処理フローに準ずるものとし、Ｌ_i×Ｍ_i画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ₇は、ｌ_i×ｍ_i画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。

続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅ_kでのコストＪ_kが、それまでに検証したｍｃ＿ｍｏｄｅ_kでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅ_kをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。

以下、本実施の形態１の特徴のひとつであるループフィルタ１４の詳細な動作について説明する。ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７、量子化パラメータ１９を用いて符号化信号３に漸近するように信号補正を行うウィーナフィルタ係数を定め、フィルタリング処理を行った結果を参照画像信号１５として出力し、かつ、ウィーナフィルタ係数を特定する情報（ウィーナフィルタインデックス）２０を可変長符号化部８へ出力する。即ち、非特許文献２と異なり、ウィーナフィルタ係数自体を符号化処理と同時に導出・伝送するのでなく、予め事前に設計された複数のフィルタセットの中からウィーナフィルタ係数を選択し、そのインデックスのみを伝送するように構成する。

それに先立ち、画像符号化装置および画像復号装置の双方で共有するフィルタ係数セットを事前に設計する方法について述べる。図８は、実施の形態１に係る画像符号化装置および画像復号装置で共有するフィルタ係数セット設計の動作を示すフローチャートである。ウィーナフィルタは、前述の通り、現在の復号画素値の自己相関と、リファレンスとすべき理想入力画素値との相互相関によって決定されるため、まず、さまざまな性質を有する映像信号に対して量子化パラメータ（Ｑｐ）１９で符号化処理を行い（ステップＳＴ１１）、一定の類似した統計的性質を有する理想入力画素値と、それを符号化して得られる復号画素値をセットにして、復号画像信号の統計的性質に基づく学習系列のサンプリングを行う（ステップＳＴ１２）。サンプリングは、本実施の形態１では、相互相関が大きく変動するエッジ領域かそうでないかを基準に行う。そのための指標としては、例えば、隣接画素との分散や、変換ブロック境界部か否か、などが挙げられる。続いて、サンプリングされた学習系列ごとに上式（１）に基づいたフィルタ係数ｗの設計を行う（ステップＳＴ１３）。このステップでは、例えば非特許文献２に開示されるように、ひとつの学習系列に対して複数のタップ数のフィルタを設計するように構成してもよい。定義されたすべての画像統計に基づく学習系列についてウィーナフィルタ設計が終了したら（ステップＳＴ１４“Ｙｅｓ”）、処理が終わっていない量子化パラメータ１９の存在を確認して（ステップＳＴ１５）、次の量子化パラメータＱｐに対して同様の処理を繰り返す（ステップＳＴ１６）。量子化パラメータＱｐごとにサンプリングを行ってフィルタセットを設計しておくことにより、符号化ひずみのレベルによって相互相関に変化が生じる状況に対して局所的な信号の性質に応じた最適なフィルタ選択を行うことができる。なお、復号信号１３の統計的性質に関する情報と、量子化パラメータ１９は画像復号装置側で一意に認識できるので、ウィーナフィルタセットの選択のために付加情報を伝送する必要はない。

図９は、ループフィルタ１４の内部構成を示すブロック図である。全ウィーナフィルタセット３１には、図８に示すフローで設計されたすべてのウィーナフィルタセットが予め登録されている。まず、ウィーナフィルタセット選択部３０が、全ウィーナフィルタセット３１の中から、復号信号１３の信号の性質を特定するインデックスと量子化パラメータ１９に基づいて、検証すべきウィーナフィルタセット３２を選択する。次いで、ウィーナフィルタ選択部３３は、上記選択されたウィーナフィルタセット３２に登録されているすべてのフィルタ係数を、それぞれ復号信号１３に適用して、フィルタリング処理を実行する。なお、このフィルタリング処理自体は、後段のウィーナフィルタ処理部３５と等価な処理を実行する。

ウィーナフィルタ選択部３３は、この結果、各フィルタ係数を指定するインデックス値（ウィーナフィルタインデックス２０に対応する）の符号長を総符号量Ｒとし、符号化信号３とフィルタリング処理された復号信号１３との間の二乗誤差ひずみを予測誤差量Ｄとして、上式（２）に基づくコストＪを構成し、このコストＪを最小化するウィーナフィルタ係数３４を選択する。ウィーナフィルタインデックス２０は、量子化パラメータ１９と、復号信号１３の信号の性質を特定するインデックスとによって定まるウィーナフィルタセット３２を構成するフィルタ係数群の識別番号であり、ウィーナフィルタ選択部３３は、上記選択されたウィーナフィルタ係数３４に対応するインデックス値をウィーナフィルタインデックス２０として出力する。ウィーナフィルタインデックス２０は、処理される画像信号の性質に応じて発生頻度に偏りが生じうるので、可変長符号化によって符号長を定めるように構成する。

最後に、ウィーナフィルタ処理部３５が、ウィーナフィルタインデックス２０で指定されるウィーナフィルタ係数３４を用いてウィーナフィルタ処理を実行して、現基準ブロック位置に対応する参照画像信号１５を出力する。この処理を、１フレーム内のすべての基準ブロックごとに実施することにより１フレーム分のループフィルタ処理が完了する。

なお、ウィーナフィルタインデックス２０は、ウィーナフィルタ係数３４を特定する情報として可変長符号化部８に伝送され、ビットストリーム９に基準ブロックごとに多重される。その伝送をＯＮ／ＯＦＦするフラグをウィーナフィルタインデックス２０とは別に伝送してもよいし、ウィーナフィルタインデックス２０に、選択肢のひとつとして「ウィーナフィルタ処理を実施しない」という選択肢も含めておくように構成してもよい。また、基準ブロックのレベルでウィーナフィルタインデックス２０を多重するか否か、即ちループフィルタ１４の処理を行うか否かを示すフラグを、スライス、ピクチャ、シーケンスなどの上位レベルでビットストリーム９に多重するように構成してもよい。このようにすることで、複数の基準ブロックからなる領域に渡ってウィーナフィルタ処理を行わないほうが符号化効率がよいと判断される場合は、その領域内の基準ブロックについてウィーナフィルタインデックス２０を一切符号化する必要がなく、効率的である。

また、本実施の形態１のループフィルタ１４では、非特許文献１（図１３）のブロックひずみ除去を目的としたループフィルタ１０１４の代わりにウィーナフィルタ処理を行う例を示したが、画像符号化装置をループフィルタ１０１４とループフィルタ１４とを備えるように構成して、まずブロックひずみ除去を目的としたループフィルタ１０１４を施した後に、上記ウィーナフィルタ１４を実行するようにしてもよい。

このようにループフィルタ１４を構成することにより、符号化処理過程では一切ウィーナフィルタ設計を行わず、予め統計的に最適設計が行われたウィーナフィルタセットから、画像復号装置側で一意に特定可能な情報のみに基づいて複数のウィーナフィルタ候補を選択して、さらにレートひずみ最適判定に基づく最適なウィーナフィルタ処理を実行することができる。また、かつウィーナフィルタ係数はインデックス値のみで伝送できるので、非特許文献２に開示される技術に比べて演算量を抑制しながらも、付加情報の符号量を抑えた効率的な符号化を行うことができる。さらに、この構成によるループフィルタ処理は、フレーム全体でウィーナフィルタ設計・実行を行う非特許文献２の構成では実現できない、基準ブロック単位の処理への分解が容易に可能である。したがって、基準ブロック単位のパイプライン処理や、並列処理に適した方式であるといえる。

２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図２の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。
図１０に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭ_maxが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダに多重するように構成してもよい。

各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１０の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードおよび動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。

動き予測モードとしては、まずｍｃ＿ｍｏｄｅ０〜７の種別が符号化され、ｍｃ＿ｍｏｄｅ０〜６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。ｍｃ＿ｍｏｄｅ７であれば、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの符号化が行われる。
また、シーケンス、ピクチャ、スライス等、基準ブロックより上位のレベルのヘッダ（図１０ではピクチャレベルヘッダに多重する例を図示）に、ウィーナフィルタＯＮ／ＯＦＦフラグを多重しておいてもよい。同フラグが「基準ブロックヘッダ中にウィーナフィルタインデックス２０を多重する」ことを示す場合は、上述のループフィルタ１４の処理結果として復号信号１３に施すウィーナフィルタ係数３４を指定するために、ウィーナフィルタインデックス２０を下位の基準ブロックヘッダに多重する。

なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズＬ_i，Ｍ_iを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズＬ_i，Ｍ_iをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズＬ_i，Ｍ_iを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。

３．画像復号装置
図１１は、本実施の形態１における画像復号装置の構成を示すブロック図である。可変長復号部１００は、図１０に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭ_maxと動き予測単位ブロックのサイズＬ_i，Ｍ_iを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。なお、動き予測単位ブロックのサイズＬ_i，Ｍ_iを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部１００は、動き予測単位ブロックのサイズＬ_i，Ｍ_iが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズＬ_i，Ｍ_iを認識するように構成する。
また、可変長復号部１００は、シーケンス、ピクチャ、スライス等、上位レベルヘッダの復号に際して、ウィーナフィルタＯＮ／ＯＦＦフラグがあればそれも復号しておく。

基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。可変長復号部１００は、ウィーナフィルタＯＮ／ＯＦＦフラグが「基準ブロックヘッダ中にウィーナフィルタインデックス２０を多重する」ことを示す場合には、この過程で、ウィーナフィルタインデックス２０を復号する。さもなくば、可変長復号部１００は「復号信号１３に対してウィーナフィルタを実行しない」ものと認識する。次いで、可変長復号部１００は、動き予測単位ブロックあたりに適用する動き予測モード、動きベクトルの復号を行って予測信号生成用パラメータ１７を得て、予測部１０２へ出力する。

予測誤差圧縮データ７、量子化パラメータ１９は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、図２の画像符号化装置における局所復号部１０と等価な処理を行う。
予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号（動き予測画像）１２を生成する。なお、予測部１０２は画像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０〜７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測信号１２を生成する。
復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号（復号画像）１３としてループフィルタ１０４へ入力される。この復号信号１３は、ループフィルタ１０４においてウィーナフィルタによって符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。

図１２は、ループフィルタ１０４の内部構成を示すブロック図である。図１２に示す各部のうち、図９に示すループフィルタ１４の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。また、図１２に示す全ウィーナフィルタセット３１には、図８に示すフローで設計されたすべてのウィーナフィルタセットが予め登録されている。

まず、ウィーナフィルタセット選択部３０が、全ウィーナフィルタセット３１に登録されているウィーナフィルタセットの中から、復号信号１３の性質を特定するインデックスと量子化パラメータ１９とに基づいて、ウィーナフィルタセット３２を選択する。次いで、ウィーナフィルタ選択部１０５は、上記選択されたウィーナフィルタセット３２に登録されたすべてのフィルタ係数の中から、ウィーナフィルタインデックス２０で指定されるウィーナフィルタ係数３４を出力する。即ち、ウィーナフィルタ選択部１０５は単純なテーブルルックアップ処理で実現できる。
次いで、ウィーナフィルタ処理部３５は、ウィーナフィルタ係数３４を用いてウィーナフィルタ処理を実行して、現基準ブロック位置に対応する参照画像信号１５を出力する。この処理を１フレーム内のすべての基準ブロックごとに実施することにより、１フレーム分のループフィルタ処理が完了する。

なお、上記説明では、ループフィルタ１４，１０４によるウィーナフィルタ処理を復号信号１３に対して施すように構成した。一方で、符号化ひずみが重畳されるのは実際には予測誤差信号５の量子化によるものであるため、ループフィルタ１４，１０４を、復号予測誤差信号１１と予測信号１２の加算を行う加算部の前段に配置して、復号信号１３の代わりに局所復号部１０に局所復号された復号予測誤差信号１１または予測誤差復号部１０１に復号された復号予測誤差信号１１に対してウィーナフィルタ処理を施すように構成してもよい。
予測誤差信号５および復号予測誤差信号１１は、符号化信号３または復号信号１３に比べて統計的な偏りが強い信号であるため、このように構成することにより、用意すべきウィーナフィルタセット３２のバリエーションを少なくして、効率的なウィーナフィルタ処理を行うことができる。
なお、この構成にする場合、ループフィルタ１４はブロックひずみを考慮しないウィーナフィルタセット３２で実行し、これとは別に、復号信号１３に対してＨ．２６４相当のブロックひずみ除去フィルタ処理を施すように構成してもよい。

以上の構成による画像符号化・復号装置によれば、ウィーナフィルタに基づく復号信号１３および参照画像信号１５の品質を少ない演算量と追加符号量で実現することができ、効率的な映像符号化が可能となる。

以上より、実施の形態１によれば、画像符号化装置を、動き予測単位ブロックのサイズを各色成分信号に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される予測信号１２と、予測信号１２を符号化信号３から差し引いた予測誤差信号５とを生成する予測部４と、予測誤差信号５を量子化パラメータ１９を用いて量子化することによって圧縮符号化する圧縮部６と、圧縮部６によって量子化された予測誤差圧縮データ７と量子化パラメータ１９とから局所復号を行って、予測誤差圧縮データ７の復号予測誤差信号１１を生成する局所復号部１０と、復号予測誤差信号１１と予測信号１２とを加算して復号信号１３を得る加算部と、復号信号１３と量子化パラメータ１９とに基づいて、予め保持している全ウィーナフィルタセット３１からひとつのウィーナフィルタセット３２を選択するウィーナフィルタセット選択部３０と、当該選択したウィーナフィルタセット３２のうちから最も符号化効率が高いウィーナフィルタ係数３４を選択するとともにこのウィーナフィルタ係数３４の情報をウィーナフィルタインデックス２０として出力するウィーナフィルタ選択部３３と、復号信号１３にウィーナフィルタ処理を施すウィーナフィルタ処理部３５と、ウィーナフィルタ処理の単位となるブロック毎に、予測信号１２の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差圧縮データ７と、ウィーナフィルタインデックス２０とを符号化する可変長符号化部８とを備えるように構成した。このため、フィルタ係数をウィーナフィルタインデックス２０で表し、ループフィルタ１４内のウィーナフィルタ処理部３５に基づく復号信号１３および参照画像信号１５の品質を少ない演算量と追加符号量で実現することができ、効率的な映像符号化が可能となる。この結果、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、４：４：４フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法を提供することができる。

また、実施の形態１によれば、画像復号装置を、入力されたビットストリーム９から、動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差圧縮データ７と、量子化パラメータ１９と、ウィーナフィルタインデックス２０とを抽出する可変長復号部１００と、ビットストリーム９から抽出された量子化パラメータ１９に基づいて、予測誤差圧縮データ７を逆量子化して復号予測誤差信号１１を得る予測誤差復号部１０１と、動き予測モードとおよび動きベクトルを含む予測信号生成用パラメータ１７に基づいて、予測信号１２を生成する予測部１０２と、復号予測誤差信号１１と予測信号１２を加算して復号信号１３を生成する加算部と、復号信号１３と量子化パラメータ１９とに基づいて、予め保持している全ウィーナフィルタセット３１からひとつのウィーナフィルタセット３２を選択するウィーナフィルタセット選択部３０と、当該ウィーナフィルタセット３２の中からウィーナフィルタインデックス２０に該当するウィーナフィルタ係数３４を特定するウィーナフィルタ選択部１０５と、復号信号１３に対してウィーナフィルタ係数３４を用いてウィーナフィルタ処理を施すウィーナフィルタ処理部３５とを備えるように構成した。このため、上記画像符号化装置に対応した画像復号装置を提供することができる。

なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。

１ 入力映像信号、２ ブロック分割部、３ 符号化信号、４ 予測部、５ 予測誤差信号、６ 圧縮部、７ 予測誤差圧縮データ、８ 可変長符号化部、９ ビットストリーム、１０ 局所復号部、１１ 復号予測誤差信号、１２ 予測信号（動き予測画像）、１３ 復号信号（局所復号画像）、１４ ループフィルタ、１５ 参照画像信号、１６ メモリ、１７ 予測信号生成用パラメータ、１８ 基準ブロックサイズ情報、１９ 量子化パラメータ、２０ ウィーナフィルタインデックス。

Claims (4)

1. 動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化装置であって、
   前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測部と、
   前記予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮部と、
   前記圧縮部によって量子化された圧縮データと前記量子化パラメータとから局所復号を行って、前記予測誤差信号の復号値を生成する局所復号部と、
   前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算部と、
   前記局所復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して、前記局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いた前記フィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ部と、
   前記ウィーナフィルタ処理の単位となるブロック毎に、前記動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、前記予測誤差信号の圧縮データと、前記ウィーナフィルタインデックスとを符号化する可変長符号化部とを備えることを特徴とする画像符号化装置。
2. 動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号装置であって、
   前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号部と、
   前記ビットストリームから抽出された量子化パラメータに基づいて、前記ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号部と、
   前記ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測部と、
   前記復号予測誤差信号と前記動き予測画像を加算して復号画像を生成する加算部と、
   前記復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、前記ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して前記復号画像に対してウィーナフィルタ処理を施すフィルタ部とを備えることを特徴とする画像復号装置。
3. 動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化方法であって、
   前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測ステップと、
   前記予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮ステップと、
   前記圧縮ステップで量子化された圧縮データと前記量子化パラメータとから局所復号を行って、前記予測誤差信号の復号値を生成する局所復号ステップと、
   前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算ステップと、
   前記局所復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して前記局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いた前記フィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ処理ステップと、
   前記ウィーナフィルタ処理の単位となるブロック毎に、前記動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、前記予測誤差信号の圧縮データと、前記ウィーナフィルタインデックスとを符号化する可変長符号化ステップとを備えることを特徴とする画像符号化方法。
4. 動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号方法であって、
   前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号ステップと、
   前記ビットストリームから抽出された量子化パラメータに基づいて、前記ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号ステップと、
   前記ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測ステップと、
   前記復号予測誤差信号と前記動き予測画像を加算して復号画像を生成する加算ステップと、
   前記復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、前記ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して前記復号画像に対してウィーナフィルタ処理を施すフィルタ処理ステップとを備えることを特徴とする画像復号方法。

Images