JPWO2003003749A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Abstract

入力映像信号１０１をＭＣブロック単位に分割し、この分割単位で符号化処理を行う場合に、動き補償部１０７で、所定のＭＣブロック単位で動き量を検出して動き補償予測画像１０６ａを生成し、平滑化フィルタ部１２４で、予測画像１０６ａに対して、所定の判断基準に基づき隣り合うＭＣブロックの境界に位置する画素の平滑化を行い、この平滑化で得られた予測画像１０６ｂと入力画像（入力映像信号１０１）との差分によって得られる予測残差信号１０８を符号化する。これにより、ブロック単位の動き補償フレーム間予測（ＭＣ）によって生成される予測フレーム画像に対して、そのＭＣブロック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行うことができ、フレーム間ＭＣを用いた低ビットレートの符号化効率を改善する。

Description

技術分野
本発明は、モバイル映像伝送システム等に適用され、画像を少ない符号化量で伝送蓄積する画像符号化装置、画像復号装置、画像符号化方法、画像復号方法に関する。
背景技術
従来の映像符号化方式は、画像フレームを固定サイズのブロックに分割し、この分割単位で符号化処理を行うように構成されている。従来の映像符号化方式の典型例として、Ｌｅ Ｇａｌｌ．Ｄ：“ＭＰＥＧ：Ａ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ ｆｏｒ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎｓ”，Ｔｒａｎｓ．ＡＣＭ，１９９１，Ａｐｒｉｌに記載のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１符号化方式がある。
ＭＰＥＧ１では、映像の各フレームをマクロブロックという固定ブロック単位に分割し、この単位で符号化済みの局所復号フレーム画像を参照して動き量（又は動きベクトル）を検出し、参照画像の中から類似ブロックを特定し、それを予測データとして使用する動き補償フレーム間予測（ＭＣ：Ｍｏｖｉｎｇ Ｃｏｍｐｅｎｓａｔｉｏｎ）を実施する。この技術によって、映像中に動きがある場合でも動きに追随して予測効率を向上することができ、時間方向に存在する冗長度を削減することができる。更に、予測残差信号に対して８×８画素から成るブロックの単位でＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を施し、空間方向に残る冗長度を削減する。ＭＰＥＧ１を始めとする種々の標準映像符号化方式では、ＭＣとＤＣＴを組み合わせることで映像信号の情報圧縮を行う。
図２０は、従来のＭＰＥＧ１画像符号化方式に基づく画像符号化装置の構成を示すブロック図である。この図２０に示す画像符号化装置への入力映像信号１は、フレーム画像の時間系列であり、以降ではフレーム画像単位の信号を表すものとする。また符号化対象となるフレーム画像の一例を図２１に示す。現フレーム６０１は、１６画素×１６ライン固定の正方矩形領域（マクロブロックと呼ぶ）に分割され、その単位で以下の処理が行われる。
入力映像信号１による現フレームのマクロブロックデータ（現マクロブロック）は、まず動き検出部２へ出力され、ここで、動きベクトル５の検出が行われる。動きベクトル５は、フレームメモリ３に格納されている過去の符号化済みフレーム画像４（以下、局所復号画像４と呼ぶ）の所定の検索領域を参照して、現マクロブロックと類似するパターン（以下、予測画像６という）を見つけ出し、該パターンと現マクロブロックとの間の空間的移動量を求めたものである。
ここで、局所復号画像４は、過去のフレームだけに限定されるものではなく、未来のフレームを先に符号化しておき、これをフレームメモリ３に格納して使用することもできる。未来のフレームを使用すると、符号化順序の入れ替えが生じて処理遅延が増えるものの、過去と未来の間に生じた映像内容の変動を予測しやすくなり、時間冗長度を更に効果的に削減できるメリットがある。
一般にＭＰＥＧ１では、両方向予測（Ｂフレーム予測）と呼んでおり、前フレームのみを使用する前方向予測（Ｐフレーム予測）と、フレーム間予測を行わずにフレーム内だけで符号化を行うＩフレームの３つの符号化タイプを選択的に使用することができる。図２１では、Ｐフレーム予測だけに限り、局所復号画像４を前フレーム６０２と記載している。
図２０に示す動きベクトル５は、２次元の平行移動量で表現される。動きベクトル５の検出方法としては、一般に図２２Ａ〜Ｄに表現するブロックマッチングが用いられる。現マクロブロックの空間位相を中心とした動き探索範囲６０３を設け、前フレーム６０２の動き探索範囲６０３内の画像データ６０４から、差分二乗和もしくは差分絶対値和を最小とするブロックを動き予測データとして求め、現マクロブロックと動き予測データの位置変移量を動きベクトル５とする。
現フレーム内の全マクロブロックに対して動き予測データを求め、これをフレーム画像として表したものが図２１における動き予測フレーム６０５に該当する。以上のＭＣ処理を経て得られた図２１に示す動き予測フレーム６０５と現フレーム６０１との間の差分６０６を取り（図２０に示す減算部２１で取る）、この残差信号（以下、予測残差信号８と呼ぶ）をＤＣＴ符号化の対象とする。具体的に各マクロブロック毎の動き予測データ（以下、予測画像６）を取り出す処理は動き補償部７が行う。この動き補償部７の処理は、動きベクトル５を用いてフレームメモリ３に格納された局所復号画像４から予測画像６を取り出すものである。
予測残差信号８は、ＤＣＴ部９によってＤＣＴ係数データ１０（以降、ＤＣＴ係数１０とも呼ぶ）に変換される。ＤＣＴは図２３に示すように、６１０で示す空間画素ベクトルを、６１１で示す固定の周波数成分を表現する正規直交基底の組に変換する。空間画素ベクトルとして、通常８×８画素のブロック（以下、ＤＣＴブロック）がとられる。ＤＣＴそのものは分離型変換処理であるため、実際上はＤＣＴブロックの水平・垂直の８次元行ベクトル・列ベクトル毎に変換を行う。
ＤＣＴは、空間領域に存在する画素間相関を利用して、ＤＣＴブロック内の電力集中度を局在化させる。電力集中度が高いほど変換効率が良く、自然画像信号に対しては、最適変換であるＫＬ変換に比べ遜色のない性能が得られる。特に自然画像ではＤＣ成分を主軸として低域に電力が集中し、高域では電力が殆ど無くなるため、図２４に示すように、６１２で示す量子化係数を６１３で示すようにＤＣＴブロック内で矢印で示す低域から高域に向けてスキャンし、ゼロランを多く含むようにすることで、エントロピー符号化の効果も含めて全体の符号化効率を高めている。
ＤＣＴ係数１０の量子化は量子化部１１で行われ、ここで得られた量子化係数１２は、可変長符号化部１３でスキャン、ランレングス符号化されて圧縮ストリーム１４に多重され伝送される。また、動き検出部２で検出された動きベクトル５は、後述で説明する画像復号装置において、画像符号化装置と同じ予測画像を生成するために必要となるため、各マクロブロック毎に圧縮ストリーム１４に多重され、伝送される。
また、量子化係数１２は、逆量子化部１５、逆ＤＣＴ部１６を経て局所復号され、この結果が加算部２２で予測画像６と加算されることによって、画像復号装置と同一の復号画像１７が生成される。この復号画像１７は、次フレームの予測に用いられるため、フレームメモリ３に格納される。
次に、従来のＭＰＥＧ１画像復号方式に基づく画像復号装置の構成を図２５に示し、その説明を行う。画像復号装置では、圧縮ストリーム１４を受信したのち、可変長復号部１８で各フレームの先頭を示す同期ワードを検出し、以後、マクロブロック単位に動きベクトル５、量子化ＤＣＴ係数１２を復元する。動きベクトル５は動き補償部７ｄへ出力され、動き補償部７ｄは上記画像符号化装置の動作と同様、フレームメモリ１９（フレームメモリ３と同じように使用）から動きベクトル５だけ動いた画像部分を予測画像６として取り出す。量子化ＤＣＴ係数１２は、逆量子化部１５ｄ、逆ＤＣＴ部１６ｄを経て復号された後、予測画像６と加算部２３で加算されて最終的な復号画像１７となる。復号画像１７は、所定の表示タイミングで図示せぬ表示デバイスへ出力され、そこで映像が再生される。
発明の開示
しかしながら、従来の装置においては、ＭＣはその単位となるブロック（以下、ＭＣブロック、上記ＭＰＥＧ１の例ではマクロブロック）内の全画素が同一の動きを持つことを前提として動き量の検出が行われるため、ＭＣブロックを空間配置して構成される予測画像では、ＭＣブロック境界において、不連続性が知覚される信号波形が現れる可能性がある。この不連続波形は、残差信号に十分な符号量が割り当てられる場合には残差成分の足し込みで補われるが、高い圧縮率での符号化を実施する場合、十分な残差信号の表現ができず、不連続境界が目に付く歪みとして知覚されることがある。
また、ＤＣＴも固定ブロック内で閉じた直交変換であるため、変換基底の係数が粗い量子化によって削られる場合、ブロック間を自然に繋げる信号波形が再構成できず、ブロック間で不自然な歪み（ブロック歪み）が発生することが指摘されてきた。
前者のＭＣブロック境界の不連続性を解決する手段として、オーバーラップ動き補償（以下、ＯＢＭＣと呼ぶ）が提案されている。ＯＢＭＣは、図２６Ａ，Ｂに示すように、各ＭＣブロックにおいて、自身の動きベクトルで特定した予測データに、その周辺のＭＣブロックの持つ動きベクトルで特定した予測データを重み付きで加算することで最終的な予測データを求める技術である。
図２６Ａにおいて、フレームＦ（ｔ）は、フレームＦ（ｔ−１）を参照画像として、参照画像中から各ＭＣブロック（例えばＡ〜Ｅ）単位に予測データを取り出す。通常のＭＣは、そのままこれらの予測データを使用するが、ＯＢＭＣでは、ブロックＣの予測画像Ｐｃを決定するに当たって、図２６Ｂに示すような、周辺のブロックＡ、Ｂ、Ｄ、Ｅの動きベクトルＭＶ（Ａ）、ＭＶ（Ｂ）、ＭＶ（Ｃ）、ＭＶ（Ｄ）を用いてブロックＣの位置に該当する予測データをそれぞれ取り出す。この取り出しでは、Ｐ｛Ｃ、ＭＶ（Ａ）｝が、ＭＶ（Ａ）を使ってＣの位置の予測データを取り出す処理を意味する。この取り出された各予測データを次式のようにＷ１〜Ｗ５で重み付けして加算する。
Ｐｃ＝Ｗ１×Ｐ｛Ｃ、ＭＶ（Ｃ）｝＋Ｗ２×Ｐ｛Ｃ、ＭＶ（Ａ）｝＋Ｗ３×Ｐ｛Ｃ、ＭＶ（Ｂ）｝＋Ｗ４×Ｐ｛Ｃ、ＭＶ（Ｄ）｝＋Ｗ５×Ｐ｛Ｃ、ＭＶ（Ｅ）｝
この際、通常重みはブロックＣの中心からブロック境界に向けて、ブロックＣのもとの予測データの影響が小さくなっていくように設定される。このような処理により、自身の動きに周辺領域の動き量がオーバーラップされて予測画像が決定されるため、ＭＣブロックの内外の画素間で波形の連続性が保たれて境界が目立ちにくくなるという利点がある。
しかし、ＯＢＭＣでは、自身の動きベクトルでの予測データの取り出しだけでなく、周囲のＭＣブロックの動きベクトルによる予測データの取り出し処理と、更にそれらの重み付け加算処理を、全てのＭＣブロックに対して実行するため、演算負荷が高いという問題がある。
また、映像符号化における動き量検出では、被写体の自然な動きに即した動き量よりも、予測残差の電力が最小になることを規範として検出を行うため、ノイズを多く含む領域などでは実際の動きに即していない動きが検出されることがあり、そういった箇所ではＯＢＭＣで周辺の動き量の影響を重ね合わせることで必要以上にＭＣブロックが平滑化されてしまったり、二線ぼけが発生したりという問題がある。
一方、後者のＤＣＴのブロック歪みを解決する手段としては、ループ内フィルタが提案されている。ループ内フィルタは、符号化・局所復号を経た予測残差信号を予測画像と加算して得られる復号画像に対して、そのＤＣＴブロックの境界に対して平滑化フィルタを施すものである。これは、以降のフレームに使用する参照画像からブロック歪みを除去することでＤＣＴ量子化による歪みの影響をＭＣに持ち込まない手法であるが、ＭＣをブロック単位で実施する限り、ＭＣブロック間の不連続は依然として避けられない。また、サブバンド符号化やブロックを跨る基底変換など、ブロック構造に依存しない残差符号化を行う場合は、ブロック境界での不連続波形の存在により、符号化効率上の不利を避けることができないという問題がある。
本発明はかかる点に鑑みてなされたものであり、ブロック単位の動き補償フレーム間予測（ＭＣ）によって生成される予測フレーム画像に対して、そのＭＣブロック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行うことができ、これによってフレーム間ＭＣを用いた低ビットレートの符号化効率を改善することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法を提供することを目的とする。
上記課題を解決するために、本発明の画像符号化装置は、入力画像について所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測手段と、上記動き補償予測手段により得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、上記入力画像と上記平滑化された予測画像との差分によって得られる予測残差信号を符号化する予測残差符号化手段とを具備することを特徴としている。
また、これに対応する画像復号装置として、本発明の画像復号装置は、所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測手段と、上記動き補償予測手段により得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、符号化側からの予測残差信号を復号する予測残差復号手段と、上記予測残差復号手段で得られた復号予測残差信号と上記平滑化された予測画像とを加算して復号画像を得る加算手段とを具備することを特徴としている。
また、上記課題を解決するために、本発明の画像符号化方法は、入力画像について所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測ステップと、上記動き補償予測ステップにより得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステップと、上記入力画像と上記平滑化された予測画像との差分によって得られる予測残差信号を符号化する予測残差符号化ステップとを具備することを特徴としている。
また、これに対応する画像復号方法として、本発明の画像復号方法は、所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測ステップと、上記動き補償予測ステップにより得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステップと、符号化側からの予測残差信号を復号する予測残差復号ステップと、上記予測残差復号ステップで得られた復号予測残差信号と上記平滑化された予測画像とを加算して復号画像を得る加算ステップとを具備することを特徴としている。
この構成によれば、予測画像に対して所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行うので、部分画像領域の不連続を是正する平滑化処理だけを許容する方向に修正を行うことが可能となり、これによって予測残差に生じる不連続波形を抑圧して符号化効率を向上させることができる。その結果、ブロック単位の動き補償フレーム間予測（ＭＣ）によって生成される予測フレーム画像に対して、そのＭＣブロック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行うことができ、これによってフレーム間ＭＣを用いた低ビットレートの符号化効率を改善することができる。
発明を実施するための最良の形態
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像符号化装置の構成を示すブロック図、図２は、画像復号装置の構成を示すブロック図である。図１に示す画像符号化装置は、ＭＣにより時間方向に存在する冗長度を削減し、ＭＣの結果得られた予測画像に対し、個々のＭＣブロック間の空間的不連続性を定量化し、その状況に応じて適応的に平滑化フィルタ処理を施すよう構成し、効率的な映像符号化を行うものである。
この画像符号化装置において、ＭＣの手順は従来例に述べた方法とほぼ同一であり、その手順の概要は図２１に、動きベクトル検出に用いられるブロックマッチング処理の概要は図２２Ａ〜Ｄに示した通りである。但し、ＭＣブロックは、図３Ａ〜ＧにＭＣモード１〜７で示すようにマクロブロックを、種々の矩形領域に均等分割した単位で定義できるようにし、どのようなＭＣブロック形状を使用するかを示す識別情報を符号化モード情報として伝送するようにする。
例えば図３Ａに示すＭＣモード１ではマクロブロックそのものをＭＣブロックとするため、マクロブロックにつき１本の動きベクトルが定まる。それに対して図３Ｂに示すＭＣモード２では、マクロブロックを左右半分に分割した領域をＭＣブロックとし、マクロブロック当たり２本の動きベクトルが定まる。同様に、図３Ｇに示すＭＣモード７では１マクロブロック当たり１６本の動きベクトルが定まる。
平滑化処理を経た予測画像と入力画像との差分によって得られる残差信号に対して、直交変換を行った後、その係数の量子化、エントロピー符号化を行う手順も従来例で図２４を参照して説明した通りとする。
以下、それらの図を参照しながら、特に本実施形態の特徴である平滑化フィルタ処理を中心として、図１および図２に示す画像符号化装置および画像復号装置の動作を説明する。
最初に画像符号化装置の動作を説明する。入力映像信号１０１は、フレーム画像の時間系列であり、以後はフレーム画像単位の信号を表すものとする。但し、符号化対象となるフレーム画像は、図２１に示す現フレーム６０１であるものとする。
現フレームは、以下の手順で符号化される。入力映像信号１０１は、マクロブロックごとに動き検出部１０２に入力され、ここで、動きベクトル１０５の検出が行われる。動きベクトル付与の単位となるＭＣブロックについては、図３Ａ〜Ｇに示した形状のうち、最も符号化効率のよいものが選択されるものとする。動き補償部１０７は、動きベクトル１０５を用いてフレームメモリ１０３に格納された参照画像１０４（符号化・局所復号済みのフレーム画像）を参照して、各マクロブロックの予測画像１０６ａを取り出す。
動き検出部１０２と動き補償部１０７とは、マクロブロック毎に処理を行うが、入力映像信号１０１との差分信号（予測残差信号１０８）は、フレームを単位として得るものとする。つまり、個々のマクロブロックの動きベクトル１０５は、フレーム全体に渡って保持され、予測画像１０６ａはフレーム単位の画像として構成される。
次いで、平滑化フィルタ部１２４において、予測画像１０６ａのＭＣブロック間平滑化処理を行う。この処理内容は後述で詳細に説明する。平滑化後の予測画像１０６ｂは、減算部１３１で入力映像信号１０１から差し引かれ、これによって予測残差信号１０８が得られる。この予測残差信号１０８は、直交変換部１０９によって直交変換係数データ１１０に変換される。この直交変換には例えばＤＣＴが用いられる。直交変換係数データ１１０は、量子化部１１１を経て、可変長符号化部１１３でスキャン、ランレングス符号化されて圧縮ストリーム１１４に多重され伝送される。
この際、マクロブロックごとに決定されるフレーム内（イントラ）符号化とフレーム間（インター）符号化との何れの符号化を行ったかをも示す符号化モード情報１２３も多重され、インターモードの場合は、動きベクトル１０５がマクロブロック毎に圧縮ストリーム１１４に多重され伝送される。また、量子化係数１１２は、逆量子化部１１５、逆直交変換部１１６を経て局所復号され、この結果が加算部１３２で予測画像１０６ｂと加算されて、画像復号装置側と同一の復号画像１１７が生成される。復号画像１１７は、次フレームの予測の参照画像１０４として用いるため、フレームメモリ１０３に格納される。
次に、図２を参照して画像復号装置の動作説明する。この画像復号装置では、圧縮ストリーム１１４を受信したのち、可変長復号部１１８で各フレームの先頭を示す同期ワードを検出し、以後、マクロブロック単位に符号化モード情報１２３、動きベクトル１０５、量子化直交変換係数１１２が復元される。動きベクトル１０５は動き補償部１０７へ出力され、動き補償部１０７は画像符号化装置の動作と同様、フレームメモリ１２２（フレームメモリ１０３と同じように使用）から動きベクトル１０５だけ動いた画像部分を予測画像１０６ａとして取り出す。
予測画像１０６ａは、平滑化フィルタ部１２４を経て、平滑化された予測画像１０６ｂとして出力される。量子化直交変換係数１１２は、逆量子化部１２０、逆直交変換部１２１を経て復号された後、加算部１３３で予測画像１０６ｂと加算されて最終的な復号画像１１７となる。復号画像１１７は、フレームメモリ１２２に格納されるとともに、所定の表示タイミングで図示せぬ表示デバイスへ出力され、そこで映像が再生される。
次に、平滑化フィルタ部１２４の動作を説明する。まず、平滑化フィルタが必要となる理由について図４を参照して説明する。図４は、入力画像１４１、ＭＣブロック間の不連続が生じない予測画像１４２および当該予測画像１４２を用いた予測残差画像１４３と、ＭＣブロック間の不連続が生じる予測画像１４４および当該予測画像１４４を用いた予測残差画像１４５を示している。ブロックマッチングなど、一般の映像符号化方式における動き検出アルゴリズムでは、ＭＣブロックを単位に動きベクトルが検出される。
つまり、ＭＣブロック内に含まれる画素は、すべて同じ動き量を持つ。一般にブロック単位ＭＣでは、当該ＭＣブロックにとって最も予測残差を低減させる動きベクトルを検出するため、隣接ＭＣブロックとの空間的連続性は考慮されない。そのため図４に示すように、ＭＣブロック間に不連続波形１４６が生じることがある。このような不連続波形１４６は残差信号に残留し、符号化対象信号となる。ここで注意すべきは、直交変換自体は、上記ＭＣブロックの中に閉じて実施するため、当該フレームにおける符号化には、影響は与えない。
しかし、当該フレームの予測残差符号化において、十分にこのような特異波形が符号化できない場合は、その波形成分は局所復号画像に残留し、以降のフレームの予測画像においてＭＣブロックの内部に現れることになる。その場合、予測残差信号の符号化効率に影響がある。自然画像においては、本来ＭＣブロックの境界は、スムーズに連結されるはずであり、平滑化フィルタ部１２４による処理は、この仮定に基づいてＭＣブロック間に存在する不連続波形を平滑化することにより、自然映像に近い予測画像を得ることを目的とする。
平滑化フィルタ部１２４の構成を図５に示し、その説明を行う。まず、ブロック活性度算出部１２５において、予測画像１０６ａの固定ブロックＸ単位にブロック活性度Ｓ（Ｘ）を決定する。ブロック活性度算出部１２５における処理の流れを図６に示す。Ｓ（Ｘ）の決定は、図７に示すように周囲のブロックとの関係性に基づく。ここで、ブロックＡ〜Ｅはブロック活性度を決定する単位であり、必ずしもＭＣブロックと同一ではない。例えば、ブロックＡはそれより大きなサイズのＭＣブロック１４７の一部分であることを示す。つまり、ブロック活性度は、図３Ａ〜Ｇに示したＭＣブロックの大きさに関係なく、固定のサイズのブロックを対象とする。まず、フレーム全域に渡ってＳ（Ｘ）を所定の初期値Ｓ０（例えばゼロ）に設定する。次いで、ブロックＣが含まれるマクロブロックの符号化モード情報１２３がイントラモードを示しているとき、ブロック活性度Ｓ（Ｘ）は下記ルール１によって決定される（ステップＳＴ１）。
（ルール１）
▲１▼現在のＳ（Ａ）をｍａｘ｛Ｓ（Ａ）、Ｓ０＋１｝に更新
▲２▼現在のＳ（Ｂ）をｍａｘ｛Ｓ（Ｂ）、Ｓ０＋１｝に更新
▲３▼現在のＳ（Ｃ）をｍａｘ｛Ｓ（Ｃ）、Ｓ０＋２｝に更新
▲４▼現在のＳ（Ｄ）をｍａｘ｛Ｓ（Ｄ）、Ｓ０＋１｝に更新
▲５▼現在のＳ（Ｅ）をｍａｘ｛Ｓ（Ｅ）、Ｓ０＋１｝に更新
これにより、イントラ符号化されるブロックの周辺はブロック活性度が高く設定される。一般にイントラ符号化における予測画像の解像度は、インター符号化による予測画像よりも低いことから、イントラモードのマクロブロック内のブロックでは、その境界が目立ちやすくなる。ステップＳＴ１の処置は、そのような領域における平滑化処理の優先度を上げることに相当する。
次にブロックＣが含まれるマクロブロックの符号化モード情報１２３がインター符号化を示しているときのＳ（Ｘ）の設定ルールについて述べる。まず、現在の予測画像が、両方向予測を使用して生成されたもの（従来例に述べたＢフレーム予測）であるかどうかを判断する（ステップＳＴ２）。
両方向予測を使用可能な場合、各マクロブロックごとに予測の方向が変わり得る。予測の方向がブロック間で異なる場合は、その両者の境界に空間的な連続性が仮定できない。すなわち、この場合はブロックＣと隣り合うブロックＡ、Ｂ、Ｄ、Ｅの予測の方向が同じかどうかに関して判断を行い、処理を切り替える（ステップＳＴ３）。
片方向予測のみを使用した場合か、両方向予測可能なフレームであって且つブロックＣの予測の方向が同じ場合、下記ルール２によってブロック活性度を更新する（ステップＳＴ４）。
（ルール２）
▲１▼もしブロックＡが含まれるマクロブロックがインターモードであれば、
現在のＳ（Ａ）をｍａｘ｛Ｓ（Ａ）、Ｋ｝に更新、かつ
現在のＳ（Ｃ）をｍａｘ｛Ｓ（Ｃ）、Ｋ｝に更新
ここで、Ｋ＝２（ｍｖｄ（Ａ、Ｃ）≧３のとき）
Ｋ＝１（０＜ｍｖｄ（Ａ、Ｃ）＜３のとき）
Ｋ＝０（ｍｖｄ（Ａ、Ｃ）＝０のとき）
▲２▼もしブロックＢが含まれるマクロブロックがインターモードであれば、
現在のＳ（Ｂ）をｍａｘ｛Ｓ（Ｂ）、Ｋ｝に更新、かつ
現在のＳ（Ｃ）をｍａｘ｛Ｓ（Ｃ）、Ｋ｝に更新
ここで、Ｋ＝２（ｍｖｄ（Ｂ、Ｃ）≧３のとき）
Ｋ＝１（０＜ｍｖｄ（Ｂ、Ｃ）＜３のとき）
Ｋ＝０（ｍｖｄ（Ｂ、Ｃ）＝０のとき）
▲３▼もしブロックＤが含まれるマクロブロックがインターモードであれば、
現在のＳ（Ｄ）をｍａｘ｛Ｓ（Ｄ）、Ｋ｝に更新、かつ
現在のＳ（Ｃ）をｍａｘ｛Ｓ（Ｃ）、Ｋ｝に更新
ここで、Ｋ＝２（ｍｖｄ（Ｄ、Ｃ）≧３のとき）
Ｋ＝１（０＜ｍｖｄ（Ｄ、Ｃ）＜３のとき）
Ｋ＝０（ｍｖｄ（Ｄ、Ｃ）＝０のとき）
▲４▼もしブロックＥが含まれるマクロブロックがインターモードであれば、
現在のＳ（Ｅ）をｍａｘ｛Ｓ（Ｅ）、Ｋ｝に更新、かつ
現在のＳ（Ｃ）をｍａｘ｛Ｓ（Ｃ）、Ｋ｝に更新
ここで、Ｋ＝２（ｍｖｄ（Ｅ、Ｃ）≧３のとき）
Ｋ＝１（０＜ｍｖｄ（Ｅ、Ｃ）＜３のとき）
Ｋ＝０（ｍｖｄ（Ｅ、Ｃ）＝０のとき）
▲５▼もしブロックＡ、Ｂ、Ｄ、Ｅがイントラ符号化であれば、
それらのブロックの活性度は変更しない。
上記において、ｍｖｄ（Ｘ、Ｙ）とは、隣り合うブロックＸ、Ｙの動きベクトルの各成分ごとの差分値のうち大きい値を示す。また、ｍａｘ（ａ、ｂ）とは、ａ、ｂのうち大きい方の値を示す。以上のブロック活性度の更新によって、動きベクトルの差が激しいブロック間に高いブロック活性度が与えられる。
ｍｖｄ（Ｘ、Ｙ）＝０なる場合（ブロックＸとＹとの間の動きベクトルの差がない場合）は、ブロック境界が完全に空間的連続性を保っている場合を示しており、この場合は平滑化の必要がないため、ブロック活性度は最低値に設定される。
一方、両方向予測を使用可能なフレームで、且つブロックＣに対してブロックＡ、Ｂ、Ｄ、Ｅの予測の方向が異なる場合、又は前方向・後方向の予測値を加算平均して予測画像を合成するモードでは、動きベクトルの差分とは無関係に予測画像の空間的連続性が断ち切られているため、現在のＳ（Ｘ）をｍａｘ｛Ｓ（Ｘ）、１｝（ＸはＡ〜Ｅの各ブロック）に更新する（ステップＳＴ５）。以上の処理をフレーム内のすべての固定ブロックＸについて終了するまで実施し（ステップＳＴ６）、ブロック活性度Ｓ（Ｘ）１２６の設定を完了する。
ブロック活性度算出部１２５によって設定されたブロック活性度Ｓ（Ｘ）１２６を用いて、フィルタ処理部１２７において、予測画像１０６ａに対してＭＣブロック間の平滑化処理を行う。平滑化処理の過程では、一旦平滑化フィルタリングを行った結果１２８が過剰な平滑化にならないよう、後処理部１２９において、無駄なフィルタリング処理を修正する。この処理過程を図８のフローチャートに示し、また、横方向に隣接したブロック間での処理対象画素の様子を図９に示し、その説明を行う。
但し、図９において、画素ｒ_１〜ｒ_３はブロックｎに含まれ、画素ｌ_１〜ｌ_３はその左隣のブロックｎ−１に含まれる。以降の説明では、ブロックｎとブロックｎ−１とは、互いに異なるベクトルＭＶ（ｎ）とＭＶ（ｎ−１）を持ち、ｒ_１とｌ_１との間はＭＣブロック境界ＢＤであるものとする。縦方向に隣接したブロック間での処理対象画素も同様に定義するものとする。
まず、ブロック境界差分値ｄ＝｜ｒ_１−ｌ_１｜（ここで、ｒ_１，ｌ_１はそれぞれ画素ｒ_１，ｌ_１の画素値を表す）の大きさが、ブロック活性度Ｓに応じて定まる閾値α（Ｓ）を超えるかどうかを判断する（ステップＳＴ７）。以下のフィルタ処理では、２つのブロックの境界に対して処理を行うため、処理対象である２つのブロックのＳ（Ｘ）のうち、大きい方の値をブロック活性度Ｓとして用いる。例えば、図７においてブロックＢとブロックＣとの境界に対してフィルタリングを行う場合、Ｓ（Ｂ）＞Ｓ（Ｃ）ならば、Ｓ（Ｂ）の値をブロック活性度Ｓとして用いる。差分値ｄが閾値α（Ｓ）以下の場合は、画素ｒ_１〜ｒ_３、ｌ_１〜ｌ_３の領域にはフィルタ処理を行わないものとする。一方、差分値ｄが閾値α（Ｓ）を超える場合、Ｓに応じて、フィルタをかける画素領域を切り替えてフィルタ処理を実施する（ステップＳＴ８）。
この結果、Ｓ＝０ならば、そのブロック境界に不連続はないものとしてフィルタ処理をスキップする。Ｓ＝１ならば、画素ｒ_１と画素ｌ_１との２画素に対してフィルタリング処理を実施する（ステップＳＴ９）。フィルタリング処理は、例えば図９に示す様に、画素ｒ_１に対して画素ｒ_１、ｌ_１、ｒ_２の３点を使用するようにし、画素ｌ_１に対して画素ｌ_１、ｌ_２、ｒ_１の３点を使用するようにしたローパスフィルタＦを使用するなどの方法があるが、これは任意のフィルタを利用可能である。例えば、画素ｒ_１、ｌ_１を中心として左右（上下）２画素を利用する５タップフィルタを用いてもよい。別のフィルタの例としては、図１０Ａに示すように、画素ｌ_１のフィルタリングの際に、画素ｒ_１および画素ｒ_１のベクトルＭＶ（ｎ）で取り出した画素ｌ_１の位置の予測画素値ｌｒ_１を使用したり、図１０Ｂに示すように、画素ｒ_１のフィルタリングの際に、画素ｌ_１および画素ｌ_１のベクトルＭＶ（ｎ−１）で取り出した画素ｒ_１の位置の予測画素値ｒｌ_１を使用するなどの構成も考えられる。予測画素値ｌｒ_１，ｒｌ_１はもともと、フレームメモリ内の参照画像領域では画素ｒ_１、ｌ_１と空間的に連続であった画素値であり、これによってより自然なブロック境界の平滑化が可能となる。
Ｓ＝２の場合は、画素ｒ_１、ｌ_１に加え、画素ｒ_２、ｌ_２も平滑化の対象画素とする（ステップＳＴ１０、ステップＳＴ１１）。Ｓ＝２のケースでは、ブロック活性度が高いため急峻な不連続境界になっていることが多く、平滑化の度合を強めることで信号の連続性を高めることを目的とする。
以上の処理をフィルタ処理部１２７において実施する。フィルタ処理された予測画素値１２８は、後処理部１２９において、符号化効率に有効となるよう修正される。後処理部１２９の処理は図８のステップＳＴ１２、１３に該当する。後処理部１２９では、フィルタを施す前の画素値とフィルタを施した後の画素値との差分値Δを、ブロック活性度Ｓに応じて定まる閾値Ｔｈ（Ｓ）によって制御する。
具体的には、図１１に示すような関数（横軸：Δ、縦軸：Δ修正値）を定め、修正値を決定する。ここで、閾値Ｔｈ（Ｓ）は最大限許容する差分値であり、その値以上のΔが発生する場合は、値の大きさに応じて差分が小さくなる方向に修正をかける。Δが閾値Ｔｈ（Ｓ）以上になる場合は、フィルタリングによって得られる差分がＭＣブロックの不連続に起因するものでなく、むしろ元々画像内に存在するエッジ成分に対するフィルタリングの結果であることが推定される。
このように、第１実施形態の画像符号化装置および画像復号装置によれば、平滑化フィルタ部１２４による上記修正措置により、ＭＣブロックの不連続を是正するフィルタリングだけを許容する方向に修正を行うことが可能となる。以上の処理を通じて予測画像１０６ｂが出力され、それによって予測残差に生じる不連続波形を抑圧して符号化効率を向上させることができる。
なお、図７におけるブロック活性度の設定に際して、インターモードでは、ｍｖｄ（Ｘ、Ｙ）の値の範囲に対応してブロック活性度を分けているが、範囲の決め方は任意である。特に、ｍｖｄ（Ｘ、Ｙ）が、ゼロかゼロでないかという基準だけでインターモードの場合のブロック活性度を決めるようにしてもよい。更に、図３Ａ〜Ｇ示した種々のＭＣブロック形状の内、動きベクトルの付与される単位が小さくなってマクロブロック当たりの動きベクトルの本数が増えるほど、そのマクロブロックおよびその近傍での動きが激しいといえるため、図３Ａ〜Ｇに示したＭＣモード１〜７のうち、何れが選択されたかを基準としてブロック活性度を設定するようにしてもよい。
また、本平滑化フィルタ処理は、フレーム単位でＯＮ／ＯＦＦできるように構成することもできる。平滑化フィルタ部１２４の処理自体は、ＭＣブロック単位で最適に選ばれた予測画像データを変更する処理になるため、その処理によって符号化効率上良い影響だけでなく、悪い影響を与えることもある。このため、画像符号化装置において、フレーム単位の映像解析を行い、ＭＣブロック間の不連続を生じさせるような動きが存在するかどうかを事前に判断して、不連続が発生する場合には、平滑化フィルタ部１２４をＯＮにし、そうでない場合はＯＦＦにする。
映像解析の例としては、入力映像信号１０１と予測画像１０６ａとの間の暫定的な残差を評価する、などがある。残差の信号分布見て、残差符号化処理上、不利の少ないフレームでは平滑化フィルタ処理が必要ないため、フィルタをＯＦＦにし、不利が多いフレームではフィルタをＯＮにする。例えば、全体の残差信号量におけるＭＣ境界での残差信号量の割合が、ある一定のしきい値以上の場合はフィルタをＯＮにし、しきい値以下の場合はフィルタをＯＦＦにすることが考えられる。又は平滑化処現を実施する場合と実施しない場合とでフレーム単位での符号化効率を比較した後、ＯＮ／ＯＦＦを決定する、という方法もある。ＯＮ／ＯＦＦの結果は、圧縮ストリーム１１４中のフレーム先頭のヘッダ情報の一部（平滑化の有無を示すビット情報）として伝送する。このような構成をとることによって、非定常な映像信号に対してより適応的に平滑化処理を適用することができる。
（第２実施形態）
図１２は、本発明の第２実施形態に係る画像符号化装置の構成を示すブロック図、図１３は、画像復号装置の構成を示すブロック図である。第２実施形態では、Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓと呼ばれる技術を応用した圧縮符号化方式による映像符号化・復号装置に、上記で説明した本発明の平滑化フィルタを導入する装置に関するものである。Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓを用いた映像符号化方式については、Ｒ Ｎｅｆｆ ｅｔ．ａｌ、“Ｖｅｒｙ Ｌｏｗ Ｂｉｔ−ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ．”，ＩＥＥＥ Ｔｒａｎｓ、ｏｎ ＣＳＶＴ、ｖｏｌ．７、ｐｐ．１５８−１７１、Ｆｅｂ．１９９７などで提案されている。Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓでは、符号化対象となる予測残差画像信号ｆは、ｎ種類の基底ｇ_ｋ∈Ｇ（１≦ｋ≦ｎ）からなる予め用意される過完備（ｏｖｅｒ−ｃｏｍｐｌｅｔｅ）な基底セットＧを用いて、次式のように表現することができる。

ここで、ｍは基底探索総ステップ数、ｉは基底探索ステップ番号、ｒ_ｉは第ｉ−１ステップ目の基底探索まで完了した後の予測残差画像信号であり、これをそのまま第ｉステップ目の基底探索の対象となる予測残差画像信号とする。ただし、ｒ_０＝ｆとする。またｓ_ｉおよびｇ_ｋｉは、第ｉステップ目の基底探索においてｒ_ｉ上の任意の部分領域ｓ（フレーム内の部分領域）と基底セットＧに含まれる任意の基底ｇ_ｋのうち、ｓとｇ_ｋの内積値を最大とする組み合わせを選択することによって得られる部分領域および基底である。基底探索をこのように行えば、基底探索ステップ数ｍが大きければ大きいほどｒ_ｍの持つエネルギーは小さくなる。これは、予測残差画像信号ｆの表現に使用する基底の数が多ければ多いほど信号をよく表現できることを意味する。
符号化される情報は、各基底探索ステップにおいて、
▲１▼ｇ_ｋｉを示すインデックス（ｇ_ｋは符号化側、復号側で共通にして保持しており、そのインデックス情報だけを交換することで基底を特定することができる）、
▲２▼内積値＜ｓ_ｉ，ｇ_ｋｉ＞（基底係数に該当する）、
▲３▼ｓ_ｉの中心点の画面内位置情報ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ）である。
これらのパラメータの組をまとめて、アトムと呼ぶ。この画像信号表現および符号化方法によれば、符号化するアトムの数を増やす、すなわち基底探索総ステップ数ｍを増やすほど符号化量が増加し、歪みが小さくなる。
一方で、上述の論文におけるＭａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓによる映像符号化では、ＭＣはＭａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓと独立に実施し、その予測残差信号に対してアトムの抽出を行っている。この場合、アトムはＭＣブロックをまたがった位置において抽出される可能性がある。ＭＣをブロック構造に依存した方式にしている限り、上記第１実施形態に述べたようなＭＣブロック間の不連続波形が残差信号に残留し、本来符号化すべきでない波形を符号化する不利を被る。
従来は、その解決策として周辺のＭＣブロックの動きベクトルを配慮したオーバラップＭＣなどが利用されているが、オーバラップＭＣでは、より多くの予測値を参照して重み付け和による最終予測値の算出を行うため、演算のコストが大きく、かつＭＣブロック内の画素値に対して適応的な平滑化を行うことができないため、必要以上に予測画像をぼかしてしまうという問題がある。第１実施形態に述べたようなＭＣブロック境界で適応平滑化フィルタ処理を行うことで、必要以上に予測画像をぼかさずに残差信号の平滑化を行うことができる。
図１２に示す画像符号化装置において、入力映像信号２０１はフレーム画像の時間系列であり、以後はフレーム画像単位の信号を表すものとする。但し、符号化対象となるフレーム画像は、図２１に示した現フレーム６０１に該当する。現フレームは、以下の手順で符号化される。
まず、現フレームは動き検出部２０２へ出力され、上記第１実施形態における動き検出部１０２と全く同一の一手順で、動きベクトル２０５の検出が行われる。ただし、動き検出部２０２では、イントラ符号化をＤＣ成分とＡＣ成分とに分離し、ＤＣ成分はその符号化結果を予測画像の一部として使用し、ＡＣ成分は予測残差の一部として符号化する。これはＭａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓを利用するために、フレーム単位で一括して予測画像を得るための処理である。
従って、動き検出部２０２においてイントラモードと選択されると、そのマクロブロックの予測画像は符号化・局所復号されたイントラＤＣ成分で埋められる。イントラＤＣ成分は、ＤＣ符号化部２２５において周辺画像データからの予測、量子化を経て符号化データ２２６として可変長復号部２１３へ出力され、圧縮ストリーム２１４に多重される。
動き補償部２０７は、イントラモードのマクロブロックでは上記のようにそのＤＣ成分を使用して、またインターモードのマクロブロックでは動きベクトル２０５を用いてフレームメモリ２０３中の局所復号画像２０４を参照し、現フレームの予測画像２０６ａを作り出す。動き検出部２０２と動き補償部２０７とは、マクロブロックごとに処理を行うが、入力映像信号２０１との差分信号（予測残差信号２０８）はフレームを単位として得るものとする。つまり、個々のマクロブロックの動きベクトル２０５は、フレーム全体に渡って保持され、予測画像２０６ａはフレーム単位の画像として構成される。
次いで、平滑化フィルタ部２２４において、予測画像２０６ａのＭＣブロック間平滑化処理を行う。平滑化フィルタ部２２４の動作は、符号化モード情報２２３および動きベクトル２０５を用いて、第１実施形態と同様の処理で実現される。平滑化後の予測画像２０６ｂは、減算部２４１で入力映像信号２０１から差し引かれ、予測残差信号２０８が得られる。
続いて、アトム抽出部２０９において、予測残差信号２０８に対して上述のＭａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓのアルゴリズムに基づきアトムパラメータ２１０が生成される。基底セットｇ_ｋ２１１は、基底コードブック２１０に格納される。Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓアルゴリズムの性質上、初期の探索ステップで部分信号波形をできるだけ正確に表現できる基底を見つけることができれば、より少ないアトム、すなわち少ない符号量で部分信号波形を表現できる。アトムは、フレーム全域に渡って抽出される。アトムパラメータのうち位置情報の符号化のため、アトムの符号化順序が復号画像に影響を与えないことを用いて、フレームの左上隅を原点とする２次元座標上で順番に並ぶようにソートを行い、かつマクロブロックの単位にアトムをカウントするように符号化順序を構成する。このようにして、マクロブロック単位に、その内部に含まれるアトムの数分だけ、アトムパラメータ２１２（基底インデックス、位置情報、基底係数）を符号化する構成とする。
アトム復号部２１５では、それらのアトムパラメータ２１２から局所復号残差信号２１６を復元し、平滑化された予測画像２０６ｂと加算部２４２で加算することによって、局所復号画像２１７を得る。局所復号画像２１７は、次のフレームのＭＣに用いられるため、フレームメモリ２０３に格納される。
次に、図１３を参照して画像復号装置を説明する。この画像復号装置では、圧縮ストリーム２１４を受信したのち、可変長復号部２２９で各フレームの先頭を示す同期ワードを検出し、以後、マクロブロック単位に、符号化モード情報２２３、動きベクトル２０５、アトムパラメータ２１２が復元される。動きベクトル２０５は動き補償部２０７に出力され、その出力２０６ａが平滑化フィルタ部２２４に入力され、ここで予測画像２０６ｂが得られる。アトムパラメータ２１２は、アトム復号部２１５で復号される。基底は、基底コードブック２１０に基底インデックスを与えることで取り出される。アトム復号部２１５の出力２１６は加算部２４３で予測画像２０６ｂと加算されることにより復号画像２１７となる。この復号画像２１７は、以降のフレームのＭＣに用いられるため、フレームメモリ２３０に格納される。復号画像２１７は所定の表示タイミングで図示せぬ表示デバイスへ出力され、そこで映像が再生される。
このように、第２実施形態の画像符号化装置および画像復号装置によれば、Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓと呼ばれる技術を応用した圧縮符号化方式による映像符号化・復号装置においても上記第１実施形態と同様の効果を得ることができる。
（第３実施形態）
本発明の第３実施形態を説明する。この第３実施形態は、別の平滑化フィルタ部を説明するものである。本平滑化フィルタ部は、上記第１及び第２実施形態で説明した平滑化フィルタ部１２４、２２４の変形であり、それらと単純に置き換えられるため、図１、２又は図１２、１３に示した画像符号化装置、画像復号装置に適用可能である。更に内部構成も図５と同じである。
第３実施形態の平滑化フィルタ部では、ブロック活性度算出部１２５において、活性度情報をブロックそのものに対してでなく、ブロック境界に対して定義する。これにより、第１及び第２実施形態で記載したように、ブロック間で活性度が異なる状況において用いる活性度を選択することなく、一意に活性度を割り当ててフィルタを制御することができる。
ブロック境界に対して活性度を定義するため、図１４に示すように、１つのブロック（ここではＣ）に対する左と上の２つの境界に対して、それぞれ活性度Ｓ_Ｌ（Ｃ）とＳ_Ｕ（Ｃ）を定義する。Ｓ_Ｌ（Ｃ）の決定に際しては、左のブロックＢとの関係で、Ｓ_Ｕ（Ｃ）の決定に際しては上のブロックＡとの関係で活性度を求める。
ブロックＤ、Ｅとの間の境界については、Ｓ_Ｌ（Ｄ）とＳ_Ｕ（Ｅ）として決定するものとする。活性度の決定方法は、第１実施形態に示したように、２つのブロック間での動きベクトル差分と、符号化モードの違いとによって決定されるため、第１実施形態と同様の設定ルールで決定できる。
このように、第３実施形態の平滑化フィルタ部によれば、第１及び第２実施形態で記載したように、ブロック間で活性度が異なる状況において用いる活性度を選択することなく、一意に活性度を割り当ててフィルタを制御することができる。
更に第３実施形態では、活性度が左と上のブロックのみに依存して決まるため、予測画像をマクロブロックの単位で生成して符号化・復号する装置においても、ＭＣブロックの平滑化を行いながら符号化・復号処理を実施することが可能である。従って、マクロブロック単位にパイプライン処理を導入することで、画像符号化装置および画像復号装置への高速かつ効率的な実装が可能となる。
（第４実施形態）
本発明の第４実施形態を説明する。この第４実施形態は、別の平滑化フィルタ部を説明するものである。本平滑化フィルタ部は、上記第１及び第２実施形態で説明した平滑化フィルタ部１２４、２２４の変形であり、それらと単純に置き換えられるため、図１、２又は図１２、１３に示した画像符号化装置、画像復号装置に適用可能である。更に内部構成も図５と同じである。
第４実施形態の平滑化フィルタ部では、フィルタの特性を活性度に応じて切り替えるようにした。図１５Ａ，Ｂは、フィルタ対象の画素ｒ_１を中心として左右２画素を使って５タップのフィルタを施す場合を示している。活性度が高く（Ｓ＝２）、より平滑化の度合いを高めたいケースでは、図１５Ｂに示すように、フィルタ窓内の近傍画素の影響をより多くするフィルタ、逆に、活性度が低く（Ｓ＝１）、平滑化による必要以上のディテールのつぶれを抑えたいケースでは、図１５Ａに示すように、自身の画素の影響が強いフィルタを適用する。
このように、第４実施形態の平滑化フィルタ部によれば、活性度に応じた平滑化の度合いを制御することが可能となる。
なお、フィルタ特性の切り替えは、活性度に応じて複数選択することができ、かつ特性の識別情報を圧縮ストリーム１１４へ多重化して画像復号装置に伝送するように構成されていてもよい。このような構成をとることで、画像符号化装置側での映像解析に基づくより詳細な適応判断をフィルタ特性に反映することができ、かつ画像復号装置では画像符号化装置側で実施するような特殊な映像解析処理を行うことなく、適応的な平滑化フィルタ処理を実現することができる。この第４実施形態は第３実施形態に述べたようなブロック境界に対して定義された活性度を用いる場合でも同様に適用可能である。
フィルタ特性が切り替えられた場合、利用されたフィルタ特性の種別は、例えば圧縮ストリーム中のフレーム先頭のヘッダ情報の一部として伝送される。
（第５実施形態）
図１６は、本発明の第５実施形態に係る画像符号化装置の構成を示すブロック図、図１７は、画像復号装置の構成を示すブロック図である。但し、図１６に示す第５実施形態の画像符号化装置において図１の第１実施形態の各部に対応する部分には同一符号を付し、図１７に示す第５実施形態の画像復号装置において図２の第１実施形態の各部に対応する部分には同一符号を付し、その説明を省略する。
図１６に示す画像符号化装置および図１７に示す画像復号装置が、第１実施形態のものと異なる点は、平滑化フィルタ部１２４に代え、別の平滑化フィルタ部５２４を用いたことにある。この平滑化フィルタ部５２４の内部構成を図１８に示し、平滑化フィルタ部５２４におけるブロック活性度算出部５２５の動作説明フローチャートを図１９に示す。
即ち、本平滑化フィルタ部５２４は、上記第１及び第２実施形態で説明した平滑化フィルタ部１２４、２２４の変形であり、参照画像１０４を入力することを除き、それらと単純に置き換えることができる。この第５実施形態では平滑化フィルタ処理前の予測画像１０６ａと、その予測画像１０６ａを生成するもととなったフレームメモリ１０３中の参照画像１０４との差分をとり、その誤差電力に基づいてフィルタ制御を行う。
予測画像１０６ａは、参照画像１０４から動きベクトル１０５を用いて取り出した画像データであり、画像符号化装置への入力映像信号１０１を近似する画像データである。すなわち、参照画像１０４と予測画像１０６ａとは、その空間的に同一個所を比較した際に、動きがある部分では誤差電力が大きく、動きが小さい部分では誤差電力が小さい。動きベクトル１０５の大きさは、動き量をある程度は表現するものの、ノイズなどの映像の変化そのものには依存しない要因も検出に影響するため、その大きさだけでは動きの大小、激しさを十分に表現できないが、上記誤差電力は動きの激しさの指標として利用することができ、フィルタ制御の適応性を向上させることができる。また、参照画像１０４は符号化側と復号側で全く同一のデータを使用できるため、本制御を導入するにあたって、復号装置に特別な識別情報を伝送することなく実現することができる。
具体的には、図１８に示すように、ブロック活性度算出部５２５へ、参照画像１０４と予測画像１０６ａを入力し、各ブロックについて、参照画像１０４と予測画像１０６ａとの誤差電力を求める。ここでは余分な演算量を削減するため、図１９のステップＳＴ１４に示すように、活性度がゼロで動きがないと判断された個所では、誤差電力による評価はスキップする。なぜなら、動きベクトルの差分ｍｖｄ（Ｘ、Ｙ）がゼロである場合は、そこが如何に動きの激しい部位であるとはいえ、空間的な連続性は保たれており、平滑化を施す必要がないからである。
少なくとも活性度がゼロより大きい場合においては、動きベクトルだけで活性度を評価することなく、求めた誤差電力を用いて、それが所定の閾値よりも大きい場合には活性度を大きくなる方向へ変化させ、所定の閾値よりも小さければ活性度をゼロにして平滑化を行わないようにする（ステップＳＴ１５）。このとき、活性度を上げる方向の閾値と下げる方向の閾値とは必ずしも同じでなくてよい。
また、この第５実施形態においては、参照画像１０４に関して、フレームメモリ格納前に評価ブロック単位でのブロック内平均値を予め算出、バッファリングしておき、予測画像１０６ａも同様に平均値を求めて、平均値だけで誤差電力評価を行うように構成してもよい。
参照画像１０４と予測画像１０６ａとの誤差量は、その平均値が支配的成分であり、且つ平均値のみを小さなバッファに格納しておくことができるので、活性度の判定に影響を及ぼすことなく、活性度算出時のフレームメモリへのアクセス頻度を少なくすることができる。
また、上記第３実施形態のように、ブロック境界に対して活性度を削り当てる場合、ブロック境界を跨る部分領域を定義し、その単位で参照画像１０４と予測画像１０６ａと誤差量を評価するように構成することもできる。
更に、この第５実施形態では、参照画像１０４と予測画像１０６ａとの誤差量を活性度そのものの更新に使用したが、ある所定の活性度の値を持つ箇所に対して、施すフィルタの特性を変更するために使用してもよい。例えば、あるブロック又はブロック境界の活性度が、定義した活性度のレンジの中で中間的な値となる場合、そのときのフィルタ特性は状況に応じて変化させる方がより適応性が増す。この目的のために、参照画像１０４と予測画像１０６ａとの誤差量を切り替え評価とするように構成することもできる。
このように、第５実施形態の平滑化フィルタ部によれば、上記で説明したようにフィルタ制御の適応性を向上させることができ、また、参照画像１０４は符号化側と復号側で全く同一のデータを使用できるため、本制御を導入するにあたって、復号装置に特別な識別情報を伝送することなく実現することができる。更に、活性度の判定に影響を及ぼすことなく、活性度算出時のフレームメモリへのアクセス頻度を少なくすることができる。
産業上の利用可能性
本発明は、例えばモバイル映像伝送システムに適用される画像符号化装置、画像復号装置として利用可能である。
【図面の簡単な説明】
図１は、本発明の第１実施形態に係る画像符号化装置の構成を示すブロック図である。
図２は、第１実施形態に係る画像復号装置の構成を示すブロック図である。
図３Ａ〜Ｇは、ＭＣ（動き補償フレーム間予測）ブロック形状を示す図である。
図４は、ブロック単位ＭＣの問題点の説明図である。
図５は、第１実施形態の平滑化フィルタ部の構成を示すブロック図である。
図６は、平滑化フィルタ部のブロック活性度算出部における算出処理の動作を説明するためのフローチャートである。
図７は、ブロック活性度を決定する単位の一例を示す図である。
図８は、平滑化フィルタ部においてフィルタ処理部での平滑化フィルタリングにおける無駄なフィルタリング処理を修正する処理の動作を説明するフローチャートである。
図９は、平滑化フィルタリング処理における横方向に隣接したブロック間での処理対象画素の様子を示す図である。
図１０Ａ，Ｂは、他のフィルタによる平滑化フィルタリング処理における横方向に隣接したブロック間での処理対象画素の様子を示す図である。
図１１は、平滑化フィルタ部の後処理部において定められる関数を示す図である。
図１２は、本発明の第２実施形態に係る画像符号化装置の構成を示すブロック図である。
図１３は、第２実施形態に係る画像復号装置の構成を示すブロック図である。
図１４は、本発明の第３実施形態に係る平滑化フィルタ部においてブロック境界に対して活性度を定義することを説明するための図である。
図１５Ａ，Ｂは、本発明の第４実施形態に係る平滑化フィルタ部においてフィルタ対象の画素を中心として左右２画素を使って５タップのフィルタを施す場合を説明するための図である。
図１６は、本発明の第５実施形態に係る画像符号化装置の構成を示すブロック図である。
図１７は、第５実施形態に係る画像復号装置の構成を示すブロック図である。
図１８は、第５実施形態の平滑化フィルタ部の構成を示すブロック図である。
図１９は、第５実施形態の平滑化フィルタ部におけるブロック活性度算出部の動作を説明するためのフローチャートである。
図２０は、従来のＭＰＥＧ１画像符号化方式に基づく画像符号化装置の構成を示すブロック図である。
図２１は、動き補償フレーム予測の概念図である。
図２２Ａ〜Ｄは、ブロックマッチングによる動き補償の概念図である。
図２３は、離散コサイン変換の概念図である。
図２４は、量子化とランレングス符号化の説明図である。
図２５は、従来のＭＰＥＧ１画像復号方式に基づく画像復号装置の構成を示すブロック図である。
図２６Ａ，Ｂは、ＯＢＭＣ（オーバーラップ動き補償）の説明図である。

Claims (52)

1. 入力画像について所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測手段と、
   前記動き補償予測手段により得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、
   前記入力画像と前記平滑化された予測画像との差分によって得られる予測残差信号を符号化する予測残差符号化手段と
   を具備することを特徴とする画像符号化装置。
2. 前記動き補償予測手段は、符号化済みの局所復号画像データを参照画像として前記動き量を検出する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記平滑化手段は、前記隣り合う部分画像領域間の動き量の差分値に応じて前記平滑化を行う
   ことを特徴とする請求項１記載の画像符号化方法。
4. 前記平滑化手段は、前記隣り合う部分画像領域間の符号化方法の違いに応じて前記平滑化を行う
   ことを特徴とする請求項１記載の画像符号化装置。
5. 前記平滑化手段は、前記隣り合う部分画像領域間の画像予測方法の違いに応じて前記平滑化を行う
   ことを特徴とする請求項１記載の画像符号化装置。
6. 前記平滑化手段は、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う
   ことを特徴とする請求項１記載の画像符号化装置。
7. 前記平滑化手段は、
   前記隣り合う部分画像領域間の動き量の差分値と、前記隣り合う部分画像領域間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量とのうち少なくとも１つに基づいて決定される部分画像領域間の活性度を決定する活性度設定手段と、
   前記活性度に基づいて前記平滑化の強度を定め、前記部分画像領域間の境界に位置する画素の平滑化を行う適応平滑化手段と、
   前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行う後処理手段と
   を具備することを特徴とする請求項１記載の画像符号化装置。
8. 前記活性度設定手段は、個々の部分画像領域に対して前記活性度を設定し、平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前記適応平滑化手段への入力とする
   ことを特徴とする請求項７記載の画像符号化装置。
9. 前記活性度設定手段は、前記部分画像領域間の境界に対して前記活性度を設定し、前記活性度を前記適応平滑化手段への入力とする
   ことを特徴とする請求項７記載の画像符号化装置。
10. 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、前記平滑化を施す画素数を変更する
    ことを特徴とする請求項７記載の画像符号化装置。
11. 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、前記平滑化を施すフィルタ特性を切り替える
    ことを特徴とする請求項７記載の画像符号化装置。
12. 前記適応平滑化手段は、前記平滑化を施すフィルタ特性の種別を示すビットを符号化して伝送する
    ことを特徴とする請求項１１記載の画像符号化装置。
13. 前記平滑化手段での平滑化の有無を示すビットを符号化して伝送する
    ことを特徴とする請求項１記載の画像符号化装置。
14. 所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測手段と、
    前記動き補償予測手段により得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、
    符号化側からの予測残差信号を復号する予測残差復号手段と、
    前記予測残差復号手段で得られた復号予測残差信号と前記平滑化された予測画像とを加算して復号画像を得る加算手段と
    を具備することを特徴とする画像復号装置。
15. 前記動き補償予測手段は、復号済みの局所復号画像データを参照画像として前記予測画像を得る
    ことを特徴とする請求項１４記載の画像復号装置。
16. 前記平滑化手段は、前記隣り合う部分画像領域間の動き量の差分値に応じて前記平滑化を行う
    ことを特徴とする請求項１４記載の画像復号装置。
17. 前記平滑化手段は、前記隣り合う部分画像領域間の復号方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項１４記載の画像復号装置。
18. 前記平滑化手段は、前記隣り合う部分画像領域間の画像予測方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項１４記載の画像復号装置。
19. 前記平滑化手段は、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う
    ことを特徴とする請求項１４記載の画像復号装置。
20. 前記平滑化手段は、
    前記隣り合う部分画像領域間の動き量の差分値と、前記隣り合う部分画像領域間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量とのうち少なくとも１つに基づいて決定される部分画像領域間の活性度を決定する活性度設定手段と、
    前記活性度に基づいて前記平滑化の強度を定め、前記部分画像領域間の境界に位置する画素の平滑化を行う適応平滑化手段と、
    前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行う後処理手段と
    を具備することを特徴とする請求項１４記載の画像復号装置。
21. 前記活性度設定手段は、個々の部分画像領域に対して前記活性度を設定し、平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前記適応平滑化手段への入力とする
    ことを特徴とする請求項２０記載の画像復号装置。
22. 前記活性度設定手段は、前記部分画像領域間の境界に対して前記活性度を設定し、前記活性度を前記適応平滑化手段への入力とする
    ことを特徴とする請求項２０記載の画像復号装置。
23. 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、前記平滑化を施す画素数を変更する
    ことを特徴とする請求項２０記載の画像復号装置。
24. 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、前記平滑化を施すフィルタ特性を切り替える
    ことを特徴とする請求項２０記載の画像復号装置。
25. 前記適応平滑化手段は、符号化側からの入力圧縮データより復号された前記平滑化を施すフィルタ特性の種別を示すビットに基づき前記フィルタ特性を切り替える
    ことを特徴とする請求項２４記載の画像復号装置。
26. 前記入力圧縮データより復号された前記平滑化の有無を示すビットに基づき前記平滑化の処理を制御する
    ことを特徴とする請求項１４記載の画像復号装置。
27. 入力画像について所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測ステップと、
    前記動き補償予測ステップにより得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステップと、
    前記入力画像と前記平滑化された予測画像との差分によって得られる予測残差信号を符号化する予測残差符号化ステップと
    を具備することを特徴とする画像符号化方法。
28. 前記動き補償予測ステップは、符号化済みの局所復号画像データを参照画像として前記動き量を検出する
    ことを特徴とする請求項２７記載の画像符号化方法。
29. 前記平滑化ステップは、前記隣り合う部分画像領域間の動き量の差分値に応じて前記平滑化を行う
    ことを特徴とする請求項２７記載の画像符号化方法。
30. 前記平滑化ステップは、前記隣り合う部分画像領域間の符号化方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項２７記載の画像符号化方法。
31. 前記平滑化ステップは、前記隣り合う部分画像領域間の画像予測方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項２７記載の画像符号化方法。
32. 前記平滑化ステップは、前記平滑化前の予測画像と前記動き補償予測ステップにより得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う
    ことを特徴とする請求項２７記載の画像符号化方法。
33. 前記平滑化ステップは、
    前記隣り合う部分画像領域間の動き量の差分値と、前記隣り合う部分画像領域間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量とのうち少なくとも１つに基づいて決定される部分画像領域間の活性度を決定する活性度設定ステップと、
    前記活性度に基づいて前記平滑化の強度を定め、前記部分画像領域間の境界に位置する画素の平滑化を行う適応平滑化ステップと、
    前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行う後処理ステップと
    を具備することを特徴とする請求項２７記載の画像符号化方法。
34. 前記活性度設定ステップは、個々の部分画像領域に対して前記活性度を設定し、平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前記適応平滑化ステップへの入力とする
    ことを特徴とする請求項３３記載の画像符号化方法。
35. 前記活性度設定ステップは、前記部分画像領域間の境界に対して前記活性度を設定し、前記活性度を前記適応平滑化ステップへの入力とする
    ことを特徴とする請求項３３記載の画像符号化方法。
36. 前記適応平滑化ステップは、前記活性度設定ステップで得られた活性度に応じて、前記平滑化を施す画素数を変更する
    ことを特徴とする請求項３３記載の画像符号化方法。
37. 前記適応平滑化ステップは、前記活性度設定ステップで得られた活性度に応じて、前記平滑化を施すフィルタ特性を切り替える
    ことを特徴とする請求項３３記載の画像符号化方法。
38. 前記適応平滑化ステップは、前記平滑化を施すフィルタ特性の種別を示すビットを符号化して伝送する
    ことを特徴とする請求項３７記載の画像符号化方法。
39. 前記平滑化ステップでの平滑化の有無を示すビットを符号化して伝送する
    ことを特徴とする請求項２７記載の画像符号化方法。
40. 所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測ステップと、
    前記動き補償予測ステップにより得られた予測画像に対して、所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステップと、
    符号化側からの予測残差信号を復号する予測残差復号ステップと、
    前記予測残差復号ステップで得られた復号予測残差信号と前記平滑化された予測画像とを加算して復号画像を得る加算ステップと
    を具備することを特徴とする画像復号方法。
41. 前記動き補償予測ステップは、復号済みの局所復号画像データを参照画像として前記予測画像を得る
    ことを特徴とする請求項４０記載の画像復号方法。
42. 前記平滑化ステップは、前記隣り合う部分画像領域間の動き量の差分値に応じて前記平滑化を行う
    ことを特徴とする請求項４０記載の画像復号方法。
43. 前記平滑化ステップは、前記隣り合う部分画像領域間の復号方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項４０記載の画像復号方法。
44. 前記平滑化ステップは、前記隣り合う部分画像領域間の画像予測方法の違いに応じて前記平滑化を行う
    ことを特徴とする請求項４０記載の画像復号方法。
45. 前記平滑化ステップは、前記平滑化前の予測画像と前記動き補償予測ステップにより得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う
    ことを特徴とする請求項４０記載の画像復号方法。
46. 前記平滑化ステップは、
    前記隣り合う部分画像領域間の動き量の差分値と、前記隣り合う部分画像領域間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成元の参照画像との誤差量とのうち少なくとも１つに基づいて決定される部分画像領域間の活性度を決定する活性度設定ステップと、
    前記活性度に基づいて前記平滑化の強度を定め、前記部分画像領域間の境界に位置する画素の平滑化を行う適応平滑化ステップと、
    前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行う後処理ステップと
    を具備することを特徴とする請求項４０記載の画像復号方法。
47. 前記活性度設定ステップは、個々の部分画像領域に対して前記活性度を設定し、平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前記適応平滑化ステップへの入力とする
    ことを特徴とする請求項４６記載の画像復号方法。
48. 前記活性度設定ステップは、前記部分画像領域間の境界に対して前記活性度を設定し、前記活性度を前記適応平滑化ステップへの入力とする
    ことを特徴とする請求項４６記載の画像復号方法。
49. 前記適応平滑化ステップは、前記活性度設定ステップで得られた活性度に応じて、前記平滑化を施す画素数を変更する
    ことを特徴とする請求項４６記載の画像復号方法。
50. 前記適応平滑化ステップは、前記活性度設定ステップで得られた活性度に応じて、前記平滑化を施すフィルタ特性を切り替える
    ことを特徴とする請求項４６記載の画像復号方法。
51. 前記適応平滑化ステップは、符号化側からの入力圧縮データより復号された前記平滑化を施すフィルタ特性の種別を示すビットに基づき前記フィルタ特性を切り替える
    ことを特徴とする請求項５０記載の画像復号方法。
52. 前記入力圧縮データより復号された前記平滑化の有無を示すビットに基づき前記平滑化の処理を制御する
    ことを特徴とする請求項４０記載の画像復号方法。

Images