JP6115968B2 - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラムに関する。

動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）に大別される。フレーム間符号化は動画像内の時間方向の相関を利用して、情報圧縮を図るものである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、フレーム内の相関を用いて、情報圧縮を図るものである。ＪＰＥＧ、ＭＰＥＧ−２では、離散コサイン変換（ＤＣＴ）を用いていたが、ＪＰＥＧ２０００では、離散ウェーブレット変換が用いられている。Ｈ．２６４／ＡＶＣでは、前述の変換符号化に加えて、空間方向の予測が行われている（例えば、非特許文献１参照）。これは、空間次元で同一の画面内から予測を行う画面内予測である。この画面内予測はブロック単位で行われ、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、輝度信号に対して３種類のブロックサイズ（４×４、８×８、１６×１６）が利用可能となっている。また、各ブロックサイズではそれぞれ複数の予測モードが選択可能である。

４×４と８×８のブロックサイズの場合は９種類の予測モード、１６×１６のブロックサイズの場合は４種類の予測モードが用意されている。色差信号に対しては８×８のブロックサイズのみが利用可能であり、予測方向に関しては輝度信号に対する１６×１６ブロックの場合と同じである。ただし、モード番号と予測方向の対応付けが異なるこれら各種ブロックサイズとモードにおいて、どの場合でも例外なく、画面内予測で生成される画素は、隣接するブロック上の符号化対象ブロックに最近傍の画素の値を変化させずに、同じ値をコピーする。

具体的な例として、符号化対象ブロックが輝度信号の４×４ブロック、垂直予測（予測モード０）の場合の符号化対象ブロックと周辺の画素の関係を図１１に示す。また、以下特に断りがない場合は、輝度信号を前提として説明を行う。図１１に示すように、符号化対象ブロックの左上にあるブロックからＸ、上にあるブロックからＡ、Ｂ、Ｃ、Ｄ、右上にあるブロックからＥ、Ｆ、Ｇ、Ｈ、そして左にあるブロックからＩ、Ｊ、Ｋ、Ｌに示す画素の値を予測に用いる。予測モード０は、垂直方向の予測のため、Ａの値（７３）を真下に続く４画素にコピーする。以下同様にＢの値（７９）、Ｃの値（８６）、Ｄの値（８９）をコピーする。

符号化対象ブロックの存在する位置によっては、参照すべきブロックがない場合が存在する。その場合は１２８の値を代入するか、もしくは隣の画素の値を代入することで予測を可能としている。例えば、画面の一番上の行に存在するブロックでは、ＸからＨまでの９画素は常に参照することができないため、１２８を用いる。また、左上と上のブロックは存在するが、右上が存在しない場合は、Ｄの値をＥ、Ｆ、Ｇ、Ｈに代入して予測画素を生成する。Ｈ．２６４／ＡＶＣのイントラ予測改善のアプローチとして、８方向の予測方向を細分化し、３３方向の予測方向をサポートした手法が提案されている。この手法は、予測方向の粒度の粗さに起因する予測誤差を低減させることを狙ったものである。

ここで、図１２を参照して、従来の画像符号化装置の構成を説明する。図１２は、従来の画像符号化装置の構成を示すブロック図である。図１２において、符号１０１は、フレームメモリ１０６に格納された近傍領域の復号信号を入力し、空間的な予測処理を行い、この予測処理により得られた信号をイントラ予測信号として出力するイントラ予測処理部である。符号１０２は、入力信号とイントラ予測処理部１０１から出力されたイントラ予測信号との差分信号（イントラ予測残差信号）を入力し、変換処理を行い、変換係数を出力する変換処理部である。符号１０３は、変換処理部１０２から出力された変換係数を入力し、量子化処理を行い、量子化代表値を表す量子化インデックスを出力する量子化処理部である。

符号１０４は、量子化処理部１０３から出力された量子化インデックスを入力し、逆量子化処理を行い、変換係数の復号値を出力する逆量子化処理部である。符号１０５は、逆量子化処理部１０４から出力された変換係数の復号値を入力し、逆変換処理を行い、イントラ予測残差信号の復号値を出力する逆変換処理部である。符号１０６は、イントラ予測残差信号の復号値にイントラ予測信号を加算した復号信号を格納するフレームメモリである。符号１０７は、イントラ予測信号を表現するための情報として、イントラ予測の方向を規定するイントラ予測モード、イントラ予測を行う領域の大きさを表すＰＵサイズを格納するイントラ予測情報記憶部である。符号１０８は、量子化インデックス、イントラ予測情報を入力し、エントロピー符号化処理を行い、符号化ストリームを出力するエントロピー符号化処理部である。

次に、図１３を参照して、図１２に示すイントラ予測処理部１０１の動作を説明する。図１３は、図１２に示すイントラ予測処理部１０１の動作を示すフローチャートである。まず、イントラ予測処理部１０１は、符号化対象であるイントラ予測ブロックのブロックサイズとして設定された情報を読み込み、さらに、このブロックのフレーム内での位置を読み込む（ステップＳ１）。続いて、イントラ予測処理部１０１は、読み込まれたイントラ予測ブロックのブロックサイズ及びこのブロックのフレーム内での位置から、このブロックに対するイントラ参照領域を同定する（ステップＳ２）。

次に、イントラ予測処理部１０１は、設定されたイントラ予測モードの候補に対して、ステップＳ３〜Ｓ５の処理を繰り返し行う。イントラ予測処理部１０１は、指定されたイントラ予測モードから、このイントラ予測モードにおいて用いるイントラ参照画素を同定し、さらに、このイントラ参照画素から、イントラ予測モードに対応する予測を行い、イントラ予測値を出力する（ステップＳ３）。続いて、イントラ予測値及びイントラ予測ブロック内の予測対象画素値から、両者の差分値（イントラ予測誤差）を出力する（ステップＳ４）。そして、イントラ予測処理部１０１は、イントラ予測誤差から、規定された符号化処理を行い、発生符号量・符号化歪を求め、発生符号量と符号化歪の加重和としてのＲＤコストを算出する（ステップＳ５）。

次に、イントラ予測処理部１０１は、設定されたイントラ予測モードの候補に対するステップＳ３〜Ｓ５の処理が終了すると、全イントラ予測モードのＲＤコストから、ＲＤコストの最小値を求め、求めたＲＤコストを出力したイントラ予測モードを同定し、さらに、この予測モードを用いた場合のイントラ予測誤差の符号化データも出力する（ステップＳ６）。

次に、図１４を参照して、従来の画像復号装置の構成を説明する。図１４は、従来の画像復号装置の構成を示すブロック図である。図１４において、符号２１０は、符号化ストリームを入力し、エントロピー復号処理を行い、量子化インデックス、イントラ予測情報を出力するエントロピー復号処理部である。符号２０２は、エントロピー復号処理部１０１から出力された量子化インデックスを入力し、逆量子化処理を行い、変換係数の復号値を出力する逆量子化処理部である。符号２０３は、逆量子化処理部１０２から出力された変換係数の復号値を入力し、逆変換処理を行い、イントラ予測残差信号の復号値を出力する逆変換処理部である。

符号２０４は、イントラ予測残差信号の復号値にイントラ予測信号を加算した復号信号を格納するフレームメモリである。符号２０５は、フレームメモリ２０４に格納された近傍領域の復号信号を入力し、空間的な予測処理を行い、この予測処理により得られた信号をイントラ予測信号として出力するイントラ予測処理部である。符号２０６は、エントロピー復号処理部１０１から出力されたイントラ予測信号を表現するための情報（イントラ予測の方向を規定するイントラ予測モード、イントラ予測を行う領域の大きさを表すＰＵサイズ）を格納するイントラ予測情報記憶部である。

次に、図１５を参照して、図１４に示すイントラ予測処理部２０５の動作を説明する。図１５は、図１４に示すイントラ予測処理部２０５の動作を示すフローチャートである。まず、イントラ予測処理部２０５は、符号化データを入力し、イントラ予測ブロックのブロックサイズ、及び、イントラ予測モードを復号する（ステップＳ１１）。続いて、イントラ予測処理部２０５は、イントラ予測ブロックのフレーム内での位置を同定し（ステップＳ１２）、復号されたイントラ予測モード、イントラ予測ブロックのブロックサイズ及びこのブロックのフレーム内での位置から、このブロックに対するイントラ参照画素を同定する（ステップＳ１３）。

次に、イントラ予測処理部２０５は、復号されたイントラ予測モード及びイントラ参照画素から、イントラ予測モードに対応する予測を行い、イントラ予測値を出力する（ステップＳ１４）。そして、イントラ予測処理部２０５は、符号化データを入力し、イントラ予測誤差を復号し、イントラ予測値とイントラ予測誤差の復号値を加算し、イントラ予測ブロックの復号値を出力する（ステップＳ１６）。

Ｈ．２６４／ＡＶＣ教科書"，角野眞也他，１１０−１１６頁，インプレス，２００８

ところで、従来のイントラ予測は参照画素の再現性が予測性能に大きな影響を及ぼす。例えば、参照画素が符号化歪で大きく劣化している場合、参照画素は、原画像の画素値から乖離することになる。このため、原画像における画素間に高い相関があることを想定して設計されたイントラ予測では、予測誤差が増大し、十分な符号化性能を達成することができないという問題がある。また、Ｈ．２６４／ＡＶＣ準拠の符号化器においては、符号化歪を低減するために、ブロッキングフィルタが導入されている。しかし、デブロッキングフィルタ処理には、隣接ブロックの画素値を入力し必要とするため、参照画素と符号化対象ブロックの画素のように配置されている場合、参照画素に対して適用することはできない。このため、従来のイントラ予測では、参照画素の再現性向上が十分なされておらず、符号化効率向上に改良の余地を残す。

本発明は、このような事情に鑑みてなされたもので、イントラ予測に用いる参照画素に着目し、参照画素の符号化歪を低減する適応処理を導入することで、イントラ予測誤差を低減し、高能率なイントラ符号化を行うことができる画像符号化装置、画像符号化方法、画像符号化プログラム及び、画像符号化装置、画像符号化方法、画像符号化プログラムによって符号化された画像を復号する画像復号装置、画像復号方法、画像復号プログラムを提供することを目的とする。

本発明は、イントラ予測を用いて画像の符号化処理を行う画像符号化装置であって、前記イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うフィルタ手段と、前記フィルタ手段によるフィルタ処理後の参照画素を用いて、指定された予測モードに対応するイントラ予測値を生成し、該イントラ予測値と原画像の画素値との差分値であるイントラ予測誤差値を生成し、該イントラ予測誤差値に対して符号化処理を行って符号化データを出力する符号化手段とを備え、前記探索領域は符号化済みの領域に設定することを特徴とする。

本発明は、画像を復号する画像復号装置であって、イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うフィルタ手段と、符号化データからイントラ予測誤差値を復号する予測誤差値復号手段と、前記フィルタ手段によるフィルタ処理後の参照画素を用いて、イントラ予測モードに対応するイントラ予測値を生成し、該イントラ予測値と前記イントラ予測誤差値を用いて、前記画像の復号対象領域を復号する画像復号手段とを備え、前記探索領域は復号済みの領域に設定することを特徴とする。

本発明は、イントラ予測を用いて画像の符号化処理を行う画像符号化方法であって、前記イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うステップと、前記フィルタ処理後の参照画素を用いて、指定された予測モードに対応するイントラ予測値を生成し、該イントラ予測値と原画像の画素値との差分値であるイントラ予測誤差値を生成し、該イントラ予測誤差値に対して符号化処理を行って符号化データを出力するステップとを有し、前記探索領域は符号化済みの領域に設定することを特徴とする。

本発明は、画像を復号する画像復号方法であって、イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うステップと、符号化データからイントラ予測誤差値を復号するステップと、前記フィルタ処理後の参照画素を用いて、イントラ予測モードに対応するイントラ予測値を生成し、該イントラ予測値と前記イントラ予測誤差値を用いて、前記画像の復号対象領域を復号するステップとを有し、前記探索領域は復号済みの領域に設定することを特徴とする。

本発明は、コンピュータを、前記画像符号化装置として機能させることを特徴とする。

本発明は、コンピュータを、前記画像復号装置として機能させることを特徴とする。

本発明によれば、イントラ参照画素に重畳した符号化歪を低減することにより、参照画素が原画像の画素値から乖離することを抑制できるため、イントラ予測誤差を低減することになり符号量を低減することが可能になるという効果が得られる。

本発明の一実施形態における画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置の動作を示すフローチャートである。 本発明の一実施形態における画像復号装置の構成を示すブロック図である。 図３に示す画像復号装置の動作を示すフローチャートである。 図１に示す符号化歪低減フィルタ処理部１０９、図３に示す符号化歪低減フィルタ処理部２０７の構成を示すブロック図である。 図５に示す符号化歪低減フィルタ処理部の処理動作を示すフローチャートである。 画像伝送システムの構成を示すブロック図である。 イントラ予測モードが垂直方向予測の場合のイントラ参照画素の例を示す説明図である。 イントラ予測モードが水平方向予測の場合のイントラ参照画素の例を示す説明図である。 イントラ参照画素領域の例を示す説明図である。 符号化対象ブロックが輝度信号の４×４ブロック、垂直予測（予測モード０）の場合の例を示す説明図である。 従来の画像符号化装置の構成を示すブロック図である。 図１２に示すイントラ予測処理部１０１の動作を示すフローチャートである。 従来の画像復号装置の構成を示すブロック図である。 図１４に示すイントラ予測処理部２０５の動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明において、イントラ予測を用いて符号化を行う領域をイントラ予測ブロックと呼び、イントラ予測に用いる参照画素をイントラ参照画素と呼ぶ。また、イントラ参照画素の存在領域をイントラ参照領域と呼ぶ。本発明では、イントラ参照画素に対して、非線形フィルタリングに基づく、符号化歪低減処理を行い、この処理後の画素値をイントラ予測の参照画素値として用いることで、イントラ予測残差の低減を図る。

ここで、簡単に符号化処理の動作原理を説明する。まず、符号化対象のイントラ予測ブロックに対して、イントラ参照領域を同定する。イントラ参照画素は、イントラ予測ブロックの近傍画素であり、イントラ予測ブロックのサイズとイントラ予測モードに応じて定まる。イントラ予測モードが、水平方向予測・垂直方向予測の場合のイントラ参照画素の例を、各々、図８、図９に示す。同図において、正方領域が画素に相当し、それぞれ符号化済の画素と、符号化対象ブロック内の画素と、符号化対象ブロックを設定した場合のイントラ参照画素（図８においては垂直方向予測、図９においては水平方向予測）を表している。このように、参照画素はイントラ予測モードによって異なる。準備された全てのイントラ予測モードを実現するために必要なイントラ参照画素が存在する領域をイントラ参照画素領域と呼ぶ。イントラ参照画素領域の例を図１０に示す。

次に、イントラ参照画素領域内の画素に対して、非線形フィルタによる符号化歪低減処理を行う。イントラ参照画素は復号値であるため、符号化歪が重畳している。この符号化歪を低減するために、非線形フィルタリング処理を実施する。さらに、非線形フィルタリング後のイントラ参照画素を用いて、イントラ予測を行い、予測値を生成する。得られた予測値と原画素値との差分を生成し、この差分値を符号化する。

次に、図１を参照して、本発明の一実施形態による画像符号化装置の構成を説明する。図１は、同実施形態における画像符号化装置の構成を示すブロック図である。この図において、図１２に示す従来の画像符号化装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す画像符号化装置が従来の画像符号化装置と異なる点は、符号化歪低減フィルタ処理部１０９が新たに設けられている点である。

次に、図２を参照して、図１に示す画像符号化装置の動作を説明する。図２は、図１に示す画像符号化装置の動作を示すフローチャートである。図２において、図１３と同じ処理動作には、同じ符号を付与してある。

まず、イントラ予測処理部１０１は、符号化対象であるイントラ予測ブロックのブロックサイズとして設定された情報を読み込み、さらに、このブロックのフレーム内での位置を読み込む（ステップＳ１）。続いて、イントラ予測処理部１０１は、読み込まれたイントラ予測ブロックのブロックサイズ及びこのブロックのフレーム内での位置から、このブロックに対するイントラ参照領域を同定する（ステップＳ２）。続いて、符号化歪低減フィルタ処理部１０９は、イントラ参照領域内のイントラ参照画素を入力し、符号化歪を低減するためのフィルタ処理を行い、フィルタ処理後のイントラ参照画素値を出力し、イントラ予測処理において用いるイントラ参照画素値として格納する（ステップＳ７）。

次に、イントラ予測処理部１０１は、設定されたイントラ予測モードの候補に対して、ステップＳ８、Ｓ４、Ｓ５の処理を繰り返し行う。イントラ予測処理部１０１は、指定されたイントラ予測モードから、このイントラ予測モードにおいて用いるフィルタリング後のイントラ参照画素を同定し、さらに、このイントラ参照画素から、イントラ予測モードに対応する予測を行い、イントラ予測値を出力する（ステップＳ８）。続いて、イントラ予測値及びイントラ予測ブロック内の予測対象画素値から、両者の差分値（イントラ予測誤差）を出力する（ステップＳ４）。そして、イントラ予測処理部１０１は、イントラ予測誤差に対して、規定された符号化処理（イントラ予測誤差に対する直交変換、及び、同直交変換の変換係数に対する量子化）を行い、発生符号量・符号化歪を求め、発生符号量と符号化歪の加重和としてのＲＤコストを算出する（ステップＳ５）。

次に、図３を参照して、本発明の一実施形態による画像復号装置の構成を説明する。図３は、同実施形態における画像復号装置の構成を示すブロック図である。この図において、図１４に示す従来の画像復号装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す画像復号装置が従来の画像復号装置と異なる点は、符号化歪低減フィルタ処理部２０７が新たに設けられている点である。

次に、図４を参照して、図３に示す画像復号装置の動作を説明する。図４は、図３に示す画像復号装置の動作を示すフローチャートである。図４において、図１５と同じ処理動作には、同じ符号を付与してある。

まず、エントロピー復号処理部２０１は、符号化データを入力し、イントラ予測ブロックのブロックサイズ、及び、イントラ予測モードを復号する（ステップＳ１１）。続いて、イントラ予測処理部２０５は、イントラ予測ブロックのフレーム内での位置を同定する（ステップＳ１２）。次に、復号されたイントラ予測モード、イントラ予測ブロックのブロックサイズ及びこのブロックのフレーム内での位置から、このブロックに対するイントラ参照画素を同定する（ステップＳ１３）。そして、符号化歪低減フィルタ処理部２０７は、イントラ参照領域内のイントラ参照画素を入力し、符号化歪を低減するためのフィルタ処理を行い、フィルタ処理後のイントラ参照画素値を出力し、イントラ予測処理において用いるイントラ参照画素値として格納する（ステップＳ１７）。

続いて、イントラ予測処理部２０５は、復号されたイントラ予測モード及びフィルタリング後のイントラ参照画素から、イントラ予測モードに対応する予測を行い、イントラ予測値を出力する（ステップＳ１４）。そして、エントロピー復号処理部２０１は、符号化データを入力し、量子化インデックスを復号する。逆量子化処理部２０２は、復号した量子化インデックスを入力として、逆量子化処理を行い、変換係数の量子化値を出力する。逆変換処理部２０３は、変換係数の量子化値を入力として、逆変換処理を行い、イントラ予測誤差を復号する（ステップＳ１５）。イントラ予測処理部２０５で生成されたイントラ予測値と逆変換処理部２０３で生成されたイントラ予測誤差の復号値を加算し、イントラ予測ブロックの復号値を出力する（ステップＳ１６）。

次に、図５を参照して、図１に示す符号化歪低減フィルタ処理部１０９、図３に示す符号化歪低減フィルタ処理部２０７の構成を説明する。図５は、図１に示す符号化歪低減フィルタ処理部１０９、図３に示す符号化歪低減フィルタ処理部２０７の構成を示すブロック図である。この図において、符号３０１は、イントラ参照領域内においてフィルタの処理対象となる参照画素を指定するイントラ参照画素指定部である。符号３０２は、復号信号を記憶する復号信号記憶部である。符号３０３は、指定された参照画素値を入力し、この画素に対する近傍領域（フィルタ対象パッチ）を設定し、対応する画素値を復号信号記憶部３０２から読み込むフィルタ対象パッチ内画素読込部である。

符号３０４は、設定されたフィルタ対象パッチに関して、その形状及びパッチのフレーム内の位置情報を入力し、フィルタ対象パッチに対する探索領域を設定する探索領域設定部である。符号３０５は、探索領域内にフィルタ参照パッチと呼ぶフィルタ対象パッチと同一形状の領域を設定し、フィルタ対象パッチ、及びフィルタ参照パッチ内の画素値を入力とし、フィルタ参照パッチに対する重み係数を算出する重み係数算出処理部である。符号３０６は、求めた重み係数及びフィルタ参照画素値を入力し、重み係数をフィルタ参照画素値に乗じた値を参照画素の寄与率として算出する寄与率算出処理部である。寄与率算出処理部３０６は、探索領域内の全てのフィルタ参照画素値に対する寄与率を求め、全ての寄与率の総和をフィルタリング後の画素値として出力する。

次に、図６を参照して、図５に示す符号化歪低減フィルタ処理部の処理動作を説明する。図６は、図５に示す符号化歪低減フィルタ処理部の処理動作を示すフローチャートである。図１に示す符号化歪低減フィルタ処理部１０９、図３に示す符号化歪低減フィルタ処理部２０７は、同じ構成であり、処理動作も同じであるため、ここでは、図１に示す符号化歪低減フィルタ処理部１０９の処理動作を説明する。符号化歪低減フィルタ処理部１０９は、イントラ参照領域内において指定されたイントラ参照画素について、以下の処理動作（ステップＳ２１〜Ｓ２５）を繰り返し実施する。符号化歪低減フィルタ処理部１０９は、指定されたイントラ参照画素値を入力し、このイントラ参照画素に対する近傍領域（フィルタ対象パッチ）を設定する（ステップＳ２１）。フィルタ対象パッチの例としては、当該イントラ参照画素および同画素の上・左・右・右上・左上隣接画素の６画素からなる矩形領域である。続いて、符号化歪低減フィルタ処理部１０９は、フィルタ対象パッチの形状及びパッチのフレーム内の位置情報を入力し、フィルタ対象パッチに対する探索領域を設定する（ステップＳ２２）。探索領域の例としては、Ｍ×Ｍ画素からなる矩形領域である。

次に、符号化歪低減フィルタ処理部１０９は、探索領域内に、フィルタ参照パッチと呼ぶフィルタ対象パッチと同一形状の領域を設定し、以下の処理動作（ステップＳ２３、Ｓ２４）を繰り返し実施する。探索領域内におけるフィルタ参照パッチの設定に関して、Ｍ＝５の場合を例にとり、説明する。この場合、探索領域は５ｘ５画素の領域となる。また、フィルタ対象パッチは、前述の例と同様、２×３画素の矩形領域とする。このとき、探索領域内には、最大で１２個のフィルタ対象パッチを設定することが可能である。符号化歪低減フィルタ処理部１０９は、フィルタ対象パッチ内の画素値及びフィルタ参照パッチ内の画素値を入力し、フィルタ参照パッチに対する重み係数を計算する（ステップＳ２３）。重み係数の例としては、フィルタ参照パッチ内の画素値とフィルタ対象パッチ内の画素値との絶対値誤差に基づく値をあげることができる。

フィルタ対象パッチを、（Ｎｙ＋１）×（２Ｎｘ＋１）画素の矩形とする場合、フィルタ参照パッチ内の位置（ｘ，ｙ）における画素値をＲ［ｘ，ｙ］とし、フィルタ対象パッチ内の位置（ｘ，ｙ）における画素値をＰ［ｘ，ｙ］とする。ここで、ｘ，ｙは、−Ｎｘ≦ｘ≦Ｎｘ，０≦ｙ≦Ｎｙの範囲の値をとり、フィルタ参照パッチにおける（ｘ，ｙ）＝（０，０）の位置にフィルタ参照画素が配置されるものとする。このとき、重み係数は、次式で定まる。

ここで、Ａは探索領域内の全フィルタ参照パッチに対する重み係数の総和を１にするための正規化定数であり、ｂは、重みの強度を制御するパラメータである。ｂは外部から与えられるものとする。

そして、符号化歪低減フィルタ処理部１０９は、求めた重み係数及びフィルタ参照画素値から、この重み係数をフィルタ参照画素値乗じた値を参照画素の寄与率として出力する（ステップＳ２４）。なお、フィルタ対象パッチ及びフィルタ参照パッチは、いずれも符号化済領域に設定するため、上述の処理を符号化器・復号器で共有しておけば、上述の重み係数は、復号器においても付加情報無で、算出可能である。

次に、符号化歪低減フィルタ処理部１０９は、求めた全ての寄与率の総和を求め、求めた寄与率の総和をフィルタリング後の画素値として出力する（ステップＳ２５）。

次に、図７を参照して、図１、図３に示す画像符号化装置、画像復号装置を含む画像伝送システムの構成を説明する。図７は、画像伝送システムの構成を示すブロック図である。図７において、符号５０１は、カメラ等で撮像した動画像を入力する動画像入力部である。符号５０２は、図１に示す画像符号化装置で構成する動画像符号化装置あり、動画像入力部１によって入力した動画像を符号化して送信する。符号５０３は、動画像符号化装置５０２から送信された符号化動画像のデータを伝送する伝送路である。符号５０４は、図３に示す画像復号装置で構成する動画像復号装置あり、伝送路５０３によって伝送された符号化動画像のデータを受信し、符号化動画像のデータを復号して出力する。符号５０５は、動画像復号装置５０４において復号された動画像を表示装置等へ出力する動画像出力部である。

次に、図７に示す画像伝送システムの動作を説明する。画像符号化装置５０２は、動画像入力部５０１を介して、動画像のデータを入力し、動画像のフレーム毎に、前述した処理動作によって符号化を行う。そして、動画像符号化装置５０２は、符号化した動画像データを伝送路５０３を介して動画像復号装置５０４に対して送信する。動画像復号装置５０４は、この符号化動画像データを前述した処理動作によって復号し、動画像出力部５０５を介して、表示装置等に動画像を表示する。

以上説明したように、イントラ予測の参照画素に対して、画像内の類似領域の画素値を利用して、参照画素に重畳した符号化歪を低減するフィルタ処理を行うようにしたため、参照画素が原画像の画素値から乖離することを抑制できるため、イントラ予測誤差の低減することになり符号量を低減することが可能になる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理及び画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

イントラ予測に用いる参照画素に着目し、参照画素の符号化歪を低減する適応処理を導入することで、イントラ予測誤差を低減し、高能率なイントラ符号化を行うことが不可欠な用途に適用できる。

１０１・・・イントラ予測処理部、１０２・・・変換処理部、１０３・・・量子化処理部、１０４・・・逆量子化処理部、１０５・・・逆変換処理部、１０６・・・フレームメモリ、１０７・・・イントラ予測情報記憶部、１０８・・・エントロピー符号化処理部、１０９・・・符号化歪低減フィルタ処理部、２０１・・・エントロピー復号処理部、２０２・・・逆量子化処理部、２０３・・・逆変換処理部、２０４・・・フレームメモリ、２０５・・・イントラ予測処理部、２０６・・・イントラ予測情報記憶部、２０７・・・符号化歪低減フィルタ処理部

Claims (6)

1. イントラ予測を用いて画像の符号化処理を行う画像符号化装置であって、
   前記イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うフィルタ手段と、
   前記フィルタ手段によるフィルタ処理後の参照画素を用いて、指定された予測モードに対応するイントラ予測値を生成し、該イントラ予測値と原画像の画素値との差分値であるイントラ予測誤差値を生成し、該イントラ予測誤差値に対して符号化処理を行って符号化データを出力する符号化手段とを備え、
   前記探索領域は符号化済みの領域に設定する
   ことを特徴とする画像符号化装置。
2. 画像を復号する画像復号装置であって、
   イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うフィルタ手段と、
   符号化データからイントラ予測誤差値を復号する予測誤差値復号手段と、
   前記フィルタ手段によるフィルタ処理後の参照画素を用いて、イントラ予測モードに対応するイントラ予測値を生成し、該イントラ予測値と前記イントラ予測誤差値を用いて、前記画像の復号対象領域を復号する画像復号手段とを備え、
   前記探索領域は復号済みの領域に設定する
   ことを特徴とする画像復号装置。
3. イントラ予測を用いて画像の符号化処理を行う画像符号化方法であって、
   前記イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うステップと、
   前記フィルタ処理後の参照画素を用いて、指定された予測モードに対応するイントラ予測値を生成し、該イントラ予測値と原画像の画素値との差分値であるイントラ予測誤差値を生成し、該イントラ予測誤差値に対して符号化処理を行って符号化データを出力するステップとを有し、
   前記探索領域は符号化済みの領域に設定する
   ことを特徴とする画像符号化方法。
4. 画像を復号する画像復号方法であって、
   イントラ予測の参照画素に対して、該参照画素の近傍領域であるフィルタ対象パッチを設定し、該フィルタ対象パッチに対する探索領域を設定し、前記探索領域内に、前記フィルタ対象パッチと同一形状のフィルタ参照パッチを設定し、前記フィルタ対象パッチ内の画素値及び前記フィルタ参照パッチ内の画素値とに基づき、前記フィルタ参照パッチに対する重み係数を計算し、前記重み係数を前記参照画素の画素値に乗じた値を参照画素の寄与率として出力し、前記寄与率の総和をフィルタリング後の前記参照画素の画素値とするフィルタ処理を行うステップと、
   符号化データからイントラ予測誤差値を復号するステップと、
   前記フィルタ処理後の参照画素を用いて、イントラ予測モードに対応するイントラ予測値を生成し、該イントラ予測値と前記イントラ予測誤差値を用いて、前記画像の復号対象領域を復号するステップとを有し、
   前記探索領域は復号済みの領域に設定する
   ことを特徴とする画像復号方法。
5. コンピュータを、請求項１に記載の画像符号化装置として機能させるための画像符号化プログラム。
6. コンピュータを、請求項２に記載の画像復号装置として機能させるための画像復号プログラム。

Images