JP4367354B2 - 画像符号化装置 - Google Patents

Description

本発明は画像符号化装置に係り、特に直交変換を用いてディジタル画像をイントラ予測符号化する画像符号化装置に関する。

ディジタル画像の圧縮符号化では、近傍画素間の相関を利用して符号量を圧縮する方法が用いられている。近傍画素間の相関による冗長度は、離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）に代表される直交変換を行うことにより削減できる。そのため、ＪＰＥＧ（Joint Photographic Experts Group）に代表される時間方向の相関を利用しないフレーム内の圧縮符号化の場合、対象ブロックの原画像信号をそのまま直交変換している。

しかし、対象ブロックの原画像信号をそのまま直交変換するだけでは、隣接ブロック間の画素の相関による冗長度を削減できない。そこで、隣接ブロック間の画素の相関による冗長度を削減するため、隣接ブロックの隣接画素からイントラ予測を行う符号化方法がある。

ここで、図６を用いてイントラ予測について説明する。イントラ予測は、被イントラ予測対象ブロック内の４×４の画素ａ〜ｐを、被イントラ予測対象ブロックに隣接するブロックの隣接画素Ａ〜Ｍを用いて予測するものである。画素の予測方法はイントラ予測のモード毎に定義されており、例えばモード１の場合、被イントラ予測対象ブロック内の１列目の画素ａ，ｅ，ｉ，ｍには隣接画素Ａが入り（すなわち、画素ａ，ｅ，ｉ，ｍの予測値を隣接画素Ａを用いて生成し）、２列目の画素ｂ，ｆ，ｊ，ｎには隣接画素Ｂが入り、３列目の画素ｃ，ｇ，ｋ，ｏには隣接画素Ｃが入り、４列目の画素ｄ，ｈ，ｌ，ｐには隣接画素Ｄが入るといったような法則で定義されている。

このような法則で定義されているイントラ予測モードが複数あり、最適なイントラ予測モードを選択することで、イントラ予測の予測効率が向上する。ここでは、イントラ予測対象ブロックの単位を水平方向４画素、垂直方向４画素の計１６画素単位としたが、ブロックの大きさはこれに限らず任意の大きさのブロックでもよい。また、隣接ブロックの隣接画素の定義についても、上記の例はほんの一例であり、既に符号化復号化が終了している同一フレーム内のブロックの画素であれば使用できる。

イントラ予測を使用した画像符号化装置の一例として、すべてのイントラ予測モードに対して予測画像信号を算出し、原画像信号と予測画像信号との差分信号に対して誤差評価値を算出し、最適なイントラ予測モードを決定する画像符号化装置が従来から知られている（例えば、特許文献１参照）。ここで、誤差評価値とは、ブロックマッチングを用いてブロック間の相違を絶対差分和や差分二乗和などで表現したものである。

以下、この従来の画像符号化装置の構成について図７を用いて説明する。図７は従来の画像符号化装置の一例のブロック図を示す。この従来の画像符号化装置は図７に示すように、減算器２０１と、画像メモリ２０２と、イントラ予測画像信号算出手段２０３と、イントラ予測モード決定手段２０４と、直交変換量子化手段２０５と、逆量子化逆直交変換手段２０６と、エントロピー符号化手段２０７と、加算器２０８とから構成されている。

画像メモリ２０２は、既に符号化が終了しているブロックの復号画像を記憶している。イントラ予測画像信号算出手段２０３は、すべてのイントラ予測モードに対して予測画像信号を算出し、算出した予測画像信号を減算器２０１を介してイントラ予測モード決定手段２０４に供給する。

イントラ予測画像信号算出手段２０３の動作について図８のフローチャートを用いて説明する。イントラ予測画像信号算出手段２０３は、画像メモリ２０２から読み出した復号画像信号を入力として受け、その復号画像信号に対してイントラ予測モードの数がＮ個であるとすると、Ｎ個すべてのイントラ予測モードに対してイントラ予測画像信号を算出する（ステップＳ３１）。

図７に戻って説明するに、イントラ予測モード決定手段２０４は、外部から入力された原画像信号とイントラ予測画像信号算出手段２０３で算出した予測画像信号とを減算器２０１で減算して得られた差分信号を入力として受け、その差分信号の誤差評価値を算出し、誤差評価値の最も小さいモードをイントラ予測モードに決定し、決定したイントラ予測モードをエントロピー符号化手段２０７に供給すると共に、決定したイントラ予測モードに対応する差分信号を直交変換量子化手段２０５に供給する。

直交変換量子化手段２０５は、原画像信号とイントラ予測モード決定手段２０４で決定したイントラ予測モードに対応するイントラ予測画像信号との差分信号を直交変換及び量子化し、直交変換及び量子化された信号を逆量子化逆直交変換手段２０６とエントロピー符号化手段２０７に供給する。

逆量子化逆直交変換手段２０６は、直交変換量子化手段２０５で直交変換及び量子化された信号を、逆量子化及び逆直交変換する。逆量子化及び逆直交変換された信号は、イントラ予測画像信号算出手段２０３から出力された、決定したイントラ予測モードに対応するイントラ予測画像信号に加算器２０８にて加算された後、復号画像信号として画像メモリ２０２に記憶される。

エントロピー符号化手段２０７は、直交変換量子化手段２０５で直交変換量子化された信号と、イントラ予測モード決定手段２０４で決定したイントラ予測モードとをエントロピー符号化し、外部に符号データとして出力する。

特許第３３６９５７３号公報

しかるに、上記の従来の画像符号化装置では、すべてのイントラ予測モードに対して予測画像信号を算出し、原画像信号と予測画像信号との差分信号に対して誤差評価値を算出する必要があるため、イントラ予測モードの数が増加すればするほど演算量が増大してしまうという課題がある。

本発明は上記の点に鑑みなされたもので、演算量が少なく予測効率の低下しない画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明は、符号化対象の画像信号の予め定めた２次元画素領域である被イントラ予測対象ブロック単位で、予め用意されている複数のイントラ予測モードから一つを選択してイントラ予測符号化を行う画像符号化装置において、被イントラ予測対象ブロックをイントラ予測した際の各誤差を予測した値である原画誤差評価値を、予め設定されている全部でＮ（＞１）個ある各イントラ予測モードについてすべて算出し、算出されたＮ（＞１）個の原画誤差評価値の中から値の小さい順にＭ（＜Ｎ）個の原画誤差評価値に対応するイントラ予測モードを選択することで、Ｎ個あるイントラ予測モードをＭ（＜Ｎ）個に絞り込むイントラ予測モード絞り込み手段と、既にイントラ予測符号化されて復号された復号画像信号に基づいて、イントラ予測モード絞り込み手段でＭ（＜Ｎ）個に絞り込まれた各イントラ予測モードにおけるイントラ予測画像信号を算出するイントラ予測画像信号算出手段と、イントラ予測画像信号算出手段で算出したイントラ予測画像信号と原画像信号との差分信号に対して誤差評価値を算出し、算出した誤差評価値が最も小さかったイントラ予測モードをイントラ予測対象ブロックにおけるイントラ予測モードに決定するイントラ予測モード決定手段と、イントラ予測モード決定手段で決定したイントラ予測モードに対応するイントラ予測画像信号と原画像信号との差分信号を直交変換及び量子化する直交変換量子化手段と、直交変換量子化手段で直交変換及び量子化された信号を逆量子化及び逆直交変換する逆量子化逆直交変換手段と、直交変換量子化手段で直交変換及び量子化された信号と、イントラ予測モード決定手段で決定したイントラ予測モードをエントロピー符号化するエントロピー符号化手段と、逆量子化逆直交変換手段で逆量子化及び逆直交変換された信号にイントラ予測画像信号算出手段で算出したイントラ予測画像信号を加算することにより、復号画像信号を生成してイントラ予測画像信号算出手段に供給する復号画像信号生成手段とを有することを特徴とする。

この発明では、イントラ予測モード絞り込み手段により被イントラ予測対象ブロックにおける原画像信号のイントラ予測した際の誤差を予測した原画誤差評価値を基に、全部でＮ（＞１）個あるイントラ予測モードをＭ（＜Ｎ）個に絞り込むようにしたため、イントラ予測画像信号算出手段がイントラ予測画像信号を算出する回数が、従来のＮ回からＭ（＜Ｎ）回に減少する。

また、この発明では、イントラ予測モードに対応した予測画像信号を必要とせず原画像信号のみから原画誤差評価値を算出できるため、被イントラ予測対象ブロック単位で処理を行う必要がなく、ＭＢ（マクロブロック）単位やピクチャ単位でも処理を行うことができ、そのため、他の符号化処理との並列処理が可能となる。

また、上記の目的を達成するため、本発明は、イントラ予測モード絞り込み手段を、イントラ予測モードに従って、被イントラ予測対象ブロックに隣接するブロックの複数の隣接画素のうち同一の隣接画素が入る、被イントラ予測対象ブロックの画素位置の原画像信号における画素の差分絶対値から算出した原画誤差評価値を基に、Ｎ（＞１）個のイントラ予測モードをＭ（＜Ｎ）個に絞り込む構成としたものである。

以上説明したように、本発明によれば、全部でＮ（＞１）個のイントラ予測モードをＭ（＜Ｎ）個に絞り込むことで、予測画像信号を算出し原画像信号と予測画像信号との差分信号に対して誤差評価値を算出する回数を減少させ、その演算量を削減するようにしたため、演算量を少なくできる。

また、本発明によれば、原画像信号のみから原画誤差評価値を算出することで、被イントラ予測対象ブロック単位で処理を行う必要がなく、ＭＢ（マクロブロック）単位やピクチャ単位でも処理を行うことができるため、他の符号化処理との並列処理による高速処理を実現できる。

更に、本発明によれば、原画像において、同一の予測画素値が入る位置の差分絶対値が小さいほど、直交変換後の高域成分が少なくなることを利用しているため、原画誤差評価値が大きいイントラ予測モードを候補から除外しても予測効率は低下しない。

次に、本発明の実施の形態について図面を参照しながら説明する。図１は本発明になる画像符号化装置の一実施の形態のブロック図を示す。本実施の形態は、図１に示すように、イントラ予測モード絞り込み手段１０１と、減算器１０２と、イントラ予測画像信号算出手段１０３と、イントラ予測モード決定手段１０４と、直交変換量子化手段１０５と、逆量子化逆直交変換手段１０６と、エントロピー符号化手段１０７と、加算器１０８と、画像メモリ１０９とから構成されている。

イントラ予測モード絞り込み手段１０１は、予め定めた２次元画素領域である被イントラ予測対象ブロックの原画像信号を基に、Ｎ（＞１）個のイントラ予測モードをＭ（＜Ｎ）個に絞り込み、絞り込んだイントラ予測モードをイントラ予測画像信号算出手段１０３に出力する。

イントラ予測モード絞り込み手段１０１の動作について、図２のフローチャートを用いて説明する。まず、すべてのイントラ予測モードについて原画誤差評価値を求める（ステップＳ１１）。

ここで、図３、図４を用いて原画誤差評価値について説明する。被イントラ予測対象ブロック内の画素を図３（Ａ）に示すように、４×４の画素ａ〜ｐとし、隣接ブロックの隣接画素をＡ〜Ｉとし、イントラ予測モード１とイントラ予測モード２が図３（Ｂ）、同図（Ｃ）に示すように定義してあるとする。この場合の原画誤差評価値の例は以下のようになる。

原画誤差評価値（モード１）＝｜ａ−ｅ｜＋｜ｉ−ｍ｜＋｜ｂ−ｆ｜＋｜ｊ−ｎ｜＋｜ｃ−ｇ｜＋｜ｋ−ｏ｜＋｜ｄ−ｈ｜＋｜ｌ−ｐ｜ （１）
原画誤差評価値（モード２）＝｜ａ−ｂ｜＋｜ｃ−ｄ｜＋｜ｅ−ｆ｜＋｜ｇ−ｈ｜＋｜ｉ−ｊ｜＋｜ｋ−ｌ｜＋｜ｍ−ｎ｜＋｜ｏ−ｐ｜ （２）
このように、原画誤差評価値は、予め設定されている全部でＮ（＞１）個（ここでは、２個）ある各イントラ予測モードを用いて、被イントラ予測対象ブロックをイントラ予測した際の各誤差を予測した値であり、各イントラ予測モードに従って、被イントラ予測対象ブロックに隣接するブロックの複数の隣接画素のうち、同一の隣接画素が入る、被イントラ予測対象ブロックの画素位置の原画像信号における画素の差分絶対値として算出される。この差分絶対値が小さいほど原画像信号の相違が小さいことを意味し、予測画素値は同一なので、原画像信号の相違が小さいほど差分信号の相違も小さくなる。差分信号の相違が小さくなることは、直交変換後の高域成分が少なくなることを意味する。つまり、原画誤差評価値が大きいイントラ予測モードを候補から除外しても予測効率は低下しない。

例えば、被イントラ予測対象ブロック内の４×４の画素ａ〜ｐが、図４（Ａ）の各値を示し、モード１における隣接ブロックの隣接画素Ａ〜Ｄが図４（Ｂ）の各値を示し、モード２における隣接ブロックの隣接画素Ｅ〜Ｈが図４（Ｃ）の各値を示すものとすると、隣接画素との差分信号はモード１の場合は図４（Ｄ）に示され、モード２の場合は図４（Ｅ）に示される。従って、図４（Ｄ）及び（Ｅ）から差分信号はモード１の方が相違が小さいことが分かる。

一方、原画誤差評価値は、モード１の場合は（１）式に図４（Ａ）に示す画素の値を代入することにより「５」となり、モード２の場合は（２）式から「７３」となる。従って、原画誤差評価値の小さいモード１の方が、相違の小さい差分信号が得られることがわかる。なお、ここでは、差分絶対値を用いた原画誤差評価値の例を示したが、原画誤差評価値は原画像信号のみから算出できる値であればどのような値でもよい。

更に別の効果として、原画誤差評価値は、イントラ予測モードに対応した予測画像信号を必要とせず原画像信号のみから算出できるため、被イントラ予測対象ブロック単位で処理を行う必要がなく、ＭＢ（マクロブロック）単位やピクチャ単位でも処理を行うことができる。そのため、他の符号化処理との並列処理が可能となり、並列処理することにより高速化ができる。

図２に戻って説明するに、イントラ予測モード絞り込み手段１０１は、上記のステップＳ１１の処理に続いて、全部でＮ個のイントラ予測モードを原画誤差評価値の小さいものから順にＭ（＜Ｎ）個に絞り込む処理を行う（ステップＳ１２）。例えば、全部で９（＝Ｎ）個のイントラ予測モードを原画誤差評価値の小さいものから順に３（＝Ｍ）個に絞り込む。

図１に戻って説明するに、画像メモリ１０９は、既に符号化が終了しているブロックの復号画像を記憶している。イントラ予測画像信号算出手段１０３は、イントラ予測モード絞り込み手段１０１において、前記したように全部でＮ個のイントラ予測モードの中から原画誤差評価値の小さいものから順にＭ（＜Ｎ）個に絞り込まれたイントラ予測モードに対して、イントラ予測画像信号を算出し、算出した予測画像信号を減算器１０２に供給する。予測画像信号は、減算器１０２で原画像信号との差分をとられた後イントラ予測モード決定手段１０４に供給される。

イントラ予測画像信号算出手段１０３の動作について図５のフローチャートを用いて説明する。イントラ予測画像信号算出手段１０３は、Ｍ個のイントラ予測モードに対応する予測画像信号を、各イントラ予測モード毎に算出する（ステップＳ２１）。ここで、イントラ予測モードがＮ個からＭ（＜Ｎ）個に絞り込まれているので、イントラ予測画像信号算出手段１０３がイントラ予測画像信号を算出する回数が、従来のＮ回からＭ（＜Ｎ）回に減少するため、演算量が削減できる。

再び図１に戻って説明するに、イントラ予測モード決定手段１０４は、外部から入力された原画像信号と、イントラ予測画像信号算出手段１０３で算出した予測画像信号の差分信号に対して誤差評価値を算出し、誤差評価値の最も小さいモードをイントラ予測モードに決定する。決定したイントラ予測モードをエントロピー符号化手段１０７に供給すると共に、決定したイントラ予測モードに対応する差分信号を直交変換量子化手段１０５に供給する。

ここで、イントラ予測モード決定手段１０４において、原画像信号と予測画像信号との差分信号に対して誤差評価値を算出する回数が、従来のＮ回からＭ（＜Ｎ）回に減少するため、演算量が削減できる。

直交変換量子化手段１０５は、原画像信号と、イントラ予測モード決定手段１０４で決定したイントラ予測モードに対応するイントラ予測画像信号との差分信号を直交変換及び量子化し、直交変換及び量子化された信号を逆量子化逆直交変換手段１０６とエントロピー符号化手段１０７にそれぞれ供給する。

逆量子化逆直交変換手段１０６は、直交変換量子化手段１０５で直交変換及び量子化された信号を、逆量子化及び逆直交変換する。逆量子化及び逆直交変換された信号は、イントラ予測画像信号算出手段１０３において決定したイントラ予測モードに対応するイントラ予測画像信号に加算器１０８で加算されることにより、復号画像信号とされた後、画像メモリ１０９に記憶される。

一方、エントロピー符号化手段１０７は、直交変換量子化手段１０５で直交変換及び量子化された信号と、イントラ予測モード決定手段１０４で決定したイントラ予測モードをエントロピー符号化し、外部に符号データとして出力する。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば上記の画像符号化装置の機能をコンピュータに実現させるための画像符号化プログラムも含むものである。この画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明は、ディジタル画像の符号化に好適な、画像符号化装置に関する。

本発明の画像符号化装置の一実施の形態のブロック図である。 イントラ予測モード絞り込み手段１０１のフローチャートである。 原画誤差評価値の説明図（Ａ）である。 原画誤差評価値の説明図（Ｂ）である。 イントラ予測画像算出手段１０３のフローチャートである。 イントラ予測の説明図である。 従来の画像符号化装置の一例のブロック図である。 イントラ予測画像算出手段２０３のフローチャートである。

符号の説明

１０１ イントラ予測モード絞り込み手段
１０２ 減算器
１０３ イントラ予測画像信号算出手段
１０４ イントラ予測モード決定手段
１０５ 直交変換量子化手段
１０６ 逆量子化逆直交変換手段
１０７ エントロピー符号化手段
１０８ 加算器
１０９ 画像メモリ
ａ〜ｐ 被イントラ予測対象ブロック内の画素
Ａ〜Ｍ 被イントラ予測対象ブロックの隣接ブロックの隣接画素

Claims (2)

1. 符号化対象の画像信号の予め定めた２次元画素領域である被イントラ予測対象ブロック単位で、予め用意されている複数のイントラ予測モードから一つを選択してイントラ予測符号化を行う画像符号化装置において、
   前記被イントラ予測対象ブロックをイントラ予測した際の各誤差を予測した値である原画誤差評価値を、予め設定されている全部でＮ（＞１）個ある前記各イントラ予測モードについてすべて算出し、算出されたＮ（＞１）個の前記原画誤差評価値の中から値の小さい順にＭ（＜Ｎ）個の前記原画誤差評価値に対応するイントラ予測モードを選択することで、前記Ｎ個あるイントラ予測モードをＭ（＜Ｎ）個に絞り込むイントラ予測モード絞り込み手段と、
   既にイントラ予測符号化されて復号された復号画像信号に基づいて、前記イントラ予測モード絞り込み手段でＭ（＜Ｎ）個に絞り込まれた各イントラ予測モードにおけるイントラ予測画像信号を算出するイントラ予測画像信号算出手段と、
   前記イントラ予測画像信号算出手段で算出したイントラ予測画像信号と前記原画像信号との差分信号に対して誤差評価値を算出し、算出した前記誤差評価値が最も小さかったイントラ予測モードを該イントラ予測対象ブロックにおけるイントラ予測モードに決定するイントラ予測モード決定手段と、
   前記イントラ予測モード決定手段で決定したイントラ予測モードに対応するイントラ予測画像信号と前記原画像信号との差分信号を直交変換及び量子化する直交変換量子化手段と、
   前記直交変換量子化手段で直交変換及び量子化された信号を逆量子化及び逆直交変換する逆量子化逆直交変換手段と、
   前記直交変換量子化手段で直交変換及び量子化された信号と、前記イントラ予測モード決定手段で決定したイントラ予測モードをエントロピー符号化するエントロピー符号化手段と、
   前記逆量子化逆直交変換手段で逆量子化及び逆直交変換された信号に前記イントラ予測画像信号算出手段で算出したイントラ予測画像信号を加算することにより、前記復号画像信号を生成して前記イントラ予測画像信号算出手段に供給する復号画像信号生成手段と
   を有することを特徴とする画像符号化装置。
2. 前記イントラ予測モード絞り込み手段は、前記イントラ予測モードに従って、前記被イントラ予測対象ブロックに隣接するブロックの複数の隣接画素のうち同一の隣接画素が入る、前記イントラ予測対象ブロックの画素位置の原画像信号における画素の差分絶対値から算出した原画誤差評価値を基に、Ｎ（＞１）個のイントラ予測モードをＭ（＜Ｎ）個に絞り込むことを特徴とした請求項１記載の画像符号化装置。

Images