JP5542636B2 - イントラ予測装置、符号化器、復号器、及びプログラム - Google Patents

Description

本発明は、復号済みの画素値から符号化対象の画素値を外挿により予測するものであり、特に画像の交流成分の連続性を損なわない予測が可能なイントラ予測装置、符号化器、復号器、及びプログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ/ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）では、インター予測（画面間予測）のほか、符号化対象の画像ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図１０に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、減算部３１と、直交変換部３２と、量子化部３３と、可変長符号化部３４と、逆量子化部３５と、逆直交変換部３６と、切替えスイッチ３７と、イントラ予測部３８と、フレームメモリ３９と、動き補償予測部４０と、加算部４１とを備える。

動き補償予測部４０は、入力画像に対して、フレームメモリ３９から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ３７を介して減算部３１及び加算部４１に出力する。また、動き補償予測部４０は、動きベクトルの情報を可変長符号化部３４に出力する。

減算部３１は、入力画像と、動き補償予測部４０又はイントラ予測部３８からの予測画像との差分画像を生成して直交変換部３２に出力する。

直交変換部３２は、減算部３１から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部３３に出力する。

量子化部３３は、直交変換部３２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部３４及び逆量子化部３５に出力する。

可変長符号化部３４は、量子化部３３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部４１から入力される動きベクトルの情報も可変長符号化を施して外部に出力する。

逆量子化部３５は、量子化部３３から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部３６に出力する。

逆直交変換部３６は、逆量子化部３５から入力された直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部４１に出力する。

加算部４１は、逆直交変換部３６から得られる逆直交変換した画像と、動き補償予測部４０又はイントラ予測部３８から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部３８及びフレームメモリ３９に出力する。

切替えスイッチ３７は、動き補償予測とイントラ予測とを切替える。

イントラ予測部３８は、既符号化ブロックを復号した画像（加算部４１の出力画像）からイントラ予測した予測画像を生成して減算部３１及び加算部４１に出力する。ここで、減算部３１では、この予測画像と原画像との差分画像を直交変換部３２に出力し、量子化部３３及び可変長符号化部３４を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１１は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該予測ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。

特開２００９−０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報

しかし、従来の方向性を持ったイントラ予測方法は、復号済みの隣接画素の値と予測対象画素の値とが直流的な意味で連続であることを仮定しており、交流的な意味での連続性は仮定していなかった。また、特許文献３に記載の技法は交流成分も含んだ予測を行うものではあるが、参照画素と予測画素との間に交流的（位相的）な連続性はない。そのため、参照画像が周期性のあるパターンの一部であるような場合には、交流成分を考慮した高度な予測を行うことができなかった。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分が、予測値にそのまま影響を及ぼしてしまうという問題があった。

本発明の目的は、上記問題を解決するため、参照画素と予測画素との間で交流成分の連続性を損なわない予測を行うとともに、雑音成分の影響の少ない予測を行うイントラ予測装置、符号化器、復号器、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るイントラ予測装置は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、予測画像の初期値を予測ブロックに設定する予測画像初期値設定部と、参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成部と、前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換部と、前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換部と、前記逆直交変換部によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、前記参照ブロックの画像のエッジを検出するエッジ検出部と、前記エッジ検出部の検出結果に基づいて前記予測画像の生成を制御する制御部と、を備え、前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、前記制御部は、前記エッジの位置情報に基づいて、前記処理ブロック生成部が生成する参照ブロックのサイズを決定することを特徴とする。

さらに、本発明に係るイントラ予測装置において、前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、前記制御部は、前記処理ブロック生成部が生成する参照ブロックのサイズを変更せずに、前記エッジの位置情報に基づいて、前記画像修正部が画素値を修正する画像領域を決定することを特徴とする。

さらに、本発明に係るイントラ予測装置において、前記制御部は、前記エッジ検出部が前記エッジを検出した場合には、前記エッジを検出しなかった場合に比べて、前記係数修正部が直交変換係数を修正する高周波領域が小さくなるように決定することを特徴とする。

さらに、本発明に係るイントラ予測装置において、前記係数修正部は、前記直交変換部によって生成した直交変換係数の絶対値を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、直交変換係数を修正する高周波領域の面積を繰り返し前の面積以下とすることを特徴とする。

さらに、本発明に係るイントラ予測装置において、前記画像修正部は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、画素値を修正する画像領域の面積を繰り返し前の面積以下とすることを特徴とする。

さらに、本発明に係るイントラ予測装置において、前記一連の処理の繰り返しを終了する所定の条件は、該一連の処理の回数が所定回数以上、又は該一連の処理後の参照ブロックの画像と該一連の処理を行う前の参照ブロックの画像との画素値の差が所定の閾値以下であることを特徴とする。

また、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

また、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

また、本発明に係るプログラムは、コンピュータを、上記のイントラ予測装置として機能させるものである。

本発明によれば、参照画素と予測画素との間で交流成分の連続性が損なわれない予測を行うことができる。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分の影響の少ない予測を行うことができる。

また、参照画素にエッジが含まれているかの分析結果に基づいてパラメータを設定することにより、参照画像に応じて適切な予測画像を生成することができる。

本発明による実施例１の符号化側のイントラ予測装置の構成を示すブロック図である。 本発明による実施例１のイントラ予測装置の処理を説明する図である。 本発明による実施例１のイントラ予測装置の参照画像分析に基づく制御に係る構成を示すブロック図である。 本発明による実施例１のイントラ予測装置の参照領域の修正を説明する図である。 本発明による実施例１の復号側のイントラ予測装置の構成を示すブロック図である。 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例１のイントラ予測装置を備える符号化器の構成を示すブロック図である。 本発明による実施例１のイントラ予測装置を備える復号器の構成を示すブロック図である。 本発明による実施例２のイントラ予測装置の参照画像分析に基づく制御に係る構成を示すブロック図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器の構成を示すブロック図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

２つの制約条件（パラメータ）を交互に適用して徐々に適切な結果を得る方法として、例えば凸射影法（ＰＯＣＳ）が知られている。凸射影法では、２つの制約条件を満たす集合が凸集合の場合、繰り返しにより収束していくことが保証されている。本発明によるイントラ予測装置は、交流成分も含め、復号済みの画像との連続性を損なわず、かつ雑音成分の影響の少ない予測を行うために、予測画像の直交変換係数の高周波領域を所定の値に修正する、予測画像に隣接する参照画像が演算により変化した場合には元の値に修正する、という２つの制約条件を用いる。

予測には、予測画素の隣接画素だけでなく、一定の領域をもつ復号済み画素を活用し、ＤＣＴやＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの直交変換を用いる。そして、２つの制約条件の調和のために射影の繰り返しを行う。多数の隣接する参照画素を用い、かつ低周波成分を重視した予測を行うため、雑音の影響を軽減することができる。

具体的には、予測画像及び参照画像を含んだブロックに対して、直交変換、逆直交変換を、制約条件に近づけるための画像修正を施しながら繰り返し行う。理想的には、繰り返しの結果、参照画素に対応する画素の値は参照画素の値になり、予測画素に対応する画素の値は参照画素の値と直流的及び交流的に連続するものになればよい。しかし、このような状態に収束する保証はなく、また、収束するとしても繰り返しが多数となり演算量が増大するため、徐々に制約条件を緩和することにより、妥当な演算量で有効な結果を得るのが好適である。

以下、本発明による実施例について、図面を参照して詳細に説明する。

図１は、本発明による実施例１の符号化側のイントラ予測装置の構成を示すブロック図である。イントラ予測装置１は、参照画像分析部１０と、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、予測画像抽出部１８と、制御部１９と、制御パラメータ伝送部２０とを備える。

後述する繰り返し処理を行う場合には、イントラ予測装置１は、更に分岐部１６と画像修正部１７とを備える。繰り返し処理を行わない場合でも一定の効果を得ることができるが、繰り返し処理を行うことで、より一層、交流成分の不連続性を低減することができる。以下の説明においては、繰り返し処理を行う場合について説明する。

図２は、本発明による実施例１のイントラ予測装置１の処理を説明する図である。具体的には、図２（ａ）及び図２（ｃ）は、イントラ予測装置１で行う処理の単位となる処理ブロックＰを例示する図である。図２（ｂ）及び図２（ｄ）は、処理ブロックＰの周波数領域を示す図であり、左上の領域は低周波成分を示し、右下の領域は高周波成分を示す。画像ブロックＸは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。また、以下の説明において、参照ブロックＤ，Ｂ，Ａ内の画像をそれぞれ参照画像ｄ，ｂ，ａといい、予測ブロックＸ内の画像を予測画像ｘという。

各ブロックのサイズは予め設定されており、図２（ａ）に示すように、参照ブロックＤはｋ画素×ｍライン、参照ブロックＢはｌ画素×ｍライン、参照ブロックＡはｋ画素×ｎライン、予測ブロックＸはｌ画素×ｎライン、処理ブロックＰは（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインである。

予測画像初期値設定部１１は、制御部１９の指示に基づき、予測画像ｘの初期値として、参照画像ｄ，ｂ，ａの全部又は一部の画素値から得られる値を設定する。例えば参照画像ｄ，ｂ，ａの画素値の平均値を初期値とするのが、直流成分が保持され好適である。また、予測ブロックＸに隣接する画素の平均値を初期値としたり、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測の結果を初期値としたりすることもできる。そして、この初期値を処理ブロック生成部１２に出力する。

処理ブロック生成部１２は、制御部１９の指示に基づき、入力される参照ブロックＤ，Ｂ，Ａ、及び予測画像初期値設定部１１から入力される予測画像ｘの初期値を用いて、図２（ａ）に示すように、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックＰを生成し、直交変換部１３に出力する。

直交変換部１３は、処理ブロック生成部１２から入力される処理ブロックＰの画像に対し、直交変換を行い、導出した直交変換係数を係数修正部１４に出力する。

係数修正部１４は、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの境界領域において、参照画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせる（不連続性を低減する）ために、制御部１９の指示に基づき、処理ブロックＰの高周波成分を抑圧する。そのため、直交変換部１３から入力される直交変換係数のうち、図２（ｂ）に示すように、高周波領域である係数修正領域Ｈの直交変換係数の絶対値を元の値よりも小さい値に修正する。係数修正領域Ｈ内の係数の数ｈは、１≦ｈ＜（ｋ＋ｌ）×（ｍ＋ｎ）である。そして、修正した直交変換係数を逆直交変換部１５に出力する。修正する値は、０とするのが高周波成分を除去するのに好適である。また、直交変換が修正される係数修正領域Ｈは、図２（ｄ）に示すように、正方形状又は長方形状としてもよい。

係数修正部１４は、後述する繰り返し処理によりｎ回目の処理を行う場合には、最高次の直交変換係数から順にｈ_ｎ個の直交変換係数の絶対値を元の値よりも小さい値に修正する。ここで、係数修正領域Ｈを所定の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに繰り返し後の係数修正領域Ｈの面積を繰り返し前の面積以下とし、ｈ_１≧ｈ_２≧…≧ｈ_ｎとするのが好適である。

逆直交変換部１５は、係数修正部１４から入力される修正された直交変換係数に対し、逆直交変換を行って画像を生成し、この画像を分岐部１６に出力する。

分岐部１６は、制御部１９の指示に基づき、後述する画像の修正、及び上記の直交変換、直交変換係数の修正、逆直交変換という一連の処理を繰り返すか否かを判定する。例えば、繰り返し回数が所定の回数以下の場合には、繰り返し処理を実行させるために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、繰り返し回数が所定の回数を超えた場合には、繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力する。

また、分岐部１６における別の判定方法として、参照ブロックＤ，Ｂ，Ａ内の領域について、現在の画素値と繰り返し処理を行う前の元の復号済みの画像の画素値との差分値を算出し、この差分値が閾値以上の場合には繰り返し処理を実行させるために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、閾値より小さい場合には繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力するようにしてもよい。差分値を算出する対象となる参照ブロックＤ，Ｂ，Ａ内の領域は、以下に説明する、画像修正部１７で修正する画像修正領域Ｇとするのが好適である。また、この判定方法による場合でも、繰り返し回数を制限するために、繰り返しの上限回数を設けるのが好適である。

画像修正部１７は、境界領域において、元の参照画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせるために、制御部１９の指示に基づき、分岐部１６から入力される画像を修正する。高次の直交変換係数の絶対値を元の値よりも小さい値に修正して逆直交変換を行うことにより、参照ブロックＤ，Ｂ，Ａと予測ブロックＸとの境界領域における画素値の不連続性が緩和されるが、参照ブロックＤ，Ｂ，Ａの画素値は元の値から変化している。そのため、例えば、図２（ｃ）に示すように、参照ブロックＤ，Ｂ，Ａ内のうち、予測ブロックＸに隣接する画像修正領域Ｇの画素値を、参照ブロックＤ，Ｂ，Ａの元の画素値に修正する。画像修正領域Ｇ内の画素数ｇは、１≦ｇ≦ｋ×ｍ＋ｌ×ｍ＋ｋ×ｎである。そして、画素値を修正した後の処理ブロックＰを直交変換部１３に出力する。

画像修正部１７は、繰り返し処理によりｎ回目の処理を行う場合には、参照ブロックＤ，Ｂ，Ａのうち、ｇ_ｎ個の画素からなる画像修正領域Ｇを元の画素値に修正する。ここで、参照画像ｄ，ｂ，ａが演算により変化した場合には元の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の画像修正領域Ｇの面積を繰り返し前の面積以下とし、ｇ_１≧ｇ_２≧…≧ｇ_ｎとするのが好適である。

予測画像抽出部１８は、分岐部１６から入力される画像に対し、予測ブロックＸの領域の画像を抽出し、イントラ予測の予測画像とする。

参照画像分析部１０は、参照画像ｄ，ｂ，ａのエッジを検出し、エッジの位置情報を制御部１９に出力する。

図３は、イントラ予測装置１の参照画像分析に基づく制御に係る構成を示すブロック図であり、参照画像分析部１０の構成と、制御部１９の一部の構成が示されている。参照画像分析部１０は、エッジ検出部１０１を備える。エッジ検出部１０１は、参照画像ｄ，ｂ，ａ内に所定の強度を超えるエッジが含まれるかを判定し、所定の強度を超えるエッジが含まれる場合には、エッジの位置情報を生成し、制御部１９に出力する。エッジ検出の手法自体は既知であるため、説明を省略する。

制御部１９は、予測画像ｘの初期値を規定するパラメータ（初期値を平均値とするか又はＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測結果とするかなど）を予測画像初期値設定部１１に出力し、参照ブロック（エッジ検出された場合には修正後の参照ブロック）及び予測ブロックの領域を規定するパラメータを処理ブロック生成部１２に出力し、係数修正領域Ｈを規定するパラメータ（Ｈのサイズ）及び直交変換係数の修正値を規定するパラメータを係数修正部１４に出力し、繰り返し処理を規定するパラメータ（繰り返し回数及び／又は参照ブロックの差分値の閾値）を分岐部１６に出力し、画像修正領域Ｇを規定するパラメータ（Ｇのサイズ）を画像修正部１７に出力する。また、設定した制御パラメータを制御パラメータ伝送部２０に出力する。

図３を参照するに、制御部１９は、内接領域設定部１９１と、参照領域修正部１９２とを備える。内接領域設定部１９１は、エッジ検出部１０１から入力されるエッジの位置情報に基づいて、内接領域を決定し、参照領域修正部１９２に出力する。

図４は、内接領域設定部１９１による内接領域の設定を説明する図であり、参照ブロックＤ，Ｂ，Ａ内に所定の強度を超えるエッジが存在する場合を示している。エッジが存在する場合には、エッジを境界として画像の性質が変わると考えられる。そこで、参照領域修正部１９２は、参照ブロックＤ，Ｂ，Ａ内に、正方形状又は長方形状のエッジの内接領域（エッジが含まれない領域）を設定する。内接領域は面積が最大となるように設定するのが好適である。

参照領域修正部１９２は、参照ブロックＤ内の内接領域を参照ブロックＤ’とし、参照ブロックＢ内の内接領域を参照ブロックＢ’とし、参照ブロックＡ内の内接領域を参照ブロックＡ’とする。そして、参照領域修正部１９２は、参照ブロックＤ’，Ｂ’，Ａ’、及び予測ブロックＸの領域を示すパラメータを処理ブロック生成部１２に出力する。処理ブロック生成部１２は、参照ブロックＤ’，Ｂ’，Ａ’と予測ブロックＸからなる処理ブロックＰ’を生成し、それ以降の処理は処理ブロックＰ’を単位に行われる。

制御パラメータ伝送部２０は、制御部１９から入力される制御パラメータを外部に伝送する。また、上述したように、予測画像初期値設定部１１が従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測の結果を予測画像ｘの初期値とする場合には、従来のイントラ予測モードもパラメータ情報として伝送する必要がある。なお、予測画像ｘの初期値を規定するパラメータ、係数修正領域Ｈを規定するパラメータ、直交変換係数の修正値を規定するパラメータ、繰り返し処理を規定するパラメータ、画像修正領域Ｇを規定するパラメータを固定値とする場合には、これらのパラメータを伝送する必要がなく、制御パラメータ伝送部２０は不要となる。

図５は、本発明による実施例１の復号側のイントラ予測装置１’の構成を示すブロック図である。復号側のイントラ予測装置１’は、符号化側のイントラ予測装置１と比較して、制御パラメータ伝送部２０を備えず、制御パラメータ受信部２１を備える点が相違する。

制御パラメータ受信部２１は、符号化側のイントラ予測装置１の制御パラメータ伝送部２０から制御パラメータを受信し、受信した制御パラメータを制御部１９に出力する。制御部１９は、制御パラメータ受信部２１から入力される制御パラメータ及び参照画像分析部１０から入力されるエッジの位置情報に基づいて決定したパラメータを、予測画像初期値設定部１１、処理ブロック生成部１２、係数修正部１４、分岐部１６、及び画像修正部１７に設定する。なお、予測画像ｘの初期値を規定するパラメータ、参照ブロックＤ，Ｂ，Ａ及び予測ブロックＸの領域を規定するパラメータ、繰り返し処理を規定するパラメータを固定値とする場合には、制御パラメータ受信部２１は不要となる。その他の各処理部における処理は、符号化側のイントラ装置１と同様であるため、説明を省略する。

復号側のイントラ予測装置１’においても、符号化側のイントラ予測装置１と同様に、参照画像分析部１０により参照画像を分析するため、符号化側からの伝送情報量を増加させることなく、画像に適したパラメータ設定を行うことができる。

［イントラ予測装置の動作］
次に、イントラ予測装置の動作を、図６を参照して説明する。図６は、本発明による実施例１のイントラ予測装置１（１’）の動作を示すフローチャートである。

ステップＳ１０１にて、参照画像分析部１０により、参照画像ｄ，ｂ，ａにエッジが含まれるかを分析する。

ステップＳ１０２にて、予測画像初期値設定部１１により、予測画像ｘの初期値を求め、予測ブロックＸに設定する。

ステップＳ１０３にて、処理ブロック生成部１２により、ステップＳ１０１の分析により参照画像ｄ，ｂ，ａにエッジが含まれない場合には、参照ブロックＤ，Ｂ，Ａと、初期値が設定された予測ブロックＸとからなる処理ブロックＰを生成し、テップＳ１０１の分析により参照画像ｄ，ｂ，ａにエッジが含まれる場合には、参照ブロックＤ’，Ｂ’，Ａ’と、初期値が設定された予測ブロックＸとからなる処理ブロックＰ’を生成する。

ステップＳ１０４にて、直交変換部１３により、ステップＳ１０３で生成した処理ブロックＰの画像に対して直交変換を行い、直交変換係数を導出する。

ステップＳ１０５にて、係数修正部１４により、ステップＳ１０４で導出した直交変換係数のうち、最高次のものから順にｈ個の直交変換係数を０に修正する。

ステップＳ１０６にて、逆直交変換部１５により、ステップＳ１０５で修正した直交変換係数に対して逆直交変換を行い、画像を生成する。

ステップＳ１０７にて、分岐部１６により、ステップＳ１０４からステップＳ１０６の処理が所定回数繰り返して行われたか否かを判定する。繰り返しが所定回数に達していないと判定した場合には処理をステップＳ１０８に進め、繰り返しが所定回数に達していると判定した場合には処理をステップＳ１０９に進める。なお、判定方法は、上述したように閾値を判定する方法であってもよい。

ステップＳ１０８にて、画像修正部１７により、ステップＳ１０６で生成した画像に対して、参照ブロックＤ，Ｂ，Ａのうち予測ブロックＸに隣接するｇ個の画素値を、元の参照画素値に修正し、処理をステップＳ１０３に戻す。

ステップＳ１０９にて、予測画像抽出部１８により、ステップＳ１０６で生成した画像に対して、予測ブロックＸの領域の画像を抽出して予測画像を生成する。

［符号化器及び復号器］
図７は、本発明による実施例１のイントラ予測装置１を備える符号化器２の構成を示すブロック図である。符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器（図１０参照）におけるイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部３５及び逆直交変換部３６を経て既符号化ブロックを復号した画像を参照画像分析部１０、予測画像初期値設定部１１、処理ブロック生成部１２、及び画像修正部１７に入力し、生成した予測画像ｘを切替えスイッチ３７を介して減算部３１及び加算部４１に出力する。制御パラメータ伝送部２０は、設定した制御パラメータを可変長符号化部３４に出力する。

図８は、本発明による実施例１の復号側のイントラ予測装置１’を備える復号器３の構成を示すブロック図である。復号器３は、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、イントラ予測装置１’と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７とを備える。復号器３は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１’を備える。

可変長復号部５１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部５２に出力するとともに、動きベクトルの情報を復号して動き補償予測部５６に出力する。さらに、符号化器側から制御パラメータ情報が伝送された場合には、制御パラメータ情報を復号して制御パラメータ受信部２１に出力する。

逆量子化部５２は、可変長復号部５１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部５３に出力する。

逆直交変換部５３は、逆量子化部５２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部５４に出力する。

加算部５４は、逆直交変換部５３から得られる当該差分画像と、動き補償予測部５６から入力される予測画像又はイントラ予測装置１’から入力される予測画像ｘとを加算して画像を復元し、イントラ予測装置１、フレームメモリ５５、及び外部に出力する。

動き補償予測部５６は、フレームメモリ５５から得られる参照画像と可変長復号部５１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ５７を介して加算部５４に出力する。

イントラ予測装置１’は、逆量子化部５２及び逆直交変換部５３を経て復号した画像を入力し、上述したように、予測画像初期値設定部１１、処理ブロック生成部１２、直交変換部１３、係数修正部１４、逆直交変換部１５、分岐部１６、画像修正部１７、予測画像抽出部１８、及び制御部１９により予測画像ｘを生成し、この予測画像ｘを切替えスイッチ５７を介して加算部５４に出力する。

このように、実施例１のイントラ予測装置１によれば、参照画像ｄ，ｂ，ａにエッジが含まれている場合には参照ブロックＤ，Ｂ，Ａのサイズを修正することにより、参照画像ｄ，ｂ，ａにエッジが含まれている場合でも適切な予測画像ｘを生成することができるようになる。

次に、本発明による実施例２のイントラ予測装置１について説明する。実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１と比較して、制御部１９の参照画像分析部１０から入力される信号に基づく処理のみが相違する。

図９は、実施例２のイントラ予測装置１の参照画像分析に基づく制御に係る構成を示すブロック図であり、参照画像分析部１０の構成と、制御部１９の一部の構成が示されている。参照画像分析部１０はエッジ検出部１０１を備え、制御部１９は内接領域設定部１９１と、係数修正領域制御部１９３と、画像修正領域制御部１９４とを備える。

直交変換を行う単位となる処理ブロックＰのサイズが変動すると、演算処理の負担が増大する。そこで、実施例２のイントラ予測装置１では、実施例１のイントラ予測装置１と異なり、参照ブロックＤ，Ｂ，Ａのサイズは変更せず、その代わりに係数修正領域Ｈ及び画像修正領域Ｇを修正する。

具体的には、画像修正領域制御部１９４は、内接領域設定部１９１により内接領域が設定された場合には、画素修正領域Ｇを内接領域から予測ブロックＸを除いた領域とするようにパラメータを決定し、画像修正部１７に出力する。

また、参照画像ｄ，ｂ，ａにエッジが存在する場合には、エッジを境界として画像の不連続が生じているため、処理ブロックＰの画像を直交変換すると高次の直交変換係数が現れることになる。そこで、係数修正領域制御部１９３は、内接領域設定部１９１により内接領域が設定された場合には、内接領域が設定されない場合と比較して、係数修正領域Ｈが小さくなるようにパラメータを決定し、係数修正部１４に出力する。

なお、パラメータは係数修正領域Ｈや画像修正領域Ｇのサイズそのものでなく、予め繰り返し回数ごとに設定された標準のサイズに対する増減値としてもよい。

このように、実施例２のイントラ予測装置１によれば、参照画像ｄ，ｂ，ａにエッジが含まれている場合には係数修正領域Ｈや画像修正領域Ｇのサイズを修正することにより、処理ブロックＰのサイズを変えることなく、適切な予測画像ｘを生成することができるようになる。

ここで、符号化側のイントラ予測装置１として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、参照画像分析部１０と、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御部１９と、制御パラメータ伝送部２０の有する機能を実現させることができる。

同様に、復号側のイントラ予測装置１’として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御部１９と、制御パラメータ受信部２１の有する機能を実現させることができる。

同様に、符号化器２として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、符号側のイントラ予装置１と、減算部３１と、直交変換部３２と、量子化部３３と、可変長符号化部３４と、逆量子化部３５と、逆直交変換部３６と、切替えスイッチ３７とフレームメモリ３９と、動き補償予測部４０と、加算部４１の有する機能を実現させることができる。

同様に、復号器３として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、復号側のイントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７の有する各機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、イントラ予測を行う際に、画像に応じて上述した方式による予測と従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式による予測とを切替える、又は両方式による予測画像を生成して符号化効率の良い予測画像を判定して出力するようにしてもよい。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１，１’ イントラ予測装置
１０ 参照画像分析部
１１ 予測画像初期値設定部
１２ 処理ブロック生成部
１３ 直交変換部
１４ 係数修正部
１５ 逆直交変換部
１６ 分岐部
１７ 画像修正部
１８ 予測画像抽出部
１９ 制御部
２０ 制御パラメータ伝送部
２１ 制御パラメータ受信部
１０１ エッジ検出部
１９１ 内接領域設定部
１９２ 参照領域修正部
１９３ 係数修正領域制御部
１９４ 画像修正領域制御部
２ 符号化器
３ 復号器

Claims (9)

1. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
   予測画像の初期値を予測ブロックに設定する予測画像初期値設定部と、
   参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成部と、
   前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換部と、
   前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、
   前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換部と、
   前記逆直交変換部によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、
   前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、
   前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、
   前記参照ブロックの画像のエッジを検出するエッジ検出部と、
   前記エッジ検出部の検出結果に基づいて前記予測画像の生成を制御する制御部と、
   を備え、
   前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、
   前記制御部は、前記エッジの位置情報に基づいて、前記処理ブロック生成部が生成する参照ブロックのサイズを決定することを特徴とするイントラ予測装置。
2. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
   予測画像の初期値を予測ブロックに設定する予測画像初期値設定部と、
   参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成部と、
   前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換部と、
   前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、
   前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換部と、
   前記逆直交変換部によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、
   前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、
   前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、
   前記参照ブロックの画像のエッジを検出するエッジ検出部と、
   前記エッジ検出部の検出結果に基づいて前記予測画像の生成を制御する制御部と、
   を備え、
   前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、
   前記制御部は、前記処理ブロック生成部が生成する参照ブロックのサイズを変更せずに、前記エッジの位置情報に基づいて、前記画像修正部が画素値を修正する画像領域を決定することを特徴とするイントラ予測装置。
3. 前記制御部は、前記エッジ検出部が前記エッジを検出した場合には、前記エッジを検出しなかった場合に比べて、前記係数修正部が直交変換係数を修正する高周波領域が小さくなるように決定することを特徴とする、請求項２に記載のイントラ予測装置。
4. 前記係数修正部は、前記直交変換部によって生成した直交変換係数の絶対値を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、直交変換係数を修正する高周波領域の面積を繰り返し前の面積以下とすることを特徴とする、請求項１から３のいずれか一項に記載のイントラ予測装置。
5. 前記画像修正部は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、画素値を修正する画像領域の面積を繰り返し前の面積以下とすることを特徴とする、請求項１から４のいずれか一項に記載のイントラ予測装置。
6. 前記一連の処理の繰り返しを終了する所定の条件は、該一連の処理の回数が所定回数以上、又は該一連の処理後の参照ブロックの画像と該一連の処理を行う前の参照ブロックの画像との画素値の差が所定の閾値以下であることを特徴とする、請求項１から５のいずれか一項に記載のイントラ予測装置。
7. 請求項１から６のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
8. 請求項１から６のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
9. コンピュータを、請求項１から６のいずれか一項に記載のイントラ予測装置として機能させるためのプログラム。

Images