JP5222870B2 - イントラ予測装置、符号化器、復号器及びプログラム - Google Patents

Description

本発明は、曲面を用いてイントラ予測を行うイントラ予測装置、符号化器、復号器及びプログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式では、インター予測（画面間予測）を用いずに符号化される画素ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図１４に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、イントラ予測部２９と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを備える。

並べ替え部２１は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部２２及び動き補償予測部３１に出力する。

動き補償予測部３１は、並べ替え部２１から供給される入力画像に対して、フレームメモリ３０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。動きベクトルの情報は、可変長符号化部２５に出力する。

減算部２２は、並べ替え部２１からの入力画像と、動き補償予測部３１又はイントラ予測部２９からの予測画像との差分画像を生成して直交変換部２３に出力する。

直交変換部２３は、減算部２２から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部２４に出力する。

量子化部２４は、直交変換部２３から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部２５及び逆量子化部２６に出力する。

可変長符号化部２５は、量子化部２４から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部３１から入力される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部２６は、量子化部２４から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部２７に出力する。

逆直交変換部２７は、逆量子化部２６から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部３２に出力する。

加算部３２は、逆直交変換部２７から得られる逆直交変換した画像と、動き補償予測部３１又はイントラ予測部２９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部２９及びフレームメモリ３０に出力する。

切替えスイッチ２８は、動き補償予測とイントラ予測とを切替える。

イントラ予測部２９は、既符号化ブロックを復号した画像（加算部３２の出力画像）からイントラ予測した予測画像を生成して減算部２２及び加算部３２に出力する。ここで、減算部２２では、この予測画像と原画像との差分画像を直交変換部２３に出力し、量子化部２４及び可変長符号化部２５を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１５は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。更に、動き補償予測でイントラ予測を行い、動きベクトルは伝送せずに、復号器側でも動きベクトル検出を行う技法が知られている（例えば、特許文献４参照）。

特開２００９―０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報 特開２００７−０４３６５１号公報

しかし、従来の方向性を持ったイントラ予測方法は、あらかじめ定められたパターンの中から選択していたため、対象とする画像によっては適切なイントラ予測方向が選択できないという問題があった。また、イントラ予測の方向を伝送する必要があるため、伝送情報量が増大するという問題があった。更に、動き補償予測によりイントラ予測を行うと、復号器に膨大な演算を必要とするという問題があった。

本発明の目的は、上記問題を解決するため、イントラ予測の方向をあらかじめ定められたパターンに限定せず、任意の方向のイントラ予測を可能とし、イントラ予測の方向を伝送しないことでビットレートを削減し、更に、膨大な演算を必要としないイントラ予測装置、符号化器、復号器及びプログラムを提供することにある。

上記課題を解決するため、本発明は、イントラ予測を行うブロックの画素値を曲面で表現する。この曲面を復号済みの画素から求める。

すなわち、本発明に係るイントラ予測装置は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置であって、参照ブロックに含まれる画素を選定し、該画素の画素値を近似する予測画素値曲面を生成する予測画素値曲面生成手段と、前記予測画素値曲面に基づいて予測ブロックの予測画像を生成する無方向予測手段とを備え、前記予測画素値曲面生成手段は、前記参照ブロックの画素値との差を示す指標が最小となる曲面を前記予測画素値曲面とし、該予測画素値曲面の係数を求める係数最適化手段を有するとともに、前記係数最適化手段は、前記差を示す指標を求める際に、参照ブロック内の画素と予測ブロックとの距離に応じて重み付けすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記係数最適化手段は、前記差を示す指標を、前記予測画素値曲面の値と前記参照ブロックの画素値との差の二乗和を最小とすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記重みは、前記参照ブロック内の画素と予測ブロックとの距離が大きくなるほど、小さな値とすることを特徴とする。

更に、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

更に、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

更に、本発明は、コンピュータを上記復号器として機能させるためのプログラムとしても特徴付けられる。

本発明によれば、イントラ予測の方向が限定されないため、様々な画像に対して適したイントラ予測が可能となる。また、予測画素値を計算により求めるため、イントラ予測の方向を伝送しなくて済むようになる。また、少ない演算量で予測画素値を求めることができる。

本発明によるイントラ予測を行う画像ブロックを例示する図である。 本発明による予測画素値曲面を例示する図である。 本発明による実施例１のイントラ予測装置の構成図である。 本発明による実施例１のイントラ予測装置の構成図である。 本発明による予測画素値曲面を求める際に参照する画像ブロックを例示する図である。 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。 本発明による実施例１のイントラ予測装置を備える復号器の構成図である。 本発明による実施例２のイントラ予測装置の構成図である。 本発明による実施例２のイントラ予測装置の第１の変形例の構成図である。 本発明による実施例２のイントラ予測装置の第２の変形例の構成図である。 本発明による実施例２のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例３のイントラ予測装置の構成図である。 従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器のブロック図を示す図である。 従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

本発明による実施例１のイントラ予測装置について、図面を参照して説明する。

図１は、本発明によるイントラ予測を行う画像ブロックを例示する図である。画像ブロックＭは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＡ，Ｂ，Ｃ，Ｄは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。各画像ブロックのサイズは、例えば、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ラインとする。

図２は、本発明による実施例１の予測画素値曲面を示す図である。Ｘ軸とＹ軸は画素の原点からの距離を示し、Ｚ軸は画素値（例えば、８ビットの場合は０〜２５５の値）を示す。予測画素値曲面Ｗは、参照ブロックの画素値を近似する曲面である。予測画素値曲面Ｗ上の曲面ｗは予測ブロックＭの予測画素値からなる曲面である。予測画素値曲面Ｗにより、座標（ｘ，ｙ）の位置にある予測ブロックの画素値を予測することができる。本発明では、従来の技法のように予測方向を選択してイントラ予測を行うのではなく、予測画素値曲面Ｗを用いてイントラ予測を行う。予測画素値曲面Ｗは、参照ブロックの画素値との差を示す指標が小さくなるように生成される。ここで、差を示す指標とは、分散、差の絶対値和、差の絶対値の最小値、差の二乗和、又は差の絶対値の積や、更にこれらの画素あたりの平均値など、種々の方法によって定まる差の値の総称である。また、以下の説明における「差」という用語は、差の指標を意味するものとする。なお、予測画素値曲面Ｗは、平面である場合も含むものとする。

以下の説明では、予測画素値曲面Ｗの一例として、ｚ＝ａｘ＋ｂｙ＋ｃで表される平面を用いる。予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃの各係数ａ，ｂ，ｃは、参照ブロックＡ〜Ｄに含まれる全画素又は一部の画素を選定し、該画素を用いて推定（導出）する。この推定には、例えば、最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等の最適化手段を利用することができる。以下に、最小二乗法により係数を導出する例を示す。

参照ブロックＡ〜Ｄに含まれる画素の座標（ｘ_ｉ，ｙ_ｉ）における画素値をｚ_ｉとする。ここで、ｉ＝１〜Ｎであり、Ｎは参照ブロックのうち、Ａ〜Ｄに含まれる全画素数である。ｚ_ｉが予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃに対して誤差ｐ_ｉを含むとすると、ｐ_ｉ＝ｚ_ｉ−（ａｘ_ｉ＋ｂｙ_ｉ＋ｃ）と表される。このとき、誤差の二乗和を最小化する係数ａ，ｂ，ｃの値を導出することで、予測画素値曲面Ｗが求まる。誤差の二乗和は式（１）で表される。

式（１）は、係数ａ，ｂ，ｃの二次式なので、係数ａ，ｂ，ｃそれぞれで偏微分した結果を０とする式（２）の連立一次方程式を解けば、誤差の二乗和を最小とする係数ａ，ｂ，ｃが求まる。

このようにして求めた係数ａ，ｂ，ｃを代入した予測画素値曲面Ｗにより、予測ブロックＭ内の各画素位置における予測画素値を求め、四捨五入等の整数化処理、及び画素値のクリップ（例えば、対象とする画素が８ビットの場合は画素値を０〜２５５の値に制限すること）を行い、予測ブロックＭのイントラ予測値とする。

図３は、本発明による実施例１のイントラ予測装置１の構成図である。実施例１のイントラ予測装置１は、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４とを備える。

参照画素値積算部１２は、入力される参照ブロックＡ〜Ｄの復号画像のうち、予測画素値曲面Ｗを生成するために必要となる画素を選定し、式（２）における積算処理、すなわち、Σｚ_ｉやΣｚ_ｉｘ_ｉなどの計算を行い、積算値を係数最適化部１３に出力する。

係数最適化部１３は、参照画素値積算部１２から入力される積算値を用いて式（２）を解き、係数ａ，ｂ，ｃを導出し、無方向予測部１４に出力する。

無方向予測部１４は、係数最適化部１３から入力される係数を用いて予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃを規定し、これに予測ブロックＭの画素の座標（ｘ，ｙ）を代入して予測画素値ｚの値を求める。その後、整数化やクリップなどの処理を行い、処理後の予測画像を出力する。

なお、予測ブロックの位置によっては、予測画素値曲面Ｗが求まらない場合がある。例えば、参照画素数が３未満の場合や、参照画素が同一直線上に存在する場合では、予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃを決定することができない。そのような場合は、あらかじめ定めておいた曲面を利用して予測画素値を求めたり、あらかじめ定めておいた値を予測画素値とするなど、あらかじめ動作を規定しておけばよい。

また、イントラ予測装置１は、更にノイズ低減手段を設けることも可能である。ノイズ低減手段としては、例えば、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）やメディアンフィルタを用いることができる。図４は、ノイズ低減手段としてＬＰＦ１１を備えるイントラ予測装置１の構成図である。ＬＰＦ１１は、入力される参照ブロックの復号画像をフィルタ処理して高周波成分（ノイズ）を除去し、参照画素値積算部１２に出力する。ＬＰＦ１１を備えることで、参照ブロックの復号画像を平滑化してノイズの影響を減らせるので、予測画素値曲面Ｗをより適した曲面とすることができる。

予測画素値曲面Ｗは局所的には原画素値に適合するが、広い範囲では原画素値との誤差が大きくなると考えられる。つまり、参照する画素が予測ブロックＭから離れるほど、予測画素値曲面との誤差が大きくなることが予想される。そこで、予測の際に、参照ブロックＡ〜Ｄに含まれる画素と、予測ブロックＭとの距離に応じた重みｋ_ｉを誤差に導入して、重み付き誤差ｐ_ｉ´＝ｋ_ｉ｛ｚ_ｉ−（ａｘ_ｉ＋ｂｙ_ｉ＋ｃ）｝とし、重み付き誤差ｐ_ｉ´の二乗和を最小化する係数ａ，ｂ，ｃの値を導出することで予測画素値曲面Ｗを求めてもよい。この場合、重みｋ_ｉは、予測ブロックＭとの距離が大きいほど小さな値とする。

なお、上記説明では、参照ブロックＡ〜Ｄに含まれる全画素を用いて予測画素値曲面Ｗを求めたが、復号済みの画像であれば、参照する画素は参照ブロックＡ〜Ｄの画像には限定されない。例えば、参照ブロックＡ〜Ｄ以外の画素をさらに参照することや、参照ブロックＡ〜Ｄのうちの１つのブロックのみ、あるいは２つ又は３つのブロックのみを参照することも可能である。また、図５（ａ）〜（ｄ）の斜線部で示すように、参照ブロックＡ〜Ｄのうちの一部の画素のみを参照することも可能である。一部の画素のみを参照する場合には、予測ブロックＭより少ない画素数であっても良いし、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式のイントラ予測と同じ参照画素でも良い。なお、図５（ｂ）〜（ｄ）に示すように、参照ブロックの左側と上側で参照する画素数は非対称であっても良い。さらに、予測ブロックを更に複数の小ブロックに区切り、小ブロック単位で符号化を行うことも考えられる。例えば、図５（ｅ）に示すように、予測ブロックＭ内の小ブロックＥが既に復号済みである場合には、予測ブロックＭ中の小ブロックＥ以外の領域を予測する際に、小ブロックＥの画素値を参照することもできる。このように、予測画素値曲面Ｗを求める際に参照する画素は、復号済みの画素であれば、その位置や画素数にはさまざまな組合せが可能である。本明細書では説明を容易にするため、参照ブロックＡ〜Ｄを参照画素の例として用いる。

次に、実施例１のイントラ予測装置１の動作について、図６を参照して説明する。

［実施例１のイントラ予測装置１の動作］
図６は、実施例１のイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、ＬＰＦ１１により、参照ブロックの復号画像をフィルタ処理する。なお、ステップＳ１０１は高周波成分（ノイズ）を多く含む画像に対して本発明のイントラ予測性能をより向上する効果があるが、必須のステップではない。

ステップＳ１０２にて、参照画素値積算部１２及び係数最適化部１３により、参照ブロックを用いて予測画素値曲面Ｗの係数を導出する。なお、予測画素値曲面Ｗをどのような曲面又は平面とするかにより、係数を導出するための計算式は異なる。

ステップＳ１０３にて、無方向予測部１４により、予測ブロックＭの予測画像を生成する。

次に、本発明による符号化器及び復号器について、図７及び図８を参照して説明する。

［符号化器及び復号器］
図７は、本発明による実施例１のイントラ予測装置１を備える符号化器の構成図である。符号器２は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号器（図１４参照）におけるイントラ予測部に代えて、本発明による実施例１のイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部２６及び逆直交変換部２７を経て既符号化ブロックを復号した画像を入力し、上述したようにＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、無方向予測部１４を経て生成した予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。なお、前記のようにＬＰＦ１１は必須ではない。

図８は、本発明による実施例１のイントラ予測装置１を備える復号器の構成図である。復号器３は、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、イントラ予測装置１と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを備える。復号器３は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。

可変長復号部４１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部４２に出力するとともに、動きベクトルの情報を復号して動き補償予測部４６に出力する。

逆量子化部４２は、可変長復号部４１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部４３に出力する。

逆直交変換部４３は、逆量子化部４２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部４４に出力する。

加算部４４は、逆直交変換部４３から得られる当該差分画像と、動き補償予測部４６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像を復元し、並べ替え部４８、イントラ予測装置１、及びフレームメモリ４５に出力する。

動き補償予測部４６は、フレームメモリ４５から得られる参照画像と可変長復号部４１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ４７を介して加算部４４に出力する。

並べ替え部４８は、加算部４４から入力される復元された復号画像の各フレームを表示フレーム順に並べ替えて出力する。

イントラ予測装置１は、逆量子化部４２及び逆直交変換部４３を経て復号した画像を入力し、上述したようにＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、無方向予測部１４を経て生成した予測画像を切替えスイッチ４７を介して加算部４４に出力する。なお、式（２）におけるｘ_ｉ，ｙ_ｉは既知の座標なので、Σｘ_ｉやΣｙ_ｉなどの計算は復号時に参照画素値積算部１２で行う必要はなく、復号器３にあらかじめ設定しておくことができる。したがって、復号器で本発明によるイントラ予測装置１を用いる場合、予測画素値曲面Ｗは非常に少ない演算量で求めることが可能である。なお、前記のようにＬＰＦ１１は必須ではない。

なお、図７に示した本発明による符号化器のイントラ予測装置１及び図８に示した復号器の本発明による符号化器のイントラ予測装置１を、後述する実施例２又は３のイントラ予測装置１に置き換えることができることは勿論である。

次に、本発明による実施例２のイントラ予測装置について、図面を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。

エッジを含む画像のような変化が急峻な画像などでは、予測画素値曲面Ｗと、参照ブロックＡ〜Ｄ内の画素との誤差又は重み付き誤差が大きくなり、予測画素値曲面Ｗを用いたイントラ予測値は適切でない可能性がある。そのため、実施例２のイントラ予測装置１は、予測画素値曲面Ｗを用いたイントラ予測値が適切でない場合には、従来（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）の予測方法により、参照ブロックの画素値を用いたイントラ予測値に切替える。この場合、符号化器と復号器の双方で同じ誤差又は重み付き誤差を計算可能なため、本発明によるイントラ予測値と従来のイントラ予測値とを切替えるためのフラグを復号器に対して送信する必要がない。

図９は、本発明による実施例２のイントラ予測装置１の構成図である。実施例２のイントラ予測装置１は、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７とを備える。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１（図４参照）と比較して、更に、画面内予測部１５と、判定部１６と、切替え部１７とを備える点で相違する。

画面内予測部１５は、復号画素値を入力し、予測画素値曲面Ｗを用いないで予測する方式（例えば、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）により、予測ブロックＭの予測画像を求める。

判定部１６は、予測画素値曲面Ｗを求める際に参照した画素の全部又は一部の画素と、該画素に対応する、無方向予測部１４から入力される予測画素値曲面Ｗの値との差を求め、差が閾値を超えるか否かを判定する。一部の画素のみ利用する場合には、予測ブロックＭに近い画素を利用するのが好適である。また、差を求める際に、予測ブロックＭとの距離に応じた重み付けを行ってもよい。この場合、予測ブロックＭとの距離が遠い画素ほど重みを小さくする（差に与える影響を小さくする）のが好適である。ここで求める「差」として、上述したように、差の二乗和などの様々な指標を用いることができる。また、係数最適化部１３で予測画画素値曲面Ｗを求めるときに使用する指標と、判定部１６で使用する指標とは同一の指標である必要はない。

切替え部１７は、判定部１６の判定結果により、差が閾値以下である場合には無方向予測部１４で求めた予測画素値を出力し、閾値より大きい場合には画面内予測部１５で求めた予測画素値を出力するように切替える。この閾値は、固定値でも良いし、可変値でも良い。可変値とする場合は、例えば予測ブロックの量子化特性値（量子化ステップ）など、符号化側と復号側で共通に得られる情報の関数として閾値を定義すると、閾値のための情報を復号側に送信する必要がないので好適である。

図１０に、実施例２のイントラ予測装置１の第１の変形例を示す。この変形例では、判定部１６に予測ブロックＭの原画像及び無方向予測部１４で求めた予測画像を入力し、原画像の画素値と予測画像の画素値との差が閾値より大きいか否かを判定し、閾値より大きい場合には、切替え部１７により画面内予測部１５で求めた予測画像を出力する。この場合は、判定部１６は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１６では差の計算は必要なく、受信した判定結果にしたがって切り替え部１７を動作させる機能だけを有する。

図１１に、実施例２のイントラ予測装置１の第２の変形例を示す。この変形例では、判定部１６に予測ブロックＭの原画像、無方向予測部１４で求めた予測画像、及び画面内予測部１５で求めた予測画像を入力し、無方向予測部１４で求めた予測画像の画素値と画面内予測部１５で求めた予測画像の画素値のどちらが原画像の画素値との差が小さいかを判定し、切替え部１７により、原画像の画素値との差が小さいほうの予測画像を出力する。この場合も、判定部１６は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１６では差の計算は必要なく、受信した判定結果にしたがって切り替え部１７を動作させる機能だけを有する。

次に、実施例２のイントラ予測装置１の動作について、図１２を参照して説明する。

［実施例２のイントラ予測装置１の動作］
図１２は、実施例２のイントラ予測装置１の動作を示すフローチャートである。実施例１のイントラ予測装置１の動作（図６参照）と同様に、ステップＳ２０１にて、ＬＰＦ１１により、復号画像をフィルタ処理し、ステップＳ２０２にて、参照画素値積算部１２及び係数最適化部１３により、参照ブロックを用いて予測画素値曲面Ｗの係数を導出し、ステップＳ２０３にて、無方向予測部１４により、予測ブロックＭの予測画像を生成する。なお、ステップＳ２０１は、高周波成分（ノイズ）を多く含む画像に対して、本発明のイントラ予測性能を向上する効果があるが、必須のステップではない。

ステップＳ２０４にて、判定部１６により、ステップＳ２０３にて生成した予測画像の画素値と、参照ブロックＡ〜Ｄの画素値との差を求め、差が閾値を超えるか否かを判定する。

ステップＳ２０５にて、差が閾値以下であると判定した場合には処理をステップＳ２０６に進め、差が閾値よりも大きいと判定した場合には処理をステップＳ２０７に進める。

ステップＳ２０６にて、切替え部１７により、ステップＳ２０３にて生成した予測画像を出力する。

ステップＳ２０７にて、切替え部１７により、他方式（例えば、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）により生成した予測画像を出力する。なお、他方式による予測画像は、予測画素値曲面Ｗを用いた予測画像の生成と並行して、画面内予測部１５により生成される。

実施例２のイントラ予測装置１によれば、予測画素値曲面Ｗを用いて生成した予測画像と、従来の方向を選択して生成した予測画像とを切替えることができるので、エッジを含むような画像に対しても適切な予測画像を生成することができるようになる。

次に、本発明による実施例３のイントラ予測装置について、図１３を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。

実施例３のイントラ予測装置１は、参照する画素の位置をどこにするか、予測画素値曲面Ｗの式としてどのような式を用いるか、及び予測画素値曲面の最適化手段（最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等）としていずれを採用するかについて、複数の処理モードを用意し、予測ブロックごとにどの処理モードを選択するかを切替えるようにする。図１３は、本発明による実施例３のイントラ予測装置１を示す構成図である。ここでは、複数（ｎ個）の実施例１のイントラ予測装置１と、処理モード判定部１８とを備える例を示すが、イントラ予測装置１として、実施例２のイントラ予測装置１を備える構成とすることができることは勿論である。

ＬＰＦ１１及び無方向予測部１４の構成は各処理モードで同一であるが、参照画素値積算部１２及び／又は係数最適化部１３の構成又は演算方法は処理モードごとに異なる。参照画素値積算部１２の処理モードとしては、例えば、参照ブロックとしてＡ〜Ｄのすべてを用いるモード、Ａだけを用いるモード、Ｂだけを用いるモード、Ｃだけを用いるモード、Ｄだけを用いるモード、Ａ・Ｂ・Ｄだけを用いるモードなどが考えられる。さらに、参照画素は、必ずしも予測ブロックに隣接している必要はない。また、この実施例ではＬＰＦ１１及び無方向予測部１４の構成は各処理モードで同一としたが、フィルタの種類や有無、予測画素値曲面の式などは処理モード毎に異なるものとして良いことは勿論である。すなわち、各処理モード毎に、参照する画素の位置が符号化器と復号器で共通でありさえすれば良い。

処理モード判定部１８は、複数の処理モードにより生成された予測画像の中から最適な予測画像を選択して出力する。例えば、符号化効率が最大となる予測画像、又は予測画素値曲面Ｗを求める際に参照した画素の全部又は一部の画素と、該画素に対応する、無方向予測部１４から入力される予測画素値曲面Ｗの値との差が最小である予測画像、又は予測ブロックＭの予測画像の画素値と予測ブロックＭの原画像の画素値との差が最小である予測画像を選択する。

また、処理モード判定部１８は、処理モード１〜ｎのうちのいずれの処理モードを選択したかを示すフラグを出力する。ただし、符号化器及び復号器に本実施例のイントラ予測装置１を用いた場合、符号化器と復号器との間で処理モードを決定する規則を定めておけば、フラグを伝送する必要はない。例えば、参照ブロックＡ〜Ｄの分散値が大きい場合には、分散値の影響の小さな最適化手段を用いる処理モードを選択するなど、処理モードを復号画像から推定することも可能である。また、予測画素値曲面Ｗの式や、参照画素の位置については、あらかじめ定めておいたものから選択する以外に、フレーム毎などのタイミングで別途伝送しても良い。処理モードを送信する符号化器に対応する復号器においては、処理モード判定部１８は受信した前記フラグにもとづき、１〜ｎの処理モードを選択する機能を有する。

実施例３のイントラ予測装置１によれば、複数の処理モードの中から所望の予測画像を選択できるので、さまざまな画像に対して、画像ごとに最適な予測画像を生成することができるようになる。

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができる。実施例１のイントラ予測装置１を機能させるコンピュータは、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４とを機能させるための制御部を、ＣＰＵ（中央演算処理装置）と記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４の有する機能を実現させることができる。

同様に実施例２のイントラ予測装置１として機能させるコンピュータは、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７の有する機能を実現させることができる。

同様に実施例３のイントラ予測装置１として機能させるコンピュータは、複数のＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、及び無方向予測部１４と、処理モード判定部１８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、複数のＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、及び無方向予測部１４と、処理モード判定部１８の有する機能を実現させることができる。

また、符号器２として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２の有する機能を実現させることができる。

さらに、復号器３として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８の有する機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各画像ブロックのサイズ及び予測画素値曲面は、上述の値及び式に限定されるものではなく、本発明を適用する画像サイズ等に合わせて好適な値及び式を用いることができる。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１ イントラ予測装置
１１ ＬＰＦ
１２ 参照画素値積算部
１３ 係数最適化部
１４ 無方向予測部
１５ 画面内予測部
１６ 判定部
１７ 切替え部
１８ 処理モード判定部
２ 符号化器
３ 復号器

Claims (6)

1. 予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置であって、
   参照ブロックに含まれる画素を選定し、該画素の画素値を近似する予測画素値曲面を生成する予測画素値曲面生成手段と、
   前記予測画素値曲面に基づいて予測ブロックの予測画像を生成する無方向予測手段と、を備え、
   前記予測画素値曲面生成手段は、前記参照ブロックの画素値との差を示す指標が最小となる曲面を前記予測画素値曲面とし、該予測画素値曲面の係数を求める係数最適化手段を有するとともに、
   前記係数最適化手段は、前記差を示す指標を求める際に、参照ブロック内の画素と予測ブロックとの距離に応じて重み付けすることを特徴とするイントラ予測装置。
2. 前記係数最適化手段は、前記差を示す指標を、前記予測画素値曲面の値と前記参照ブロックの画素値との差の二乗和とすることを特徴とする、請求項１に記載のイントラ予測装置。
3. 前記重みは、前記参照ブロック内の画素と予測ブロックとの距離が大きくなるほど、小さな値とすることを特徴とする、請求項１または２に記載のイントラ予測装置。
4. 請求項１〜３のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
5. 請求項１〜３のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
6. コンピュータを、請求項５に記載の復号器として機能させるためのプログラム。

Images