JP5202558B2 - イントラ予測装置、符号化器、復号器及びプログラム - Google Patents

Description

本発明は、直交変換係数に制約条件を課して生成した予測関数によりイントラ予測を行うイントラ予測装置、符号化器、復号器及びプログラムに関する。

ＭＰＥＧ ４ＡＶＣ／Ｈ．２６４方式では、インター予測（画面間予測）を用いずに符号化される画素ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図９に、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、イントラ予測部２９と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを備える。

並べ替え部２１は、画素ごとの画素値の並びとして構成される画像信号（例えばイメージセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する入力画像信号を減算部２２及び動き補償予測部３１に出力する。

動き補償予測部３１は、並べ替え部２１から供給される入力画像信号に対して、フレームメモリ３０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。動きベクトルの情報は、可変長符号化部２５に出力する。

減算部２２は、並べ替え部２１からの入力画像信号と、動き補償予測部３１又はイントラ予測部２９からの予測画像との差分信号を生成して直交変換部２３に出力する。

直交変換部２３は、減算部２２から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、量子化部２４に出力する。

量子化部２４は、直交変換部２３から入力される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部２５及び逆量子化部２６に出力する。

可変長符号化部２５は、量子化部２４から入力される量子化信号についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部３１から入力される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部２６は、量子化部２４から入力される量子化信号について逆量子化処理を行って逆直交変換部２７に出力する。

逆直交変換部２７は、逆量子化部２６から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部３２に出力する。

加算部３２は、逆直交変換部２７から得られる逆直交変換した信号と、動き補償予測部３１又はイントラ予測部２９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部２９及びフレームメモリ３０に出力する。

切替えスイッチ２８は、動き補償予測とイントラ予測とを切替える。

イントラ予測部２９は、既符号化ブロックを復号した画像からイントラ予測した予測画像を生成して減算部２２及び加算部３２に出力する。ここで、減算部２２では、この予測結果信号と原信号の差分信号を直交変換部２３に出力し、量子化部２４及び可変長符号化部２５を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、予測モード（予測方向）は９種類あり、その中から最適な予測方向を選択する。図１０は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。更に、動き補償予測でイントラ予測を行い、動きベクトルは伝送せずに、復号器側でも動きベクトル検出を行う技法が知られている（例えば、特許文献４参照）。

特開２００９―０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報 特開２００７−０４３６５１号公報

しかし、従来の方向性を持ったイントラ予測方法は、あらかじめ定められたパターンの中から選択していたため、対象とする画像によっては適切なイントラ予測方向が選択できないという問題があった。また、イントラ予測の方向を伝送する必要があるため、伝送情報量が増大するという問題があった。更に、動き補償予測によりイントラ予測を行うと、復号器に膨大な演算を必要とするという問題があった。

本発明の目的は、上記問題を解決するため、イントラ予測の方向をあらかじめ定められたパターンに限定せず、任意の方向のイントラ予測を可能とし、イントラ予測の方向を伝送しないことでビットレートを削減し、更に、膨大な演算を必要としないイントラ予測装置、符号化器、復号器及びプログラムを提供することにある。また、エッジを含むような領域に対しても、適用が容易なイントラ予測装置、符号化器、復号器及びプログラムを提供することにある。

本発明に係るイントラ予測装置は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、参照ブロックと予測ブロックとからなるサイズの画像ブロックに対する直交変換の基底を生成する直交変換基底生成手段と、前記予測ブロックの画素数と同数の直交変換係数を所定の値とする制約条件によって定まる、前記直交変換の基底と前記参照ブロックの画素値との和積演算で表される予測関数を生成する予測関数生成手段と、前記予測関数に前記参照ブロックの画素値を適用して予測画像を生成する予測手段とを備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記所定の値は、０であることを特徴とする。

また、本発明に係るイントラ予測装置において、前記制約条件は、前記予測ブロックの画素数と同数の直交変換係数を、高次の直交変換係数から順に、所定の値とすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記参照ブロック、及び／又は前記制約条件により所定の値にされた直交変換係数が属するブロック（変換係数ブロック）の要素構成が異なる複数の処理モードが予め用意されており、前記処理モードごとに生成された予測画像の中から予測画像を選択して出力する手段を備えることを特徴とする。

更に、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

また、本発明に係る符号化器は、上述したイントラ予測装置を備えた符号化器であって、前記選択された予測画像に対応する処理モードに関する情報（処理モード情報）を復号器に通知する手段を備えることを特徴とする。

更に、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

また、本発明に係る復号器は、上述したイントラ予測装置を備えた復号器であって、上述したイントラ予測装置を備えた符号化器から前記選択された予測画像に対応する処理モードに関する情報（処理モード情報）を受け取り、該情報から符号化器における処理モードを特定する手段を備え、前記予測手段は、前記特定した処理モードによる予測画像を生成することを特徴とする。

更に、本発明は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置を構成するコンピュータに、（ａ）参照ブロックと予測ブロックとからなるサイズの画像ブロックに対する直交変換の基底を生成するステップと、（ｂ）前記予測ブロックの画素数と同数の直交変換係数を所定の値とする制約条件によって定まる、前記直交変換の基底と前記参照ブロックの画素値との和積演算で表される予測関数を生成するステップと、（ｃ）前記予測関数に前記参照ブロックの画素値を適用して予測画像を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明では、イントラ予測の方向が限定されないため、様々な画像に対して適したイントラ予測が可能となる。また、イントラ予測の方向を計算により求めるため、イントラ予測の方向を伝送する必要がなくなる。さらに、イントラ予測の方向を計算する計算量も軽微で済む。

本発明によるイントラ予測を行う画像ブロック及び変換係数ブロックを例示する図である。 本発明によるイントラ予測を行う画像ブロック及び変換係数ブロックを例示する図である。 本発明による実施例１のイントラ予測装置の構成図である。 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。 本発明による実施例１のイントラ予測装置を備える復号器の構成図である。 本発明による実施例２のイントラ予測装置の構成図である。 本発明による実施例２のイントラ予測装置の動作を示すフローチャートである。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器のブロック図を示す図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

図１（ａ）は、本発明によるイントラ予測を行う実空間領域αを例示する図である。実空間領域αは、画像ブロックＡ，Ｂ，Ｃ，及びＭからなる。画像ブロックＭは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＡ，Ｂ，Ｃは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。各画像ブロックのサイズは、例えば、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ラインとする。

イントラ予測では、図１（ａ）において、符号化済みの参照ブロックＡ，Ｂ，Ｃに属する画素を参照して、予測ブロックＭの画素を予測する。すなわち、予測ブロックＭの画素数をｍ個とし、参照ブロックＡ，Ｂ，Ｃの画素数をそれぞれａ，ｂ，ｃ個とすると、（ａ＋ｂ＋ｃ）個の全て又はその一部の画素の値から、ｍ個の画素の値を導出する。以下に、基本概念を説明する。

参照ブロックＡ，Ｂ，Ｃ及び予測ブロックＭからなる実空間領域αに対して直交変換を行うと、（ａ＋ｂ＋ｃ＋ｍ）個の画素の値の線形和として（ａ＋ｂ＋ｃ＋ｍ）個の変換係数からなる変換係数領域βが求まる。ここで、図１（ｂ）に示すように、変換係数領域β内にｘ個の変換係数からなる変換係数ブロックＸを規定し、変換係数ブロックＸに属する変換係数の値が０であると仮定すると、ｘ個の変換係数に対応した線形結合に制約条件（＝０）が課される。変換係数の個数ｘをｍ個に設定すると、未知数（予測ブロックＭの画素値）と同数の条件式が設定されることになり、一意に解が求まる。すなわち、予測ブロックＭの領域の予測画素値は、参照ブロックＡ，Ｂ，Ｃの画素値の線形和として求めることができる。

変換係数ブロックＸを直交変換の高周波領域に設定すれば、予測ブロックＭの予測画素値は参照ブロックＡ，Ｂ，Ｃの画素値に直流を含む低周波成分において連続な画素値として求まる。従来の予測方法では、直流、又は高々１次勾配において連続な画素値の予測に留まっていたが、本発明によればより高次の連続性が保証される。

変換係数ブロックＸの変換係数の個数を予測ブロックＭの画素数とし、変換係数ブロックＸの変換係数係を所定の値とする制約条件があれば、予測ブロックＭの予測画素値を求めることができる。通常、高周波領域の変換係数には０が多く含まれるため、所定の値は０とするのが好適である。また、通例、高周波成分は雑音が多いので、高周波領域の変換係数を０とすることは予測効率の点で問題ではなく、むしろ雑音にロバストな予測を与える。

なお、参照ブロックＡ，Ｂ，Ｃの構成、予測ブロックＭの構成は任意とすることができ、最適な予測を与える構成法を符号化側で決定し、復号側にその情報を伝送することにより、より高効率な予測が可能となる。また、変換係数ブロックＸの構成は、予測ブロックＭの画素数であるｍ個の係数を含めばよいだけなので、領域としてまとまっている必要はない。そのため、予測ブロックＭと変換係数ブロックＸとは、要素の個数が同じであれば、同一の形状をしていなくてもよい。

参照ブロック及び予測ブロックの構成が決まれば、単なる線形和で表せる予測関数が決定される。概念として直交変換や１次連立方程式の解を用いるが、実装上は線形和の式を保持・実行すればよいだけなので、非常に軽微な処理で済む。直交変換は画素の構成によって、１次元変換、２次元変換いずれでもよい。

次に、参照ブロックＡ，Ｂ，Ｃ、及び予測ブロックＭのサイズをＮ×Ｎとしたときの本発明によるイントラ予測の具体例を、図２を参照して説明する。図２は、本発明によるイントラ予測を行う画像ブロック及び変換係数ブロックを例示する図である。

長さ２Nのベクトルに対する、１次元ＤＣＴ変換行列の各要素Ｆ（ｍ）は式（１）で表される。

２次元ＤＣＴ変換行列Ｆを４つのＮ×Ｎ行列Ｆ（Ｓ），Ｆ（Ｔ），Ｆ（Ｕ），Ｆ（Ｘ）に分割し、画像ブロックＡ，Ｂ，Ｃ，Ｍの画素値をそれぞれＰ（Ａ），Ｐ（Ｂ），Ｐ（Ｃ），Ｐ（Ｍ）とすると、画像ブロックＡ，Ｂ，Ｃ，Ｍに対する２次元ＤＣＴ変換は、式（２）で表される。

ここで、

である。Ｆ_Ｘ＝０と仮定すると、式（３）が得られる。

これより、予測ブロックＭの予測画素値を算出するための予測関数が式（４）で表される。

ここで、Ｆ（Ｓ），Ｆ（Ｔ），Ｆ（Ｕ），Ｆ（Ｘ）は、直交変換の基底であり、変換係数ブロックのサイズによりあらかじめ定まる定数である。したがって、変換係数ブロックＦ（Ｘ）の変換係数値は、参照ブロックの画素値Ｐ（Ａ），Ｐ（Ｂ），Ｐ（Ｃ）と定数行列の和積演算で求めることが可能である。

なお、ここでは、０と仮定する変換係数ブロックＸの領域を高周波成分のＮ×Ｎ要素としたが、任意の形状（要素数Ｎ×Ｎ）を０と仮定する場合でも、行列Ｆを４分割する代わりに全ての要素について上記と同様の手順で計算すれば予測ブロックＭの値を求めることが可能である。

本発明による実施例１のイントラ予測装置について、図面を参照して説明する。

図３は、本発明による実施例１のイントラ予測装置１の構成図である。実施例１のイントラ予測装置１は、直交変換基底生成部１１と、予測関数生成部１２と、予測部１３とを備える。

直交変換基底生成部１１は、参照ブロックＡ，Ｂ，Ｃと予測ブロックＭとからなるサイズの画像ブロックに対する直交変換の基底を生成し、予測関数生成部１２に出力する。直交変換の基底は、予め用意して記憶しておいてもよい。

予測関数生成部１２は、予測ブロックＭの画素数と同数の直交変換係数、すなわち、変換係数ブロックＸの直交変換係数の値を０とする制約条件によって定まる予測関数（例えば、式（４）で表される）を生成し、予測部１３に出力する。予測関数は、参照ブロックＡ，Ｂ，Ｃの画素値と予測ブロックＭの予測画素値との関係を導き、直交変換の基底と参照ブロックの画素値との和積演算で表される。

予測部１３は、予測関数生成部１２から提供された予測関数に、参照ブロックＡ，Ｂ，Ｃの画素値を適用（代入）して予測ブロックＭの予測画像を生成し、外部に出力する。

次に、実施例１のイントラ予測装置１の動作について、図４を参照して説明する。

［実施例１のイントラ予測装置１の動作］
図４は、実施例１のイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、直交変換基底生成部１１により、１次元以上の直交変換の基底を生成する。

ステップＳ１０２にて、予測関数生成部１２により、変換係数ブロックＸの直交変換係数の値を０とする制約条件によって定まる予測関数を生成する。

ステップＳ１０３にて、予測部１３により、予測関数に参照ブロックＡ，Ｂ，Ｃの画素値を代入して予測ブロックＭの予測画像を生成し、外部に出力する。

次に、本発明による符号化器及び復号器について、図５及び図６を参照して説明する。

［符号化器及び復号器］
図５は、本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器（図９参照）におけるイントラ予測部に代えて、本発明による実施例１のイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部２６及び逆直交変換部２７を経て既符号化ブロックを復号した画像を入力し、上述したように、直交変換基底生成部１１、予測関数生成部１２、及び予測部１３により生成した予測画像を減算部２２及び加算部３２に出力する。

図６は、本発明による実施例１のイントラ予測装置を備える復号器の構成図である。復号器３は、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、イントラ予測装置１と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを備える。復号器３は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。

可変長復号部４１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部４２に出力するとともに、動きベクトルの情報を復号して動き補償予測部４６に出力する。

逆量子化部４２は、可変長復号部４１から入力される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部４３に出力する。

逆直交変換部４３は、逆量子化部４２から入力される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部４４に出力する。

加算部４４は、逆直交変換部４３から得られる当該差分信号と、動き補償予測部４６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像信号を復元し、並べ替え部４８に出力する。

動き補償予測部４６は、フレームメモリ４５から得られる参照画像と可変長復号部４１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ４７を介して加算部４４に出力する。

並べ替え部４８は、加算部４４から入力される復元された復号画像信号を、表示信号として並べ替えを行う。

イントラ予測装置１は、逆量子化部４２及び逆直交変換部４３を経て復号した画像を入力し、上述したように、直交変換基底生成部１１、予測関数生成部１２、及び予測部１３により生成した予測画像を、切替えスイッチ４７を介して加算部４４に出力する。

符号化器２と復号器３とで同じ最適化手段を用いると、符号化器側のイントラ予測値と、復号器側のイントラ予測値との値を同一にすることができる。最適化手段は、符号化器と復号器とで同一の結果が出る手段であれば、厳密に最適な値を求める手段でなくてもよい。

なお、図５に示した本発明による符号化器のイントラ予測装置１及び図６に示した復号器の本発明による符号化器のイントラ予測装置１を、後述する実施例２のイントラ予測装置１に置き換えることができるのは勿論である。

次に、本発明による実施例２のイントラ予測装置について、図面を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。

実施例２のイントラ予測装置１は、参照ブロック、及び／又は変換係数ブロックの要素構成の異なる複数の処理モード（処理モード１，２，…，ｎ）を用意し、処理モードごとによりイントラ予測を行う。ここでは処理モードが３種類（ｎ＝３）の場合について説明する。

図７は、本発明による実施例２のイントラ予測装置１の構成図である。実施例２のイントラ予測装置１は、イントラ予測部１−１〜３と、判定部１４と、切替え部１５とを備える。イントラ予測部１−１〜３は、それぞれ、直交変換基底生成部１１−１〜３と、予測関数生成部１２−１〜３と、予測部１３−１〜３とを備える。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１（図３参照）と比較して、イントラ予測部を３種類備え、更に、判定部１４と、切替え部１５とを備える点で相違する。

イントラ予測部１−１では処理モード１によりイントラ予測を行い、イントラ予測部１−２では処理モード２によりイントラ予測を行い、イントラ予測部１−３では処理モード３によりイントラ予測を行う。例えば、図２において、処理モード１では参照ブロックＢのみを参照し、処理モード２では参照ブロックＣのみを参照し、処理モード３では参照ブロックＡ，Ｂ，Ｃを参照して、予測ブロックＭを予測する。処理モード１では、参照ブロックＢと予測ブロックＭとで構成されるブロックに２次元直交変換を適用するのが好適であるが、垂直方向の１次元直交変換とすることも可能である。処理モード２では、参照ブロックＣと予測ブロックＭとで構成されるブロックに２次元直交変換を適用するのが好適であるが、水平方向の１次元直交変換とすることも可能である。

判定部１４は、予測ブロックＭの原画像（基準画像）とイントラ予測部１−１〜３で生成される予測画像とを比較し、複数の処理モードにより生成された予測画像の中から最適な予測画像を選択し、選択信号を切替え部１５に出力する。例えば、基準画像との誤差が最小である予測画像を選択する。差は、分散、差の絶対値和、差の絶対値の最小値、又は差の絶対値の積など、差を表すさまざまな指標を利用することができる。なお、基準画像として予測画像を生成する際に参照した参照ブロックの復号画像を用いることもできる。

切替え部１５は、判定部１４から入力される判定信号に基づき、イントラ予測部１−１〜３で生成される予測画像の中から１つの予測画像を選択して出力する。

実施例２のイントラ予測装置１の変形例として、イントラ予測装置１がさらに方向選択方式予測部（図示しない）を備え、判定部１４にて複数の処理モードにより生成した予測画像の誤差がいずれも大きいと判定した場合には、切替え部１５にて方向選択方式予測部により生成した予測画像を出力するように切替えることもできる。また、予測画像の画素値が所定の範囲に収まらない場合（例えば、画素値を８ビットで扱う場合は０から２５５の範囲）にも、方向選択方式予測部により生成した予測画像を出力するように切替えることもできる。方向選択方式予測部では、予測方向を選択する方向選択方式（例えば、従来のＭＰＥＧ４ＡＶＣ／Ｈ．２６４方式）によりイントラ予測を行う。

実施例２のイントラ予測装置１を符号化器に用いた場合、符号化器側から復号器側に処理モードに関する処理モード情報を補助情報として通知する。処理モード情報は、判定部１４の判定信号や予測関数生成部１２で生成した予測関数、又は、各処理モードの参照ブロック及び変換係数ブロックの要素構成とする。

一方、復号器は、処理モード受信部（図示しない）を別途備えることで、実施例２のイントラ予測装置１を備える符号化器から受信した信号を復号することができる。処理モード受信部は、符号化器から選択された予測画像に対応する処理モード情報を受け取り、該情報から符号化器における処理モードを特定する。そして、特定した処理モードに従って、直交変換基底生成部１１、予測関数生成部１２、及び予測部１３は動作する。

実施例２のイントラ予測装置１によれば、上述したように複数の予測画像の中から基準画像との誤差が最も小さい予測画像を判定することができるが、さらに別の判定方法として、処理モードごとに優先順位を設け、優先順位の高い処理モードで生成した予測画像から順に基準画像との誤差を判定することも可能である。そこで、処理モードの番号ｎの小さい順に高い優先順位で判定する場合の動作について、図８を参照して説明する。

図８は、実施例２のイントラ予測装置１の、処理モードの番号ｎの小さい順に高い優先順位で判定する場合の動作を示すフローチャートである。まず、ステップＳ２０１にて、処理モード番号ｎに初期値１を代入する。処理モード１は最も優先順位が高い。

ステップＳ２０２にて、直交変換基底生成部１１−ｎにより処理モードｎの直交変換の基底関数を生成し、ステップＳ２０３にて、予測関数生成部１２−ｎにより予測関数を生成し、ステップＳ２０４にて、予測部１３−ｎにより予測ブロックＭの予測画像を生成する。

ステップＳ２０５にて、処理モード番号ｎに１を加算する。

ステップＳ２０６にて、判定部１４により、処理モードｎで生成した予測画像と基準画像との誤差が閾値以下であるか否かを判定する。閾値以下であると判定した場合には、処理をステップＳ２０７に進め、誤差が閾値よりも大きいと判定した場合には処理をステップＳ２０２に戻す。ステップＳ２０５にて処理モード番号ｎに１が加算されているため、ステップＳ２０２に処理が戻された場合には、ステップＳ２０２からＳ２０４にて、次に優先順位が高い処理モードにより予測画像を生成する。

ステップＳ２０６にて、誤差が閾値以下であった場合には、ステップＳ２０７にて、切替え部１５により、判定対象となった予測画像を出力する。

なお、イントラ予測装置１が方向選択方式予測部を備える場合には、すべての処理モードにおいて誤差が閾値より大きい場合、又は予測画像の画素値が所定の範囲に収まらない場合には、方向選択方式予測部により生成した予測画像を出力する。

実施例２のイントラ予測装置１によれば、複数の処理モードの中から所望の予測画像を選択できるので、さまざまな画像に対して、画像ごとに最適な予測画像を生成することができるようになる。

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができる。実施例１のイントラ予測装置１を機能させるコンピュータは、直交変換基底生成部１１と、予測関数生成部１２と、予測部１３とを機能させるための制御部を、ＣＰＵ（中央演算処理装置）と記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、直交変換基底生成部１１と、予測関数生成部１２と、予測部１３の有する機能を実現させることができる。

同様に、実施例２のイントラ予測装置１を機能させるコンピュータは、複数の直交変換基底生成部１１、予測関数生成部１２、及び予測部１３と、判定部１４と、切替え部１５とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、複数の直交変換基底生成部１１、予測関数生成部１２、及び予測部１３と、判定部１４と、切替え部１５の有する機能を実現させることができる。

また、符号器２として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２の有する機能を実現させることができる。

さらに、復号器３として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８の有する機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１ イントラ予測装置
１１ 直交変換基底生成部
１２ 予測関数生成部
１３ 予測部
１４ 判定部
１５ 切替え部
２ 符号化器
３ 復号器

Claims (9)

1. 予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
   参照ブロックと予測ブロックとからなるサイズの画像ブロックに対する直交変換の基底を生成する直交変換基底生成手段と、
   前記予測ブロックの画素数と同数の直交変換係数を所定の値とする制約条件によって定まる、前記直交変換の基底と前記参照ブロックの画素値との和積演算で表される予測関数を生成する予測関数生成手段と、
   前記予測関数に前記参照ブロックの画素値を適用して予測画像を生成する予測手段と、
   を備えることを特徴とするイントラ予測装置。
2. 前記所定の値は、０であることを特徴とする、請求項１に記載のイントラ予測装置。
3. 前記制約条件は、前記予測ブロックの画素数と同数の直交変換係数を、高次の直交変換係数から順に、所定の値とすることを特徴とする、請求項１又は２に記載のイントラ予測装置。
4. 前記参照ブロック、及び／又は前記制約条件により所定の値にされた直交変換係数が属するブロックの要素構成が異なる複数の処理モードが予め用意されており、
   前記処理モードごとに生成された予測画像の中から予測画像を選択して出力する手段を備えることを特徴とする、請求項１〜３のいずれか一項に記載のイントラ予測装置。
5. 請求項１〜４のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
6. 請求項４に記載のイントラ予測装置を備えた符号化器であって、
   前記選択された予測画像に対応する処理モードに関する情報を復号器に通知する手段を備えることを特徴とする符号化器。
7. 請求項１〜４のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
8. 請求項１〜３に記載のイントラ予測装置を備えた復号器であって、
   請求項４に記載のイントラ予測装置を備えた符号化器から前記選択された予測画像に対応する処理モードに関する情報を受け取り、該情報から符号化器における処理モードを特定する手段を備え、
   前記予測手段は、前記特定した処理モードによる予測画像を生成することを特徴とする復号器。
9. 予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置を構成するコンピュータに、
   （ａ）参照ブロックと予測ブロックとからなるサイズの画像ブロックに対する直交変換の基底を生成するステップと、
   （ｂ）前記予測ブロックの画素数と同数の直交変換係数を所定の値とする制約条件によって定まる、前記直交変換の基底と前記参照ブロックの画素値との和積演算で表される予測関数を生成するステップと、
   （ｃ）前記予測関数に前記参照ブロックの画素値を適用して予測画像を生成するステップと、
   を実行させるためのプログラム。

Images