JP4763422B2 - イントラ予測装置 - Google Patents

Description

本発明は、動画圧縮等に用いられるイントラ予測装置に関し、動画圧縮の一手法であるイントラ予測の演算量を削減する技術に関するものである。

近年、ブロードバンドなどの通信インフラの普及やパーソナルコンピュータ、ＨＤＤやＤＶＤなどをはじめとする大容量記憶装置、メモリカードなどの低価格化により、一般消費者が映像を編集、蓄積、配信、携帯するといった環境が整い、ますます利用者が増えてきている。

このように一般消費者が映像を扱うシーンが増える一方、パーソナルコンピュータの高性能化が進んだ現在でも、映像を扱うには十分な性能と言えない場面もある。例えば、映像の情報量は非常に多く、高性能なパーソナルコンピュータを用いても、動画圧縮を行うには、まだまだ時間がかかる。その解決策として、同じ符号化性能をより少ない演算量で処理する演算の高効率化が考えられる。また、高効率に演算を行えば消費電力削減につながり、携帯型撮影機器の電池寿命による撮影時間の制約を緩和できる。こうした背景の中、ますます高効率の動画圧縮技術が求められるようになっている。

そうした中、新たに誕生した国際標準動画圧縮規格Ｈ．２６４（例えば、非特許文献１参照。）は、画質向上および符号効率向上を目的として、複数の動画圧縮ツールを用いる。また、Ｈ．２６４は、複数の予測手法を逐次比較し、符号化効率に優れるものを予測方法として選択し、符号化を行う特徴をもつ。

例えば、図１に示されるＩピクチャに含まれる１６×１６画素のマクロブロックにおいて符号化する場合、マクロブロックを１６分割した４×４画素の各ブロックについて複数の方向からイントラ予測を行うと共に、マクロブロックについて複数の方向からイントラ予測を行う。

その代表例である、４ｘ４イントラ予測は、複数の予測方法を比較することにより、最も符号化効率に優れるものを選択している。

その予測方法には、図２に示されるように、上のＭＢ（マクロブロック）から予測画素値を計算し垂直方向に画素値を予測する予測モード０（ｖｅｒｔｉｃａｌ（垂直））、隣のＭＢから予測画素値を計算し、水平方向に画素値を予測する予測モード１（ｈｏｒｉｚｏｎｔａｌ（水平））、隣接のＭＢから予測画素値を計算し、水平から±２２．５度、−４４．５度ずらした方向に予測する予測モード８（ｈｏｒｉｚｏｎｔａｌ−ｕｐ（水平上））、予測モード６（ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ（水平下））、予測モード４（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｒｉｇｈｔ（対角右））、隣接のＭＢから予測画素値を計算し、垂直から±２２．５度、−４４．５度ずらした方向に予測する予測モード５（ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ（垂直右））、予測モード７（ｖｅｒｔｉｃａｌ−ｌｅｆｔ（垂直左））、予測モード３（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｌｅｆｔ（対角右））の８方向の予測処理に加え、隣接のＭＢから画素値を平均したものから予測する予測モード２（ＤＣ（平均））の全９通りある。

同じく、１６ｘ１６イントラ予測も複数の予測方法をもつ。この１６ｘ１６イントラ予測では同種の４通りの予測方法を持つ。

１６ｘ１６イントラ予測については、図３に示されるように、予測モード０（ｖｅｒｔｉｃａｌ（垂直））、予測モード１（ｈｏｒｉｚｏｎｔａｌ（水平））、予測モード２（ＤＣ（平均））、予測モード３（ｐｌａｎｅ（面））の予測方法がある。

このため従来のイントラ予測装置では、図４に示されるように、Ｉピクチャが入力されると、ブロック０について９通りの予測モードについて予測誤差（絶対値差分和）を計算する。つまり、９通りの予測モードについて、参照画素と符号化対象の画素の差分値および絶対値差分和を全部算出する。そして、イントラ予測装置は、予測誤差の最も小さいものをイントラ予測として利用する。

ブロック０のイントラ予測が終わると、イントラ予測装置は、上記と同様の処理を繰り返し、ブロック１〜ブロック１５のイントラ予測を行う。

ブロック１５のイントラ予測が終了すると、そのマクロブロックについて、４通りの予測モードについて、参照画素と符号化対象の画素の差分値および絶対値差分和を全部算出する。そして、イントラ予測装置は、予測誤差の最も小さいもの、つまり、例えば各ブロックの絶対値差分和のトータルと、マクロブロックの絶対値差分和の小さい方をイントラ予測として利用する。すなわち、各ブロックの絶対値差分和のトータルの方が小さい場合、イントラ予測装置は、各ブロックについての差分値を出力する。これと逆に、マクロブロックの絶対値差分和の方が小さい場合、イントラ予測装置は、マクロブロックについての差分値を出力する。

このようにして、Ｉピクチャのデータ圧縮を行うようにしている。
「Ｈ２６４ Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」 トリケップス社発行

しかしながら、上記したように例に示すように、従来のイントラ予測装置では、現在公開されている国際標準、動画圧縮方式であるＨ．２６４のイントラ予測では、画質を高めるため複数の予測方法（４ｘ４イントラ予測では、９種、１６ｘ１６イントラ予測では、４種）で予測画像を作成し、さまざまな予測方法から最適な予測方法を選択するので、つまり符号化した場合の結果に応じて符号効率の高い処理を選択するため、画質向上、符号化効率向上に符号化演算量増加は、避けられず、オーバーヘッドが大きく、演算負荷が大きい。

このため、現在、高画質、高効率の動画圧縮技術を実現するためには、画質に優れるＨ．２６４の符号化演算量の削減が求められている。

そこで、本発明は、画質向上、符号化効率向上に寄与しつつ、演算負荷を軽減することができるイントラ予測装置を提供することを目的とする。

係る目的を達成するために、本願発明者が鋭意研究の結果、一般的に隣接マクロブロック（以下ＭＢと略す）の画素を用い、予測する場合、隣接ＭＢの画素からの距離が離れるほど画素間の相関は低くなる。画素間の相関を考慮せずに、すべての予測方向を用いてイントラ予測を行った場合、符号化効率に寄与しない予測方向を用いてイントラ予測を行うことがあり、無駄な処理が生じることに、本願発明者は着目した。また、画像等の特性に合わせず、一意にイントラ予測を行うと、符号化効率に寄与しない予測方向の処理などの不必要な処理が行われてしまう問題があることに本願発明者は着目した。

また、イントラ予測処理の削減のために予測方向を系統的に処理する手法においては次のような問題がある。例えば、４ｘ４イントラ予測では、水平方向と垂直方向による予測を先に評価し、その結果により、次に評価を行う予測方向を決定していた。この手法では、予め垂直方向の予測が符号化効率に寄与しないとわかっている場合でも一度、垂直方向による評価を必要とし、不要な垂直方向による予測が行われる問題があることに本願発明者は着目した。

これらの着目から本願発明を想到するに至った。
上記課題を解決するために、本願発明に係るイントラ予測装置においては、入力される映像を構成する複数の画素データを表示用映像として表示する際の当該画素データの表示形式を特定するための情報を取得する取得手段と、前記取得手段により取得された情報に基づいて、複数の画素データから構成されるブロックに適用するイントラ予測方向を、複数のイントラ予測方向の中からいずれか１つまたは２つ以上のイントラ予測方向に絞り込む候補絞込み手段と、前記候補絞込み手段により絞り込まれたイントラ予測方向について、前記ブロックに対してイントラ予測を実行するイントラ予測実行手段と、を備え、前記取得手段により取得された情報に示される、前記表示用映像の垂直方向の画素分布と水平方向の画素分布に応じて、前記候補絞込み手段で絞り込まれるイントラ予測方向の組み合わせは異なる。
また、本願発明に係るイントラ予測装置は、映像を構成する複数画素のブロックに適用されるイントラ予測方向の候補を、当該映像の特徴に合わせて複数のイントラ予測方向の中から絞り込む候補絞込み手段と、前記候補絞込み手段により絞り込まれたイントラ予測方向について、イントラ予測を実行するイントラ予測実行手段とを備えることを特徴とすることもできる。

つまり、本発明はイントラ予測の際に、映像の特徴に応じて、符号化効率の悪い処理や、符号化効率に差の生じない処理を事前に省略する。

これにより、画質向上、符号化効率向上に寄与しつつ、演算負荷を軽減することができる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記映像の特徴に含まれる画素アスペクト比に応じてイントラ予測方向の候補を絞り込むことを特徴とすることができる。

また、本願発明に係るイントラ予測装置においては、前記アスペクト比は、映像信号入力機器およびビデオストリーム内外に付加される情報のいずれかから取得されることを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記画素アスペクト比に応じて原画像における隣接画素間の水平および垂直距離をそれぞれ、イントラ予測の水平方向の予測の確からしさおよび垂直方向の予測の確からしさとし、イントラ予測方向の候補を絞り込むことを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、インターレースおよびプログレッシブのいずれであるかを示し、前記映像の特徴に含まれるピクチャ構造情報に応じて、イントラ予測方向の候補を絞り込むことを特徴としてもよい。

また、本願発明に係るイントラ予測装置においては、前記ピクチャ構造情報は、映像信号入力機器およびビデオストリーム内外に付加される情報のいずれかから取得されることを特徴とすることができる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記ピクチャ構造情報がインターレースを示す場合、前記イントラ予測方向に含まれるｖｅｒｔｉｃａｌ−ｒｉｇｈｔおよびｖｅｒｔｉｃａｌ−ｌｅｆｔを候補から優先的に排除することを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記ピクチャ構造情報がインターレースを示す場合、前記イントラ予測方向に含まれるｖｅｒｔｉｃａｌ−ｒｉｇｈｔ、ｖｅｒｔｉｃａｌ−ｌｅｆｔおよびｄｉａｇ ｄｏｗｎ−ｒｉｇｈｔと、ｄｉａｇ ｄｏｗｎ −ｌｅｆｔを候補から優先的に排除することを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記ピクチャ構造情報がインターレースを示す場合、前記イントラ予測方向に含まれるＤＣを候補から優先的に排除することを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、前記ピクチャ構造情報がインターレースを示す場合、前記イントラ予測方向に含まれるＤＣおよびｖｅｒｔｉｃａｌを候補から優先的に排除することを特徴とすることもできる。

また、本願発明に係るイントラ予測装置においては、候補絞込み手段は、動画圧縮方式におけるＰｉｃｔ−Ｌｅｖｅｌ Ａｄａｐｔｉｖｅによるエンコード時に、ピクチャ構造情報に応じてイントラ予測方向の候補を絞り込むことを特徴としてもよい。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、動画圧縮方式におけるＭＢ−Ｌｅｖｅｌ Ａｄａｐｔｉｖｅによるエンコード時に、フィールド構造上の一対のマクロブロックペアとフレーム構造上の一対のマクロブロックペアとを切り替えて予測する際に、そのマクロブロックペアがフィールド構造であるかフレーム構造であるかの情報に応じてイントラ予測の候補を絞り込むことを特徴としてもよい。

また、本願発明に係るイントラ予測装置においては、前記候補絞込み手段は、符号化順序が先の原画または符号化画について得られた結果に基づいて、イントラ予測方向の候補を絞り込むことを特徴とすることができる。

これによっても、イントラ予測方向の候補を容易に絞り込むことができる。
また、本願発明に係るイントラ予測装置においては、前記符号化順序が先の原画または符号化画として、符号化対象の画像の１つ前の原画または符号化画が用いられることを特徴としてもよい。

これにより、先の原画または符号化画と符号化対象の画像との相関が高くなり、イントラ予測方向の候補を精度良く絞り込むことができる。

また、本願発明に係るイントラ予測装置においては、前記結果は、符号化順序が先の符号化画について得られた動きベクトルであり、前記候補絞込み手段は、前記動きベクトルの向きに基づいて、イントラ予測方向の候補を絞り込むことを特徴とすることもできる。

これにより、画像に動きがある場合に、既知の動きベクトルから相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

また、本願発明に係るイントラ予測装置においては、前記動きベクトルとして、符号化対象のマクロブロックと空間的同じ位置、当該空間的同じ位置の周囲を含む位置および画面全体のいずれかを示す単位領域についての動きベクトルが用いられることを特徴としてもよい。

これにより、符号化対象のマクロブロックに対する動きベクトルの精度を高めることができ、その動きベクトルから相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

また、本願発明に係るイントラ予測装置においては、前記結果は、符号化順序が先の符号化画について得られたイントラ予測方向であり、前記候補絞込み手段は、前記イントラ予測方向に基づいて、イントラ予測方向の候補を絞り込むことを特徴とすることもできる。

これにより、画像に動きの如何に拘わらず、既知のイントラ予測方向から相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

また、本願発明に係るイントラ予測装置においては、前記イントラ予測方向として、符号化対象のマクロブロックと空間的同じ位置および当該空間的同じ位置の周囲を含む位置のマクロブロックについてのイントラ予測方向が用いられることを特徴としてもよい。

これにより、符号化対象のマクロブロックに対するイントラ予測方向の精度を高めることができ、そのイントラ予測方向から相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

また、本願発明に係るイントラ予測装置においては、前記結果は、前記符号化順序が先の原画または符号化画の隣接画素差分であり、前記候補絞込み手段は、前記隣接画素差分に基づいて、イントラ予測方向の候補を絞り込むことを特徴とすることもできる。

これにより、画像に動きが少ない場合に、既知の画素差分から相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

なお、本願発明は、このようなイントラ予測装置として実現することができるだけでなく、このようなイントラ予測装置が備える特徴的な手段をステップとするイントラ予測方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。さらに、上記イントラ予測装置を備える画像符号化装置として実現することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係るイントラ予測装置によれば、高画質および符号化効率を維持したまま、イントラ予測の演算処理を軽減できる。

つまり、イントラ予測は、周りの画素から画素値をコピーし、予測画像を形成する処理であるが、イントラ予測では、複数の予測方向を用いて、符号化効率の高いものを選択するので、結果的に選ばれなかった予測方向の演算は、冗長となる。そのため符号化効率に寄与しない、ないしは符号化効率にあまり差の生じない予測方向の省略は、符号化演算量削減の観点で、有効となる。また、インターレース方式のフィールド画像などでは、その冗長を軽減するために、予め符号化効率に差の生じない予測方向を使用しないことで、イントラ予測における負荷を軽減することができる。また、映像の特徴を利用することで、映像に応じたイントラ予測の処理削減が可能となり、従来手法よりも処理効率が高まる。

よって、ビデオカメラやカメラ付き携帯電話機等が広く普及してきた今日における本願発明の実用的価値は極めて高い。

以下、本発明の実施の形態に係るイントラ予測装置について、図面を参照しながら説明する。

図５は、本発明の実施の形態に係るイントラ予測装置が適用される符号化装置１の全体構成を示す機能ブロック図である。

符号化装置１は、Ｉピクチャについてイントラ（面内）予測符号化したり、ＰピクチャおよびＢピクチャについてインター（面間）符号化したりする装置であり、図１に示されるように、イントラ予測装置１１、減算器１２、モード切替スイッチ１３、変換部１４、量子化部１５、エントロピー符号化部１６、インター予測部１７および符号化制御部１８等とを備える。また、インター予測部１７は、モード切替スイッチ１７０、逆量子化部１７１、逆変換部１７２、加算器１７３、ループフィルタ１７４、フレームメモリ１７５、動き予測部１７６および動き補償部１７７等とから構成される。

インター符号化が行われるピクチャに関しては、その符号化対象となるピクチャは、マクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロック（マクロブロック）に分割され、ブロック単位で以降の処理が行われる。

符号化対象のピクチャは、減算器１２において動き補償部１７７の出力である予測画像信号との差分が取られることによって、差分画像に変換される。差分画像は、モード切替スイッチ１３を介して変換部１４に出力される。

変換部１４は差分画像を時間軸から周波数軸に変換し、量子化部１５はさらに量子化を行うことにより、変換係数からなる残差信号を生成する。

この残差信号はインター予測部１７により、ローカルデコードされる。すなわち、残渣信号は、逆量子化部１７１において逆量子化される。そして、逆変換部１７２は、逆周波数変換等の画像復号化処理を行ない、残差復号化信号を生成する。加算器１７３は、残差復号化信号と予測画像信号との加算を行うことにより、再構成画像信号を生成する。得られた再構成画像信号は、ループフィルタ１７４によりブロック歪みが除去された後、フレームメモリ１７５に格納される。

一方、フレームメモリ１７５から読み出されたマクロブロック単位の入力画像信号は動き予測部１７６にも入力される。ここでは、フレームメモリ１７５に格納されている１枚もしくは複数枚の符号化済みピクチャを探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルとその際に選択されたピクチャを指し示す参照ピクチャインデックスを決定する。動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。動き予測部１７６は、得られた動きベクトルおよび参照ピクチャインデックスを用いて、フレームメモリ１７５に格納されている符号化済みピクチャから最適な画像領域を取り出し、予測画像を生成する。

上記の一連の処理によって出力された動きベクトル、参照ピクチャインデックス、残差符号化信号等の符号化情報に対してエントロピー符号化部１６において可変長符号化を施すことにより、この符号化処理によってデータ量の少ないビットストリームが出力される。

以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１４およびスイッチ１１５によって画面内予測符号化との切り替えがなされる。

イントラ符号化を行う場合は、動き補償による予測画像の生成は行われず、イントラ予測装置１１において、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し、差分を取ることによって差分画像信号を生成する。なお、この詳細については、後述する。この差分画像信号は、インター符号化の場合と同様に、変換部１４および量子化部１５において残差符号化信号に変換され、エントロピー符号化部１６において可変長符号化が施され、データ量の少ないビットストリームが出力される。

次いで、図５に示されるイントラ予測装置１１の詳細な構成について説明する。
図６は、映像特徴量を用いたイントラ予測装置１１の機能構成を示すブロック図である。なお、この図には符号化制御部１８が備える映像特徴量入力部１８１も併せて図示されている。

符号化制御部１８の映像特徴量入力部１８１は、ビデオストリーム内外に付加される情報や、映像入力機器の持つ情報を映像の特徴量として取得し、取得した映像の特徴量をイントラ予測装置１１に出力する。

イントラ予測装置１１は、映像を構成する複数画素のブロックごとに適用されるイントラ予測方向の候補を、当該映像の特徴に合わせて複数の中から絞り込む候補絞込み部１１１と、候補絞込み部１１１により絞り込まれたイントラ予測方向について、イントラ予測を実行するイントラ予測実行部１１２とを備える。なお、イントラ予測実行部１１２は、各予測モードにおける参照画素と符号化対象の画素の差分値を算出したり、絶対値差分値を算出したりする予測誤差算出部と、変換部１４と同じ機能を有する変換部と、量子化部１５と同じ機能を有する量子化部と、逆量子化部１７１と同じ機能を有する逆量子化部と、逆変換部１７２と同じ機能を有する逆変換部と、参照画素の画素値と差分値とから復元画像の画素値を復元する逆予測部等とを備える。

候補絞込み部１１１は、まず、映像特徴量入力部１８１からの映像の特徴量から、イントラ予測方向の候補を絞り込む。

次に、イントラ予測実行部１１２は、候補絞込み部１１１により絞り込まれたイントラ予測方向について、イントラ予測を実行する。つまり、予測誤差を計算し、予測誤差の最も小さいものをイントラ予測として利用する。

ところで、イントラ予測において、映像の特徴量とイントラ予測方向の予測精度に相関がある。

映像の特徴量から類推される予測精度の高い予測方向を予測方向候補として利用し、予測精度が低い予測方向や、予測精度が他と変わらない予測方向を優先的に省略することで、イントラ予測処理の負荷を軽減することができる。ここで述べる映像の特徴量は、映像や画素に対する演算より求まるものおよび撮像素子などの映像入力機器の持つ特性など他の外的要因を含む。

例えば撮影時にカメラを水平方向に旋回させるパンをしたとする。このパンは、例えばカメラに設けられたジャイロセンサにより検出される。また、その前後の映像の動きベクトルから、パンを検出するようにしてもよい。そのパンの際の映像の１フレームを取り出すと、横方向に画素間の相関の強いフレームが形成される。その画素間の相関性からイントラ予測方向の予測精度を見積もり、予測精度の低いイントラ予測方向候補を予め削減できる。

また、機器の設定で低いビットレートで符号化する場合や、低解像度で符号化する場合、予測方向の近いもの例えば予測モード０（ｈｏｒｉｚｏｎｔａｌ（水平））と、予測モード６（ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ（水平下））を利用した場合、両モードの予測誤差に開きがなく、符号化性能に差が出ないことがある。そこで、予測方向の向きが大きく異なる予測モード０（ｈｏｒｉｚｏｎｔａｌ（水平））などを優先的に予測候補とする。つまり、予測モード６を優先的に削除する。

なお、動きベクトルから、予測方向を決定するようにしてもよい。つまり、イントラ予測を行う際に、過去のないしは未来のフレームの動きベクトルを映像特徴量として利用する。その動きベクトルの方向に相関の高い画素値が存在する可能性が高い。したがって、その動きベクトルの方向と大きくずれるイントラ予測方向を省略することができる。ここで、過去のないしは未来のフレームの動きベクトルとは、画面全体の動きベクトルであっても、画面の内の特定領域の動きベクトルであってもよい。

また、符号化ＭＢの隣接ＭＢ付近の動きベクトルからの方向と大きくずれるイントラ予測方向を符号化ＭＢのイントラ予測方向の候補から省略することができる。

さらに、符号化ＭＢにおいて、既に動きベクトルが求まっている際には、その動きベクトルを特徴量とすればさらに精度の高いイントラ予測方向の候補を選定できる。

ところで、Ｈ．２６４では、Ｉピクチャについてはイントラ予測のみを行い、ＰまたはＢピクチャついてはイントラ予測／インター予測の両方を実施し、残差信号の少ない符号化モードで符号化を行う。そのため、イントラ予測はすべてのピクチャで実施される。

このことを利用して、符号化対象ピクチャの予測方向の候補を制限する。つまり、候補絞込み部１１１は、符号化順序が先の原画または符号化画について得られた結果に基づいて、イントラ予測方向の候補を絞り込むことができる。これによっても、イントラ予測方向の候補を容易に絞り込むことができる。

具体的には、まず、先に符号化されるピクチャのイントラ予測の予測方向とピクチャ内のＭＢの位置をメモリ上に記録しておく。次に前記メモリに記録されたピクチャ内のＭＢの位置と予測方向を利用して符号化対処ピクチャの同じＭＢの位置のイントラ予測を行う。例えば、画面全体の動きがない場合では、表示順で連続するピクチャの相対的な空間位置のＭＢのイントラ予測の予測方向は、同一の方向である可能性が高い。例えば表示順でＩ，Ｂ１，Ｂ２，Ｐ・・・構造で符号化される場合、Ｂ１のピクチャ内のあるＭＢの予測方向は、ＩピクチャまたはＰピクチャの同位置のＭＢの符号化結果と同じ位置である可能性が高い。このため、Ｉピクチャの符号化結果とＰピクチャの符号化結果である予測方向をＢ１ピクチャの予測方向の候補とする。同様に、Ｂ２ピクチャは、Ｂ１ピクチャとＰピクチャのイントラ予測方向を、候補とする。Ｂ１ピクチャとＰピクチャ共にインター予測が選ばれた場合は、Ｂ２ピクチャの予測候補を０として、インター予測のみを行うことも可能である。

ここでは、ピクチャの内の同じ位置のＭＢに関して言及したが、隣接するＭＢの予測方向を候補に含めるとしてもよい。つまり、上記例では、Ｂ２ピクチャの予測候補として、Ｂ１ピクチャまたはＰピクチャの同じ位置のＭＢに加えて、上下左右のＭＢの予測方向を候補としてもよい。

図７は、イントラ予測装置１１の各部が実行する詳細な処理を示すシーケンス図である。

Ｉピクチャが入力されると、候補絞込み部１１１は、まず、映像特徴量入力部１８１からの映像の特徴量から、イントラ予測方向の候補を絞り込む。この絞込みは、ブロックおよびマクロブロックのいずれかや、両方に適用することができる。

次に、イントラ予測実行部１１２は、候補絞込み部１１１により絞り込まれたイントラ予測方向について、イントラ予測を実行する。より詳しくは、ブロック０について絞り込まれた予測モードについて予測誤差（絶対値差分和）を計算する。つまり、絞り込まれた予測モードだけについて、参照画素と符号化対象の画素の差分値および絶対値差分和を算出する。そして、イントラ予測実行部１１２は、予測誤差の最も小さいものをイントラ予測として利用する。つまり、絶対値差分和の最も小さい予測モードが例えば「１」である場合、予測モード１におけるブロック０の参照画素と符号化対象の画素の差分値を変換し、量子化し、逆量子化し、逆変換し、逆予測することにより、参照画素の画素値と差分値とからブロック０の復元画像の画素値を復元する。

ブロック０の復元画像の画素値を復元すると、イントラ予測実行部１１２は、上記と同様の処理を繰り返し、ブロック１〜ブロック１５の復元画像の画素値を復元する。

ブロック１５の復元画像の画素値を復元すると、そのマクロブロックについて、絞り込まれた予測モードだけについて、参照画素と符号化対象の画素の差分値および絶対値差分和を算出する。そして、イントラ予測実行部１１２は、予測誤差の最も小さいもの、つまり、例えば各ブロックの絶対値差分和のトータルと、マクロブロックの絶対値差分和の小さい方をイントラ予測として利用する。すなわち、各ブロックの絶対値差分和のトータルの方が小さい場合、イントラ予測実行部１１２は、各ブロックについての差分値を出力する。これと逆に、マクロブロックの絶対値差分和の方が小さい場合、イントラ予測実行部１１２は、マクロブロックについての差分値を出力する。

したがって、予測モードが絞り込まれた分、イントラ予測実行部１１２の負荷を大幅に軽減することができ、イントラ予測の演算性能を高めることができる。

なお、このようなイントラ予測装置１１は、ハードウェア構成だけでなく、ＣＰＵ、メモリ、プログラム等の手段による実現も可能である。

次いで、映像の特徴量に併せて候補を絞り込む場合を、順次説明する。
まず、映像の特徴量が画素アスペクト比である場合について説明する。

図８は、映像特徴量として画素アスペクト比を用いたイントラ予測装置１１の機能構成を示すブロック図である。なお、この図においても符号化制御部１８の映像特徴量入力部１８１が備える画素アスペクト比検出部１８３も併せて図示されている。また、図６の場合と対応する構成部分に同じ番号を付し、その詳細な説明を省略する。

ところで、フィールド構造では、水平画素を一画素置きに記録した画像を利用することができる。そのため、フィールド上の方向と原画上の方向に変化が生じる。同様に、隣接画素間の水平および垂直の距離の比を示す画素アスペクト比を変化させると、原画上の方向と画素アスペクト比を変化させた画像上の方向とに変化が生じる。画素アスペクト比検出部１８３はこの変化を検出する。この画素アスペクト比による原画上の方向の変化に応じて、候補絞込み部１１１が適切な予測方向候補を絞り込むことで、イントラ予測の演算性能を高めることができる。

画素アスペクト比を変化させた場合の具体例を説明する。ｈａｌｆ Ｄ１の映像は、水平方向に画素が間引かれているので、ｈａｌｆ Ｄ１上の方向と原画上の方向に変化が生じる。そのため、フィールド構造の場合のように符号化効率に寄与しない予測方向が、存在する。具体的は、図２に示される予測モード６および予測モード８である。これらは、原画上の方向に直すと、予測モード０の水平方向に近くなり、符号化効率に差が生じない。したがって、その予測方向を省略することで、演算処理を軽減できる。また、画素アスペクトに応じた予測方向にイントラ予測の予測方向を補正することで、すべての予測方向の性能を高めることも可能である。

なお、このようなイントラ予測装置１１は、ハードウェア構成だけでなく、ＣＰＵ、メモリ、プログラム等の手段による実現も可能である。

また、イントラ予測装置１１において、画素アスペクト比に応じて、適切な予測方向候補を絞り込む方法として、原画上の水平、垂直距離を利用することができる。

それぞれの距離の逆数を予測の確からしさとする。例えば、フィールド構造において、原画上の距離は、水平距離を「１」とし、垂直距離は、その２倍となるので「２」とする。そうすると、確からしさは、「１」と「１／２」となる。

この場合、垂直方向の確からしさが水平方向の確からしさより大きいので、予測結果もこれに従う傾向をもつ。そこで、予測方向の候補として、水平方向に近いものを優先的に採用する。つまり、垂直方向およびこれに近いものを優先的に削除することで、負荷を軽減することができる。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

また、画素アスペクト比の情報については、撮影機器、録画機器から取得し、その情報を利用してイントラ予測を行う。

例えば、撮影機器の撮像素子が正方形でない場合は、原画上での垂直距離と水平距離に差が生じる。また、録画機器などで画面のアスペクト比を変化させて、記録する場合にも原画上での垂直距離と水平距離に差が生じる。

また、Ｈ．２６４のＶＵＩパラメータのａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃから得られる情報などのようにある符号化方式のビデオストリーム内外に付加される情報により、イントラ予測を行う。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

次いで、映像の特徴量がピクチャ構造である場合について説明する。
図９は、映像特徴量としてピクチャ構造を用いたイントラ予測装置１１の機能構成を示すブロック図である。なお、この図においても符号化制御部１８の映像特徴量入力部１８１が備えるピクチャ構造判定部１８２も併せて図示されている。また、図６の場合と対応する構成部分に同じ番号を付し、その詳細な説明を省略する。

ところで、インターレース方式のフィールド画像は、垂直方向に原画像の画素を１つ置きに間引くことにより構成されている。そのため水平方向の画素の連続性はプログレッシブ方式のフレーム画像と変わらないが、垂直方向の画素の連続性は、フレーム画像に比べ低い。この連続性の高低をピクチャ構造判定部１８２が判定する。

この特性を利用して、候補絞込み部１１１は、垂直方向の予測より、水平方向の予測が選ばれやすくする。つまり、垂直方向の予測（４×４予測モード０や、１６×１６予測モード０）を候補から優先的に排除する。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

また、インターレース方式において、４ｘ４イントラの予測方向を原画上での方向に換算すると、図１０に示されるように予測方向に差が生じないものが存在する。

インターレース方式のあるフィールド画像において、図１０に示されるような８方向の直線が引かれていたとする。

インターレース方式のフィールド画像は、図１０（ａ）に示されるように、１ラインごとに画素を間引いた構造の画像となり、垂直方向に距離を１／２に圧縮した状態となる。逆に、これを原画上の元の位置に画素を置きなおすと、図１０（ｂ）に示されるように、垂直距離が間引きのない水平距離の２倍になる。そのため、原画像上では、８方向の直線の角度がそれぞれ変化する。

特に注目すべきは、予測モード５（ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ（垂直右））、予測モード７（ｖｅｒｔｉｃａｌ−ｌｅｆｔ（垂直左））の方向である。これらの方向は、予測モード０（ｖｅｒｔｉｃａｌ（垂直））の方向と非常に近くなる。

そのため、４ｘ４イントラ予測において予測モード５（ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ（垂直右））、予測モード７（ｖｅｒｔｉｃａｌ−ｌｅｆｔ（垂直左））、予測モード０（ｖｅｒｔｉｃａｌ（垂直））の方向で予測した画素値は非常に近いものとなり、原画との差である予測誤差に差があまり生じなくなる。同様に、予測モード３（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｌｅｆｔ（対角右））、予測モード４（ｄｉａｇｏｎａｌ−ｄｏｗｎ−ｒｉｇｈｔ（対角右））の方向についても、同様な傾向が現れる。

この特性を利用し、予測候補を予め制限しておけば、画質を落とすことなくイントラ予測処理を簡略化できる。

この場合、ピクチャ構造判定部１８２でピクチャ構造がインターレース方式のフィールド画像であるか、プログレッシブ方式のフレーム画像であるかを判定し、判定結果をイントラ予測装置１１に出力する。

イントラ予測装置１１の候補絞込み部１１１は、フィールド画像であれば、図９に示すようないくつかの予測候補を省略したフィールド用イントラ予測候補例をイントラ予測実行部１１２に送る。イントラ予測実行部１１２は、絞り込まれたイントラ予測方向の候補について予測演算処理をし、予測方向を決定する。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

さらに、一般的に隣接ＭＢの画素を用いて、予測する場合、隣接ＭＢからの距離が離れるほど画素間の相関は低くなる。

そのため原画像上での画素間の距離が長くなると予測誤差が大きくなる可能性が高い。
水平距離と垂直距離に差がある場合、イントラ１６ｘ１６予測における予測モード０ｖｅｒｔｉｃａｌ（垂直）と、予測モード１ｈｏｒｉｚｏｎｔａｌ（水平）の予測方向による予測誤差にも差が生じる。

ピクチャ構造がインターレースである場合、図１１に示されるように、原画像上の画素間隔は、水平距離に対する垂直距離は２倍となり、垂直方向の画素の相関が低くなり、予測誤差が大きくなる。

インターレース方式のフィールド画像では、１６ｘ１６イントラ予測における予測モード０（ｖｅｒｔｉｃａｌ（垂直））予測を優先的に省略することができる。

同様に、隣接する右側のＭＢの右端画素値と、隣接する上のＭＢの下端画素値の平均による予測する予測モード２（ＤＣ（平均））予測においても、垂直に相関の低い画素を予測画素演算に用いるため予測誤差が大きくなり、１６ｘ１６イントラ予測における予測モード２（ＤＣ（平均））を優先的に省略することができる。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

また、映像の記録方式が、インターレース方式かプログレッシブ方式かの決定は、次のよう場合が想定される。以下、インターレース方式、プログレッシブ方式を指して記録時には記録方式と再生時には、再生方式と呼ぶ。

ユーザにより選択される場合や撮影機器、録画機器、表示機器などの仕様により決定される場合がある。

例えば、ユーザにより選択される場合を考えると、撮影機器がインターレース方式、プログレッシブ方式の両方に対応している場合、ユーザは、自信の表示機器、再生装置などの再生環境に合わせて記録方式を選択する。その表示機器であるテレビがインターレース方式であれば、撮影機器であるビデオカメラで符号化時にインターレース方式を選択し、符号化効率に寄与しないイントラ予測方向の省略が可能である。

例えば、撮影機器の仕様により決定される場合を考えると、撮影機器がインターレース方式のみに対応していれば、インターレース方式で撮影する際にイントラ予測方向の省略により、符号化効率を高めることができる。

また、録画機器の仕様により決定される場合を考えると、他の映像入力機器から録画装置などで符号化する際に、映像機器からの入力がインターレース方式と判断すれば、イントラ予測方向の省略を利用し、符号化効率を高めることができる。

ここで述べる他の映像入力機器からの入力について補足する。
他の符号化方式を利用して符号化されている場合、その符号化方式に基づく規則でインターレース方式であるかの判定が可能である。つまり、ヘッダ情報等からその判定が可能である。

さらに、表示機器の仕様で決定される場合を考えると、録画機器に接続された表示機器の再生方式に合わせて、インターレース方式で録画する際にイントラ予測方向の省略により、符号化効率を高めることができる。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

また、Ｈ．２６４のイントラ予測のＰｉｃｔ−Ｌｅｖｅｌ−Ａｄａｐｔｉｖｅとは、ピクチャごとに、フレーム構造におけるイントラ予測結果とフィールド構造におけるイントラ予測結果を比較し、符号化性能に優れる方を予測結果とする方式である。そのフィールド構造として予測する際に、ピクチャ構造で予測方向の候補を絞り込む候補絞込み部１１１を利用する。

ピクチャ構造判定部１８２が符号化時に既にＰｉｃｔ−Ｌｅｖｅｌ−Ａｄａｐｔｉｖｅを使用することがわかっているので、この方式を利用する場合、候補絞込み部１１１は、フィールド構造での符号化、つまり、インターレース方式での符号化の際に予測方向の候補を削減させることができる。

また、Ｈ．２６４のイントラ予測のＭＢ−Ｌｅｖｅｌ−Ａｄａｐｔｉｖｅとは、ＭＢ単位で、フレーム構造におけるイントラ予測結果とフィールド構造におけるイントラ予測結果を比較し、符号化性能に優れる方を予測結果とする方式である。そのフィールド構造として予測する際に、ピクチャ構造で予測方向の候補を絞り込む候補絞込み部１１１を利用する。ピクチャ構造判定部１８２が符号化時に既にＭＢ−Ｌｅｖｅｌ−Ａｄａｐｔｉｖｅを使用することがわかっているので、この方式を利用する場合、候補絞込み部１１１はフィールド構造での符号化つまり、インターレース方式での符号化際に予測方向の候補を削減させることができる。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

次いで、映像の特徴量が、符号化順序が先の原画または符号化画について得られた結果である場合について説明する。

図１２は、上記結果として、動きベクトル、予測モードおよび画素演算情報を用いたイントラ予測装置１１の機能構成を示すブロック図である。なお、この図においても符号化制御部１８の映像特徴量入力部１８１が備える動きベクトル入力部１８４、予測モード入力部１８５、画素演算情報入力部１８６も併せて図示されている。また、図６の場合と対応する構成部分に同じ番号を付し、その詳細な説明を省略する。

ところで、上記したように、Ｈ．２６４では、Ｉピクチャではイントラ予測のみを行い、ＰまたはＢピクチャではイントラ予測／インター予測の両方を実施し、残差信号の少ない符号化モードで符号化を行う。

このため、符号化順序が先の原画または符号化画については、隣接画素差分や、イントラ予測の方向などの結果が既知である。また、符号化順序が先の符号化画がＰピクチャやＢピクチャである場合には、各マクロブロックの動きベクトルが既知である。しかも、映像の特性により、符号化順序が先の原画または符号化画と符号化対象の画像との相関が極めて高い場合が多い。

したがって、符号化順序が先の原画または符号化画について得られた結果、つまり既知の動きベクトル、イントラ予測および隣接画素差分を用いてイントラ予測方向の候補を絞り込んでも、符号化効率の悪い処理や、符号化効率に差の生じない処理を事前に省略することができる。

そこで、この実施の形態では、図１２に示されるように、映像特徴量入力部１８１には、符号化順序が先の原画または符号化画について得られた結果である動きベクトル、予測モードの方向および隣接画素差分（画素演算情報とも記す。）が個別に入力される動きベクトル入力部１８４、予測モード入力部１８５および画素演算情報入力部１８６が設けられている。そして映像特徴量入力部１８１は、動きベクトル入力部１８４、予測モード入力部１８５および画素演算情報入力部１８６から動きベクトル、予測モードの方向および隣接画素差分を選択的に候補絞込み部１１１に出力するように構成されている。

次いで、動きベクトル入力部１８４から動きベクトルが出力された場合における、動きベクトルによる予測方向候補の決定について説明する。

図１３は、動きベクトルによる予測方向候補の決定を説明するための図である。特に図１３（ａ）は符号化順に並べられた原画を、図１３（ｂ）は符号化順に並べられた符号化画を、図１３（ｃ）は符号化順序が先の符号化画と符号化対象の画像との関係を、それぞれ示す図である。

ここで、符号化順序が先の符号化画として、符号化対象の画像の１つ前の符号化画が用いられる場合が図示されている。これは、先の原画または符号化画と符号化対象の画像との相関が高くなり、イントラ予測方向の候補を精度良く絞り込むことができるからである。

そして、この符号化画は、図示のように、マクロブロックＭＢ１〜ＭＢ９から構成され、各マクロブロックＭＢ１〜ＭＢ９の動きベクトルがＭＶ１〜ＭＶ９であるものとして説明する。また、符号化対象のマクロブロックが図中に示されるαであるものとして説明する。

マクロブロックαについてイントラ予測する場合、候補絞込み部１１１は、１つ前の符号化画の空間的同じ位置のマクロブロックＭＢ９を単位領域として、その単位領域の動きベクトルＭＶ９を参照し、この動きベクトルＭＶ９の向きに基づいて、イントラ予測方向の候補を絞り込む。

具体的には、動きベクトルＭＶ９の水平方向の成分が多く、垂直方向の成分が極めて少ない。すなわち、動きベクトルＭＶ９の向きの水平方向の成分が支配的であり、符号化対象のマクロブロックαと水平方向の相関が高い。このため、候補絞込み部１１１は、垂直方向の予測方向を候補の対象外として排除する。つまり、候補絞込み部１１１は、動きベクトルＭＶ９から０，５，７ｍｏｄｅを省略する。

したがって、画像に動きがある場合に、符号化対象のマクロブロックに対する動きベクトルの精度を高めることができ、既知の動きベクトルから相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

なお、このマクロブロックＭＢ９の周囲、つまりマクロブロックＭＢ５，ＭＢ６，ＭＢ８を含めた領域を単位領域とし、この単位領域の動きベクトルの向きに基づいて、イントラ予測方向の候補を決めても良い。すなわち、動きベクトルＭＶ５，ＭＶ６，ＭＶ８，ＭＶ９を合成した動きベクトルの向きに基づいて、イントラ予測方向の候補を絞り込んでもよい。この場合においても、合成した動きベクトルの向きは、動きベクトルＭＶ５，ＭＶ６，ＭＶ８，ＭＶ９をそれぞれ水平方向と垂直方向の成分に分解したものを加算したものであるから、水平方向の成分が支配的となる。このため、候補絞込み部１１１は、垂直方向の予測方向を候補の対象外として排除することができる。つまり、候補絞込み部１１１は、動きベクトルＭＶ５，ＭＶ６，ＭＶ８，ＭＶ９から０，５，７ｍｏｄｅを省略する。

また、１つ先の符号化画全体の動きベクトルがどっちを向いているかを参照して、イントラ予測候補を決めても良い。つまりマクロブロックＭＢ１〜ＭＢ９全体を単位領域とし、この単位領域の動きベクトルの向きに基づいて、イントラ予測方向の候補を決めても良い。

次いで、予測モード入力部１８５から予測モードが出力された場合における、予測モードによる予測方向候補の決定について説明する。

図１４は、予測モードによる予測方向候補の決定を説明するための図である。特に図１４（ａ）は符号化順に並べられた原画を、図１４（ｂ）は符号化順に並べられた符号化画を、図１４（ｃ）は符号化順序が先の符号化画と符号化対象の画像との関係を、それぞれ示す図である。そして、この符号化画は、図示のように、マクロブロックＭＢ１〜ＭＢ９から構成されているものとして説明する。また、符号化対象のマクロブロックが図中に示されるαであるものとして説明する。

ここで、符号化画がＩピクチャである場合においては、イントラ予測で採用されたマクロブロックについて、絞り込まれた予測モードの結果が残っている。したがって、この場合においては、絞り込まれた予測モードの方向が用いられる。これに対して、符号化画像がＰピクチャまたはＢピクチャである場合には、イントラ予測の際の結果、予測モードは通常廃棄される。しかしながら、本実施の形態においては、イントラ予測の際の結果、予測モードがメモリに一時的に残されるように構成されているものとして説明する。

図１５は、候補絞込み部１１１が既知の結果、イントラ予測を用いてイントラ予測候補を絞り込むイントラ予測候補絞込処理の動作を示すフローチャートである。

マクロブロックαについてイントラ予測する場合、候補絞込み部１１１は、まず符号化順が先の参照される符号化画がＩピクチャか否か判断する（Ｓ１１）。なお、符号化順序が先の符号化画として、符号化対象の画像の１つ前の符号化画が用いられる。これは、先の原画または符号化画と符号化対象の画像との相関が高くなり、イントラ予測方向の候補を精度良く絞り込むことができるからである。

判断の結果、Ｉピクチャである場合（Ｓ１１でＹｅｓ）、候補絞込み部１１１は、Ｉピクチャの予測結果を用いて、イントラ予測候補を絞り込み（Ｓ１２）、イントラ予測候補絞込処理を終了する。すなわち、候補絞込み部１１１は、１つ前の符号化画の空間的同じ位置のマクロブロックＭＢ９を単位領域として、その単位領域のイントラ予測モードの方向を参照し、このイントラ予測で採用されたマクロブロックについて、絞り込まれた予測モードの方向の向きに基づいて、イントラ予測方向の候補を絞り込む。具体的には、絞り込まれた予測モードの方向が例えば水平方向であれば、符号化対象のマクロブロックαのイントラ予測方向が水平方向である確率が高い。このため、候補絞込み部１１１は、垂直方向の予測方向を候補の対象外として排除する。

したがって、画像に動きがある場合の他、画像の動きが少ない場合においても、符号化対象のマクロブロックに対する予測方向の精度を高めることができ、既知の予測モードの方向から相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

なお、この符号化対象のマクロブロックαに対応するマクロブロックＭＢ９の周囲、つまりマクロブロックＭＢ５，ＭＢ６，ＭＢ８を含めた領域を単位領域とし、この単位領域の予測モードの方向に基づいて、イントラ予測方向の候補を決めても良い。

これに対して、Ｉピクチャでない場合（Ｓ１１でＮｏ）、候補絞込み部１１１は、イントラ符号化した場合の予測結果を用いてイントラ予測候補を絞り込み（Ｓ１３）、イントラ予測候補絞込処理を終了する。

したがって、符号化順序が先の符号化画がＩピクチャでない場合であっても、画像に動きの如何に拘わらず、既知のイントラ予測方向から相関の低いイントラ予測方向の候補を精度良く、容易かつ効率的に排除することができる。

次いで、画素演算情報入力部１８６から隣接画素差分、すなわち画素演算情報が出力された場合における、画素演算情報による予測方向候補の決定について説明する。

ここで、画素演算情報とは、映像の特徴に含まれる符号化順が先の原画の画素の隣接差分と、符号化画の隣接画素差分とのいずれかを意味する。このような画素演算情報は、事前に算出済みで既知とする。したがって、この結果をメモリに一時的に残しておいて再利用したり、再度算出したりすることで、候補絞込み部１１１の負荷を軽減するように構成されている。なお、ここでは、イントラ予測の際の結果、画素演算情報がメモリに一時的に残されるように構成されているものとして説明する。

候補絞込み部１１１は、前記映像の特徴に含まれる符号化順が先の原画または符号化画の隣接画素差分に応じてイントラ予測候補を絞り込む。なお、符号化順序が先の原画または符号化画として、符号化対象の画像の１つ前の原画または符号化画が用いられる。これは、先の原画または符号化画と符号化対象の画像との相関が高くなり、イントラ予測方向の候補を精度良く絞り込むことができるからである。

そして、候補絞込み部１１１は、１つ前の原画または符号化画の空間的同じ位置のマクロブロックを単位領域として、その単位領域の画素演算情報を参照し、このイントラ予測で採用されたマクロブロックの画素演算情報に基づいて、符号化対象画像のマクロブロックαについて、イントラ予測方向の候補を絞り込む。具体的には、単位領域の水平方向の隣接画素差分と垂直成分隣接画素差分の比に応じてイントラ予測候補を絞り込む。これにより、水平方向と垂直方向とのいずれに相関が高いか、つまり相関の高い向きを知ることができる。したがって、画像の動きが少ないような場合に、既知の画素演算情報から相関の低いイントラ予測方向の候補を精度良く、かつ効率的に排除することができる。

なお、ここで記載したものは、装置だけでなく、プログラム等の手段による実現も可能である。

またなお、上記実施の形態では映像が動画の場合について説明したが、イントラ予測の対象がＩピクチャであればよく、ＪＰＥＧ等の静止画に対して本願発明に係るイントラ予測を適用し、符号化データをさらに圧縮するようにしてもよい。

本発明によるイントラ予測装置を用いれば、より少ない演算負荷でのＨ．２６４による映像の符号化が実現でき、パーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、ビデオカメラ、カメラ付き携帯電話機等に適用できる。また、このイントラ予測装置を備える符号化装置にも適用できる。

Ｉピクチャに含まれる１６×１６画素のマクロブロックと、４×４画素の各ブロックとの関係を示す図である。 ４ｘ４イントラ予測方向を示す図である。 １６ｘ１６イントラ予測方向を示す図である。 従来のイントラ予測装置が実行する予測処理を示すシーケンス図である。 本発明の実施の形態に係るイントラ予測装置が適用される画像符号化装置１の全体構成を示す機能ブロック図である。 映像特徴量を用いたイントラ予測装置１１の機能構成を示すブロック図である。 イントラ予測装置１１の各部が実行する詳細な処理を示すシーケンス図である。 ピクチャ構造を用いる場合のイントラ予測装置１１の機能構成を示すブロック図である。 アスペクト比を用いる場合のイントラ予測装置１１の機能構成を示すブロック図である。 ４ｘ４イントラ予測における原画とフィールドでの角度の違いを示す図である。 １６ｘ１６イントラ予測におけるフィールドでの画素位置と原画像での画素位置の距離関係を示す図である。 動きベクトル、予測モードおよび画素演算情報を用いたイントラ予測装置１１の機能構成を示すブロック図である。 動きベクトルによる予測方向候補の決定を説明するための図である。特に図１３（ａ）は符号化順に並べられた原画を、図１３（ｂ）は符号化順に並べられた符号化画を、図１３（ｃ）は符号化順序が先の符号化画と符号化対象の画像との関係を、それぞれ示す図である。 予測モードによる予測方向候補の決定を説明するための図である。特に図１４（ａ）は符号化順に並べられた原画を、図１４（ｂ）は符号化順に並べられた符号化画を、図１４（ｃ）は符号化順序が先の符号化画と符号化対象の画像との関係を、それぞれ示す図である。 候補絞込み部１１１が既知の結果、イントラ予測を用いてイントラ予測候補を絞り込むイントラ予測候補絞込処理の動作を示すフローチャートである。

符号の説明

１１ イントラ予測装置
１８ 符号化制御部
１１１ 候補絞込み部
１１２ イントラ予測実行部
１８１ 映像特徴量入力部
１８２ ピクチャ構造判定部
１８３ 画素アスペクト比検出部
１８４ 動きベクトル入力部
１８５ 予測モード入力部
１８６ 画素演算情報入力部

Claims (7)

1. 入力される映像を構成する複数の画素データを表示用映像として表示する際の当該画素データの表示形式を特定するための情報を取得する取得手段と、
   前記取得手段により取得された情報に基づいて、複数の画素データから構成されるブロックに適用するイントラ予測方向を、複数のイントラ予測方向の中からいずれか１つまたは２つ以上のイントラ予測方向に絞り込む候補絞込み手段と、
   前記候補絞込み手段により絞り込まれたイントラ予測方向について、前記ブロックに対してイントラ予測を実行するイントラ予測実行手段と、を備え、
   前記取得手段により取得された情報に示される、前記表示用映像の垂直方向の画素分布と水平方向の画素分布に応じて、前記候補絞込み手段で絞り込まれるイントラ予測方向の組み合わせは異なり、
   （ａ）前記表示用映像の垂直方向の画素分布と水平方向の画素分布との比較の結果、水平方向の画素分布密度よりも垂直方向の画素分布密度が高い場合、絞り込まれるイントラ予測方向は、水平方向成分よりも垂直方向成分が多いイントラ予測方向を多く含み、
   （ｂ）前記表示用映像の垂直方向の画素分布と水平方向の画素分布との比較の結果、垂直方向の画素分布密度よりも水平方向の画素分布密度が高い場合、絞り込まれるイントラ予測方向は、垂直方向成分よりも水平方向成分が多いイントラ予測方向を多く含む、
   イントラ予測装置。
2. 前記取得手段は、前記画素データの画素アスペクト比に関する情報を取得し、
   前記候補絞込み手段は、前記画素アスペクト比に関する情報から求められる、前記表示用映像の垂直方向の画素分布と水平方向の画素分布とに応じて、複数のイントラ予測方向の中からいずれか１つまたは２つ以上のイントラ予測方向に絞り込む
   請求項１記載のイントラ予測装置。
3. 前記候補絞込み手段は、前記表示用映像の垂直方向の画素分布と水平方向の画素分布とから、前記表示用映像における間引き方向を特定し、前記複数のイントラ予測方向の中の、特定した前記間引き方向に近い２つ以上のイントラ予測方向のうちの少なくとも１つを、絞り込みの対象から排除する
   請求項１または２に記載のイントラ予測装置。
4. 前記取得手段は、前記画素データを前記表示用映像として表示する際、インターレース形式またはプログレッシブ形式で表示するかを示す情報を取得し、
   前記候補絞込み手段は、前記インターレース形式またはプログレッシブ形式で表示するかを示す情報を基に、前記複数のイントラ予測方向の中からいずれか１つまたは２つ以上のイントラ予測方向に絞り込む
   請求項１記載のイントラ予測装置。
5. 前記取得手段は、前記映像に含まれるピクチャがフィールド構造で符号化するか否かを示す情報を取得し、
   前記候補絞込み手段は、前記情報を基に、フィールド構造でピクチャを符号化すると判定する場合、当該ピクチャに含まれるブロックに適用するイントラ予測方向を絞り込む
   請求項１記載のイントラ予測装置。
6. 前記取得手段は、前記映像に含まれる複数の画素データから構成されるブロックがフィールド構造で符号化するか否かを示す情報を取得し、
   前記候補絞込み手段は、前記情報を基に、フィールド構造で前記ブロックを符号化すると判定する場合、当該ブロックに適用するイントラ予測方向を絞り込む
   請求項１記載のイントラ予測装置。
7. 入力される映像を構成する複数の画素データを表示用映像として表示する際の当該画素データの表示形式を特定するための情報を取得する取得ステップと、
   前記取得ステップにおいて取得された情報に基づいて、複数の画素データから構成されるブロックに適用するイントラ予測方向を、複数のイントラ予測方向の中からいずれか１つまたは２つ以上のイントラ予測方向に絞り込む候補絞込みステップと、
   前記候補絞込みステップにおいて絞り込まれたイントラ予測方向について、前記ブロックに対してイントラ予測を実行するイントラ予測実行ステップと、を含み、
   前記取得ステップにおいて取得された情報に示される、前記表示用映像の垂直方向の画素分布と水平方向の画素分布に応じて、前記候補絞込み手段で絞り込まれるイントラ予測方向の組み合わせは異なり、
   （ａ）前記表示用映像の垂直方向の画素分布と水平方向の画素分布との比較の結果、水平方向の画素分布密度よりも垂直方向の画素分布密度が高い場合、絞り込まれるイントラ予測方向は、水平方向成分よりも垂直方向成分が多いイントラ予測方向を多く含み、
   （ｂ）前記表示用映像の垂直方向の画素分布と水平方向の画素分布との比較の結果、垂直方向の画素分布密度よりも水平方向の画素分布密度が高い場合、絞り込まれるイントラ予測方向は、垂直方向成分よりも水平方向成分が多いイントラ予測方向を多く含む
   イントラ予測方法。

Images