JP5238523B2

JP5238523B2 - 動画像符号化装置、動画像復号化装置、および、動画像復号化方法

Info

Publication number: JP5238523B2
Application number: JP2009004588A
Authority: JP
Inventors: 忠和角戸; 雅俊近藤
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2009-01-13
Filing date: 2009-01-13
Publication date: 2013-07-17
Anticipated expiration: 2029-01-13
Also published as: JP2010166133A; US8953678B2; US20100177821A1

Description

本発明は、動画像符号化装置に係り、特に、ＭＰＥＧ２やＨ．２６４などの規格により、画素ブロックで画面間または画面内予測をおこなうときに、予測精度を高めるのに用いて好適な動画像符号化装置に関する。

今日、動画像によって伝送されるデータ量は日々増加している。例として、アナログテレビのデータ量を考える。現在の日本の標準テレビジョン放送の場合、画素数は水平方向に７２０画素、垂直方向に４８０画素である。各画素は、８ビットの輝度データと、二つの色差データ８ビットを有しており、一秒間の動画は、３０枚の画面から構成されている。現在は、輝度のデータに対して、色成分を半分とする形式を用いているため、１秒間のデータ量としては、７２０×４８０×（８＋８×１／２＋８×１／２）×３０＝１２４４１６０００ビットとなり、伝送レートとしては、約１２０Ｍｂｐｓが必要となる。

しかしながら、現在家庭用ブロードバンドとして普及している光ファイバであっても、１００Ｍｂｐｓ程度であり、映像を非圧縮で伝送する事はできない。今後、２０１１年に切り替わる地上デジタルテレビジョン放送のデータ量は、１．５Ｇｂｐｓと言われており、高効率圧縮技術は今後必要とされる技術の一つであると言える。このような高効率の圧縮技術の規格としては、現在、Ｈ．２６４／ＡＶＣ（以下、「Ｈ．２６４」と記す）が提案されている。Ｈ．２６４は、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector：国際電気通信連合電気通信標準化部門）のビデオ符号化専門家グループＶＣＥＧ（Video Coding Experts Group：映像符号化専門グループ）とＩＳＯ（International Organization for Standardization：国際標準化機構）／ＩＥＣ（International Electrotechnical Commission：国際電気標準会議）の動画像符号化専門家グループＭＰＥＧ（Moving Picture Expert Group：動画像符号化専門家グループ）が２００１年１２月に共同で設立したＪＶＴ（Joint Video Team）によって開発された動画像符号化の最新の国際標準である。

ＩＴＵ−Ｔでは勧告として、２００３年５月に承認されている。また、ＩＳＯ／ＩＥＣＪＴＣ１（Joint Technical Committee：第一合同技術委員会）では、２００３年に、ＭＰＥＧ−４Ｐａｒｔ１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）として標準化されている。

Ｈ．２６４の特徴としては、従来方式のＭＰＥＧ−２やＭＰＥＧ−４に比べて約２倍の符号化効率で同程度の画質を実現できること、圧縮アルゴリズムとして、フレーム間予測、量子化、エントロピー符号を採用したこと、携帯電話等の低ビットレートからハイビジョンＴＶ等の高ビットレートまで幅広く利用可能であることなどが挙げられる。

なお、ＩＴＵ−Ｔの勧告は、以下の非特許文献１に示されたＵＲＬよりダウンロード可能である。

"ITU-T Recommendation H.264 Advanced video coding for generic audiovisual services", [online], 11/2007, TELECOMUNICATION STANDARDIZATION SECTOR OF ITU, [平成２０年１２月１２日検索], インターネット<URL: http://www.itu.int/rec/T-REC-H.264-200711-I/en>

先ず、本発明が解決しようとする課題を説明するために、図１ないし図３を用いて、Ｈ．２６４の予測手法について簡単に説明する。
図１は、Ｈ．２６４のエンコーダの構成図である。
図２は、イントラ予測画像生成処理における参照画素の位置を示す図である。
図３は、Ｈ．２６４におけるブロックにおけるイントラ予測処理の処理順序を示す図である。

Ｈ．２６４では、画面内で予測画像を生成するイントラ予測処理１０４と画面間で予測画像を生成するインター予測処理１０５をおこなうことが規定されている。ここで、生成した予測画像と原画像との差分をとり、この差分データに対して、以降の直交変換１０２、量子化１０３処理をおこない、量子化後のデータに対して符号化処理１１０をおこなう。Ｈ．２６４では、差分画像のみを符号化し、伝送することにとって高い符号化効率を実現している。

イントラ予測とは、近接画素間の相関を利用して予測画像の生成する手法である。イントラ予測処理では、予測対象画素の周辺画素との相関によって予測画像を生成しており、予測対象ブロックの左側から右上の画素を利用する。図２には、例として、４ｘ４イントラ予測の予測画像生成に利用する参照画素が示されている。

Ｈ．２６４／ＡＶＣでは、４×４画素のブロック単位（以下：４×４ブロック）、８×８画素のブロック単位（以下：８×８ブロック）、１６×１６画素のブロック単位（以下：１６×１６ブロック）で予測画像の生成をおこなうことが可能であり、使用可能なモードとして、４ｘ４ブロック／８ｘ８ブロックで各９モード、１６ｘ１６ブロックで４モードの計２２モードが使用可能である。

各々のブロックでの、Ｈ．２６４／ＡＶＣのイントラ予測モードは、以下の表１に示されるようになる。

モード０／１は、隣接する画素を使用する予測である。これらは垂直エッジ・水平エッジを含むようなブロックに対して高い予測効率が得られる。モード２は、隣接する画素の平均値を使用する。モード３〜８に関しては、隣接する画素から、２〜３画素ごとに加重平均を求め、予測値として使用するものである。それぞれ、真下を０度として、左４５度、右４５度、右２２．５度、右６７．５度、左２２．５度、右１１２．５度の方向のエッジを含むような画像に対して、高い予測効果が得られる。Ｈ．２６４では、これらのイントラ予測モードから最適なモードを選択することにより、高能率な符号化を実現している。一般的には一通りのイントラ予測処理を試行して、最適なイントラ予測モードを選択する手法が用いられる。

なお、詳細には説明しないが、Ｈ．２６４／ＡＶＣに規定されている今一つの予測手法であるインター予測は、前後のフレームから予測対象画素の動きベクトルを計算し、予測画像を生成する処理である。

イントラ予測で参照する周辺画素は、図２に示すＡ−Ｍの部分であるが、画面端やスライス境界、参照画素がインター予測で符号化されている場合では、参照画素が存在しない、または、スライス境界を越えての参照は禁止されているため、使用できるモードが制限される。また、Ｈ．２６４では図３に示す番号順にイントラ予測の処理を進める。

各予測モードと使用する参照画素は、以下の表２に示されるようになる。

ここで、表２の使用する参照画素から分かるように、４ｘ４イントラ予測の場合、画面端では左側／左上側の画素が存在しないため、モード１／４／５／６／８が使用できない。また、予測対象ブロックの上側がスライス境界の場合では、モード０／３／４／５／６／７は上側／右上側の参照画素がスライス境界を越えての参照となるため使用できない。８ｘ８イントラ予測の場合も、４ｘ４イントラ予測と同様に９つのイントラ予測モードが規定されており、モードによる参照できない画素の対象の制限についても４ｘ４イントラ予測と同様である。１６ｘ１６イントラ予測の場合、使用可能なモードは、４モードあり、画面端やスライス境界において、参照画素が存在しない、またはスライス境界を越えての参照は禁止されている。

また、上記以外にも予測対象画素ブロックの予測画像生成に必要な参照画素、すなわち、近接する画素ブロックがインター予測によって符号化された場合（Ｈ．２６４では、constrained_intra_pred_flag = ‘1’となる場合) には、当該近接ブロックを参照してイントラ予測画像生成をおこなうことはできないと規定されている。

上記のように、従来方式に従って符号化処理をおこなうと、使用可能なモードに制限が生じるので、生成される予測画像の精度が低下することになる。そして、予測画像の精度が低下することによって、入力画像との差分値が大きくなり、結果として図２の符号化処理１１０において、モード制限の生じる予測対象ブロックの符号化に必要な符号量が増大するという問題点がある。

伝送帯域が限られた範囲において、特に、低ビットレート伝送では、発生符号量の増大は全体の符号化処理に影響を及ぼすことになる。

本発明は、上記問題点を解決するためになされたもので、その目的は、画素ブロックで画面間または画面内予測をおこなう場合に、発生する符号量を増大させることなく、しかも、予測画像の精度を低下させない符号圧縮をおこなう動画像符号圧縮装置を提供することにある。

本発明の動画像符号化装置の予測処理では、予測対象ブロックに対して、参照画素のいずれかが有効でないときに、参照画素ブロック内の画素に基づいて、有効でない参照画素の画素値を計算し、有効でない参照画素の代わりに、計算された画素値を用いて、予測対象ブロックの予測画像を生成する。

その際に、参照画素ブロック内の一部の画素の平均値と、それからの勾配値を求めて、それらを利用して、対応する参照画素の画素値を求める。

本発明によれば、画素ブロックで画面間または画面内予測をおこなう場合に、発生する符号量を増大させることなく、しかも、予測画像の精度を低下させない符号圧縮をおこなう動画像符号圧縮装置を提供することができる。

Ｈ．２６４のエンコーダの構成図である。イントラ予測画像生成処理における参照画素の位置を示す図である。Ｈ．２６４におけるブロックにおけるイントラ予測処理の処理順序を示す図である。参照画素ブロックと予測対象ブロックの関係を示す図である。本発明の一実施形態におけるパディングに使用する画素ラインとパディング対象画素（横方向）の関係を示す図である。本発明の一実施形態におけるパディングに使用する画素ラインとパディング対象画素（縦方向）の関係を示す図である。本発明の画像予測におけるパディング処理のアルゴリズムの概要を示す図である。上側参照画素が有効でない場合のパディング処理の流れを示すフローチャートである。上側参照画素が有効でない場合の参照画素ブロックと予測対象ブロックを示す図である。図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ１）をおこなうときを説明する図である。図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ２）をおこなうときを説明する図である。図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ３）をおこなうときを説明する図である。図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ４）をおこなうときを説明する図である。左側参照画素が有効でない場合のパディング処理の流れを示すフローチャートである。左側参照画素が有効でない場合の参照画素ブロックと予測対象ブロックを示す図である。図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ１）をおこなうときを説明する図である。図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ２）をおこなうときを説明する図である。図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ３）をおこなうときを説明する図である。Ｈ．２６４におけるデータ階層を示す図である。Ｈ．２６４におけるアクセスユニットを示す図である。本発明の画像予測におけるパディング処理を設定したアクセスユニットの例を示す図である。従来のＨ．２６４におけるスライス境界／画面端によってモード制限の生じる画素ブロックを示す図である。従来のＨ．２６４における近接画素がインター予測使用によってモード制限の生じる画素ブロックを示す図である。

以下、本発明に係る一実施形態を、図４ないし図２３を用いて説明する。

本発明は、動画像符号化装置による符合圧縮の過程で、画像予測をおこなう場合に、予測対象ブロックの画面の位置条件などにより画素の一参照できない画素に対して、それに対応するデータをパディングして、予測対象ブロックの参照画素として用いるものである。

すなわち、より詳しくは、本発明は、予測画像生成において参照画素の上または左側が有効で、もう一方が有効でない場合に、有効な参照画素ブロックを利用して、画素平均と画素勾配を用いた処理によってパディングすることにより、画面端やスライス端、あるいは、近接画素がインター予測によって符号化された場合においても、予測画像生成モードにより生ずる予測の制限にかかわらず、適切な参照画素を生成する。したがって、上または左側の参照画素が有効な場合に、画面端やスライス境界等においても全モードを使用可能とすることができる。これにより、高精度の予測画像を生成することが可能である。このように、本発明によれば、予測画像と入力画像との差分結果を減少させ、符号化効率を向上させることができる。

以下、図４ないし図７を用いて本発明に係る動画像符号化装置の予測におけるパディング処理の概要について説明する。
図４は、参照画素ブロックと予測対象ブロックの関係を示す図である。
図５は、本発明の一実施形態におけるパディングに使用する画素ラインとパディング対象画素（横方向）の関係を示す図である。
図６は、本発明の一実施形態におけるパディングに使用する画素ラインとパディング対象画素（縦方向）の関係を示す図である。
図７は、本発明の画像予測におけるパディング処理のアルゴリズムの概要を示す図である。

本発明では、図４に示される予測対象ブロックの上側または左側の予測対象ブロックが参照不可能な場合に、一方の参照画素ブロックから、もう一方の参照画素ブロックをパディング処理する。

より具体的には、図５、図６に示すように、パディング対象画素（５０２）／（６０２）に最も近い有効な参照画素ライン（５０１）／（６０１）を使用してパディング処理をおこなうものである。ここで、図５には、横方向、図６には、縦方向のパディング対象画素とパディング処理に必要な画素ラインが示されている。

本発明の画像予測におけるパディング処理の基本的な処理は、図７に示されるパディング参照画素ライン７０４からパディング対象画素（７０５）を生成することである。先ず、パディング画素ラインの画素平均値（７０１）を求める。その後、各画素値と画素平均値（７０１）との勾配（７０２）を求める。そして、パディング対象画素におけるパディング基準画素（７０３）を決める。パディング基準画素（７０３）を基に、各パディング対象画素に対して、パディング基準画素（７０３）と勾配（７０２）を加え、最終的なパディング対象画素値とする。図７では横方向について示しているが、縦方向のパディング処理をおこなう場合には、参照画素ラインとパディング対象画素は縦方向の処理となる。

以下、図８ないし図１８を用いて本発明の動画像符号化装置の画像予測におけるパディング処理について、詳細に説明する。
図８は、上側参照画素が有効でない場合のパディング処理の流れを示すフローチャートである。
図９は、上側参照画素が有効でない場合の参照画素ブロックと予測対象ブロックを示す図である。
図１０は、図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ１）をおこなうときを説明する図である。
図１１は、図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ２）をおこなうときを説明する図である。
図１２は、図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ３）をおこなうときを説明する図である。
図１３は、図４の参照画素ブロックと予測対象ブロックの関係において、横方向に参照画素のパディング処理（Ｓｔｅｐ４）をおこなうときを説明する図である。
図１４は、左側参照画素が有効でない場合のパディング処理の流れを示すフローチャートである。
図１５は、左側参照画素が有効でない場合の参照画素ブロックと予測対象ブロックを示す図である。
図１６は、図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ１）をおこなうときを説明する図である。
図１７は、図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ２）をおこなうときを説明する図である。
図１８は、図４の参照画素ブロックと予測対象ブロックの関係において、縦方向に参照画素のパディング処理（Ｓｔｅｐ３）をおこなうときを説明する図である。

本実施形態の説明においても、Ｈ．２６４／ＡＶＣと同様に、図３に示される番号順に、イントラ予測の処理を進めるものとする。また、本実施形態では、４ｘ４イントラ予測の場合を例として示すものとする。本発明の画像予測におけるパディング処理の手法では、有効な参照画素を含むマクロブロックを利用し、画素平均と画素勾配を用いてパディング処理をおこなうものであり、８ｘ８ブロック、１６ｘ１６ブロックの場合も、本実施形態で説明する４ｘ４ブロックの場合とにおいても同様の手法を用いて、パディング処理をおこなうことができる。

先ず、図９の上側の画素が参照できない場合のパディング処理について説明する。

最初に、図９に示されるように、左側４画素の一番上にある参照画素Ｉを、参照画素Ｍの位置にコピーする（図８のＳｔｅｐ１）。

次に、左側の参照画素ブロックの一番上の横ライン（図１１ i_1-i_4）の画素値の平均値（Ave(i_1〜i_4)）を、以下の（式１）に基づいて計算する（Ｓｔｅｐ２）。ここでは、N = 4である。

次に、参照画素ブロックの一番上の横ラインの各画素と、（式１）により求めた平均値との差分である画素勾配値（ΔAve(i_1〜i_4,i_x)）を、以下の（式２）に基づいて計算する。ここでは、N = 4である。

そして、（式２）の画素勾配値を、コピーした参照画素Ｍの画素値に加えて、上側参照画素の値として各対応位置へパディングする（Ｓｔｅｐ３）。図１２には、参照画素Ａをパディング処理する際の例が示されている。

ＥＦＧＨの画素値については、予測対象ブロックが、図３に示す１，３，４，５，７，１１，１３，１５の位置においては、右上の参照画素が有効になっていないため、規格上、予測ができないので、図１３に示されるように、上側参照画素の一番右側Ｄの画素値をコピーして、ＥＦＧＨとする（Ｓｔｅｐ４）。

上記Ｓｔｅｐ１からＳｔｅｐ４の処理によって、上側参照画素をパディングする。そして、参照画素が有効となるので、上側参照画素を”available for Intra_4x4 prediction”として、全モードを使用して予測画像を生成する。

次に、図１５の左側の画素が参照できないの場合のパディング処理について説明する。

最初に、図１６に示すように、上側４画素の一番左側にある参照画素Ａを参照画素Ｍの位置にコピーする（図１４のＳｔｅｐ１）。

次に、上側の参照画素ブロックの一番左の縦ラインの画素値（図１７ a_1〜a_4）の平均値（Ave(a_1〜a_4)）を、以下の（式３）に基づいて計算する。ここでは、N = 4である。

次に、参照画素ブロックの一番左の縦ラインの画素値と、（式３）により求めた平均値との差分である画素勾配値（ΔAve(a_1〜a_4,a_x)）を、以下の（式４）に基づいて計算し、その画素勾配値をＭの画素値に加えて、左側参照画素の各対応位置へパディングする。ここでは例としてN = 4 とする。

図１８には、参照画素Ｉをパディング処理する際の例が示されている。

上記Ｓｔｅｐ１からＳｔｅｐ３の処理によって、左参照画素をパディングする。そして、左側参照画素が有効となるので、上側参照画素のパディング処理同様に参照画素を、”available for Intra_4x4 prediction”として全モードを使用して予測画像を生成する。

最後に、予測対象ブロックの上側と左側の参照画素が共に存在しない場合について述べる。上側と左側の参照画素が共に存在しない場合とは、スライス先頭マクロブロック等がこれに該当する。この場合には、従来のＨ．２６４規格と同様に予測対象ブロックの画素値を全て中間値として予測画像を生成する。例として、入力フォーマットが１０ｂｉｔの場合には５１２となる。

以上述べてきた本発明によるパディング処理によって、予測対象ブロックの上側または左側が存在しない場合においても、Ｈ．２６４で規定されている全モードによって、予測画像を生成することが可能となる。本発明においては、有効な参照画素ブロックからパディング対象画素に最も近いラインの平均値と画素勾配を利用しているため、パディングされた画素には、予測のために有益な画素が復元されることになり、結果として、高精度の予測画像を生成することが可能である。

次に、図１９ないし図２１を用いてＨ．２６４をベースとして本実施形態で説明した画像予測のパディング処理を実施する場合について説明する。
図１９は、Ｈ．２６４におけるデータ階層を示す図である。
。
図２０は、Ｈ．２６４におけるアクセスユニットを示す図である。
図２１は、本発明の画像予測におけるパディング処理を設定したアクセスユニットの例を示す図である。

Ｈ．２６４のビットストリーム構造は、図１９に示されるように、動画像符号化処理をおこなう動画像符号化処理層（１７０１）／（１７０２）と、符号化された情報を伝送・蓄積する下位システム（１７０５）との間に、ＮＡＬ（Network Abstraction Layer）というレイヤ（１７０３）／（１７０４）が規定されており、下位システム（１７０５）へのビットストリームへの対応付けは、このＮＡＬユニットを単位としておこなわれる。この図１９には、Ｈ．２６４におけるＮＡＬユニットの位置づけが示されている。

そして、ビットストリーム中の情報をピクチャ単位にアクセスするために、いくつかのＮＡＬユニットをまとめた一区切りをアクセスユニットという。アクセスユニットの構造は、図２０に示されている。ＡＵデリミタ（１８０１）は、アクセスユニットの先頭を示す開始符号である。ＳＰＳ（１８０２）は、ＰＣＰの画像のプロファイルやレベルなど、シーケンス全体の符号化に関する情報を含むヘッダである。ＰＰＳ（１８０３）は、ピクチャ全体の符号化モードを示すヘッダである。ＳＥＩ（１８０４）は、各ピクチャのタイミング情報やランダムアクセス情報なのどの付加情報を含むヘッダである。ＰＣＰ（１８０５）は、一つ以上のスライスデータから構成されるＮＡＬユニットである。ＲＣＰ（１８０６）は、ＰＣＰと同じマクロブロックデータを含むＮＡＬユニットであり、ＰＣＰがエラーによって失われた場合に利用可能とする冗長データである。ＥＯＳ（１８０７）は、シーケンスの終了を示す部分である。ＥＯＳ（１８０８）はストリームの終了を示す部分である。Ｈ．２６４ではアクセスユニットの順序はＡＵデリミタ（１８０１）〜ＥＯＳ（１８０８）の順序に並べるように規定されている。

Ｈ．２６４をベースとして、本実施形態で説明した画像予測のパディング処理を実施する場合には、図２０に示すＳＰＳ（Sequence Parameter Set）（１８０２）において、イントラパディングを判定するフラグを追加し、デコーダ側では、このフラグ判定を基にして、イントラパディング処理をおこなうか、否かを判断する。ＳＰＳ（１８０２）は、ＰＣＰ（１８０５）の画像のプロファイルやレベルなど、シーケンス全体の符号化に関する情報を含むヘッダである。Ｈ．２６４においてＳＰＳの最終パラメータは、ビデオの表示情報に関連したデータ構造であるＶＵＩ（Video Usability Information）のシンタックス構造が存在するか否かを示すvui_parameters_present_flagである。このvui_parameters_present_flagの後ろに、本発明であるイントラパディング処理をおこなうか否かを示すフラグ（１ｂｉｔ）を付加する。

図２１に示されるように、従来のＨ．２６４のＳＰＳ（１８０２）の最後に、本実施形態で説明した画像予測のパディング処理に関係するパディング処理判定フラグ（１９００）を付加する。デコーダにおいて復号する際には、従来通り、ＰＳＰ（１８０３）を、デコード処理した後に、このパディングフラグ情報（１９００）をデコードすることによって、パディング処理をおこなうか否かの判定をおこなう。デコーダでは、エンコーダ同様の予測画像生成ブロックを用いることによって、復号可能である。

最後に、図２２および図２３を用いて、従来のＨ．２６４による方法と対比して、本実施形態の画像予測のパディング処理の利点について説明する。
図２２は、従来のＨ．２６４におけるスライス境界／画面端によってモード制限の生じる画素ブロックを示す図である。
図２３は、従来のＨ．２６４における近接画素がインター予測使用によってモード制限の生じる画素ブロックを示す図である。

従来のＨ．２６４では、イントラ予測を用いた場合にスライス境界や画面端で予測画像生成に使用可能なモードが制限される。例えば、１９２０＊１０８０の画面サイズで１スライスを１マクロブロックライン（１６ライン）とした場合には、４ｘ４画素単位で図２２に示すように、画面端と最上位の４ｘ４ブロックにおいて約２５％の領域で使用可能なモードの制限が生じる。同様に、８ｘ８画素単位では約５０％、１６ｘ１６画素単位ではすべてのマクロブロックでモード制限が発生するが、本発明ではスライス先頭マクロブロックのみでパディング処理が出来ないため中間値処理をおこなうが、その他のマクロブロックでは予測画像生成に使用モードに制限はないため、高精度の予測画像を生成することが可能である。

またイントラ予測およびインター予測を使用して予測画像の生成をおこなう場合においては、図２３に示すように、参照画素ブロックに位置する画素ブロックがインター予測によって符号化される場合（constrained_intra_pred_flag = ‘1’）には、上記状況に加え、モード制限の発生する画素ブロックがさらに増えることが予見されるため、本発明はより効果を発揮する。

１０１…入力画像、１０２…直交変換、１０３…量子化、１０４…イントラ予測処理、１０５…インター予測処理、１０６…再構成画像、１０７…フィルタ、１０８…逆直行変換、１０９…逆量子化、１１０…符号化処理。

Claims

画像を基本ブロックに分割して、前記基本ブロックの内の予測対象ブロックに対して、前記予測対象ブロックに同一画面内で近接する第１の参照画素ブロック内の画素列を参照画素として用い、前記予測対象ブロックの予測画像を生成することによって、動画像符号化のイントラ予測処理をおこなう動画像符号化装置において、
前記参照画素のいずれかが有効でないときに、
前記第１の参照画素ブロック以外で前記予測対象ブロックに近接する第２の参照画素ブロック内で、前記有効でない参照画素に最も近く且つ同じ向きに並んだ画素列の複数の画素に基づいて、前記有効でない参照画素の代替値を計算し、前記代替値を用いて、前記予測対象ブロックの予測画像を生成することを特徴とする動画像符号化装置。
前記有効でない参照画素の各々の代替値は、前記第１の参照画素ブロック内の画素値の勾配と、前記第２の参照画素ブロック内の画素値の勾配との相関に基づいて、計算されることを特徴とする請求項１記載の動画像符号化装置。
前記有効でない参照画素が前記予測対象ブロックの上側で近接する場合、前記第２の参照画素ブロックは、前記予測対象ブロックの左側に近接するものとし、該第２の参照画素ブロックの一番上の横列の右端の画素の値を、該右端の画素の上側で接している画素にコピーするとともに、前記横列の各画素について前記横列の平均画素値との差分を計算し、該差分に前記コピーした画素値を加えて、前記上側で接している画素の右に並ぶ前記有効でない参照画素のそれぞれに、前記横列の対応位置を保ってパディングすることで、前記予測対象ブロックの予測画像を生成し、
前記有効でない参照画素が前記予測対象ブロックの左側で近接する場合、第２の参照画素ブロックは、前記予測対象ブロックの上側に近接するものとし、第２の参照画素ブロックの一番左の縦列の下端の画素の値を、該下端の画素の左側で接している画素にコピーするとともに、前記縦列の各画素について前記縦列の平均画素値との差分を計算し、該差分を前記コピーした画素値に加えて、前記左側で接している画素の下に並ぶ前記有効でない参照画素のそれぞれに、前記縦列の対応位置を保ってパディングすることで、前記予測対象ブロックの予測画像を生成することを特徴とする請求項２記載の動画像符号化装置。
前記有効でない参照画素が前記予測対象ブロックの上側で近接する場合、
前記上側で接している画素の右に並ぶ前記有効でない参照画素のそれぞれに、前記横列の対応位置を保ってパディングしたときに、前記上側で接している画素で、前記横列の対応が付かない画素には、パディングした画素の内で左端にある画素値を、コピーすることを特徴とする請求項３記載の動画像符号化装置。
前記動画像符号化装置が符号化したビットストリームのアクセスユニットのヘッダに、前記代替値を用いて、前記予測対象ブロックの予測画像を生成したか否かを示すフラグを含むことを特徴とする請求項２記載の動画像符号化装置。
画像を基本ブロックに分割して、前記基本ブロックの内の予測対象ブロックに対して、前記予測対象ブロックに同一画面内で近接する第１の参照画素ブロック内の画素列を参照画素として用い、前記予測対象ブロックの予測画像を生成することによって、動画像符号化のイントラ予測処理をおこなう動画像復号化装置において、
前記参照画素のいずれかが有効でないときに、
前記第１の参照画素ブロック以外で前記予測対象ブロックに近接する第２の参照画素ブロック内で、前記有効でない参照画素に最も近く且つ同じ向きに並んだ画素列の複数の画素に基づいて、前記有効でない参照画素の代替値を計算し、前記代替値を用いて、前記予測対象ブロックの予測画像を生成し、
前記有効でない参照画素の各々の代替値は、前記第１の参照画素ブロック内の画素値の勾配と、前記第２の参照画素ブロック内の画素値の勾配との相関に基づいて、計算されることを特徴とする動画像復号化装置。
画像を基本ブロックに分割して、前記基本ブロックの内の予測対象ブロックに対して、前記予測対象ブロックに同一画面内で近接する第１の参照画素ブロック内の画素列を参照画素として用い、前記予測対象ブロックの予測画像を生成することによって、動画像符号化のイントラ予測処理をおこなう動画像復号化方法において、
前記参照画素のいずれかが有効でないときに、
前記第１の参照画素ブロック以外で前記予測対象ブロックに近接する第２の参照画素ブロック内で、前記有効でない参照画素に最も近く且つ同じ向きに並んだ画素列の複数の画素に基づいて、前記有効でない参照画素の代替値を計算し、前記代替値を用いて、前記予測対象ブロックの予測画像を生成するステップを有し、
前記有効でない参照画素の各々の代替値は、前記第１の参照画素ブロック内の画素値の勾配と、前記第２の参照画素ブロック内の画素値の勾配との相関に基づいて、計算されることを特徴とする動画像復号化方法。