JP7323014B2 - 映像復号方法 - Google Patents

Description

本発明は、映像復号方法に関する。

映像データの圧縮符号化に関する国際標準として、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）が知られている。以下では、Ｈ．２６５／ＨＥＶＣを指して、ＨＥＶＣと記載することがある。

ＨＥＶＣでは、イントラ予測とインター予測の２つの予測方法が採用されており、イントラ予測モードとしては、プラナー予測、直流予測、及び角度予測の３種類が規定されている。

図１は、ＨＥＶＣの角度予測において使用される角度を示している。イントラ予測では、ラスタスキャン順で先に符号化されたブロックの局所復号画素値が予測画素値として用いられるため、参照方向は、左下方向から時計回りに右上方向までのいずれかの方向になる。左水平方向を示す角度を０度とした場合、参照方向の角度範囲は、－４５度から＋１３５度までの範囲である。

－４５度から＋１３５度までの各角度に対して、２から３４までの番号が順番に割り当てられており、これらの番号が角度予測の３３通りのイントラ予測モードを表している。なお、０及び１は、プラナー予測及び直流予測に対してそれぞれ割り当てられている。これらの２つのイントラ予測モードは、方向性を持たない空間的なイントラ予測に対応する。イントラ予測符号化では、３３通りの参照方向のうち、指定された参照方向に合致した外挿を行うことで、符号化対象ブロックの予測画素値が生成される。

図２は、イントラ予測モード“６”（－２２．５度）の場合の外挿方法の例を示している。符号化対象ブロックの上側に隣接する上隣接ブロック、及び符号化対象ブロックの左側に隣接する左隣接ブロックは、符号化済みブロックである。上隣接ブロックは、符号化対象ブロックの水平方向の２辺のうち上側の辺に隣接し、左隣接ブロックは、符号化対象ブロックの垂直方向の２辺のうち左側の辺に隣接する。

隣接画素２０１（斜線の正方形）は、上隣接ブロック又は左隣接ブロック内の画素であり、画素２０２（白抜きの正方形）は、符号化対象ブロック内の画素である。各画素２０２を通る矢印付き線分２０３は、イントラ予測モード“６”における参照方向を示している。

各画素２０２を通る矢印付き線分２０３の終端に存在する隣接画素２０１の画素値が、その画素２０２の予測画素値として用いられる。画素２０２を複数の矢印付き線分２０３が通っている場合は、それぞれの矢印付き線分２０３の終端に存在する隣接画素２０１の画素値の重み付き加算が、予測画素値となる。

現在、映像データの圧縮符号化に関する次期国際標準として、ＶＶＣ（Versatile Video Coding）の規格化作業が進められている（例えば、非特許文献１を参照）。ＨＥＶＣにおけるブロックの形状は正方形のみであるが、ＶＶＣでは、符号化効率をさらに向上させるため、長方形のブロックも使用される。

図３は、ＶＶＣにおけるブロック分割の例を示している。図３（ａ）は、四分割を示している。この場合、水平方向のサイズ（幅）がＷ画素であり、垂直方向のサイズ（高さ）がＨ画素であるブロックが、同じ形状の４個のブロックに分割される。分割後の各ブロックの幅はＷ／２画素であり、高さはＨ／２画素である。以下では、Ｗ画素の幅を「幅Ｗ」と記載し、Ｈ画素の高さを「高さＨ」と記載することがある。

図３（ｂ）は、横二分割及び縦二分割を示している。横二分割の場合、幅Ｗ及び高さＨのブロックが、水平方向の分割線によって、同じ形状の２個のブロックに分割される。分割後の各ブロックの幅はＷ画素であり、高さはＨ／２画素である。一方、縦二分割の場合、幅Ｗ及び高さＨのブロックが、垂直方向の分割線によって、同じ形状の２個のブロックに分割される。分割後の各ブロックの幅はＷ／２画素であり、高さはＨ画素である。

図３（ｃ）は、横三分割及び縦三分割を示している。横三分割の場合、幅Ｗ及び高さＨのブロックが、水平方向の２本の分割線によって、３個のブロックに分割される。分割後の各ブロックの幅はＷ画素であり、上下２個のブロックの高さはＨ／４画素であり、中央のブロックの高さはＨ／２画素である。縦三分割の場合、幅Ｗ及び高さＨのブロックが、垂直方向の２本の分割線によって、３個のブロックに分割される。分割後の各ブロックの高さはＨ画素であり、左右２個のブロックの幅はＷ／４画素であり、中央のブロックの幅はＷ／２画素である。

図４は、画像のブロック分割の例を示している。図４に示すように、ＶＶＣでは、正方形のブロックだけでなく、長方形のブロックが使用可能になる。長方形のブロックの高さ及び幅の比率（縦横比）としては、１：２及び２：１だけでなく、それ以外の縦横比も使用可能である。

また、イントラ予測の処理において、より近い復号済み画素を利用して主観画質と符号化効率を改善する技術が知られている（例えば、特許文献１を参照）。

特開２０１６－０２７７５６号公報

"Versatile Video Coding (Draft 2)", JVET-K1001, JVET of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, July 2018

ＶＶＣのイントラ予測モードを示すパラメータの符号化方法では、ＨＥＶＣと同様に、３つの最確モード（Most Probable Mode，ＭＰＭ）をエントリとして含む、ＭＰＭリストが用いられる。ＭＰＭは、符号化対象ブロックにおけるイントラ予測モードの候補値（予測値）として用いられる。

しかしながら、隣接ブロックの形状と符号化対象ブロックの形状とが異なる場合、現状のＶＶＣにおけるＭＰＭリストの生成方法では、必ずしも適切なＭＰＭが設定されるとは限らない。

なお、かかる問題は、ＶＶＣを採用する映像符号化に限らず、長方形のブロックに対するイントラ予測を採用する他の映像符号化においても生ずるものである。

１つの側面において、本発明は、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することを目的とする。

１つの案では、映像復号装置は、符号化映像を復号し、符号化映像に含まれる符号化画像内の復号対象ブロックの形状を判定する。映像復号装置は、予測モード情報の候補値を含む候補情報を用いて、復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、復号対象ブロックのイントラ予測画素値を生成する。

復号対象ブロックに隣接する復号済みブロックの第１予測モード情報に対応する第１予測モードが、復号対象ブロックの形状において復号対象ブロックの予測に用いられない予測モードになる場合に、第１予測モード情報が変更される。この場合、候補情報は、第１予測モード情報を復号対象ブロックの予測に用いられる予め定められた予測モードを示す予測モード情報に変更した第２予測モード情報を用いて、生成される。

映像復号装置は、イントラ予測画素値と復号対象ブロックの予測残差情報とに基づいて、復号対象ブロックの画素値を生成する。

実施形態によれば、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することができる。

ＨＥＶＣの角度予測において使用される角度を示す図である。 外挿方法を示す図である。 ＶＶＣにおけるブロック分割を示す図である。 画像のブロック分割を示す図である。 ＶＶＣの角度予測において使用される角度を示す図である。 角度予測に割り当てられるイントラ予測モードを示す図である。 長方形のブロック向けに追加されたイントラ予測モードを示す図である。 長方形のブロックに対する角度予測を示す図である。 映像符号化装置の機能的構成図である。 映像復号装置の機能的構成図である。 映像符号化装置の具体例を示す機能的構成図である。 映像符号化装置におけるイントラ予測部の機能的構成図である。 第１イントラ予測モードの変更方法を示す図である。 映像符号化処理のフローチャートである。 映像符号化装置におけるイントラ予測処理のフローチャートである。 第１の隣接ブロック決定方法を示す図である。 第２の隣接ブロック決定方法を示す図である。 第３の隣接ブロック決定方法を示す図である。 映像復号装置の具体例を示す機能的構成図である。 映像復号装置におけるイントラ予測部の機能的構成図である。 映像復号処理のフローチャートである。 映像復号装置におけるイントラ予測処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。

非正方形である長方形のブロックに対するイントラ予測を行う場合、ＨＥＶＣの角度予測（－４５度～＋１３５度）では不十分となる場合がある。そこで、ＶＶＣでは、長方形のブロックに対する角度予測の角度範囲を拡張することで、この問題に対応している。

図５は、ＶＶＣの角度予測において使用される角度を示している。ＶＶＣでは、ＨＥＶＣの角度予測の精度を２倍にするため、使用される角度の間隔が１／２に削減されている。さらに、長方形のブロック向けの参照方向として、－７３度～－４５度及び＋１３５度～＋１６３度の範囲の角度が追加されている。

角度範囲５０１は、正方形及び長方形のブロック向けの－４５度～＋４５度の角度予測（３３通り）を表し、角度範囲５０２は、正方形及び長方形のブロック向けの＋４５度～＋１３５度の角度予測（３２通り）を表す。角度範囲５０３は、長方形のブロック向けに追加された－７３度～－４５度の角度予測（１０通り）を表し、角度範囲５０４は、長方形のブロック向けに追加された＋１３５度～＋１６３度の角度予測（１０通り）を表す。合計８５通りの角度予測にプラナー予測及び直流予測を加えると、イントラ予測モードの総数は８７通りとなる。

図６は、図５の角度範囲５０１及び角度範囲５０２の角度予測に割り当てられるイントラ予測モードを示している。－４５度から＋１３５度までの各角度に対して、２から６６までの番号が順番に割り当てられており、これらの番号が６５通りのイントラ予測モードを表している。０及び１は、ＨＥＶＣの場合と同様に、プラナー予測及び直流予測に対してそれぞれ割り当てられる。

図７は、図５の角度範囲５０３及び角度範囲５０４の角度予測に割り当てられるイントラ予測モードを示している。＋１３５度の直後から＋１６３度までの各角度に対して、６７から７６までの番号が順番に割り当てられており、－７３度から－４５度の直前までの各角度に対して、－１０から－１までの番号が順番に割り当てられている。６７～７６の角度予測は、幅が高さよりも大きい横長のブロックに対して使用され、－１０～－１の角度予測は、高さが幅よりも大きい縦長のブロックに対して使用される。

イントラ予測モードの総数を増やすことで、イントラ予測における予測誤差を減らすことができるが、イントラ予測モードを示すパラメータのビット量が増加する。符号化性能の向上を図る場合、予測誤差の削減とパラメータのビット量の増加とのバランスを取ることが望ましい。

ＶＶＣのイントラ予測の場合、長方形のブロック向けにイントラ予測モードの総数が６７個から８７個に増加する。ただし、長方形のブロックに対して予測効率が低い角度予測の番号を、追加された角度予測に割り当てることで、ブロック毎に選択可能なイントラ予測モードの総数を６７個のままにとどめている。

図８は、長方形のブロックに対する角度予測の例を示している。符号化対象ブロック８０１は、縦横比が１：２の横長のブロックであり、画素８０２は、符号化対象ブロック８０１内の右下隅に位置している。符号化対象ブロックの上側に隣接する上隣接ブロック及び符号化対象ブロックの左側に隣接する左隣接ブロックは、符号化済みブロックである。隣接画素８０３（斜線）は、上隣接ブロック又は左隣接ブロック内の画素であり、イントラ予測において参照される。

矢印８１０、矢印８１１、矢印８２０、及び矢印８２１は、それぞれ、－４５度、－３０度、＋１３５度、及び＋１５０度の参照方向を示している。このうち、矢印８１１及び矢印８２１は、符号化対象ブロック８０１の左下頂点と右上頂点を結ぶ対角線８３１に平行な参照方向を示している。画素８０２が予測対象画素である場合、それぞれの矢印が指している隣接画素８０３が参照画素として用いられ、その隣接画素８０３の画素値が、画素８０２の予測画素値として用いられる。

ここで、角度予測の予測効率は、予測対象画素と参照画素の距離に反比例する。すなわち、予測対象画素と参照画素の距離が近いほど、予測誤差が小さくなることが期待できるため、予測効率が向上する。その結果、予測対象画素の符号化効率が向上する。

図８のそれぞれの矢印の長さは、予測対象画素と参照画素の距離を表している。例えば、矢印８１０の長さは、その延長線上に存在する矢印８２０の長さよりも長い。仮に、符号化対象ブロック８０１が正方形であったと仮定すれば、両者の長さは同一になる。一方、矢印８１１の長さは、その延長線上に存在する矢印８２１の長さと同一である。

このことから、縦横比が１：２のブロックでは、－３０度～－４５度の範囲の角度予測は予測効率が低く、イントラ予測において選択される確率が低いことが分かる。例えば、符号化対象ブロック８０１の周囲に均一なテクスチャが存在し、そのエッジ方向が矢印８１０及び矢印８２０と平行である場合、矢印８１０の参照方向の代わりに、矢印８２０の参照方向を選択することで、予測効率の向上が期待される。

角度予測を拡張する際に、このような長方形のブロック特有の性質を利用して番号の再割り当てを行うことで、予測効率を低下させることなく、使用可能な角度予測の総数を維持することができる。

角度予測の番号の再割り当て方法について、図５～図７を用いて説明する。番号の再割り当てでは、図６に示した角度予測のうち、長方形のブロックに対して予測効率が低い角度予測の番号が、図７に示した角度予測に対して割り当てられる。

例えば、符号化対象ブロックが横長のブロックである場合、角度範囲５０４の１０通りの角度を約１８０°反転させた角度を、角度予測に使用しないことにする。具体的には、角度範囲５０１の下から上へ向かって１０通りの角度は使用されず、これらの角度の番号２～１１が、角度範囲５０４の６７～７６の角度に対してそれぞれ割り当てられる。

一方、符号化対象ブロックが縦長のブロックである場合、角度範囲５０３の１０通りの角度を約１８０°反転させた角度を、角度予測に使用しないことにする。具体的には、角度範囲５０２の右から左へ向かって１０通りの角度は使用されず、これらの角度の番号５７～６６が、角度範囲５０３の－１０～－１の角度に対してそれぞれ割り当てられる。

なお、１２～５６の角度予測については、符号化対象ブロックの形状によらず、再割り当てによって、元の番号と同じ番号が割り当てられる。

以下では、再割り当て後の番号０～６６を第１イントラ予測モードと記載し、再割り当て前の番号－１０～７６を第２イントラ予測モードと記載することがある。第１イントラ予測モードは、予測モード情報の一例である。第２イントラ予測モードの番号は、図６及び図７に示した角度を表している。

第１イントラ予測モードを示すパラメータをＭＰＭリストを用いて符号化する場合、符号化対象ブロックの第１イントラ予測モードと高い相関性を持つ、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードが、ＭＰＭリストのエントリとして用いられる。さらに、符号化対象ブロックで選択される可能性が高いプラナー予測及び直流予測も、ＭＰＭリストのエントリとして用いられる。ＭＰＭリストの３つのエントリには、それぞれ異なる第１イントラ予測モードが設定される。そして、２ビットのシンタックス要素IntraLumaMPMIdxによって、３つのエントリのうちの１つが指定される。

ＭＰＭリストのいずれのエントリも、符号化対象ブロックの第１イントラ予測モードと合致しない場合は、シンタックス要素IntraLumaMPMRemainderによって、直接、符号化対象ブロックの第１イントラ予測モードが符号化される。

このとき、各ブロックで選択可能な第１イントラ予測モードの総数６７から、ＭＰＭリストによってシグナリング可能な第１イントラ予測モードの総数３を減算すると、減算結果は６４になる。したがって、IntraLumaMPMRemainderによって表現される第１イントラ予測モードの総数は、６４個である。Ｌｏｇ２（６４）＝６であるから、IntraLumaMPMRemainderの最小ビット数は６ビットになる。

ＶＣＣ規格において、映像符号化装置が、第１イントラ予測モードを示すIntraDirから、IntraLumaMPMRemainderを導出する手順は、以下の通りである。
（Ｐ１）映像符号化装置は、IntraDirの値をIntraLumaMPMRemainderに設定する。
（Ｐ２）映像符号化装置は、ＭＰＭリストのエントリを昇順でソートし、mpm_sort[i] （i=0..2, mpm_sort[0]<mpm_sort[1]<mpm_sort[2]）を生成する。
（Ｐ３）映像符号化装置は、mpm_sort[i]とIntraLumaMPMRemainderとを順番に比較し、mpm_sort[i]<=IntraLumaMPMRemainderであれば、IntraLumaMPMRemainderを１だけデクリメントする。

最終的に得られるIntraLumaMPMRemainderの値は、IntraDirの値よりも最大３だけ小さくなる。

一方、映像復号装置がIntraLumaMPMRemainderからIntraDirを導出する手順は、以下の通りである。
（Ｐ１１）映像復号装置は、IntraLumaMPMRemainderの値をIntraDirに設定する。
（Ｐ１２）映像復号装置は、手順（Ｐ２）と同様にして、mpm_sort[i]を生成する。
（Ｐ１３）映像復号装置は、mpm_sort[i]とIntraDirとを順番に比較し、mpm_sort[i]<= IntraDirであれば、IntraDirを１だけインクリメントする。

最終的に得られるIntraDirの値は、IntraLumaMPMRemainderの値よりも最大３だけ大きくなる。

次に、ＶＶＣ規格におけるＭＰＭリストの生成方法を説明する。左隣接ブロックのIntraDir及び上隣接ブロックのIntraDirを、それぞれ、candIntraPredModeA及びcandIntraPredModeBとし、ＭＰＭリストのｉ番目（ｉ＝０，１，２）のエントリの値をcandModeList[i]とする。このとき、candModeList[0]～candModeList[2]は、次のようにして決定される。
・(candIntraPredModeA == candIntraPredModeB)かつ(candIntraPredModeA < 2)の場合
candModeList[0] = 0
candModeList[1] = 1
candModeList[2] = 50
・(candIntraPredModeA == candIntraPredModeB)かつ(candIntraPredModeA >= 2)の場合
candModeList[0] = candIntraPredModeA
candModeList[1] = 2 + ((candIntraPredModeA + 61) % 64)
candModeList[2] = 2 + ((candIntraPredModeA - 1) % 64)
・(candIntraPredModeA != candIntraPredModeB)の場合
candModeList[0] = candIntraPredModeA
candModeList[1] = candIntraPredModeB
(candModeList[0] != 0)かつ(candModeList[1] != 0)の場合
candModeList[2] = 0
(candModeList[0] != 1)かつ(candModeList[1] != 1)の場合
candModeList[2] = 1
上記以外の場合
candModeList[2] = 50
ただし、“% 64”は、６４を除数とする除算の剰余を表す。この生成方法によれば、candIntraPredModeA又はcandIntraPredModeBがＭＰＭとして用いられることがある。

しかしながら、隣接ブロック（左隣接ブロック又は上隣接ブロック）の縦横比と符号化対象ブロックの縦横比とが異なる場合、隣接ブロックで使用可能な角度予測が符号化対象ブロックでは使用不可能であることがある。

例えば、隣接ブロックが縦長のブロックであり、符号化対象ブロックが正方形のブロックである場合を想定する。隣接ブロックの第２イントラ予測モードが“－８”である場合、対応する第１イントラ予測モードは“５９”である。

しかし、ブロック間における参照方向の連続性の観点から、正方形である符号化対象ブロックの第１イントラ予測モードの候補値としては、図６に示した角度予測のうち、第２イントラ予測モード“－８”が示す角度に最も近い番号である“２”の方が適している。参照方向の角度が近いほど予測誤差が小さくなることが期待できるため、その参照方向が符号化対象ブロックにおいて選択される確率が高くなる。

したがって、隣接ブロックの縦横比と符号化対象ブロックの縦横比とが異なる場合には、ブロック間における参照方向の連続性を考慮して、ＭＰＭリストを生成することが望ましい。

図９は、実施形態の映像符号化装置の機能的構成例を示している。図９の映像符号化装置９０１は、生成部９１１、予測部９１２、第１符号化部９１３、及び第２符号化部９１４を含む。

生成部９１１は、映像に含まれる画像内の符号化対象ブロックの形状と、符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更する。第１予測モード情報は、符号化済みブロックの符号化に用いたイントラ予測モードを示す予測モード情報である。そして、生成部９１１は、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。

予測部９１２は、所定のイントラ予測モードにおける、符号化対象ブロックのイントラ予測画素値を生成する。第１符号化部９１３は、イントラ予測画素値を用いて符号化対象ブロックを符号化し、第２符号化部９１４は、候補情報を用いて、所定のイントラ予測モードを示す予測モード情報を符号化する。

図１０は、実施形態の映像復号装置の機能的構成例を示している。図１０の映像復号装置１００１は、復号部１０１１、生成部１０１２、予測部１０１３、及び復元部１０１４を含む。

復号部１０１１は、符号化映像を復号して、符号化映像に含まれる符号化画像内の復号対象ブロックの予測残差情報を抽出する。さらに、復号部１０１１は、復号対象ブロックのイントラ予測モードを示す予測モード情報と、復号対象ブロックに隣接する復号済みブロックのイントラ予測モードを示す第１予測モード情報とを抽出する。

生成部１０１２は、復号対象ブロックの形状と復号済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更し、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。

予測部１０１３は、候補情報を用いて、復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、復号対象ブロックのイントラ予測画素値を生成する。復元部１０１４は、イントラ予測画素値と予測残差情報とを用いて、復号対象ブロックの画素値を生成する。

図９の映像符号化装置９０１及び図１０の映像復号装置１００１によれば、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することができる。

図１１は、図９の映像符号化装置９０１の具体例を示している。図１１の映像符号化装置１１０１は、減算部１１１１、変換・量子化部１１１２、及びエントロピー符号化部１１１３、モード判定部１１１４、イントラ予測部１１１５、及びインター予測部１１１６を含む。映像符号化装置１１０１は、さらに、逆量子化・逆変換部１１１７、加算部１１１８、ポストフィルタ部１１１９、及びフレームメモリ１１２０を含む。減算部１１１１及び変換・量子化部１１１２は、図９の第１符号化部９１３に対応する。

映像符号化装置１１０１は、例えば、ハードウェア回路として実装することができる。この場合、映像符号化装置１１０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。

映像符号化装置１１０１は、入力される映像を符号化し、符号化映像を符号化ストリームとして出力する。映像符号化装置１１０１は、符号化ストリームを、通信ネットワークを介して、図１０の映像復号装置１００１へ送信することができる。

例えば、映像符号化装置１１０１は、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。

入力される映像は、複数の時刻それぞれに対応する複数の画像を含む。各時刻の画像は、ピクチャ又はフレームと呼ばれることもある。各画像は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。

映像復号装置における復号処理と同一の局所復号処理を、映像符号化装置に実装することにより、映像符号化装置及び映像復号装置において、予測モードを示すパラメータ及び予測残差情報から、同一の予測画像を生成することができる。この場合、差分情報のみを符号化ストリームとして伝送すればよいため、高い圧縮効率の映像符号化が実現される。逆量子化・逆変換部１１１７、加算部１１１８、ポストフィルタ部１１１９、及びフレームメモリ１１２０は、映像符号化装置９０１における局所復号処理に用いられる。

各画像は所定サイズの単位ブロックに分割され、ラスタスキャン順で単位ブロック毎に符号化される。単位ブロックがそのまま符号化対象ブロックとして用いられることもあり、単位ブロックをさらに細かく分割したブロックが符号化対象ブロックとして用いられることもある。そして、符号化対象ブロックに対してイントラ予測又はインター予測が実施される。

イントラ予測の場合、上隣接ブロック又は左隣接ブロック内の隣接画素を用いて、各イントラ予測モードにおける符号化対象ブロックの予測画像が生成され、最も予測効率の高いイントラ予測モードが選択される。イントラ予測モードとしては、プラナー予測、直流予測、及び図５に示した角度予測が用いられ、最も予測効率の高いイントラ予測モードを示すパラメータ及び予測残差情報が、符号化ストリームとして伝送される。

インター予測の場合、過去に符号化済みの画像を参照画像として設定し、動きベクトル探索によって、符号化対象ブロックと参照画像内の参照ブロックとの間でブロックマッチング処理を行うことで、最も予測効率の高い参照ブロックが検出される。そして、参照画像の情報と、検出された参照ブロックの位置を示す動きベクトルの情報とが、インター予測モードを示すパラメータとして伝送され、その参照ブロックと符号化対象ブロックの差分が予測残差情報として伝送される。

イントラ予測部１１１５は、加算部１１１８から出力されるポストフィルタ適用前の復号画素値を用いて、符号化対象ブロックのイントラ予測画素値を計算し、モード判定部１１１４へ出力する。インター予測部１１１６は、フレームメモリ１１２０から出力される参照画像の画素値を用いて、符号化対象ブロックのインター予測画素値を計算し、モード判定部１１１４へ出力する。

１つの符号化対象ブロックに対しては１種類の符号化処理が適用されるため、モード判定部１１１４は、イントラ予測又はインター予測のいずれの方が予測効率が高いかを判定し、予測効率が高い方の予測結果を選択する。そして、モード判定部１１１４は、イントラ予測画素値又はインター予測画素値のうち、選択した予測結果の予測画素値を、減算部１１１１及び加算部１１１８へ出力する。

減算部１１１１は、符号化対象ブロックの画素値と、モード判定部１１１４から出力される予測画素値との差分を、予測残差として変換・量子化部１１１２へ出力する。変換・量子化部１１１２は、予測残差の直交変換及び量子化を行い、量子化係数を予測残差情報として、エントロピー符号化部１１１３及び逆量子化・逆変換部１１１７へ出力する。

エントロピー符号化部１１１３は、量子化係数と、選択されたイントラ予測モード又はインター予測モードを示すパラメータとを、エントロピー符号化（可変長符号化）によってバイナリ列に変換し、符号化映像を出力する。

逆量子化・逆変換部１１１７は、量子化係数の逆量子化及び逆直交変換を行って予測残差を復元し、復元した予測残差を加算部１１１８へ出力する。加算部１１１８は、モード判定部１１１４から出力される予測画素値と、逆量子化・逆変換部１１１７から出力される予測残差とを加算して、ポストフィルタ適用前の復号画素値を生成する。そして、加算部１１１８は、生成した復号画素値をポストフィルタ部１１１９及びイントラ予測部１１１５へ出力する。

ポストフィルタ部１１１９は、量子化誤差を削減するために、ポストフィルタ適用前の復号画素値に対してポストフィルタを適用し、ポストフィルタ適用後の復号画素値を生成する。そして、ポストフィルタ部１１１９は、生成した復号画素値をフレームメモリ１１２０へ出力する。

フレームメモリ１１２０は、ポストフィルタ適用後の復号画素値を局所復号画素値として記憶する。フレームメモリ１１２０が記憶する局所復号画素値は、参照画像の画素値として、インター予測部１１１６へ出力される。

図１２は、図１１のイントラ予測部１１１５の機能的構成例を示している。図１２のイントラ予測部１１１５は、ＭＰＭ生成部１２１１、予測モード計算部１２１２、符号化部１２１３、予測モード計算部１２１４、及びフィルタ部１２１５を含む。ＭＰＭ生成部１２１１、符号化部１２１３、及びフィルタ部１２１５は、図９の生成部９１１、第２符号化部９１４、及び予測部９１２にそれぞれ対応する。

ＭＰＭ生成部１２１１及び予測モード計算部１２１４には、不図示の符号化制御部から、符号化対象ブロック、左隣接ブロック、及び上隣接ブロックの形状を示す形状パラメータが入力される。形状パラメータとしては、各ブロックの幅Ｗ及び高さＨが用いられる。

ＭＰＭ生成部１２１１には、予測モード計算部１２１２から、符号化対象ブロック、左隣接ブロック、及び上隣接ブロックの第１イントラ予測モードが入力される。ＭＰＭ生成部１２１１は、符号化対象ブロックの形状と各隣接ブロックの形状との組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。なお、インター予測モードが選択された隣接ブロックの第１イントラ予測モードは、直流予測とみなされる。

そして、ＭＰＭ生成部１２１１は、左隣接ブロック及び上隣接ブロックの変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成し、生成したＭＰＭリストと符号化対象ブロックの第１イントラ予測モードとを、符号化部１２１３へ出力する。ＭＰＭリストは、予測モード情報の候補値を含む候補情報の一例である。

予測モード計算部１２１４は、すべての第２イントラ予測モードの予測効率を計算する探索処理を行うことで、符号化対象ブロックに対して最も予測効率の高い第２イントラ予測モードを決定する。そして、予測モード計算部１２１４は、決定した第２イントラ予測モードを予測モード計算部１２１２及びフィルタ部１２１５へ出力する。

予測モード計算部１２１２は、予測モード計算部１２１４から出力される第２イントラ予測モードを第１イントラ予測モードに変換して、ＭＰＭ生成部１２１１へ出力する。これにより、図６及び図７に示した各角度を示す第２イントラ予測モードの番号が、第１イントラ予測モードの番号に変換される。

フィルタ部１２１５は、ポストフィルタ適用前の復号画素値に対して、予測モード計算部１２１４から出力される第２イントラ予測モードに対応するフィルタを適用し、符号化対象ブロックのイントラ予測画素値を生成する。そして、フィルタ部１２１５は、生成したイントラ予測画素値をモード判定部１１１４へ出力する。第２イントラ予測モードに対応するフィルタは、ＶＶＣ規格によって規定されている。

符号化部１２１３は、ＭＰＭリストを用いて、符号化対象ブロックの第１イントラ予測モードを符号化し、第１イントラ予測モードを示すイントラ予測パラメータを生成する。そして、符号化部１２１３は、生成したイントラ予測パラメータをモード判定部１１１４へ出力する。イントラ予測パラメータとしては、IntraLumaMPMFlag、IntraLumaMPMIdx、及びIntraLumaMPMRemainderが用いられる。

IntraLumaMPMFlagは、ＭＰＭリストを使用するか否かを示すフラグであり、IntraLumaMPMFlagが論理“１”のとき、ＭＰＭリストが使用され、IntraLumaMPMFlagが論理“０”のとき、ＭＰＭリストは使用されない。IntraLumaMPMIdxは、ＭＰＭリストのエントリを指定するパラメータであり、IntraLumaMPMRemainderは、ＭＰＭリストに登録されていない残りの第１イントラ予測モードを指定するパラメータである。

符号化対象ブロックの第１イントラ予測モードがＭＰＭリストのいずれかのエントリに該当する場合、IntraLumaMPMFlagが論理“１”に設定され、そのエントリを指定するIntraLumaMPMIdxが生成される。一方、符号化対象ブロックの第１イントラ予測モードがＭＰＭリストのいずれのエントリにも該当しない場合、IntraLumaMPMFlagが論理“０”に設定される。そして、上述した（Ｐ１）～（Ｐ３）の手順によって、第１イントラ予測モードがIntraLumaMPMRemainderに変換される。

次に、ＭＰＭリストの生成方法を説明する。まず、ＭＰＭ生成部１２１１は、符号化対象ブロックの幅Ｗに対する高さＨの比率Ｈ／Ｗと、各隣接ブロックの幅Ｗｎに対する高さＨｎの比率Ｈｎ／Ｗｎとの組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。この変更は、左隣接ブロック及び上隣接ブロック各々に対して独立に行われる。

ここで、隣接ブロックの第１イントラ予測モードが示す角度Ａ１が、符号化対象ブロックの形状においてイントラ予測に使用されない角度である場合を想定する。この場合、符号化対象ブロックの形状においてイントラ予測に使用される角度のうち、角度Ａ１に最も近い角度Ａ２に対応する第１イントラ予測モードが、変更後の第１イントラ予測モードとして用いられる。

これにより、符号化対象ブロックにおいて使用可能な第１イントラ予測モードをエントリとして含む、ＭＰＭリストを生成することが可能になる。さらに、符号化対象ブロックにおいて使用可能な角度予測のうち、隣接ブロックで採用された角度予測に最も近い角度予測がエントリとして含まれるため、ＭＰＭリストに基づく第１イントラ予測モードの予測効率が向上する。

図１３は、このような第１イントラ予測モードの変更方法の例を示している。図１３のテーブルの各行はＨｎ／Ｗｎの所定値に対応し、各列はＨ／Ｗの所定値に対応する。したがって、テーブルの各セルは、Ｈｎ／ＷｎとＨ／Ｗの所定の組み合わせに対応している。

第１行はＨｎ／Ｗｎ≧４を表し、第２行はＨｎ／Ｗｎ＝２を表し、第３行はＨｎ／Ｗｎ＝１を表し、第４行はＨｎ／Ｗｎ＝１／２を表し、第５行はＨｎ／Ｗｎ≦１／４を表す。第１列はＨ／Ｗ≧４を表し、第２列はＨ／Ｗ＝２を表し、第３列はＨ／Ｗ＝１を表し、第４列はＨ／Ｗ＝１／２を表し、第５列はＨ／Ｗ≦１／４を表す。

各セルには、第１イントラ予測モードの変更方法として、“Ｓａｍｅ”又は“ModeBefore→ModeAfter”の形式の変更指示が記載されている。“Ｓａｍｅ”は、第１イントラ予測モードを変更しない指示を表し、“ModeBefore→ModeAfter”の形式の変更指示は、ModeBeforeの番号が示す第１イントラ予測モードを、ModeAfterの番号が示す第１イントラ予測モードに変更する指示を表す。

例えば、Ｈｎ／Ｗｎ＝Ｗ／Ｈである場合は、第１イントラ予測モードは変更されない。Ｈｎ／Ｗｎ≠Ｗ／Ｈである場合は、ModeBeforeの番号が示す第１イントラ予測モードのみが変更され、それ以外の第１イントラ予測モードは変更されない。

例えば、Ｈｎ／Ｗｎ≧４かつＨ／Ｗ＝１の場合、第１イントラ予測モードが“５７”～“６６”のいずれかであれば、その第１イントラ予測モードが“２”に変更される。一方、第１イントラ予測モードが“０”～“５６”のいずれかであれば、その第１イントラ予測モードは変更されない。

また、Ｈｎ／Ｗｎ＝２かつＨ／Ｗ＝１／２の場合、第１イントラ予測モードが“２”～“７”又は“６１”～“６６”のいずれかであれば、その第１イントラ予測モードが“８”に変更される。一方、第１イントラ予測モードが“０”、“１”、又は“８”～“６０”のいずれかであれば、その第１イントラ予測モードは変更されない。

ＭＰＭ生成部１２１１は、図１３の変更方法によって変更された第１イントラ予測モードを、candIntraPredModeA及びcandIntraPredModeBとして用い、上述したＶＶＣ規格の生成方法に従ってcandModeList[0]～candModeList[2]を決定する。

図１１の映像符号化装置１１０１によれば、符号化対象ブロックの形状と隣接ブロックの形状との組み合わせに基づいて、隣接ブロックの第１イントラ予測モードが変更される。これにより、隣接ブロックの縦横比と符号化対象ブロックの縦横比とが異なる場合であっても、ブロック間における参照方向の連続性を考慮して、適切なＭＰＭリストを生成することができる。

適切なＭＰＭリストを用いて、符号化対象ブロックの第１イントラ予測モードを符号化することで、ＭＰＭリストが使用される確率が高くなり、イントラ予測パラメータの圧縮効率が向上する。したがって、映像を効率良く符号化することが可能になる。

図１４は、図１１の映像符号化装置１１０１が行う映像符号化処理の例を示すフローチャートである。この映像符号化処理では、ブロックの一例であるＣＵ（Coding Unit）毎に符号化処理が行われる。

まず、イントラ予測部１１１５は、各ブロックサイズのブロック（ＣＵ）に対するイントラ予測を行う（ステップ１４０１）。そして、イントラ予測部１１１５は、イントラ予測モード判定を行って、最も予測効率の高いイントラ予測モードを選択する（ステップ１４０２）。

一方、インター予測部１１１６は、各ブロックサイズのブロックに対するインター予測を行う（ステップ１４０３）。インター予測は、ＣＵをさらに分割したＰＵ（Prediction Unit）毎に行われる。そして、インター予測部１１１６は、インター予測モード判定を行って、最も予測効率の高いインター予測モードを選択する（ステップ１４０４）。

次に、モード判定部１１１４は、モード判定を行って、ブロック（ＣＵ）単位でイントラ予測モード又はインター予測モードのいずれを適用するかを決定する（ステップ１４０５）。そして、減算部１１１１及び変換・量子化部１１１２は、モード判定部１１１４が決定した予測モードに従って符号化対象ブロックを符号化し、量子化係数を生成する（ステップ１４０６）。

次に、映像符号化装置１１０１は、画像の符号化が終了したか否かを判定する（ステップ１４０７）。未処理のブロックが残っている場合（ステップ１４０７，ＮＯ）、映像符号化装置１１０１は、次のブロックについてステップ１４０１以降の処理を繰り返す。

一方、画像の符号化が終了した場合（ステップ１４０７，ＹＥＳ）、エントロピー符号化部１１１３は、量子化係数と決定された予測モードを示すパラメータに対する可変長符号化を行う（ステップ１４０８）。

次に、映像符号化装置１１０１は、映像の符号化が終了したか否かを判定する（ステップ１４０９）。未処理の画像が残っている場合（ステップ１４０９，ＮＯ）、映像符号化装置１１０１は、次の画像についてステップ１４０１以降の処理を繰り返す。そして、映像の符号化が終了した場合（ステップ１４０９，ＹＥＳ）、映像符号化装置１１０１は、処理を終了する。

図１５は、図１４のステップ１４０１におけるイントラ予測処理の例を示すフローチャートである。まず、ＭＰＭ生成部１２１１は、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードを変更し、変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成する（ステップ１５０１）。

次に、予測モード計算部１２１４は、符号化対象ブロックの第２イントラ予測モードを決定し（ステップ１５０２）、予測モード計算部１２１２は、決定された第２イントラ予測モードを第１イントラ予測モードに変換する（ステップ１５０３）。

次に、符号化部１２１３は、ＭＰＭリストを使用するか否かを示すIntraLumaMPMFlagを生成し（ステップ１５０４）、生成したIntraLumaMPMFlagの値をチェックする（ステップ１５０５）。

IntraLumaMPMFlagが論理“１”である場合（ステップ１５０５，ＹＥＳ）、符号化部１２１３は、符号化対象ブロックの第１イントラ予測モードに該当する、ＭＰＭリストのエントリを示すIntraLumaMPMIdxを生成する（ステップ１５０６）。一方、IntraLumaMPMFlagが論理“０”である場合（ステップ１５０５，ＮＯ）、符号化部１２１３は、符号化対象ブロックの第１イントラ予測モードに該当するIntraLumaMPMRemainderを生成する（ステップ１５０７）。

フィルタ部１２１５は、決定された第２イントラ予測モードにおける符号化対象ブロックのイントラ予測画素値を生成する（ステップ１５０８）。

次に、図１６～図１８を参照しながら、図１５のステップ１５０１において符号化対象ブロックに複数のブロックが隣接している場合に、ＭＰＭリストの生成に用いる隣接ブロックを決定する方法を説明する。

図１６は、第１の隣接ブロック決定方法の例を示している。符号化対象ブロック１６０１の左側に隣接する複数の左隣接ブロックのうち、最も上に位置する左隣接ブロック１６０２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１６０１の上側に隣接する複数の上隣接ブロックのうち、最も左に位置する上隣接ブロック１６０３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。

図１７は、第２の隣接ブロック決定方法の例を示している。符号化対象ブロック１７０１が横長の長方形である場合、符号化対象ブロック１７０１の左側に隣接する複数の左隣接ブロックのうち、最も上に位置する左隣接ブロック１７０２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１７０１の上側に隣接する複数の上隣接ブロックのうち、最も右に位置する上隣接ブロック１７０３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。

一方、符号化対象ブロック１７１１が縦長の長方形である場合、符号化対象ブロック１７１１の左側に隣接する複数の左隣接ブロックのうち、最も下に位置する左隣接ブロック１７１２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１７１１の上側に隣接する複数の上隣接ブロックのうち、最も左に位置する上隣接ブロック１７１３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。

図１８は、第３の隣接ブロック決定方法の例を示している。第３の隣接ブロック決定方法では、符号化対象ブロックの左側に隣接する複数の左隣接ブロックのうち、最も高い頻度の第１イントラ予測モードを有する左隣接ブロックが、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロックの上側に隣接する複数の上隣接ブロックのうち、最も高い頻度の第１イントラ予測モードを有する上隣接ブロックが、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。

複数の隣接ブロックのうち最も高い頻度の第１イントラ予測モードを有する隣接ブロックを用いて、ＭＰＭリストを生成することで、ＭＰＭリストに基づく第１イントラ予測モードの予測効率が向上する。

例えば、横長の符号化対象ブロック１８０１の上側に隣接する上隣接ブロック１８１１～上隣接ブロック１８１４の第１イントラ予測モードＭ１が、次のように決定されている場合を想定する。

上隣接ブロック１８１１ Ｍ１＝Ｉ１
上隣接ブロック１８１２ Ｍ１＝Ｉ２
上隣接ブロック１８１３ Ｍ１＝Ｉ２
上隣接ブロック１８１４ Ｍ１＝Ｉ３

Ｉ１～Ｉ３は、それぞれ異なる番号である。この場合、Ｉ１の頻度は１回であり、Ｉ２の頻度は２回であり、Ｉ３の頻度は１回である。したがって、最も高い頻度のＩ２を有する上隣接ブロック１８１２及び上隣接ブロック１８１３が選択され、これらのブロックの第１イントラ予測モードが、上隣接ブロックの第１イントラ予測モードとして採用される。

上隣接ブロック１８１１～上隣接ブロック１８１４がそれぞれ異なる第１イントラ予測モードを有する場合は、第１の隣接ブロック決定方法又は第２の隣接ブロック決定方法に従って、上隣接ブロックが選択される。なお、いずれかの上隣接ブロックがインター予測モードで符号化されている場合、その上隣接ブロックは、頻度のカウント対象から除外される。

符号化対象ブロック１８０１の左側に隣接する左隣接ブロック１８２１及び左隣接ブロック１８２２についても、上隣接ブロック１８１１～上隣接ブロック１８１４の場合と同様にして、ＭＰＭリストの生成に用いる左隣接ブロックが選択される。

また、縦長の符号化対象ブロック１８３１の上側に隣接する上隣接ブロック１８４１及び上隣接ブロック１８４２についても、同様の隣接ブロック決定方法が適用される。符号化対象ブロック１８３１の左側に隣接する左隣接ブロック１８５１～左隣接ブロック１８５３についても、同様の隣接ブロック決定方法が適用される。

例えば、左隣接ブロック１８５１～左隣接ブロック１８５３の第１イントラ予測モードＭ１が、次のように決定されている場合を想定する。

左隣接ブロック１８５１ Ｍ１＝Ｉ４
左隣接ブロック１８５２ Ｍ１＝Ｉ５
左隣接ブロック１８５３ Ｍ１＝Ｉ６

Ｉ４～Ｉ６は、それぞれ異なる番号である。この場合、Ｉ４～Ｉ６の頻度はいずれも１回である。

しかし、符号化対象ブロック１８３１と接している左隣接ブロック１８５２の辺の長さは、符号化対象ブロック１８３１と接している左隣接ブロック１８５１又は左隣接ブロック１８５３の辺の長さの２倍である。そこで、符号化対象ブロック１８３１と接している辺の長さが最長である左隣接ブロック１８５２を、ＭＰＭリストの生成に用いる左隣接ブロックとして選択してもよい。

図１９は、図１０の映像復号装置１００１の具体例を示している。図１９の映像復号装置１９０１は、エントロピー復号部１９１１、逆量子化・逆変換部１９１２、イントラ予測部１９１３、インター予測部１９１４、加算部１９１５、ポストフィルタ部１９１６、及びフレームメモリ１９１７を含む。エントロピー復号部１９１１は、図１０の復号部１０１１に対応し、逆量子化・逆変換部１９１２及び加算部１９１５は、復元部１０１４に対応する。

映像復号装置１９０１は、例えば、ハードウェア回路として実装することができる。この場合、映像復号装置１９０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。

映像復号装置１９０１は、入力される符号化映像の符号化ストリームを復号し、復号映像を出力する。映像復号装置１９０１は、図１１の映像符号化装置１１０１から、通信ネットワークを介して、符号化ストリームを受信することができる。

例えば、映像復号装置１９０１は、ビデオカメラ、映像受信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。

エントロピー復号部１９１１は、符号化映像をエントロピー復号（可変長復号）によって復号し、復号対象画像内の各ブロックの量子化係数を予測残差情報として抽出するとともに、各ブロックの予測モードを示すパラメータを抽出する。さらに、エントロピー復号部１９１１は、各ブロックの形状を示す形状パラメータも抽出する。予測モードを示すパラメータには、イントラ予測モードを示すイントラ予測パラメータ、又はインター予測モードを示すインター予測パラメータが含まれる。

そして、エントロピー復号部１９１１は、量子化係数を逆量子化・逆変換部１９１２へ出力し、形状パラメータ及びイントラ予測パラメータをイントラ予測部１９１３へ出力し、インター予測パラメータをインター予測部１９１４へ出力する。

逆量子化・逆変換部１９１２は、量子化係数の逆量子化及び逆直交変換を行って予測残差を復元し、復元した予測残差を加算部１９１５へ出力する。

イントラ予測部１９１３は、エントロピー復号部１９１１から出力される形状パラメータ及びイントラ予測パラメータを用いて、加算部１９１５から出力されるポストフィルタ適用前の復号画素値から、復号対象ブロックのイントラ予測画素値を計算する。そして、イントラ予測部１９１３は、計算したイントラ予測画素値を加算部１９１５へ出力する。

インター予測部１９１４は、エントロピー復号部１９１１から出力されるインター予測パラメータと、フレームメモリ１９１７から出力される参照画像の画素値とを用いて、動き補償処理を行い、復号対象ブロックのインター予測画素値を計算する。そして、インター予測部１９１４は、計算したインター予測画素値を加算部１９１５へ出力する。

加算部１９１５は、イントラ予測部１９１３又はインター予測部１９１４から出力される予測画素値と、逆量子化・逆変換部１９１２から出力される予測残差とを加算して、ポストフィルタ適用前の復号画素値を生成する。そして、加算部１９１５は、生成した復号画素値をポストフィルタ部１９１６及びイントラ予測部１９１３へ出力する。

ポストフィルタ部１９１６は、量子化誤差を削減するために、ポストフィルタ適用前の復号画素値に対してポストフィルタを適用し、ポストフィルタ適用後の復号画素値を生成する。そして、ポストフィルタ部１９１６は、生成した復号画素値をフレームメモリ１９１７へ出力する。

フレームメモリ１９１７は、ポストフィルタ適用後の復号画素値を記憶し、その復号画素値を含む復号映像を出力する。フレームメモリ１９１７が記憶する復号画素値は、参照画像の画素値として、インター予測部１９１４へ出力される。

図２０は、図１９のイントラ予測部１９１３の機能的構成例を示している。図２０のイントラ予測部１９１３は、ＭＰＭ生成部２０１１、記憶部２０１２、予測モード計算部２０１３、予測モード計算部２０１４、及びフィルタ部２０１５を含む。ＭＰＭ生成部２０１１及びフィルタ部２０１５は、図１０の生成部１０１２及び予測部１０１３にそれぞれ対応する。

ＭＰＭ生成部２０１１及び予測モード計算部２０１４には、エントロピー復号部１９１１から形状パラメータが入力される。また、予測モード計算部２０１３には、エントロピー復号部１９１１からイントラ予測パラメータが入力される。入力されたイントラ予測パラメータは、IntraLumaMPMFlagと、IntraLumaMPMIdx又はIntraLumaMPMRemainderとを含む。

記憶部２０１２は、各ブロックの幅、高さ、及び第１イントラ予測モードを記憶する。インター予測モードが選択されたブロックの第１イントラ予測モードとしては、直流予測が記憶される。そして、記憶部２０１２は、左隣接ブロック及び上隣接ブロックそれぞれの幅Ｗｎ及び高さＨｎと、左隣接ブロック及び上隣接ブロックそれぞれの第１イントラ予測モードとを、ＭＰＭ生成部２０１１へ出力する。

ＭＰＭ生成部２０１１は、復号対象ブロックの形状と各隣接ブロックの形状との組み合わせに基づいて、図１１の映像符号化装置１１０１と同様の変更方法により、その隣接ブロックの第１イントラ予測モードを変更する。このとき、ＭＰＭ生成部２０１１は、復号対象ブロックの幅Ｗに対する高さＨの比率Ｈ／Ｗと、各隣接ブロックの幅Ｗｎに対する高さＨｎの比率Ｈｎ／Ｗｎとの組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。この変更は、左隣接ブロック及び上隣接ブロック各々に対して独立に行われる。

ここで、隣接ブロックの第１イントラ予測モードが示す角度Ａ１が、復号対象ブロックの形状においてイントラ予測に使用されない角度である場合を想定する。この場合、復号対象ブロックの形状においてイントラ予測に使用される角度のうち、角度Ａ１に最も近い角度Ａ２に対応する第１イントラ予測モードが、変更後の第１イントラ予測モードとして用いられる。例えば、ＭＰＭ生成部２０１１は、図１３に示した変更方法に従って、隣接ブロックの第１イントラ予測モードを変更することができる。

映像符号化装置１１０１と同様の変更方法によって第１イントラ予測モードを変更することで、符号化映像から、イントラ予測パラメータの符号化に用いられたＭＰＭリストを復元することができる。

ＭＰＭ生成部２０１１は、左隣接ブロック及び上隣接ブロックの変更後の第１イントラ予測モードを用いて、上述したＶＶＣ規格の生成方法によりＭＰＭリストを生成し、生成したＭＰＭリストを予測モード計算部２０１３へ出力する。

予測モード計算部２０１３は、ＭＰＭリストを用いて、入力されるイントラ予測パラメータから、復号対象ブロックの第１イントラ予測モードを求め、記憶部２０１２及び予測モード計算部２０１４へ出力する。IntraLumaMPMFlagが論理“１”である場合、IntraLumaMPMIdxによって指定されるＭＰＭリストのエントリが、復号対象ブロックの第１イントラ予測モードとして出力される。

一方、IntraLumaMPMFlagが論理“０”である場合、上述した（Ｐ１１）～（Ｐ１３）の手順によって、IntraLumaMPMRemainderからIntraDirが求められ、そのIntraDirが復号対象ブロックの第１イントラ予測モードとして出力される。

予測モード計算部２０１４は、復号対象ブロックの幅Ｗ及び高さＨに基づいて、復号対象ブロックの第１イントラ予測モードを第２イントラ予測モードに変換する。第１イントラ予測モードＭ１を第２イントラ予測モードＭ２へ変換する手順は、以下の通りである。
・Ｗ＝Ｈの場合
Ｍ２＝Ｍ１
・Ｗ＞Ｈの場合
・２≦Ｍ１＜ｍＬの場合、Ｍ２＝Ｍ１＋６５
Ｗ＝２Ｈの場合、ｍＬ＝８
Ｗ＝２Ｈ以外（Ｗ＞２Ｈ）の場合、ｍＬ＝１２
・２≦Ｍ１＜ｍＬ以外の場合、Ｍ２＝Ｍ１
・Ｗ＜Ｈの場合
・ｍＨ＜Ｍ１≦６６の場合、Ｍ２＝Ｍ１－６７
Ｈ＝２Ｗの場合、ｍＨ＝６０
Ｈ＝２Ｗ以外（Ｈ＞２Ｗ）の場合、ｍＨ＝５６
・ｍＨ＜Ｍ１≦６６以外の場合、Ｍ２＝Ｍ１

フィルタ部２０１５は、ポストフィルタ適用前の復号画素値に対して、予測モード計算部２０１４から出力される第２イントラ予測モードに対応するフィルタを適用し、復号対象ブロックのイントラ予測画素値を生成する。そして、フィルタ部２０１５は、生成したイントラ予測画素値を加算部１９１５へ出力する。

図１９の映像復号装置１９０１によれば、図１１の映像符号化装置１１０１が出力する符号化映像を復号して、元の映像を復元することができる。

図２１は、図１９の映像復号装置１９０１が行う映像復号処理の例を示すフローチャートである。この映像復号処理では、ブロックの一例であるＣＵ毎に復号処理が行われる。

まず、エントロピー復号部１９１１は、符号化映像に対する可変長復号を行って、復号対象ブロック（復号対象ＣＵ）の量子化係数、形状パラメータ、及び予測モードを示すパラメータを抽出する（ステップ２１０１）。そして、エントロピー復号部１９１１は、予測モードを示すパラメータがイントラ予測パラメータ又はインター予測パラメータのいずれであるかをチェックする（ステップ２１０２）。

予測モードを示すパラメータがイントラ予測パラメータである場合（ステップ２１０２，ＹＥＳ）、イントラ予測部１９１３は、復号対象ブロックに対するイントラ予測を行って、復号対象ブロックのイントラ予測画素値を計算する（ステップ２１０３）。

一方、予測モードを示すパラメータがインター予測パラメータである場合（ステップ２１０２，ＮＯ）、インター予測部１９１４は、復号対象ブロックに対する動き補償処理を行って、復号対象ブロックのインター予測画素値を計算する（ステップ２１０４）。

次に、逆量子化・逆変換部１９１２は、復号対象ブロックの量子化係数を復号して、予測残差を復元する（ステップ２１０５）。そして、加算部１９１５及びポストフィルタ部１９１６は、復元された予測残差と、イントラ予測部１９１３又はインター予測部１９１４から出力される予測画素値とを用いて、復号対象ブロックの復号画素値を生成する。

次に、映像復号装置１９０１は、符号化映像の復号が終了したか否かを判定する（ステップ２１０６）。未処理のバイナリ列が残っている場合（ステップ２１０６，ＮＯ）、映像復号装置１９０１は、次のバイナリ列についてステップ２１０１以降の処理を繰り返す。そして、符号化映像の復号が終了した場合（ステップ２１０６，ＹＥＳ）、映像復号装置１９０１は、処理を終了する。

図２２は、図２１のステップ２１０３におけるイントラ予測処理の例を示すフローチャートである。まず、ＭＰＭ生成部２０１１は、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードを変更し、変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成する（ステップ２２０１）。

次に、予測モード計算部２０１３は、IntraLumaMPMFlagの値をチェックする（ステップ２２０２）。IntraLumaMPMFlagが論理“１”である場合、予測モード計算部２０１３は、IntraLumaMPMIdxの値を取得する（ステップ２２０３）。そして、予測モード計算部２０１３は、IntraLumaMPMIdxによって指定されるＭＰＭリストのエントリを、復号対象ブロックの第１イントラ予測モードとして取得する（ステップ２２０４）。

一方、IntraLumaMPMFlagが論理“０”である場合、予測モード計算部２０１３は、IntraLumaMPMRemainderの値を取得し（ステップ２２０５）、取得した値を第１イントラ予測モードに変換する（ステップ２２０６）。

次に、予測モード計算部２０１４は、復号対象ブロックの第１イントラ予測モードを第２イントラ予測モードに変換する（ステップ２２０７）。そして、フィルタ部２０１５は、予測モード計算部２０１４から出力される第２イントラ予測モードに基づいて、復号対象ブロックのイントラ予測画素値を生成する（ステップ２２０８）。

図２２のステップ２２０１において復号対象ブロックに複数のブロックが隣接している場合は、図１６～図１８に示した隣接ブロック決定方法と同様にして、ＭＰＭリストの生成に用いる隣接ブロックが決定される。この場合、図１６～図１８における符号化対象ブロックを復号対象ブロックに置き換えて、第１の隣接ブロック決定方法～第３の隣接ブロック決定方法を適用すればよい。

図９及び図１１の映像符号化装置の構成は一例に過ぎず、映像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図１２のイントラ予測部１１１５の構成は一例に過ぎず、映像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。映像符号化装置は、ＶＶＣ以外の符号化方式を採用してもよい。

図１０及び図１９の映像復号装置の構成は一例に過ぎず、映像復号装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図２０のイントラ予測部１９１３の構成は一例に過ぎず、映像復号装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。映像復号装置は、ＶＶＣ以外の復号方式を採用してもよい。

図１４、図１５、図２１、及び図２２に示したフローチャートは一例に過ぎず、映像符号化装置又は映像復号装置の構成又は条件に応じて、一部の処理を省略又は変更してもよい。

図２、図８、及び図１６～図１８に示した符号化対象ブロックと、図１６～図１８に示した左隣接ブロック及び上隣接ブロックは一例に過ぎず、これらのブロックの形状は、入力される映像に応じて変化する。図１６～図１８に示した隣接ブロック決定方法は一例に過ぎず、別の隣接ブロック決定方法によって、ＭＰＭリストの生成に用いる隣接ブロックを決定してもよい。

図１３に示した第１イントラ予測モードの変更方法は一例に過ぎず、別の変更方法によって、隣接ブロックの第１イントラ予測モードを変更してもよい。

図９及び図１１の映像符号化装置と図１０及び図１９の映像復号装置は、ハードウェア回路として実装することもでき、情報処理装置（コンピュータ）を用いて実装することもできる。

図２３は、映像符号化装置９０１、映像復号装置１００１、映像符号化装置１１０１、及び映像復号装置１９０１として用いられる情報処理装置の構成例を示している。図２３の情報処理装置は、ＣＰＵ（Central Processing Unit）２３０１、メモリ２３０２、入力装置２３０３、出力装置２３０４、補助記憶装置２３０５、媒体駆動装置２３０６、及びネットワーク接続装置２３０７を含む。これらの構成要素はバス２３０８により互いに接続されている。

メモリ２３０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ２３０２は、図１１のフレームメモリ１１２０、図１９のフレームメモリ１９１７、又は図２０の記憶部２０１２として用いることができる。

ＣＰＵ２３０１（プロセッサ）は、例えば、メモリ２３０２を利用してプログラムを実行することにより、図９の生成部９１１、予測部９１２、第１符号化部９１３、及び第２符号化部９１４として動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１０の復号部１０１１、生成部１０１２、予測部１０１３、及び復元部１０１４としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１１の減算部１１１１、変換・量子化部１１１２、エントロピー符号化部１１１３、及びモード判定部１１１４としても動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、イントラ予測部１１１５、インター予測部１１１６、逆量子化・逆変換部１１１７、加算部１１１８、及びポストフィルタ部１１１９としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１２のＭＰＭ生成部１２１１、予測モード計算部１２１２、符号化部１２１３、予測モード計算部１２１４、及びフィルタ部１２１５としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１９のエントロピー復号部１９１１、逆量子化・逆変換部１９１２、イントラ予測部１９１３、及びインター予測部１９１４としても動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、加算部１９１５及びポストフィルタ部１９１６としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図２０のＭＰＭ生成部２０１１、予測モード計算部２０１３、予測モード計算部２０１４、及びフィルタ部２０１５としても動作する。

入力装置２３０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置２３０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果は、復号映像であってもよい。

補助記憶装置２３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２３０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置２３０５にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。

媒体駆動装置２３０６は、可搬型記録媒体２３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２３０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、又はＵＳＢ（Universal Serial Bus）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体２３０９にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ２３０２、補助記憶装置２３０５、及び可搬型記録媒体２３０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置２３０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置２３０７は、符号化映像を映像復号装置へ送信したり、符号化映像を映像符号化装置から受信したりすることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２３０７を介して受信し、それらをメモリ２３０２にロードして使用することができる。

なお、情報処理装置が図２３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置２３０３及び出力装置２３０４を省略してもよい。また、情報処理装置が可搬型記録媒体２３０９にアクセスしない場合は、媒体駆動装置２３０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (2)

1. 映像復号装置によって実行される映像復号方法であって、
   前記映像復号装置が、
   符号化映像を復号し、
   前記符号化映像に含まれる符号化画像内の復号対象ブロックの形状を判定し、
   前記復号対象ブロックに隣接する復号済みブロックの第１予測モード情報に対応する第１予測モードが、前記復号対象ブロックの形状において前記復号対象ブロックの予測に用いられない予測モードになる場合に、前記第１予測モード情報を前記復号対象ブロックの予測に用いられる予め定められた予測モードを示す予測モード情報に変更した第２予測モード情報を用いて生成された、前記予測モード情報の候補値を含む候補情報を用いて、前記復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、前記復号対象ブロックのイントラ予測画素値を生成し、
   前記イントラ予測画素値と前記復号対象ブロックの予測残差情報とに基づいて、前記復号対象ブロックの画素値を生成する、
   ことを特徴とする映像復号方法。
2. 前記映像復号装置は、前記復号対象ブロックの１つの辺に隣接する複数の復号済みブロックのうち、最も高い頻度の第１予測モード情報を有する復号済みブロックを用いて、前記候補情報を生成することを特徴とする請求項１記載の映像復号方法。

Images