JP5004180B2 - 動画像符号化装置および復号装置 - Google Patents

Description

本発明は動画像符号化装置および復号装置に関し、特にマクロブロック(MB)単位の符号化の際に、符号化モードおよびイントラ予測方向について複数の候補の中から最適なものを適用することで、高い符号化効率が得られる動画像符号化装置において、適用する符号化モードおよびイントラ予測方向を制御して、符号化サイド情報を適応的に抑制する動画像符号化装置および復号装置に関するものである。

非特許文献１では、MB単位の符号化に関して複数の符号化モードが定義されており、該非特許文献１に基づく動画像符号化装置では、映像特徴に応じて適切な符号化モードを選択して符号化することで、高い符号化効率が得られる。また、非特許文献１では、イントラ符号化におけるイントラ予測値生成に関して複数のイントラ予測方向が定義されており、非特許文献１に基づく動画像符号化装置では、映像特徴に応じて適切なイントラ予測方向を選択して符号化することで、高い符号化効率が得られる。

非特許文献１で定義される符号化モードおよびイントラ予測方向については、様々な映像特徴に適応できるよう、あらゆる種類の符号化モードおよびイントラ予測方向が適用されている。
Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", July 2004.

非特許文献１では、様々な映像特徴に対応できるよう、多岐にわたる符号化モードおよびイントラ予測方向が定義されている。しかしながら、ある映像に対する符号化において、実際に適用される符号化モードおよびイントラ予測方向は概ね限られており、必ずしも全ての符号化モードおよびイントラ予測方向は使われない。一方で、非特許文献１に基づく動画像符号化装置では、符号化シンタックスにおいて、全ての符号化モードおよびイントラ予測方向が発生しても符号化データを生成できるよう設計される。したがって、該符号化シンタックスにおける符号化データおよびイントラ予測方向に関して、ほとんどの場合において、有効活用されない符号量が発生する。該符号量は、符号化において冗長であり、削減の余地がある。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、符号化サイド情報を適応的に抑制することにより、符号化シンタックスにおいて有効活用されない符号量を削減できるようにする動画像符号化装置および復号装置を提供することにある。

前記した目的を達成するために、本発明は、マクロブロック単位の符号化の際に、符号化モードおよびイントラ予測方向を適応的に用いる動画像符号化装置において、符号化モード制限判定部と、イントラ予測方向制限判定部と、符号化モード制限情報に応じて符号化に用いる符号化モードを制限するモード判定制御部と、イントラ予測方向制限情報に応じて符号化に用いるイントラ予測方向を制限するイントラ符号化予測値生成部と、前記符号化モード制限情報およびイントラ予測方向制限情報に応じてシンタックス記述方法を変更するシンタックス記述部と、該シンタックス記述部のパラメータにおける設定値に従ってエントロピー符号化を施すエントロピー符号化部とを具備し、前記シンタックス記述部は、前記符号化モードの制限が適用された場合には、符号化データのシンタックスにおいて、符号化モードのインデックステーブルを変更することを表す情報および変更後の符号化モードのインデックス情報を記述し、イントラ予測方向の制限が適用された場合には、符号化データのシンタックスにおいて、イントラ予測方向のインデックステーブルを変更することを表す情報および変更後のイントラ予測方向のインデックス情報を記述することにより、前記符号化モードおよびイントラ予測方向に関する情報の符号化に用いる符号量を削減するようにした点に第１の特徴がある。

また、本発明は、前記動画像符号化装置で符号化された符号化データを復号する動画像復号装置において、受信した符号化データからシンタックス記述の解析に関して符号化モードおよびイントラ予測方向の少なくとも一方が制限されているか否かを判断し、制御情報を出力する制限情報解析部と、前記制限情報解析部から出力された制御情報に従って選択され、シンタックスに従って符号化データを解析し、符号化データから残差信号と予測情報を抽出する第１、第２のシンタックス解析部と、前記第１、第２のシンタックス解析部から出力された残差信号と予測情報を基に復号映像を生成する手段とを具備し、前記第１のシンタックス解析部は前記符号化モードおよびイントラ予測方向が制限されていないシンタックスに従って符号化データを解析し、前記第２のシンタックス解析部は前記符号化モードおよびイントラ予測方向の少なくとも一方が制限されているシンタックスに従って符号化データを解析する点に第２の特徴がある。

符号化データを記述するためのシンタックスでは、符号化モードおよびイントラ予測方向に関して、候補となる数に応じた符号量が必要となる。本発明の動画像符号化装置では、映像特徴に適した符号化モードおよびイントラ予測方向のみを候補として用い、符号化に影響しない（予測性能の向上に寄与しない）符号化モードおよびイントラ予測方向は候補としない。この結果、符号化モードおよびイントラ予測方向に関して、各情報を符号化するために必要となる情報量を削減することができるようになる。また、これにより、ＳＮＲをほとんど低下することなく、符号量を削減することが可能となる。すなわち、符号化効率を改善することができるようになる。

また、本発明の動画像復号装置では、前記動画像符号化装置で符号化された符号化データに対して、復号映像を生成することができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。本発明は、本発明者等が先に特許出願した動画像符号化装置（特願２００７−８５１４９号）を前提とするものであるので、まず、該動画像符号化装置を図１のブロック図を参照して説明する。

動画像符号化装置は、イントラ符号化予測値生成部１、インター符号化予測値生成部２、モード判定制御部３、DCT／量子化部４、逆量子化／逆DCT部５、シンタックス記述部６、エントロピー符号化部７、ローカルメモリ（１）８、ローカルメモリ（２）９とで構成される。

前記イントラ符号化予測値生成部１では、入力映像ａの画素値、符号化済みMBにおける予測情報ｃ、符号化済みMBにおける局所復号された画素値ｂを入力とする。また、該イントラ符号化予測値生成部１の出力として、最終的に選択されたイントラ予測方向ｅ、同イントラ予測方向におけるイントラ予測値ｄ、および同イントラ予測方向におけるコスト値ｆを出力する。

前記イントラ符号化予測値生成部１の詳細な構成を図２のブロック図を参照して説明する。図示されているように、該イントラ符号化予測値生成部１は、予測値生成部１１、歪み算出部１２、符号量算出部１３、および予測方向決定部１４で構成される。

前記予測値生成部１１では、符号化済みブロックにおける局所復号された画素値ｂを入力とし、H.264で定義されるイントラ予測方向ｃに基づき、入力される画素値ａから、予測値１１ａを生成する。該予測値生成部１１の出力として、各予測方向に基づく予測値１１ａを出力する。なお、入力映像の画素値ａに対する、該予測値生成部１１の出力である予測値１１ａの差分を求めることにより、各予測方向に関する残差信号１２ａが得られる。

前記歪み算出部１２は、各予測方向に関する残差信号１２ａを入力とし、各予測方向について、各画素における残差信号の二乗をブロック内で総和した値(符号化歪み量)１２ｂを求める。そして、該歪み算出部１２の出力として、各予測方向についての符号化歪み量１２ｂを出力する。

前記符号量算出部１３では、各予測方向に関する残差信号１２ａ、処理ブロックに隣接する符号化済みブロックにおいて選択されたイントラ予測方向ｃを入力とし、各予測方向について、入力された残差信号１２ａから、残差信号の符号化に要する符号量１３ｂを求める。また、各予測方向について、入力された符号化済みブロックにおけるイントラ予測方向ｃから、予測方向の符号化に要する符号量１３ｂを求める。上記算出処理の後、各予測方向について、残差信号および予測方向の符号化に要する符号量の合計を求める。該符号量算出部１３の出力として、各予測方向について、符号化に要する符号量１３ｂを出力する。

予測方向決定部１４では、各予測方向について、符号化歪み量１２ｂ、イントラ予測値、符号化に要する符号量１３ｂを入力とする。該予測方向決定部１４では、各イントラ予測方向について、符号化歪み量および符号量からコスト値を算出する。更に、各予測方向のコスト値について大小関係を比較し、最もコスト値が小さい予測方向を求め、同予測方向を最適な予測方向とみなす。該予測方向決定部１４の出力として、最適な予測方向の予測値ｄ、最適な予測方向ｅ、最適な予測方向のコスト値ｆを出力する。

図１に戻って説明を続けると、前記インター符号化予測値生成部２では、入力映像の画素値ａ、符号化済みフレームにおける局所復号された画素値ｂ、処理ブロックに隣接する符号化済みブロックにおける動きベクトルｃ’を入力とし、入力映像の画素値ａおよび符号化済みフレームにおける局所復号された画素値ｂから、適切な動きベクトルを求める。また、該動きベクトルに基づき、予測値および残差信号を求める。更に、該残差信号から、符号化歪み量およびインター符号化に要する符号量を算出するとともに、残差信号および符号量からコスト値を得る。上記の結果より、インター符号化予測値生成部２は、その出力として、適切な動きベクトルに対する予測値ｇ、適切な動きベクトルｈ、該動きベクトルｈにおけるコスト値ｉを出力する。

前記モード判定制御部３では、イントラ符号化予測値生成部１から出力されるイントラ予測におけるコスト値ｆ、インター符号化予測値生成部２から出力されるインター予測におけるコスト値ｉを入力とし、イントラ予測およびインター予測におけるコスト値を比較し、コスト値が小さい予測を当該ブロックにおける予測とする。該モード判定制御部３の出力として、イントラ符号化およびインター符号化を切り替えるための制御情報ｊを出力する。

前記DCT／量子化部４では、入力映像の画素値ａに対する予測値の差分である、残差信号ｋを入力とする。該DCT／量子化部４は、残差信号ｋに対してDCT処理を施す。また、DCT処理によって得られるDCT係数に対して、量子化を施す。該DCT／量子化部４の出力として、量子化されたDCT係数ｌを出力する。

前記逆量子化／逆DCT部５では、量子化されたDCT係数ｌを入力とする。該逆量子化／逆DCT部５は、量子化されたDCT係数ｌに対して逆量子化を施す。また、逆量子化の結果に対して、逆DCTを施す。該逆量子化／逆DCT部５の出力として、逆DCTを施した結果を出力する。なお、該逆量子化／逆DCT部５から出力される逆DCT結果に対して、予測値を加えることで、局所復号された画素値ｂを生成する。

前記シンタックス記述部６では、量子化されたDCT係数ｌおよび当該ブロックで用いられた予測方法(イントラ符号化であればイントラ予測方向、インター符号化であれば動きベクトル)ｃを入力とする。該シンタックス記述部６では、量子化されたDCT係数および予測方向に関する情報に対して、H.264で定められたシンタックス記述方法に従い、シンタックスに記述する内容を決定する。具体的には、各シンタックスのパラメータを決定する。該シンタックス記述部６の出力として、各シンタックスパラメータに対する設定値の情報ｍを出力する。

前記エントロピー符号化部７では、シンタックス記述部６から出力される各シンタックスパラメータに対する設定値の情報ｍを入力とし、各シンタックスパラメータにおける設定値に従って、エントロピー符号化を施し、符号化データを生成する。そして、該エントロピー符号化部７の出力として、符号化ストリームｎを出力する。

前記ローカルメモリ（１）８では、局所復号された画素値ｂを入力とし、該局所復号された画素値ｂを蓄積し、必要に応じて、適宜、同画素値をイントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

前記ローカルメモリ（２）９では、イントラ予測（イントラ予測方向）およびインター予測（動きベクトル）に関する情報ｃ、ｃ’を入力とし、該予測に関する情報ｃ、ｃ’を蓄積し、必要に応じて、適宜、イントラ予測方向ｃをイントラ符号化予測値生成部１に、動きベクトルｃ’をインター符号化予測値生成部２に供給する。

図３に、前記動画像符号化装置に対応する動画像復号装置のブロック図を示す。動画像復号装置は、エントロピー復号部３１、シンタックス解析部３２、予測方法判定部３３、イントラ予測値生成部３４、インター予測値生成部３５、逆ＤＣＴ／逆量子化部３６およびメモリ３７で構成される。

前記エントロピー復号部３１では、エントロピー符号化された符号化ストリーム３１ａを入力し、入力された符号化ストリームに対してエントロピー復号を施す。そして、該エントロピー復号部３１の出力として、エントロピー復号された符号化データ３１ｂを出力する。

前記シンタックス解析部３２では、符号化データを入力とし、Ｈ．２６４で定義されるシンタックスに従ってシンタックス解析を行う。該解析の結果、符号化データから残差信号３２ａおよび予測情報３２ｂを抽出し、該残差信号３２ａおよび予測情報３２ｂを出力する。

予測方法判定部３３では、予測情報を入力し、該予測情報について、当該ＭＢに対する予測方法を判別する。そして、該予測方法判定部３３の出力として、イントラ符号化およびインター符号化を制御する情報を出力する。

イントラ予測値生成部３４では、復号済み画素値および予測情報（イントラ予測方向）を入力とし、予測情報に従い、復号済み画素値を用いてイントラ予測値を生成する。その出力として、イントラ予測値を出力する。インター予測値生成部３５では、復号済み画素値および予測情報（動きベクトル）を入力とし、予測情報に従い、復号済み画素値を用いてインター予測値を生成する。その出力として、インター予測値を出力する。

逆ＤＣＴ／逆量子化部３６では、符号化データから得られる、残差信号に関する量子化されたＤＣＴ係数を入力とし、該量子化されたＤＣＴ係数に対して、逆量子化と逆ＤＣＴを施す。逆ＤＣＴ／逆量子化部３６はその出力として、逆ＤＣＴされた値を出力する。なお、該逆ＤＣＴ／逆量子化部３６の出力と予測値（イントラ予測値もしくはインター予測値）を加算することで、復号映像３７ａが得られる。

メモリ３７では、復号映像３７ａの画素値を入力とし、復号済み画素値を蓄積し、イントラ予測値生成部３４およびインター予測値生成部３５に対して、適宜、復号済み画素値を供給する。

以上は、本発明の前提となる動画像符号化装置および動画像復号装置の説明であったが、以下に、本発明を詳細に説明する。

本発明の動画像符号化装置は、MB単位の符号化の際に、符号化モードおよびイントラ予測方向を適応的に用いる動画像符号化において、映像特徴に応じて候補となる符号化モードおよびイントラ予測方向を制御することで、同情報を符号化するための符号量を削減するものである。具体的には、MB単位の符号化において、あらかじめ符号化モードの候補を取捨選択し、映像特徴に適した符号化モードのみを候補とする。また、イントラ符号化において、あらかじめイントラ予測方向を取捨選択し、映像特徴に適したイントラ予測方向のみを候補とする。

図４は、本発明の一実施形態である動画像符号化装置の構成を示すブロック図である。図において、動画像符号化装置は、イントラ符号化予測値生成部２１、インター符号化予測値生成部２、モード判定制御部２２、DCT／量子化部４、逆量子化／逆DCT部５、シンタックス記述部２３、エントロピー符号化部７、ローカルメモリ（１）２４、ローカルメモリ(2)９、符号化モード制限判定部２５、およびイントラ予測方向制限判定部２６で構成される。なお、図４中の図１と同じ符号は、同一の機能を果たす。

本実施形態では、後述の説明から明らかになるように、任意に、符号化モードおよびイントラ予測方向に関する制限情報を与えることが可能になる。つまり、符号化サイド情報を適応的に抑制することが可能になる。なお、該符号化モードおよびイントラ予測方向に関する制限情報は、符号化の際に用いることが可能な符号化モードおよびイントラ予測方向に関する情報が記述されているものである。

前記符号化モード制限判定部２５では、入力映像の画素値ａ、符号化済みフレームにおける局所復号された画素値ｂを入力とする。また、動画像符号化装置への入力として符号化モードに関する制限情報２５ａが外部から与えられている場合、該情報２５ａを入力とする。符号化モード制限判定部２５では、制限情報２５ａが与えられている場合、該制限情報２５ａに従って、符号化の際に適用可能な符号化モードを決定する。また、制限情報２５ａが与えられていない場合には、入力映像の画素値ａおよび局所復号された画素値ｂから、符号化の際に適用可能な符号化モードを決定する。該符号化モード制限判定部２５の出力として、符号化の際に適用可能な符号化モードに関する情報（符号化モード制限情報）２５ｂを出力する。

前記イントラ予測方向制限判定部２６では、入力映像の画素値ａ、符号化済みフレームにおける局所復号された画素値ｂを入力とする。また、動画像符号化装置への入力としてイントラ予測方向に関する制限情報２５ａが外部から与えられている場合、該制限情報２５ａを入力し、該制限情報２５ａに従って、符号化の際に適用可能なイントラ予測方向２６ｂを決定する。また、該制限情報２５ａが与えられていない場合、入力映像の画素値ａおよび局所復号された画素値ｂから、符号化の際に適用可能なイントラ予測方向２６ｂを決定する。該イントラ予測方向制限判定部２６の出力として、符号化の際に適用可能なイントラ予測方向に関する情報（イントラ予測方向制限情報）２６ｂを出力する。

図５は、前記イントラ符号化予測値生成部２１の詳細な構成を示すブロック図である。該イントラ符号化予測値生成部２１は、予測値生成部１１、歪み算出部１２、符号量算出部１３、予測方向決定部２１１で構成される。ただし、予測値生成部１１、歪み算出部１２、符号量算出部１３は、図２の同部と同じ機能であるので、説明を省略する。

前記予測方向決定部２１１では、イントラ予測方向制限情報２６ｂ、および各予測方向について、符号化歪み量１２ｂ、イントラ予測値１１ａ、および符号化に要する符号量１３ｂを入力とする。該予測方向決定部２１１では、各イントラ予測方向について、符号化歪み量１２ｂおよび符号量１３ｂからコスト値ｆを算出する。更に、各予測方向のコスト値について大小関係を比較し、最もコスト値が小さい予測方向ｅを求め、該予測方向を最適な予測方向ｅとみなす。ただし、コスト値ｆの大小関係を比較する予測方向は、イントラ予測方向制限情報２６ｂにおいて適用可能とされている予測方向に限られる。該予測方向決定部２１１の出力として、最適な予測方向の予測値ｄ、最適な予測方向ｅ、最適な予測方向のコスト値ｆを出力する。

図４に戻って説明を続ける。モード判定制御部２２では、イントラ符号化予測値生成部２１から出力されるイントラ予測におけるコスト値ｆ、インター符号化予測値生成部２から出力されるインター予測におけるコスト値ｉ、および符号化モード制限情報２５ｂを入力とする。該モード判定制御部２２では、イントラ予測およびインター予測におけるコスト値ｆ，ｉを比較し、コスト値が小さい予測を当該ブロックにおける予測とする。ただし、符号化モード制限情報２５ｂにおいて適用可能な符号化モードが制限されている場合、適用可能な符号化モードを優先して当該ブロックにおける予測とする。モード判定制御部２２の出力として、イントラ符号化およびインター符号化を切り替えるための制御情報ｊを出力する。

ローカルメモリ（１）２４では、局所復号された画素値ｂを入力とし、局所復号された画素値を蓄積し、必要に応じて、適宜、同画素値ｂをイントラ符号化予測値生成部２１、インター符号化予測値生成部２、符号化モード制限判定部２５、およびイントラ予測方向制限判定部２６に供給する。なお、イントラ符号化予測値生成部２１には、処理ブロックに隣接する符号化済みブロックにおける局所復号された画素値ｂを供給し、インター符号化予測値生成部２、符号化モード制限判定部２５およびイントラ予測方向制限判定部２６には、符号化済みフレームにおける局所復号された画素値ｂを供給する。

図６に、前記シンタックス記述部２３の詳細な構成のブロック図を示す。該シンタックス記述部２３は、H.264シンタックス記述部２３１、拡張シンタックス記述部２３２、シンタックス記述制御部２３３で構成される。ただし、H.264シンタックス記述部２３１は、従来手法におけるシンタックス記述部と同じ機能である。

前記拡張シンタックス記述部２３２では、符号化における予測情報ｃ(イントラ符号化の場合はイントラ予測方向、インター符号化の場合は動きベクトル)、残差信号ｌ、符号化モード制限情報２５ｂ、イントラ予測方向制限情報２６ｂを入力とする。該拡張シンタックス記述部２３２では、量子化されたDCT係数ｌに対して、H.264で定められたシンタックス記述方法に従い、シンタックスに記述する内容を決定する。また、当該ブロックにおける符号化モードに関する情報については、符号化モード制限情報２５ｂに従い、符号化モードを表現するインデックスを再構成し、再構成後のインデックスに従いシンタックスに記述する内容を決定する。同様に、当該ブロックにおけるイントラ予測方向に関する情報については、イントラ予測方向制限情報２６ｂに従い、イントラ予測方向を表現するインデックスを再構成し、再構成後のインデックスに従いシンタックスに記述する内容を決定する。該拡張シンタックス記述部２３２の出力として、各シンタックスパラメータに対する設定値の情報２３２ａを出力する。

前記シンタックス記述制御部２３３では、符号化モード制限情報２５ｂ、イントラ予測方向制限情報２６ｂを入力とし、該符号化モード制限情報２５ｂおよびイントラ予測方向制限情報２６ｂより、符号化モードおよびイントラ予測方向に関して提案手法が適用されているかを判断する。どちらかにおいて提案手法が適用されている場合、シンタックス記述に関して拡張シンタックス記述部２３２から符号化データ２３２ａが得られるよう制御し、どちらにおいても従来手法のみが適用されている場合には、H.264シンタックス記述部２３１から符号化データ２３１ａが得られるように制御する。該符号化データ２３１ａと符号化データ２３２ａには、識別符号が付加または挿入されると共に、適用する符号化モードセット（符号化モードおよびイントラ予測方向）が指定される。

次に、前記拡張シンタックス記述部２３２から出力される符号化データ（符号化ストリームデータ）２３２ａの概要を、図７を参照して説明する。符号化ストリームデータ２３２ａは、シーケンスパラメータセット（SPS)、ピクチャパラメータセット（PPS）、スライスヘッダおよびスライスデータで構成される。本発明により、図示されているように、ピクチャパラメータセット（PPS）は従来のH.264シンタックス記述と本発明による追加分とから構成され、スライスヘッダは従来のH.264シンタックス記述と本発明による追加分とから構成されるようにするが、本発明による追加分は、前記ピクチャパラメータセット（PPS）およびスライスヘッダのどちらか一方に記述するようにする。

ここに、前記本発明による追加分は、例えばパラメータ(1)coding_mode_table_update、(2)table_update_I_pic、(3)table_update_P_pic、(4)table_update_B_pic、(5)coding_mode_I_table[i] 、(6)coding_mode_P_table[i] 、(7)coding_mode_B_table[i]、(8)intra4x4_predict_table_update、(9)intra8x8_predict_table_update、(10)intra4x4_predict_table[i]、(11)intra8x8_predict_table[i]からなる。なお、前記パラメータ(1)〜(7)は、符号化モード制限に関するパラメータであり、前記パラメータ(8)〜(11)はイントラ予測方向制限に関するパラメータである。

ここで、前記パラメータ(１)〜(１１)を説明すると、以下のようになる。

(1)coding_mode_table_update 符号化モードを表現する情報に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。

(2)table_update_I_pic coding_mode_table_updateが1のとき、Iピクチャ(Intra16x16)における符号化モードを表現する情報に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。

(3)table_update_P_pic coding_mode_table_updateが1のとき、Pピクチャにおける符号化モードを表現する情報に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。

(4)table_update_B_pic coding_mode_table_updateが1のとき、Bピクチャにおける符号化モードを表現する情報に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。

(5)coding_mode_I_table[i] table_update_I_picが1のとき、Iピクチャ(Intra16x16)における符号化モードを表現する情報に関して、インデックステーブルの変更を表すパラメータ。iは変更後のインデックス番号であり、同パラメータに与えられる値として、同インデックス番号に割り当てられる符号化モードに該当する、従来手法における符号化モードインデックス番号を設定する。

(6)coding_mode_P_table[i] table_update_P_picが1のとき、Pピクチャにおける符号化モードを表現する情報に関して、インデックステーブルの変更を表すパラメータ。iは変更後のインデックス番号であり、同パラメータに与えられる値として、同インデックス番号に割り当てられる符号化モードに該当する、従来手法における符号化モードインデックス番号を設定する。

(7)coding_mode_B_table[i] table_update_B_picが1のとき、Bピクチャにおける符号化モードを表現する情報に関して、インデックステーブルの変更を表すパラメータ。iは変更後のインデックス番号であり、同パラメータに与えられる値として、同インデックス番号に割り当てられる符号化モードに該当する、従来手法における符号化モードインデックス番号を設定する。

なお、前記(1)coding_mode_table_update、(2)table_update_I_pic、(3)table_update_P_pic、および(4)table_update_B_picについて、0と1を入れ替えても同じ効果が得られる。

(8)intra4x4_predict_table_update Intra4x4のイントラ予測方向に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。なお、0と1を入れ替えても同じ効果が得られる。

(9)intra8x8_predict_table_update Intra8x8のイントラ予測方向に関して、インデックステーブルの変更を行うことを表すフラグ。0であればインデックステーブルの変更を行わず、1であればインデックステーブルの変更を行うことを表す。同パラメータが存在しない場合は、0とする。なお、0と1を入れ替えても同じ効果が得られる。

(10)intra4x4_predict_table[i] Intra4x4のイントラ予測方向に関して、インデックステーブルの変更を表すパラメータ。iは変更後のインデックス番号であり、同パラメータに与えられる値として、同インデックス番号に割り当てるイントラ予測方向に該当する、従来手法におけるイントラ予測方向インデックス番号を設定する。

(11)intra8x8_predict_table[i] Intra8x8のイントラ予測方向に関して、インデックステーブルの変更を表すパラメータ。iは変更後のインデックス番号であり、同パラメータに与えられる値として、同インデックス番号に割り当てるイントラ予測方向に該当する、従来手法におけるイントラ予測方向インデックス番号を設定する。

次に、前記した、映像特徴に応じた符号化モード制限情報を作る方法、映像特徴に応じたイントラ予測方向制限情報を作る方法、および該符号化モード制限情報とイントラ予測方向制限情報を用いて符号化した場合のシンタックス記述の具体例について、以下に説明する。

〈１〉符号化モード制限情報を作る方法

MB単位の符号化における符号化モードの選択に関して、映像特徴に応じた符号化モードのみを候補とする方法を説明する。符号化モードの候補を制限する方法については２つあり、(a)符号化モード制限情報２５ａまたは２５ｂを外部から入力する方法と、(b)映像特徴および符号化済み情報から符号化モード制限情報２５ａまたは２５ｂを決定する方法である。

(a)については、入力される符号化モード制限情報に従い、MB単位の符号化において候補とする符号化モードを制御する。なお、符号化モード制限情報の生成方法として、処理フレームに対して従来手法に基づく符号化処理を施し、発生率が高い符号化モードの上位のみを候補とする方法が考えられる。

(b)については、まず、処理フレームと直前の同一ピクチャタイプのフレームについて、画素値の平均値、画素値の分散値、フレーム間のグローバル動きから、両フレームの映像特徴が類似しているか否かを判断する。両フレームの映像特徴が類似していると判断された場合、直前の同一ピクチャタイプにおける符号化モードを踏襲する。

また、処理フレームにおける画素値の分散値から符号化モードの分割サイズを決定し、処理フレームおよび直前フレームとのグローバル動きからイントラ符号化の適用可否を決定することで、符号化モード制限情報を生成することが可能である。

さらに、処理フレーム、符号化済みの局所復号された画素値、符号化済みの予測情報を用いて、処理フレームにおける符号化モードを適切かつ高速に推定する手法は、例えば下記の［2］〜［4］等の文献に示されているように、多数提案されている。これらの文献に示されている手法を用いることにより、処理フレームにおける符号化モードを高速に推定し、発生頻度が高いと推測される符号化モードの上位のみを候補とする符号化モード制限情報を生成することも可能である。

[2] Xuan Jing and Lap-Pui Chau, “An efficient inter mode decision approach for H.264 video coding,” IEEE ICME2004, pp.1111-1114, 2004.
[3] Hua Wang and Xiangjun Zhu, “Adaptive motion estimation and mode decision strategy for H.264 encoder," Proceedings of the 6^th World Congress on Intelligent Control and Automation, pp.10323-10327, June 2006.
[4] Andy C. Yu and Graham R. Martin, "Advanced block size selection algorithm for inter frame coding in H.264/MPEG-4 AVC," ICIP2004, pp.95-98, 2004.

上記(a)および(b)により生成される符号化モード制限情報に基づき符号化を行う場合には、符号化データのシンタックス記述に関して、従来手法からの変更が求められる。このシンタックスの変更内容は、符号化モードに関するインデックステーブル情報の追加である。

符号化モードに関するインデックステーブルの追加に関しては、既に図７を参照して説明したように、ピクチャパラメータセット(PPS)もしくはスライス単位でインデックステーブルを付与する。すなわち、PPSおよびスライスヘッダのいずれか一方のシンタックス定義について、従来技術（従来記述）に対して、前記「本発明による追加分」を追加する。なお、従来記述におけるPPSおよびスライスヘッダのシンタックス定義については、文献[1]を参照。

以下に、本発明の手法におけるシンタックス記述の具体例を説明する。下記の具体例では、Bピクチャにおける符号化モードの候補として、８×１６符号化モードが有効であると判断される場合の例を示す。

従来手法によるＢピクチャでの８×１６符号化モード表現は、図８のようになっており、これらは５ビットで表現される。そこで、本発明による映像特徴に応じた符号化モード制限情報により、前記のパラメータ(1)coding_mode_table_updateが１、(4)table_update_B_picが１とされ、(7)coding_mode_B_table[i]において、［０］＝０，［１］＝５，［２］＝７，［３］＝９，［４］＝１３，［５］＝１５，［６］＝１７，［７］＝１９，［inferred］＝inferredとされたとすると、図９に示されているような制限された符号化モード表現になり、３ビットで表現されることになる。この場合、符号化モードに関するシンタックスを２ビット削減できたことになる。

〈２〉イントラ予測方向制限情報を作る方法

イントラ符号化におけるイントラ予測方向の選択に関して、映像特徴に応じたイントラ予測方向のみを候補とする方法を示す。イントラ予測方向の候補を制限する方法については２つあり、(a)イントラ予測方向制限情報２６ａまたは２６ｂを外部から入力する方法と、(b)映像特徴および符号化済み情報からイントラ予測方向制限情報２６ａまたは２６ｂを決定する方法である。

(a)については、入力されるイントラ予測方向制限情報に従い、イントラ符号化におけるイントラ予測方向を制限する。なお、イントラ予測方向制限情報の生成方法として、処理フレームに対して従来手法に基づくイントラ符号化処理を施し、発生頻度が高いイントラ予測方向の上位のみを候補とする方法が考えられる。
(b)については、まず、処理フレームと直前のイントラピクチャのフレームについて、画素値の平均値、画素値の分散値、フレーム間のグローバル動きから、両フレームの映像特徴が類似しているかを判断する。両フレームの映像特徴が類似していると判断された場合、直前のイントラピクチャにおけるイントラ予測方向を踏襲する。また、処理フレームおよび直前のフレームとのグローバル動きからイントラ予測方向を決定することで、イントラ予測方向制限情報を生成することが可能である。
さらに、処理フレーム、符号化済みの局所復号された画素値、符号化済みの予測情報を用いて、処理フレームにおけるイントラ予測方向を適切かつ高速に推定する手法は、下記の文献［5］［6］等に示されているように、多数提案されている。これらの文献に示されている手法を用いることにより、処理フレームにおけるイントラ予測方向を高速に推定し、発生頻度が高いと推測されるイントラ予測方向の上位のみを候補とするイントラ予測方向制限情報を生成することも可能である。

[5] Chao-Hsuing Tseng, Hung-Ming Wang, and Jar-Ferr Yang,”Enhanced intra-4x4 mode decision for H.264/AVC coders,” IEEE CSVT 2006, Vol. 16, No.8, August 2006.
[6] Zhi-Yi Mai, Chun-Ling Yang and Sheng-Li Xie, “Improved best prediction mode selection methods based on structural similarity in H.264 I-frame encoder,” Systems, Man and Cybernetics, 2005.

上記(a)および(b)により生成されるイントラ予測方向制限情報に基づき符号化を行った場合、符号化データのシンタックス記述に関して、従来手法からの変更が求められる。このシンタックスの変更内容は、イントラ予測方向に関するインデックステーブル情報の追加、イントラ予測方向の符号化に用いるビット数の低減である。

イントラ予測方向に関するインデックステーブルの追加に関しては、既に図７を参照して説明したように、ピクチャパラメータセット（PPS）もしくはスライス単位でインデックステーブルを付与する。すなわち、PPSおよびスライスヘッダのシンタックス定義について、従来技術（従来記述）に対して、前記「本発明による追加分」を追加する。ただし、従来記述におけるPPSおよびスライスヘッダのシンタックス定義については、文献[1]を参照。

イントラ予測方向の符号化に用いるビット数の削減については、インデックステーブル変更後のイントラ予測方向を表現しうる最低のビット数を用いるものとする。すなわち、イントラ予測方向の数が2つ以下の場合は1ビット、３つ以上５つ以下の場合は2ビット、6つ以上の場合は3ビットで、イントラ予測方向を表現する。

以下に、本発明の手法におけるシンタックス記述の具体例を説明する。この具体例では、Intra4×4もしくはIntra8×8におけるイントラ予測方向の候補として、水平方向予測、DC予測、水平上方向予測の3方向のみとする例を示す。

すなわち、従来手法におけるイントラ方向予測は、図１０のようになっており、これらは３ビットで表現される。そこで、本発明による映像特徴に応じたイントラ予測方向制限により、前記のパラメータ(8)intra4x4_predict_table_update が１とされ、(10)intra4x4_predict_table[i]において、［０］＝１，［１］＝８，［２］＝２とされると、図１１に示されているような制限されたイントラ方向予測になり、２ビットで表現されることになる。この場合、イントラ方向予測に関するシンタックスを１ビット削減できたことになる。

次に、本発明の動画像復号装置の一実施形態を、図１２のブロック図を参照して説明する。本実施形態の動画像復号装置は、図３のシンタックス解析部３２を図１２の構成に代えたものであり、他の構成は図３と同様であるので、以下では、図１２のシンタックス記述部についてのみ説明し、他の構成の説明は省略する。

制限情報解析部３２３では、エントロピー復号された符号化データ３１ｂを入力とし、符号化データに含まれる本発明手法適用有無に関する識別情報を抽出する。そして、符号化データ３１ｂのシンタックス解析に関して、従来手法または本発明手法のどちらを適用するかを制御する。該制限情報解析部３２３の出力として、符号化データ３１ｂに対するシンタックス解析方法に関する制御情報３２３ａを出力する。該制御情報３２３ａにより、Ｈ．２６４シンタックス解析部３２１と拡張シンタックス解析部３２２の入力側および出力側の選択（切替）が行われる。

Ｈ．２６４シンタックス解析部３２１では、Ｈ．２６４で定義されるシンタックスに従って記述された符号化データ３１ｂを入力とし、該シンタックスに従って符号化データを解析して符号化モードセットを指定し、符号化データから残差信号３２ａと予測情報３２ｂとを抽出する。そして、該Ｈ．２６４シンタックス解析部３２１の出力として、残差信号３２ａと予測情報３２ｂとを出力する。

拡張シンタックス解析部３２２では、本発明手法で定義されるシンタックスに従って記述された符号化データ３１ｂを入力とし、該シンタックスに従って符号化データを解析して符号化モードセットを指定し、符号化データから残差信号３２ａと予測情報３２ｂとを抽出する。そして、該拡張シンタックス解析部３２２の出力として、残差信号３２ａと予測情報３２ｂとを出力する。

前記符号化モード制限に関して、前記拡張シンタックス解析部３２２では、前記(1)coding_mode_table_update に従い、符号化データのシンタックス解析方法を変更する。本発明手法が適用されている場合、前記(2)table_update_I_pic、(3)table_update_P_pic、および(4)table_update_B_picに従い、ピクチャタイプ毎に符号化モードのインデックス番号を再構築する。

一方、前記イントラ予測方向制限に関して、前記拡張シンタックス解析部３２２では、前記(8)intra4x4_predict_table_updateおよび(9)intra8x8_predict_table_updateに従い、符号化データのシンタックス解析方法を変更する。本発明手法が適用されている場合、各分割ブロックサイズ毎にイントラ予測方向のインデックス番号を再構築する。

本発明者は、本発明の手法による効果を確認するため、イントラ予測方向に関する制限についてのシミュレーション実験を行った。ＩＴＥ ＨＤ標準動画像(1920画素×1080ライン)を対象として、ＪＭ１２．１に提案手法を実装した。なお、イントラ予測方向の制限情報については、外部から制限情報を入力するものとした。また、制限情報は、実験条件と同等の条件下で、ＪＭ１２．１を用いて符号化した際の、発生頻度が上位３位もしくは上位５位までの予測方向を用いるものとした。その結果、従来手法に対する平均符号量削減について、上位５位までの場合は０．４２％、上位３位までの場合は０．５２％のゲインが得られた。

本発明の前提となる動画像符号化装置の構成を示すブロック図である。 図１のイントラ符号化予測値生成部の詳細を示すブロック図である。 本発明の前提となる動画像復号装置の構成を示すブロック図である。 本発明の一実施形態の動画像符号化装置の構成を示すブロック図である。 図４のイントラ符号化予測値生成部の詳細を示すブロック図である。 図４のシンタックス記述部の詳細を示すブロック図である。 図６の拡張シンタックス記述部の出力を示すビットストリームデータの説明図である。 Ｂピクチャでの従来の符号化モード表現の説明図である。 本発明による符号化モード制限に関するシンタックス記述例の説明図である。 従来手法によるイントラ予測方向表現の説明図である。 本発明によるイントラ予測方向制限に関するシンタックス記述例の説明図である。 本発明の動画像復号装置のシンタックス解析部の構成を示すブロック図である。

符号の説明

２・・・インター符号化予測値生成部、４・・・ＤＣＴ／量子化部、５・・・逆量子化／逆ＤＣＴ部、７・・・エントロピー符号化部、９・・・ローカルメモリ(2)、１１・・・予測値生成部、１２・・・歪み算出部、１３・・・符号量算出部、２１１・・・予測方向決定部、２１・・・イントラ符号化予測値生成部、２２・・・モード判定制御部、２３・・・シンタックス記述部、２４・・・ローカルメモリ(1)、２５・・・符号化モード制限判定部、２６・・・イントラ予測方向制限判定部、２３１・・・Ｈ．２６４シンタックス記述部、２３２・・・拡張シンタックス記述部、３１・・・エントロピー復号部、３２・・・シンタックス解析部、３３・・・予測方法判定部、３４・・・イントラ予測値生成部、３５・・・インター予測値生成部、３２１・・・H.264シンタックス解析部、３２２・・・拡張シンタックス解析部、３２３・・・制限情報解析部。

Claims (8)

1. マクロブロック単位の符号化の際に、符号化モードおよびイントラ予測方向を適応的に用いる動画像符号化装置において、
   符号化モード制限判定部と、イントラ予測方向制限判定部と、符号化モード制限情報に応じて符号化に用いる符号化モードを制限するモード判定制御部と、イントラ予測方向制限情報に応じて符号化に用いるイントラ予測方向を制限するイントラ符号化予測値生成部と、前記符号化モード制限情報およびイントラ予測方向制限情報に応じてシンタックス記述方法を変更するシンタックス記述部と、該シンタックス記述部のパラメータにおける設定値に従ってエントロピー符号化を施すエントロピー符号化部とを具備し、
   前記シンタックス記述部は、前記符号化モードの制限が適用された場合には、符号化データのシンタックスにおいて、符号化モードのインデックステーブルを変更することを表す情報および変更後の符号化モードのインデックス情報を記述し、前記イントラ予測方向の制限が適用された場合には、符号化データのシンタックスにおいて、イントラ予測方向のインデックステーブルを変更することを表す情報および変更後のイントラ予測方向のインデックス情報を記述することにより、前記符号化モードおよびイントラ予測方向に関する情報の符号化に用いる符号量を削減することを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記符号化モード制限判定部は、外部からの制限情報、もしくは入力映像及び符号化済み符号化データに基づいて、符号化に用いる符号化モード制限情報を生成し出力することを特徴とする動画像符号化装置。
3. 請求項２に記載の動画像符号化装置において、
   前記符号化モード制限判定部は、前記入力映像及び符号化済み符号化データに基づいて符号化に用いる符号化モードを制限する方法として、符号化済みフレームにおいて適用された符号化モードについて、発生頻度の予め定められた順位以下を、処理フレームにおいて制限することを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、
   前記イントラ予測方向制限判定部は、外部からの制限情報、もしくは入力映像及び符号化済み符号化データに基づいて、イントラ符号化に用いるイントラ予測方向制限情報を生成し出力することを特徴とする動画像符号化装置。
5. 請求項４に記載の動画像符号化装置において、
   前記イントラ予測方向制限判定部は、前記入力映像及び符号化済みデータに基づいてイントラ符号化に用いるイントラ予測方向を制限する方法として、符号化済みフレームにおいて適用されたイントラ予測方向について、発生頻度の予め定められた順位以下を、処理フレームにおいて制限することを特徴とする動画像符号化装置。
6. 請求項１に記載の動画像符号化装置で符号化された符号化データを復号する動画像復号装置において、
   受信した符号化データからシンタックス記述の解析に関して符号化モードおよびイントラ予測方向の少なくとも一方が制限されているか否かを判断し、制御情報を出力する制限情報解析部と、
   前記制限情報解析部から出力された制御情報に従って選択され、シンタックスに従って符号化データを解析し、符号化データから残差信号と予測情報を抽出する第１、第２のシンタックス解析部と、
   前記第１、第２のシンタックス解析部から出力された残差信号と予測情報を基に復号映像を生成する手段とを具備し、
   前記第１のシンタックス解析部は前記符号化モードおよびイントラ予測方向が制限されていないシンタックスに従って符号化データを解析し、前記第２のシンタックス解析部は前記符号化モードおよびイントラ予測方向の少なくとも一方が制限されているシンタックスに従って符号化データを解析することを特徴とする動画像復号装置。
7. 請求項６に記載の動画像復号装置において、
   前記第２のシンタックス解析部は、前記符号化データに挿入されている識別符号から、適用する符号化モードセットを指定し、該符号化モードセット内の符号化モードもしくはイントラ予測方向を抽出することを特徴とする動画像復号装置。
8. 請求項６または７に記載の動画像復号装置であって、
   請求項１ないし５のいずれかの動画像符号化装置で符号化された符号化データに対して、復号映像を生成することを特徴とする動画像復号装置。

Images