JP5571542B2

JP5571542B2 - 映像符号化方法、及び映像復号方法

Info

Publication number: JP5571542B2
Application number: JP2010286540A
Authority: JP
Inventors: 翔平松尾; 幸浩坂東; 誠之高村; 淳清水; 裕尚如澤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-12-22
Filing date: 2010-12-22
Publication date: 2014-08-13
Anticipated expiration: 2030-12-22
Also published as: JP2012134870A

Description

本発明は、映像符号化における補間フィルタの性能改善を図り、符号化効率改善化を図る映像符号化方法、及び映像復号方法に関する。

映像符号化において、異なる画面間で予測を実行する画面間予測（動き補償）符号化では、すでに復号されたフレームを参照して、予測誤差エネルギーなどを最小にするように動きベクトルが求められ、その残差信号が直交変換され、量子化が施され、エントロピ符号化を経て、バイナリーデータとなる。符号化効率を高めるためには、予測誤差エネルギーの低減が不可欠であり、すなわち、より精度の高い予測方式が求められる。

映像符号化標準方式には、数多くの画面間予測の精度を高めるためのツールが導入されている（例えば非特許文献１参照）。例えば、Ｈ．２６４／ＡＶＣでは、直近のフレームにオクルージョンが存在する場合には、時間的に少し離れたフレームを参照したほうが予測誤差エネルギーを低減できるため、複数のフレームを参照可能としている。本ツールを複数参照フレーム予測と呼ぶ。また、複雑な形状の動きにも対応可能とするために、１６×１６、及び８×８に加えて、１６×８、８×１６、８×４、４×８、４×４のように、ブロックサイズを細かく分割可能としている。本ツールを可変ブロックサイズ予測と呼ぶ。これらと同様に、参照フレームの整数精度画素から６ｔａｐのフィルタを用いて１／２精度の画素を補間し、さらにその画素を利用して１／４精度の画素を線形補間で生成する。これにより、非整数精度の動きに対して予測が当たるようになる。本ツールを１／４画素精度予測と呼ぶ。

Ｈ．２６４／ＡＶＣよりも符号化効率の高い次世代映像符号化標準方式の策定に向け、国際標準化組織ＩＳＯ／ＩＥＣ“ＭＰＥＧ”や、ＩＴＵ−Ｔ“ＶＣＥＧ”において、現在世界各国から様々な提案が集められている。その中で特に画面間予測（動き補償）に関連する提案は多くなされている（例えば非特許文献２参照）。ＶＣＥＧが主導で作成している次世代映像符号化向けソフトウェア（以下、ＫＴＡ（Key Technical Area）ソフトウェア）には、動きベクトルの符号量を削減するツールや、ブロックサイズを１６×１６以上に拡張するツールが採用されている。特に、小数精度画素の補間フィルタ係数を適応的に変化させるツールは、適応補間フィルタと呼ばれ、全ての画像で効果があり、最初にＫＴＡソフトウェアに採用された。効果も高いため、今後補間フィルタに関する改善は非常に期待される領域と考えられる。

過去の映像符号化標準方式ＭＰＥＧ−１／２／４においては、１／２精度の画素を補間するために両隣の２点の整数画素から加算平均を用いて生成していた。すなわち、２点の整数画素に対して、［１／２，１／２］の平均値フィルタを施していることになる。非常に単純な処理のため、計算複雑度の観点からみると効果的だが、１／４精度の画素を求める上では、フィルタの性能としては高くはない。

一方、Ｈ．２６４／ＡＶＣにおいては、１／２精度の画素を補間するときは、対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。垂直方向については上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は、それぞれ［（１，−５，２０，２０，−５，１）／３２］となっている。１／２精度の画素が補間された後、１／４精度の画素は［１／２，１／２］の平均値フィルタを用いて補間を行う。Ｈ．２６４／ＡＶＣの改良として、離散コサイン変換をベースとした補間フィルタが提案されている。該補間フィルタは、符号化複雑度の要求条件に応じて、シーケンス単位でのフィルタのタップ長（１２タップ、８タップ、６タップ）が符号化開始時に設定される。なお、設定されたタップ長は、シーケンスの符号化を通じて同じ値が使用される。

大久保他, "改訂三版 H.264/AVC 教科書," インプレスR&D, P.118-123, Jan. 2009. Ken McCann et al., "Samsung’s Response to the Call for Proposals on Video Compression Technology," in Document JCTVC-A124 (ITU-T SG16 Q.6 (VCEG) and ISO/IEC JCT1/SC29/WG11 (MPEG)), P. 12-14, Apr. 2010.

ところで、従来の補間フィルタでは、フィルタのタップ長が固定されていた。これは、フィルタを適用する領域の信号の特性が変化しないことを前提としているためである。しかしながら、一般的に長いタップ長のフィルタを用いることで、補間精度は向上するとされている。つまり、画像によっては、短いタップ長のフィルタ使用に伴う補間精度の低下を小さく抑えることが可能である。例えば、信号の特性の異なる領域（背景領域と動物体領域）の境界部をフィルタリングの対象とする場合である。

しかしながら、従来技術では、画像によっては、短いタップ長のフィルタ使用に伴う補間精度の低下を小さく抑えることが可能であるにも拘わらず、フィルタのタップ長が固定されていたため、フィルタ係数算出に必要な複雑な計算を行わなければならず、復号処理の演算量も低減することができないという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、画像の有する局所性（局所的性質）を考慮して、フィルタのタップ長をフレーム内で適応的に制御可能とし、フレーム内で複数のタップ長のフィルタ群を切り替えることで、フィルタ係数算出に必要な計算複雑度を削減して、復号処理の演算量の低減化、高速化を図ることができ、符号化処理の効率化を図ることができる映像符号化方法、及び映像復号方法を提供することにある。

上述した課題を解決するために、本発明は、小数画素精度の動き補償フレーム間予測を用いる映像符号化方法であって、予測の単位となるブロックサイズと動きベクトルとを取得するステップと、参照フレームの画素値を入力としてフィルタリング処理により参照信号を生成するか否かを判定するステップと、前記参照信号を生成すると判定された場合に、前記ブロックサイズに基づいて、前記参照信号を生成するための参照信号生成フィルタを選択するステップと、前記選択された参照信号生成フィルタを用いて参照信号を生成し、予測画像を生成するステップとを含むことを特徴とする映像符号化方法である。

本発明は、上記の発明において、前記参照信号生成フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする。

本発明は、上記の発明において、前記参照信号生成フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする。

また、上述した課題を解決するために、本発明は、小数画素精度の動き補償フレーム間予測を用いる映像符号化方法であって、予測の単位となるブロックサイズと動きベクトルとを取得するステップと、前記動きベクトルに基づいて、小数画素位置の画素値を生成するか否かを判定するステップと、前記小数画素位置の補間画素値を生成すると判定された場合に、前記ブロックサイズに基づいて、前記小数画素位置の補間画素値を生成するための補間フィルタを選択するステップと、前記選択された補間フィルタを用いて小数精度画素の補間を行い、予測画像を生成するステップとを含むことを特徴とする映像符号化方法である。

本発明は、上記の発明において、前記補間フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする。

本発明は、上記の発明において、前記補間フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする。

また、上述した課題を解決するために、本発明は、小数画素精度の動き補償フレーム間予測を用いる映像復号方法であって、予測の単位となるブロックサイズと動きベクトルとを復号するステップと、参照フレームの画素値を入力としてフィルタリング処理により参照信号を生成するか否かを判定するステップと、前記参照信号を生成すると判定された場合に、前記ブロックサイズに基づいて、前記参照信号を生成するための参照信号生成フィルタを選択するステップと、前記選択された参照信号生成フィルタを用いて参照信号を生成し、予測画像を生成するステップとを含むことを特徴とする映像復号方法である。

また、上述した課題を解決するために、本発明は、小数画素精度の動き補償フレーム間予測を用いる映像復号方法であって、予測の単位となるブロックサイズと動きベクトルとを復号するステップと、前記動きベクトルに基づいて小数画素位置の画素値を生成するか否かを判定するステップと、前記小数画素位置の補間画素値を生成すると判定された場合に、前記ブロックサイズに基づいて、前記小数画素位置の補間画素値を生成するための補間フィルタを選択するステップと、前記選択された補間フィルタを用いて小数精度画素の補間を行い、予測画像を生成するステップとを含むことを特徴とする映像復号方法である。

この発明によれば、画像の有する局所性（局所的性質）を考慮して、フィルタのタップ長をフレーム内で適応的に制御可能とし、フレーム内で複数のタップ長のフィルタ群を切り替えることでフィルタ係数算出に必要な計算複雑度を削減して、復号処理の演算量低減を図ることができる。

本実施形態による動画像符号化器の構成を示すブロック図である。従来技術によるインター予測処理部１０２の構成を示すブロック図である。従来技術によるインター予測処理部１０２の動作を説明するためのフローチャートである。本実施形態によるインター予測処理部１０２の構成を示すブロック図である。本実施形態によるインター予測処理部１０２の動作を説明するためのフローチャートである。本実施形態による動画像復号器の構成を示すブロック図である。従来技術によるインター予測処理部２０３の構成を示すブロック図である。本実施形態によるインター予測処理部２０３の構成を示すブロック図である。

以下、本発明の一実施形態を、図面を参照して説明する。

本発明では、フィルタのタップ長をシーケンスに対して固定せずに、画像の局所的性質に応じて、複数のフィルタ係数群を用意して切り替えることで補間フィルタ生成の演算量を低減し、復号処理の演算量の低減を実現することを特徴とする。

可変ブロックサイズ予測において、ブロックは、性質の類似した画素の集合と考えることができる。このため、ブロックをまたぐフィルタリングは、性質の異なる領域を参照することになる。このため、サイズの小さなブロックに対しては、タップ長の短いフィルタであっても、補間精度の低下は小さいものと予想される。そこで、ブロックサイズに基づいて、フィルタのタップ長を切り替える適応処理を導入する。

なお、可変ブロックサイズ予測において、ブロックサイズは、符号化情報として復号側に伝送されるため、本適応処理のために、別途、付加情報を伝送する必要はない。

図１は、本実施形態による動画像符号化器の構成を示すブロック図である。図１において、動画像符号化器は、イントラ予測処理部１０１、インター予測処理部１０２、変換・量子化処理部１０３、逆変換・逆量子化処理部１０４、加算器Ａ１、Ａ２、インループフィルタ処理部１０５、復号信号記憶部１０６、インター予測情報符号化部１０７、イントラ予測情報符号化部１０８、エントロピ符号化処理部１０９からなる。

加算器Ａ１は、後述するイントラ予測処理部１０１、またはインター予測処理部１０２からのイントラ予測モード、またはインター予測モードと、入力信号（原信号）との差分信号（予測残差信号）を生成する。変換・量子化処理部１０３は、イントラ予測（ないしはインター予測）誤差信号に対する変換処理を行い、変換係数を生成し、変換係数に対する量子化処理を行い、量子化後係数信号を生成する。

逆変換・逆量子化処理部１０４は、量子化後係数信号に対する逆量子化処理を行い、変換係数の復号値を生成し、該変化係数の復号値に対して、逆変換処理を行い、予測誤差信号の復号信号を生成する。加算器Ａ２は、予測残差信号の復号信号に、イントラ予測処理部１０１、またはインター予測処理部１０２からの予測信号を加算して、復号信号を生成する。インループフィルタ処理部１０５は、復号信号にフィルタ処理を行う。復号信号記憶部１０６は、フィルタ処理後の復号信号を保持する。

イントラ予測処理部１０１は、イントラ符号化の方式（イントラ符号化モード）を設定し、設定されたイントラ予測モードに基づき、（イントラ）予測信号を生成する。インター予測処理部１０２は、インター符号化の方式（インター符号化モード）を設定し、設定されたインター予測モードに基づき、（インター）予測信号を生成する。イントラ予測処理部１０１、インター予測処理部１０２の出力は、切替部ＳＷ１を介して選択的に切り替え可能となっている。インター予測情報符号化部１０７は、（インター）予測情報を符号化する。イントラ予測情報符号化部１０８は、（イントラ）予測情報を符号化する。エントロピ符号化処理部１０９は、量子化後係数信号、インター予測モード情報、イントラ予測モード情報をエントロピ符号化する。

図２は、従来技術によるインター予測処理部１０２の構成を示すブロック図である。図２において、動きベクトル設定処理部３０１は、入力信号と復号信号とを入力し、動きベクトルを設定し、動きベクトル情報を出力する。ブロックサイズ設定処理部３０２は、入力信号（原信号）と復号信号とを入力し、ブロックサイズ情報を出力する。動きベクトル精度判定部３０３は、動きベクトル情報を入力し、動きベクトルの精度を判定し、判定結果に基づいて、予測信号生成処理部における参照信号生成処理部３０５、または参照信号指定処理部３０４のいずれかを選択する。参照信号指定処理部３０４は、動きベクトル情報、ブロックサイズ情報、及び復号信号を入力し、参照信号を指定し、最終的に予測信号を出力する。参照信号生成処理部３０５は、動きベクトル情報、ブロックサイズ情報、及び復号信号を入力し、参照信号を生成し、最終的に予測信号を出力する。

図３は、従来技術によるインター予測処理部１０２の動作を説明するためのフローチャートである。まず、フレーム間予測のブロックサイズを示す情報を読み込み（ステップＳ１０１）、動きベクトルの情報を読み込み（ステップＳ１０２）、そして、動きベクトルが指す位置の参照信号を読み込み、予測信号として格納する（ステップＳ１０３）。

図４は、本実施形態によるインター予測処理部１０２の構成を示すブロック図である。なお、図２に対応する部分には同一の符号を付けて説明を省略する。従来技術と本実施形態との違いは、図４に示す点線内（予測信号生成処理部）に補間フィルタ選択処理部４０６が追加されていることである。補間フィルタ選択処理部４０６は、ブロックサイズ情報に従って、補間フィルタを選択する。

このとき、補間フィルタ選択処理部４０６は、参照信号を生成するための参照信号生成フィルタのタップ長、またはフィルタ係数を、ブロックサイズ、あるいは、ブロックの辺長に応じて設定するようにしてもよい。また、補間画素値を生成するための補間フィルタのタップ長またはフィルタ係数を、ブロックサイズ、あるいは、ブロックの辺長に応じて設定するようにしてもよい。

図５は、本実施形態によるインター予測処理部１０２の動作を説明するためのフローチャートである。まず、フレーム間予測のブロックサイズを示す情報を読み込み（ステップＳ２０１）、動きベクトルの情報を読み込む（ステップＳ２０２）。次に、画素生成に補間フィルタを使用するか否かを判定し（ステップＳ２０３）、補間フィルタを使用しない場合には、動きベクトルが指す位置の参照信号を読み込み、予測信号として格納する（ステップＳ２０７）。

一方、補間フィルタを使用する場合には、ブロックサイズが所定の閾値以下であるか否かを判定し（ステップＳ２０４）、ブロックサイズが所定の閾値以下である場合には、短いタップ長のフィルタを用いて補間画像を生成し（ステップＳ２０５）、動きベクトルが指す位置の参照信号を読み込み、予測信号として格納する（ステップＳ２０７）。

一方、ブロックサイズが所定の閾値以下でない場合には、長いタップ長のフィルタを用いて補間画像を生成し（ステップＳ２０６）、動きベクトルが指す位置の参照信号を読み込み、予測信号として格納する（ステップＳ２０７）。

図６は、本実施形態による動画像復号器の構成を示すブロック図である。図６において、動画像復号器は、エントロピ復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆変換・逆量子化処理部２０４、加算器Ｂ１、インループフィルタ処理部２０５、復号信号記憶部２０６、インター予測情報格納部２０７、イントラ予測情報格納部２０８からなる。

エントロピ復号処理部２０１は、符号化ユニットの符号化ストリームを入力として、エントロピ復号処理する。逆変換・逆量子化処理部２０４は、量子化後係数信号を入力として、逆量子化処理を行い、変換係数の復号値を生成し、変換係数の復号値に対して逆変換処理を行い、イントラ（ないしはインター予測）予測残差信号を生成する。

インター予測情報格納部２０７は、エントロピ復号処理部２０１で復号されたインター予測情報（インター符号化モード）を格納する。イントラ予測情報格納部２０８は、エントロピ復号処理部２０１で復号されたイントラ予測情報（イントラ符号化モード）を格納する。イントラ予測処理部２０２は、復号済みの符号化データから、イントラ符号化の方式（イントラ符号化モード）を読み出し、同イントラ予測モードに基づき、イントラ予測信号を生成する。インター予測処理部２０３は、復号済みの符号化データから、インター符号化の方式（インター符号化モード）を読み出し、同インター予測モードに基づき、インター予測信号を生成する。イントラ予測処理部２０２、インター予測処理部２０３の出力は、切替部ＳＷ２を介して選択的に切り替え可能となっている。

加算器Ｂ１は、予測残差信号、及びイントラ予測信号あるいはインター予測信号を入力として、両者を加算し、復号信号を生成する。インループフィルタ処理部２０５は、復号信号にフィルタ処理を行う。復号信号記憶部２０６は、フィルタ処理後の復号信号を保持する。

図７は、従来技術によるインター予測処理部２０３の構成を示すブロック図である。図において、動きベクトル格納部４０１は、エントロピ復号処理部２０１からの動きベクトル情報を格納する。ブロックサイズ格納部４０２は、エントロピ復号処理部２０１からのブロックサイズ情報を格納する。動きベクトル精度判定部４０３は、動きベクトル情報を入力し、動きベクトルの精度を判定し、判定結果に基づいて、予測信号生成処理部における参照信号生成処理部４０５、または参照信号指定処理部４０４のいずれかを選択する。参照信号指定処理部４０４は、動きベクトル情報、ブロックサイズ情報、及び復号信号を入力し、参照信号を指定し、最終的に予測信号を出力する。参照信号生成処理部４０５は、動きベクトル情報、ブロックサイズ情報、及び復号信号を入力し、参照信号を生成し、最終的に予測信号を出力する。
なお、図７に示す従来技術によるインター予測処理部２０３の動作は、図３に示すフローチャートと同様であるので説明を省略する。

図８は、本実施形態によるインター予測処理部２０３の構成を示すブロック図である。なお、図７に対応する部分には同一の符号を付けて説明を省略する。図において、従来技術と本発明の違いは、図８に示す点線内（予測信号生成処理部）に補間フィルタ選択処理部５０６が追加されていることである。補間フィルタ選択処理部５０６は、ブロックサイズ情報に従って、補間フィルタを選択する。

このとき、補間フィルタ選択処理部５０６は、参照信号を生成するための参照信号生成フィルタのタップ長またはフィルタ係数を、ブロックサイズ、あるいはブロックの辺長に応じて設定するようにしてもよい。また、補間画素値を生成するための補間フィルタのタップ長またはフィルタ係数を、ブロックサイズ、あるいはブロックの辺長に応じて設定するようにしてもよい。
なお、図８に示す本実施形態によるインター予測処理部２０３の動作は、図５に示すフローチャートと同様であるので説明を省略する。

上述した実施形態によれば、従来の補間フィルタでは対応できなかった画像の局所的性質に応じたフィルタ切り替えが可能となり、復号処理の演算量を低減することができ（復号処理の高速化）、符号化効率を向上させることができる。

３０１動きベクトル設定処理部
３０２ブロックサイズ設定処理部
３０３、４０３動きベクトル精度判定部
３０４、４０４参照信号指定処理部
３０５、４０５参照信号生成処理部
４０６、５０６補間フィルタ選択処理部
４０１動きベクトル格納部
４０２ブロックサイズ格納部

Claims

小数画素精度の動き補償フレーム間予測を用いる映像符号化方法であって、
予測の単位となるブロックサイズと動きベクトルとを取得するステップと、
参照フレームの画素値を入力としてフィルタリング処理により参照信号を生成するか否かを判定するステップと、
前記参照信号を生成すると判定された場合に、前記ブロックサイズに基づいて、前記参照信号を生成するための参照信号生成フィルタを選択する際に、前記ブロックサイズが所定の閾値以下であれば短いタップ長の前記参照信号生成フィルタを選択し、前記ブロックサイズが前記閾値以下でなければ長いタップ長の前記参照信号生成フィルタを選択するステップと、
前記選択された参照信号生成フィルタを用いて参照信号を生成し、予測画像を生成するステップと
を含むことを特徴とする映像符号化方法。
前記参照信号生成フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする請求項１に記載の映像符号化方法。
前記参照信号生成フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする請求項１に記載の映像符号化方法。
小数画素精度の動き補償フレーム間予測を用いる映像符号化方法であって、
予測の単位となるブロックサイズと動きベクトルとを取得するステップと、
前記動きベクトルに基づいて、小数画素位置の画素値を生成するか否かを判定するステップと、
前記小数画素位置の補間画素値を生成すると判定された場合に、前記ブロックサイズに基づいて、前記小数画素位置の補間画素値を生成するための補間フィルタを選択する際に、前記ブロックサイズが所定の閾値以下であれば短いタップ長の前記補間フィルタを選択し、前記ブロックサイズが前記閾値以下でなければ長いタップ長の前記補間フィルタを選択するステップと、
前記選択された補間フィルタを用いて小数精度画素の補間を行い、予測画像を生成するステップと
を含むことを特徴とする映像符号化方法。
前記補間フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする請求項４に記載の映像符号化方法。
前記補間フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする請求項４に記載の映像符号化方法。
小数画素精度の動き補償フレーム間予測を用いる映像復号方法であって、
予測の単位となるブロックサイズと動きベクトルとを復号するステップと、
参照フレームの画素値を入力としてフィルタリング処理により参照信号を生成するか否かを判定するステップと、
前記参照信号を生成すると判定された場合に、前記ブロックサイズに基づいて、前記参照信号を生成するための参照信号生成フィルタを選択する際に、前記ブロックサイズが所定の閾値以下であれば短いタップ長の前記参照信号生成フィルタを選択し、前記ブロックサイズが前記閾値以下でなければ長いタップ長の前記参照信号生成フィルタを選択するステップと、
前記選択された参照信号生成フィルタを用いて参照信号を生成し、予測画像を生成するステップと
を含むことを特徴とする映像復号方法。
前記参照信号生成フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする請求項７に記載の映像復号方法。
前記参照信号生成フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする請求項７に記載の映像復号方法。
小数画素精度の動き補償フレーム間予測を用いる映像復号方法であって、
予測の単位となるブロックサイズと動きベクトルとを復号するステップと、
前記動きベクトルに基づいて小数画素位置の画素値を生成するか否かを判定するステップと、
前記小数画素位置の補間画素値を生成すると判定された場合に、前記ブロックサイズに基づいて、前記小数画素位置の補間画素値を生成するための補間フィルタを選択する際に、前記ブロックサイズが所定の閾値以下であれば短いタップ長の前記補間フィルタを選択し、前記ブロックサイズが前記閾値以下でなければ長いタップ長の前記補間フィルタを選択するステップと、
前記選択された補間フィルタを用いて小数精度画素の補間を行い、予測画像を生成するステップと
を含むことを特徴とする映像復号方法。
前記補間フィルタの選択候補として、符号化過程において生成されるフィルタ群を用いることを特徴とする請求項１０に記載の映像復号方法。
前記補間フィルタの選択候補として、予め定められたフィルタ群を用いることを特徴とする請求項１０に記載の映像復号方法。