JP7075963B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１では、マージ動きベクトル差分（ＭＭＶＤ：Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の伝送精度を整数精度とするか否かについて制御することができるシンタックスが、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のシンタックス（ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）及びピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）のシンタックス（ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）としてそれぞれ備えられている。

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ９）、ＪＶＥＴ-Ｒ２００１

しかしながら、非特許文献１では、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが有効であるである場合（すなわち、シーケンス単位でＭＭＶＤの伝送精度が整数精度であると特定される場合）であっても、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが復号されるように規定されているという問題点があった。

すなわち、非特許文献１では、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇでＭＭＶＤの伝送精度が整数精度と特定されるにも関わらず、不要にｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが復号されるという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、シーケンス単位でＭＭＶＤの伝送精度を制御するシンタックスを復号し、かかるＭＭＶＤの伝送精度が不定である場合（すなわち、かかるＭＭＶＤの伝送精度として小数精度或いは整数精度のいずれを使用してもよい場合）にのみ、ピクチャ単位でＭＭＶＤの伝送精度を制御するシンタックスを復号することで、不要なシンタックスの復号処理量及びビット量を削減することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスを復号し、前記第１シンタックスの値によって、復号対象のピクチャにおけるマージ動きベクトル差分の伝送精度を制御する第２シンタックスを復号するように構成されている復号部を備えることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスを復号し、前記第１シンタックスの値によって、復号対象のピクチャにおけるマージ動きベクトル差分の伝送精度を制御する第２シンタックスを復号する工程を有することを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムで
あって、前記画像復号装置は、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスを復号し、前記第１シンタックスの値によって、復号対象のピクチャにおけるマージ動きベクトル差分の伝送精度を制御する第２シンタックスを復号するように構成されている復号部を備えることを要旨とする。

本発明によれば、シーケンス単位でＭＭＶＤの伝送精度を制御するシンタックスを復号し、かかるＭＭＶＤの伝送精度が不定である場合（すなわち、かかるＭＭＶＤの伝送精度として小数精度或いは整数精度のいずれを使用してもよい場合）にのみ、ピクチャ単位でＭＭＶＤの伝送精度を制御するシンタックスを復号することで、不要なシンタックスの復号処理量及びビット量を削減することができる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の復号部２１０で受信する符号化データ（ビットストリーム）の構成の一例である ＳＰＳ２１１内に含まれる制御データの一例である。 ＰＰＳ２１２に含まれる制御データの一例である。 ピクチャヘッダ２１３に含まれる制御データの一例である。 スライスヘッダ２１４Ａ/２１４Ｂに含まれる制御データの一例である。 一実施形態の一変更例について説明するための図である。 一実施形態の一変更例について説明するための図である。 一実施形態の一変更例について説明するための図である。 一実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。 一実施形態に係るＭＭＶＤ部２４１Ａ３による動きベクトルの修正方法を示す図である。 一実施形態に係るＭＭＶＤ部２４１Ａ３による動きベクトルの修正方法を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図１４を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号（ピクチャ）を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、対象フレームとフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ｍｖ）を決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象ブロック（以下、対象ブロック）に含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予
測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴと記す）に対応する基底パタン（変換行列）が用いられてもよく、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＳＴと記す）に対応する基底パタン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

また、制御データは、後述するシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）、スライスヘッダ（ＳＨ：Ｓｌｉｃｅ Ｈｅａｄｅｒ）等のヘッダ情報を含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するよ
うに構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（画像復号装置２００）
以下、図３を参照して、本実施形態に係る画像復号装置２００について説明する。図３は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。なお、上述したように、制御データは、サイズデータやヘッダ情報等を含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトル及び参照フレームに含まれる参照信号に基づいて予測信号を生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成され
ている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（復号部２１０）
以下、図４～図８を用いて、符号化部１４０で符号化され復号部２１０で復号される制御データについて説明する。

図４は、復号部２１０で受信する符号化データ（以下、ビットストリーム）の構成の一例である。

ビットストリームは、先頭にＳＰＳ２１１を含んでもよい。ＳＰＳは、シーケンス（ピクチャの集合）単位での制御データの集合である。具体例については後述する。各ＳＰＳ２１１は、複数のＳＰＳ２１１が存在する場合に個々を識別するためのＳＰＳ ｉｄ情報を少なくとも含む。

また、ビットストリームは、ＳＰＳ２１１の次に、ＰＰＳ２１２を含んでもよい。ＰＰＳ２１２は、ピクチャ（スライスの集合）単位での制御データの集合である。各ＰＰＳ２１２は、複数のＰＰＳ２１２が存在する場合に個々を識別するためのＰＰＳ ｉｄ情報を少なくとも含む。また、各ＰＰＳ２１２は、各ＰＰＳ２１２に対応するＳＰＳ２１１を指定するためのＳＰＳ ｉｄ情報を少なくとも含む。

また、ビットストリームは、ＰＰＳ２１２の次に、ピクチャヘッダ２１３を含んでもよい。ピクチャヘッダ２１３も、ピクチャ（スライスの集合）単位での制御データの集合である。ＰＰＳ２１２は、複数のピクチャに対して単一のＰＰＳ２１２を共有することができる。一方、ピクチャヘッダ２１３は、ピクチャ毎に必ず伝送される。ピクチャヘッダ２１３には、各ピクチャに対応するＰＰＳ２１２を指定するためのＰＰＳ ｉｄ情報を少なくとも含む。

また、ビットストリームは、ピクチャヘッダ２１３の次に、スライスヘッダ２１４Ａを含んでもよい。スライスヘッダ２１４Ａは、スライス単位での制御データの集合である。具体例については後述する。スライスヘッダ２１４Ａは、スライスヘッダ２１４Ａの一部として、上述のピクチャヘッダ２１３の情報を含むこともできる。

また、ビットストリームは、スライスヘッダ２１４Ａの次に、スライスデータ２１５Ａを含んでもよい。スライスデータ２１４Ａは、上述の係数レベル値やサイズデータ等を含
んでもよい。

以上のように、ビットストリームは、各スライスデータ２１５Ａ/２１５Ｂに対して、
１つずつスライスヘッダ２１４Ａ/２１５４、ピクチャヘッダ２１３、ＰＰＳ２１２、Ｓ
ＰＳ２１１が対応する構成となる。

上述のように、ピクチャヘッダ２１３にてどのＰＰＳ２１２を参照するかをＰＰＳ ｉｄで指定し、さらに、ＰＰＳ２１２がどのＳＰＳ２１１を参照するかをＳＰＳ ｉｄで指定するため、複数のスライスデータ２１５Ａ/２１５Ｂに対して共通のＳＰＳ２１１、Ｐ
ＰＳ２１２を用いることができる。

言い換えると、ＳＰＳ２１１及びＰＰＳ２１２は、ピクチャごと、スライスごとに、必ずしも伝送する必要がない。

例えば、図４に示すように、スライスヘッダ２１４Ｂ/２１５Ｂの直前では、ＳＰＳ２
１１及びＰＰＳ２１２を符号化しないようなビットストリームの構成とすることもできる。

なお、図４の構成は、あくまで一例である。例えば、ビットストリームが、各スライスデータ２１５Ａ/２１５Ｂに対して、スライスヘッダ２１４Ｂ/２１５Ｂ、ピクチャヘッダ２１３、ＰＰＳ２１２、ＳＰＳ２１１で指定された制御データが対応する構成となっていれば、ビットストリームの構成要素として、上述以外の要素が追加されてもよい。また、同様に、伝送に際して図４と異なる構成に整形されてもよい。

図５は、ＳＰＳ２１１内に含まれる制御データの一例である。

ＳＰＳ２１１は、上述の通り、少なくとも各ＳＰＳ２１１を識別するためのＳＰＳ ｉｄ情報 （ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含む。

ＳＰＳ２１１は、復号対象のシーケンスの後述するマージ動きベクトル差分（ＭＭＶＤ：Ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）の使用可否について制御するシンタックス（ｓｐｓ_
ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。

例えば、ｓｐｓ_ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「０」の場合は、かかるＳ
ＰＳ２１１に対応するシーケンス内でＭＭＶＤが使用不可であることを意味し、ｓｐｓ_
ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合は、かかるＳＰＳ２１１に対応するシーケンス内でＭＭＶＤが使用可であることを意味するように定義することができる。

また、ｓｐｓ_ｍｍｖｄ_ｅｎａｂｌｅｄ_ｆｌａｇの値が「１」の場合、すなわち、Ｍ
ＭＶＤが使用可である場合は、追加で、かかるＳＰＳ２１１に対応するシーケンス内のＭＭＶＤの伝送精度を整数精度とするか否かについて制御するシンタックス（ｓｐｓ_ｍｍ
ｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）を含んでもよい。

例えば、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」の場合は、ＭＭＶＤの伝送精度として小数精度を使用してもよい（すなわち、ＭＭＶＤの伝送精度として小数精度及び整数精度どちらも使用可である）ことを意味し、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「１」の場合は、ＭＭＶＤの伝送精度として整数精度を使用することを意味すると定義することができる。

復号部２１０は、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが、かかるＳＰ
Ｓ２１１に含まれていなかった場合、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値を「０」とみなしてもよい。

図６は、ＰＰＳ２１２に含まれる制御データの一例である。

ＰＰＳ２１２は、上述の通り、少なくとも各ＰＰＳ２１２を識別するためのＰＰＳ ｉｄ情報 （ｐｐｓ_ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含む。また、ＰＰＳ２１
２は、上述の通り、少なくとも当該ＰＰＳ２１２に対応するＳＰＳ２１１を指定するためのｉｄ情報（ｐｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含む。

図７は、ピクチャヘッダ２１３に含まれる制御データの一例である。

ピクチャヘッダ２１３は、上述の通り、少なくとも当該ピクチャヘッダ２１３に対応するＰＰＳ２１２を指定するためのｉｄ情報（ｐｈ_ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を含む。

また、ｐｈ_ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄで指定されたＰＰＳ２１２に関連するｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」の場合、ピクチャヘッダ２１３は、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇを含んでもよい。

復号部２１０は、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが、ピクチャヘッダ２１３に含まれない場合、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値を「０」とみなしてもよい。

ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「１」の場合は、かかるピクチャヘッダ２１３に対応するピクチャ内で、ＭＭＶＤの伝送精度として整数精度を使用することを意味する。

一方、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」の場合は、かかるピクチャヘッダ２１３に対応するピクチャ内で、ＭＭＶＤの伝送精度として小数精度を使用してもよい（すなわち、ＭＭＶＤの伝送精度として小数精度及び整数精度どちらも使用可である）ことを意味する。

ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇがピクチャヘッダ２１３内に含まれない場合、復号部２１０は、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値は「０」であるとみなしてもよい。

或いは、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇがピクチャヘッダ２１３内に含まれない場合、復号部２１０は、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値がｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値と同じ値であるとみなしてもよい。

以上のように、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」である場合、すなわち、シーケンス単位でＭＭＶＤの伝送精度として小数精度を使用してもよいことを示している場合にのみ、ピクチャ単位でＭＭＶＤの伝送精度として整数精度を使用するか否かを制御するシンタックス（ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）をピクチャヘッダ２１３内に含めるようにすることで、例えば、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇにより当該シーケンスでＭＭＶＤの伝送精度として整数精度を使用することが特定される場合に、不要にｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌ
ｙ_ｆｌａｇをピクチャヘッダ２１３に含めることを防ぐことができる。これにより、無
駄な復号処理・符号化処理を削減することができ、また、ピクチャヘッダ２１３のビット量を削減することができる。

図８は、スライスヘッダ２１４Ａ/２１４Ｂに含まれる制御データの一例である。

スライスヘッダ２１４Ａ/２１４Ｂは、ｓｈ_ｐｉｃｔｕｒｅ_ｈｅａｄｅｒ_ｉｎ_ｓｌ
ｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇを含んでもよい。ｓｈ_ｐｉｃｔｕｒｅ_ｈｅａｄｅｒ_ｉ
ｎ_ｓｌｉｃｅ_ｈｅａｄｅｒ_ｆｌａｇの値が「１」の場合、図８におけるｐｉｃｔｕｒ
ｅ_ｈｅａｄｅｒ_ｓｔｒｕｃｔｕｒｅ( )の位置に、図７で説明したピクチャヘッダ２１
３のシンタックス構造（ｐｉｃｔｕｒｅ_ｈｅａｄｅｒ_ｓｔｒｕｃｔｕｒｅ( )）を含め
ることができる。
また、スライスヘッダ２１４Ａ/２１４Ｂが対応するピクチャヘッダ２１３にてｐｈ_ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄで指定されたＰＰＳ２１２に関連するｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」の場合、スライスヘッダ２１４Ａ/２１４Ｂは、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇを含んでもよい。

ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが、スライスヘッダ２１４Ａ/２１４Ｂに含まれない場合、復号部２１０は、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値を「０」とみなしてもよい。

上述のｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「１」の場合、ピクチャヘッダ２１３は、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇを含んでもよい。

ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「１」の場合は、かかるスライス内で、ＭＭＶＤの伝送精度として整数精度を使用することを意味する。

ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」の場合は、かかるスライス内で、ＭＭＶＤの伝送精度として小数精度を使用してもよい（すなわち、ＭＭＶＤの伝送精度として小数精度及び整数精度のどちらも使用可である）ことを意味する。

ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇがスライスヘッダ２１４Ａ/
２１４Ｂ内に含まれない場合、復号部２１０は、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_
ｏｎｌｙ_ｆｌａｇの値は「０」であるとみなしてもよい。

或いは、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇがピクチャヘッダ２１３内に含まれない場合、復号部２１０は、ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎ
ｌｙ_ｆｌａｇの値がｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値と同じ値で
あるとみなしてもよい。

以上のように、ｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」である、すなわち、シーケンス単位でＭＭＶＤの伝送精度として小数精度を使用してもよいことを示しているときにのみ、スライス単位でＭＭＶＤの伝送精度として整数精度を使用するか否かを制御するシンタックス（ｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）をスライスヘッダ２１４Ａ/２１４Ｂ内に含めるむようにすることで、例えば、ｓ
ｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇにより当該シーケンスでＭＭＶＤの伝送精度として整数精度を使用することが特定される場合に、不要にｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇをスライスヘッダ２１４Ａ/２１４Ｂに含めることを
防ぐことができる。これにより、無駄な復号処理・符号化処理を削減することができ、また、スライスヘッダ２１４Ａ/２１４Ｂのビット量を削減することができる。

以上で説明したフラグの値は、あくまでも一例である。フラグの値（「０」及び「１」）に与える意味を逆転させた場合、対応する処理もそれに応じて逆転させることで等価な処理を実現可能である。

また、各シンタックス間の参照関係が存在しないシンタックス同士については、復号する順番が入れ替わってもよい。更に、上記以外のシンタックスが、ＳＰＳ２１１、ＰＰＳ２１２、ピクチャヘッダ２１３、スライスヘッダ２１４Ａ/２１４Ｂにそれぞれ含まれて
いてもよい。

＜変更例＞
上述の実施形態では、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御するシンタックスの名称をｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌｌ_ｏｎｌｙ_ｆｌａｇと定義し、かかるシンタックスの値に応じた意味（セマンティクス）として、かかるシンタックスの値が「０」の場合は、ＭＭＶＤの伝送精度として小数精度を使用してもよい（すなわち、ＭＭＶＤの伝送精度として小数精度及び整数精度どちらも使用することができる）ことを意味し、かかるシンタックスの値が「１」の場合は、ＭＭＶＤの伝送精度として整数精度を使用することを意味すると定義した。

一方で、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御するシンタックスの名称をｓｐｓ_ｍｍｖｄ_ｆｕｌｌｐｅｌｌ_ｅｎａｂｌｅｄ_ｆｌａｇと定義し、かかるシンタックスの値に応じた意味（セマンティクス）として、かかるシンタックスの値が「０」の場合は、ＭＭＶＤの伝送精度として小数精度を使用することを意味し、かかるシンタックスの値が「１」の場合は、ＭＭＶＤの伝送精度として整数精度を使用してもよい（すなわち、ＭＭＶＤの伝送精度として小数精度及び整数精度どちらも使用することができる）ことを意味すると定義してもよい。

ただし、このように、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御するシンタックスの名称及び意味（セマンティクス）を定義する場合、図５で示した当該シンタックスの復号条件、、図７で示したｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎ
ｌｙ_ｆｌａｇの復号条件、及び、図８で示したｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの復号条件が、それぞれ図９～図１１のように構成される。

図７に対する図１０と図８に対する図１１との差異は、当該シンタックスの値が「１」の場合に、当該シンタックスの意味の変更に伴い、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎ
ｌｙ_ｆｌａｇ或いはｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇが復号さ
れるような構成となっている点にある。

（インター予測部２４１）
以下、図１２を参照して、本実施形態に係るインター予測部２４１について説明する。図１２は、本実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。

図１２に示すように、インター予測部２４１は、動きベクトル復号部２４１Ａと予測信号生成部２４１Ｂとを有する。

インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

動きベクトル復号部２４１Ａは、ＡＭＶＰ部２４１Ａ１、マージ部２４１Ａ２、ＭＭＶ
Ｄ部２４１Ａ３とを有する。ここで、動きベクトル復号部２４１Ａは、フレームバッファ２６０から入力される対象フレーム及び参照フレーム、及び、画像符号化装置１００から受信する制御データの復号によって、動きベクトルを取得するように構成されている。

ＡＭＶＰ部２４１Ａ１は、動きベクトル予測（ＭＶＰ：Ｍｏｔｉｏｎ ＶｅｃｔｏｒＰ
ｒｅｄｉｃｉｔｏｎ）及び動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ ＶｅｃｔｏｒＤｉｆｆｅｒｅｎｃｅ）を示すインデックス、及び、参照フレームのリスト及びインデックスを用いて、動きベクトルを復号する適応動きベクトル予測復号（ＡＭＶＰ：Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）を行うように構成されている。ＡＭＶＰとしては、既知の手法を採用すること可能であるため、その詳細については省略する。

マージ部２４１Ａ２は、画像符号化装置１００から、マージインデックスを受信し、動きベクトルを復号するように構成されている。

具体的には、マージ部２４１Ａ２は、画像符号化装置１００と同じ方法でマージリストを構築して、受信したマージインデックスに対応する動きベクトルを、構築したマージリストから取得するように構成されている。マージリストの構築方法としては、既知の手法を採用することが可能であるため、その詳細については省略する。

ＭＭＶＤ部２４１Ａ３は、画像符号化装置１００から送られるＭＭＶＤに関するシンタックスに基づいて、マージ部２４１Ａ２で構築されたマージリストから動きベクトルを選択し、さらに、かかる動きベクトルを修正する。詳細は、後述する。

予測信号生成部２４１Ｂは、動きベクトル復号部２４１Ａから出力された動きベクトルに基づいて予測信号を生成するように構成されている。動きベクトルから予測信号を生成する方法としては、既知の方法を採用することが可能であるため、その詳細は省略する。

（ＭＭＶＤ部２４１Ａ３）
以下、図１３及び図１４を参照して、本実施形態に係るＭＭＶＤ部２４１Ａ３について説明する。

図１３及び図１４は、本実施形態に係るＭＭＶＤ部２４１Ａ３による動きベクトルの修正方法を示す図である。

ＭＭＶＤ部２４１Ａ３は、復号部２１０で復号されたＭＭＶＤに関連するシンタックス（ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇ、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇ、ｍｍｖｄ_ｄｉｓｔａ
ｎｃｅ_ｉｄｘ、ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇ）の値に基づいて、マージ部２４１Ａ２で構築したマージリストから
動きベクトルを選定し、かかる動きベクトルを修正するように構成されている。

第１に、ＭＭＶＤ部２４１Ａ３は、ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇの値が「１」の場合、ＭＭＶＤを実行し、ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇの値が「０」の場合は、ＭＭＶＤを実行しないように構成されている。

第２に、ＭＭＶＤ部２４１Ａ３は、ＭＭＶＤを実行した場合には、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇの値に基づいて、マージリストの中から動きベクトルを選定するように構成されている。

具体的には、ＭＭＶＤ部２４１Ａ３は、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇの値が「０」であ
る場合は、マージリストの０番目の動きベクトルを修正する動きベクトルとして選定し、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇの値が「１」である場合は、マージリストの１番目の動きベクトルを修正する動きベクトルとして選定するように構成されている。

なお、マージリストに動きベクトルの候補が２つ以上ない場合は、ＭＭＶＤ部２４１Ａ３は、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇの値を「０」としてみなすように構成されている。

また、本実施形態では、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇの値のバリエーションを「０」又は「１」として説明したが、設計者の意図で設計を変更することも可能である。

第３に、ＭＭＶＤ部２４１Ａ３は、図1０及び図１４に示すｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ、ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘ、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値に基づいて、選定した動きベクトルを修正するように構成されている。

以下、図１３を参照して、ＭＭＶＤ部２４１３Ａ３により選定された動きベクトルに対して加算される動きベクトル差分の大きさ（距離）の導出方法について説明する。

具体的には、復号されたｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ及びｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値に基づいて、動きベクトル差分の大きさ（距離）が導出される。

例えば、図１３に示すように、ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘの値が「１」であり、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「０」である場合、ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］は、「２」に設定される。

ここで、ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］は、ＭＭＶＤによる動きベクトルの修正距離、すなわち、選定された動きベクトルに対して加算される動きベクトル差分の距離を示す内部パラメータである。

ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］の値が「２」に設定される場合は、選定された動きベクトルに対して、後述するｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘによって導出される方向に、動きベクトル差分の伝送精度の初期値である１/４精度に「２」が乗算さ
れて１/２の距離が加算される構成となっている。

ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値が「１」である場合は、上述の動きベクトル差分の伝送精度の初期値に乗算される値が「４」から開始されるため、加算される動きベクトル差分の伝送精度は、常に整数精度となる構成となっている。

なお、上記では、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇによるＭＭＶＤの動きベクトルの修正距離の導出方法を説明したが、ｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎ
ｌｙ_ｆｌａｇが、上述したｓｌｉｃｅ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇに
置換されてもよい。

次に、図１４を参照して、ＭＭＶＤ部２４１Ａ３により選定された動きベクトルに対して加算される動きベクトル差分の方向の導出方法を説明する。

具体的には、復号されたｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘの値に基づいて、動きベクトル差分の方向が導出される。

例えば、図１４に示すように、ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘの値が「０」から
「３」の値によって、ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［０］の値及びＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［１］の値が導出される構成となっている。

ＭＭＶＤによる動きベクトル差分は、以下のように、ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０
］［ｙ０］、ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［０］及びＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［１］より導出されるＭｍｖｄＯｆｆｓｅｔ［ｘ０］［ｙ０］［０］及びＭｍｖｄＯｆｆｓｅｔ［ｘ０］［ｙ０］［１］として導出される。

ＭｍｖｄＯｆｆｓｅｔ［ｘ０］［ｙ０］［０］＝（ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］＜＜２）×ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［０］
ＭｍｖｄＯｆｆｓｅｔ［ｘ０］［ｙ０］［１］＝（ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］＜＜２）×ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［１］
以上のように、ＭＭＶＤ部２４１Ａ３により導出された動きベクトル差分、すなわち、ＭｍｖｄＯｆｆｓｅｔが、選定された動きベクトルに加算されて動きベクトルが修正され、これにより動きベクトルの精度が向上して予測性能が向上することで、符号化性能の改善が期待される。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…動きベクトル復号部
２４１Ａ１…ＡＭＶＰ部
２４１Ａ２…マージ部
２４１Ａ３…ＭＭＶＤ部
２４１Ｂ…予測信号生成部

Claims (3)

1. 画像復号装置であって、
   復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスを復号するように構成されている復号部を備え、
   前記第１シンタックスの値が「１」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度及び整数精度のどちらも使用できることを示し、
   前記第１シンタックスの値が「０」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度を使用することを示すことを特徴とする画像復号装置。
2. 画像復号方法であって、
   復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスをする工程を有し、
   前記第１シンタックスの値が「１」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度及び整数精度のどちらも使用できることを示し、
   前記第１シンタックスの値が「０」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度を使用することを示すことを特徴とする画像復号方法。
3. コンピュータを、画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、復号対象のシーケンスにおけるマージ動きベクトル差分の伝送精度を制御する第１シンタックスを復号するように構成されている復号部を備え、
   前記第１シンタックスの値が「１」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度及び整数精度のどちらも使用できることを示し、
   前記第１シンタックスの値が「０」の場合には、前記第１シンタックスは、前記復号対象のシーケンスにおけるマージモード動きベクトル差分の伝送精度として小数精度を使用することを示すことを特徴とするプログラム。

Images