JP2024029090A - 画像復号装置、画像符号化装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】動きベクトルの修正精度を落とさずに動きベクトルの修正に伴う処理負荷を軽減する画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供する。【解決手段】画像復号装置において、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するインター予測部は、動きベクトルで特定する参照位置を基準に探索範囲を設定し、所定コストが最も小さい修正参照位置に基づいて動きベクトルを修正する洗練化処理を実行する。洗練化処理において、探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び参照位置について所定コストを算出する第１処理と、４つの第１候補位置の中で所定コストが最も小さい基準第１候補位置及び参照位置に基づいて、対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、２つの第２候補位置について所定コストを算出する第２処理を実行する。【選択図】図８

Description

本発明は、画像復号装置、画像符号化装置、画像処理システム及びプログラムに関する。

従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。

このような画像処理技術において、画像復号装置が、画像復号化装置から受信する動きベクトルを洗練化する技術（ＤＭＶＲ；Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）も提案されている。具体的には、画像復号装置は、動きベクトルに基づいて参照位置を特定し、特定された参照位置に基づいて設定される探索範囲の中から所定コストが最も小さい修正参照位置を特定する。画像復号装置は、修正参照位置に基づいて動きベクトルを修正する（例えば、非特許文献２）。

ＩＴＵ－Ｔ Ｈ．２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ ７），ＪＶＥＴ－Ｇ１００１

上述した画像処理技術では、探索範囲の中から修正参照位置を特定する処理負荷が大きい。従って、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することが望まれている。

そこで、本発明は、上述した課題を解決するためになされたものであり、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することを目的とする。

第１の特徴に係る画像復号装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行する。前記予測部は、前記洗練化処理において、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を実行する。

第２の特徴に係る画像符号化装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行する。前記予測部は、前記洗練化処理において、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を実行する。

第３の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行する。前記予測部は、前記洗練化処理において、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を実行する。

第４の特徴に係るプログラムは、コンピュータに、動きベクトルに基づいて予測信号を生成する予測ステップを実行させる。前記予測ステップは、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行するステップを含む。前記洗練化処理は、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を含む。

一態様によれば、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することができる。

図１は、実施形態に係る画像処理システム１０を示す図である。 図２は、実施形態に係る画像符号化装置１００を示す図である。 図３は、実施形態に係るインター予測部１１１を示す図である。 図４は、実施形態に係る第１処理を説明するための図である。 図５は、実施形態に係る第２処理を説明するための図である。 図６は、実施形態に係る第３処理を説明するための図である。 図７は、実施形態に係る第３処理を説明するための図である。 図８は、実施形態に係る画像復号装置２００を示す図である。 図９は、実施形態に係るインター予測部２４１を示す図である。 図１０は、変更例１に係る第３処理を説明するための図である。 図１１は、変更例２に係る第３処理を説明するための図である。 図１２は、変更例３に係る対象探索範囲の特定方法を説明するための図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

［開示の概要］
開示の概要に係る画像復号装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行する。前記予測部は、前記洗練化処理において、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を実行する。

開示の概要に係る画像復号装置では、対象探索範囲の外枠を定義する４つの第１候補位置及び参照位置について所定コストを算出する第１処理が実行され、対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、２つの第２候補位置について所定コストを算出する第２処理が実行される。すなわち、対象探索範囲の外側から修正参照位置を探索することによって、所定コストを算出すべき画素数を抑制しながら、修正参照位置を適切に探索することができる。言い換えると、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することができる。

開示の概要に係る画像符号化装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行する。前記予測部は、前記洗練化処理において、前記探索範囲の少なくとも一部を構成する対象探索範囲の外枠を定義する４つの第１候補位置及び前記参照位置について前記所定コストを算出する第１処理と、前記４つの第１候補位置の中で前記所定コストが最も小さい基準第１候補位置及び前記参照位置に基づいて、前記対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、前記２つの第２候補位置について前記所定コストを算出する第２処理と、を実行する。

開示の概要に係る画像符号化装置では、対象探索範囲の外枠を定義する４つの第１候補位置及び参照位置について所定コストを算出する第１処理が実行され、対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、２つの第２候補位置について所定コストを算出する第２処理が実行される。すなわち、対象探索範囲の外側から修正参照位置を探索することによって、所定コストを算出すべき画素数を抑制しながら、修正参照位置を適切に探索することができる。言い換えると、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することができる。

開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０と、を有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定する。インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力する。フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得する。さらに、変換・量子化部１３１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（インター予測部）
以下において、実施形態に係るインター予測部について説明する。図３は、実施形態に係るインター予測部１１１を示す図である。

図３に示すように、インター予測部１１１は、動きベクトル探索部１１１Ａと、洗練化部１１１Ｂと、予測信号生成部１１１Ｃと、を有する。インター予測部１１１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部の一例である。

動きベクトル探索部１１１Ａは、対象フレームと参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを探索する。動きベクトルの探索方法については、既知の手法を採用することが可能であるため、その詳細については省略する。

洗練化部１１１Ｂは、動きベクトルによって特定される参照位置を基準として探索範囲を設定し、探索範囲の中から所定コストが最も小さい修正参照位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を実行する。

洗練化部１１１Ｂは、所定条件が満たされる場合に、洗練化処理を実行してもよい。所定条件は、予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが対象フレームよりも時間的に未来のフレームであるという条件を含んでもよい。所定条件は、予測ブロックのブロックサイズが予め定められたサイズ未満であるという条件を含んでもよい。ブロックサイズは、予測ブロックの水平方向の画素数であってもよく、予測ブロックの垂直方向の画素数であってもよい。ブロックサイズは、水平方向及び垂直方向の小さい方の画素数であってもよい。ブロックサイズは、ブロック内の全画素数（すなわち、水平方向の画素数と垂直方向の画素数を乗算して得られる値）であってもよい。

所定条件は、動きベクトルがマージモードで符号化されているという条件を含んでもよい。マージモードは、予測ブロックに隣接する符号化済みブロックの動きベクトルのインデックスのみが伝送されるモードである。所定条件は、動きベクトルがアフィン変換を用いた動き補償予測が適用されていないという条件を含んでもよい。

実施形態では、洗練化部１１１Ｂは、以下の手順で洗練化処理を行う。ここでは、洗練化処理において、過去方向及び未来方向において動きベクトルの変位が互いに連動するケースについて例示する。言い換えると、過去方向の変位の符号は、未来方向の変位の符号と反転する。例えば、過去方向の変位が（－２，２）である場合に、未来方向の変位は（２，－２）である。

このような前提下において、所定コストは、過去方向の参照ブロック（変位済み）に含まれる画素の値と未来方向の参照ブロック（変位済み）に含まれる画素の値との差分の絶対値和である。差分は、互いに対応する位置に存在する画素の値の差分である。なお、これはあくまで一例であり、差分の二乗和など、過去方向の参照ブロックに含まれる画素の値及び未来方向の参照ブロックに含まれる画素の値から計算できる指標（値）であれば、上記以外の指標も所定コストとして用いることが可能である。

以下においては、対象探索範囲が探索範囲と同様であり、対象探索範囲が水平方向及び垂直方向においいて±２の整数画素の範囲であるケースを例示する。対象探索範囲は、正方形形状を有する。

第１に、洗練化部１１１Ｂは、探索範囲の少なくとも一部を構成する対象探索範囲の外枠（例えば、４隅）を定義する４つの第１候補位置及び参照位置について所定コストを算出する第１処理を実行する。

具体的には、図４に示すように、洗練化部１１１Ｂは、動きベクトルに基づいて参照位置（図４では、Ｐ０）を特定する。洗練化部１１１Ｂは、参照位置を基準として対象探索範囲を設定する。洗練化部１１１Ｂは、対象探索範囲の外枠を定義する４つの第１候補位置（図４では、Ｐ１～Ｐ４）及び参照位置（図４では、Ｐ０）について所定コストを算出する。

第２に、洗練化部１１１Ｂは、４つの第１候補位置の中で所定コストが最も小さい基準第１候補位置及び参照位置に基づいて、対象探索範囲が分割された分割探索範囲の外枠（例えば、４隅）を定義する２つの第２候補位置を特定し、２つの第２候補位置について所定コストを算出する第２処理を実行する。

具体的には、Ｐ２の所定コストが最も小さいケースについて例示する。言い換えると、Ｐ２が基準第１候補位置である。図５に示すように、洗練化部１１１Ｂは、基準第１候補位置（図５では、Ｐ２）及び参照位置（図５では、Ｐ０）に基づいて、対象探索範囲が分割された分割探索範囲を特定する。分割対象領域は、Ｐ０からＰ２までの直線を対角線として有する正方形形状を有する。洗練化部１１１Ｂは、分割探索範囲の外枠を定義する２つの第２候補位置（図５では、Ｐ５、Ｐ６）を特定し、２つの第２候補位置について所定コストを算出する。

ここで、洗練化部１１１Ｂは、算出済み候補位置（Ｐ０、Ｐ２、Ｐ５、Ｐ６）の中で所定コストが最も小さい位置を修正参照位置として特定し、修正参照位置に基づいて動きベクトルを修正（変位）してもよい。但し、実施形態では、洗練化部１１１Ｂは、以下の処理を継続する。

第３に、洗練化部１１１Ｂは、分割探索範囲の外枠（例えば、４隅）を定義する４つの算出済み候補位置の中で所定コストが小さい基準第２候補位置に基づいて第３候補位置を特定し、第３候補位置について所定コストを算出する第３処理を実行する。ここでは、基準第２候補位置として２つの基準第２候補位置が選択され、２つの基準第２候補位置で挟まれる直線上に配置される画素が第３候補位置として特定されるケースについて説明する。

例えば、図６に示すように、分割探索範囲の外枠を定義する４つの算出済み候補位置（図６では、Ｐ０、Ｐ２、Ｐ５、Ｐ６）の中から、所定コストが小さい順に２つの基準第２候補位置（図６では、Ｐ０，Ｐ２）が選択されるケースについて説明する。このようなケースにおいて、洗練化部１１１Ｂは、２つの基準第２候補位置で挟まれる直線上に配置される画素（図６では、Ｐ７、Ｐ８、Ｐ９）を第３候補位置として特定する。洗練化部１１１Ｂは、第３候補位置（図６では、Ｐ７、Ｐ８、Ｐ９）について所定コストを算出する。ここで、Ｐ７及びＰ９は、１／２画素であり、整数画素によって補間される値を有する。すなわち、第３候補位置は、１／２画素を含む。

或いは、図７に示すように、分割探索範囲の外枠を定義する４つの算出済み候補位置（図７では、Ｐ０、Ｐ２、Ｐ５、Ｐ６）の中から、所定コストが小さい順に２つの基準第２候補位置（図７では、Ｐ０，Ｐ６）が選択されるケースについて説明する。このようなケースにおいて、洗練化部１１１Ｂは、２つの基準第２候補位置で挟まれる直線上に配置される画素（図７では、Ｐ７、Ｐ８、Ｐ９）を第３候補位置として特定する。洗練化部１１１Ｂは、第３候補位置（図７では、Ｐ７、Ｐ８、Ｐ９）について所定コストを算出する。ここで、Ｐ７及びＰ９は、１／２画素であり、整数画素によって補間される値を有する。すなわち、第３候補位置は、１／２画素を含む。

洗練化部１１１Ｂは、算出済み候補位置（Ｐ０、Ｐ２、Ｐ５～Ｐ９）の中で所定コストが最も小さい位置を修正参照位置として特定し、修正参照位置に基づいて動きベクトルを修正（変位）する。

予測信号生成部１１１Ｃは、動きベクトルに基づいて予測信号を生成する。具体的には、予測信号生成部１１１Ｃは、動きベクトルが修正されない場合には、動きベクトル探索部１１１Ａから入力される動きベクトルに基づいて予測信号を生成する。一方で、予測信号生成部１１１Ｃは、動きベクトルが修正される場合には、洗練化部１１１Ｂから入力される修正済みの動きベクトルに基づいて予測信号を生成する。

（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図８は、実施形態に係る画像復号装置２００を示す図である。

図８に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０と、を有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部２６２及びインループフィルタ処理部２５０に出力する。フィルタ処理前復号信号は、イントラ予測部２６２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成する。インター予測部２４１は、予測信号を加算器２３０に出力する。

イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部２６２は、予測信号を加算器２３０に出力する。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（インター予測部）
以下において、実施形態に係るインター予測部について説明する。図９は、実施形態に係るインター予測部２４１を示す図である。

図９に示すように、インター予測部２４１は、動きベクトル復号部２４１Ａと、洗練化部２４１Ｂと、予測信号生成部２４１Ｃと、を有する。インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部の一例である。

動きベクトル復号部２４１Ａは、画像符号化装置１００から受信する制御データの復号によって動きベクトルを取得する。

洗練化部２４１Ｂは、洗練化部１１１Ｂと同様に、動きベクトルによって特定される参照位置を基準として探索範囲を設定し、探索範囲の中から所定コストが最も小さい修正参照位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を実行する。

予測信号生成部２４１Ｃは、予測信号生成部１１１Ｃと同様に、動きベクトルに基づいて予測信号を生成する。

（作用及び効果）
開示の概要に係る画像符号化装置１００及び画像復号装置２００では、象探索範囲の外枠を定義する４つの第１候補位置及び参照位置について所定コストを算出する第１処理が実行され、対象探索範囲が分割された分割探索範囲の外枠を定義する２つの第２候補位置を特定し、２つの第２候補位置について所定コストを算出する第２処理が実行される。すなわち、対象探索範囲の外側から修正参照位置を探索することによって、所定コストを算出すべき画素数を抑制しながら、修正参照位置を適切に探索することができる。言い換えると、動きベクトルの修正精度を落とさずに、動きベクトルの修正に伴う処理負荷を軽減することができる。

開示の概要に係る画像符号化装置１００及び画像復号装置２００では、第１処理及び第２処理に続けて、分割探索範囲の外枠（例えば、４隅）を定義する４つの算出済み候補位置の中で所定コストが小さい基準第２候補位置に基づいて第３候補位置を特定し、第３候補位置について所定コストを算出する第３処理が実行される。第３候補位置は、２つの基準第２候補位置で挟まれる直線上に配置される画素である。すなわち、所定コストが小さいと想定される位置についてのみ所定コストを算出することによって、所定コストを算出すべき画素数を抑制しながら、修正参照位置を適切に探索することができる。

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。

実施形態では、第２処理の結果、基準第２候補位置として２つの基準第２候補位置が選択されるケースについて例示した。これに対して、第２処理の結果、基準第２候補位置として１つの基準第２候補位置が選択されるケースについて説明する。

具体的には、洗練化部（洗練化部１１１Ｂ及び洗練化部２４１Ｂ）は、第３処理において、基準第２候補位置として参照位置を選択する場合に、分割探索範囲において参照位置に隣接する画素を第３候補位置として特定する。

例えば、図１０に示すように、Ｐ０の所定コストがＰ２、Ｐ５、Ｐ６のそれぞれの所定コストの代表値（最小値、最大値又は平均値）の一定割合（例えば、５０％）よりも小さいケースを想定した場合に、基準第２候補位置として参照位置（図９では、Ｐ０）のみが選択されてもよい。このようなケースにおいて、洗練化部は、分割探索範囲において参照位置に隣接する画素（図１０では、Ｐ７、Ｐ８、Ｐ９）を第３候補位置として特定する。ここで、Ｐ７～Ｐ９は、１／２画素であり、整数画素によって補間される値を有する。すなわち、第３候補位置は、１／２画素を含む。

図１０では、第３候補位置が１／２画素であるケースを例示したが、変更例１はこれに限定されるものではない。分割探索範囲において参照位置に隣接する第３候補位置は整数画素であってもよい。

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。

実施形態では、第３処理において、１／２画素（例えば、図６に示すＰ７、Ｐ９）についても所定コストが算出される。これに対して、変更例２では、洗練化部（洗練化部１１１Ｂ及び洗練化部２４１Ｂ）は、１／２画素について所定コストを算出せずに、整数画素についてのみ所定コストを算出する。

例えば、図１１に示すように、Ｐ０及びＰ２の双方の所定コストがＰ５、Ｐ６の所定コストの代表値（最小値、最大値又は平均値）の一定割合（例えば、５０％）よりも小さい場合に、Ｐ０からＰ２までの直線上において、１／２画素のコストが算出されず、整数画素（図１１では、Ｐ７）の所定コストが算出されてもよい。或いは、Ｐ５及びＰ６の双方の所定コストがＰ０、Ｐ２の所定コストの代表値（最小値、最大値又は平均値）の一定割合（例えば、５０％）よりも小さい場合に、Ｐ５からＰ６までの直線上において、１／２画素のコストが算出されず、整数画素（図１１では、Ｐ７）の所定コストが算出されてもよい。

［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。

実施形態では、探索範囲が対象探索範囲と同じであるケースについて例示した。これに対して、変更例３では、探索範囲（例えば、水平方向及び垂直方向において±４の整数画素の範囲）が対象探索範囲よりも大きいケースについて説明する。このようなケースにおいて、洗練化部（洗練化部１１１Ｂ及び洗練化部２４１Ｂ）は、洗練化処理において、探索範囲の中から対象探索範囲を特定する処理を実行する。このような処理は、上述した第１処理よりも前に実行される。

例えば、図１２に示すように、洗練化部は、探索範囲を対象探索範囲Ａ～対象探索範囲Ｄに区切るとともに、各対象探索範囲について実施形態と同様の処理を行ってもよい。

或いは、洗練化部は、対象探索範囲Ａ～対象探索範囲Ｄの中から所定コストが最も小さい対象探索範囲を特定し、特定された対象探索範囲について実施形態と同様の処理を行ってもよい。対象探索範囲の所定コストは、各対象探索範囲の代表点（例えば、中心点（Ｐ４、Ｐ５、Ｐ８、Ｐ９）、或いは、４隅（Ｐ１、Ｐ３、Ｐ１０、Ｐ１２））の所定コストであってもよい。或いは、対象探索範囲の所定コストは、各対象探索範囲の２以上の抽出点（例えば、対象探索範囲Ａであれば、Ｐ０、Ｐ１、Ｐ２、Ｐ４、Ｐ６）の所定コストの剛健であってもよい。

上述したように、探索範囲の中から対象探索範囲を特定することによって、探索範囲が対象探索範囲よりも大きいケースにも上述した実施形態を適用することが可能である。言い換えると、水平方向及び垂直方向において±４以上の整数画素の範囲が探索範囲であっても上述した実施形態を適用することが可能である。

［変更例４］
以下において、実施形態の変更例４について説明する。以下においては、実施形態に対する相違点について主として説明する。

予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、予め定められたサイズ未満となるサブブロック群に分割して、サブブロックごとに動きベクトルの洗練化処理を行ってもよい。分割方法として正方形の場合は４分割、それ以外の場合は２分割としてもよい。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

実施形態では、対象探索範囲が水平方向及び垂直方向においいて±２の整数画素の範囲であるケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。対象探索範囲は、水平方向及び垂直方向においいて±１の整数画素の範囲であってもよい。このようなケースにおいて、第１処理及び第２処理によって、分割探索範囲に含まれる全ての整数画素の所定コストが算出される。第３処理によって、５つの１／２画素の候補の中から選択された１つの１／２画素の所定コストが算出される。或いは、対象探索範囲は、水平方向及び垂直方向においいて±３の整数画素の範囲であってもよい。

実施形態では、洗練化処理において、過去方向及び未来方向において動きベクトルの変位が互いに連動するケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。過去方向及び未来方向において動きベクトルの変位は互いに連動していなくてもよい。

実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１１Ａ…動きベクトル探索部、１１１Ｂ…洗練化部、１１１Ｃ…予測信号生成部、１１２…イントラ予測部、１２１…減算器、１２２…加算器、１３１…変換・量子化部、１３２…逆変換・逆量子化部、１４０…符号化部、１５０…インループフィルタ処理部、１６０…フレームバッファ、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…加算器、２４１…インター予測部、２４１Ａ…動きベクトル復号部、２４１Ｂ…洗練化部、２４１Ｃ…予測信号生成部、２４２…イントラ予測部、２５０…インループフィルタ処理部、２６０…フレームバッファ

Claims (5)

1. 動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備え、
   前記予測部は、所定条件が満たされる場合に、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行し、
   前記所定コストは、前記一方の参照フレームにおける参照ブロック内の画素値と、前記他方の参照フレームにおける参照ブロック内の画素値との差分の絶対値和であり、
   前記予測部は、前記洗練化処理において、
   前記探索範囲の中から第１候補位置を選択し、
   前記第１候補位置及び前記参照位置の中から第２候補位置を選択し、
   前記参照位置の所定コストが前記第１候補位置のそれぞれの所定コストの最小値の一定割合より小さい場合、前記第２候補位置として前記参照位置のみを選択し、
   前記第２候補位置として選択された前記参照位置に隣接する画素を第３候補位置として特定し、
   前記第１候補位置、前記第２候補位置及び前記第３候補位置の中で前記所定コストが最も小さい位置を前記修正参照位置として特定し、
   前記所定条件は、前記予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが前記対象フレームよりも時間的に未来のフレームであるという条件であり、
   前記一方の参照フレームにおける前記第１候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第１候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第２候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第２候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第３候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第３候補位置と前記参照位置との変位の符号を反転したものとし、
   前記予測部は、前記予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、サブブロック群に分割して、前記サブブロックごとに前記洗練化処理を行う、画像復号装置。
2. 動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備え、
   前記予測部は、所定条件が満たされる場合に、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行し、
   前記所定コストは、前記一方の参照フレームにおける参照ブロック内の画素値と、前記他方の参照フレームにおける参照ブロック内の画素値との差分の絶対値和であり、
   前記予測部は、前記洗練化処理において、
   前記探索範囲の中から第１候補位置を選択し、
   前記第１候補位置及び前記参照位置の中から第２候補位置を選択し、
   前記参照位置の所定コストが前記第１候補位置のそれぞれの所定コストの最小値の一定割合より小さい場合、前記第２候補位置として前記参照位置のみを選択し、
   前記第２候補位置として選択された前記参照位置に隣接する画素を第３候補位置として特定し、
   前記第１候補位置、前記第２候補位置及び前記第３候補位置の中で前記所定コストが最も小さい位置を前記修正参照位置として特定し、
   前記所定条件は、前記予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが前記対象フレームよりも時間的に未来のフレームであるという条件であり、
   前記一方の参照フレームにおける前記第１候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第１候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第２候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第２候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第３候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第３候補位置と前記参照位置との変位の符号を反転したものとし、
   前記予測部は、前記予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、サブブロック群に分割して、前記サブブロックごとに前記洗練化処理を行う、画像符号化装置。
3. 画像符号化装置及び画像復号装置を備える画像処理システムであって、
   前記画像符号化装置及び前記画像復号装置は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測部を備え、
   前記予測部は、所定条件が満たされる場合に、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行し、
   前記所定コストは、前記一方の参照フレームにおける参照ブロック内の画素値と、前記他方の参照フレームにおける参照ブロック内の画素値との差分の絶対値和であり、
   前記予測部は、前記洗練化処理において、
   前記探索範囲の中から第１候補位置を選択し、
   前記第１候補位置及び前記参照位置の中から第２候補位置を選択し、
   前記参照位置の所定コストが前記第１候補位置のそれぞれの所定コストの最小値の一定割合より小さい場合、前記第２候補位置として前記参照位置のみを選択し、
   前記第２候補位置として選択された前記参照位置に隣接する画素を第３候補位置として特定し、
   前記第１候補位置、前記第２候補位置及び前記第３候補位置の中で前記所定コストが最も小さい位置を前記修正参照位置として特定し、
   前記所定条件は、前記予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが前記対象フレームよりも時間的に未来のフレームであるという条件であり、
   前記一方の参照フレームにおける前記第１候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第１候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第２候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第２候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第３候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第３候補位置と前記参照位置との変位の符号を反転したものとし、
   前記予測部は、前記予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、サブブロック群に分割して、前記サブブロックごとに前記洗練化処理を行う、画像処理システム。
4. プログラムであって、コンピュータに、
   動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測ステップを実行させ、
   前記予測ステップは、所定条件が満たされる場合に、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行するステップを含み、
   前記所定コストは、前記一方の参照フレームにおける参照ブロック内の画素値と、前記他方の参照フレームにおける参照ブロック内の画素値との差分の絶対値和であり、
   前記洗練化処理を実行するステップにおいて、
   前記探索範囲の中から第１候補位置を選択し、
   前記第１候補位置及び前記参照位置の中から第２候補位置を選択し、
   前記参照位置の所定コストが前記第１候補位置のそれぞれの所定コストの最小値の一定割合より小さい場合、前記第２候補位置として前記参照位置のみを選択し、
   前記第２候補位置として選択された前記参照位置に隣接する画素を第３候補位置として特定し、
   前記第１候補位置、前記第２候補位置及び前記第３候補位置の中で前記所定コストが最も小さい位置を前記修正参照位置として特定し、
   前記所定条件は、前記予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが前記対象フレームよりも時間的に未来のフレームであるという条件であり、
   前記一方の参照フレームにおける前記第１候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第１候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第２候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第２候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第３候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第３候補位置と前記参照位置との変位の符号を反転したものとし、
   前記ステップにおいて、前記予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、サブブロック群に分割して、前記サブブロックごとに前記洗練化処理を行う、プログラム。
5. 画像処理方法であって、
   動きベクトルに基づいて予測ブロックに含まれる予測信号を生成する予測ステップを含み、
   前記予測ステップは、所定条件が満たされる場合に、前記動きベクトルによって特定される参照位置を基準として探索範囲を設定し、前記探索範囲の中から所定コストが最も小さい修正参照位置を特定し、前記修正参照位置に基づいて前記動きベクトルを修正する洗練化処理を実行するステップを含み、
   前記所定コストは、前記一方の参照フレームにおける参照ブロック内の画素値と、前記他方の参照フレームにおける参照ブロック内の画素値との差分の絶対値和であり、
   前記洗練化処理を実行するステップにおいて、
   前記探索範囲の中から第１候補位置を選択し、
   前記第１候補位置及び前記参照位置の中から第２候補位置を選択し、
   前記参照位置の所定コストが前記第１候補位置のそれぞれの所定コストの最小値の一定割合より小さい場合、前記第２候補位置として前記参照位置のみを選択し、
   前記第２候補位置として選択された前記参照位置に隣接する画素を第３候補位置として特定し、
   前記第１候補位置、前記第２候補位置及び前記第３候補位置の中で前記所定コストが最も小さい位置を前記修正参照位置として特定し、
   前記所定条件は、前記予測ブロックが双方向予測を行うブロックであり、一方の参照フレームが対象フレームよりも時間的に過去のフレームであり、他方の参照フレームが前記対象フレームよりも時間的に未来のフレームであるという条件であり、
   前記一方の参照フレームにおける前記第１候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第１候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第２候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第２候補位置と前記参照位置との変位の符号を反転したものとし、
   前記一方の参照フレームにおける前記第３候補位置と前記参照位置との変位は、前記他方の参照フレームにおける前記第３候補位置と前記参照位置との変位の符号を反転したものとし、
   前記ステップにおいて、前記予測ブロックのブロックサイズが予め定められたブロックサイズより大きい場合、サブブロック群に分割して、前記サブブロックごとに前記洗練化処理を行う、画像処理方法。

Images