JP6892555B2 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。

従来、対象画像（画像ブロック）を符号化する符号化装置において、複数の参照画像を用いて動き補償予測を行い、対象画像に対応する予測画像を生成し、当該対象画像と予測画像との間の画素単位での差分を示す予測残差に対して直交変換及び量子化を行う方法が知られている。

また、画像符号化装置は、直交変換及び量子化により得られた量子化変換係数をエントロピー符号化により符号化するとともに、量子化変換係数に対して逆量子化及び逆直交変換を行って予測残差を復元する。そして、画像符号化装置は、復元した予測残差を予測画像と合成して対象画像を再構成し、再構成画像をそれ以降の予測に用いる。

一方、画像復号装置は、エントロピー符号化された量子化変換係数を復号するとともに、複数の参照画像を用いて動き補償予測を行い、対象画像に対応する予測画像を生成する。画像復号装置は、量子化変換係数を逆量子化及び逆直交変換して予測残差を復元し、復元予測残差を予測画像と合成して対象画像を再構成する。

かかる画像符号化装置及び画像復号装置は、複数の参照画像を用いる動き補償予測において、例えば、複数の参照画像を平均化することにより予測画像を生成する（非特許文献１参照）。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

予測画像を生成するための複数の参照画像間の類似度が著しく低い部分が存在する場合、当該部分における予測画像の精度（すなわち、予測精度）が低下し、当該部分における予測残差が他の部分に比べて大きくなる。

予測残差が大きい部分と小さい部分とが混在する予測残差を直交変換すると、低周波数成分に電力が集中せずに、変換係数の電力集中度が低下する。かかる変換係数について高周波数成分を粗く量子化すると、高周波数成分における変換係数が劣化する。かかる変換係数の劣化は、逆量子化及び逆直交変換を経て画像（ブロック）内に全体的に伝搬する。

このようにして劣化した復元予測残差を予測画像に合成して対象画像ブロックを再構成すると、高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。つまり、予測精度が低い部分に起因して、予測精度が高い部分にも直交変換係数の量子化の影響が伝搬することで画質が劣化し、これにより、符号化効率の低下を引き起こすという問題があった。

そこで、本発明は、複数の参照画像を用いて予測を行う場合において符号化効率を改善可能な画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

なお、複数の参照画像を用いて予測を行う予測技術とは動き補償予測における双予測が代表的なものであるがそれに限定されるものではない。例えば、ＨＥＶＣ符号化方式で用いられている画像のＩｎｔｒａＢＣモード（イントラブロックコピーモード）などのように複数参照して予測画像を生成する場合においても同様の手法が適用可能である。

第１の特徴に係る画像符号化装置は、対象画像を符号化する。当該画像符号化装置は、複数の参照画像を用いて予測（代表的な予測方法の例としては双方向動き補償予測）を行うことにより、前記対象画像に対応する予測画像を生成する予測部と、前記複数の参照画像間の類似度を算出することにより、前記予測画像の予測精度を評価する評価部と、を備えることを要旨とする。

例えば、かかる画像符号化装置は、予測画像の予測精度を画像部分ごとに評価することにより、予測残差の大きい部分や予測残差の小さい部分を推定することが可能になるため、画質の劣化を効率的に抑制できる。よって、複数の参照画像を用いて予測を行う場合において符号化効率を改善可能な画像符号化装置を提供できる。

なお、予測部が行う予測は、複数の参照画像を用いるものであればどのような予測方式であるかを問わず、様々な予測方式を利用可能である。代表的な予測方法の例としては双方向動き補償予測が挙げられるが、ＨＥＶＣ方式で用いられている複数参照のＩｎｔｒａＢＣモード（イントラブロックコピーモード）による予測であってもよい。

第２の特徴に係る画像復号装置は、対象画像を復号する。当該画像復号装置は、複数の参照画像を用いて予測（代表的な予測方法の例としては双方向動き補償予測）を行うことにより、前記対象画像に対応する予測画像を生成する予測部と、前記複数の参照画像間の類似度を算出することにより、前記予測画像の予測精度を評価する評価部と、を備えることを要旨とする。

例えば、画像復号装置は、予測画像の予測精度を画像部分ごとに評価することにより、予測残差の大きい部分や予測残差の小さい部分を推定することが可能になるため、画質の劣化を効率的に抑制できる。よって、複数の参照画像を用いて予測を行う場合において符号化効率を改善可能な画像復号装置を提供できる。

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させるためのプログラムであることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させるためのプログラムであることを要旨とする。

第１実施形態に係る画像符号化装置の構成を示す図である。 第１実施形態に係る画像復号装置の構成を示す図である。 動き補償予測の一例を示す図である。 動き補償予測により生成される予測画像の一例を示す図である。 評価部の構成の一例を示す図である。 合成部の構成の一例を示す図である。 第１実施形態に係る画像符号化装置における処理フローを示す図である。 第１実施形態に係る画像復号装置における処理フローを示す図である。 第２実施形態に係る画像符号化装置の構成を示す図である。 第２実施形態に係る画像復号装置の構成を示す図である。 ループフィルタの構成の一例を示す図である。 第２実施形態に係る画像符号化装置における処理フローを示す図である。 第２実施形態に係る画像復号装置における処理フローを示す図である。 第１実施形態及び第２実施形態を併用する場合の画像符号化装置の構成を示す図である。 第１実施形態及び第２実施形態を併用する場合の画像復号装置の構成を示す図である。 第３実施形態に係る画像符号化装置の構成を示す図である。 第３実施形態に係る画像復号装置の構成を示す図である。 第３実施形態に係る評価部の構成の一例を示す図である。 第３実施形態に係るエントロピー符号化部の構成の一例を示す図である。 第３実施形態に係るエントロピー符号復号部の構成の一例を示す図である。 第３実施形態に係る画像符号化装置における処理フローを示す図である。 第３実施形態に係る画像復号装置における処理フローを示す図である。 第３実施形態に係る評価部の構成の変更例を示す図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜１．第１実施形態＞
第１実施形態に係る画像符号化装置及び画像復号装置について説明する。

（１．１．画像符号化装置の構成）
図１は、第１実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１０１と、変換部１０２ａと、量子化部１０２ｂと、エントロピー符号化部１０３と、逆量子化部１０４ａと、逆変換部１０４ｂと、合成部１０５と、イントラ予測部１０６と、ループフィルタ１０７と、フレームメモリ１０８と、動き補償予測部１０９と、切替部１１０と、評価部１１１とを備える。

ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、画像ブロックを減算部１０１（及び動き補償予測部１０９）に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、かかる画像ブロックを対象画像ブロックと称する。

減算部１０１は、ブロック分割部１００から入力された対象画像ブロックと対象画像ブロックに対応する予測画像（予測画像ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１０１は、符号化対象ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１０２ａに出力する。なお、予測画像は、後述するイントラ予測部１０６又は動き補償予測部１０９から切替部１１０を介して減算部１０１に入力される。

変換部１０２ａ及び量子化部１０２ｂは、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１０２を構成する。

変換部１０２ａは、減算部１０１から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１０２ｂに出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１０２ｂは、変換部１０２ａから入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１０２ｂは、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１０３及び逆量子化部１０４ａに出力する。

エントロピー符号化部１０３は、量子化部１０２ｂから入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１０３には、イントラ予測部１０６及び動き補償予測部１０９から予測に関する情報が入力され、ループフィルタ１０７からフィルタ処理に関する情報が入力される。エントロピー符号化部１０３は、これらの情報のエントロピー符号化も行う。

逆量子化部１０４ａ及び逆変換部１０４ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１０４を構成する。

逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０４ａは、量子化部１０２ｂから入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１０４ｂに出力する。

逆変換部１０４ｂは、変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１０２ａが離散コサイン変換を行った場合には、逆変換部１０４ｂは逆離散コサイン変換を行う。逆変換部１０４ｂは、逆量子化部１０４ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１０５に出力する。

合成部１０５は、逆変換部１０４ｂから入力された復元予測残差を切替部１１０から入力された予測画像と画素単位で合成する。合成部１０５は、復元予測残差の各画素値と予測画像の各画素値を加算して対象画像ブロックを再構成し、再構成した対象画像ブロックである再構成画像をイントラ予測部１０６及びループフィルタ１０７に出力する。

イントラ予測部１０６は、合成部１０５から入力された再構成画像を用いてイントラ予測を行ってイントラ予測画像を生成し、イントラ予測画像を切替部１１０に出力する。また、イントラ予測部１０６は、選択したイントラ予測モードの情報等をエントロピー符号化部１０３に出力する。

ループフィルタ１０７は、合成部１０５から入力された再構成画像に対して、後処理としてのフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ１０８に出力する。また、ループフィルタ１０７は、フィルタ処理に関する情報をエントロピー符号化部１０３に出力する。フィルタ処理には、デブロッキングフィルタ処理とサンプルアダプティブオフセット処理とが含まれる。デブロッキングフィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣接するブロックの境界部における信号のギャップを平滑化する処理である。このデブロッキングフィルタ処理により、境界部における信号ギャップと量子化の程度を示す量子化パラメータとを用いてデブロッキングフィルタ処理の強さ（フィルタ強度）が制御される。一方、サンプルアダプティブオフセット処理は、例えばＨＥＶＣ（非特許文献１参照）で採用されている画質改善フィルタ処理であって、ブロック内の画素の隣接画素との相対的な関係により各画素をカテゴリ分けし、それぞれのカテゴリについて画質を向上させるためのオフセット値を算出し、同じカテゴリに属する各画素に一律にオフセット値を付与する処理である。オフセット値が大きいほど強いフィルタ処理が適用されるため、オフセット値は、サンプルアダプティブオフセット処理のフィルタ強度を定める値とみなすことができる。

フレームメモリ１０８は、ループフィルタ１０７から入力された再構成画像をフレーム単位で記憶する。

動き補償予測部１０９は、フレームメモリ１０８に記憶された１又は複数の再構成画像を参照画像として用いるインター予測を行う。具体的には、動き補償予測部１０９は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいて動き補償予測画像を生成し、動き補償予測画像を切替部１１０に出力する。また、動き補償予測部１０９は、動きベクトルに関する情報をエントロピー符号化部１０３に出力する。

切替部１１０は、イントラ予測部１０６から入力されたイントラ予測画像と、動き補償予測部１０９から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を減算部１０１及び合成部１０５に出力する。

評価部１１１は、動き補償予測部１０９が複数の参照画像を用いて動き補償予測を行う場合において、予測に用いる複数の参照画像間の類似度を１又は複数の画素からなる画像部分ごとに算出し、かかる類似度により予測画像の予測精度を画像部分ごとに評価し、評価結果の情報を合成部１０５に出力する。

本実施形態において、評価部１１１が、予測に用いる複数の参照画像間の類似度を１画素単位で算出し、予測画像の予測精度を１画素単位で評価する一例を説明する。なお、本実施形態では図示しないが、複数の参照画像を用いたイントラ予測（例えば、イントラブロックコピーモード）などを用いる場合には、評価部１１１は、イントラ予測部１０６が複数の参照画像を用いて予測を行う場合、複数の参照画像間の類似度を算出し、予測画像の予測精度を画素単位で評価し、この評価結果を合成部１０５に出力する。合成部１０５は、評価部１１１による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。評価部１１１及び合成部１０５の詳細については後述する。

（１．２．画像復号装置の構成）
図２は、第１実施形態に係る画像復号装置２の構成を示す図である。図２に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化部２０１ａと、逆変換部２０１ｂと、合成部２０２と、イントラ予測部２０３と、ループフィルタ２０４と、フレームメモリ２０５と、動き補償予測部２０６と、切替部２０７と、評価部２０８とを備える。

エントロピー符号復号部２００は、符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２０１ａに出力する。また、エントロピー符号復号部２００は、符号化データを復号し、予測（イントラ予測及び動き補償予測）に関する情報とフィルタ処理に関する情報とを取得し、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力し、フィルタ処理に関する情報をループフィルタ２０４に出力する。

逆量子化部２０１ａ及び逆変換部２０１ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２０１を構成する。

逆量子化部２０１ａは、画像符号化装置１の量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１ａは、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２０１ｂに出力する。

逆変換部２０１ｂは、画像符号化装置１の変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２０１ｂは、逆量子化部２０１ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２０２に出力する。

合成部２０２は、逆変換部２０１ｂから入力された予測残差と、切替部２０７から入力された予測画像とを画素単位で合成することにより、元の対象画像ブロックを再構成し、再構成画像をイントラ予測部２０３及びループフィルタ２０４に出力する。

イントラ予測部２０３は、合成部２０２から入力された再構成符号化ブロック画像を参照し、エントロピー符号復号部２００から入力されたイントラ予測情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、イントラ予測画像を切替部２０７に出力する。

ループフィルタ２０４は、エントロピー符号復号部２００から入力されたフィルタ処理情報に基づいて、合成部２０２から入力された再構成画像に対して、画像符号化装置１のループフィルタ１０７が行うフィルタ処理と同様なフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ２０５に出力する。

フレームメモリ２０５は、ループフィルタ２０４から入力された再構成画像をフレーム単位で記憶する。フレームメモリ２０５は、記憶した再構成画像を表示順に画像復号装置２の外部に出力する。

動き補償予測部２０６は、フレームメモリ２０５に記憶された１又は複数の再構成画像を参照画像として用いて、エントロピー符号復号部２００から入力された動きベクトル情報に従って動き補償予測（インター予測）を行うことにより、動き補償予測画像を生成し、動き補償予測画像を切替部２０７に出力する。

切替部２０７は、イントラ予測部２０３から入力されたイントラ予測画像と、動き補償予測部２０６から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を合成部２０２に出力する。

評価部２０８は、画像符号化装置１の評価部１１１と同様な動作を行う。具体的には、評価部２０８は、動き補償予測部２０６が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、評価結果の情報を合成部２０２に出力する。合成部２０２は、評価部２０８による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。

（１．３．動き補償予測）
図３は、動き補償予測の一例を示す図である。図４は、動き補償予測により生成される予測画像の一例を示す図である。動き補償予測のシンプルな例として、ＨＥＶＣで用いられている双予測、特に前方向と後方向予測（両方向予測）を用いる場合について説明する。

図３に示すように、動き補償予測は、対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図３の例では、ｔフレーム目の画像中のブロックの動き補償予測を、ｔ−１フレーム目とｔ＋１フレーム目とを参照して行う。動き補償は、ｔ−１及びｔ＋１フレーム目の参照フレーム内から、対象画像ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

検出された箇所が参照画像である。対象画像ブロックに対する参照画像の相対位置を示す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１において、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置２は、画像符号化装置１により生成された動きベクトルの情報に基づいて参照画像を検出する。

図３及び図４に示すように、動き補償によって検出された参照画像１及び２は、対象画像ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、対象画像ブロック（符号化対象画像）に類似した画像となる。図４の例では、対象画像ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

かかる参照画像１及び２から予測画像を生成する。なお、予測処理は、一般的に、特徴は異なるが部分的に類似する参照画像１及び２を平均化することによって、それぞれの参照画像の特徴を備えた予測画像を生成する。但し、より高度な処理、例えば、ローパスフィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像１に比べて信号が半減している。

参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図４に示す予測残差において、星の絵柄のエッジのずれ部分と丸の絵柄のずれた部分（斜線部）とにのみ大きな差分が生じているが、それ以外の部分については、精度よく予測が行えており、差分が少なくなる（図４の例では差分が生じていない）。

差分が生じていない部分（星の絵柄の非エッジ部分及び背景部分）は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が著しく低い部分である。よって、参照画像１と参照画像２との間の類似度が著しく低い部分は、予測の精度が低く、大きな差分（残差）を生じさせることが分かる。

このように差分が大きい部分と差分が無い部分とが混在した予測残差を直交変換し、量子化による変換係数の劣化が生じると、かかる変換係数の劣化が逆量子化及び逆直交変換を経て画像（ブロック）内に全体的に伝搬する。

そして、逆量子化及び逆直交変換によって復元された予測残差（復元予測残差）を予測画像に合成して対象画像ブロックを再構成すると、図４に示す星の絵柄の非エッジ部分及び背景部分のように高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。

（１．４．評価部及び合成部）
画像符号化装置１において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、合成部１０５は、評価部１１１による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。

同様に、画像復号装置２において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、合成部２０２は、評価部２０８による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。

これにより、高精度な予測が行われる部分について、予測画像と合成する復元予測残差を抑制することが可能となるため、高精度な予測が行われる部分に対して復元予測残差における画質の劣化が伝搬することを抑制することができる。よって、複数の参照画像を用いて動き補償予測を行う場合において画質を向上し、符号化効率を改善することができる。

図５は、画像符号化装置１における評価部１１１の構成の一例を示す図である。図５に示すように、評価部１１１は、差分算出部（減算部）１１１ａと、正規化部１１１ｂと、重み調整部１１１ｃとを備える。

差分算出部１１１ａは、参照画像１と参照画像２との間の差分値の絶対値を画素単位で算出し、算出した差分値の絶対値を正規化部１１１ｂに出力する。差分値の絶対値は、類似度を示す値の一例である。差分値の絶対値が小さいほど類似度が高く、差分値の絶対値が大きいほど類似度が低いといえる。差分算出部１１１ａは、各参照画像に対してフィルタ処理を行ったうえで差分値の絶対値を算出してもよい。差分算出部１１１ａは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。

正規化部１１１ｂは、差分算出部１１１ａから入力された各画素の差分値を、ブロック内で差分値の絶対値が最大となる画素の差分値の絶対値（すなわち、ブロック内の差分値の絶対値の最大値）で正規化し、正規化した差分値の絶対値である正規化差分値を重み調整部１１１ｃに出力する。第１実施形態において、正規化差分値は、合成部１０５において予測画像と合成する復元予測残差を画素単位で重み付けするための重みとして用いられる。

重み調整部１１１ｃは、量子化の粗さを定める量子化パラメータ（Ｑｐ）に基づいて、正規化部１１１ｂから入力された正規化差分値（重み）を調整し、この重みを出力する。量子化の粗さが大きいほど復元予測残差の劣化度が高いため、重み調整部１１１ｃは、量子化パラメータ（Ｑｐ）に基づいて正規化差分値（重み）を調整することにより、劣化度を考慮して復元予測残差の重み付けを行うことができる。

評価部１１１が出力する各画素（ｉｊ）の重みＷｉｊは、例えば下記の式（１）のように表現することができる。

Wij = (abs(Xij-Yij)/maxD × Scale(Qp)) ・・・（１）
式（１）において、Ｘｉｊは参照画像１の画素ｉｊの画素値であり、Ｙｉｊは参照画像２の画素ｉｊの画素値であり、ａｂｓは絶対値を得る関数である。図５に示す差分算出部１１１ａでは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）を出力する。

また、式（１）において、ｍａｘＤは、ブロック内の差分値ａｂｓ（Ｘｉｊ−Ｙｉｊ）の最大値である。ｍａｘＤを求めるために、ブロック内のすべての画素について差分値を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値などで代用してもよく、例えば、その値以上が存在する場合は、使用した最大値でクリップすることで、ｍａｘＤの正規化を行ってもよい。或いは、量子化パラメータ（Ｑｐ）とｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。正規化部１１１ｂは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤを出力する。

また、式（１）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐが大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。さらに、処理を簡略化するため、Ｓｃａｌｅ（ＱＰ）を１．０などシステムに応じて設計された固定値としてもよい。

重み調整部１１１ｃは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）を重みＷｉｊとして出力する。また、このＷｉｊは、システムに応じて設計される感度関数によって調整された重み付けを出力しても良い。例えば、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）＝ｗｉｊとし、Ｗｉｊ＝Ｃｌｉｐ（ｗｉｊ，１．０，０．０）だけではなく、Ｗｉｊ＝Ｃｌｉｐ（ｗｉｊ＋ｏｆｆｓｅｔ，１．０，０．０）と例えばQPなどの制御情報に応じたオフセットをつけて感度を調整してもよい。なお、Ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。

このようにして算出された重みＷｉｊは、０から１．０までの範囲内の値となる。基本的には、重みＷｉｊは、参照画像間の画素ｉｊの差分値の絶対値が大きい（すなわち、予測精度が低い）場合に１．０に近づき、参照画像間の画素ｉｊの差分値の絶対値が小さい（すなわち、予測精度が高い）場合に０に近づく。評価部１１１は、ブロック内の各画素ｉｊの重みＷｉｊからなるマップ情報をブロック単位で合成部１０５に出力する。

なお、評価部１１１は、複数の参照画像を用いる動き補償予測を適用する場合にのみ評価（重みＷｉｊの算出）を行い、それ以外のモード、例えば単方向予測や複数参照画像を用いないイントラ予測処理においては、評価を行わず重みＷｉｊとして一律に１．０を設定する。

図６は、画像符号化装置１における合成部１０５の構成の一例を示す図である。図６に示すように、合成部１０５は、重み付け部（乗算部）１０５ａと、加算部１０５ｂとを備える。

重み付け部１０５ａは、評価部１１１から入力されたマップ情報（重みＷｉｊ）を用いて、逆変換部１０４ｂから入力された復元予測残差に対して画素単位で重み付けを行い、重み付け後の復元予測残差を加算部１０５ｂに出力する。

加算部１０５ｂは、重み付け部１０５ａから入力された重み付け後の復元予測残差を、動き補償予測部１０９から切替部１１０を介して入力された予測画像に画素単位で加算することにより再構成画像を生成し、生成した再構成画像を出力する。

このような合成部１０５の処理は、例えば下記の式（２）のように表現することができる。

Recij = Dij × Wij + Pij ・・・（２）
式（２）において、Ｒｅｃｉｊは再構成画像における画素ｉｊの画素値であり、Ｄｉｊは復元予測残差における画素ｉｊの画素値であり、Ｗｉｊはマップ情報における画素ｉｊの重みであり、Ｐｉｊは予測画像における画素ｉｊの画素値である。

なお、合成部１０５は、複数の参照画像を用いる動き補償予測を適用する場合にのみ重み付け処理を行い、それ以外のモード、例えば単方向予測やイントラ予測処理においては、重み付け処理を行わない。

また、画像符号化装置１における評価部１１１及び合成部１０５について説明したが、画像復号装置２における評価部２０８及び合成部２０２は、画像符号化装置１における評価部１１１及び合成部１０５と同様に構成される。具体的には、画像復号装置２における評価部２０８は、差分算出部２０８ａと、正規化部２０８ｂと、重み調整部２０８ｃとを備える。画像復号装置２における合成部２０２は、重み付け部（乗算部）２０２ａと、加算部２０２ｂとを備える。

（１．５．画像符号化の動作）
図７は、第１実施形態に係る画像符号化装置１における処理フローを示す図である。

図７に示すように、ステップＳ１１０１において、動き補償予測部１０９は、複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。動き補償予測情報は、エントロピー符号化部１０３で符号化データの一部として符号化され、エントロピー符号化部１０３は、動き補償予測情報を含む符号化データを出力する。

ステップＳ１１０２において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、あるいは複数の画素の予測精度を平均化した部分画像単位で評価し、ブロック内の各画素あるいは部分画像の重みからなるマップ情報を生成する。

ステップＳ１１０３において、減算部１０１は、対象画像ブロックと予測画像との間の画素単位での差分を示す予測残差を算出する。

ステップＳ１１０４において、変換・量子化部１０２は、減算部１０１が算出した予測残差に対して直交変換及び量子化を行うことにより、量子化変換係数を生成する。

ステップＳ１１０５において、エントロピー符号化部１０３は、量子化変換係数をエントロピー符号化して符号化データを出力する。

ステップＳ１１０６において、逆量子化・逆変換部１０４は、量子化変換係数に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ１１０７において、合成部１０５は、評価部１１１による評価の結果（マップ情報）に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。具体的には、合成部１０５は、復元予測残差に対して、上述したような画素単位での重み付け処理を行う。

ステップＳ１１０８において、合成部１０５は、重み付け後の復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ１１０９において、ループフィルタ１０７は、再構成画像に対してフィルタ処理を行う。また、ループフィルタに関する情報（オフセットおよびオフセットを適用するカテゴリ情報など）は、エントロピー符号化部１０３で符号化データの一部として符号化され、エントロピー符号化部１０３は、ループフィルタに関する情報を含む符号化データを出力する。

ステップＳ１１１０において、フレームメモリ１０８は、フィルタ処理後の再構成画像をフレーム単位で記憶する。

（１．６．画像復号の動作）
図８は、第１実施形態に係る画像復号装置２における処理フローを示す図である。

図８に示すように、ステップＳ１２０１において、エントロピー符号復号部２００は、符号化データを復号して量子化変換係数、動きベクトル情報及びループフィルタに関する情報を取得する。

ステップＳ１２０２において、動き補償予測部２０６は、動きベクトル情報に基づく複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。

ステップＳ１２０３において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、ブロック内の各画素あるいは部分画像の重みからなるマップ情報を生成する。

ステップＳ１２０４において、逆量子化・逆変換部２０１は、量子化変換係数に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ１２０５において、合成部２０２は、評価部２０８による評価の結果（マップ情報）に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。具体的には、合成部２０２は、復元予測残差に対して、上述したような画素単位での重み付け処理を行う。

ステップＳ１２０６において、合成部２０２は、重み付け後の復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ１２０７において、ループフィルタ２０４は、再構成画像に対してフィルタ処理を行う。

ステップＳ１２０８において、フレームメモリ２０５は、フィルタ処理後の再構成画像をフレーム単位で記憶して出力する。

（１．７．第１実施形態のまとめ）
画像符号化装置１において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、合成部１０５は、評価部１１１による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。

画像復号装置２において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、合成部２０２は、評価部２０８による評価の結果に基づいて、予測画像と合成する復元予測残差を画素単位で制御する。

これにより、高精度な予測が行われる部分について、予測画像と合成する復元予測残差を抑制することが可能となるため、高精度な予測が行われる部分に対して復元予測残差における画質の劣化が伝搬することを防止することができる。よって、複数の参照画像を用いて動き補償予測を行う場合において画質を向上し、符号化効率を改善することができる。

＜２．第２実施形態＞
第２実施形態に係る画像符号化装置及び画像復号装置について、第１実施形態との相違点を主として説明する。第１実施形態では予測精度の評価結果を信号合成処理において利用していたが、第２実施形態では予測精度の評価結果をフィルタ処理において利用する。

（２．１．画像符号化装置）
図９は、第２実施形態に係る画像符号化装置１の構成を示す図である。図９に示すように、第２実施形態において、評価部１１１は、評価結果（マップ情報）をループフィルタ１０７に出力する。具体的には、評価部１１１は、第１実施形態と同様に、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。

ループフィルタ１０７は、評価部１１１による評価の結果に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。そして、ループフィルタ１０７は、画素単位で制御したオフセット値を、合成部１０５から入力された再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行い、フィルタ処理後の再構成画像をフレームメモリ１０８に出力する。

（２．２．画像復号装置）
図１０は、第２実施形態に係る画像復号装置２の構成を示す図である。図１０に示すように、第２実施形態において、評価部２０８は、評価結果（マップ情報）をループフィルタ２０４に出力する。具体的には、評価部２０８は、第１実施形態と同様に、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。

ループフィルタ２０４は、評価部２０８による評価の結果に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。そして、ループフィルタ２０４は、画素単位で制御したオフセット値を、合成部２０２から入力された再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行い、フィルタ処理後の再構成画像をフレームメモリ２０５に出力する。

（２．３．ループフィルタ）
図１１は、画像符号化装置１におけるループフィルタ１０７の構成の一例を示す図である。図１１に示すように、ループフィルタ１０７は、重み付け部（乗算部）１０７ａと、加算部１０７ｂとを備える。

重み付け部１０７ａは、評価部１１１から入力されたマップ情報（重みＷｉｊ）を用いて、フィルタ強度を定めるオフセット値に対して画素単位で重み付けを行う。フィルタ強度を定めるオフセット値としては、サンプルアダプティブオフセット処理（非特許文献１参照）で用いるオフセット値を用いることができる。上述したように、サンプルアダプティブオフセット処理では、ループフィルタ１０７は、ブロック内の画素の隣接画素との相対的な関係により各画素をカテゴリ分けし、それぞれのカテゴリについて画質を向上させるためのオフセット値を算出する。重み付け部１０７ａは、サンプルアダプティブオフセット処理に用いるオフセット値に対して画素単位で重み付けを行い、重み付け後のオフセット値を加算部１０７ｂに出力する。

加算部１０７ｂは、重み付け部１０７ａから入力された重み付け後のオフセット値を、合成部１０５から入力された再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行い、フィルタ処理後の再構成画像を出力する。

このようなループフィルタ１０７の処理は、例えば下記の式（３）のように表現することができる。

Recij' = Recij + dij × Wij ・・・（３）
式（３）において、Ｒｅｃｉｊ'はフィルタ処理後の再構成画像における画素ｉｊの画素値であり、Ｒｅｃｉｊはフィルタ処理前の再構成画像における画素ｉｊの画素値であり、ｄｉｊは画素ｉｊに付与されるべきオフセット値であり、Ｗｉｊはマップ情報における画素ｉｊの重みである。

なお、ループフィルタ１０７は、複数の参照画像を用いる動き補償予測を適用する場合にのみマップ情報に基づく重み付け処理を行い、それ以外のモード、例えば単方向予測やイントラ予測処理においては、マップ情報に基づく重み付け処理を行わない。

また、画像符号化装置１におけるループフィルタ１０７について説明したが、画像復号装置２におけるループフィルタ２０４は、画像符号化装置１におけるループフィルタ１０７と同様に構成される。具体的には、画像復号装置２におけるループフィルタ２０４は、重み付け部（乗算部）２０４ａと、加算部２０４ｂとを備える。

（２．４．画像符号化の動作）
図１２は、第２実施形態に係る画像符号化装置１における処理フローを示す図である。

図１２に示すように、ステップＳ２１０１において、動き補償予測部１０９は、複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。動き補償予測情報はエントロピー符号化部１０３で符号化データの一部として符号化され、エントロピー符号化部１０３は、動き補償予測情報を含む符号化データを生成し出力する。

ステップＳ２１０２において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、ブロック内の各画素の重みからなるマップ情報を生成する。

ステップＳ２１０３において、減算部１０１は、対象画像ブロックと予測画像との間の画素単位での差分を示す予測残差を算出する。

ステップＳ２１０４において、変換・量子化部１０２は、減算部１０１が算出した予測残差に対して直交変換及び量子化を行うことにより、量子化変換係数を生成する。

ステップＳ２１０５において、エントロピー符号化部１０３は、量子化変換係数をエントロピー符号化して符号化データを出力する。

ステップＳ２１０６において、逆量子化・逆変換部１０４は、量子化変換係数に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ２１０７において、合成部１０５は、復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ２１０８において、ループフィルタ１０７は、評価部１１１による評価の結果（マップ情報）に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。具体的には、ループフィルタ１０７は、上述したように、フィルタ強度を定めるオフセット値に対して画素単位で重み付けを行う。また、ループフィルタに関する情報（オフセットおよびオフセットを提供するカテゴリ情報など）は、エントロピー符号化部１０３で符号化データの一部として符号化され、エントロピー符号化部１０３は、ループフィルタに関する情報を含む符号化データを出力する。

ステップＳ２１０９において、ループフィルタ１０７は、重み付け後のオフセット値を再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行い、フィルタ処理後の再構成画像を出力する。

ステップＳ２１１０において、フレームメモリ１０８は、フィルタ処理後の再構成画像をフレーム単位で記憶する。

（２．５．画像復号の動作）
図１３は、第２実施形態に係る画像復号装置２における処理フローを示す図である。

図１３に示すように、ステップＳ２２０１において、エントロピー符号復号部２００は、符号化データを復号して量子化変換係数、動きベクトル情報及びループフィルタに関する情報を取得する。

ステップＳ２２０２において、動き補償予測部２０６は、動きベクトル情報に基づく複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。

ステップＳ２２０３において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、ブロック内の各画素の重みからなるマップ情報を生成する。

ステップＳ２２０４において、逆量子化・逆変換部２０１は、量子化変換係数に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ２２０５において、合成部２０２は、復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ２２０６において、ループフィルタ２０４は、評価部２０８による評価の結果（マップ情報）に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。具体的には、ループフィルタ２０４は、上述したように、フィルタ強度を定めるオフセット値に対して画素単位で重み付けを行う。

ステップＳ２２０７において、ループフィルタ２０４は、重み付け後のオフセット値を再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行い、フィルタ処理後の再構成画像を出力する。

ステップＳ２２０８において、フレームメモリ２０５は、フィルタ処理後の再構成画像をフレーム単位で記憶して出力する。

（２．６．第２実施形態のまとめ）
画像符号化装置１において、評価部１１１は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、ループフィルタ１０７は、評価部１１１による評価の結果に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。

画像復号装置２において、評価部２０８は、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。そして、ループフィルタ２０４は、評価部２０８による評価の結果に基づいて、フィルタ処理におけるフィルタ強度を画素単位で制御する。

これにより、高精度な予測が行われる部分について、フィルタ強度を弱めて、フィルタ処理がかかりにくくすることが可能となる。また、高精度な予測が行われない部分について、フィルタ強度を強めて、フィルタ処理がかかり易くすることが可能となる。よって、複数の参照画像を用いて動き補償予測を行う場合において画質を向上し、符号化効率を改善することができる。

＜３．第１及び第２実施形態の変更例＞
上述した第１実施形態及び第２実施形態において、評価部１１１が、予測に用いる複数の参照画像間の類似度を１画素ごとに算出して予測画像の予測精度を１画素ごとに評価する一例を説明した。また、上述した第１実施形態において、合成部１０５が、評価部１１１による評価の結果に基づいて、予測画像と合成する復元予測残差を１画素ごとに制御する一例を説明した。また、上述した第２実施形態において、ループフィルタ１０７が、評価部１１１による評価の結果に基づいて、フィルタ処理におけるフィルタ強度を１画素ごとに制御する一例を説明した。

しかしながら、このような１画素単位での処理に代えて、複数の画素からなるグループ（サブブロック）単位での処理を用いてもよい。本変更例において、対象画像ブロックをＮ個のサブブロックに分割する（Ｎ：２以上の整数）。ここで、各サブブロックは、ｍ×ｎ画素からなり、ｍ及びｎのうち少なくとも一方は２以上の整数である。評価部１１１は、上述した実施形態の方法によって各画素（ｉｊ）の重みＷｉｊを算出した後、ｋ番目のサブブロックごとに重みＷｉｊの平均値Ｗｋを算出する（但し、０≦ｋ≦Ｎ）。

そして、上述した第１実施形態においては、評価部１１１は、サブブロックごとに算出した重み平均値Ｗｋを合成部１０５に出力する。合成部１０５は、重み平均値Ｗｋを用いて、予測画像と合成する復元予測残差をサブブロックごとに制御する。具体的には、合成部１０５は、評価部１１１から入力された重み平均値Ｗｋを用いて、逆変換部１０４ｂから入力された復元予測残差に対してサブブロック単位で重み付けを行い、重み付け後の復元予測残差を予測画像に画素単位で加算することにより再構成画像を生成する。なお、画像復号装置２においても同様な処理を行う。

上述した第２実施形態においては、評価部１１１は、サブブロックごとに算出した重み平均値Ｗｋをループフィルタ１０７に出力する。ループフィルタ１０７は、重み平均値Ｗｋを用いて、フィルタ処理におけるフィルタ強度をサブブロックごとに制御する。具体的には、ループフィルタ１０７は、サンプルアダプティブオフセット処理に用いるオフセット値に対してサブブロック単位で重み付けを行い、重み付け後のオフセット値を再構成画像に画素単位で加算することによりフィルタ処理（サンプルアダプティブオフセット処理）を行う。なお、画像復号装置２においても同様な処理を行う。

＜３．第３実施形態＞
（３．１．画像符号化装置の構成）
図１６は、第３実施形態に係る画像符号化装置１の構成を示す図である。図１６に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１０１と、変換部１０２ａと、量子化部１０２ｂと、エントロピー符号化部１０３と、逆量子化部１０４ａと、逆変換部１０４ｂと、合成部１０５と、イントラ予測部１０６と、ループフィルタ１０７と、フレームメモリ１０８と、動き補償予測部１０９と、切替部１１０と、評価部１１１とを備える。

ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、画像ブロックを減算部１０１（及び動き補償予測部１０９）に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、かかる画像ブロックを対象画像ブロックと称する。

減算部１０１は、ブロック分割部１００から入力された対象画像ブロックと対象画像ブロックに対応する予測画像（予測画像ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１０１は、符号化対象ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１０２ａに出力する。なお、予測画像は、後述するイントラ予測部１０６又は動き補償予測部１０９から切替部１１０を介して減算部１０１に入力される。

変換部１０２ａ及び量子化部１０２ｂは、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１０２を構成する。

変換部１０２ａは、減算部１０１から入力された予測残差に対して直交変換を行って周波数成分ごとに変換係数を算出し、算出した変換係数を量子化部１０２ｂに出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。直交変換は画素領域の残差信号を周波数領域に変換する処理である。

量子化部１０２ｂは、変換部１０２ａから入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化された変換係数（量子化変換係数）を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１０２ｂは、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１０３及び逆量子化部１０４ａに出力する。

エントロピー符号化部１０３は、量子化部１０２ｂから入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。エントロピー符号化は、２次元に配列された変換係数を所定のスキャン順で読み出して１次元の変換係数列に変換するシリアライズという処理を含む。ここで、所定のスキャン順で最後の有意係数（非ゼロ係数）を終了位置として、この終了位置までの変換係数を効率的に符号化している。

なお、エントロピー符号化部１０３には、イントラ予測部１０６及び動き補償予測部１０９から予測に関する情報が入力され、ループフィルタ１０７からフィルタ処理に関する情報が入力される。エントロピー符号化部１０３は、これらの情報のエントロピー符号化も行う。

逆量子化部１０４ａ及び逆変換部１０４ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１０４を構成する。

逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０４ａは、量子化部１０２ｂから入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１０４ｂに出力する。

逆変換部１０４ｂは、変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１０２ａが離散コサイン変換を行った場合には、逆変換部１０４ｂは逆離散コサイン変換を行う。逆変換部１０４ｂは、逆量子化部１０４ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１０５に出力する。

合成部１０５は、逆変換部１０４ｂから入力された復元予測残差を切替部１１０から入力された予測画像と画素単位で合成する。合成部１０５は、復元予測残差の各画素値と予測画像の各画素値を加算して対象画像ブロックを再構成し、再構成した対象画像ブロックである再構成画像をイントラ予測部１０６及びループフィルタ１０７に出力する。

イントラ予測部１０６は、合成部１０５から入力された再構成画像を用いてイントラ予測を行ってイントラ予測画像を生成し、イントラ予測画像を切替部１１０に出力する。また、イントラ予測部１０６は、選択したイントラ予測モードの情報等をエントロピー符号化部１０３に出力する。

ループフィルタ１０７は、合成部１０５から入力された再構成画像に対して、後処理としてのフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ１０８に出力する。また、ループフィルタ１０７は、フィルタ処理に関する情報をエントロピー符号化部１０３に出力する。HEVC規格において、フィルタ処理には、デブロッキングフィルタ処理とサンプルアダプティブオフセット処理とが含まれる。

フレームメモリ１０８は、ループフィルタ１０７から入力された再構成画像をフレーム単位で記憶する。

動き補償予測部１０９は、フレームメモリ１０８に記憶された１又は複数の再構成画像を参照画像として用いるインター予測を行う。具体的には、動き補償予測部１０９は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいて動き補償予測画像を生成し、動き補償予測画像を切替部１１０に出力する。また、動き補償予測部１０９は、動きベクトルに関する情報をエントロピー符号化部１０３に出力する。

切替部１１０は、イントラ予測部１０６から入力されたイントラ予測画像と、動き補償予測部１０９から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を減算部１０１及び合成部１０５に出力する。

評価部１１１は、動き補償予測部１０９が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を周波数成分ごとに評価し、評価結果の情報をエントロピー符号化部１０３に出力する。本実施例形態では図示しないが、複数の参照画像を用いたイントラ予測（例えば、イントラブロックコピーモード）などを用いる場合には、評価部１１１は、イントラ予測部１０６が複数の参照画像を用いて予測を行う場合、複数の参照画像間の類似度を周波数成分ごとに評価し、この評価結果をエントロピー符号化部１０３に出力する。エントロピー符号化部１０３は、評価部１１１による評価の結果に基づいて、量子化部１０２ｂから入力された変換係数を並び替えて符号化する。評価部１１１及びエントロピー符号化部１０３の詳細については後述する。

（３．２．画像復号装置の構成）
図１７は、第３実施形態に係る画像復号装置２の構成を示す図である。図１７に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化部２０１ａと、逆変換部２０１ｂと、合成部２０２と、イントラ予測部２０３と、ループフィルタ２０４と、フレームメモリ２０５と、動き補償予測部２０６と、切替部２０７と、評価部２０８とを備える。

エントロピー符号復号部２００は、符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２０１ａに出力する。また、エントロピー符号復号部２００は、符号化データを復号し、予測（イントラ予測及び動き補償予測）に関する情報とフィルタ処理に関する情報とを取得し、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力し、フィルタ処理に関する情報をループフィルタ２０４に出力する。

逆量子化部２０１ａ及び逆変換部２０１ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２０１を構成する。

逆量子化部２０１ａは、画像符号化装置１の量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１ａは、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２０１ｂに出力する。

逆変換部２０１ｂは、画像符号化装置１の変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２０１ｂは、逆量子化部２０１ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部２０２に出力する。

合成部２０２は、逆変換部２０１ｂから入力された予測残差と、切替部２０７から入力された予測画像とを画素単位で合成することにより、元の対象画像ブロックを再構成し、再構成画像をイントラ予測部２０３及びループフィルタ２０４に出力する。

イントラ予測部２０３は、合成部２０２から入力された再構成ブロック画像を参照し、エントロピー符号復号部２００から入力されたイントラ予測情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、イントラ予測画像を切替部２０７に出力する。

ループフィルタ２０４は、エントロピー符号復号部２００から入力されたフィルタ処理情報に基づいて、合成部２０２から入力された再構成画像に対して、画像符号化装置１のループフィルタ１０７が行うフィルタ処理と同様なフィルタ処理を行い、フィルタ処理後の再構成画像をフレームメモリ２０５に出力する。

フレームメモリ２０５は、ループフィルタ２０４から入力された再構成画像をフレーム単位で記憶する。フレームメモリ２０５は、記憶した再構成画像を、エントロピー符号化部１０３の処理と同様に表示順に画像復号装置２の外部に出力する。

動き補償予測部２０６は、フレームメモリ２０５に記憶された１又は複数の再構成画像を参照画像として用いて、エントロピー符号復号部２００から入力された動きベクトル情報に従って動き補償予測（インター予測）を行うことにより、動き補償予測画像を生成し、動き補償予測画像を切替部２０７に出力する。

切替部２０７は、イントラ予測部２０３から入力されたイントラ予測画像と、動き補償予測部２０６から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を合成部２０２に出力する。

評価部２０８は、画像符号化装置１の評価部１１１と同様な動作を行う。具体的には、評価部２０８は、動き補償予測部２０６が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を周波数成分ごとに評価し、評価結果の情報をエントロピー符号復号部２００に出力する。エントロピー符号復号部２００は、符号化データを復号して周波数成分ごとに変換係数を取得し、評価部２０８による評価の結果に基づいて変換係数を並べ替えて出力する。評価部２０８及びエントロピー符号復号部２００の詳細については後述する。

（３．３．動き補償予測）
図３は、動き補償予測の一例を示す図である。図４は、動き補償予測により生成される予測画像の一例を示す図である。動き補償予測のシンプルな例として、ＨＥＶＣで用いられている双予測、特に前方向と後方向予測（両方向予測）を用いる場合について説明する。

図３に示すように、動き補償予測は、対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図３の例では、ｔフレーム目の画像中のブロックの動き補償予測を、ｔ−１フレーム目とｔ＋１フレーム目とを参照して行う。動き補償は、ｔ−１及びｔ＋１フレーム目の参照フレーム内から、対象画像ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

検出された箇所が参照画像である。対象画像ブロックに対する参照画像の相対位置を示す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１において、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置２は、画像符号化装置１により生成された動きベクトルの情報に基づいて参照画像を検出する。

図３及び図４に示すように、動き補償によって検出された参照画像１及び２は、対象画像ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、対象画像ブロック（符号化対象画像）に類似した画像となる。図４の例では、対象画像ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

かかる参照画像１及び２から予測画像を生成する。なお、予測処理は、一般的に、特徴は異なるが、部分的に類似する参照画像１及び２を平均化することによって、それぞれの参照画像の特徴を備えたより予測の精度の高い画像を生成することが出来る。但し、より高度な処理、例えば、ローパスフィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、図に示す参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、参照画像2では予測できない円の絵柄を予測に反映することが出来る。しかしながら予測画像における円の絵柄は、参照画像１に比べて信号が半減している。

参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図４に示す予測残差において、星の絵柄のエッジのずれ部分と丸の絵柄のずれた部分（斜線部）とにのみ大きな差分が生じているが、それ以外の部分については、精度よく予測が行えており、差分が少なくなる（図４の例では差分が生じていない）。

差分が生じていない部分（星の絵柄の非エッジ部分及び背景部分）は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が著しく低い部分である。よって、参照画像１と参照画像２との間の類似度が著しく低い部分は、予測の信頼性が低く、大きな差分（残差）を生じさせる可能性が高いことが分かる。

このように差分が大きい部分と差分が無い部分とが混在した予測残差を直交変換すると、変換係数の量子化による信号劣化が予測精度の高低にかかわらず一様に多重されるため、符号化品質が低下する。

第３実施形態において、評価部１１１は、複数の参照画像間の類似度を周波数成分ごとに評価し、評価結果の情報をエントロピー符号化部１０３に出力する。エントロピー符号化部１０３は、評価部１１１による評価の結果に基づいて、量子化部１０２ｂから入力された変換係数を並び替えて符号化する。

ここで、複数の参照画像間の類似度の低い周波数成分は、大きな電力を有するとみなすことができる。一方、複数の参照画像間の類似度の高い周波数成分は、電力がゼロに近くなるとみなすことができる。よって、評価部111によって決定される変換係数の並べ替え順によれば、エントロピー符号化部１０３が類似度の低い周波数成分の変換係数を集中させる（まとめる）ように並び替えることにより、変換係数を効率的に符号化することができる。

したがって、直交変換後の残差画像において低周波数成分に電力が集中せずに変換係数の電力集中度が低下する場合であっても、効率的なエントロピー符号化を行うことを可能とし、符号化効率を改善することができる。

（３．４．評価部）
図１８は、画像符号化装置１における評価部１１１の構成の一例を示す図である。図１８に示すように、評価部１１１は、第１変換部１１１ａと、第２変換部１１１ｂと、類似度算出部１１１ｃと、正規化部１１１ｄとを備える。なお、評価部１１１が正規化部１１１ｄを備える一例を説明するが、本発明は類似度の大小にもとづく係数の符号化順を決定することが目的であるため、評価部１１１は必ずしも正規化部１１１ｄを備えていなくてもよい。

第１変換部１１１ａは、動き補償予測部１０９から入力された参照画像１（第１参照画像）に対して直交変換を行うことにより、周波数成分ごとに第１変換係数を算出し、算出した第１変換係数を類似度算出部１１１ｃに出力する。

第２変換部１１１ｂは、動き補償予測部１０９から入力された参照画像２（第２参照画像）に対して直交変換を行うことにより、周波数成分ごとに第２変換係数を算出し、算出した第２変換係数を類似度算出部１１１ｃに出力する。

類似度算出部１１１ｃは、第１変換部１１１ａから入力された第１変換係数と第２変換部１１１ｂから入力された第２変換係数との類似度を周波数成分ごとに算出し、算出した類似度を正規化部１１１ｄに出力する。類似度としては例えば差分値の絶対値を用いることができる。差分値の絶対値が小さいほど類似度が高く、差分値の絶対値が大きいほど類似度が低いといえる。類似度算出部１１１ｃは、各参照画像に対してフィルタ処理を行ったうえで差分値を算出してもよい。類似度算出部１１１ｃは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。以下においては、類似度として差分値の絶対値を用いる一例について説明する。

正規化部１１１ｄは、類似度算出部１１１ｃから入力された変換係数間の差分値の絶対値を、ブロック内で差分値の絶対値が最大となる周波数成分の大きさ（すなわち、ブロック内の差分値の絶対値の最大値）で正規化して出力する。正規化された差分値は、エントロピー符号化部１０３において変換係数の符号化順を決定するための重要度として用いられる。変換係数間の絶対値が小さいほど類似度が高く、予測精度も高くなるため、予測誤差信号の変換係数の符号化における重要度が低い。一方、絶対値が大きい係数成分ほど類似度が低く、予測精度も低くなるため、予測誤差信号の変換係数の符号化における重要度が高い係数とみなすことが出来る。このため、エントロピー符号化部１０３は、重要度が高い周波数成分の変換係数を優先的に符号化する。

正規化部１１１ｄは、量子化の粗さを定める量子化パラメータ（Ｑｐ）と、変換係数ごとに異なる量子化値が適用される量子化行列との少なくとも一方に基づいて、正規化部１１１ｄから入力された正規化差分値（重要度）を調整し、調整後の重要度を出力してもよい。量子化の粗さが大きいほど復元予測残差の劣化度が高いため、量子化パラメータ（Ｑｐ）や量子化行列の量子化値に基づいて正規化差分値を調整することにより、劣化度を考慮して重要度を設定することができる。

評価部１１１が出力する各周波数成分（ｉｊ）の重要度Ｒｉｊは、例えば下記の式（４）のように表現することができる。

Rij = (abs(Xij-Yij)/maxD × Scale(Qp)) ・・・（４）
式（４）において、Ｘｉｊは参照画像１の周波数成分ｉｊの変換係数であり、Ｙｉｊは参照画像２の周波数成分ｉｊの変換係数であり、ａｂｓは絶対値を得る関数である。類似度算出部１１１ｃは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）を出力する。

また、式（４）において、ｍａｘＤは、ブロック内の差分値ａｂｓ（Ｘｉｊ−Ｙｉｊ）の最大値である。ｍａｘＤを求めるために、ブロック内のすべての周波数成分について変換係数間の差分値を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値などで代用してもよく、例えば、その値以上が存在する場合は、使用した最大値でクリップすることで、ｍａｘＤの正規化を行ってもよい。或いは、量子化パラメータ（Ｑｐ）や量子化行列の量子化値と、ｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）や量子化行列の量子化値からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。正規化部１１１ｄは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤを出力する。

また、式（４）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）や量子化行列の量子化値に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐや量子化行列の量子化値が大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。さらに、処理を簡略化するため、Ｓｃａｌｅ（ＱＰ）を１．０などシステムに応じて設計された固定値としてもよい。

正規化部１１１ｄは、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）を重要度Ｒｉｊとして出力する。また、このＲｉｊは、システムに応じて設計される感度関数によって調整された重み付けを出力しても良い。例えば、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）＝ｒｉｊとし、Ｒｉｊ＝Ｃｌｉｐ（ｒｉｊ，１．０，０．０）だけではなく、Ｒｉｊ＝Ｃｌｉｐ（ｒｉｊ＋ｏｆｆｓｅｔ，１．０，０．０）とオフセットをつけて感度を調整してもよい。なお、Ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。

このようにして算出された重要度Ｒｉｊは、０から１．０までの範囲内の値となる。基本的には、重要度Ｒｉｊは、周波数成分ｉｊの変換係数間の差分値が大きい（すなわち、予測精度が低い）場合に１．０に近づき、小さい（すなわち、予測精度が高い）場合に０に近づく。評価部１１１は、ブロック内の各周波数成分ｉｊの重要度Ｒｉｊからなるマップ情報（以下、「重要度マップ」と称する）をエントロピー符号化部１０３に出力する。

なお、評価部１１１は、複数の参照画像を用いる動き補償予測を適用する場合にのみ評価（重要度Ｒｉｊの算出）を行い、それ以外のモード、例えば単方向予測や、複数参照画像を用いないイントラ予測処理においては、評価（重要度Ｒｉｊの算出）を行わない、又は重要度Ｒｉｊとして一律に１．０を設定する。

また、画像復号装置２における評価部２０８は、画像符号化装置１における評価部１１１と同様に構成される。具体的には、画像復号装置２における評価部２０８は、第１変換部２０８ａと、第２変換部２０８ｂと、類似度算出部２０８ｃと、正規化部２０８ｄとを備える。画像復号装置２における評価部２０８は、ブロック内の各周波数成分ｉｊの重要度Ｒｉｊからなる重要度マップをエントロピー符号復号部２００に出力する。

（３．５．エントロピー符号化部）
図１９は、エントロピー符号化部１０３の構成の一例を示す図である。図１９に示すように、エントロピー符号化部１０３は、ソート部１０３ａと、シリアライズ部１０３ｂと、符号化部１０３ｃとを備える。ソート部１０３ａ及びシリアライズ部１０３ｂは、並び替え部を構成する。

ソート部１０３ａは、評価部１１１から入力された重要度マップ中の重要度Ｒｉｊを高い順に並べ替える。重要度マップにおいて重要度Ｒｉｊは２次元に配列されているため、ソート部１０３ａは、例えば重要度マップを予め定めたスキャン順によりシリアライズして重要度列Ｒ［ｉ］とし、インデックスラベルｉを記憶する。そして、ソート部１０３ａは、重要度列Ｒ［ｉ］中の重要度Ｒｉｊが高い順にインデックスラベルｉを並び替え、重要度順に並び替えたインデックスラベルｉをシリアライズ部１０３ｂに出力する。

シリアライズ部１０３ｂは、量子化部１０２ｂから入力された変換係数を所定のスキャン順で読み出して変換係数列を符号化部１０３ｃに出力するシリアライズ処理を行う。量子化部１０２ｂから入力された変換係数は２次元に配列されているため、シリアライズ部１０３ｂは、例えば２次元に配列された変換係数を所定のスキャン順でシリアライズして変換係数列Ｃ［ｉ］とする。ここで、シリアライズ部１０３ｂとソート部１０３ａとで同じスキャン順を用いる。そして、シリアライズ部１０３ｂは、ソート部１０３ａから入力されたインデックスラベルｉに基づいて、変換係数列Ｃ［ｉ］中の変換係数を重要度が高い順に並び替えて出力する。すなわち、シリアライズ部１０３ｂは、評価部１１１による評価の結果に基づいて、変換係数間の類似度の低い周波数成分から順に変換係数が変換係数列に含まれるようにシリアライズ処理を行う。これにより、有意係数（非ゼロ係数）をまとめることができる。

或いは、シリアライズ部１０３ｂは、重要度が高い順に変換係数をスキャンするようにスキャン順を決定し、決定したスキャン順でスキャンを行うことにより、重要度が高い順に変換係数が並ぶ変換係数列を出力してもよい。

符号化部１０３ｃは、シリアライズ部１０３ｂから入力された変換係数列中の変換係数を符号化して符号化データを出力する。符号化部１０３ｃは、シリアライズ部１０３ｂから入力された変換係数列の最後の有意係数を終了位置として、終了位置までの変換係数を符号化する。上記のように有意係数をまとめることにより、終了位置までの変換係数の数を少なくし、符号化すべき変換係数列の長さを短くすることができる。

なお、エントロピー符号化部１０３は、複数の参照画像を用いる動き補償予測を適用する場合にのみ重要度による並び替え処理を行い、それ以外のモード、例えば単方向予測やイントラ予測処理においては、重要度による並び替え処理を行わなくてもよい。

（３．６．エントロピー符号復号部）
図２０は、エントロピー符号復号部２００の構成の一例を示す図である。図２０に示すように、エントロピー符号復号部２００は、復号部２００ａと、ソート部２００ｂと、デシリアライズ部２００ｃとを備える。ソート部２００ｂ及びデシリアライズ部２００ｃは、並び替え部を構成する。

復号部２００ａは、画像符号化装置１により生成された符号化データを復号し、変換係数列（量子化された変換係数）と、予測（イントラ予測及び動き補償予測）に関する情報とを取得し、変換係数列をデシリアライズ部２００ｃに出力し、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力する。

ソート部２００ｂは、評価部２０８から入力された重要度マップ中の重要度Ｒｉｊを高い順に並べ替える。重要度マップにおいて重要度Ｒｉｊは２次元に配列されているため、ソート部２００ｂは、例えば重要度マップを予め定めたスキャン順によりシリアライズして重要度列Ｒ［ｉ］とし、インデックスラベルｉを記憶する。そして、ソート部２００ｂは、重要度列Ｒ［ｉ］中の重要度Ｒｉｊが高い順にインデックスラベルｉを並び替え、重要度順に並び替えたインデックスラベルｉとこのインデックスラベルｉに対応する座標値（周波数成分ｉｊ）とをデシリアライズ部２００ｃに出力する。

デシリアライズ部２００ｃは、復号部２００ａから入力された変換係数列を、ソート部２００ｂから入力されたインデックスラベルｉと座標値（周波数成分ｉｊ）とに基づいてデシリアライズし、２次元に配列された変換係数を逆量子化部２０１ａに出力する。

なお、エントロピー符号復号部２００は、複数の参照画像を用いる動き補償予測を適用する場合にのみ重要度による並び替え処理を行い、それ以外のモード、例えば単方向予測やイントラ予測処理においては、重要度による並び替え処理を行わなくてもよい。

（３．７．画像符号化フロー）
図２１は、第３実施形態に係る画像符号化装置１における処理フローを示す図である。ここでは、本発明に関連する動作を主として説明し、本発明との関連度の低い動作については説明を省略する。

図２１に示すように、ステップＳ３１０１において、動き補償予測部１０９は、複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。

ステップＳ３１０２において、評価部１１１は、複数の参照画像間の類似度を周波数成分ごとに評価し、ブロック内の各周波数成分の重要度を示す重要度マップを生成する。

ステップＳ３１０３において、減算部１０１は、対象画像ブロックと予測画像との間の画素単位での差分を示す予測残差を算出する。

ステップＳ３１０４において、変換・量子化部１０２は、減算部１０１が算出した予測残差に対して直交変換及び量子化を行うことにより、量子化された変換係数を生成する。

ステップＳ３１０５において、エントロピー符号化部１０３は、評価部１１１による評価の結果（重要度マップ）に基づいて、変換・量子化部１０２（量子化部１０２ｂ）から入力された変換係数を重要度の高い順（すなわち、変換係数間の類似度の低い順）に並び替えて出力する。

ステップＳ３１０６において、エントロピー符号化部１０３は、重要度の高い順に並び替えた変換係数をエントロピー符号化により符号化して符号化データを出力する。

ステップＳ３１０７において、逆量子化・逆変換部１０４は、変換・量子化部１０２（量子化部１０２ｂ）から入力された変換係数に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ３１０８において、合成部１０５は、復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ３１０９において、ループフィルタ１０７は、再構成画像に対してフィルタ処理を行う。

ステップＳ３１１０において、フレームメモリ１０８は、フィルタ処理後の再構成画像をフレーム単位で記憶する。

（３．８．画像復号フロー）
図２２は、第３実施形態に係る画像復号装置２における処理フローを示す図である。ここでは、本発明に関連する動作を主として説明し、本発明との関連度の低い動作については説明を省略する。

図２２に示すように、ステップＳ３２０１において、エントロピー符号復号部２００は、符号化データを復号して動きベクトル情報を取得し、取得した動きベクトル情報を動き補償予測部２０６に出力する。

ステップＳ３２０２において、動き補償予測部２０６は、動きベクトル情報に基づく複数の参照画像を用いて動き補償予測を行うことにより対象画像ブロックを予測し、対象画像ブロックに対応する予測画像を生成する。

ステップＳ３２０３において、評価部２０８は、複数の参照画像間の類似度を周波数成分ごとに算出し、ブロック内の各周波数成分の重要度を示す重要度マップを生成する。

ステップＳ３２０４において、エントロピー符号復号部２００は、符号化データを復号して変換係数列を取得し、取得した変換係数列を並び替えて、２次元に配列された変換係数を逆量子化・逆変換部２０１に出力する。

ステップＳ３２０５において、逆量子化・逆変換部２０１は、変換係数（量子化された変換係数）に対して逆量子化及び逆直交変換を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ３２０６において、合成部２０２は、復元予測残差を画素単位で予測画像と合成することにより対象画像ブロックを再構成し、再構成画像を生成する。

ステップＳ３２０７において、ループフィルタ２０４は、再構成画像に対してフィルタ処理を行う。

ステップＳ３２０８において、フレームメモリ２０５は、フィルタ処理後の再構成画像をフレーム単位で記憶して出力する。

（３．９．第３実施形態のまとめ）
画像符号化装置１において、評価部１１１は、複数の参照画像間の類似度を周波数成分ごとに評価し、評価結果の情報をエントロピー符号化部１０３に出力する。エントロピー符号化部１０３は、評価部１１１による評価の結果に基づいて、量子化部１０２ｂから入力された変換係数を並び替えて符号化する。類似度の低い周波数成分の変換係数を集中させる（まとめる）よう並び替えて符号化することにより、変換係数を効率的に符号化し、効率的なエントロピー符号化を行うことが可能となるため、符号化効率を改善することができる。

画像復号装置２において、評価部２０８は、複数の参照画像間の類似度を周波数成分ごとに評価し、評価結果の情報をエントロピー符号復号部２００に出力する。エントロピー符号復号部２００は、符号化データを復号して周波数成分ごとに変換係数を取得し、評価部２０８による評価の結果に基づいて変換係数を並べ替えて出力する。このように、評価部２０８による評価の結果に基づいて変換係数を並べ替えることにより、並び替えの詳細を指定する情報が画像復号装置１から伝送されなくても、エントロピー符号復号部２００が自律的に変換係数を並べ替えることができる。よって、並び替えの詳細を指定する情報を画像復号装置１から伝送する必要がなく、符号化効率の低下を回避することができる。

（３．１０．第３実施形態の変更例）
図２３は、画像符号化装置１における評価部１１１の構成の変更例を示す図である。図２３に示すように、本変更例に係る評価部１１１Ａは、類似度算出部１１１ｃと、変換部１１１ｅと、正規化部１１１ｄとを備える。なお、評価部１１１が正規化部１１１ｄを備える一例を説明するが、評価部１１１は必ずしも正規化部１１１ｄを備えていなくてもよい。

類似度算出部１１１ｃは、動き補償予測部１０９から入力された参照画像１（第１参照画像）及び参照画像２（第２参照画像）の類似度を画素単位で算出し、画素単位で算出した類似度を変換部１１１ｅに出力する。類似度としては例えば差分値の絶対値を用いることができる。絶対値が小さいほど類似度が高く、絶対値が大きいほど類似度が低いといえる。類似度算出部１１１ｃは、各参照画像に対してフィルタ処理を行ったうえで差分値を算出してもよい。類似度算出部１１１ｃは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。以下においては、類似度として差分値の絶対値を用いる一例について説明する。

類似度算出部１１１ｃは、類似度算出部１１１ｃから入力された画素単位の類似度（差分値）に対して直交変換を行うことにより、周波数成分ごとに類似度を算出する。

正規化部１１１ｄは、類似度算出部１１１ｃから入力された周波数成分単位の差分値（変換係数）を、ブロック内で差分値が最大となる周波数成分の差分値（すなわち、ブロック内の差分値の絶対値の最大値）で正規化して出力する。

正規化部１１１ｄは、量子化の粗さを定める量子化パラメータ（Ｑｐ）と、変換係数ごとに異なる量子化値が適用される量子化行列との少なくとも一方に基づいて、正規化部１１１ｄから入力された正規化差分値（重要度）を調整して出力してもよい。

変更例に係る評価部１１１Ａが出力する各周波数成分（ｉｊ）の重要度Ｒｉｊは、例えば下記の式（５）のように表現することができる。

Rij = abs(Dij)/maxD × Scale(Qp) ・・・（５）
式（５）において、Ｄｉｊは周波数成分ｉｊの変換係数であり、ａｂｓは絶対値を得る関数である。変換部１１１ｅは、ａｂｓ（Ｄｉｊ）を出力する。

また、式（５）において、ｍａｘＤは、ブロック内の変換係数の最大値である。ｍａｘＤを求めるためにブロック内のすべての周波数成分について変換係数を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値などで代用してもよい。或いは、量子化パラメータ（Ｑｐ）や量子化行列の量子化値と、ｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）や量子化行列の量子化値からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。正規化部１１１ｄは、ａｂｓ（Ｄｉｊ）／ｍａｘＤを出力する。式（５）において、Ｓｃａｌｅ（Ｑｐ）は、上述した第３実施形態と同様である。

このようにして、変更例に係る評価部１１１Ａは、ブロック内の各周波数成分ｉｊの重要度Ｒｉｊからなる重要度マップを生成し、生成した重要度マップをエントロピー符号化部１０３に出力する。

変更例に係る評価部１１１Ａによれば、上述した第３実施形態に係る評価部１１１に比べて、直交変換部の数を減らすことができるため、処理負荷を削減することができる。一般的に、映像の符号化で用いられる直交変換はほぼ正規直交変換であるため、変更例に係る評価部１１１Ａは、第３実施形態に係る評価部１１１と同等の性能を得ることができる。

また、変更例において、画像復号装置２における評価部２０８Ａは、画像符号化装置１における評価部１１１Ａと同様に構成される。具体的には、画像復号装置２における評価部２０８Ａは、類似度算出部２０８ｃと、変換部２０８ｅと、正規化部２０８ｄとを備える。画像復号装置２における評価部２０８Ａは、ブロック内の各周波数成分ｉｊの重要度Ｒｉｊからなる重要度マップをエントロピー符号復号部２００に出力する。

＜４．その他の実施形態＞
上述した第１実施形態及び第２実施形態を併用してもよい。図１４は、第１実施形態及び第２実施形態を併用する場合の画像符号化装置１の構成を示す図である。図１４に示すように、評価部１１１は、評価結果（マップ情報）を合成部１０５及びループフィルタ１０７の両方に出力する。図１５は、第１実施形態及び第２実施形態を併用する場合の画像復号装置２の構成を示す図である。図１５に示すように、評価部２０８は、評価結果（マップ情報）を合成部２０２及びループフィルタ２０４の両方に出力する。

上述した第３実施形態において、エントロピー符号化部１０３が、２次元に配列された変換係数の全てを重要度順に読み出してシリアライズ処理を行う一例について説明した。しかしながら、２次元に配列された変換係数のうち重要度が高い順に上位数個のみを読み出し、それ以外の変換係数についてはシステムで定められた固定の順序で読み出すとしてもよい。或いは、２次元に配列された変換係数について、重要度に応じて読み出し順を所定の数だけ繰り上げる又は繰り下げるとしてもよい。

上述した第３実施形態において、変換係数のスキャン順として、例えばＭＰＥＧ２で採用されているようなジグザグスキャンを用いることができるが、例えば最新の符号化方式であるＨＥＶＣ（非特許文献１参照）の場合、変換係数の並び替えは、ブロック内において４×４の変換係数ごとにグループ分けされたＣＧと呼ばれる単位で行われる。ＣＧ内に非ゼロ係数があるか否かを判定し、ＣＧ内に非ゼロ係数がある場合に、そのＣＧ内の変換係数をシリアライズして符号化する。上述した第３実施形態に係る動作を、ＣＧ内の変換係数を読み出す際の変換係数の並び替えに応用することもできる。また、あるいはＣＧの読み出し順を決定するシリアライズに適用し、ＣＧ内の直交変換係数の類似度の平均を算出しＣＧごとの類似度を比較することによって読み出し順の並べ替えに応用することも出来る。

上述した各実施形態において、動き補償予測としてインター予測を主として説明した。インター予測においては、現フレームと異なるフレーム内の参照画像が現フレームの対象画像ブロックの予測に用いられる。しかしながら、動き補償予測に限定されるものではなく例えばイントラプロックコピーと呼ばれる技術における複数参照ブロックにも適用することが可能である。イントラプロックコピーにおいては、現フレームと同じフレーム内の参照画像が現フレームの対象画像ブロックの予測に用いられる。

上述した本発明の具体例は、画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、本願は、日本国特許出願第２０１８−０６５８９５号（２０１８年３月２９日出願）及び日本国特許出願第２０１８−０６５８８６号（２０１８年３月２９日出願）の優先権を主張し、これらの内容の全てが参照により本願明細書に組み込まれている。

Claims (15)

1. 対象画像をブロック単位で符号化する画像符号化装置であって、
   複数の参照画像を用いて予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測部と、
   前記複数の参照画像間の類似度を、前記ブロックよりも小さい単位であって複数の画素からなる画像部分ごとに算出することにより、前記予測画像のブロックの予測精度を前記画像部分ごとに評価する評価部と、
   前記対象画像のブロックと前記予測画像のブロックとの間の画素単位での差分を示す予測残差に対して変換及び量子化を行う変換・量子化部と、
   前記変換・量子化部から入力された量子化変換係数に対して逆量子化及び逆変換を行うことにより、前記予測残差を復元する逆量子化・逆変換部と、
   前記逆量子化・逆変換部から入力された復元予測残差を画素単位で前記予測画像のブロックと合成することにより、前記対象画像のブロックを再構成する合成部と、を備え、
   前記評価部による評価の結果は、前記合成部の合成対象を前記画像部分単位で補正するために用いられる、画像符号化装置。
2. 前記評価部は、前記複数の参照画像間の類似度を示す値を正規化する正規化部を有する、請求項１に記載の画像符号化装置。
3. 前記合成部は、前記評価部による評価の結果に基づいて、前記予測画像のブロックと合成する前記復元予測残差を前記画像部分ごとに制御する、請求項１に記載の画像符号化装置。
4. 前記合成部は、
   前記予測画像のブロックと合成する前記復元予測残差に対して前記画像部分ごとに重み付けを行う重み付け部と、
   前記重み付け後の前記復元予測残差を画素単位で前記予測画像のブロックに加算する加算部と、を含み、
   前記評価部は、前記評価の結果に基づいて、前記重み付けに用いる重みを前記画像部分ごとに設定する、請求項３に記載の画像符号化装置。
5. 対象画像を符号化する画像符号化装置であって、
   複数の参照画像を用いて予測を行うことにより、前記対象画像に対応する予測画像を生成する予測部と、
   前記複数の参照画像間の類似度を１又は複数の画素からなる画像部分ごとに算出することにより、前記予測画像の予測精度を前記画像部分ごとに評価する評価部と、
   前記対象画像と前記予測画像との間の画素単位での差分を示す予測残差に対して変換及び量子化を行う変換・量子化部と、
   前記変換・量子化部から入力された量子化変換係数に対して逆量子化及び逆変換を行うことにより、前記予測残差を復元する逆量子化・逆変換部と、
   前記逆量子化・逆変換部から入力された復元予測残差を画素単位で前記予測画像と合成することにより、前記対象画像を再構成する合成部と、
   前記合成部から入力された再構成画像に対してフィルタ処理を行うループフィルタと、を備え、
   前記ループフィルタは、前記評価部による評価の結果に基づいて、前記フィルタ処理におけるフィルタ強度を前記画像部分ごとに制御する、画像符号化装置。
6. 前記ループフィルタは、
   前記フィルタ強度を定めるオフセット値に対して前記画像部分ごとに重み付けを行う重み付け部と、
   前記重み付け後の前記オフセット値を画素単位で前記再構成画像に加算する加算部と、を含み、
   前記評価部は、前記評価の結果に基づいて、前記重み付けに用いる重みを前記画像部分ごとに設定する、請求項５に記載の画像符号化装置。
7. 対象画像をブロック単位で復号する画像復号装置であって、
   複数の参照画像を用いて予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成する予測部と、
   前記複数の参照画像間の類似度を、前記ブロックよりも小さい単位であって複数の画素からなる画像部分ごとに算出することにより、前記予測画像のブロックの予測精度を前記画像部分ごとに評価する評価部と、
   前記対象画像のブロックと前記予測画像のブロックとの間の画素単位での差分を示す予測残差を画像符号化装置において変換及び量子化して得られた量子化変換係数に対して逆量子化及び逆変換を行うことにより、前記予測残差を復元する逆量子化・逆変換部と、
   前記逆量子化・逆変換部から入力された復元予測残差を画素単位で前記予測画像のブロックと合成することにより、前記対象画像のブロックを再構成する合成部と、を備え、
   前記評価部による評価の結果は、前記合成部の合成対象を前記画像部分単位で補正するために用いられる、画像復号装置。
8. 前記評価部は、前記複数の参照画像間の類似度を示す値を正規化する正規化部を有する、請求項７に記載の画像復号装置。
9. 前記合成部は、前記評価部による評価の結果に基づいて、前記予測画像と合成する前記復元予測残差を前記画像部分ごとに制御する、請求項７に記載の画像復号装置。
10. 前記合成部は、
    前記予測画像のブロックと合成する前記復元予測残差に対して前記画像部分ごとに重み付けを行う重み付け部と、
    前記重み付け後の前記復元予測残差を画素単位で前記予測画像のブロックに加算する加算部と、を含み、
    前記評価部は、前記評価の結果に基づいて、前記重み付けに用いる重みを前記画像部分ごとに設定する、請求項９に記載の画像復号装置。
11. 対象画像を復号する画像復号装置であって、
    複数の参照画像を用いて予測を行うことにより、前記対象画像に対応する予測画像を生成する予測部と、
    前記複数の参照画像間の類似度を１又は複数の画素からなる画像部分ごとに算出することにより、前記予測画像の予測精度を前記画像部分ごとに評価する評価部と、
    前記対象画像と前記予測画像との間の画素単位での差分を示す予測残差を画像符号化装置において変換及び量子化して得られた量子化変換係数に対して逆量子化及び逆変換を行うことにより、前記予測残差を復元する逆量子化・逆変換部と、
    前記逆量子化・逆変換部から入力された復元予測残差を画素単位で前記予測画像と合成することにより、前記対象画像を再構成する合成部と、
    前記合成部から入力された再構成画像に対してフィルタ処理を行うループフィルタと、をさらに備え、
    前記ループフィルタは、前記評価部による評価の結果に基づいて、前記フィルタ処理におけるフィルタ強度を前記画像部分ごとに制御する、画像復号装置。
12. 前記ループフィルタは、
    前記フィルタ強度を定めるオフセット値に対して前記画像部分ごとに重み付けを行う重み付け部と、
    前記重み付け後の前記オフセット値を画素単位で前記再構成画像に加算する加算部と、を含み、
    前記評価部は、前記評価の結果に基づいて、前記重み付けに用いる重みを前記画像部分ごとに設定する、請求項１１に記載の画像復号装置。
13. コンピュータを請求項１乃至６のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。
14. コンピュータを請求項７乃至１２のいずれか一項に記載の画像復号装置として機能させるためのプログラム。
15. 対象画像をブロック単位で復号する画像復号方法であって、
    複数の参照画像を用いて予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成するステップと、
    前記複数の参照画像間の類似度を、前記ブロックよりも小さい単位であって複数の画素からなる画像部分ごとに算出することにより、前記画像部分ごとに評価値を生成する評価ステップと、
    前記対象画像のブロックと前記予測画像のブロックとの間の画素単位での差分を示す予測残差を画像符号化側において変換及び量子化して得られた量子化変換係数に対して逆量子化及び逆変換を行うことにより、前記予測残差を復元するステップと、
    前記予測残差を復元するステップにより得られる復元予測残差を画素単位で前記予測画像と合成することにより、前記対象画像のブロックを再構成する合成ステップと、を有し、
    前記評価ステップによる前記評価値は、前記合成ステップにおける合成対象を前記画像部分単位で補正するために用いられる、画像復号方法。

Images