JP7340658B2 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。

近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

かかる符号化方式ではフレーム内の空間的な相関を利用したイントラ予測が利用されている（例えば、非特許文献１）。イントラ予測では、予測対象のブロック（以下、「対象ブロック」という）に隣接する復号済みの参照画素を用いて予測画像を生成する。非特許文献１に記載のＨＥＶＣでは、Ｐｌａｎａｒ予測、ＤＣ予測、及び複数の方向性予測を含む計３５通りのイントラ予測モードから画像符号化装置側で最適なモードを選択し、そのモードを示す識別情報を画像復号装置側へ伝送する。

また、ＨＥＶＣでは、対象ブロックの周辺のブロックに適用されたイントラ予測モードから３つの最確モード（ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を生成する。対象ブロックに適用するイントラ予測モードが３つの最確モードのいずれかである場合、その最確モードを示す識別情報を符号化することにより、イントラ予測モードの識別情報の符号量を削減している。

さらに、次世代の画像符号化方式の性能評価用ソフトウェア（ＪＥＭ）では、ＨＥＶＣの拡張として６７通りのイントラ予測モードを導入しており、より精密なイントラ予測を可能としている。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

ところで、対象ブロックに適用するイントラ予測モードを選択する際には、予め規定された複数のイントラ予測モードのそれぞれについて、参照画素を用いて予測画像を生成して評価し、最も良好な予測画像が得られるイントラ予測モードを選択することが一般的である。よって、選択されるイントラ予測モードは、予測画像を生成する際に用いる参照画素と相関関係を有する。

しかしながら、非特許文献１に記載の方法は、イントラ予測モードの識別情報の符号量を削減するにあたり、対象ブロックの周辺のブロックに適用されたイントラ予測モードを考慮するものの、予測画像を生成する際に用いる参照画素を考慮していないため、イントラ予測モードの識別情報の符号量を効率的に削減する点において改善の余地があった。

特に、次世代の画像符号化方式では、イントラ予測モードが６７通りに拡張されるため、イントラ予測モードの識別情報の符号量を効率的に削減することが望まれる。

そこで、本発明は、イントラ予測モードの識別情報の符号量を効率的に削減可能な画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係る画像符号化装置は、動画像を構成するフレーム単位の原画像を分割して得られた各ブロックを符号化する。前記画像符号化装置は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、前記複数のイントラ予測モードの中からイントラ予測の対象ブロックに適用するイントラ予測モードを選択するモード選択部と、前記選択されたイントラ予測モードを示す識別情報を、前記割り当てられた符号量に従って符号化する符号化部と、を備える。前記符号量割当部は、前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える。

第２の特徴に係る画像復号装置は、動画像を構成するフレーム単位の画像を分割して得られた各ブロックを復号する。前記画像復号装置は、画像符号化装置により生成された符号化データを復号することにより、イントラ予測モードの識別情報を取得する復号部と、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、前記復号された識別情報と前記割り当てられた符号量とに基づいて、イントラ予測の対象ブロックに適用するイントラ予測モードを特定するモード特定部と、を備える。前記符号量割当部は、前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える。

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させる。

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させる。

本発明によれば、イントラ予測モードの識別情報の符号量を効率的に削減可能な画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係るイントラ予測モードを示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る符号量割当部の構成を示す図である。 実施形態に係る符号量割当部の動作例を示す図である。 実施形態に係る特徴量の算出に用いる参照画素を示す図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（１．画像符号化装置の構成）
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換部１２１と、量子化部１２２と、エントロピー符号化部（符号化部）１３０と、逆量子化部１４１と、逆変換部１４２と、合成部１５０と、メモリ１６１と、インター予測部１６２と、イントラ予測部１７０と、切替部１６３と、符号量割当部１８０とを備える。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、符号化ユニット（ＣＵ）と称されることもある。

減算部１１０は、ブロック分割部１００から入力されたブロックとこのブロックに対応する予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１２１に出力する。予測画像は、後述する切替部１６３から減算部１１０に入力される。

変換部１２１及び量子化部１２２は、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１２０を構成する。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１３０及び逆量子化部１４１に出力する。

エントロピー符号化部１３０は、量子化部１２２から入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０には、イントラ予測部１７０及びインター予測部１６２から予測に関する情報が入力される。エントロピー符号化部１３０は、これらの情報のエントロピー符号化も行う。

逆量子化部１４１及び逆変換部１４２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１４０を構成する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、切替部１６３から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、再構成したブロックである再構成ブロックをメモリ１６１に出力する。かかる再構成ブロックは、復号済みブロックと称されることがある。

メモリ１６１は、合成部１５０から入力された再構成ブロックを記憶する。メモリ１６１は、再構成ブロックをフレーム単位で記憶する。

インター予測部１６２は、メモリ１６１に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて予測対象のブロックを予測するインター予測を行う。具体的には、インター予測部１６２は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいてインター予測画像を生成する。インター予測部１６２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１６２は、生成したインター予測画像を切替部１６３に出力するとともに、選択したインター予測方法及び動きベクトルに関する情報をエントロピー符号化部１３０に出力する。

イントラ予測部１７０は、メモリ１６１に記憶された再構成ブロック（復号済みブロック）のうち、予測対象のブロックに隣接する復号済み参照画素を参照してイントラ予測画像を生成する。また、イントラ予測部１７０は、予め規定された複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択するモード選択部１７１を含み、選択したイントラ予測モードを用いてイントラ予測を行う。

モード選択部１７１は、予め規定された複数のイントラ予測モードのそれぞれについて、参照画素を用いて対象ブロックの予測画像を生成して評価し、最も良好な予測画像が得られるイントラ予測モードを選択する。例えば、モード選択部１７１は、ＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて最適なイントラ予測モードを選択する。イントラ予測部１７０は、イントラ予測画像を切替部１６３に出力するとともに、選択したイントラ予測モードのモード番号をエントロピー符号化部１３０に出力する。なお、モード選択部１７１により選択されたイントラ予測モードのモード番号が画像復号装置２にそのまま伝送されるのではなく、モード番号に対応する識別情報がエントロピー符号化部１３０において符号化され、符号化された識別情報が画像復号装置２に伝送される。

図２は、本実施形態に係る複数のイントラ予測モードを示す図である。図２に示すように、０から６６までの６７通りのイントラ予測モードが規定されている。イントラ予測モードのモード番号「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード番号「１」はＤＣ予測であり、イントラ予測モードのモード番号「２」～「６６」は方向性予測である。イントラ予測モードのモード番号は、イントラ予測モードに固有の番号であって、予め規定された固定の番号である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード番号「２」～「３３」は、イントラ予測の対象ブロックの左側の参照画素を主として参照するイントラ予測モードである。一方で、モード番号「３５」～「６６」は、イントラ予測の対象ブロックの上側の参照画素を主として参照するイントラ予測モードである。

切替部１６３は、イントラ予測部１７０から入力されるイントラ予測画像とインター予測部１６２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

符号量割当部１８０は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる。また、符号量割当部１８０は、イントラ予測の対象ブロックに隣接する複数の参照画素の特徴量を算出し、算出した特徴量に基づいて、予め規定された複数のイントラ予測モードに対する符号量の割当方法を変更する。なお、参照画素は、復号済ブロックの一部であるため、画像符号化装置１側及び画像復号装置２側で一致する情報である。符号量割当部１８０の詳細については後述する。

エントロピー符号化部１３０は、イントラ予測部１７０（モード選択部１７１）により選択されたイントラ予測モードを示す識別情報を、符号量割当部１８０により割り当てられた符号量に従って符号化する。具体的には、エントロピー符号化部１３０は、モード選択部１７１により選択されたイントラ予測モードのモード番号に対応する識別情報を符号化し、符号化した識別情報を符号化データに含める。

（２．画像復号装置の構成）
図３は、本実施形態に係る画像復号装置２の構成を示す図である。図３に示すように、画像復号装置２は、エントロピー符号復号部（復号部）２００と、逆量子化部２１１と、逆変換部２１２と、合成部２２０と、メモリ２３１と、インター予測部２３２と、イントラ予測部２４０と、切替部２３３と、符号量割当部２５０とを備える。

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２１１に出力する。また、エントロピー符号復号部２００は、符号化データを復号し、予測（イントラ予測及びインター予測）に関する情報を取得し、予測に関する情報をイントラ予測部２４０及びインター予測部２３２に出力する。具体的には、エントロピー符号復号部２００は、イントラ予測モードの識別情報をイントラ予測部２４０に出力し、インター予測方法及び動きベクトルに関する情報をインター予測部２３２に出力する。

逆量子化部２１１及び逆変換部２１２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２１０を構成する。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、切替部２３３から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、再構成ブロックをメモリ２３１に出力する。

メモリ２３１は、合成部２２０から入力された再構成ブロックを記憶する。メモリ２３１は、再構成ブロックをフレーム単位で記憶する。メモリ２３１は、フレーム単位の再構成画像（復号画像）を画像復号装置２の外部に出力する。

インター予測部２３２は、メモリ１６１に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２３２は、エントロピー符号復号部２００から入力されたインター予測情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、インター予測画像を切替部２３３に出力する。

イントラ予測部２４０は、メモリ２３１に記憶された再構成ブロックを参照し、エントロピー符号復号部２００から入力されたイントラ予測情報（イントラ予測モードの識別情報）に従ってイントラ予測を行うことによりイントラ予測画像を生成する。イントラ予測部２４０は、エントロピー符号復号部２００から入力された識別情報に基づいて、対象ブロックに適用するイントラ予測モードを特定するモード特定部２４１を含む。イントラ予測部２４０は、メモリ２３１に記憶された再構成ブロック（復号済みブロック）のうち、モード特定部２４１により特定されたイントラ予測モードに応じて定められる隣接参照画素を参照してイントラ予測画像を生成する。イントラ予測部２４０は、イントラ予測画像を切替部２３３に出力する。

切替部２３３は、イントラ予測部２４０から入力されるイントラ予測画像とインター予測部２３２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

符号量割当部２５０は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる。また、符号量割当部２５０は、イントラ予測の対象ブロックに隣接する複数の参照画素の特徴量を算出し、算出した特徴量に基づいて、予め規定された複数のイントラ予測モードに対する符号量の割当方法を変更する。なお、参照画素は、復号済ブロックの一部であるため、画像符号化装置１側及び画像復号装置２側で一致する情報である。符号量割当部２５０の詳細については後述する。

モード特定部２４１は、エントロピー符号復号部２００から入力されたイントラ予測情報（イントラ予測モードの識別情報）と、符号量割当部２５０により割り当てられた符号量とに基づいて、対象ブロックに適用するイントラ予測モードを特定する。

（３．符号量割当部の構成）
図４は、本実施形態に係る画像符号化装置１の符号量割当部１８０の構成を示す図である。なお、画像復号装置２の符号量割当部２５０は、画像符号化装置１の符号量割当部１８０と同様の構成を有する。

図４に示すように、符号量割当部１８０は、特徴量算出部１８１と、ＭＰＭ生成部（第１生成部）１８２ａと、選択モード生成部（第２生成部）１８２ｂと、非選択モード生成部（第３生成部）１８２ｃと、割当変更部１８３とを備える。

特徴量算出部１８１には、イントラ予測部２４０から、イントラ予測の対象ブロックに隣接する複数の参照画素の画素値が入力される。特徴量算出部１８１は、複数の参照画素の画素値の分散値又は平均値を特徴量として算出する。本実施形態において、複数の参照画素が複数の参照画素グループを含み、特徴量算出部１８１は、複数の参照画素グループのそれぞれの特徴量を算出する。複数の参照画素グループは、対象ブロックの左側の参照画素からなる左側参照画素のグループと、対象ブロックの上側の参照画素からなる上側参照画素のグループとを含む。左側参照画素をさらに複数のグループに分割してもよいし、上側参照画素をさらに複数のグループに分割してもよい。以下において、一例として、複数の参照画素グループが左側参照画素のグループ及び上側参照画素のグループの２つのグループに分割する場合について説明する。特徴量算出部１８１は、参照画素グループごとに算出した特徴量を割当変更部１８３に出力する。

ＭＰＭ生成部１８２ａは、イントラ予測の対象ブロックの周辺のブロックに適用されたイントラ予測モードに対応する複数のＭＰＭ（複数の第１予測モード）を生成する。本実施形態において、ＭＰＭ生成部１８２ａは、ＭＰＭ０～ＭＰＭ５の計６通りのＭＰＭを生成する。具体的には、ＭＰＭ生成部１８２ａは、イントラ予測の対象ブロックの周辺のブロック及びそれに適用されたイントラ予測モードについて優先順位付けをして、最も優先順位が高いイントラ予測モード（或いは周辺ブロック）をＭＰＭ０とし、最も優先順位が低いイントラ予測モード（或いは周辺ブロック）をＭＰＭ５とし、優先順位が高い順にＭＰＭを生成する。ＭＰＭ生成部１８２ａは、生成したＭＰＭを選択モード生成部１８２ｂ、非選択モード生成部１８２ｃ、及び割当変更部１８３に出力する。

選択モード生成部１８２ｂは、ＭＰＭに含まれないイントラ予測モードのうち一部のイントラ予測モードからなる複数の選択モード（第２予測モード）を生成する。本実施形態において、選択モード生成部１８２ｂは、選択モード０～選択モード１５の計１６通りの選択モードを生成する。選択モード生成部１８２ｂは、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順（小さい方から大きい方への順序）又は降順（大きい方から小さい方への順序）に所定間隔で選択したイントラ予測モードを選択モードとして生成する。以下において、選択モード生成部１８２ｂが、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順に「４」間隔で選択したイントラ予測モードを選択モードとして生成する一例について説明する。選択モード生成部１８２ｂは、生成した選択モードを非選択モード生成部１８２ｃ及び割当変更部１８３に出力する。

非選択モード生成部１８２ｃは、ＭＰＭ及び選択モードのいずれにも含まれないイントラ予測モードの中からモード番号の昇順又は降順に選択したイントラ予測モードを複数の非選択モード（第３予測モード）として生成する。本実施形態において、非選択モード生成部１８２ｃは、非選択モード０～非選択モード４４の計４５通りの非選択モードを生成する。非選択モードは、前半のグループと後半のグループとに分けられ、前半のグループよりも後半のグループの方が割り当てられるビット長（符号量）が多い。以下において、非選択モード生成部１８２ｃが、ＭＰＭ及び選択モードのいずれにも含まれないイントラ予測モードの中からモード番号の昇順に選択したイントラ予測モードを非選択モードとして生成する一例について説明する。よって、モード番号が小さい方のグループに属するイントラ予測モード（すなわち、左側参照画素を主に参照するイントラ予測モード）に割り当てられる符号量は、モード番号が大きい方のグループに属するイントラ予測モード（すなわち、上側参照画素を主に参照するイントラ予測モード）に割り当てられる符号量よりも少ない。非選択モード生成部１８２ｃは、生成した非選択モードを割当変更部１８３に出力する。

ここで、ＭＰＭ、選択モード、及び非選択モードに割り当てられる符号量の一例を表１に示す。

表１に示すように、各イントラ予測モードは、ＭＰＭフラグ、選択モードフラグ、及び識別情報の組み合わせにより表現される。ＭＰＭフラグは、対応するイントラ予測モードがＭＰＭに属するか否かを示すフラグである。選択モードフラグは、対応するイントラ予測モードが選択モードに属するか否かを示すフラグである。なお、ＭＰＭにおいて選択フラグが「Ｎ／Ａ」である場合、ＭＰＭフラグの次に識別情報の先頭ビットが続く。

ＭＰＭに割り当てられる識別情報の符号量は、１ビット～５ビットの範囲内である。ＭＰＭの番号が小さいほど、割り当てられる識別情報の符号量が少ない。選択モードに割り当てられる識別情報の符号量は、４ビットである。非選択モードの前半部分に割り当てられる識別情報の符号量は５ビットであり、非選択モードの後半部分に割り当てられる識別情報の符号量は６ビットである。

上述のように、ＭＰＭ生成部１８２ａ、選択モード生成部１８２ｂ、及び非選択モード生成部１８２ｃのそれぞれが予め規定された選択規則に従ってイントラ予測モードを選択することにより、各イントラ予測モードに対して割り当てられる符号量が決定される。しかしながら、モード選択部１７１により選択される可能性が高いイントラ予測モードに対して多くの符号量が割り当てられている場合、発生する符号量が多くなり得るため、符号化効率の低下を引き起こす。

そこで、本実施形態において、割当変更部１８３は、イントラ予測に用いる参照画素の特徴量に基づいて、モード選択部１７１により選択される可能性が高いと推定されるイントラ予測モードに対して少ない符号量を割り当てるように、各イントラ予測モードに対する符号量の割当方法を変更する。これにより、発生する符号量を削減して符号化効率を改善可能になる。

割当変更部１８３は、特徴量算出部１８１から入力された各参照画素グループの特徴量に基づいて、イントラ予測モードに対する符号量の割当方法を変更する。割当変更部１８３は、閾値比較部１８３ａと、ＭＰＭ変更部（第１変更部）１８３ｂと、選択モード変更部（第２変更部）１８３ｃと、非選択モード変更部（第３変更部）１８３ｄとを備える。

閾値比較部１８３ａは、各参照画素グループの特徴量を１又は複数の閾値と比較する。また、閾値比較部１８３ａは、各参照画素グループの特徴量と１又は複数の閾値との比較結果に応じて、各イントラ予測モードに対する符号量の割当方法を変更するか否か、及び、各イントラ予測モードに対する符号量の割当方法をどのように変更するかを決定する。以下において、閾値比較部１８３ａが、各参照画素グループ（左側参照画素、上側参照画素）の特徴量を２つの閾値Ｔ_min、Ｔ_Maxと比較する一例について説明する。なお、閾値は、定数であってもよいし、該当グループの参照画素の数、ブロックサイズ、ブロック形状の少なくともいずれか１つの要素に依存する値であってもよい。

ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭに対する符号量の割当方法を変更する。本実施形態において、ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭの順番を並び替えることにより、ＭＰＭに対する符号量の割当方法を変更し、順番の並び替え後のＭＰＭをエントロピー符号化部１３０に出力する。但し、符号量の割当方法を変更しない場合には、ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭをそのまま出力する。

選択モード変更部１８３ｃは、選択モードに対する符号量の割当方法を変更する。選択モード変更部１８３ｃは、ＭＰＭに含まれないイントラ予測モードの中から選択モードに含めるイントラ予測モードの間隔（所定間隔）、及び選択モードとして選択され得るモード番号の範囲の少なくとも一方を変更することによって、符号量の割り当て方法を変更し、変更後の選択モードを非選択モード変更部１８３ｄ及びエントロピー符号化部１３０に出力する。但し、符号量の割当方法を変更しない場合には、選択モード変更部１８３ｃは、選択モード生成部１８２ｂから入力された選択モードをそのまま出力する。

非選択モード変更部１８３ｄは、非選択モードに対する符号量の割当方法を変更する。非選択モード変更部１８３ｄは、非選択モードとして選択するイントラ予測モードのモード番号の順序を、昇順から降順に変更する、又は降順から昇順に変更することによって、符号量の割り当て方法を変更し、変更後の非選択モードをエントロピー符号化部１３０に出力する。

（４．符号量割当部の動作例）
図５は、本実施形態に係る画像符号化装置１の符号量割当部１８０の動作例を示す図である。なお、画像復号装置２の符号量割当部２５０は、画像符号化装置１の符号量割当部１８０と同様の動作を行う。

図５に示すように、ステップＳ１において、特徴量算出部１８１は、イントラ予測の対象ブロックの左側参照画素の特徴量Ｐ_L及び対象ブロックの上側参照画素の特徴量Ｐ_Aを算出する。本動作例においては、特徴量が分散値である一例について説明する。特徴量算出部１８１は、左側参照画素の分散値Ｐ_L及び上側参照画素の分散値Ｐ_Aを下記の式によりそれぞれ算出する。

図６は、特徴量の算出に用いる参照画素を示す図である。図６において、対象ブロックのブロックサイズは４×４である。図６に示すように、左側参照画素は｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝の４つの復号済み画素からなり、上側参照画素は｛Ａ１，Ａ２，Ａ３，Ａ４｝の４つの復号済み画素からなる。なお、Ｌ５～Ｌ８の画素やＡ５～Ａ８の画素は、イントラ予測の際に参照され得るが、イントラ予測の際に復号済みではないことがある。かかる場合、Ｌ４の画素値をＬ５～Ｌ８の画素にコピーしたり、Ａ４の画素値をＡ５～Ａ８の画素にコピーしたりすることで、イントラ予測の際に参照可能としている。よって、特徴量の算出にはＬ５～Ｌ８の画素やＡ５～Ａ８の画素を用いない。

ステップＳ２において、閾値比較部１８３ａは、左側参照画素の分散値Ｐ_L及び上側参照画素の分散値Ｐ_Aを閾値Ｔ_min、Ｔ_Maxと比較する。

分散値Ｐ_L及び分散値Ｐ_Aのいずれも閾値Ｔ_Maxを上回る場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を相対的に多くするようにＭＰＭの順番を並び替える。具体的には、分散値Ｐ_L及び分散値Ｐ_Aのいずれも閾値Ｔ_Maxを上回る場合、ＤＣモードが選択される可能性が低いと推定されるため、ＤＣモードの符号量を多くしつつ、他のイントラ予測モードの符号量を少なくするように変更する。

分散値Ｐ_Lが閾値Ｔ_Maxを上回り、且つ、分散値Ｐ_Aが閾値Ｔ_minを下回る場合（ステップＳ５：ＹＥＳ）、ステップＳ６において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を多くするように、ＭＰＭ生成部１８２ａから入力されたＭＰＭの順番を並び替える。また、選択モード変更部１８３ｃ及び非選択モード変更部１８３ｄは、左側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を変更する。具体的には、左側参照画素を主に用いる方向性予測が選択される可能性が高いと推定されるため、左側参照画素を主に用いる方向性予測の符号量を少なくしつつ、上側参照画素を主に用いる方向性予測の符号量を多くするように変更する。

分散値Ｐ_Lが閾値Ｔ_minを下回り、且つ、分散値Ｐ_Aが閾値Ｔ_Maxを上回る場合（ステップＳ７：ＹＥＳ）、ステップＳ８において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を多くするようにＭＰＭの順番を並び替える。また、選択モード変更部１８３ｃ及び非選択モード変更部１８３ｄは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を変更する。具体的には、上側参照画素を主に用いる方向性予測が選択される可能性が高いと推定されるため、上側参照画素を主に用いる方向性予測の符号量を少なくしつつ、左側参照画素を主に用いる方向性予測の符号量を多くするように変更する。

ステップＳ３、ステップＳ５、及びステップＳ７の何れもＮＯである場合、ステップＳ９において、閾値比較部１８３ａは、符号量の割当方法を変更しないと判定する。

（５．具体例）
図５に示す動作について具体例を挙げて説明する。

（５．１．具体例１）
具体例１は、分散値Ｐ_L及び分散値Ｐ_Aのいずれも閾値Ｔ_Maxを上回る場合（ステップＳ３：ＹＥＳ）の例であって、左側参照画素及び上側参照画素の画素値が次の値である。

左側参照画素｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝＝｛２００，７００，８００，１００｝
上側参照画素｛Ａ１，Ａ２，Ａ３，Ａ４｝＝｛８００，１００，２００，７００｝
また、閾値｛Ｔ_min，Ｔ_Max｝＝｛１００，１００００｝である。

このとき、
Ｐ_L＝Ｐ_A＝９２５００
であるため、
Ｐ_L＝Ｐ_A＞Ｔ_Max
という結果を閾値比較部１８３ａが出力する。

かかる場合、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を相対的に多くするようにＭＰＭの順番を並び替える。ここで、ＭＰＭには、デフォルトの固定値であるＭＰＭ初期値と、周辺ブロックに適用されたイントラ予測モードに基づき可変なＭＰＭとがある。

ＭＰＭ変更部１８３ｂは、ＭＰＭ初期値を次のように変更する。

（変更前）｛Ｐｌａｎａｒモード，ＤＣモード，ＶＥＲモード，ＨＯＲモード，２，３４｝
（変更後）｛Ｐｌａｎａｒモード，ＶＥＲモード，ＨＯＲモード，２，３４，ＤＣモード｝

このように、変更前においてＤＣモードはＭＰＭ １であるが、変更後におけるＤＣモードはＭＰＭ ５に繰り下がっており、ＤＣモードに割り当てられる符号量が増加している。代わりに、ＶＥＲモード，ＨＯＲモード，２，３４は、ＭＰＭ番号が１つ繰り上がっており、割り当てられる符号量が減少している。

ＭＰＭ変更部１８３ｂは、初期値以外のＭＰＭを次のように変更する。

（変更前）｛左ブロック，上ブロック，Ｐｌａｎａｒモード，ＤＣモード，左下ブロック，右上ブロック，左上ブロック｝
（変更後）｛左ブロック，上ブロック，Ｐｌａｎａｒモード，左下ブロック，右上ブロック，左上ブロック，ＤＣモード｝

このように、変更前においてＤＣモードはＭＰＭ ３であるが、変更後におけるＤＣモードはＭＰＭ ５に繰り下がっている。代わりに、左下ブロック，右上ブロック，左上ブロックは、ＭＰＭ番号が１つ繰り上がっている。

（５．２．具体例２）
具体例２は、分散値Ｐ_Lが閾値Ｔ_minを下回り、且つ、分散値Ｐ_Aが閾値Ｔ_Maxを上回る場合（ステップＳ７：ＹＥＳ）の例であって、左側参照画素及び上側参照画素の画素値が次の値である。

｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝＝｛５１０，５００，４９０，５００｝
｛Ａ１，Ａ２，Ａ３，Ａ４｝＝｛５００，３５０，３００，１５０｝
また、閾値｛Ｔ_min，Ｔ_Max｝＝｛１００，１００００｝である。

このとき、
Ｐ_L＝５０，Ｐ_A＝１５６２５
であるため、
Ｐ_L＜Ｔ_min，Ｐ_A＞Ｔ_Max
という結果を閾値比較部１８３ａが出力する。

かかる場合、ＭＰＭ変更部１８３ｂは、具体例１と同様にして、ＤＣモードの符号量を多くするようにＭＰＭの順番を並び替える。

また、選択モード変更部１８３ｃは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を次のように変更する。

（変更前）｛２，６，１０，１４，…｝：モード番号の昇順、間隔４
（変更後）｛６６，６４，６２，６０，…｝：モード番号の降順、間隔２

このように、変更前における選択モードにはモード番号の昇順に間隔４で選択されたイントラ予測モードが含まれているが、変更後における選択モードにはモード番号の降順に間隔２で選択されたイントラ予測モードが含まれている。

かかる変更により間隔が半分になっているため、上側参照画素を主に用いる方向性予測であるモード番号「３５」～「６６」の範囲内のイントラ予測モードは選択モードに含まれ得るが、左側参照画素を主に用いる方向性予測であるモード番号「２」～「３３」の範囲内のイントラ予測モードは選択モードに含まれないことになる。その結果、モード番号「２」～「３３」の範囲内のイントラ予測モードは、より符号量の多い非選択モードに含まれることになる。

さらに、非選択モード変更部１８３ｄは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を次のように変更する。

（変更前）５ビット｛３，４，５，７，…｝、６ビット｛…，６２，６３，６４，６５｝：モード番号の昇順
（変更後）５ビット｛６５，６３，６１，５９，…｝、６ビット｛…，７，５，４，３｝：モード番号の降順

このように、変更前における非選択モードにはモード番号の昇順に選択されたイントラ予測モードが含まれているが、変更後における選択モードにはモード番号の降順に選択されたイントラ予測モードが含まれている。上側参照画素を主に用いる方向性予測であるモード番号「３５」～「６６」の範囲内のイントラ予測モードには、変更前において６ビットの符号量が割り当てられているが、変更後においては５ビットの符号量が割り当てられており、１ビット少なくなっている。

（６．その他の実施形態）
上述の実施形態において、選択モード生成部１８２ｂが、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順に所定間隔で選択したイントラ予測モードを選択モードとして生成する一例について説明した。しかしながら、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを他の選択基準により選択してもよい。例えば、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを、ＭＰＭに含まれるイントラ予測モードのモード番号に依存して決定してもよい。例えば、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを、ＭＰＭに含まれるイントラ予測モードのモード番号を所定値だけずらしたものとすることができる。かかる場合において、選択モード変更部１８３ｃは、上述の実施形態と同様な動作により、符号量の割当方法を変更可能である。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、日本国特許出願第２０１８－０６６７１１号（２０１８年３月３０日出願）の全内容が、参照により、本願明細書に組み込まれている。

Claims (2)

1. 動画像を構成するフレーム単位の画像を分割して得られた各ブロックを復号する画像復号装置であって、
   画像符号化装置により生成された符号化データを復号することにより、イントラ予測モードの識別情報を取得する復号部と、
   イントラ予測の対象ブロックの周辺のブロックに適用されたイントラ予測モードに対応する複数の第１予測モードを生成する第１生成部と、
   前記対象ブロックに隣接し且つ特徴量の算出単位としてグループ分けされた複数の参照画素グループのそれぞれの前記特徴量を算出し、前記複数の参照画素グループのそれぞれは連続する複数の参照画素を含み、前記複数の参照画素グループのそれぞれの前記特徴量は、前記対象ブロックに対して選択される可能性が高いイントラ予測モードを推定するために用いられる、特徴量算出部と、
   前記複数の参照画素グループのそれぞれの前記特徴量について１つ又は複数の閾値との比較を行うことにより、前記複数の第１予測モードのうち、前記対象ブロックに対して選択される可能性が高いと推定されたイントラ予測モードに対して少ない符号量が割り当てられるように、符号量の割当方法を変更する割当変更部と、
   前記識別情報と割り当てられた符号量とに基づいて、前記対象ブロックに適用するイントラ予測モードを特定するモード特定部と、を備える、
   画像復号装置。
2. コンピュータを請求項１に記載の画像復号装置として機能させる、プログラム。

Images