JP7345475B2 - イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。

画像符号化技術において、フレーム内の空間的な相関を利用したイントラ予測が広く用いられている。イントラ予測では、予測対象のブロック（以下、「対象ブロック」という）の周辺にある復号画素値を用いて、対象ブロックの画素値を予測する。

例えば、特許文献１には、画像のブロックごとに色差信号のイントラ予測モードを定めるイントラ予測器において、色差信号のイントラ予測モードの符号化効率を向上することができるイントラ予測器を用いた画像符号化装置が開示されている（特許文献１参照）。かかるイントラ予測のモードとして、輝度成分（Ｌｕｍａ）の復号画素値を用いて色差成分（Ｃｈｒｏｍａ）の画素値を予測する成分間イントラ予測（ＣＣＩＰ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）が知られている。具体的には、成分間イントラ予測は、対象ブロックの上側及び左側に隣接する輝度成分及び色差成分のそれぞれの復号画素を用いて、当該対象ブロックの輝度成分及び色差成分の線形モデルを算出し、算出した線形モデルを用いて当該ブロック内の色差成分の画素値を予測するイントラ予測モードである。なお、成分間イントラ予測は、ＣＣＬＭ（Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）予測と称されることもある。

かかる成分間イントラ予測では、対象ブロックの上側及び左側の輝度成分及び色差成分の復号画素の信号分布の関係が当該対象ブロックの輝度成分及び色差成分の信号分布の関係と近似できることを利用することにより、色差成分の信号を精度よく予測できる。しかし、上側及び左側の復号画素を常に用いるため、上側と左側とで、輝度成分及び色差成分の信号分布の関係が異なる場合には、正しい線形モデルが算出できず、結果として色差成分の予測精度が低下してしまう。

非特許文献１には、かかる問題点に鑑みて、色差成分の新たなイントラ予測モードとしてＣＣＩＰ＿Ａモード及びＣＣＩＰ＿Ｌモードが記載されている。ＣＣＩＰ＿Ａモードは、上側及び左側の輝度成分及び色差成分の復号画素を用いるかわりに、上側のみの輝度成分及び色差成分の復号画素を用いて線形モデルを算出するイントラ予測モードである。ＣＣＩＰ＿Ｌモードは、左側のみの輝度成分及び色差成分の復号画素を用いて線形モデルを算出するイントラ予測モードである。なお、非特許文献２にも同様なイントラ予測モードが記載されているが、ＣＣＩＰ＿ＡがＬＭ－ｔｏｐと称され、ＣＣＩＰ＿ＬがＬＭ－ｌｅｆｔと称されている。

特開２０１８－０７８４０９号公報

ＪＶＥＴ－Ｊ００２５、"Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ ａｎｄ ３６０° ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｑｕａｌｃｏｍｍ ａｎｄ Ｔｅｃｈｎｉｃｏｌｏｒｍｅｄｉｕｍ ｃｏｍｐｌｅｘｉｔｙ ｖｅｒｓｉｏｎ"、２０１８年５月２２日検索、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓａｎ％２０Ｄｉｅｇｏ／ｗｇ１１／ＪＶＥＴ－Ｊ００２５－ｖ４．ｚｉｐ＞ ＪＶＥＴ－Ｊ００１８、"Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＭｅｄｉａＴｅｋ"、［２０１８年５月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓａｎ％２０Ｄｉｅｇｏ／ｗｇ１１／ＪＶＥＴ－Ｊ００１８－ｖ２．ｚｉｐ＞

しかしながら、ＣＣＩＰ＿Ａモード又はＣＣＩＰ＿Ｌモードを適用したブロックの残差信号（予測残差）は、そのエネルギー分布傾向に偏りがでる可能性が高い。

例えば、ＣＣＩＰ＿Ａモードを適用する場合には、上側の輝度成分及び色差成分の復号画素を線形モデルの算出に用いるため、当該ブロックの上端部領域の予測精度は高くなる可能性が高い。一方、線形モデル算出に用いた復号画素から遠い下端部領域の予測精度は低くなる可能性が高い。

同様に、ＣＣＩＰ＿Ｌモードを適用する場合には、左側の輝度成分及び色差成分の復号画素を線形モデル算出に用いるため、当該ブロックの色差成分の左端部領域の予測精度は高くなる可能性が高いが、線形モデルの算出に用いた復号画素から遠い右端部領域の予測精度は低くなる可能性が高い。

かかる予測精度が低い領域は予測残差のエネルギーが大きくなるため、符号化効率の低下を引き起こすという問題がある。

そこで、本発明は、成分間イントラ予測を用いる場合において符号化効率を改善したイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係るイントラ予測装置は、フレーム単位の原画像を分割して得られたブロック単位でイントラ予測を行うイントラ予測装置であって、前記イントラ予測の対象とする対象ブロックの周辺にある第１成分及び第２成分のそれぞれの復号画素を用いて線形モデルを算出する線形モデル算出部と、前記線形モデル算出部により算出された前記線形モデルを前記対象ブロックの第１成分の復号画素に適用することにより、前記対象ブロックの第２成分の画素を予測する予測部と、前記線形モデル算出部が前記線形モデルの算出に用いた復号画素の位置に基づいて、前記予測部により得られた第２成分の予測画素を補正する補正部と、を備えることを要旨とする。

かかるイントラ予測装置によれば、線形モデル算出部が線形モデルの算出に用いた復号画素の位置に基づいて、予測部により得られた第２成分の予測画素を補正することにより、第２成分の予測画素の精度（すなわち、予測精度）を向上させる補正が可能になるため、符号化効率を改善できる。

第２の特徴に係る画像符号化装置は、第１の特徴に記載のイントラ予測装置を備えることを要旨とする。

第３の特徴に係る画像復号装置は、第１の特徴に記載のイントラ予測装置を備えることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第１の特徴に記載のイントラ予測装置として機能させることを要旨とする。

本発明によれば、成分間イントラ予測を用いる場合において符号化効率を改善したイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 通常のＣＣＩＰモードを示す図である。 ＣＣＩＰ＿Ａモードを示す図である。 ＣＣＩＰ＿Ｌモードを示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係るイントラ予測部の構成を示す図である。 実施形態に係るＣＣＩＰ＿Ａモードを適用する場合における補正方法の一例を示す図である。 実施形態に係るＣＣＩＰ＿Ｌモードを適用する場合における補正方法の一例を示す図である。

図面を参照して、一実施形態に係る画像符号化装置及び画像復号装置について説明する。本実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号を行う。なお、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜１．画像符号化装置の構成＞
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、ループフィルタ１６０と、メモリ１７０と、予測部１８０とを備える。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。入力画像内の各画素は、輝度成分（Ｙ）及び色差成分（Ｃ_b、Ｃ_r）からなる。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位である。

本実施形態において、ブロック分割部１００は、入力画像をＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれるブロックに分割する。１つのＣＵは、輝度成分のブロックと色差成分のブロックとからなる。画像符号化装置１は、１つのＣＵを構成する輝度成分のブロック及び色差成分のブロックを別々に符号化することが可能である。同様に、画像復号装置２は、１つのＣＵを構成する輝度成分のブロック及び色差成分のブロックを別々に復号化することが可能である。

減算部１１０は、ブロック分割部１００から入力されたブロックと当該ブロックを予測部１８０が予測して得た予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、生成した量子化変換係数情報及び量子化制御情報をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０には、ループフィルタ１６０からフィルタ処理に関する制御情報が入力され、予測部１８０から予測に関する制御情報が入力される。エントロピー符号化部１３０は、これらの制御情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１８０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、復号したブロック単位の復号画像をループフィルタ１６０に出力する。かかる復号画像は、再構成画像と称されることがある。

ループフィルタ１６０は、合成部１５０から入力された復号画像に対して、後処理としてのフィルタ処理であるループフィルタ処理を行い、当該フィルタ処理後の復号画像をメモリ１７０に出力する。また、ループフィルタ１６０は、ループフィルタ処理に関する制御情報をエントロピー符号化部１３０に出力する。

メモリ１７０は、ループフィルタ１６０から入力された復号画像を記憶する。メモリ１７０は、復号画像をフレーム単位で記憶する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。

予測部１８０は、ブロック単位で予測を行う。予測部１８０は、イントラ予測部１８１と、インター予測部１８２と、切替部１８３とを備える。

イントラ予測部１８１は、フレーム単位の原画像を分割して得られたブロック単位でイントラ予測を行うイントラ予測装置に相当する。イントラ予測部１８１は、メモリ１７０に記憶された復号画像のうち、予測対象のブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１８３に出力する。ブロックの周辺にある復号画素値とは、当該ブロックに対するイントラ予測の際に参照され得る復号画素の値をいい、当該ブロックに隣接する復号画素の値に限定されない。また、イントラ予測部１８１は、複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１８１は、選択したイントラ予測モードに関する制御情報をエントロピー符号化部１３０に出力する。なお、イントラ予測モードには、Ｐｌａｎａｒ予測、ＤＣ予測、及び方向性予測がある。

本実施形態において、イントラ予測部１８１は、予測対象のＣＵ（対象ブロック）の色差成分に適用するイントラ予測モードとして、成分間イントラ予測（ＣＣＩＰ）を選択可能である。ＣＣＩＰでは、ＣＵの輝度成分の復号画素値を用いて当該ＣＵの色差成分の画素値を予測する。なお、イントラ予測部１８１は、ＣＵの輝度成分のイントラ予測を先に行っており、メモリ１７０には、当該ＣＵの輝度成分の復号画素値が記憶されている。

本実施形態において、ＣＣＩＰは、通常のＣＣＩＰ、ＣＣＩＰ＿Ａ、及びＣＣＩＰ＿Ｌの３つのモードを含む。図２は通常のＣＣＩＰモードを示す図であり、図３はＣＣＩＰ＿Ａモードを示す図であり、図４はＣＣＩＰ＿Ｌモードを示す図である。

図２に示すように、通常のＣＣＩＰモードの場合、イントラ予測部１８１は、ＣＵの上側及び左側にある輝度成分及び色差成分のそれぞれの復号画素値を用いて、当該ＣＵの輝度成分及び色差成分の線形モデルを算出し、算出した線形モデルを用いて当該ＣＵの色差成分の画素値を予測する。通常のＣＣＩＰモードは、ＣＵの上側及び左側の輝度成分及び色差成分の復号画素の信号分布の関係が当該ＣＵの輝度成分及び色差成分の信号分布の関係と近似できることを利用することにより、色差成分の信号を精度よく予測できる。

イントラ予測部１８１は、上述した、非特許文献の他、例えば、ＪＶＥＴ－Ｇ１００１－Ｖ１等に記載されているように、次の式（１）によりＣＵの色差成分（Ｃｂ）の予測画素値ｐｒｅｄ_c（ｉ，ｊ）を算出する。ここで、式（１）が線形モデルに相当する。

但し、ｒｅｃ_L '（ｉ, ｊ）は、当該ＣＵのダウンサンプルされた輝度成分の復号画素値（ｄｏｗｎｓａｍｐｌｅｄ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｌｕｍａ ｓａｍｐｌｅｓ）を表す。

また、α及びβは次の式（２）及び（３）により算出する。

但し、Ｌ（ｎ）は、ダウンサンプルされた上側及び左側の輝度成分の復号画素値（ｔｏｐ ａｎｄ ｌｅｆｔ ｎｅｉｇｈｂｏｕｒｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｌｕｍａ ｓａｍｐｌｅｓ）を表す。Ｃ（ｎ）は、上側及び左側の色差成分の復号画素値（ｔｏｐ ａｎｄ ｌｅｆｔ ｎｅｉｇｈｂｏｕｒｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｃｈｒｏｍａ ｓａｍｐｌｅｓ）を表す。

このように、通常のＣＣＩＰは、ＣＵの上側及び左側の復号画素値を常に用いるため、上側と左側とで、輝度成分及び色差成分の信号分布の関係が異なる場合には、正しい線形モデルが算出できず、結果として色差成分の予測精度が低下してしまう。

ＣＣＩＰ＿Ａモード及びＣＣＩＰ＿Ｌモードは、ＣＵの上側と左側とで輝度成分及び色差成分の信号分布の関係が異なる場合において好適なモードである。

図３に示すように、ＣＣＩＰ＿Ａモードの場合、イントラ予測部１８１は、ＣＵの上側及び左側の輝度成分及び色差成分の復号画素値を用いるかわりに、ＣＵの上側のみの輝度成分及び色差成分の復号画素値を用いて線形モデルを算出する。ＣＣＩＰ＿Ａモードを適用する場合には、ＣＵの上側の輝度成分及び色差成分の復号画素値を線形モデルの算出に用いるため、当該ＣＵの色差成分の上端部領域の予測精度は高くなる可能性が高い。一方、線形モデル算出に用いた復号画素値から遠い色差成分の下端部領域の予測精度は低くなる可能性が高い。

図４に示すように、ＣＣＩＰ＿Ｌモードの場合、イントラ予測部１８１は、ＣＵの上側及び左側の輝度成分及び色差成分の復号画素値を用いるかわりに、ＣＵの左側のみの輝度成分及び色差成分の復号画素値を用いて線形モデルを算出する。ＣＣＩＰ＿Ｌモードを適用する場合には、ＣＵの左側の輝度成分及び色差成分の復号画素値を線形モデル算出に用いるため、当該ＣＵの色差成分の左端部領域の予測精度は高くなる可能性が高いが、線形モデルの算出に用いた復号画素値から遠い色差成分の右端部領域の予測精度は低くなる可能性が高い。

インター予測部１８２は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、予測対象のブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部１８３に出力する。インター予測部１８２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。

切替部１８３は、イントラ予測部１８１から入力されるイントラ予測画像とインター予測部１８２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

＜２．画像復号装置の構成＞
図５は、本実施形態に係る画像復号装置２の構成を示す図である。

図５に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、ループフィルタ２３０と、メモリ２４０と、予測部２５０とを備える。

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２５０に出力する。さらに、エントロピー符号復号部２００は、ループフィルタ処理に関する制御情報を取得し、取得した制御情報をループフィルタ２３０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２５０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をループフィルタ２３０に出力する。

ループフィルタ２３０は、エントロピー符号復号部２００から入力された制御情報に基づいて、合成部２２０から入力された復号画像に対して、画像符号化装置１のループフィルタ１６０が行うループフィルタ処理と同様なループフィルタ処理を行い、当該フィルタ処理後の復号画像をメモリ２４０に出力する。

メモリ２４０は、ループフィルタ２３０から入力された復号画像を記憶する。メモリ２４０は、復号画像をフレーム単位で記憶する。メモリ２４０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。

予測部２５０は、ブロック単位で予測を行う。予測部２５０は、イントラ予測部２５１と、インター予測部２５２と、切替部２５３とを備える。

イントラ予測部２５１は、メモリ２４０に記憶された復号画像を参照し、エントロピー符号復号部２００から入力された制御情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２５３に出力する。

インター予測部２５２は、メモリ２４０に記憶された復号画像を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２５２は、エントロピー符号復号部２００から入力された制御情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２５３に出力する。

切替部２５３は、イントラ予測部２５１から入力されるイントラ予測画像とインター予測部２５２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

＜３．イントラ予測部の構成＞
図６は、本実施形態に係る画像符号化装置１のイントラ予測部１８１の構成を示す図である。画像復号装置２のイントラ予測部２５１は、画像符号化装置１のイントラ予測部１８１と同様に構成される。

図６に示すように、本実施形態に係るイントラ予測部１８１は、対象ブロック（ＣＵ）の輝度成分の復号画素値を用いて当該ＣＵの色差成分の画素値を予測する成分間イントラ予測部１８１１と、成分間イントラ予測部１８１１により得られた色差成分の予測画素値を補正する色差成分補正部１８１２とを備える。

成分間イントラ予測部１８１１は、線形モデル算出部１８１１ａと、色差成分予測部１８１１ｂとを備える。

線形モデル算出部１８１１ａは、対象ブロック（ＣＵ）の周辺にある輝度成分の復号画素値及び色差成分の復号画素値（参照画素値）を用いて、当該ＣＵの輝度成分及び色差成分の線形モデルを算出し、算出した線形モデルを色差成分予測部１８１１ｂに出力する。また、線形モデル算出部１８１１ａは、当該ＣＵの周辺にある色差成分の復号画素値のうち、線形モデルの算出に用いなかった復号画素値を色差成分補正部１８１２に出力する。

具体的には、線形モデル算出部１８１１ａは、通常のＣＣＩＰモードを適用する場合には、当該ＣＵの上側の輝度成分及び色差成分の復号画素値と、当該ＣＵの左側の輝度成分及び色差成分の復号画素値とを線形モデルの算出に用いる（図２参照）。

線形モデル算出部１８１１ａは、ＣＣＩＰ＿Ａモードを適用する場合には、当該ＣＵの左側の輝度成分及び色差成分の復号画素値を線形モデルの算出に用いずに、当該ＣＵの上側の輝度成分及び色差成分の復号画素値を線形モデルの算出に用いる（図３参照）。かかる場合、線形モデル算出部１８１１ａは、当該ＣＵの周辺にある色差成分の復号画素値のうち、当該ＣＵの上側以外の位置にある色差成分の復号画素値を色差成分補正部１８１２に出力する。なお、当該ＣＵにおいて、線形モデルの算出に用いた上側の復号画素値から遠い下端部領域の予測精度が低くなる可能性が高いため、当該下端部領域の色差成分を補正可能とするために、当該ＣＵの下側の色差成分の復号画素値を色差成分補正部１８１２に優先的に出力することが好ましい。

線形モデル算出部１８１１ａは、ＣＣＩＰ＿Ｌモードを適用する場合には、当該ＣＵの上側の輝度成分及び色差成分の復号画素値を線形モデルの算出に用いずに、当該ＣＵの左側の輝度成分及び色差成分の復号画素値を線形モデルの算出に用いる（図４参照）。かかる場合、線形モデル算出部１８１１ａは、当該ＣＵの周辺にある復号画素値のうち、対象ブロックの左側以外の位置にある復号画素値を色差成分補正部１８１２に出力する。なお、当該ＣＵにおいて、線形モデルの算出に用いた左側の復号画素値から遠い右端部領域の予測精度が低くなる可能性が高いため、当該右端部領域の色差成分を補正可能とするために、当該ＣＵの右側の色差成分の復号画素値を色差成分補正部１８１２に優先的に出力することが好ましい。

色差成分予測部１８１１ｂは、式（１）により、線形モデル算出部１８１１ａから入力された線形モデルを当該ＣＵの輝度成分の復号画素値に適用することにより、当該ＣＵの色差成分の画素値を予測し、当該ＣＵの色差成分の予測画素値を色差成分補正部１８１２に出力する。

色差成分補正部１８１２は、線形モデル算出部１８１１ａから入力された復号画素値（すなわち、線形モデルの算出に用いなかった復号画素値）を用いて、色差成分予測部１８１１ｂから入力された当該ＣＵの色差成分の予測画素値を例えばフィルタ処理により補正する。

具体的には、色差成分補正部１８１２は、ＣＣＩＰ＿Ａモードを適用する場合には、当該ＣＵの周辺にある復号画素値のうち、当該ＣＵの上側以外の位置にある復号画素値を用いて、当該ＣＵの上端部領域以外の端部領域にある色差成分の予測画素値を補正する。例えば、色差成分補正部１８１２は、当該ＣＵの下側にある色差成分の復号画素値を用いて、当該ＣＵの下端部領域にある色差成分の予測画素値を補正する。

図７は、ＣＣＩＰ＿Ａモードを適用する場合における補正方法の一例を示す図である。

図７に示すように、色差成分補正部１８１２は、ＣＵの下側にある色差成分の復号画素値を利用可能である場合には、当該下側の色差成分の復号画素値を用いて、当該ＣＵの下端部領域の色差成分の予測画素値をフィルタ処理することにより補正する。具体的には、下記の式（４）により、当該ＣＵの下端部領域の色差成分の予測画素値ｑ₀、ｑ₁、ｑ₂及び当該ＣＵの下側にある色差成分の復号画素値（参照画素値）ｐ₀、ｐ₁、ｐ₂を用いて補正し、補正後の予測画素値ｑ' ₀ 、ｑ' ₁ 、ｑ' ₂ を出力する。

ここで、ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。また、式（４）におけるｔｃは、クリッピングに用いる処理の調整オフセットであり、量子化パラメータ（Ｑｐ）を用いる関数により可変な値を算出及び設定可能である。

このように、ＣＣＩＰ＿Ａモードを適用する場合には、線形モデル算出に用いた上側の復号画素値から遠い下端部領域の予測精度は低くなる可能性が高いが、当該ＣＵの下端部領域の色差成分の予測画素値を補正して精度を向上させることにより、当該下端部領域に対応する予測残差のエネルギーを抑制し、符号化効率を改善できる。

一方、色差成分補正部１８１２は、ＣＣＩＰ＿Ｌモードを適用する場合には、当該ＣＵの周辺にある復号画素値のうち、当該ＣＵの左側以外の位置にある復号画素値を用いて、当該ＣＵの左端部領域以外の端部領域にある色差成分の予測画素値を補正する。例えば、色差成分補正部１８１２は、当該ＣＵの右側にある色差成分の復号画素値を用いて、当該ＣＵの右端部領域にある色差成分の予測画素値を補正する。

図８は、ＣＣＩＰ＿Ｌモードを適用する場合における補正方法の一例を示す図である。

図８に示すように、色差成分補正部１８１２は、ＣＵの右側にある色差成分の復号画素値を利用可能である場合には、当該右側の色差成分の復号画素値を用いて、当該ＣＵの右端部領域の色差成分の予測画素値をフィルタ処理することにより補正する。具体的には、式（４）により、当該ＣＵの右端部領域の色差成分の予測画素値ｑ₀、ｑ₁、ｑ₂及び当該ＣＵの右側にある色差成分の復号画素値（参照画素値）ｐ₀、ｐ₁、ｐ₂を用いて補正し、補正後の予測画素値ｑ' ₀ 、ｑ' ₁ 、ｑ' ₂ を出力する。

このように、ＣＣＩＰ＿Ｌモードを適用する場合には、線形モデル算出に用いた左側の復号画素値から遠い右端部領域の予測精度は低くなる可能性が高いが、当該ＣＵの右端部領域の色差成分の予測画素値を補正して精度を向上させることにより、当該右端部領域に対応する予測残差のエネルギーを抑制し、符号化効率を改善できる。

＜４．実施形態のまとめ＞
以上説明したように、イントラ予測部１８１は、対象ブロック（ＣＵ）の周辺にある復号画素値のうち、線形モデル算出部１８１１ａが線形モデルの算出に用いなかった復号画素値を用いて、色差成分予測部１８１１ｂにより得られた色差成分の予測画素値を補正する色差成分補正部１８１２を備える。これにより、当該ＣＵの色差成分の予測画素値の精度（すなわち、予測精度）を向上させる補正が可能になるため、符号化効率を改善できる。

実施形態において、線形モデル算出部１８１１ａが対象ブロック（ＣＵ）の上側にある復号画素値を用いて線形モデルを算出する場合、色差成分補正部１８１２は、当該ＣＵの周辺にある復号画素値のうち、当該ＣＵの上側以外の位置にある復号画素値を用いて、当該ＣＵの上端部領域以外の端部領域にある色差成分の予測画素値を補正する。これにより、ＣＣＩＰ＿Ａモードを適用する場合において符号化効率を改善できる。

実施形態において、線形モデル算出部１８１１ａが対象ブロック（ＣＵ）の左側にある復号画素値を用いて線形モデルを算出する場合、色差成分補正部１８１２は、当該ＣＵの周辺にある復号画素値のうち、当該ＣＵの左側以外の位置にある復号画素値を用いて、当該ＣＵの左端部領域以外の端部領域にある色差成分の予測画素値を補正する。これにより、ＣＣＩＰ＿Ｌモードを適用する場合において符号化効率を改善できる。

＜５．その他の実施形態＞
上述した実施形態において、色差成分補正部１８１２が、ＣＣＩＰ＿Ａモード及びＣＣＩＰ＿Ｌモードにおいて色差成分の予測画素値を補正する一例について主として説明した。しかしながら、色差成分補正部１８１２は、通常のＣＣＩＰモードにおいても、色差成分の予測画素値を補正してもよい。

また、上述した実施形態において、色差成分補正部１８１２が、線形モデルの算出に用いなかった色差成分の復号画素値を用いて色差成分の予測画素値を補正する一例について説明した。しかしながら、色差成分補正部１８１２は、線形モデルの算出に用いなかった輝度成分の復号画素値を用いて色差成分の予測画素値を補正してもよい。

上述した実施形態において、映像信号を構成する成分が輝度・色差成分（ＹＣｂＣｒ）である一例について説明したが、映像信号を構成する成分は三原色成分（ＲＧＢ）であってもよい。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本願は、日本国特許第２０１８－１５２９８９号（２０１８年８月１５日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (11)

1. フレーム単位の原画像を分割して得られたブロック単位でイントラ予測を行うイントラ予測装置であって、
   前記イントラ予測の対象とする対象ブロックの周辺にある第１成分及び第２成分のそれぞれの復号画素を用いて線形モデルを算出する線形モデル算出部と、
   前記線形モデル算出部により算出された前記線形モデルを前記対象ブロックの第１成分の復号画素に適用することにより、前記対象ブロックの第２成分の画素を予測する予測部と、
   前記線形モデル算出部が前記線形モデルの算出に用いた復号画素の位置に基づいて、前記予測部により得られた第２成分の予測画素を補正する補正部と、を備えることを特徴とするイントラ予測装置。
2. 前記第１成分は、輝度成分であり、
   前記第２成分は、色差成分であることを特徴とする請求項１に記載のイントラ予測装置。
3. 前記補正部は、前記対象ブロックの周辺にある復号画素のうち、前記線形モデル算出部が前記線形モデルの算出に用いなかった復号画素を用いて、前記予測部により得られた第２成分の予測画素を補正することを特徴とする請求項１又は２に記載のイントラ予測装置。
4. 前記補正部は、前記対象ブロックの周辺にある第２成分の復号画素のうち、前記線形モデル算出部が前記線形モデルの算出に用いなかった第２成分の復号画素を用いて、前記予測部により得られた前記第２成分の予測画素を補正することを特徴とする請求項３に記載のイントラ予測装置。
5. 前記線形モデル算出部は、前記対象ブロックの上側の位置にある復号画素を用いて前記線形モデルを算出し、
   前記補正部は、前記対象ブロックの周辺にある復号画素のうち、前記対象ブロックの上側以外の位置にある復号画素を用いて、前記予測部により得られた前記第２成分の予測画素を補正することを特徴とする請求項３又は４に記載のイントラ予測装置。
6. 前記補正部は、前記対象ブロックの上端部領域以外の端部領域にある前記第２成分の予測画素を補正することを特徴とする請求項５に記載のイントラ予測装置。
7. 前記線形モデル算出部は、前記対象ブロックの左側の位置にある復号画素を用いて前記線形モデルを算出し、
   前記補正部は、前記対象ブロックの周辺にある復号画素のうち、前記対象ブロックの左側以外の位置にある復号画素を用いて、前記予測部により得られた前記第２成分の予測画素を補正することを特徴とする請求項３又は４に記載のイントラ予測装置。
8. 前記補正部は、前記対象ブロックの左端部領域以外の端部領域にある前記第２成分の予測画素を補正することを特徴とする請求項７に記載のイントラ予測装置。
9. 請求項１乃至８のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像符号化装置。
10. 請求項１乃至８のいずれか１項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。
11. コンピュータを請求項１乃至８のいずれか１項に記載のイントラ予測装置として機能させることを特徴とするプログラム。

Images