JP6409400B2 - 映像符号化装置、方法及びプログラム - Google Patents

Description

本発明は、映像符号化装置、方法及びプログラムに関し、例えば、複数のイントラ予測モードを利用可能な映像符号化方式を用いる映像符号化装置、方法及びプログラムに適用し得るものである。

例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding：以下、ＡＶＣとも呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。

近年、更なる高画質化、高圧縮効率化のため、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding：以下、ＨＥＶＣと呼ぶ。）が規定されている。

図２は、映像符号化装置の構成を示すブロック図である。図２において、例えばＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣのような符号化技術を用いる場合、入力映像シーケンスが映像符号化装置に入力される。入力された符号化対象画像は、画面分割部１０１により処理単位領域ごとに画面分割されて差分処理部１１１に与えられる。処理単位領域ごとに分割された入力画像は、差分処理部１１１により、動き補償を伴うインター予測部１０９による予測画像、若しくは、イントラ予測部１１０による予測画像との差分である予測残差信号が求められる。そして、予測残差信号は、変換部１０２により、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）されて、得られた変換係数が量子化部１０３により量子化される。エントロピー符号化部１０４では、量子化された変換係数を、可変長符号や算術符号等のようなエントロピー符号化して符号化ストリームとして出力する。

量子化を伴う符号化方式の場合、量子化処理により量子化雑音が発生し、復号側で再生される復号画像に歪が生じる。一方で、量子化することによって、符号化すべき情報量が削減され、高効率の圧縮が実現される。

このような歪とレート（符号量）のトレードオフを評価し、符号化モード選択等に利用する技術としてレート歪最適化技術がある。すなわち、複数の符号化モード等の選択肢について、その選択肢を選択した場合に得られる復号画像の歪Ｄと、その選択肢で符号化するときに発生する符号量Ｒと、ラグランジュ乗数λで表されるレート歪コストＪ＝Ｄ＋λＲを最小化するような選択をすることによって、レートと歪のトレードオフが最適な符号化をする方法である。

ＨＥＶＣではこれまでのＡＶＣ等の映像符号化方式における符号化単位となる１６×１６画素単位のマクロブロックを拡張して、８×８画素単位から６４×６４画素単位まで（すなわち、８×８、１６×１６、３２×３２、６４×６４の画素単位）の符号化単位であるコーディングユニット（以下、ＣＵとも呼ぶ。）を４分木構造の符号化ツリーで表現することが可能となっており、多様なブロックサイズでの符号化が可能となっている。さらに、コーディングユニット（ＣＵ）は、４×４から３２×３２サイズ（すなわち、４×４、８×８、１６×１６、３２×３２画素単位）の変換単位である変換ユニット（以下、ＴＵとも呼ぶ。）に４分木構造で残差ツリーとして分割可能であり、ＣＵの予測残差信号を様々なサイズの変換単位を組み合わせて変換・量子化して符号化することが可能となっている（図３参照）。

ＨＥＶＣにおけるイントラ予測は、予測単位である予測ユニット（以下、ＰＵと呼ぶ。）毎に、ＰＵの左列及び上行に隣接する符号化済みの近隣の画素の復号画素値を参照して予測する。例えば、図４に示すように、イントラ予測に用いる予測アルゴリズムは、方向性予測、平面的に予測を行うＰｌａｎａｒ予測、直流成分を予測する直流成分（ＤＣ）予測の３通りのアルゴリズムを採用している。図４では、Ｐｌａｎａｒ予測の予測モード番号を「０」、ＤＣ予測の予測モード番号を「１」とする。また、方向性予測は、図４に示すように、予測モード番号「２」〜「３４」の３３方向の方向性の予測モードであり、図４における矢印の方向が参照画像の方向性を示しており、予測対象画素から矢印の方向の先に位置している隣接画素の画素値を参照している。

ＨＥＶＣの色差成分のイントラ予測は、図５に示すように、５通りの予測モードからの選択が可能である。色差成分のイントラ予測モードとして、Ｐｌａｎａｒ（０）、垂直方向（２６）、水平方向（１０）、ＤＣ（直流）（１）と、対応する輝度成分のイントラ予測モードと同じイントラ予測モードを使用することを示すＤＭモードの５通りの予測モードが選択可能となっている。輝度予測モードがＰ１ａｎａｒ（０）、垂直方向（２６）、水平方向（１０）、ＤＣ（１）の場合は、斜め左下方向予測（３４）が代わりに追加される。

例えば、図５において、「色差予測モード番号：２」の場合であって、輝度成分の予測モードが「輝度予測モード：２６」のとき、色差成分の予測モードは「予測モード番号：１０」である。つまり、図４に示すように、「予測モード番号：１０」は水平方向を示しているため、色差成分の予測モードは、水平方向の予測（つまり、当該ＰＵに対して左側に位置している画素を参照して予測）を選択して、色差成分の予測画像を予測して出力するようにする。

このような多数の予測モードから最適な予測モードを選択して符号化を行うことは、符号化効率や復号画像の画質に影響を与えるため、効率的なイントラ予測モード選択技術が求められている。

非特許文献１では、輝度成分のイントラ予測モードについて、全てのイントラ予測のモードでの予測画像と符号化対象画像の間の予測誤差を、アダマール変換を伴う差分絶対値和（ＨＳＡＤ）で評価してラフなモード選択を行い、ＰＵのサイズに依存した上位Ｎ個の候補モードについて変換・量子化を伴うレート歪最適化によるモード選択を行う方法が開示されている。

色差成分のイントラ予測については、通常、輝度成分とは独立に利用可能な予測モード全ての中からの選択が行われている。

図６は、従来のイントラ予測部１１０における内部構成を示すブロック図である。従来、輝度予測部１１及び輝度予測モード選択部３４は、色差成分とは独立に予測モードの選択を行っている。また、色差成分の予測モードの選択を行なう色差予測モード選択部３５は、輝度成分の予測モードとして独立に選択されたイントラ予測モードをＤＭモードとして追加した色差成分のイントラ予測モードとして利用可能な５つの予測モードから選択している。

Ｌ．Ｚｈａｏ，ｅｔ ａｌ．"Ｆｕｒｔｈｅｒ Ｅｎｃｏｄｅｒ Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｉｎｔｒａ ｍｏｄｅ ｄｅｃｉｓｉｏｎ，"ＪＣＴＶＣ−Ｄ２８３（ｈｔｔｐ：／／ｐｈｅｎｉｘ，ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／４＿Ｄａｅｇｕ／ｗｇｌｌ／ＪＣＴＶＣ−Ｄ２８３−ｖ３．ｚｉｐ）

しかしながら、例えば、輝度成分はほぼ同じであるが、色差成分の異なる方向性のエッジがあるような符号化対象画像の場合、輝度成分のイントラ予測モードとしてはＤＣやＰｌａｎａｒ等の方向性予測以外のモードが選択され、色差成分の符号化に最適な予測方向がＤＭモード（輝度成分と同じイントラ予測モード）としての選択肢に入らなくなり、符号化効率の低下や、画質劣化を招いてしまうという課題がある。

そのため、輝度成分はほぼ同じであるが色差成分に方向性のエッジがあるような対象画像に対しても最適なイントラ予測を行うことができるようになり、符号化効率を向上し、画質劣化を低減することができる画像符号化装置、方法及びプログラムが求められている。

本発明は、前記課題を解決するためになされたものであり、次のような構成を採用する。

第１の本発明に係る映像符号化装置は、複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化装置において、（１）輝度成分のイントラ予測画像を生成する輝度予測手段と、（２）色差成分のイントラ予測画像を生成する色差予測手段と、（３）色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価する予測コスト計算手段と、（４）予測コスト計算手段により得られた色差成分を考慮した予測コストに基づいて、輝度成分のイントラ予測モードを選択する輝度予測モード選択手段と、（５）輝度予測モード選択手段により選択された輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択する色差予測モード選択手段とを備え、予測コスト計算手段が、色差成分の予測誤差の評価値及び輝度成分の予測誤差の評価値の和と、予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、予測コストを算出することを特徴とする。

第２の本発明に係る映像符号化方法は、複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化方法において、（１）輝度予測手段が、輝度成分のイントラ予測画像を生成し、（２）色差予測手段が、色差成分のイントラ予測画像を生成し、（３）予測コスト計算手段が、色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価し、（４）輝度予測モード選択手段が、予測コスト計算手段により得られた色差成分を考慮した予測コストに基づいて、輝度成分のイントラ予測モードを選択し、（５）色差予測モード選択手段が、輝度予測モード選択手段により選択された上記輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択し、予測コスト計算手段が、色差成分の予測誤差の評価値及び輝度成分の予測誤差の評価値の和と、予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、予測コストを算出することを特徴とする。

第３の本発明に係る映像符号化プログラムは、複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化プログラムにおいて、コンピュータを、（１）輝度成分のイントラ予測画像を生成する輝度予測手段、（２）色差成分のイントラ予測画像を生成する色差予測手段、（３）色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価する予測コスト計算手段、（４）予測コスト計算手段により得られた色差成分を考慮した予測コストに基づいて、輝度成分のイントラ予測モードを選択する輝度予測モード選択手段、（５）輝度予測モード選択手段により選択された輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択する色差予測モード選択手段として機能させ、予測コスト計算手段が、色差成分の予測誤差の評価値及び輝度成分の予測誤差の評価値の和と、予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、予測コストを算出することを特徴とする。

本発明によれば、輝度成分はほぼ同じであるが色差成分に方向性のエッジがあるような対象画像に対しても最適なイントラ予測を行うことができるようになり、符号化効率を向上し、画質劣化を低減することができる。

第１の実施形態に係るイントラ予測部の内部構成を示すブロック図である。 第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。 ４分木構造による符号化単位への分割及び変換単位への分割を説明する説明図である。 ＨＥＶＣのイントラ予測の予測モードを説明する説明図である。 ＨＥＶＣの色差成分のイントラ予測の予測モードを説明する説明図である。 従来のイントラ予測部における内部構成を示すブロック図である。 第２の実施形態に係るイントラ予測部の内部構成を示すブロック図である。

（Ａ）第１の実施形態
以下では、本発明に係る画像符号化装置、方法及びプログラムの第１の実施形態を、図面を参照しながら詳細に説明する。

第１の実施形態では、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣを採用する画像符号化装置に本発明を適用する場合を例示する。

以下では、色差成分のイントラ予測モードを色差予測モード等と呼び、輝度成分のイントラ予測モードを輝度予測モード等と呼ぶ。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。第１の実施形態に係る映像符号化装置１は、従来の映像符号化装置の内部構成と同一又は対応する構成要素を備える。

第１の実施形態に係る映像符号化装置１は、図２に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図２で表すことができる。

図２において、第１の実施形態に係る映像符号化装置１は、画面分割部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、ループ内フィルタ部１０７、参照画像バッファ１０８、インター予測部１０９、イントラ予測部１１０Ａ、差分処理部１１１、加算部１１２、切り替え部１１３を有する。

映像符号化装置１は、入力された映像シーケンスを所定の符号化方式で符号化して、符号化映像ストリームを出力するものである。

第１の実施形態では、符号化方式がＨ．２５６／ＭＰＥＧ−Ｈ ＨＥＶＣで規格化されている符号化方式である場合を例示する。しかし、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されるものではなく、複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して符号化を行うことができるものであれば、様々な符号化方式を適用できる。例えば、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されず、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの規格化技術やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣの規格化技術等を基調として拡張した符号化方式にも適用可能である。

画面分割部１０１は、符号化対象画像を所定の処理単位に分割するために、入力された映像シーケンスの符号化対象画像を、コーディングユニット等の所定の処理単位領域ごとに分割して、差分処理部１１１に与えるものである。

差分処理部１１１は、予測残差信号を求めるために、画面分割部１０１からの所定の処理単位領域に分割された入力画像と、インター予測部１０９若しくはイントラ予測部１１０からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として変換部１０２に与えるものである。

変換部１０２は、差分処理部１１１からの予測残差を、例えばＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）等によって変換係数を求め、その得られた変換係数を量子化部１０３に与えるものである。

量子化部１０３は、変換部１０２により得られた変換係数を量子化し、その量子化された変換係数をエントロピー符号化部１０４及び逆量子化部１０５に与えるものである。

エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、量子化部１０３からの量子化残差信号をエントロピー符号化して、符号化映像ストリームを出力するものである。

逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、量子化部１０３からの量子化残差信号を逆量子化するものである。

逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１１２に与えるものである。

加算部１１２は、逆変換部１０６からの復元された残差信号に、切り替え部１１３を介してインター予測部１０９又はイントラ部１１０からの予測画像を加算して、復号側で復号される復号画像を求めるものである。加算部１１２は、復号画像を、ループ内フィルタ部１０７及びイントラ予測部１１０Ａに与えるものである。

ループ内フィルタ部１０７は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１１２からの復号画像をフィルタリングするものである。第１の実施形態はＨＥＶＣ等を適用する場合を例示しており、デブロッキングフィルタ等のループ内フィルタ部１０７を用いて符号化歪みを低減する。

参照画像バッファ１０８は、ループ内フィルタ部１０７から出力される画像を、参照画像として保持するものである。ループ内フィルタ部１０７からの出力画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。

インター予測部１０９は、参照画像バッファ１０８に保持されている画像を参照画像として取得して動き補償予測を行うものである。

イントラ予測部１１０Ａは、加算部１１２から出力される画像を用いてイントラ予測を行うものである。

切り替え部１１３は、画像のフレーム間又はフレーム内の画像符号化を行うために、インター予測部１０９又はイントラ予測部１１０Ａの出力を切り替えるものである。

図１は、第１の実施形態に係るイントラ予測部１１０Ａの内部構成を示すブロック図である。図１において、第１の実施形態に係るイントラ予測部１１０Ａは、輝度予測部１１、色差予測部１２、予測コスト計算部１３、輝度予測モード選択部１４、色差予測モード選択部１５を有する。

イントラ予測部１１０Ａは、符号化対象の予測単位（ＰＵ）の入力画像と、符号化対象のＰＵに上行および左列に隣接する符号化済みの領域の加算部１１２の出力である画面内の復号画像とを入力し、符号化対象ＰＵに対するイントラ予測画像を出力する。

輝度予測部１１は、入力される予測単位（ＰＵ）に隣接する領域の復号画像を用いて、利用可能なイントラ予測モードでの輝度成分のイントラ予測画像を生成するものである。輝度予測部１１は、生成した輝度成分のイントラ予測画像を予測コスト計算部１３に与える。

色差予測部１２は、入力される予測単位（ＰＵ）に隣接する領域の復号画像を用いて、利用可能なイントラ予測モードでの色差成分のイントラ予測画像を生成するものである。色差予測部１２は、生成した色差成分のイントラ予測画像を予測コスト計算部１３及び色差予測モード選択部１５に与える。

予測コスト計算部１３は、輝度予測部１１からの輝度成分のイントラ予測画像と、色差予測部１２からの色差成分のイントラ予測画像と、符号化対象の予測単位（ＰＵ）の入力画像との間の予測誤差を求め、予測モードをエントロピー符号化する場合に必要となる符号量に基づいて予測コストを計算するものである。予測コスト計算部１３は、算出した予測コストを輝度予測モード選択部１４に与える。

輝度予測モード選択部１４は、予測コスト計算部１３からの予測コストに基づいて、輝度成分のイントラ予測モードを選択するものである。輝度予測モード選択部１４は、選択した輝度成分予測画像を出力するものである。

色差予測モード選択部１５は、輝度予測モード選択部１４により選択された輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択するものである。色差予測モード選択部１５は、選択した色差成分予測画像を出力するものである。

なお、輝度予測モード選択部１４により選択された輝度成分予測画像及び色差予測モード選択部１５により選択された色差成分予測画像を、イントラ予測部１１０Ａにおけるイントラ予測画像として出力する。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る映像符号化装置１における画像符号化方法の処理の動作を、図１を参照しながら詳細に説明する。

図１において、映像符号化装置１に入力した入力映像シーケンスが画面分割部１０１に入力すると、符号化対象映像は画面分割部１０１により符号化処理単位領域ごとに分割されて差分処理部１１１に与えられる。

インター予測部１０９では、参照画像バッファ１０８に保持されている画像を参照画像として動き補償を伴うインター予測画像が予測され、その動き補償を伴う予測画像が生成される。また、イントラ予測部１１０では、画面内の符号化済みの画素等に基づいてイントラ予測画像が生成される。

切り替え部１１３は、インター符号化又はイントラ符号化に応じて、インター予測部１０９又はイントラ予測部１１０のいずれかに切り替え、インター予測画像又はイントラ予測画像のいずれを差分処理部１１１に与える。

差分処理部１１１では、符号化処理単位領域に対して、入力画像と予測画像との差分が求められ、その差分が予測残差信号として、変換部１０２及び量子化部１０３に出力される。

予測残差信号は変換部１０２及び量子化部１０３に入力され、変換部１０２及び量子化部１０３により、予測残差信号は、変換・量子化された変換係数の量子化残差信号に変換される。変換された量子化残差信号は、エントロピー符号化部１０４及び逆量子化部１０５に与えられる。

量子化残差信号は、符号化モード情報や動きベクトル情報等とともに、エントロピー符号化部１０４でエントロピー符号化されて符号化映像ストリームとして出力する。

一方、逆量子化部１０５及び逆変換部１０６では、量子化残差信号が逆量子化・逆変換され、加算部１１により逆量子化・逆変換された信号が予測画像と加算されて、復号画像が復元される。復元された復号画像は、ループ内フィルタ部１０７及びイントラ予測部１１０に与えられる。

ループ内フィルタ部１０７において、復号画像はブロッキングフィルタ等のフィルタ処理が施されて、符号化歪みが軽減されて、参照画像バッファ１０８に保持される。

また、加算部１１２による復元された復号画像は、イントラ予測部１１０に与えられて、画面内のイントラ予測に利用される。

次に、第１の実施形態に係るイントラ予測部１１０Ａにおける動作を説明する。

図１に示すように、符号化対象の予測単位であるＰＵ毎に符号化対象の入力画像（図１では、符号化対象画像と表記している。）がイントラ予測部１１０Ａに入力される。このとき、加算部１１２から、画面内の当該符号化対象の予測単位（ＰＵ）に隣接する符号化済みの領域の復号画像（隣接復号画像ともいう。）が、輝度予測部１１及び色差予測部１２に入力する。ここで、隣接復号画像は、符号化対象のＰＵに対して隣接する符号化済みの領域の復号画像であり、参照画像として利用される。隣接復号画像は、ＰＵに対して上行に隣接する領域、ＰＵに対して左列に隣接する領域の復号画像とすることが好ましい。

輝度予測部１１では、加算部１１２から当該画面内の隣接復号画像に基づいて輝度成分のイントラ予測がなされ、これにより得た輝度成分のイントラ予測画像が予測コスト計算部１３に与えられる。

また、色差予測部１２では、加算部１１２から当該画面内の隣接復号画像に基づいて色差成分のイントラ予測がなされ、これにより得た色差成分のイントラ予測画像が予測コスト計算部１３及び色差予測モード選択部１５に与えられる。

なお、第１の実施形態では、イントラ予測画像の生成処理手段として、輝度成分と色差成分とを区別して行なう場合を例示したが、イントラ予測画像の生成処理手段が、輝度成分及び色差成分で共用するようにしても良い。

予測コスト計算部１３では、輝度成分の予測モードを選択するために、色差成分のイントラ予測モードとしてＤＭモード（輝度成分と同じイントラ予測モード）の利用を想定し、輝度予測部１１からの輝度成分予測画像と符号化対象のＰＵの入力画像との間の輝度成分の予測誤差と、色差予測部１２からの色差成分予測画像と符号化対象のＰＵの入力画像との間の色差成分の予測誤差を評価する。

つまり、第１の実施形態では、予測コスト計算部１３が、色差成分のイントラ予測モードが輝度成分と同じイントラ予測モードを利用することを想定して予測誤差を評価する。これにより、色差成分のイントラ予測モードをＤＭモードとした場合の予測誤差を算出した場合の予測コストを計算することができる。

ここで、予測コスト計算部１３による輝度成分の予測誤差及び色差成分の予測誤差の算出方法は、例えば、ＰＵ毎に、各成分の予測画像と符号化対象の入力画像との画素値の差分の絶対値の和である差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法や、又は、各成分の予測画像と入力画像との間の各成分の予測残差をアダマール変換した後に差分絶対値和を求めるアダマール変換を伴う差分絶対値和（ＨＳＡＤ）を用いる方法等を用いることができる。

次に、予測コスト計算部１３による予測コストの算出方法を説明する。ここでは、予測コスト計算部１３がＨＳＡＤにより評価値を算出する場合を例示する。例えば、予測コスト計算部１３は、ＨＳＡＤにより算出した輝度成分と色差成分の予測誤差の評価値の和Ｄ_predと、輝度成分の予測モードをエントロピー符号化で符号化する場合の符号量Ｒ_predとすると、予測コスト計算部１３は、（１）式を用いて、輝度成分の予測モードに対する予測コストＪ_predを算出する。
Ｊ_pred＝Ｄ_pred＋λ_predＲ_pred …（１）

ここで、λ_predは、ラグランジュ乗数であり、量子化部１０３などで用いられる量子化パラメータなどに依存して設定する。なお、予測誤差の評価値の和Ｄ_predは、輝度成分の予測誤差の評価値と色差成分の予測誤差の評価に異なる重みを掛けた後に加算して算出してもよい。

輝度予測モード選択部１４では、予測コスト計算部１３により算出された予測コストＪ_predに基づいて、輝度成分の予測モードの選択を行う。

ここで、輝度成分の予測モードの選択方法としては、従来技術と同様に予測コストＪ_predを用いて予測コストＪ_predの小さな予測モード候補を所定の上位Ｎ個に絞り込み、上位Ｎ個については変換・量子化を行って得られる復号画像の入力画像に対する歪Ｄ_modeと、量子化された変換係数と予測モードをエントロピー符号化する場合に発生する符号量Ｒ_modeをもとにレート歪コストＪ_mode＝Ｄ_mode＋λ_modeＲ_modeを算出して選択するようにしてもよい。レート歪コストの歪指標Ｄ_modeとしては、通常、差分二乗和（ＳＳＤ）が用いられる。

また、単純に予測コストＪ_predのみを用いた選択を行うよう構成してもよい。選択された輝度成分の予測モードに対する輝度予測部１１からの予測画像を輝度予測画像として出力する。

色差予測モード選択部１５では、輝度予測モード選択部１４で選択された輝度予測モードに基づいて、図５のような色差予測モードとして利用可能な予測モードからの選択を行い、選択された色差成分の予測モードに対する色差予測部１２からの予測画像を色差予測画像として出力する。

なお、選択方法としては、利用可能な予測モード全てについて、変換・量子化を伴うレート歪コストＪ_modeを算出し、各予測モードのレート歪コストＪ_modeが最適なものを選択するようにしても良い。あるいは、変換・量子化を行わずに色差成分の予測コストＪ_predを用いてレート歪コスト最適化処理を行ない、最適な予測モードを選択するように構成してもよい。なお、レート歪コストの最適化処理は、既存の方法を適用することができるため、ここでの詳細な説明を省略する。

以上のように選択された輝度成分と色差成分のイントラ予測画像を元にイントラモードを利用する符号化単位の符号化処理を行う。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば以下のような効果が得られる。第１の実施形態によれば、輝度成分はほぼ同じであるが色差成分に方向性のエッジがあるような対象画像に対しても最適なイントラ予測を行うことができるようになり、符号化効率が向上し、また画質劣化を低減することができる。

（Ｂ）第２の実施形態
次に、本発明に係る映像符号化装置、方法及びプログラムの第２の実施形態を、図面を参照しながら詳細に説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態に係る映像符号化装置１は、第１の実施形態に係る図２と同様の構成を備える。第２の実施形態では、映像符号化装置１のイントラ予測部１１０Ｂが、第１の実施形態と異なる。そのため、第２の実施形態では、イントラ予測部１１０Ｂの構成及び動作について詳細に説明することとし、それ以外の構成については、第１の実施形態で説明したため、ここでの詳細な説明を省略する。

図７は、第２の実施形態に係るイントラ予測部１１０Ｂの構成を示すブロック図である。図７において、第２の実施形態に係るイントラ予測部１１０Ｂは、輝度予測部１１、色差予測部２２、予測コスト計算部２３、輝度予測モード選択部２４、色差予測モード選択部２５、色差予測モード仮選択部２６を有する。

第２の実施形態に係るイントラ予測部１１０Ｂは、輝度成分の予測モードとは異なる色差予測モードを選択する場合の色差成分の予測モードを仮に選択する色差予測モード仮選択部２６を設けたことに特徴がある。

イントラ予測部１１０Ｂは、第１の実施形態と同様に、符号化対象の予測単位（ＰＵ）の入力画像と、符号化対象のＰＵに上行および左列に隣接する符号化済みの領域の加算部１１２の出力である画面内の復号画像を入力して、符号化対象ＰＵに対するイントラ予測画像を出力する。

輝度予測部１１は、入力されるＰＵに隣接する領域の復号画像（隣接復号画像：符号化済みの隣接する領域の復号画像）の復号画素値を用いて、利用可能なイントラ予測モードでの輝度成分のイントラ予測画像を生成するものである。

色差予測部２２は、入力されるＰＵに隣接する領域の復号画像（隣接復号画像）の復号画素値を用いて、利用可能なイントラ予測モードでの色差成分のイントラ予測画像を生成するものである。色差予測部２２は、生成した色差成分のイントラ予測画像を、予測コスト計算部２３、色差予測モード選択部２５及び色差予測モード仮選択部２６に与える。

色差予測モード仮選択部２６は、輝度成分の予測モードとは異なる色差予測モードを選択する場合の色差成分の予測モードを仮に選択するものである。色差予測モード仮選択部２６は、選択した仮の色差成分の予測モードを、予測コスト計算部２３に与える。

予測コスト計算部２３は、色差予測モード仮選択部２６により選択された色差予測モード若しくは輝度成分と同じイントラ予測モードを色差予測モードとして選択する場合における輝度成分及び色差成分の予測画像のそれぞれと、符号化対象のＰＵの入力画像との間の予測誤差を算出し、予測モードをエントロピー符号化する場合に必要となる符号量に基づいて予測コストを計算するものである。

輝度予測モード選択部２４は、予測コスト計算部２３により算出された予測コストに基づいて輝度成分のイントラ予測モードを選択するものである。輝度予測モード選択部２４は、輝度予測モード選択部２４において選択された輝度成分のイントラ予測の予測モードで予測された輝度成分予測画像を出力する。

色差予測モード選択部２５は、輝度予測モード選択部２４により選択された輝度成分の予測モードに基づいて色差成分の予測モードを選択するものである。色差予測モード選択部２５は、色差予測モード選択部２５において選択された色差成分のイントラ予測の予測モードで予測された色差成分予測画像を出力する。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る映像符号化装置１のイントラ予測部１１０Ｂの処理動作を説明する。なお、映像符号化装置１の全体的な処理動作は、第１の実施形態と同様であるため、ここでの詳細な説明は省略する。

第１の実施形態と同様に、符号化対象の予測単位（ＰＵ）の入力画像と、符号化対象のＰＵ隣接する符号化済みの領域の復号画像とが、イントラ予測部１１０Ｂに入力し、イントラ予測部１１０Ｂは符号化対象ＰＵに対するイントラ予測画像を出力する。

図７に示すように、加算部１１２から、符号化対象の予測単位であるＰＵごとに、ＰＵに対して上行および左例に隣接する符号化済みの領域の画面内の復号画像（隣接領域の復号画素値）が輝度予測部１１及び色差予測部２２に入力する。

輝度予測部１１では、各イントラ予測モードに対する輝度成分のイントラ予測画像が生成され、その輝度成分のイントラ予測画像が予測コスト計算部２３に入力する。

また、色差予測部２２では、各イントラ予測モードに対する色差成分のイントラ予測画像が生成され、その色差成分のイントラ予測画像が、予測コスト計算部２３、色差予測モード選択部２５及び色差予測モード仮選択部２６に与えられる。

色差予測モード仮選択部２６では、色差成分の予測モードとして、輝度成分の予測モードとは異なる色差予測モードを選択する場合に予測コストが最小となる色差成分の予測モードを選択し、その選択した色差成分の予測モードを予測コスト計算部２３に与える。

すなわち、色差予測モード仮選択部２６は、図５に示すように、ＤＭモード（輝度成分のイントラ予測モードと同じイントラ予測モード）以外の色差成分の予測モードとして利用可能なＰｌａｎａｒ（０）、垂直方向（２６）、水平方向（１０）、ＤＣ（１）の予測モードのうち、予測コストが最小となる仮色差予測モードを選択する。

例えば、色差予測モード仮選択部２６は、ＤＭモード以外の複数の色差成分の予測モードを用いたときの予測コストを算出し、各予測モードのうち最小のものを選択するようにしても良い。このとき、予測コストの算出方法は、例えば、色差成分の予測モードをエントロピー符号化する場合の符号量と、歪指標としての符号化対象画像と予測画像との差分絶対値和（ＳＡＤ）を用いて予測コストを求めるようにしても良いし、また例えば、歪指標として符号化対象画像と予測画像との差分をアダマール変換して絶対値和（ＨＳＡＤ）を算出して予測コストを求めるようにしても良い。

予測コスト計算部２３では、輝度成分の予測モードを選択するために、色差成分のイントラ予測の予測モードとしてＤＭモードを利用する場合の輝度成分の予測画像及び色差成分の予測画像のそれぞれと、符号化対象であるＰＵの入力画像との間の予測誤差を算出すると共に、色差予測モード仮選択部２６により選択された仮色差予測モードを利用する場合の輝度成分の予測画像及び色差成分の予測画像のそれぞれと、符号化対象であるＰＵの入力画像との間の予測誤差を算出する。

そして、予測コスト計算部２３は、２通りの色差成分のイントラ予測の予測モードのそれぞれの場合の予測誤差を用いて、例えば、ＳＡＤもしくはＨＳＡＤなどの歪指標で評価した輝度成分と色差成分の予測誤差評価値の和Ｄ_predと、輝度成分と色差成分のそれぞれの予測モードをエントロピー符号化する場合の符号量Ｒ_predから予測コストＪ_pred＝Ｄ_pred＋λ_predＲ_predを算出する。そして、予測コスト計算部２３は、２通りの予測コストのうち小さいほうを出力する。

つまり、予測コスト計算部２３は、色差成分のイントラ予測の予測モードがＤＭモードである場合の予測コストと、色差予測モード仮選択部２６により選択された仮の色差予測モードである場合の予測コストとを評価して、予測コストが小さいものを出力する。

輝度予測モード選択部２４では、予測コスト計算部２３からの予測コストＪ_predに基づいて、輝度成分の予測モードの選択を行う。ここで、輝度成分の予測モードの選択方法としては、第１の実施形態と同様にさまざまな選択方法が利用可能である。選択された輝度成分の予測モードに対する輝度予測部１１からの予測画像を輝度予測画像として出力する。

色差予測モード選択部２５では、輝度予測モード選択部２４で選択された輝度予測モードに基づいて、図５のような色差予測モードとして利用可能な予測モードからの選択を行い、選択された色差成分の予測モードに対する色差予測部１２からの予測画像を色差予測画像として出力する。

ここで、色差成分の予測モードの選択方法としては、第１の実施形態と同様に利用可能な予測モード全てのうちから選択する方法のほか、輝度予測モード選択部２４で選択された輝度予測モードに対応する予測コスト計算部２３での予測コスト計算時に選択された色差予測モードをそのまま利用するように構成してもよい。

以上のように選択された輝度成分と色差成分のイントラ予測画像を元にイントラモードを利用する符号化単位の符号化処理を行う。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態と同様な効果に加えて、さらに最適なイントラ予測を行うことができるようになり、符号化効率が向上し、また画質劣化を低減することができる。

（Ｃ）他の実施形態
上述した各実施形態においても種々の変形実施形態を言及したが、本発明は上記実施形態に限定されず、その他のさまざまな符号化処理に利用可能である。

（Ｃ−１）上述した各実施形態では、符号化方式がＨＥＶＣを採用する場合を例示したが、符号化方式はＨＥＶＣの符号化処理に限定されず、複数のイントラ予測モードを利用可能なその他のさまざまな符号化方式に適用可能である。

（Ｃ−２）上述した各実施形態では、映像符号化装置がインター予測を含む構成について説明したが、静止画の符号化や、イントラ予測のみを用いるプロファイルの符号化器などの場合は、インター予測にかかわる構成要素を省略して構成してもよい。

（Ｃ−３）上述した各実施形態では、予測コスト計算部が、コスト計算の歪指標として、差分絶対値和等を用いる例について説明したが、その他の視覚特性を反映するような歪指標を用いてコスト計算を行うように構成してもよい。また、これら複数の処理方法を設定により選択可能なように構成してもよい。

（Ｃ−４）本発明は、上記構成を有するような装置として構成する場合や、上記処理を実現するようなプログラムとしても実施可能である。

１…映像符号化装置、１０１…画面分割部、１０２…変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…ループ内フィルタ部、１０８…参照画像バッファ、１０９…インター予測部、１１０Ａ及び１１０Ｂ…イントラ予測部、１１１…差分処理部、１１２…加算部、１１３…切り替え部、１１…輝度予測部、１２及び２２…色差予測部、１３及び２３…予測コスト計算部、１４及び２４…輝度予測モード選択部、１５及び２５…色差予測モード選択部、２６…色差予測モード仮選択部。

Claims (11)

1. 複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化装置において、
   輝度成分のイントラ予測画像を生成する輝度予測手段と、
   色差成分のイントラ予測画像を生成する色差予測手段と、
   色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価する予測コスト計算手段と、
   上記予測コスト計算手段により得られた色差成分を考慮した上記予測コストに基づいて、輝度成分のイントラ予測モードを選択する輝度予測モード選択手段と、
   上記輝度予測モード選択手段により選択された上記輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択する色差予測モード選択手段と
   を備え、
   上記予測コスト計算手段が、上記色差成分の予測誤差の評価値及び上記輝度成分の予測誤差の評価値の和と、イントラ予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、上記予測コストを算出する
   ことを特徴とする映像符号化装置。
2. 輝度成分のイントラ予測モードとは異なる複数の色差成分のイントラ予測モードのうち、色差成分の予測コストが最小となるものを選択する色差予測モード仮選択手段を備え、
   上記予測コスト計算手段が、色差成分のイントラ予測モードとして輝度成分のイントラ予測モードと同じイントラ予測モードを用いた場合の予測コストと、上記色差予測モード仮選択手段により選択された色差成分のイントラ予測モードを用いた予測コストとのいずれか小さい方の予測コストを出力する
   ことを特徴とする請求項１に記載の映像符号化装置。
3. 上記予測コスト計算手段が、歪指標として符号化対象画像と予測画像との差分絶対値和を用いて予測コストを算出することを特徴とする請求項１又は２に記載の映像符号化装置。
4. 上記予測コスト計算手段が、符号化対象画像と予測画像との差分をアダマール変換して絶対値和を求める歪指標を用いて予測コストを算出することを特徴とする請求項１又は２に記載の映像符号化装置。
5. 上記予測コスト計算手段が、予測誤差を輝度成分と色差成分で異なる重みをかけた後に加算して予測コストを算出することを特徴とする請求項１〜４のいずれかに記載の映像符号化装置。
6. 上記輝度予測手段及び上記色差予測手段が、イントラ予測画像の生成処理機能を共用するものであることを特徴とする請求項１〜５のいずれかに記載の映像符号化装置。
7. 上記輝度予測モード選択手段が、上記予測コスト計算手段からの予測コストに基づいて複数の輝度成分のイントラ予測モードの候補を求め、上記輝度成分のイントラ予測モードの候補のうち、変換・量子化を施した復号画像と入力画像の歪と量子化された変換係数の符号量を用いるレート歪コストに基づいて、輝度成分のイントラ予測モードを選択することを特徴とする請求項１〜６のいずれかに記載の映像符号化装置。
8. 利用する歪指標やイントラ予測モードの選択方法が、設定により複数の処理方法から選択可能なように構成することを特徴とする請求項１〜７のいずれかに記載の映像符号化装置。
9. 画像の符号化に用いる符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣであることを特徴とする請求項１〜８のいずれかに記載の映像符号化装置。
10. 複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化方法において、
    輝度予測手段が、輝度成分のイントラ予測画像を生成し、
    色差予測手段が、色差成分のイントラ予測画像を生成し、
    予測コスト計算手段が、色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価し、
    輝度予測モード選択手段が、上記予測コスト計算手段により得られた色差成分を考慮した上記予測コストに基づいて、輝度成分のイントラ予測モードを選択し、
    色差予測モード選択手段が、上記輝度予測モード選択手段により選択された上記輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択し、
    上記予測コスト計算手段が、上記色差成分の予測誤差の評価値及び上記輝度成分の予測誤差の評価値の和と、予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、上記予測コストを算出する
    ことを特徴とする映像符号化方法。
11. 複数のイントラ予測モードのうちいずれかのイントラ予測モードを用いてイントラ予測画像を生成して映像符号化を行う映像符号化プログラムにおいて、
    コンピュータを、
    輝度成分のイントラ予測画像を生成する輝度予測手段、
    色差成分のイントラ予測画像を生成する色差予測手段、
    色差成分のイントラ予測モードとして輝度成分と同じイントラ予測モードを選択する場合の色差成分の予測画像の予測誤差を、輝度成分のイントラ予測モードの評価の際に輝度成分の予測画像の予測誤差に加えて予測コストを評価する予測コスト計算手段、
    上記予測コスト計算手段により得られた色差成分を考慮した上記予測コストに基づいて、輝度成分のイントラ予測モードを選択する輝度予測モード選択手段、
    上記輝度予測モード選択手段により選択された上記輝度成分のイントラ予測モードに基づいて、色差成分のイントラ予測モードを選択する色差予測モード選択手段
    として機能させ、
    上記予測コスト計算手段が、上記色差成分の予測誤差の評価値及び上記輝度成分の予測誤差の評価値の和と、予測モードをエントロピー符号化で符号化するのに必要となる符号量とを用いて、上記予測コストを算出する
    ことを特徴とする映像符号化プログラム。

Images