JP6164360B2 - 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法 - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法に関する。

動画像データは、非常に大きなデータ量を有することが多い。このため、送信装置から受信装置へ動画像データを送信する場合や、動画像データを記憶装置に格納する場合には、動画像データの圧縮符号化が行われる。

代表的な動画像符号化標準としては、Moving Picture Experts Group phase 2（ＭＰＥＧ−２）、ＭＰＥＧ−４、又はH.264 MPEG-4 Advanced Video Coding（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）が知られている。これらの動画像符号化標準は、International Organization for Standardization/International Electrotechnical Commission（ＩＳＯ／ＩＥＣ）により策定されている。

また、新たな動画像符号化標準として、High Efficiency Video Coding（ＨＥＶＣ，ＭＰＥＧ−Ｈ／Ｈ．２６５）が策定されている（例えば、非特許文献１を参照）。

上述した動画像符号化標準は、インター予測符号化とイントラ予測符号化の２つの符号化方式を採用している。インター予測符号化は、符号化対象ピクチャを符号化済みピクチャの情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象ピクチャが持つ情報のみを用いて符号化対象ピクチャを符号化する符号化方式である。

これらの動画像符号化標準が対象とする動画像は、主に各種カメラで撮影された自然画像である。ところが、近年の消費者向け情報技術の進歩に伴い、自然画像に加えて、パーソナルコンピュータ（ＰＣ）のデスクトップ等のスクリーンコンテンツ画像にも動画像符号化を適用する流れが生じている。

スクリーンコンテンツ画像の動画像符号化の具体例としては、ＰＣやゲーム機器の表示映像をフラットパネルディスプレイへ無線伝送するWireless displayが挙げられる。また、別の具体例としては、仮想オペレーティングシステムのユーザ画面をインターネットプロトコルによりモバイル機器に伝送する仮想デスクトップ（Virtual Display Infrastructure，ＶＤＩ）が挙げられる。

スクリーンコンテンツ画像は、コンピュータグラフィックス等により生成される人工画像であり、自然画像とは異なる特徴を持っている。スクリーンコンテンツ画像の第１の特徴として、画素の低相関性が挙げられる。自然画像では、注目画素の画素値と隣接画素の画素値との間には、高い相関性が存在する。すべての動画像符号化標準が採用する離散コサイン変換（Discrete Cosine Transform，ＤＣＴ）は、この高い相関性を利用する符号化処理であり、高い圧縮効率を実現することができる。

一方、スクリーンコンテンツ画像では、画素値の相関性が低い領域が多く存在する。例えば、アニメーション画面での前景と背景との境界部分、ＰＣ画面での文字の輪郭部分等である。このような領域にＤＣＴを適用すると、特に低ビットレート条件において、モスキート歪と呼ばれる高周波成分の歪が、視覚的に顕著に知覚される。

スクリーンコンテンツ画像の第２の特徴として、同じパターンの繰り返しが挙げられる。例えば、ＰＣにより実行される文書編集ソフトウェアの表示画面には、同じ文字が数多く表示される。

さらに、スクリーンコンテンツ画像の第３の特徴として、画素値のバリエーションの少なさが挙げられる。文書編集ソフトウェアの例では、表示画面が均一な背景色（例えば、白色）と、黒色等の限定された色の文字フォントとから構成されることが多い。ＲＧＢ ２４ビット自然画像では、２＾（８＊３）（＝１６，７７７，２１６）色のＲＧＢの組み合わせがあり得るが、スクリーンコンテンツ画像では、高々数十色のＲＧＢの組み合わせに限定される場合が多い。

２０１３年に国際標準化されたＨＥＶＣ標準の第１版では、スクリーンコンテンツ画像を高能率に圧縮符号化するための技術が部分的に導入されている。具体的には、イントラ予測符号化及びインター予測符号化における予測誤差に適用されるＤＣＴをスキップする、Transform Skip（ＴＳ）等である。

さらに、標準化が進められているＨＥＶＣ次期版には、スクリーンコンテンツ画像の圧縮効率をさらに高める技術が導入されようとしている（例えば、非特許文献２を参照）。具体的には、スクリーンコンテンツ画像の第２の特徴に適合したイントラブロックコピーと、スクリーンコンテンツ画像の第３の特徴に適合したパレット符号化である。

イントラブロックコピーは、インター予測符号化の概念をイントラ予測符号化に導入する符号化方式である。イントラブロックコピーでは、符号化対象である処理ブロックと、処理ブロックと類似する画素値を持つ領域との間の変位が符号化される。この変位は、インター予測符号化における動きベクトルに相当する情報である。

次に、パレット符号化について説明する前に、スクリーンコンテンツ画像の第３の特徴である、画素値のバリエーションの少なさについて説明する。

図１は、スクリーンコンテンツ画像の例であるＰＣのデスクトップ画面において、白色の背景上に黒色の文字“ｉ”が表示された場合の画素値の分布を示している。なお、カラー画像の代わりにグレースケール画像を用いて画素値の分布を説明するために、図１〜図３では、ＲＧＢ ２４ビットカラー画像をグレースケール画像に変換し、デザリングを施した画像を用いている。

ＰＣの表示画面に表示された文字“ｉ”を含む矩形領域の画像１０１内の画素値は、背景の白色と前景の黒色のみであり、自然画像に出現する１６，７７７，２１６色のごく一部である。

画像１０２は、各画素が識別できるように画像１０１を拡大したものである。ＰＣの表示画面に文字を表示する場合、文字の輪郭が滑らかに見えるように、アンチエイリアス処理が適用されることが多い。アンチエイリアス処理により、文字“ｉ”の周辺には、白色及び黒色以外の色が出現する。それでも出現する色の数は限られており、図１の例では５通りの色しか存在しない。

パレット１０３は、画像１０２に含まれる画素値のバリエーションを表し、インデックスとＲＧＢ値との組のリストを含む。パレット１０３の各エントリは、インデックスとＲＧＢ値とを含み、ＲＧＢ値は、Ｒ、Ｇ、及びＢの画素値を含む。インデックスは、色の識別情報であり、色番号とも呼ばれる。パレットによって記述される画素値のバリエーションは、パレット情報と呼ばれる。

パレット符号化は、このような画像中の色の少なさを利用して、ＤＣＴよりも圧縮効率を向上させる技術である。具体的には、まず、パレットを用いて、符号化対象である処理ブロック内の各画素の画素値がパレット中の該当するインデックスに置き換えられる。次に、複数のインデックスがDifferential Pulse Code Modulation（ＤＰＣＭ）等の符号化方式により１次元のデータに変換される。そして、符号化されたインデックスとパレット情報とが併せてエントロピー符号化される。パレット符号化は、スクリーンコンテンツ画像に対して高い圧縮効率を実現することができる。

図２は、パレット符号化の例を示している。図１の画像１０２が処理ブロックの画像である場合、画像１０２の各画素値からパレット１０３が生成される。次に、パレット１０３を用いて画像１０２の各画素値をインデックスに置き換えることで、インデックス画像２０１が生成される。その後、インデックス画像２０１がＤＰＣＭ等により符号化され、符号化画像が生成される。

スクリーンコンテンツ画像の符号化のためのBase Color and Index Map（ＢＣＩＭ）モードを改善する技術も知られている（例えば、非特許文献３を参照）。テンプレートに基づくパレット情報の予測符号化も知られている（例えば、非特許文献４を参照）。隣接ブロックに基づくパレット情報の予測符号化も知られている（例えば、非特許文献５を参照）。非特許文献５のパレットモードの修正も提案されている（例えば、非特許文献６を参照）。

カラーパレット方式で表現された多値の画像データであっても、画質を劣化させずに、圧縮率の向上を図ることのできる画像圧縮装置も知られている（例えば、特許文献１を参照）。多値の画像に対してスケーラビリティを持つ、効率的な画像圧縮装置も知られている（例えば、特許文献２を参照）。

閲覧するコンピュータ端末や携帯端末のカラーパレットの色数以上の色の表示を可能とする画像処理システムも知られている（例えば、特許文献３を参照）。符号化単位のブロックサイズに応じて、パレット化を行うか否かの閾値を決定することで、符号化効率を向上させる画像符号化装置も知られている（例えば、特許文献４を参照）。

特開２００２−１４２１１９号公報 特開２００３−１３４５３２号公報 特許第３９４４５２４号 特開２００８−３１１７９２号公報

ITU-T H.265 | ISO/IEC 23008-2, "High efficiency video coding", 2013 D. Flynn et al., "High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 6", JCTVC-P1005, 16th JCT-VC Meeting, San Jose, US, 9-17 January 2014 C. Lan, J. Xu, G. J. Sullivan, F. Wu, "Improvements of the BCIM mode for screen content coding", JCTVC-F200, 6th JCT-VC Meeting, Torino, IT, 14-22 July, 2011 W. Zhu, H. Yang, "Template-based palette prediction", JCTVC-N0169, 13th JCT-VC Meeting, Incheon, KR, 18-26 Apr. 2013 L. Guo, M. Karczewicz, J. Sole, "RCE3: Results of Test 3.1 on Palette Mode for Screen Content Coding", JCTVC-N0247, 14th JCT-VC Meeting, Vienna, AT, 25 July-2 Aug. 2013 L. Guo, M. Karczewicz, J. Sole, R. Joshi, "Non-RCE3: Modified Palette Mode for Screen Content Coding", JCTVC-N0249, 14th JCT-VC Meeting, Vienna, AT, 25 July-2 Aug. 2013

上述した従来のパレット符号化には、以下のような問題がある。
パレット符号化では、符号化対象である処理ブロックのパレット情報を用いて、処理ブロックが符号化される。通常、パレット情報は、画像符号化装置に入力される処理ブロックの画素値を用いて、画像符号化装置により生成される。そして、画像復号装置は、画像符号化装置から伝送されたパレット情報を用いて、処理ブロックの符号化画像に含まれるインデックスを画素値へ逆変換する。

図２のパレット１０３の情報量は、インデックス数“５”を表現するための３ビットと、５通りのインデックスに対応するＲＧＢ値（２４ビット）を表現するための５＊２４（＝１２０）ビットとの合計の１２３ビットである。インデックス数が増加するにつれてパレットの情報量は線形的に増加する。このため、画像符号化装置から画像復号装置へブロック毎にパレット情報を伝送することは、符号化効率の観点から望ましくない。

ところで、処理ブロックに隣接する隣接ブロックは、処理ブロックと類似する画素値を含むことが多く、結果として同じパレットを持つ可能性が高い。非特許文献５では、この事実を利用して隣接ブロックのパレットを処理ブロックのパレットとして用いる、パレット情報の予測符号化が提案されている。

また、非特許文献４では、単に隣接ブロックのパレットを用いるのではなく、スライス毎にパレットのテンプレートを生成し、テンプレートと処理ブロックのパレットとの差分を符号化する予測符号化が提案されている。

パレット情報の予測符号化を効率的に行うには、符号化済みの隣接ブロックがパレット符号化されていることが望ましい。なぜならば、パレット情報は、パレット符号化を行う場合に、明示的に又は予測情報を用いて、画像符号化装置から画像復号装置へ伝送されるためである。

しかしながら、スクリーンコンテンツ画像の符号化においては、隣接ブロックが常にパレット符号化されているとは限らない。隣接ブロックがパレット符号化されていない場合、処理ブロックをパレット符号化する際に、パレット情報の予測符号化は行われず、処理ブロックのパレット情報が明示的に符号化される。このため、処理ブロックのパレット情報を予測符号化する場合と比較して、符号化効率が低下する。

なお、かかる問題は、スクリーンコンテンツ画像をパレット符号化する場合に限らず、画素値のバリエーションが少ない他の画像をパレット符号化する場合においても生ずるものである。また、かかる問題は、動画像をパレット符号化する場合に限らず、静止画像をパレット符号化する場合においても生ずるものである。さらに、かかる問題は、隣接ブロックを用いてパレット情報を予測する場合に限らず、他のブロックを用いてパレット情報を予測する場合においても生ずるものである。

１つの側面において、本発明の目的は、パレット情報の予測に用いられるブロックがパレット符号化されていない場合でも、画像を効率良く圧縮することである。

１つの案では、画像符号化装置は、生成部、記憶部、及び符号化部を含む。
生成部は、符号化対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、第２のブロックの復号画像から第２のパレット情報を生成する。記憶部は、第２のパレット情報を記憶する。符号化部は、第２のパレット情報を用いて第１のパレット情報を予測符号化し、符号化パレット情報を生成する。

実施形態の画像符号化装置によれば、パレット情報の予測に用いられるブロックがパレット符号化されていない場合でも、画像を効率良く圧縮することができる。

スクリーンコンテンツ画像を示す図である。 パレット符号化を示す図である。 隣接ブロックがパレット符号化されない画像を示す図である。 画像符号化装置の構成図である。 画像符号化処理のフローチャートである。 画像復号装置の構成図である。 画像復号処理のフローチャートである。 画像符号化装置の具体例を示す図である。 画像符号化装置のパレット生成部の構成図である。 シーケンスパラメータセットの構造を示す図である。 第１のＣＵの構造を示す図である。 第２のＣＵの構造を示す図である。 パレット情報符号化処理のフローチャート（その１）である。 パレット情報符号化処理のフローチャート（その２）である。 画像符号化装置におけるパレット情報生成処理のフローチャートである。 画像復号装置の具体例を示す図である。 画像復号装置のパレット生成部の構成図である。 画像復号装置におけるパレット情報生成処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
パレット符号化では、符号化対象である処理ブロックのパレット情報を用いて、処理ブロックが符号化される。通常、パレット情報は、画像符号化装置に入力される処理ブロックの画素値を用いて、画像符号化装置により生成される。そして、画像復号装置は、画像符号化装置から伝送されたパレット情報を用いて、処理ブロックの符号化画像に含まれるインデックスを画素値へ逆変換する。

図２のパレット１０３の情報量は、インデックス数“５”を表現するための３ビットと、５通りのインデックスに対応するＲＧＢ値（２４ビット）を表現するための５＊２４（＝１２０）ビットとの合計の１２３ビットである。インデックス数が増加するにつれてパレットの情報量は線形的に増加する。このため、画像符号化装置から画像復号装置へブロック毎にパレット情報を伝送することは、符号化効率の観点から望ましくない。

ところで、処理ブロックに隣接する隣接ブロックは、処理ブロックと類似する画素値を含むことが多く、結果として同じパレットを持つ可能性が高い。非特許文献５では、この事実を利用して隣接ブロックのパレットを処理ブロックのパレットとして用いる、パレット情報の予測符号化が提案されている。

また、非特許文献４では、単に隣接ブロックのパレットを用いるのではなく、スライス毎にパレットのテンプレートを生成し、テンプレートと処理ブロックのパレットとの差分を符号化する予測符号化が提案されている。

パレット情報の予測符号化を効率的に行うには、符号化済みの隣接ブロックがパレット符号化されていることが望ましい。なぜならば、パレット情報は、パレット符号化を行う場合に、明示的に又は予測情報を用いて、画像符号化装置から画像復号装置へ伝送されるためである。

しかしながら、スクリーンコンテンツ画像の符号化においては、隣接ブロックが常にパレット符号化されているとは限らない。

図３は、隣接ブロックがパレット符号化されない画像の例を示している。図３のブロック３０１〜ブロック３０４のうち、ブロック３０４が処理ブロックである場合、ブロック３０１〜ブロック３０３は、処理ブロック３０４の左上、上、及び左にそれぞれ隣接する隣接ブロックである。ここで、処理ブロック３０４のパレット情報は、上隣接ブロック３０２又は左隣接ブロック３０３のパレット情報を用いて予測されるものとする。

上隣接ブロック３０２は、画素値のバリエーションが処理ブロック３０４より少ないため、パレット情報の予測に用いる隣接ブロックとしては望ましくない。一方、左隣接ブロック３０３は、画素値のバリエーションが処理ブロック３０４と同じであるため、パレット情報の予測に用いる隣接ブロックとしては望ましい。

しかしながら、左隣接ブロック３０３は、左上隣接ブロック３０１と同じ画素値分布を持っているため、左隣接ブロック３０３の符号化には、例えば、非特許文献２に記載されたイントラブロックコピーが適用される。その結果、左隣接ブロック３０３は、処理ブロック３０４と同様の画素値を持つにも関わらず、パレット符号化されず、左隣接ブロック３０３のパレット情報が生成されない。

この場合、処理ブロック３０４をパレット符号化する際に、パレット情報の予測符号化は行われず、処理ブロック３０４のパレット情報が明示的に符号化される。このため、処理ブロック３０４のパレット情報を予測符号化する場合と比較して、符号化効率が低下する。

また、隣接ブロックがイントラ予測符号化又はインター予測符号化されている場合にも、隣接ブロックのパレット情報が生成されないため、符号化効率が低下する。

なお、かかる問題は、スクリーンコンテンツ画像をパレット符号化する場合に限らず、画素値のバリエーションが少ない他の画像をパレット符号化する場合においても生ずるものである。また、かかる問題は、動画像をパレット符号化する場合に限らず、静止画像をパレット符号化する場合においても生ずるものである。さらに、かかる問題は、隣接ブロックを用いてパレット情報を予測する場合に限らず、他のブロックを用いてパレット情報を予測する場合においても生ずるものである。

パレット情報を生成する従来のアルゴリズムは一意ではなく、画像符号化装置が使用するアルゴリズムを決定することができる。例えば、図１の例では、パレット１０３に含まれる色のうち、ＲＧＢ値が（２５５，２５５，２５５）の色の代わりに、ＲＧＢ値が（１４４，２１９，２５５）の色をインデックス“０”に対応する先頭エントリに割り当てることも可能である。どの色をどのインデックスに割り当てるかは、例えば、インデックスを最も効率良くＤＰＣＭ符号化できるように、決定することができる。

パレット情報は、ブロックに含まれている画素値から生成され、画像復号装置が生成する復号画素値は、画像符号化装置が生成する局所復号画素値と同じである。したがって、画素値からパレット情報を生成するアルゴリズムを一意に決定することで、画像符号化装置と画像復号装置とが同じアルゴリズムを用いることができることに、発明者らは気が付いた。これにより、画像復号装置は、パレット符号化されていないブロックのパレット情報を、画像符号化装置と同じ形式で生成することができる。

画像復号装置は、隣接ブロックの復号画像から生成したパレット情報を用いて処理ブロックのパレット情報を予測することで、隣接ブロックがパレット符号化されていない場合でも、処理ブロックのパレット情報を生成することができる。したがって、画像符号化装置から画像復号装置へ処理ブロックのパレット情報を明示的に伝送することなく、処理ブロックのインデックスから画素値を復元することが可能になる。

図４は、実施形態の画像符号化装置の構成例を示している。図４の画像符号化装置４０１は、生成部４１１、記憶部４１２、及び符号化部４１３を含む。図５は、図４の画像符号化装置４０１によって実行されるパレット生成処理の例を示すフローチャートである。

まず、生成部４１１は、符号化対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、第２のブロックの復号画像から第２のパレット情報を生成する（ステップ５０１）。そして、生成部４１１は、第２のパレット情報を記憶部４１２に格納する（ステップ５０２）。次に、符号化部４１３は、記憶部４１２が記憶する第２のパレット情報を用いて第１のパレット情報を予測符号化し、符号化パレット情報を生成する（ステップ５０３）。

図６は、実施形態の画像復号装置の構成例を示している。図６の画像復号装置６０１は、生成部６１１、記憶部６１２、及び予測部６１３を含む。図７は、図６の画像復号装置６０１によって実行されるパレット予測処理の例を示すフローチャートである。

まず、生成部６１１は、復号対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、第２のブロックの復号画像から第２のパレット情報を生成する（ステップ７０１）。そして、生成部６１１は、第２のパレット情報を記憶部６１２に格納する（ステップ７０２）。次に、予測部６１３は、記憶部６１２が記憶する第２のパレット情報を用いて第１のパレット情報を予測する（ステップ７０３）。

図４の画像符号化装置４０１又は図６の画像復号装置６０１によれば、パレット情報の予測に用いられるブロックがパレット符号化されていない場合でも、画像を効率良く圧縮することができる。

画像符号化装置４０１及び画像復号装置６０１は、様々な用途に利用される。例えば、画像符号化装置４０１又は画像復号装置６０１を、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。

図８は、図４の画像符号化装置４０１の具体例を示している。図８の画像符号化装置８００は、パレット生成部８０１、パレット符号化部８０２、予測符号化部８０３、スイッチ８０４、エントロピー符号化部８０５、及び予測復号部８０６を含む。画像符号化装置８００は、さらに、スイッチ８０７、ループフィルタ８０８、予測モード判定部８０９、ピクチャ内予測生成部８１０、ピクチャ間予測生成部８１１、画像メモリ８１２、動き探索部８１３、スイッチ８１４、及び制御部８１５を含む。

画像符号化装置８００は、例えば、ハードウェア回路として実装することができる。この場合、画像符号化装置８００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。

画像符号化装置８００は、入力される符号化対象動画像を符号化し、符号化動画像を出力する。符号化対象動画像は、複数のピクチャを含む。各ピクチャは、符号化対象画像（符号化対象ピクチャ）に対応し、カラー画像であってもよく、モノクロ画像であってもよい。ピクチャがカラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。画素値がＹＵＶ形式の場合、色差形式は４：４：４、４：２：２、又は４：２：０であってもよい。

パレット生成部８０１は、図９に示すように、図４の生成部４１１、記憶部４１２、及び符号化部４１３を含む。パレット生成部８０１は、符号化対象動画像に含まれる符号化対象ピクチャ内の処理ブロックの画像に含まれる画素値８５２から、処理ブロックのパレット情報を生成する。また、パレット生成部８０１は、スイッチ８０７から出力される隣接ブロックの局所復号画像に含まれる画素値８５１から、隣接ブロックのパレット情報を生成する。

パレット生成部８０１は、処理ブロックのパレット情報を明示的に符号化することで、符号化パレット情報を生成することができる。また、パレット生成部８０１は、隣接ブロックのパレット情報を用いて処理ブロックのパレット情報を予測符号化することで、符号化パレット情報を生成することもできる。

パレット生成部８０１は、処理ブロックがパレット符号化される場合、処理ブロックのパレット情報を記憶部４１２に格納するとともに、パレット符号化に用いるパレット情報と符号化パレット情報とをパレット符号化部８０２へ出力する。

パレット符号化部８０２は、インデックス生成部８２１及びインデックスＤＰＣＭ部８２２を含む。インデックス生成部８２１は、パレット生成部８０１から出力されたパレット情報を用いて、処理ブロックの画素値をインデックスに変換する。インデックスＤＰＣＭ部８２２は、処理ブロックのインデックスをＤＰＣＭ符号化し、パレット符号化された符号化画像の信号と符号化パレット情報とをスイッチ８０４へ出力する。

予測符号化部８０３は、減算器８３１、直交変換量子化部８３２、及びＤＰＣＭ部８３３を含む。減算器８３１は、処理ブロックの画像の画素値８５２から、スイッチ８１４から出力される予測画素値を減算して予測誤差を生成する。直交変換量子化部８３２は、減算器８３１から出力される予測誤差を直交変換及び量子化し、予測符号化された符号化画像の信号を出力する。ＤＰＣＭ部８３３は、予測誤差をＤＰＣＭ符号化し、予測符号化された符号化画像の信号を出力する。

スイッチ８０４は、制御部８１５から出力される制御信号８６１に応じて、インデックスＤＰＣＭ部８２２、直交変換量子化部８３２、又はＤＰＣＭ部８３３のいずれかから出力される信号を選択し、エントロピー符号化部８０５へ出力する。

処理ブロックの符号化モードがパレット符号化モードである場合、制御信号８６１はパレット符号化モードを示す。処理ブロックの符号化モードがイントラ予測符号化モードである場合、制御信号８６１は直交変換符号化モード又はＤＰＣＭ符号化モードのいずれか一方を示す。処理ブロックの符号化モードがインター予測符号化モードである場合も、制御信号８６１は直交変換符号化モード又はＤＰＣＭ符号化モードのいずれか一方を示す。イントラ予測符号化モード及びインター予測符号化モードは、パレット符号化モード以外の符号化モードに対応する。

制御信号８６１がパレット符号化モードを示している場合、スイッチ８０４は、インデックスＤＰＣＭ部８２２から出力される信号を選択する。制御信号８６１が直交変換符号化モードを示している場合、スイッチ８０４は、直交変換量子化部８３２から出力される信号を選択する。制御信号８６１がＤＰＣＭ符号化モードを示している場合、スイッチ８０４は、ＤＰＣＭ部８３３から出力される信号を選択する。

予測復号部８０６は、逆量子化逆直交変換部８４１、逆ＤＰＣＭ部８４２、スイッチ８４３、及び加算器８４４を含む。逆量子化逆直交変換部８４１は、直交変換量子化部８３２から出力される信号を逆量子化及び逆直交変換し、予測誤差を出力する。逆ＤＰＣＭ部８４２は、ＤＰＣＭ部８３３から出力される信号を逆ＤＰＣＭ符号化し、予測誤差を出力する。

スイッチ８４３は、制御部８１５から出力される制御信号８６１に応じて、逆量子化逆直交変換部８４１又は逆ＤＰＣＭ部８４２のいずれか一方から出力される予測誤差を選択し、加算器８４４へ出力する。

制御信号８６１がパレット符号化モードを示している場合、スイッチ８４３の動作は未定義である。制御信号８６１が直交変換符号化モードを示している場合、スイッチ８４３は、逆量子化逆直交変換部８４１から出力される予測誤差を選択する。制御信号８６１がＤＰＣＭ符号化モードを示している場合、スイッチ８４３は、逆ＤＰＣＭ部８４２から出力される予測誤差を選択する。

加算器８４４は、スイッチ８４３から出力される予測誤差にスイッチ８１４から出力される予測画素値を加算し、局所復号画像の画素値を生成して出力する。

スイッチ８０７は、制御部８１５から出力される制御信号８６１に応じて、処理ブロックの画像の画素値８５２又は加算器８４４から出力される画素値のいずれか一方を選択し、局所復号画像の画素値８５１として出力する。

制御信号８６１がパレット符号化モードを示している場合、スイッチ８０７は、処理ブロックの画像の画素値８５２を選択する。この画素値８５２は、ロスレス局所復号画像の画素値に相当する。制御信号８６１が直交変換符号化モード又はＤＰＣＭ符号化モードを示している場合、スイッチ８０７は、加算器８４４から出力される画素値を選択する。

予測モード判定部８０９は、画素値８５１と画素値８５２とを用いてイントラ予測モード判定を行って最適予測モードを決定し、ピクチャ内予測生成部８１０へ出力する。ピクチャ内予測生成部８１０は、最適予測モードを用いてピクチャ内予測画素値を生成する。

ループフィルタ８０８は、エッジ歪を除去するためのフィルタ処理を画素値８５１に適用して、フィルタ処理された画素値を画像メモリ８１２へ出力する。画像メモリ８１２は、ループフィルタ８０８から出力される画素値を参照ピクチャの局所復号画像として記憶する。動き探索部８１３は、画像メモリ８１２が記憶する局所復号画像の画素値と画素値８５２とを用いて動き探索を行い、処理ブロックの動きベクトルを生成する。ピクチャ間予測生成部８１１は、動きベクトルを用いてピクチャ間予測画素値を生成する。

スイッチ８１４は、制御部８１５から出力される制御信号８６２に応じて、ピクチャ内予測生成部８１０又はピクチャ間予測生成部８１１のいずれか一方から出力される予測画素値を選択して出力する。制御信号８６２は、処理ブロックの符号化モードがイントラ予測符号化モード又はインター予測符号化モードのいずれであるかを示す。

制御信号８６２がイントラ予測符号化モードを示している場合、スイッチ８１４は、ピクチャ内予測生成部８１０から出力される予測画素値を選択する。制御信号８６２がインター予測符号化モードを示している場合、スイッチ８１４は、ピクチャ間予測生成部８１１から出力される予測画素値を選択する。

エントロピー符号化部８０５は、ブロック毎に、符号化モード情報、符号化画像、符号化パレット情報、予測モード情報、及び動きベクトル情報をエントロピー符号化し、符号化動画像を出力する。

符号化モード情報は、例えば、パレット符号化モード、直交変換符号化モード、又はＤＰＣＭ符号化モードのいずれかを示す。直交変換符号化モード又はＤＰＣＭ符号化モードの場合、符号化モード情報は、さらにイントラ予測符号化モード又はインター予測符号化モードのいずれかを示す。

符号化モード情報がパレット符号化モードを示す場合、符号化画像は、インデックスＤＰＣＭ部８２２から出力される符号化画像に対応する。符号化モード情報が直交変換符号化モードを示す場合、符号化画像は、直交変換量子化部８３２から出力される符号化画像に対応する。符号化モード情報がＤＰＣＭ符号化モードを示す場合、符号化画像は、ＤＰＣＭ部８３３から出力される符号化画像に対応する。

符号化パレット情報は、符号化モード情報がパレット符号化モードを示す場合に符号化動画像に含まれ、例えば、以下の情報を含む。
（１）パレットのインデックス数を示すインデックス数情報
（２）パレット情報の予測符号化を行ったか否かを示す予測フラグ
（３）複数の隣接ブロックのうち予測符号化に用いた隣接ブロックを示す予測方向フラグ（４）パレット情報

上記（３）の予測方向フラグは、パレット情報の予測符号化を行った場合に符号化パレット情報に含まれる。上記（１）のインデックス数情報と上記（４）のパレット情報は、パレット情報の予測符号化を行わなかった場合に符号化パレット情報に含まれる。符号化パレット情報は、パレット生成部８０１から、パレット符号化部８０２及びスイッチ８０４を介して、エントロピー符号化部８０５へ転送される。

予測モード情報は、予測モード判定部８０９が決定した最適予測モードを示し、符号化モード情報がイントラ予測符号化モードを示す場合に符号化動画像に含まれる。動きベクトル情報は、動き探索部８１３が生成した動きベクトルを示し、符号化モード情報がインター予測符号化モードを示す場合に符号化動画像に含まれる。

パレット生成部８０１は、例えば、ＨＥＶＣ規格をベースにしたシンタックスに基づいて、符号化パレット情報を生成することができる。

図１０は、複数のピクチャを含む１つのシーケンス内で共通のパラメータを記述するシーケンスパラメータセット（ＳｅｑＰａｒａｍｅｔｅｒＳｅｔＲｂｓｐ）の構造の例を示している。

ＰａｌｅｔｔｅＣｏｄｉｎｇＥｎａｂｌｅｄＦｌａｇは、ＨＥＶＣ規格に対して新たに追加されたシンタックスであり、パレット符号化を有効化するか否かを示すフラグである。ＰａｌｅｔｔｅＣｏｄｉｎｇＥｎａｂｌｅｄＦｌａｇが“１”のとき、パレット符号化が有効化され、ＰａｌｅｔｔｅＣｏｄｉｎｇＥｎａｂｌｅｄＦｌａｇが“０”のとき、パレット符号化が無効化される。

図１１は、符号化モードの切り替え最小単位であるCoding Unit（ＣＵ）の構造の例を示している。ＣＵは、例えば、符号化対象ピクチャ内のブロックに対応する。ＨＥＶＣ規格に対して新たに追加されたシンタックスについて、以下に説明する。

ＰａｌｅｔｔｅＣｏｄｉｎｇＦｌａｇは、ＣＵのパレット符号化を行うか否かを示すフラグであり、ＰａｌｅｔｔｅＣｏｄｉｎｇＥｎａｂｌｅｄＦｌａｇが“１”の場合にのみ有効である。ＰａｌｅｔｔｅＣｏｄｉｎｇＦｌａｇが“１”のとき、パレット符号化が行われ、ＰａｌｅｔｔｅＣｏｄｉｎｇＦｌａｇが“０”のとき、パレット符号化は行われない。

ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇは、パレット情報の予測符号化を行うか否かを示すフラグであり、上記（２）の予測フラグに対応する。ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇは、ＰａｌｅｔｔｅＣｏｄｉｎｇＦｌａｇが“１”の場合にのみ有効である。ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“１”のとき、パレット情報の予測符号化が行われ、ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“０”のとき、パレット情報の予測符号化は行われない。

ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇは、左隣接ＣＵからパレット情報を予測するか否かを示すフラグであり、上記（３）の予測方向フラグに対応する。ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇは、ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“１”の場合にのみ有効である。ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇが“１”のとき、左隣接ＣＵからパレット情報が予測され、ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇが“０”のとき、上隣接ＣＵからパレット情報が予測される。

ＰａｌｅｔｔｅＳｉｚｅＭｉｎｕｓ１は、パレット情報のインデックス数から１を減算した値を表し、上記（１）のインデックス数情報に対応する。ＰａｌｅｔｔｅＳｉｚｅＭｉｎｕｓ１は、ＰａｌｅｔｔｅＣｏｄｉｎｇＦｌａｇが“１”の場合にのみ有効である。

ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“０”の場合、ＰａｌｅｔｔｅＳｉｚｅＭｉｎｕｓ１は明示的に符号化される。ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“１”の場合、ＰａｌｅｔｔｅＳｉｚｅＭｉｎｕｓ１として、ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇが示す隣接ＣＵのＰａｌｅｔｔｅＳｉｚｅＭｉｎｕｓ１の値が用いられる。

Ｐａｌｅｔｔｅ［ｉ］［ｃＩｄｘ］は、パレットのｉ番目（ｉは０以上の整数）のエントリのｃＩｄｘ番目（ｃＩｄｘ＝０，１，２）の色成分の画素値を表し、上記（４）のパレット情報に対応する。例えば、画素値がＲＧＢ形式の場合、０番目の色成分はＲ、１番目の色成分はＧ、２番目の色成分はＢである。

ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“０”の場合、Ｐａｌｅｔｔｅ［ｉ］［ｃＩｄｘ］は明示的に符号化される。また、ｃＩｄｘが“０”の場合、（ｉ−１）番目のエントリのＰａｌｅｔｔｅ［ｉ−１］［０］を用いてＰａｌｅｔｔｅ［ｉ］［０］の差分符号化が行われる。

ＰａｌｅｔｔｅＰｒｅｄｉｃｔｉｏｎＦｌａｇが“１”の場合、Ｐａｌｅｔｔｅ［ｉ］［ｃＩｄｘ］として、ＰａｌｅｔｔｅＰｒｅｄＦｒｏｍＬｅｆｔＦｌａｇが示す隣接ＣＵのＰａｌｅｔｔｅ［ｉ］［ｃＩｄｘ］の値が用いられる。

ＰａｌｅｔｔｅＩｄｘ［ｉ］は、ＣＵのｉ番目（ｉは０以上の整数）の画素に対応するインデックスを表す。ＰａｌｅｔｔｅＭａｐ［ｉ％ｎＣｂＳ］［ｉ／ｎＣｂＳ］は、ＰａｌｅｔｔｅＩｄｘ［ｉ］をマッピングした２次元配列を表す。

図１２は、ＣＵの構造の別の例を示している。図１２の例では、図１１の例とは異なり、ｃＩｄｘが“０”の場合でもＰａｌｅｔｔｅ［ｉ］［０］の差分符号化は行われない。

図１３Ａ及び図１３Ｂは、図８のパレット生成部８０１が行うパレット情報符号化処理の例を示すフローチャートである。

まず、図９の生成部４１１は、処理ブロックの画素値から処理ブロックのパレット情報を生成し、記憶部４１２に格納する（ステップ１３０１）。

次に、符号化部４１３は、処理ブロックのパレット情報のインデックス数Ｎを閾値Ｔｈと比較する（ステップ１３０２）。Ｔｈは、例えば、処理ブロックのサイズに基づいて決定することができる。例えば、８×８ブロックの場合、Ｔｈ＝１６としてもよい。

ＮがＴｈ未満の場合（ステップ１３０２，ＹＥＳ）、符号化部４１３は、符号化済みの上隣接ブロックがアクセス可能か否かを判定する（ステップ１３０３）。

動画像符号化においては、１つのピクチャを複数のブロックに分割し、複数のブロックを含むスライスが形成される場合がある。１つのピクチャは１つ以上のスライスに分割される。隣接ブロックがピクチャ内に存在し、かつ、処理ブロックと同じスライス内に存在する場合、その隣接ブロックはアクセス可能と判定される。

上隣接ブロックがアクセス可能な場合（ステップ１３０３，ＹＥＳ）、符号化部４１３は、上隣接ブロックがパレット符号化されているか否かを判定する（ステップ１３０４）。上隣接ブロックがパレット符号化されている場合（ステップ１３０４，ＹＥＳ）、符号化部４１３は、記憶部４１２が記憶している上隣接ブロックのパレット情報を取得する（ステップ１３０５）。

一方、上隣接ブロックがパレット符号化されていない場合（ステップ１３０４，ＮＯ）、生成部４１１は、上隣接ブロックの局所復号画像の画素値から上隣接ブロックのパレット情報を生成し、記憶部４１２に格納する（ステップ１３０６）。

次に、符号化部４１３は、処理ブロックのパレット情報と上隣接ブロックのパレット情報とを比較し、２つのパレット情報が類似しているか否かを判定する（ステップ１３０７）。例えば、以下の条件が満たされる場合に、処理ブロックのパレット情報と上隣接ブロックのパレット情報とが類似していると判定される。
（ａ）上隣接ブロックのパレット情報のインデックス数がＴｈ未満である。
（ｂ）処理ブロックのパレット情報のインデックス数が、上隣接ブロックのパレット情報のインデックス数以下である。
（ｃ）処理ブロックのパレット情報の各エントリの画素値が、上隣接ブロックのパレット情報のいずれかのエントリの画素値と一致する。

処理ブロックのパレット情報と上隣接ブロックのパレット情報とが類似している場合（ステップ１３０７，ＹＥＳ）、符号化部４１３は、上隣接ブロックから処理ブロックのパレット情報を予測すると決定する（ステップ１３０８）。そして、符号化部４１３は、予測フラグに“１”を設定し、予測方向フラグに“０”を設定することで、処理ブロックのパレット情報を予測符号化し、符号化パレット情報を生成する。

この場合、符号化部４１３は、処理ブロックをパレット符号化することを制御部８１５へ通知し、制御部８１５は、処理ブロックの符号化モードとして、パレット符号化モードを選択する。

一方、処理ブロックのパレット情報と上隣接ブロックのパレット情報とが類似していない場合（ステップ１３０７，ＮＯ）、符号化部４１３は、符号化済みの左隣接ブロックがアクセス可能か否かを判定する（ステップ１３０９）。

左隣接ブロックがアクセス可能な場合（ステップ１３０９，ＹＥＳ）、符号化部４１３は、左隣接ブロックがパレット符号化されているか否かを判定する（ステップ１３１０）。左隣接ブロックがパレット符号化されている場合（ステップ１３１０，ＹＥＳ）、符号化部４１３は、記憶部４１２が記憶している左隣接ブロックのパレット情報を取得する（ステップ１３１１）。

一方、左隣接ブロックがパレット符号化されていない場合（ステップ１３１０，ＮＯ）、生成部４１１は、左隣接ブロックの局所復号画像の画素値から左隣接ブロックのパレット情報を生成し、記憶部４１２に格納する（ステップ１３１２）。

次に、符号化部４１３は、処理ブロックのパレット情報と左隣接ブロックのパレット情報とを比較し、２つのパレット情報が類似しているか否かを判定する（ステップ１３１３）。

処理ブロックのパレット情報と左隣接ブロックのパレット情報とが類似している場合（ステップ１３１３，ＹＥＳ）、符号化部４１３は、左隣接ブロックから処理ブロックのパレット情報を予測すると決定する（ステップ１３１４）。そして、符号化部４１３は、予測フラグに“１”を設定し、予測方向フラグに“１”を設定することで、処理ブロックのパレット情報を予測符号化し、符号化パレット情報を生成する。

この場合、符号化部４１３は、処理ブロックをパレット符号化することを制御部８１５へ通知し、制御部８１５は、処理ブロックの符号化モードとして、パレット符号化モードを選択する。

一方、処理ブロックのパレット情報と左隣接ブロックのパレット情報とが類似していない場合（ステップ１３１３，ＮＯ）、符号化部４１３は、隣接ブロックから処理ブロックのパレット情報を予測しないと決定する（ステップ１３１５）。そして、符号化部４１３は、予測フラグに“０”を設定し、処理ブロックのパレット情報を明示的に符号化し、パレット情報のインデックス数を示すインデックス数情報を設定することで、符号化パレット情報を生成する。

この場合、符号化部４１３は、処理ブロックをパレット符号化することを制御部８１５へ通知し、制御部８１５は、処理ブロックの符号化モードとして、パレット符号化モードを選択する。

上隣接ブロックがアクセス不可能な場合（ステップ１３０３，ＮＯ）、符号化部４１３は、ステップ１３０９以降の処理を行い、左隣接ブロックがアクセス不可能な場合（ステップ１３０９，ＮＯ）、符号化部４１３は、ステップ１３１５の処理を行う。

ＮがＴｈ以上の場合（ステップ１３０２，ＮＯ）、符号化部４１３は、処理ブロックをパレット符号化しないことを制御部８１５へ通知する（ステップ１３１６）。この場合、制御部８１５は、処理ブロックの符号化モードとして、パレット符号化モード以外の符号化モードを選択する。

処理ブロックをパレット符号化する場合、符号化部４１３は、処理ブロックのパレット情報とともに、生成した符号化パレット情報をパレット符号化部８０２へ出力する。

図１４は、図１３Ａのステップ１３０１又はステップ１３０６、又は図１３Ｂのステップ１３１２において、生成部４１１が行うパレット情報生成処理の例を示すフローチャートである。このパレット情報生成処理では、処理ブロックの画像、上隣接ブロックの局所復号画像、又は左隣接ブロックの局所復号画像が処理対象画像として用いられる。

まず、生成部４１１は、パレットを初期化し、エントリを含まないパレットを生成する（ステップ１４０１）。次に、生成部４１１は、処理対象画像から１つの画素の画素値を抽出する（ステップ１４０２）。

次に、生成部４１１は、抽出した画素値と同じ画素値を有するエントリがパレット内に存在するか否かをチェックする（ステップ１４０３）。同じ画素値を有するエントリがパレット内に存在しない場合（ステップ１４０３，ＮＯ）、パレットに１つのエントリを追加し（ステップ１４０４）、そのエントリに抽出した画素値を登録する（ステップ１４０５）。

次に、生成部４１１は、処理対象画像内に未処理の画素が残っているか否かをチェックし（ステップ１４０６）、未処理の画素が残っている場合（ステップ１４０６，ＹＥＳ）、次の画素についてステップ１４０２以降の処理を繰り返す。

また、同じ画素値を有するエントリがパレット内に存在する場合（ステップ１４０３，ＹＥＳ）、生成部４１１は、次の画素についてステップ１４０２以降の処理を繰り返す。

未処理の画素が残っていない場合（ステップ１４０６，ＮＯ）、生成部４１１は、パレット内の１つ以上のエントリを所定のアルゴリズムに基づいてソートする（ステップ１４０７）。そして、生成部４１１は、ソートされたパレット情報を、処理対象画像のパレット情報として出力する（ステップ１４０８）。

所定のアルゴリズムとしては、例えば、各エントリに含まれる画素値の昇順又は降順を用いてもよい。また、処理対象画像内における各画素値の出現頻度の昇順又は降順を用いてもよく、処理対象画像内における各画素値と隣接画素値との類似度の昇順又は降順を用いてもよい。

パレット内のエントリを所定のアルゴリズムに基づいてソートすることで、一意のアルゴリズムにより画素値からパレット情報を生成することができる。このアルゴリズムは、画像復号装置がパレット情報を生成する際に用いるアルゴリズムと一致していることが望ましい。

例えば、画素値がＲＧＢ形式の場合、パレット情報のエントリ数をＮとすると、ｎ番目（ｎは０以上Ｎ−１以下の整数）のエントリの画素値を（Ｒ［ｎ］，Ｇ［ｎ］，Ｂ［ｎ］）のように記述することができる。

一例として、ソート前のパレット情報が以下の４つのエントリを含む場合を説明する。
（Ｒ［０］，Ｇ［０］，Ｂ［０］）＝（１００，２００，１０）
（Ｒ［１］，Ｇ［１］，Ｂ［１］）＝（８０，１００，１００）
（Ｒ［２］，Ｇ［２］，Ｂ［２］）＝（１２０，２１０，１０）
（Ｒ［３］，Ｇ［３］，Ｂ［３］）＝（８０，１００，９０）

このパレット情報を、色成分Ｒ、色成分Ｇ、及び色成分Ｂの優先順位に従って、画素値の昇順にソートすると、以下のパレット情報が得られる。
（Ｒ［０］，Ｇ［０］，Ｂ［０］）＝（８０，１００，９０）
（Ｒ［１］，Ｇ［１］，Ｂ［１］）＝（８０，１００，１００）
（Ｒ［２］，Ｇ［２］，Ｂ［２］）＝（１００，２００，１０）
（Ｒ［３］，Ｇ［３］，Ｂ［３］）＝（１２０，２１０，１０）

この場合、まず、すべてのエントリが色成分Ｒの昇順にソートされ、次に、同じ色成分Ｒの画素値を含むエントリが色成分Ｇの昇順にソートされる。そして、同じ色成分Ｒ及び色成分Ｇの画素値を含むエントリが色成分Ｂの昇順にソートされる。例えば、（８０，１００，９０）と（８０，１００，１００）は、色成分Ｒ及び色成分Ｇの画素値がともに同じであるため、色成分Ｂの昇順にソートされている。

色成分Ｒの昇順にエントリをソートすることで、図１１の例で説明したように、Ｐａｌｅｔｔｅ［ｉ］［０］の差分符号化を容易に行うことができる。一方、図１２の例では、Ｐａｌｅｔｔｅ［ｉ］［０］の差分符号化が行われないため、必ずしも色成分Ｒの昇順にエントリがソートされている必要はない。

パレット符号化部８０２のインデックス生成部８２１は、処理ブロックの画素値を、処理ブロックのパレット情報に含まれるインデックスのうち、その画素値に対応するエントリのインデックスに置き換える。インデックスＤＰＣＭ部８２２は、処理ブロックのインデックスに対して、例えば、以下のようなＤＰＣＭ符号化を適用することができる。
Ｉ’［ｘ］＝Ｉ［ｘ］ ｉｆ（ｘ＝＝０）
Ｉ’［ｘ］＝Ｉ［ｘ］−Ｉ［ｘ−１］ ｉｆ（ｘ！＝０＆＆ｘ＜Ｍ）

Ｉ［ｘ］は、処理ブロック内のｘ番目のインデックスの値を表し、Ｉ’［ｘ］は、ｘ番目のインデックスのＤＰＣＭ符号化後の値を表し、Ｍは、処理ブロックの総画素数を表す。

図１５は、図６の画像復号装置６０１の具体例を示している。図１５の画像復号装置１５００は、エントロピー復号部１５０１、パレット復号部１５０２、パレット生成部１５０３、及び予測復号部１５０４を含む。画像復号装置１５００は、さらに、スイッチ１５０５、ループフィルタ１５０６、ピクチャ内予測生成部１５０７、ピクチャ間予測生成部１５０８、画像メモリ１５０９、及びスイッチ１５１０を含む。

画像復号装置１５００は、例えば、ハードウェア回路として実装することができる。この場合、画像復号装置１５００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。

画像復号装置１５００は、入力される符号化動画像を復号し、復号動画像を出力する。符号化動画像は、複数の符号化画像を含む。各符号化画像は、復号対象画像に対応する。

エントロピー復号部１５０１は、符号化動画像をエントロピー復号し、各復号対象画像のブロック毎の符号化モード情報、符号化画像、符号化パレット情報１５４１、予測モード情報、及び動きベクトル情報を生成する。そして、エントロピー復号部１５０１は、処理ブロックの符号化モードを示す制御信号１５５１及び制御信号１５５２を出力する。

制御信号１５５１は、処理ブロックの符号化モードがパレット符号化モード、直交変換符号化モード、又はＤＰＣＭ符号化モードのいずれであるかを示し、制御信号１５５２は、処理ブロックの符号化モードがイントラ予測符号化モード又はインター予測符号化モードのいずれであるかを示す。

処理ブロックの符号化モードがパレット符号化モードである場合、符号化画像は、パレット符号化された符号化画像であり、パレット復号部１５０２へ出力される。処理ブロックの符号化モードが直交変換符号化モードである場合、符号化画像は、予測符号化された符号化画像であり、予測復号部１５０４の逆量子化逆直交変換部１５３２へ出力される。処理ブロックの符号化モードがＤＰＣＭ符号化モードである場合、符号化画像は、予測符号化された符号化画像であり、予測復号部１５０４の逆ＤＰＣＭ部１５３１へ出力される。

符号化パレット情報１５４１は、処理ブロックの符号化モードがパレット符号化モードである場合に符号化動画像に含まれ、パレット生成部１５０３へ出力される。予測モード情報は、処理ブロックの符号化モードがイントラ予測符号化モードである場合に符号化動画像に含まれ、ピクチャ内予測生成部１５０７へ出力される。動きベクトル情報は、処理ブロックの符号化モードがインター予測符号化モードを示す場合に符号化動画像に含まれ、ピクチャ間予測生成部１５０８へ出力される。

パレット復号部１５０２は、インデックス逆ＤＰＣＭ部１５２１及び画素値復元部１５２２を含む。インデックス逆ＤＰＣＭ部１５２１は、処理ブロックのパレット符号化された符号化画像に含まれる、ＤＰＣＭ符号化されたインデックスを逆ＤＰＣＭ符号化し、インデックスを復元する。逆ＤＰＣＭ符号化処理は、図８のインデックスＤＰＣＭ部８２２によるＤＰＣＭ符号化処理を逆方向に行う処理である。

画素値復元部１５２２は、パレット生成部１５０３から出力される処理ブロックのパレット情報を用いて、復元されたインデックスから処理ブロックの復号画像の画素値を生成して出力する。このとき、画素値復元部１５２２は、各インデックスをパレット内の対応するエントリに登録された画素値に変換することで、処理ブロックの画素値を復元する。

パレット生成部１５０３は、図１６に示すように、図６の生成部６１１、記憶部６１２、及び予測部６１３を含む。パレット生成部１５０３は、符号化パレット情報１５４１又はスイッチ１５０５から出力される隣接ブロックの復号画像に含まれる画素値１５４２から、処理ブロックのパレット情報を生成し、パレット復号部１５０２へ出力する。

予測復号部１５０４は、逆ＤＰＣＭ部１５３１、逆量子化逆直交変換部１５３２、スイッチ１５３３、及び加算器１５３４を含む。逆ＤＰＣＭ部１５３１は、処理ブロックの予測符号化された符号化画像に含まれる、ＤＰＣＭ符号化された予測誤差を逆ＤＰＣＭ符号化し、予測誤差を復元する。逆ＤＰＣＭ符号化処理は、図８のＤＰＣＭ部８３３によるＤＰＣＭ符号化処理を逆方向に行う処理である。逆量子化逆直交変換部１５３２は、処理ブロックの予測符号化された符号化画像に含まれる、直交変換及び量子化された予測誤差を逆量子化及び逆直交変換し、予測誤差を復元する。

スイッチ１５３３は、エントロピー復号部１５０１から出力される制御信号１５５１に応じて、逆ＤＰＣＭ部１５３１又は逆量子化逆直交変換部１５３２のいずれか一方から出力される予測誤差を選択し、加算器１５３４へ出力する。

制御信号１５５１がパレット符号化モードを示している場合、スイッチ１５３３の動作は未定義である。制御信号１５５１が直交変換符号化モードを示している場合、スイッチ１５３３は、逆量子化逆直交変換部１５３２から出力される予測誤差を選択する。制御信号１５５１がＤＰＣＭ符号化モードを示している場合、スイッチ１５３３は、逆ＤＰＣＭ部１５３１から出力される予測誤差を選択する。

加算器１５３４は、スイッチ１５１０から出力される予測画素値とスイッチ１５３３から出力される予測誤差とを加算し、処理ブロックの復号画像の画素値を生成して出力する。

スイッチ１５０５は、制御信号１５５１に応じて、パレット復号部１５０２又は予測復号部１５０４のいずれか一方から出力される画素値を選択し、復号画像の画素値１５４２として出力する。

制御信号１５５１がパレット符号化モードを示している場合、スイッチ１５０５は、パレット復号部１５０２から出力される画素値を選択する。制御信号１５５１が直交変換符号化モード又はＤＰＣＭ符号化モードを示している場合、スイッチ１５０５は、予測復号部１５０４から出力される画素値を選択する。

ループフィルタ１５０６は、エッジ歪を除去するためのフィルタ処理を画素値１５４２に適用して、フィルタ処理された画素値を画像メモリ１５０９へ出力する。画像メモリ１５０９は、ループフィルタ１５０６から出力される画素値を参照ピクチャの復号画像として記憶する。画像メモリ１５０９が記憶する復号画像は、復号動画像として出力される。

ピクチャ間予測生成部１５０８は、参照ピクチャの復号画像と、エントロピー復号部１５０１から出力される動きベクトル情報が示す動きベクトルとを用いて、ピクチャ間予測画素値を生成する。

ピクチャ内予測生成部１５０７は、復号画像の画素値１５４２と、エントロピー復号部１５０１から出力される予測モード情報が示す最適予測モードとを用いて、ピクチャ内予測画素を生成する。

スイッチ１５１０は、エントロピー復号部１５０１から出力される制御信号１５５２に応じて、ピクチャ内予測生成部１５０７又はピクチャ間予測生成部１５０８のいずれか一方から出力される予測画素値を選択して出力する。

制御信号１５５２がイントラ予測符号化モードを示している場合、スイッチ１５１０は、ピクチャ内予測生成部１５０７から出力される予測画素値を選択する。制御信号１５５２がインター予測符号化モードを示している場合、スイッチ１５１０は、ピクチャ間予測生成部１５０８から出力される予測画素値を選択する。

図１７は、図１５のパレット生成部１５０３が行うパレット情報生成処理の例を示すフローチャートである。

まず、図１６の生成部６１１は、エントロピー復号部１５０１から出力される符号化パレット情報１５４１を取得する（ステップ１７０１）。そして、生成部６１１は、符号化パレット情報１５４１に含まれる予測フラグに基づいて、処理ブロックのパレット情報が予測符号化されているか否かを判定する（ステップ１７０２）。予測フラグが“１”である場合、パレット情報が予測符号化されていると判定され、予測フラグが“０”である場合、パレット情報が予測符号化されていないと判定される。

パレット情報が予測符号化されている場合（ステップ１７０２，ＹＥＳ）、生成部６１１は、符号化パレット情報１５４１に含まれる予測方向フラグが示す復号済みの隣接ブロックを特定する。そして、生成部６１１は、符号化動画像内においてその隣接ブロックがパレット符号化されているか否かを判定する（ステップ１７０３）。予測方向フラグが“１”である場合、左隣接ブロックが判定対象となり、予測方向フラグが“０”である場合、上隣接ブロックが判定対象となる。

隣接ブロックがパレット符号化されている場合（ステップ１７０３，ＹＥＳ）、予測部６１３は、記憶部６１２が記憶している隣接ブロックのパレット情報を取得する（ステップ１７０４）。そして、予測部６１３は、隣接ブロックのパレット情報を処理ブロックのパレット情報として記憶部６１２に格納するとともに、パレット復号部１５０２へ出力する。

一方、隣接ブロックがパレット符号化されていない場合（ステップ１７０３，ＮＯ）、生成部６１１は、隣接ブロックの復号画像の画素値１５４２から隣接ブロックのパレット情報を生成し、記憶部６１２に格納する（ステップ１７０５）。そして、予測部６１３は、隣接ブロックのパレット情報を処理ブロックのパレット情報として記憶部６１２に格納するとともに、パレット復号部１５０２へ出力する。

このとき、生成部６１１は、隣接ブロックの復号画像を処理対象画像として用いて図１４のパレット情報生成処理を行うことで、隣接ブロックのパレット情報を生成する。図１４のステップ１４０７で用いられるアルゴリズムは、画像符号化装置がパレット情報を生成する際に用いるアルゴリズムと一致していることが望ましい。

処理ブロックのパレット情報が予測符号化されていない場合（ステップ１７０２，ＮＯ）、予測部６１３は、符号化パレット情報１５４１に含まれる、明示的に符号化されたパレット情報を復号し、処理ブロックのパレット情報を生成する（ステップ１７０６）。そして、予測部６１３は、処理ブロックのパレット情報を記憶部６１２に格納するとともに、パレット復号部１５０２へ出力する。

図４の画像符号化装置４０１、図６の画像復号装置６０１、図８の画像符号化装置８００、及び図１５の画像復号装置１５００の構成は一例に過ぎず、画像符号化装置及び画像復号装置の用途や条件に応じて一部の構成要素を省略又は変更してもよい。

例えば、パレット符号化モード以外の符号化モードとして、直交変換符号化モード又はＤＰＣＭ符号化モード以外の符号化モードを使用する場合、図８の予測符号化部８０３及び予測復号部８０６の構成を変更することができる。直交変換符号化モード又はＤＰＣＭ符号化モード以外の符号化モードとしては、例えば、イントラブロックコピー等を使用することができる。

この場合、さらに、図８のスイッチ８０７、ループフィルタ８０８、予測モード判定部８０９、ピクチャ内予測生成部８１０、ピクチャ間予測生成部８１１、画像メモリ８１２、動き探索部８１３、及びスイッチ８１４の構成を変更することもできる。また、図１５の予測復号部１５０４、スイッチ１５０５、ループフィルタ１５０６、ピクチャ内予測生成部１５０７、ピクチャ間予測生成部１５０８、画像メモリ１５０９、及びスイッチ１５１０の構成を変更することもできる。

図５、図７、図１３Ａ、図１３Ｂ、図１４、及び図１７に示したフローチャートは一例に過ぎず、画像符号化装置及び画像復号装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図１３Ａ及び図１３Ｂのパレット情報符号化処理において、上隣接ブロックのパレット情報のみを用いて処理ブロックのパレット情報を予測符号化する場合、ステップ１３０９〜ステップ１３１４の処理を省略することができる。また、左隣接ブロックのパレット情報のみを用いて処理ブロックのパレット情報を予測符号化する場合、ステップ１３０３〜ステップ１３０８の処理を省略することができる。

処理ブロックのパレット情報の予測に用いられる隣接ブロックが上隣接ブロック又は左隣接ブロックのいずれか一方である場合、符号化パレット情報に含まれる予測方向フラグを省略することができる。さらに、符号化対象ピクチャ内の上隣接ブロック又は左隣接ブロック以外のブロックのパレット情報を用いて、処理ブロックのパレット情報を予測しても構わない。

図１３Ａのステップ１３０８及び図１３Ｂのステップ１３１４において、符号化部４１３は、隣接ブロックのパレット情報と処理ブロックのパレット情報との差分を符号化し、符号化された差分を符号化パレット情報に含めることもできる。この場合、図１７のステップ１７０４及びステップ１７０５において、予測部６１３は、符号化された差分を復号して差分を復元し、復元した差分と隣接ブロックのパレット情報とを用いて、処理ブロックのパレット情報を生成する。

パレット符号化モードが適用される符号化対象画像は、スクリーンコンテンツ画像に限定されるものではなく、画素値のバリエーションが少ない他の画像であってもよい。また、パレット符号化モードが適用される符号化対象画像は、動画像に限定されるものではなく、静止画像であってもよい。

図４の画像符号化装置４０１、図６の画像復号装置６０１、図８の画像符号化装置８００、及び図１５の画像復号装置１５００は、ハードウェア回路として実装することもでき、図１８に示すような情報処理装置（コンピュータ）を用いて実現することもできる。

図１８の情報処理装置は、Central Processing Unit（ＣＰＵ）１８０１、メモリ１８０２、入力装置１８０３、出力装置１８０４、補助記憶装置１８０５、媒体駆動装置１８０６、及びネットワーク接続装置１８０７を備える。これらの構成要素はバス１８０８により互いに接続されている。

メモリ１８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像符号化処理又は画像復号処理に用いられるプログラム及びデータを格納する。メモリ１８０２は、図４及び図９の記憶部４１２、図６及び図１６の記憶部６１２、図８の画像メモリ８１２、又は図１５の画像メモリ１５０９として用いることができる。

ＣＰＵ１８０１（プロセッサ）は、例えば、メモリ１８０２を利用してプログラムを実行することにより、図４及び図９の生成部４１１及び符号化部４１３、又は図６及び図１６の生成部６１１及び予測部６１３として動作する。

ＣＰＵ１８０１は、図８のパレット生成部８０１、パレット符号化部８０２、予測符号化部８０３、スイッチ８０４、エントロピー符号化部８０５、及び予測復号部８０６としても動作する。ＣＰＵ１８０１は、スイッチ８０７、ループフィルタ８０８、予測モード判定部８０９、ピクチャ内予測生成部８１０、ピクチャ間予測生成部８１１、動き探索部８１３、スイッチ８１４、及び制御部８１５としても動作する。

ＣＰＵ１８０１は、図１５のエントロピー復号部１５０１、パレット復号部１５０２、パレット生成部１５０３、及び予測復号部１５０４としても動作する。ＣＰＵ１８０１は、スイッチ１５０５、ループフィルタ１５０６、ピクチャ内予測生成部１５０７、ピクチャ間予測生成部１５０８、及びスイッチ１５１０としても動作する。

入力装置１８０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１８０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。

補助記憶装置１８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１８０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１８０５にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。

媒体駆動装置１８０６は、可搬型記録媒体１８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体１８０９にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ１８０２、補助記憶装置１８０５、及び可搬型記録媒体１８０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置１８０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置１８０７は、符号化動画像を画像復号装置１５００へ送信することもでき、画像符号化装置８００から符号化動画像を受信することもできる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１８０７を介して受け取り、それらをメモリ１８０２にロードして使用することもできる。

なお、情報処理装置が図１８のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置１８０３及び出力装置１８０４を省略してもよい。また、情報処理装置が可搬型記録媒体１８０９にアクセスしない場合は、媒体駆動装置１８０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (12)

1. 符号化対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成する生成部と、
   前記第２のパレット情報を記憶する記憶部と、
   前記第２のパレット情報を用いて前記第１のパレット情報を予測符号化し、符号化パレット情報を生成する符号化部と、
   を備えることを特徴とする画像符号化装置。
2. 前記生成部は、前記第２のブロックの前記復号画像に含まれる複数の色に対応する複数のエントリを、前記複数のエントリに含まれる複数の画素値に基づいてソートすることで、前記第２のパレット情報を生成することを特徴とする請求項１記載の画像符号化装置。
3. 前記第１のパレット情報を用いて前記第１のブロックをパレット符号化し、前記第１のブロックの符号化画像を生成するパレット符号化部をさらに備え、
   前記生成部は、前記第２のブロックの前記復号画像に含まれる複数の色に対応する複数のエントリを、前記第１のブロックの前記符号化画像をパレット復号する画像復号装置が前記第２のブロックの前記復号画像から第３のパレット情報を生成する際に用いるアルゴリズムに基づいてソートすることで、前記第２のパレット情報を生成することを特徴とする請求項１記載の画像符号化装置。
4. 前記第２のブロックをイントラ予測符号化又はインター予測符号化し、前記第２のブロックの符号化画像を生成する予測符号化部と、
   前記第２のブロックの前記符号化画像をイントラ予測復号又はインター予測復号し、前記第２のブロックの前記復号画像を生成する予測復号部と、
   をさらに備え、
   前記生成部は、前記第２のブロックがイントラ予測符号化又はインター予測符号化された場合、前記第２のパレット情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 符号化対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成し、
   前記第２のパレット情報を用いて前記第１のパレット情報を予測符号化し、符号化パレット情報を生成する、
   ことを特徴とする画像符号化方法。
6. 符号化対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成し、
   前記第２のパレット情報を用いて前記第１のパレット情報を予測符号化し、符号化パレット情報を生成する、
   処理をコンピュータに実行させるプログラム。
7. 復号対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成する生成部と、
   前記第２のパレット情報を記憶する記憶部と、
   前記第２のパレット情報を用いて前記第１のパレット情報を予測する予測部と、
   を備えることを特徴とする画像復号装置。
8. 前記生成部は、前記第２のブロックの前記復号画像に含まれる複数の色に対応する複数のエントリを、前記複数のエントリに含まれる複数の画素値に基づいてソートすることで、前記第２のパレット情報を生成することを特徴とする請求項７記載の画像復号装置。
9. 前記生成部は、前記第２のブロックの前記復号画像に含まれる複数の色に対応する複数のエントリを、前記第１のパレット情報を用いて前記第１のブロックをパレット符号化する画像符号化装置が前記第２のブロックの前記復号画像から第３のパレット情報を生成する際に用いるアルゴリズムに基づいてソートすることで、前記第２のパレット情報を生成することを特徴とする請求項７記載の画像復号装置。
10. 前記第１のパレット情報を用いて前記第１のブロックをパレット復号し、前記第１のブロックの復号画像を生成するパレット復号部と、
    前記第２のブロックがイントラ予測符号化又はインター予測符号化されている場合、前記第２のブロックをイントラ予測復号又はインター予測復号し、前記第２のブロックの前記復号画像を生成する予測復号部と、
    をさらに備え、
    前記生成部は、前記第２のブロックがイントラ予測復号又はインター予測復号された場合、前記第２のパレット情報を生成することを特徴とする請求項７乃至９のいずれか１項に記載の画像復号装置。
11. 復号対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成し、
    前記第２のパレット情報を用いて前記第１のパレット情報を予測する、
    ことを特徴とする画像復号方法。
12. 復号対象画像内における第１のブロックの第１のパレット情報を予測するために用いられる第２のブロックがパレット符号化されていない場合、前記第２のブロックの復号画像から第２のパレット情報を生成し、
    前記第２のパレット情報を用いて前記第１のパレット情報を予測する、
    処理をコンピュータに実行させるプログラム。

Images