JP7273339B2 - 画像符号化方法、及び画像復号方法 - Google Patents

Description

本発明は、画像符号化方法、及び画像復号方法に関する。

一般的な画像符号化では、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）、ＤＳＴ（Discrete Sine Transform；離散サイン変換）、及びウェーブレット変換等によって、画像領域から周波数領域への直交変換が行われてからエントロピー符号化が行われる。変換基底の次元と画像の次元とが同一であるため、変換の前後でデータの数は変わらず情報量は削減されないが、変換によってデータの分布が偏ることでエントロピー符号化による符号化効率が向上する。また、このとき主観的な画像品質への寄与率が低いといわれている高周波成分を荒く量子化することで、さらに情報量を削減することもできる。

また、特に複数の画像を効率的に圧縮する必要のある映像符号化では、より圧縮率を上げるため、画像を処理単位ブロックに分割し、被写体の空間的／時間的な連続性を利用してブロックごとにその画像信号を空間的／時間的に予測する。その予測方法を示す予測情報と、予測残差信号に対して上述の変換や量子化を行ったものとを符号化することで、画像信号そのものを符号化する場合に比べて大幅な符号化効率の向上が図られる。

画像／映像符号化の標準規格であるＪＰＥＧ（Joint Photographic Experts Group）、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）、及びＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）では、ＤＣＴやＤＳＴの係数を量子化する際のＱＰ（Quantization Parameter；量子化パラメータ）が調整されることで発生符号量が制御される。一方で、ＱＰの上昇に伴う高周波成分の欠落、またブロック境界に発生するブロック歪みが画像品質に影響を与え、対象となる画像によってはコンテキストに関わる情報が欠損する。

このように、一般的には画像を周波数領域に変換し量子化することで情報量を削減する方法が主流である。その一方で、別の方法として、画像に使われている色を並べたルックアップテーブル（色のセット）であるパレット（カラーパレット）と、画素ごとにテーブル参照のために割り当てられたインデックスとを符号化対象とする、パレット符号化と呼ばれる方法もある。パレット符号化は、画像中に出現する色の数が少ない場合、及び、ＤＣＴ等の自然画像向けの変換基底で効率よく表現ができない場合における画像に対して主に用いられる。

Ｈ．２６５／ＨＥＶＣでは、パレット符号化モードをスクリーンコンテンツのプロファイルのためのツールとして採用している。スクリーンコンテンツとは、コンピュータグラフィックスで生成された映像等、自然画ではない映像の総称である。ＨＥＶＣでは、通常のパレットに対するインデックスの他に、隣接画素と同じ色を使用することを意味するコピーインデックスを定義している。従って、局所的に色数が少なく、かつ、多くの場合において同じ色が空間的に連続するスクリーンコンテンツに対しては、ブロックごとにパレット符号化モードを使用し、またコピーインデックスに短い符号長を割り当てることで、効率の良い圧縮が可能である。なお、ＨＥＶＣのパレットコーディングについては、例えば、非特許文献１に詳しい。

一方で、画素のスキャン順が決まっており、スキャン順が前後に隣接している隣接画素同士の色が異なる場合、いくら近傍に同じ色が存在していても、コピーインデックスを使うことはできず、通常のパレットインデックスを使わざるを得ない。また、局所的に色数が多い場合は、パレットインデックスの情報量が増加するため、圧縮効率を期待することはできない。

W. Pu, M. Karczewicz, R. Joshi, V. Seregin, F. Zou, J. Sole, Y. C. Sun, T. D. Chuang, P. Lai, S. Liu, S. T. Hsiang, J. Ye, and Y. W. Huang, "Palette Mode Coding in HEVC Screen Content Coding Extension," IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol. 6, no. 4, pp. 420-432, 2016.

上述したように、隣接画素同士の色が異なる場合、及び、局所的に色数が多い場合には、パレット符号化の符号化効率が悪化する。

本発明は、このような事情に鑑みてなされたもので、効率的に符号化を行うことができる画像符号化方法及び画像復号方法を提供することを目的とする。

本発明の一態様は、符号化対象画像を符号化する場合に、画像を、画素又はブロックと、前記画素又は前記ブロックに割り当てられた色と、で表し、ブロック分割ツリーと、前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する画像符号化方法であって、前記符号化対象画像に対して任意の分割木による分割を行い、前記ブロック分割ツリーを生成する分割ツリー生成ステップと、前記ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、前記分割途中のブロック又は前記分割終了後のブロックを代表する代表色を決定し、決定された前記色を前記各ノードに対応する色情報として割り当てる色情報決定ステップと、前記ブロック分割ツリーを符号化するツリー符号化ステップと、前記色情報を符号化する色情報符号化ステップと、を有する画像符号化方法である。

本発明により、効率的に符号化を行うことができる。

本発明の一実施形態における画像符号化装置１００の構成を示すブロック図である。 本発明の一実施形態における画像符号化装置１００の動作を示すフローチャートである。 本発明の一実施形態における画像復号装置２００の構成を示すブロック図である。 本発明の一実施形態における画像復号装置２００の動作を示すフローチャートである。

以下、本発明の一実施形態における画像符号化装置１００及び画像復号装置２００について説明する。

［画像符号化装置の機能構成］
以下、図１を参照して、画像符号化装置１００の機能構成について説明する。図１は、本発明の一実施形態における画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、画像入力部１０１と、ツリー決定部１０２と、ツリー予測部１０３と、色決定部１０４と、色予測部１０５と、エントロピー符号化部１０６と、を備えている。

画像入力部１０１は、外部の装置から出力された、処理対象となる画像（以下、「符号化対象画像」という。）の入力を受け付ける。画像入力部１０１は、符号化対象画像を、ツリー決定部１０２、及び色決定部１０４へそれぞれ出力する。

ツリー決定部１０２は、画像入力部１０１から出力された、符号化対象画像を取得する。ツリー決定部１０２は、符号化対象画像からツリーベクトル（ブロック分割ツリー）を生成する。なお、ツリーは、二分木、三分木、又は四分木等、どのようなツリーでも構わないが、本実施形態においては説明を簡単にするため、一例として四分木であるものとする。ツリー決定部１０２は、符号化対象画像と、生成されたツリーベクトルとを、ツリー予測部１０３へ出力する。

ツリー予測部１０３は、ツリー決定部１０２から出力された符号化対象画像とツリーベクトルとを取得する。ツリー予測部１０３は、符号化対象画像とツリーベクトルとから、ツリー予測ベクトルとツリー圧縮ベクトルとを生成する。ツリー予測部１０３は、生成されたツリー予測ベクトルとツリー圧縮ベクトルとを、色決定部１０４、及び色予測部１０５へそれぞれ出力する。また、ツリー予測部１０３は、生成されたツリー圧縮ベクトルをエントロピー符号化部１０６へ出力する。

色決定部１０４は、画像入力部１０１から出力された符号化対象画像を取得する。また、色決定部１０４は、ツリー予測部１０３から出力された、ツリー予測ベクトルとツリー圧縮ベクトルとを取得する。色決定部１０４は、符号化対象画像とツリー予測ベクトルとツリー圧縮ベクトルとから、色ベクトルを生成する。色決定部１０４は、符号化対象画像と、生成された色ベクトルとを、色予測部１０５へ出力する。

色予測部１０５は、ツリー予測部１０３から出力された、ツリー予測ベクトルとツリー圧縮ベクトルとを取得する。また、色予測部１０５は、色決定部１０４から出力された、符号化対象画像と色ベクトルとを取得する。色予測部１０５は、符号化対象画像と色ベクトルとツリー予測ベクトルとツリー圧縮ベクトルとから、色圧縮ベクトルを生成する。色予測部１０５は、生成された色圧縮ベクトルをエントロピー符号化部１０６へ出力する。

エントロピー符号化部１０６は、ツリー予測部１０３から出力されたツリー圧縮ベクトルを取得する。また、エントロピー符号化部１０６は、色予測部１０５から出力された色圧縮ベクトルを取得する。エントロピー符号化部１０６は、ツリー圧縮ベクトルと色圧縮ベクトルとをエントロピー符号化する。エントロピー符号化部１０６は、符号を外部の装置へ出力する。

［画像符号化装置の動作］
以下、図２を参照して、画像符号化装置１００の動作について説明する。図２は、本発明の一実施形態における画像符号化装置１００の動作を示すフローチャートである。

まず、画像入力部１０１は、符号化対象画像の入力を受け付ける（ステップＳ１０１）。次に、ツリー決定部１０２は、符号化対象画像からツリーベクトルを生成する（ステップＳ１０２）。なお、上述したように、ツリーは、例えば二分木、三分木、又は四分木等、どのようなツリーであっても構わないが、以下の説明においては四分木であるものとする。

以下、説明を簡単にするため、符号化対象画像の画像サイズは、縦横それぞれ２Ｎであるものとして説明する。まず、ツリー決定部１０２は、符号化対象画像を四分割するか否かについての判定を行う。この判定において、どのような判定基準が用いられても構わない。例えば、最も単純な判定基準として、符号化対象画像の色数が閾値以上の場合に符号化対象画像の分割を行う、という判定基準を用いることができる。ここで、閾値を２とした場合、ロスレス圧縮（可逆圧縮）となる。

なお、ヒストグラムや、分散等の統計的情報を使用して判定がなされてもよい。あるいは、符号化対象画像の分割によって生じる、ツリー構造を示す情報及び色情報についての情報量と、他の情報量等（例えば、直交変換と量子化又はパレット符号化を行う場合に必要な情報量及び復号画像の品質）とのトレードオフを計算することによって、判定がなされてもよい。

ツリー決定部１０２は、符号化対象画像の分割を行った場合、ツリーのルートノードに分割を示すシンボルを割り当て、さらに４つの子ノードを生成する。そして、ツリー決定部１０２は、各子ノードについて順番に、上記と同様に、符号化対象画像を四分割するか否かについての判定を行う。符号化対象画像を分割しないことを示すシンボルをａ、符号化対象画像を分割することを示すシンボルをｂとした場合、ツリーベクトルは二値のベクトルとなる。

なお、判定の順番はどのような順番であってもよいが、本実施形態においては、説明を簡単にするため、深さを優先させた順番で判定が行われるものとする。例えば、ツリー決定部１０２は、あるノードにおいて符号化対象画像の分割が行われた場合には、さらに当該ノードの子ノードについての判定に移行する。また、ツリー決定部１０２は、あるノードにおいて分割が行われなかった場合には、未判定の兄弟ノード（並列するノード）について判定に移行する。なお、全ての兄弟ノードについての判定が完了した場合には、ツリー決定部１０２は、当該ノードの親ノードの兄弟ノードについての判定に移行する。

次に、ツリー予測部１０３は、符号化対象画像とツリーベクトルとから、ツリー予測ベクトルとツリー圧縮ベクトルとを生成する（ステップＳ１０３）。符号化対象画像にフラクタル性がある場合、画像のある部分集合が別の部分集合の縮小で表され、該当する部分を表す部分ツリー構造同士が、一致する、又は互いに回転や反転した関係になることがある。上述したように、深さ優先の探索によってツリー構造が作成された場合、互いに直系の親子関係にはない部分ツリー同士においては、前に符号化された方のツリー構造をコピー、回転、又は判定することによって、後に符号化される方のツリー構造（予測部分ツリー）を予測することができる。

なお、符号化対象画像が映像の中のある１フレームである場合には、ツリー予測部１０３は、他の復号済みのフレームにおいて使用したツリーベクトルを予測参照元として、同様の予測を行うようにしてもよい。

ある部分ツリーが、既に符号化済みのツリー構造の一部によって予測可能であるか否かについての判定は、ツリーベクトルが二値である場合、対象部分ツリーを表す部分ベクトルと、それまでに生成したツリーベクトルに対するビット演算とによって、高速に行うことが可能である。回転及び反転等の操作を伴う場合には、部分ベクトルを操作に応じて並べ替えてからビット演算を行うことによって判定が可能である。なお、その他、どのような判定方法が用いられてもよい。

ある部分ツリーが、他の部分ツリー（参照部分ツリー）を参照することによって予測される場合、ツリー予測部１０３は、参照先及び操作を特定するための予測情報（ツリー予測情報）に新たなシンボルを割当てて、元の部分ベクトルと交換して、ツリー圧縮ベクトルとしてもよい。又は、ツリー予測部１０３は、予測を用いることだけを表すシンボルを元の部分ベクトルと交換してツリー圧縮ベクトルとし、予測情報を別のベクトルによって表現するようにしてもよい。

なお、予測参照先を特定する情報は、画像上での座標情報であってもよいし、ツリーベクトル上のインデックスであってもよい。又は、予測参照先を特定する情報は、ツリー構造に基づきノードの深度を特定するための深度情報と当該深度内でのノード位置を示すインデックスとであってもよい。又は、予測参照先を特定する情報（ツリー予測情報）は、予測参照元の位置を表す同種の情報との差分（差分ツリー）であってもよい。また、ツリー予測部１０３は、予測情報ベクトルの情報量及び予測残差を表すベクトルの情報量と、元の予測対象ベクトルの情報量とを比較して、予測を行うかどうかを決定してもよい。

また、本実施形態においては、ツリー予測部１０３による処理を、色決定部１０４による処理の前に行っているが、これらの処理の順序を逆にしてもよい。この場合、色情報も参照元から予測されるものとして、最適な参照先が決定されるようにしてもよい。

次に、色決定部１０４は、符号化対象画像とツリー予測ベクトルとツリー圧縮ベクトルとから、色ベクトルを生成する（ステップＳ１０４）。色ベクトルは、ツリー予測ベクトルの全てのノードに対応する色情報からなるベクトルである。対応ノードがブロックである場合、色情報は、ブロック全体の平均値を示したものであってもよいし、中央値又は再頻値等の統計量であってもよい。

なお、後述する色情報予測の方法、及び対象ブロックの状態により、親ノードがどのような種類の情報を持つかによって、子ノードの予測性能が大きく変わることがある。したがって、各ノードが持つ種類の情報を示す情報が、別途付加情報として符号化されてもよい。

また、色決定部１０４による処理と色予測部１０によるの処理とが同時に実行され、最適な種類の情報が選択されるようにしてもよい。また、色情報そのものの代わりに、パレットに対応するインデックスが用いられてもよい。また、対応ノードがブロックである場合、色情報そのものの代わりに、予め定められたパターン辞書のインデックスが用いられてもよい。

次に、色予測部１０５は、符号化対象画像と色ベクトルとツリー予測ベクトルとから、色予測ベクトルと色圧縮ベクトルとを生成する（ステップＳ１０５）。色予測ベクトル及び色圧縮ベクトルの生成の手順は、ツリー予測ベクトルの生成手順に依存する。本実施形態においては、説明を簡単にするため、ツリー予測ベクトルが、上述したように、深さ優先の探索で生成されていることとし、上記と同様にルートノードから深さ優先で予測が行われていくこととする。

なお、予測の方法はどのような方法であってもよい。例えば、予測の方法として、親ノードの色情報を使用して子ノード（符号化対象ノード）の予測を行い、予測値を色予測ベクトルに追加する親子間予測が考えられる。この場合、色予測部１０５は、親子間予測による予測値（色情報隣接予測値）と実際の色情報との差分（色情報隣接予測残差）を色圧縮ベクトルに追加するようにしてもよい。さらに、色予測部１０５は、その差分値を、既に符号化済みの他の兄弟ノードから予測し、予測された差分値（色情報ツリー間予測値）と実際の差分値との差分（色情報ツリー間予測残差）を、色圧縮ベクトルに追加するようにしてもよい。

又は、対象ノードを含む部分ツリーが他の部分ツリー（参照部分ツリー）を参照することによって予測されている場合、色予測部１０５は、その予測参照先の対応するノードの色情報を予測値とするようにしてもよい。

又は、色予測部１０５は、色情報そのものを予測値とせず、参照先ツリーの各ノードの親子間及び兄弟間の相関関係だけを継承し、当該相関関係を対象ノードの予測に利用するようにしてもよい。例えば、色予測部１０５は、参照先ノードの色情報と当該参照先ノードの親ノードの色情報との差を導出し、この差を対象ノードの親ノードの色情報に加算したものを対象ノードの予測値とするようにしてもよい。

又は、色情報としてパレットに対するインデックス値を使用している場合、色予測部１０５は、インデックスをそのまま継承し、パレットのみを対象ツリーに合わせて作成するようにしてもよい。

又は、色予測部１０５は、符号化対象画像が映像のある１フレームである場合に、他の復号済みのフレームの色情報を参照することによって、色情報を予測するようにしてもよい。

最後に、エントロピー符号化部１０６は、ツリー圧縮ベクトルと色圧縮ベクトルとをエントロピー符号化し、符号を出力する（ステップＳ１０６）。エントロピー符号化の方法はどのような方法あってもよい。また、ツリー及び色情報の並び順についても、任意である。例えば、エントロピー符号化部１０６は、ルートノードから順に、深度を優先してスキャンを行うようにしてもよい。又は、例えば、エントロピー符号化部１０６は、同じ深度に属するノードについて全て並べた後、さらに一段階深い深度について同様にスキャンを行うようにしてもよい。

なお、深度別にスキャンされる場合には、復号時にエントロピー復号が途中で打ち切られたとしても、既に復号した深度までの情報を用いて、低解像度画像を生成することが可能である。

［画像復号装置の機能構成］
以下、図３を参照して、画像復号装置２００の機能構成について説明する。図３は、本発明の一実施形態における画像復号装置２００の構成を示すブロック図である。画像復号装置２００は、図３に示すように、符号入力部２０１と、エントロピー復号部２０２と、ツリー予測部２０３と、色予測部２０４と、画像再構成部２０５と、を備えている。

符号入力部２０１は、外部の装置から出力された、処理対象となる符号（以下、「復号対象符号」という。）の入力を受け付ける。符号入力部２０１は、復号対象符号を、エントロピー復号部２０２へ出力する。

エントロピー復号部２０２は、符号入力部２０１から出力された復号対象符号を取得する。エントロピー復号部２０２は、復号対象符号をエントロピー復号し、復号ツリー圧縮ベクトルと復号色圧縮ベクトルとを生成する。エントロピー復号部２０２は、生成された復号ツリー圧縮ベクトルをツリー予測部２０３へ出力する。また、エントロピー復号部２０２は、生成された復号色圧縮ベクトルを色予測部２０４へ出力する。

ツリー予測部２０３は、エントロピー復号部２０２から出力された復号ツリー圧縮ベクトルを取得する。ツリー予測部２０３は、復号ツリー圧縮ベクトルから復号ツリーベクトルを生成する。ツリー予測部２０３は、生成された復号ツリーベクトルを、色予測部２０４及び画像再構成部２０５へそれぞれ出力する。

色予測部２０４は、エントロピー復号部２０２から出力された復号色圧縮ベクトルを取得する。また、色予測部２０４は、ツリー予測部２０３から出力された復号ツリーベクトルを取得する。色予測部２０４は、復号色圧縮ベクトルと復号ツリーベクトルとから、復号色ベクトルを生成する。色予測部２０４は、生成された復号色ベクトルを画像再構成部２０５へ出力する。

画像再構成部２０５は、ツリー予測部２０３から出力された復号ツリーベクトルを取得する。また、画像再構成部２０５は、色予測部２０４から出力された復号色ベクトルを取得する。画像再構成部２０５は、復号ツリーベクトルと復号色ベクトルとから、復号画像を生成する。画像再構成部２０５は、生成された復号画像を外部の装置へ出力する。

［画像復号装置の動作］
以下、図４を参照して、画像復号装置２００の動作について説明する。図４は、本発明の一実施形態における画像復号装置２００の動作を示すフローチャートである。

まず、符号入力部２０１は、復号対象符号の入力を受け付ける（ステップＳ２０１）。次に、エントロピー復号部２０２は、復号対象符号をエントロピー復号し、復号ツリー圧縮ベクトルと復号色圧縮ベクトルとを生成する（ステップＳ２０２）。

次に、ツリー予測部２０３は、復号ツリー圧縮ベクトルから復号ツリーベクトルを生成する（ステップＳ２０３）。復号ツリーベクトルの生成の方法は、画像符号化装置１００におけるツリー構造の生成方法に対応する方法であるならば、どのような方法であってもよい。別途付加情報が符号化されている場合には、ツリー予測部２０３は、当該付加情報それを復号して使用することができる。

なお、ツリー生成が途中で打ち切られるようにすることで、スケーラブル復号が実現されてもよい。この場合、全ての枝が同じ深度で打ち切られてもよいし、枝ごとに何らかの判定が行われて適切な深度で打ち切られるようにしてもよい。また、この場合、対応する復号色圧縮ベクトルが、上記の打ち切りの判定に用いられてもよい。又は、対応する復号色ベクトルの復号が同時に行われるようにし、復号色ベクトルの値が、上記の打ち切りの判定に用いられてもよい。

次に、色予測部２０４は、復号色圧縮ベクトルと復号ツリーベクトルとから、復号色ベクトルを生成する（ステップＳ２０４）。復号色ベクトルの生成の方法は、画像符号化装置１００におけるの色情報の生成方法に対応する方法であるならば、どのような方法であってもよい。

最後に、画像再構成部２０５は、復号ツリーベクトルと復号色ベクトルとから、復号画像を生成し、出力する（ステップＳ２０５）。画像再構成部２０５は、復号ツリーベクトルの各リーフノードにおける対応画素又はブロックを特定し、対応する色情報を使用して対応画素の色を決定する。対応画素の色の決定の方法は、画像符号化装置１００におけるツリー構造の生成方法と色情報の生成方法とに対応する方法であるならば、どのような方法であってもよい。

上述したように、復号色圧縮ベクトルの生成が途中で打ち切られている場合、画像再構成部２０５は、打ち切られた部分をリーフノードとして、通常通りそのリーフノードの色情報を用いて、対応画素の色を決定する。打ち切りが行われている場合、復号画像は、原画像と同じ解像度の画像として復号されてもよいし、又は、最も深いリーフノードに最小単位である１画素が割り当てられる低解像度の画像として復号されてもよい。

例えば、もし色情報としてブロック平均色が選択されており、かつ、全ての枝が同じ深度で打ち切られているケースで低解像度復号が行われると、復号される画像は、打ち切りがなされなかった場合の画像がハールウェーブレットでダウンサンプリングされたものになる。また、上記と同じケースで原解像度復号が行われると、ダウンサンプリング画像がアップサンプリングされたものになる。また、色情報としてブロック最頻値が使用されていた場合、原画像に対し最頻値フィルタでサンプリングが行われた画像が得られる。

なお、枝ごとに異なる深度で打ち切りがなされる場合、画像の領域ごとに品質をコントロールすることが可能となる。例えば、ＲＯＩ（Region of Interest；対象領域）が設定され、当該ＲＯＩが優先的に復号されるようにすることが容易に実現される。

以上説明したように、本発明の一実施形態における画像符号化装置１００による画像符号化方法は、符号化対象画像を符号化する場合に、画像を、画素又はブロックと、画素又はブロックに割り当てられた色と、で表し、ブロック分割ツリーと、ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する。当該画像符号化方法は、符号化対象画像に対して任意の分割木による分割を行い、ブロック分割ツリーを生成する分割ツリー生成ステップと、ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、分割途中のブロック又は分割終了後のブロックを代表する代表色を決定し、決定された色を各ノードに対応する色情報として割り当てる色情報決定ステップと、ブロック分割ツリーを符号化するツリー符号化ステップと、色情報を符号化する色情報符号化ステップとを有する。

また、以上説明したように、本発明の一実施形態における画像復号装置２００による画像復号方法は、符号データからツリー情報と色情報とを復号し、復号されたツリー情報と色情報とに基づいて画像を復号する。当該画像復号方法は、符号データから、分割ツリーを復号するツリー復号ステップと、符号データから、分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに対応する色情報を復号する色情報復号ステップと、分割ツリーと色情報とに基づいて画像を復号する画像復号ステップとを有する。

上記の構成を備えることにより、本実施形態における画像符号化装置１００及び画像復号装置２００は、任意の符号化対象画像を、画素又は画素の集合であるブロックと、画素又はブロックに割り当てられた色と、で表す。また、画像符号化装置１００及び画像復号装置２００は、ブロック分割を、二分木／三分木／四分木等のツリー構造と、中間ノードとリーフノードとを含めた各ノードが持つ色情報と、で表す。画像符号化装置１００及び画像復号装置２００は、親ノードと子ノードとの間での色情報予測、及び異なるツリー深度の間でのツリー構造の予測を行うことによって、隣接画素間だけでなく、広域な空間的予測を行うことができる。また、画像符号化装置１００及び画像復号装置２００は、既に復号済みの部分ツリーを参照してツリー構造予測を行うこともできる。画像符号化装置１００及び画像復号装置２００は、ツリー構造予測を、異なるツリー深度同士で行うことで、画像の持つフラクタル性を利用して、効率的な圧縮を行うことができる。

以上により、本発明の一実施形態における画像符号化装置１００及び画像復号装置２００は、符号化効率を向上させることができる。

上述した実施形態における画像符号化装置１００と画像復号装置２００を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

１００・・・画像符号化装置、１０１・・・画像入力部、１０２・・・ツリー決定部、１０３・・・ツリー予測部、１０４・・・色決定部、１０５・・・色予測部、１０６・・・エントロピー符号化部、２００・・・画像復号装置、２０１・・・符号入力部、２０２・・・エントロピー復号部、２０３・・・ツリー予測部、２０４・・・色予測部、２０５・・・画像再構成部

Claims (9)

1. 符号化対象画像を符号化する場合に、画像を、画素又はブロックと、前記画素又は前記ブロックに割り当てられた色と、で表し、ブロック分割ツリーと、前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する画像符号化方法であって、
   前記符号化対象画像に対して任意の分割木による分割を行い、前記ブロック分割ツリーを生成する分割ツリー生成ステップと、
   前記ブロック分割ツリーの任意のノード以下のツリーである部分ツリーについて、既に符号化済みの他の部分ツリーである参照部分ツリーを参照して予測を行い、予測された前記部分ツリーである予測部分ツリーを生成するツリー予測ステップと、
   前記ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、前記分割途中のブロック又は前記分割終了後のブロックを代表する代表色を決定し、決定された前記色を前記各ノードに対応する色情報として割り当てる色情報決定ステップと、
   前記ブロック分割ツリーの任意の前記部分ツリーのそれぞれのノードについて、前記参照部分ツリーに対応する前記色情報を参照して色情報ツリー間予測値を生成し、前記色情報ツリー間予測値と符号化対象ノードの色情報との差分である色情報ツリー間予測残差を生成する色情報ツリー間予測ステップと、
   前記参照部分ツリーを特定するツリー予測情報と、前記部分ツリーと前記予測部分ツリーとの差を特定する差分ツリーと、を符号化して前記ブロック分割ツリーを符号化するツリー符号化ステップと、
   前記参照部分ツリーを特定する色情報ツリー間予測情報と、前記色情報ツリー間予測残差と、を符号化して前記色情報を符号化する色情報符号化ステップと、
   を有する画像符号化方法。
2. 任意の前記符号化対象ノードについて、前記符号化対象ノードの既に符号化済みである親ノード又は兄弟ノードの色情報を参照して色情報隣接予測値を生成し、前記符号化対象ノードの色情報と前記色情報隣接予測値との差分である色情報隣接予測残差を生成する色情報隣接予測ステップ
   をさらに備え、
   前記色情報符号化ステップは、前記色情報隣接予測残差を符号化対象とする
   請求項１に記載の画像符号化方法。
3. 前記画像に含まれる前記色情報、前記色情報隣接予測残差、及び前記色情報ツリー間予測残差に使用される色のセットであるカラーパレットを生成するカラーパレット生成ステップ
   をさらに備え、
   前記色情報符号化ステップは、前記カラーパレットと、前記カラーパレットに対応するインデックスと、を符号化する
   請求項２に記載の画像符号化方法。
4. 前記ツリー符号化ステップ及び前記色情報符号化ステップは、前記ブロック分割ツリー及び前記色情報を符号化する場合に、前記ブロック分割ツリーの深度別に符号化を行う
   請求項１から請求項３のいずれか一項に記載の画像符号化方法。
5. 前記色情報決定ステップは、前記ブロックに含まれる画素について、前記画素の再頻値を代表色として前記代表色をノードに対応する色情報として割り当てる
   請求項１から請求項４のいずれか一項に記載の画像符号化方法。
6. 符号データからツリー情報と色情報とを復号し、復号されたツリー情報と前記色情報とに基づいて画像を復号する画像復号方法であって、
   ブロック分割ツリーの任意のノード以下のツリーである部分ツリーについて、既に復号済みの他の部分ツリーである参照部分ツリーを特定するツリー予測情報と、前記参照部分ツリーに基づいて予測された前記部分ツリーである予測部分ツリーと前記部分ツリーとの差を特定する差分ツリーと、を復号して前記符号データから前記ブロック分割ツリーを復号するツリー復号ステップと、
   前記参照部分ツリーを参照して前記予測部分ツリーを生成し、前記予測部分ツリーと前記差分ツリーとから前記ブロック分割ツリーを生成するツリー予測ステップと、
   前記ブロック分割ツリーの任意の前記部分ツリーのそれぞれのノードについて、既に符号化済みの他の前記参照部分ツリーを特定する色情報ツリー間予測情報と、色情報ツリー間予測値と復号対象ノードの色情報との差分である色情報ツリー間予測残差と、を復号して前記符号データから前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに対応する色情報を復号する色情報復号ステップと、
   前記参照部分ツリーに対応する色情報を参照して色情報ツリー間予測値を生成し、前記色情報ツリー間予測値と前記色情報ツリー間予測残差とから前記色情報を生成する色情報ツリー間予測ステップと、
   前記ブロック分割ツリーと前記色情報とに基づいて前記画像を復号する画像復号ステップと、
   を有する画像復号方法。
7. 色情報隣接予測ステップ
   をさらに有し、
   前記色情報復号ステップは、前記復号対象ノードの色情報と色情報隣接予測値との差分である色情報隣接予測残差を復号し、
   前記色情報隣接予測ステップは、任意の前記復号対象ノードについて、前記復号対象ノードの既に符号化済みの親ノード又は兄弟ノードの色情報を参照して前記色情報隣接予測値を生成し、前記色情報隣接予測値と前記色情報隣接予測残差とから前記色情報を生成する
   請求項６に記載の画像復号方法。
8. カラー割当ステップ
   をさらに有し、
   前記色情報復号ステップは、前記画像に含まれる、前記色情報、前記色情報隣接予測残差、又は前記色情報ツリー間予測残差に使用される色のセットであるカラーパレットと、各ノードにおける前記カラーパレットに対応するインデックスとを復号し、
   前記カラー割当ステップは、前記カラーパレットと前記インデックスとから前記各ノードの色情報を生成する
   請求項７に記載の画像復号方法。
9. 前記ツリー復号ステップ及び前記色情報復号ステップは、
   前記ブロック分割ツリー及び前記色情報を復号する場合に、前記ブロック分割ツリーの深度別に復号を行う
   請求項６から請求項８のいずれか一項に記載の画像復号方法。

Images