JP5157796B2 - 画像データの可逆圧縮符号化装置および復号化装置 - Google Patents

Description

この発明は、画像データの可逆圧縮符号化装置および復号化装置に関する。

画像データの圧縮符号化技術は、非可逆圧縮符号化技術と可逆圧縮符号化技術とに大別することができる。非可逆圧縮符号化技術は、直交変換を利用したものが多く、圧縮符号化されたデータから元の画像データを完全に復元することはできないが、高い圧縮率が得られるという利点がある。一方、可逆圧縮符号化技術としては、例えば差分符号化と可変長符号化を併用して圧縮符号化を行うＪＰＥＧ（Joint Photographic Experts Group）のＪＰＥＧ−ＬＳ（Lossless-JPEG）がある。この種の可逆圧縮符号化技術は、高い圧縮率は得られないが、圧縮符号化されたデータから元の画像データを完全に復元することができるという利点がある。このため、医療用画像の保存や交換などの用途に用いられている。なお、可逆圧縮符号化技術に関する文献として特許文献１がある。
特開平９−３７２７１号公報

さて、スプライトの画像の圧縮符号化データをメモリから読み出して復号化し、復号化したスプライトの画像をモニタに表示する画像処理装置が各種提供されている。この種の画像処理装置において、圧縮符号化前のスプライトの画像を完全に復元することが求められる場合、可逆圧縮符号化技術を利用して、メモリに格納するスプライトの画像の圧縮符号化データを生成し、メモリから読み出される圧縮符号化データの復号化を行う必要がある。しかし、可逆圧縮符号化技術によりスプライトの画像の圧縮符号化データを生成すると、圧縮符号化データの量が大きくなる。このため、スプライト画像の復号化に必要な圧縮符号化データをメモリから読み出すのに時間が掛かり、決められた期間内に画像処理装置内の復号化装置に圧縮符号化データを転送することができず、画面上に十分なスプライトを表示することができない問題が発生する。

この発明は、以上説明した事情に鑑みてなされたものであり、その目的は、従来の可逆圧縮符号化技術において得られた圧縮率よりも高い圧縮率の得られる可逆圧縮符号化技術を提供することにある。

この発明は、画像の第１色成分〜第３色成分を示す各画素データについて、異種の色成分間の画素データの差分を各々算出し、複数種類の差分データとして出力する減算手段と、前記第１色成分〜第３色成分を示す各画素データおよび前記複数種類の差分データの各々を圧縮符号化対象である色成分データとし、各色成分データを可逆圧縮符号化し、複数種類の圧縮符号化データを出力する可逆圧縮符号化手段と、前記可逆圧縮符号化手段から得られる複数種類の圧縮符号化データのデータ量を比較し、前記複数の圧縮符号化データの中から、元の第１色成分〜第３色成分を示す各画素データを合成可能な３種類の色成分データから得られた３種類の圧縮符号化データの組み合わせであって、他の組み合わせに比べてデータ量の低い３種類の圧縮符号化データの組み合わせを出力対象として選択する比較選択手段とを具備することを特徴とする可逆圧縮符号化装置を提供する。

一般にカラー画像の各色成分は、独立ではなく、強い相互相関を有する。本発明によれば、異種の色成分間の画素データの差分を圧縮符号化するので、圧縮符号化対象であるデータの冗長性（各色成分の画素データにおける色成分間に共通の部分）を排除して、圧縮符号化対象であるデータのダイナミックレンジを下げ、圧縮率を高めることができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１は、この発明の一実施形態である符号化装置１００および復号化装置２００からなり、スプライト画像の可逆圧縮伝送を行うシステムの構成を示すブロック図である。また、図２は、符号化装置１００によって出力された画像の圧縮符号化データを復号化し、画像として再生する画像処理ＬＳＩ３００の構成を示すブロック図である。なお、図２では、画像処理ＬＳＩ３００を構成する要素のうち、圧縮符号化データの復号化および再生に関与している部分のみが図示されており、それ以外の要素の図示は省略されている。

まず、符号化装置１００および復号化装置２００の構成の説明に先立ち、図２を参照し、画像処理ＬＳＩ３００について説明する。図２において、スプライトパターンメモリ４０１は、複数種類のスプライト画像の圧縮符号化データを記憶したメモリであり、例えばＲＯＭ（Read Only Memory）により構成されている。このスプライトパターンメモリ４０１に記憶された圧縮符号化データは、本実施形態による符号化装置１００によって出力されたものである。ＣＰＵ４０２は、各種の制御情報を画像処理ＬＳＩ３００に与えるプロセッサである。モニタ４０３は、液晶パネル等による表示装置である。

画像処理ＬＳＩ３００において、ＣＰＵ Ｉ／Ｆ（インタフェース）３０１は、ＣＰＵ４０２から各種の制御情報を受け取る装置である。また、制御情報記憶部３０２は、ＣＰＵ Ｉ／Ｆ３０１を介してＣＰＵ４０２から与えられる制御情報を記憶する装置であり、例えばＲＡＭ（Random Access Memory）により構成されている。ＣＰＵ４０２からこの制御情報記憶部３０２に与えられる制御情報には、復号化および再生の対象であるスプライト画像の圧縮符号化データのスプライトパターンメモリ４０１内の格納先アドレス、モニタ４０３の表示画面におけるスプライト画像の表示位置、スプライト画像の拡大・縮小に関する指示等が含まれる。

制御部３０３は、制御情報記憶部３０２に記憶された各種の制御情報に従って画像処理ＬＳＩ３００内の各部の制御を行う制御中枢である。パターンメモリＩ／Ｆ３０４は、制御部３０３による制御の下、スプライトパターンメモリ４０１からスプライト画像の圧縮符号化データを読み出す装置である。パターンデータデコーダ３０５は、図１における復号化装置２００に相当する装置であり、制御部３０３による制御の下、スプライトパターンメモリ４０１からパターンメモリＩ／Ｆ３０４を介してスプライト画像の圧縮符号化データを受け取って、その復号化を行い、圧縮符号化前のスプライト画像の画像データを出力する装置である。このパターンデータデコータ３０５と、スプライトレンダリングプロセッサ３０６と、ラインバッファ３０７Ａおよび３０７Ｂは、制御部３０３による制御の下、１ライン単位（１水平走査線単位）で、モニタ４０３に表示させるスプライト画像の画像データを生成し、その画像データをモニタ４０３の表示画面に反映させる処理を行う。

さらに詳述すると、ラインバッファ３０７Ａおよび３０７Ｂは、モニタ４０３の１ライン分の画素データを記憶する容量を各々有している。制御部３０３は、これらのラインバッファ３０７Ａおよび３０７Ｂを交互に使用し、例えばラインバッファ３０７Ａ内の１ライン分の画素データがモニタ４０３に表示される期間には、ラインバッファ３０７Ｂに次の１ライン分の画素データを書き込むレンダリングをスプライトレンダリングプロセッサ３０６に実行させ、ラインバッファ３０７Ｂ内の１ライン分の画素データがモニタ４０３に表示される期間には、ラインバッファ３０７Ａに次の１ライン分の画素データを書き込むレンダリングをスプライトレンダリングプロセッサ３０６に実行させる。また、制御部３０３は、スプライトレンダリングプロセッサ３０６が行うレンダリングに間に合うように、レンダリングの対象となる１ライン分のスプライト画像の画像データをパターンデータデコータ３０５に出力させるための制御を行う。すなわち、１ライン分のスプライト画像の画像データを得るのに必要な圧縮符号化データをスプライトパターンメモリ４０１から読み出してパターンデータデコーダ３０５に供給し、その復号化を行わせるための制御を行うのである。ここで、モニタ４０３の１ラインに複数種類のスプライト画像を表示させる場合もある。そのような場合、制御部３０３は、表示対象である全てのスプライト画像の１ライン分の画像データを得るために必要な圧縮符号化データをスプライトパターンメモリ４０１から読み出してパターンデータデコーダ３０５に供給し、その復号化を行わせるための制御を行う。

表示コントローラ３０８、画素データコントローラ３０９およびモニタＩ／Ｆ３１０は、ラインバッファ３０７Ａおよび３０７Ｂから交互に１ライン分の画素データを読み出して、モニタ４０３に供給し、モニタ４０３に画像を表示させる手段である。さらに詳述すると、表示コントローラ３０８は、垂直同期信号および水平同期信号をモニタＩ／Ｆ３１０を介してモニタ４０３に供給するとともに、水平同期信号に同期して、画素データコントローラ３０９に画素データの読み出し指令を送る。画素データコントローラ３０９は、画素データの読み出し指令を受け取る毎に、ラインバッファ３０７Ａおよび３０７Ｂを交互に選択し、選択したラインバッファから１ライン分の画素データを読み出して、モニタＩ／Ｆ３１０を介してモニタ４０３に送るのである。
以上が画像処理ＬＳＩ３００の構成である。

本実施形態による符号化装置１００によって生成される圧縮符号化データは、以上のように、１ライン単位で復号化され、画像として再生される。従って、画像処理ＬＳＩ３００の処理を円滑に進めるためには、スプライトパターンメモリ４０１から読み出すべき１ライン分の圧縮符号化データのデータ量が少ないこと、すなわち、圧縮符号化データのライン単位の圧縮率が高いことが望まれる。また、本実施形態では、スプライト画像として圧縮符号化前のものと同じものをモニタ４０３に表示させる高品位の画像再現を目的としている。そのためにも、圧縮符号化データは、可逆式（無損失）の圧縮符号化アルゴリズムにより得られたものであることが望まれる。本実施形態による符号化装置１００は、このような要求に応えるために案出されたものであり、ライン単位での圧縮率が高く、かつ、無損失で画像データの圧縮符号化を行う装置である。

次に図１を参照し、本実施形態による符号化装置１００および復号化装置２００について説明する。まず、符号化装置１００について説明する。ＲＧＢ変換部１１０は、圧縮符号化の対象であるオリジナルのスプライトの画像データをＲ、Ｇ、Ｂの各色成分に対応した画像データに分離する。ここで、Ｒ成分に対応した画像データは、スプライトを構成する各画素のＲ成分の強度を示す画素データの集合体、Ｇ成分に対応した画像データは、スプライトを構成する各画素のＧ成分の強度を示す画素データの集合体、Ｂ成分に対応した画像データは、スプライトを構成する各画素のＢ成分の強度を示す画素データの集合体である。

ＲＧＢ減算部１２０は、スプライトの各画素毎に異種の色成分間の画素データの差分を算出し、この差分を示す差分データを生成する。そして、１つの画素の第１〜第３色成分を示す各画素データをＲ、Ｇ、Ｂとした場合、ＲＧＢ減算部１２０は、画素毎に画素データＲ、Ｇ、Ｂと、差分データＲ−Ｇ、Ｒ−Ｂ、Ｇ−Ｒ、Ｇ−Ｂ、Ｂ−ＲおよびＢ−Ｇを出力する。これらの画素データおよび差分データの各々が本実施形態における圧縮符号化の対象である色成分データとなる。

レベルシフト部１３０は、ＲＧＢ減算部１２０が出力する各色成分データのうち、画素データＲ、Ｇ、Ｂについてはそのまま出力する一方、差分データＲ−Ｇ、Ｒ−Ｂ、Ｇ−Ｒ、Ｇ−Ｂ、Ｂ−ＲおよびＢ−Ｇに対しては、オフセットを加算することにより、符号ビットを同じくする所定範囲内の値、具体的には０以上の範囲にレベルシフトして出力する。

本実施形態では、１個の画素データの構成ビット数の異なる複数種類のスプライトの画像データが圧縮対象となる。そして、レベルシフト部１３０がレベルシフトを行うのに用いるオフセットも、圧縮対象であるスプライトの画素データの構成ビット数により異なったものとなる。さらに詳述すると、レベルシフト部１３０は、１個の画素データの構成ビット数が５ビットである場合はオフセットとして３２を、６ビットである場合はオフセットとして６４を、８ビットである場合をオフセットとして２５６を差分データに加算するレベルシフトを差分データに施す。このレベルシフトを経た差分データは必ず正の値となる。

可逆圧縮符号化部１４０は、スプライトの画像を構成する各画素の中から対象画素をラスタスキャン順に選択し、対象画素を示す複数種類の色成分データの各々に可逆圧縮符号化を施し、対象画素を示す各色成分データの圧縮符号化データを算出する手段である。なお、可逆圧縮符号化部１４０が実行する可逆圧縮符号化アルゴリズムの具体的内容については後述する。

比較選択部１５０は、可逆圧縮符号化部１４０から得られる複数種類の圧縮符号化データのデータ量を比較し、複数種類の色成分データから得られた各圧縮符号化データの中から、元のＲ、Ｇ、Ｂの各色成分を示す各画素データを合成可能な３種類の色成分データから得られた圧縮符号化データの組み合わせであって、他の組み合わせに比べて総データ量の低い３種類の圧縮符号化データの組み合わせを出力対象として選択する手段である。

さらに詳述すると、比較選択部１５０は、可逆圧縮符号化部１４０から得られる複数種類の圧縮符号化データを用いて、図３に示すように、各々３種類の圧縮符号化データからなる４種類の組み合わせを構成する。まず、Ｎｏｒｍａｌ Ｍｏｄｅの圧縮符号化データの組み合わせは、画素データＲ、画素データＧ、画素データＢの各々から得られた３種類の圧縮符号化データからなる組み合わせである。次に、Ｍｏｄｅ １の圧縮符号化データの組み合わせは、画素データＲ、差分データＲ−Ｇ、差分データＲ−Ｂの各々から得られた３種類の圧縮符号化データからなる組み合わせである。次に、Ｍｏｄｅ ２の圧縮符号化データの組み合わせは、差分データＧ−Ｒ、画素データＧ、差分データＧ−Ｂの各々から得られた３種類の圧縮符号化データからなる組み合わせである。次に、Ｍｏｄｅ ３の圧縮符号化データの組み合わせは、差分データＢ−Ｒ、差分データＢ−Ｇ、画素データＢの各々から得られた３種類の圧縮符号化データからなる組み合わせである。

そして、比較選択部１５０は、Ｎｏｒｍａｌ Ｍｏｄｅ、Ｍｏｄｅ １、Ｍｏｄｅ ２、Ｍｏｄｅ ３の４種類の圧縮符号化データの組み合わせの各々について、フレーム単位での圧縮率を求める。そして、４種類の圧縮符号化データの組み合わせのうちフレーム単位での圧縮率の最も高い圧縮符号化データの組み合わせを選択し、この選択した圧縮符号化データの組み合わせに対し、選択した圧縮符号化データの組み合わせを示すモード信号を付加して出力する。具体的には、Ｎｏｒｍａｌ Ｍｏｄｅの圧縮符号化データの組み合わせを選択した場合にはモード信号“００”を、Ｍｏｄｅ １の圧縮符号化データの組み合わせを選択した場合にはモード信号“０１”を、Ｍｏｄｅ ２の圧縮符号化データの組み合わせを選択した場合にはモード信号“１０”を、Ｍｏｄｅ ３の圧縮符号化データの組み合わせを選択した場合にはモード信号“１１”を、当該選択した圧縮符号化データの組み合わせに付加して出力する。

次に本実施形態における可逆圧縮符号化部１４０について説明する。この可逆圧縮符号化部１４０は、ＤＰＣＭ（Differential Pulse Code Modulation；差分符号化）部１４１と、予測誤差変換部１４２と、ハフマン符号化部１４３とにより構成されている。

ＤＰＣＭ部１４１は、図４に示すように、スプライトの画像を構成する各画素の中から対象画素Ｘをラスタスキャン順に選択しつつ、対象画素Ｘの近傍の画素を示す色成分データから対象画素を示す色成分データの予測値Ｍｘを算出し、この予測値Ｍｘと対象画素を示す色成分データの実際値との差分である予測誤差Ｘ−Ｍｘを算出する手段である。

具体的には、ＤＰＣＭ部１４１は、次のアルゴリズムに従って、予測値Ｍｘを算出する。まず、対象画素Ｘの左隣の画素Ｘａの色成分データがＸａ、対象画素の直上の画素Ｘｂの色成分データがＸｂ、対象画素の左上の画素Ｘｃの色成分データがＸｃである場合において、これらの３つの色成分データの最大値ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＜Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＜Ｘｂであれば予測値ＭｘをＸａとする。一方、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でない場合、３つの色成分データの最小値ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＞Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＞Ｘｂであれば予測値ＭｘをＸａとする。そして、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でもなく、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）でもない場合、すなわち、Ｘｃ＞ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であり、かつ、Ｘｃ＜ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）である場合、Ｍｘ＝Ｘａ＋Ｘｂ−Ｘｃを予測値Ｍｘとする。そして、このようにして得られる予測値Ｍｘと対象画素Ｘの色成分データの実際値との差分である予測誤差Ｘ−Ｍｘを算出するのである。

予測誤差変換部１４２は、ＤＰＣＭ部１４１が出力する予測誤差の符号ビットを反転すると当該予測誤差の絶対値が減少する場合に当該予測誤差の符号ビットを反転する変換処理を実行する。既に述べたように、本実施形態では、１個の画素データの構成ビット数の異なる複数種類のスプライトの画像データが圧縮対象となる。そして、予測誤差変換部１４２が行う変換処理の内容も、予測誤差の構成ビット数、すなわち、圧縮対象であるスプライトの画素データの構成ビット数により異なったものとなる。図５は、予測誤差の構成ビット数（符号ビットを除く）が８ビット、６ビット、５ビット、４ビットの各場合について、入力データである予測誤差と予測誤差変換部１４２の出力データとの関係を示したものである。なお、図５では、符号を反転した場合に絶対値が小さくなる入力データのみについて入力データと出力データとの関係が示されており、符号を反転した場合に絶対値が小さくならない入力データ（すなわち、符号反転されることなくそのまま出力データとなる入力データ）については、入力データと出力データとの関係の図示は省略されている。

図６は、予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合について、予測誤差変換部１４２の入力データと出力データとの関係を示している。この図において、矢印は変換の方向を示している。本実施形態において取り扱う色成分データおよび予測誤差等の２進の数値データは、２の補数形式で負の数の表現を行う。この場合において、予測誤差の構成ビット数（符号ビットを除く）が６ビットであるとすると、正の値では絶対値が３２以上の予測誤差は符号ビットを反転したときの絶対値が元の絶対値以下になる。そこで、絶対値が２^６−１＝３２以上の正の予測誤差は符号ビットの反転を行う。また、負の値でも絶対値が３２以上の予測誤差（すなわち、−３２以下の負の値）は符号ビットを反転したときの絶対値が元の絶対値以下となる。そこで、絶対値が３２以上の負の予測誤差は符号ビットの反転を行う。予測誤差の構成ビット数が異なる他の場合についても同様であり、図５に示すように、予測誤差の構成ビット数が８ビットである場合には絶対値が２^８−１＝１２８以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が５ビットである場合には絶対値が２^５−１＝１６以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が４ビットである場合には絶対値が２^４−１＝８以上である予測誤差が符号反転の対象となる。

ハフマン符号化部１４３は、予測誤差変換部１４２の処理を経た予測誤差を可変長符号に変換する手段である。上述したように、ＤＰＣＭ部１４１では、スプライトの画像を構成する各画素の中からラスタスキャン順に対象画素Ｘを選択して予測誤差を算出して出力する。本実施形態では、このＤＰＣＭ部１４１からラスタスキャン順に出力される各対象画素に対応した予測誤差がそのままの順序で予測誤差変換部１４２を介してハフマン符号化部１４３に供給され、この供給される各対象画素に対応した予測誤差が各々の供給順に可変長符号に変換される。

図７は、ハフマン符号化部１４３が予測誤差を可変長符号に変換するために用いる変換テーブルの内容を示す図である。図７において、符号化対象は、予測誤差変換部１４２の処理を経た予測誤差である。Ｓは符号長が同じである可変長符号に割り当てられた可変長符号のグループ番号である。１つの可変長符号は、符号と付加ビットとにより構成されている。ここで、符号は、その可変長符号が属するグループを他のグループと区別するための識別情報である。また、付加ビットは、ある符号を持った可変長符号のグループ内において、各可変長符号を他の可変長符号と区別するための識別情報である。

図７に示すように、０以外の絶対値を持った符号化対象は、絶対値が小さいもの程、少ないビット長の符号および付加ビットからなる可変長符号に変換される。例えば絶対値が１である２種類の符号化対象−１、１は、符号０１が割り当てられたグループ番号Ｓ＝１の可変長符号に変換され、２種類の符号化対象−１、１の各々付加ビット０、１により区別される。また、絶対値が２〜３の範囲に属する４種類の符号化対象−３、−２、２、３は、符号１０が割り当てられたグループ番号Ｓ＝２の可変長符号に変換され、４種類の符号化対象−３、−２、２、３は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、符号化対象は、各々連続した絶対値を持ったグループに分けられ、大きな絶対値を持った符号化対象のグループ程、ビット長の大きな符号が割り当てられる。また、絶対値が２５６である符号化対象のグループを除き、大きな絶対値を持った符号化対象のグループ程、グループを構成する符号化対象の個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。なお、本実施形態で取り扱う予測誤差の構成ビット数（符号ビットを除く）は最大８ビットであり、−２５６および２５６は、いずれもオーバーフロー状態を表わす。従って、−２５６および２５６は、符号が１１１１１１１１０であり、付加ビットのない同じ可変長符号に変換される。

絶対値が０である符号化対象は、ＺＲＬ（Zero Run Length）、すなわち、０の連続長が可変長符号に変換される。例えばＺＲＬ＝１は、符号０００が割り当てられたグループ番号Ｓ＝９の可変長符号に変換される。また、２〜３の範囲に属する２種類のＺＲＬ＝２、３は、符号００１０が割り当てられたグループ番号Ｓ＝１０の可変長符号に変換され、２種類のＺＲＬ＝２、３は各々付加ビット０、１により区別される。また、４〜７の範囲に属する４種類のＺＲＬ＝４、５、６、７は、符号００１１０が割り当てられたグループ番号Ｓ＝１１の可変長符号に変換され、４種類のＺＲＬ＝４、５、６、７は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、ＺＲＬは、各々連続したＺＲＬからなるグループに分けられ、大きなＺＲＬのグループ程、ビット長の大きな符号が割り当てられる。また、大きなＺＲＬのグループ程、グループを構成するＺＲＬの個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。さらに本実施形態では、圧縮率を高めるために、ＡＬＬ０という予測誤差の発生形態が想定されている。このＡＬＬ０は、着目している画素の予測誤差が０であり、かつ、その画素が属するラインのその画素以降の全ての画素の予測誤差が０である状態である。本実施形態においてこのＡＬＬ０は、符号が００１１１０であり、付加ビットのない可変長符号に変換される。
以上が本実施形態による符号化装置１００の詳細である。

次に復号化装置２００について説明する。
可逆復号化部２１０は、可逆圧縮符号化部１４０の可逆圧縮符号化処理により生成された圧縮符号化データを圧縮符号化前の画像データに逆変換する装置である。本実施形態における可逆復号化部２１０は、ハフマン復号化部２１１とＩＤＰＣＭ（Inverse Differential Pulse Coding；逆差分符号化）部２１２とにより構成されている。ハフマン復号化部２１１は、符号化装置１００のハフマン符号化部１４３が可変長符号化に用いているものと同じ変換テーブルを使用し、符号と付加ビットとからなる可変長符号を可変長符号化前の予測誤差に戻す。ＩＤＰＣＭ部２１２は、ハフマン復号化部２１１から得られる予測誤差をその予測誤差が示す色成分データに変換する逆差分符号化処理を実行することにより、第１色成分〜第３色成分の各色成分データを復元する装置である。さらに詳述すると、第１色成分〜第３色成分のうちのある色成分に関し、図４に示す３個の画素Ｘｃ、Ｘｂ、Ｘａの色成分データが既に復号化されている状態において、画素Ｘの予測誤差がハフマン復号化部２１１から得られた場合、逆差分符号化処理では、上述したＤＰＣＭ部１４１の差分符号化処理と同様なアルゴリズムに従い、画素Ｘｃ、Ｘｂ、Ｘａの色成分データから画素Ｘの色成分データの予測値ＭＸを算出する。そして、この予測値ＭＸに画素Ｘの予測誤差を加算することにより画素Ｘの色成分データを算出するのである。

本実施形態では、上述したように、符号化装置１００のＤＰＣＭ部１４１の前段にレベルシフト部１３０があり、このレベルシフト部１３０がＤＰＣＭ部１４１の差分符号化の対象となる色成分データを０以上の範囲にレベルシフトする。そこで、ＩＤＰＣＭ部２１２の逆差分符号化処理では、差分符号化前の色成分データが正の値であることを前提とし、予測値ＭＸと予測誤差の加算結果において符号ビットを除く部分を復号結果たる色成分データとする。従って、本実施形態では、予測誤差における符号ビットを除く部分の内容が同じであれば、予測誤差が符号ビット“０”を有する正の値であるか符号ビット“１”を有する負の値であるかによらず、その予測誤差から同じ色成分データが復元される。符号化装置１００の可逆圧縮符号化部１４０に予測誤差変換部１４２が設けられているのは、予測誤差の符号ビットの“１”／“０”が復号結果に影響を与えないという点を利用し、ハフマン符号化部１４３に供給する符号化対象（予測誤差）をより絶対値の小さな値とし、変換後の可変長符号のビット長を短くするためである。この点に関し、一例を挙げて説明すると、次のようになる。

まず、色成分データおよび予測誤差の構成ビット数（符号ビットを除く）が６ビットであり、図６における対象画素Ｘの色成分データが５９ｄ（ｄは１０進）、予測値が１０ｄ、予測誤差が４９ｄ＝０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）であったとする。ここで、仮に予測誤差変換部１４２の予測誤差変換が行われなかったとすると、符号化装置１００および復号化装置２００の処理内容は次のようになる。まず、ハフマン符号化部１４３では、図７に示す変換テーブルに従い、予測誤差４９ｄをグループ番号Ｓ＝６のグループに属する符号１１１１１０および付加ビット１１０００１からなる１２ビットの可変長符号に変換して出力する。復号化装置２００では、ハフマン復号化部２１１により、この可変長符号が予測誤差４９ｄに変換される。そして、ＩＤＰＣＭ部２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である４９ｄ＝０１１０００１ｂの２進加算が行われ、対象画素Ｘの色成分データ５９ｄが復元される。
０００１０１０ｂ＋０１１０００１ｂ＝０１１１０１１ｂ
＝５９ｄ
……（１）

これに対し、予測誤差変換部１４２による予測誤差変換が行われた場合の符号化装置１００と復号化装置２００の処理内容は次のようになる。まず、図６に示すように、予測誤差である４９ｄは、２進数に変換すると、０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）となる。この２進数の先頭の符号ビットを“０”から“１”に反転すると、図６に示すように、符号ビットの反転後の２進数１１１０００１ｂに対応した１０進数は−１５ｄとなり、符号ビットの反転前の４９ｄよりも絶対値の小さな値となる。そこで、符号化装置１００の予測誤差変換部１４２では、符号ビットの反転された予測誤差１１１０００１ｂ＝−１５ｄをハフマン符号化部１４３に送る。ハフマン符号化部１４３は、図７の変換テーブルに従い、この予測誤差１１１０００１ｂ＝−１５ｄをグループ番号Ｓ＝４のグループに属する符号１１１０および付加ビット００００からなる８ビットの可変長符号に変換して出力する。復号化装置２００では、ハフマン復号化部２１１により、この可変長符号が予測誤差１１１０００１ｂ＝−１５ｄに変換される。そして、ＩＤＰＣＭ部２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である−１５ｄ＝１１１０００１ｂの２進加算が行われる。
０００１０１０ｂ＋１１１０００１ｂ＝１１１１０１１ｂ ……（２）

そして、ＩＤＰＣＭ部２１２では、この加算結果１１１１０１１ｂの先頭の符号ビット“１”を無視し、対象画素Ｘの色成分データを、１１１０１１ｂ＝５９ｄとする。このように、復号結果である色成分データは予測値と予測誤差の構成ビットのうち符号ビットを除く部分のみにより決定される。そこで、本実施形態における符号化装置１００では、予測誤差の符号ビットを反転させた場合において予測誤差の絶対値が小さくなる場合には、予測誤差変換部１４２が予測誤差の符号反転を行ってハフマン符号化部１４３に送り、圧縮符号化データを構成する可変長符号のビット長を短縮しているのである。

ＲＧＢ加算部２２０は、符号化装置１００のＲＧＢ減算部１２０が行う処理の逆変換に相当する処理を実行する。図８は、このＲＧＢ加算部２２０の処理内容を示すものである。まず、ＲＧＢ加算部２２０は、復号化対象である圧縮符号化データからモード信号を取り出し、このモード信号に基づき、圧縮符号化データがＮｏｒｍａｌ Ｍｏｄｅ、Ｍｏｄｅ １、Ｍｏｄｅ ２、Ｍｏｄｅ ３のいずれの圧縮符号化データであるかを判別する。

モード信号がＮｏｒｍａｌ Ｍｏｄｅを示す場合、ＩＤＰＣＭ部２１２から取得される第１色成分の色成分データＲ’、第２色成分の色成分データＧ’、第３色成分の色成分データＢ’は、圧縮符号化対象であったスプライト画像の第１色成分の画素データＲ、第２色成分の画素データＧ、第３色成分の画素データＢである。そこで、ＲＧＢ加算部２２０は、ＩＤＰＣＭ部２１２から取得される第１〜第３色成分の色成分データＲ’、Ｇ’、Ｂ’をそのまま第１〜第３色成分の画素データＲ、Ｇ、Ｂとして各々出力する。

また、モード信号がＭｏｄｅ １を示す場合、ＩＤＰＣＭ部２１２から取得される第１色成分の色成分データＲ’は、圧縮符号化対象であったスプライト画像の第１色成分の画素データＲである。そこで、ＲＧＢ加算部２２０は、ＩＤＰＣＭ部２１２から取得される第１色成分の色成分データＲ’をそのまま第１色成分の画素データＲとして出力する。しかし、モード信号がＭｏｄｅ １を示す場合、ＩＤＰＣＭ部２１２から取得される第２色成分の色成分データは、圧縮符号化対象であったスプライト画像の第１色成分の画素データＲから第２色成分の画素データＧを減算し、さらにレベルシフト部１３０によるレベルシフトが施されたデータである。また、ＩＤＰＣＭ部２１２から取得される第３色成分の色成分データは、圧縮符号化対象であったスプライト画像の第１色成分の画素データＲから第３色成分の画素データＢを減算し、さらにレベルシフト部１３０によるレベルシフトが施されたデータである。そこで、ＲＧＢ加算部２２０は、色成分データＧ’およびＢ’をレベルシフト前の色成分データＧ’’およびＢ’’に戻し、差分Ｒ’−Ｇ’’（＝Ｒ−（Ｒ−Ｇ）＝Ｇ）を第２色成分の画素データＧとして出力し、差分Ｒ’−Ｂ’’（＝Ｒ−（Ｒ−Ｂ）＝Ｂ）を第３色成分の画素データＢとして出力する。モード信号がＭｏｄｅ ２またはＭｏｄｅ ３を示す場合も同様であり、図８に示す各データを第１〜第３色成分の画素データＲ、Ｇ、Ｂとして出力する。

ＲＧＢ逆変換部２３０は、ＲＧＢ加算部２２０から出力される第１〜第３色成分の画素データＲ、Ｇ、Ｂを統合し、スプライトの画像データを復元する装置である。
以上が本実施形態による符号化装置１００および復号化装置２００の詳細である。

次に本実施形態の効果について説明する。
（１）一般にカラー画像のＲ、Ｇ、Ｂの各色成分は、独立ではなく、強い相互相関を有する。本実施形態では、異種の色成分間の画素データの差分を圧縮符号化するので、圧縮符号化対象であるデータの冗長性（各色成分の画素データにおける色成分間に共通の部分）を排除して、圧縮符号化対象であるデータのダイナミックレンジを下げ、圧縮率を高めることができる。以下、図９および図１０を参照し、この効果について詳細に説明する。

図９は、ＳＩＤＢＡ（Standard Image Data Base）の１２種類の標準画像を使用し、本実施形態におけるＭｏｄｅ １、Ｍｏｄｅ ２、Ｍｏｄｅ ３の各々の圧縮符号化データの元となる第１〜第３色成分の色成分データのエントロピー（ビット／画素）、すなわち、１画素当たりの圧縮性能限界を算出した結果を示すものである。各標準画像は、高さ方向の画素サイズＨが２５６画素、幅方向の画素サイズＷが２５６画素、各画素のＴＯＮＥ（階調）は８ビットである。

図９において、“±”とあるのは、エントロピーの改善の度合いである。図９では、Ｍｏｄｅ １の圧縮符号化データの元となる色成分データに関しては、第１色成分データ（すなわち、画素データＲ）のエントロピーを基準とし、この基準となるエントロピーに対する他の色成分データ（すなわち、差分データＧ−ＲおよびＢ−Ｒ）のエントロピーの向上の度合いを示している。また、Ｍｏｄｅ ２の圧縮符号化データの元となる色成分データに関しては、第２色成分データ（すなわち、画素データＧ）のエントロピーを基準とし、この基準となるエントロピーに対する他の色成分データ（すなわち、差分データＲ−ＧおよびＢ−Ｇ）のエントロピーの向上の度合いを示している。また、Ｍｏｄｅ ３の圧縮符号化データの元となる色成分データに関しては、第３色成分データ（すなわち、画素データＢ）のエントロピーを基準とし、この基準となるエントロピーに対する他の色成分データ（すなわち、差分データＧ−ＢおよびＲ−Ｂ）のエントロピーの向上の度合いを示している。一例として、標準画像AerialのＭｏｄｅ １の各色成分データに着目すると、第１色成分の色成分データＲのエントロピーは、７．３１ビット／画素である。第２色成分の色成分データＧ−Ｒのエントロピーは、６．８１ビット／画素であり、色成分データＲに比べてエントロピーが０．５だけ向上している。また、第３色成分の色成分データＢ−Ｒのエントロピーは、７．２３ビット／画素であり、色成分データＲに比べてエントロピーが０．０８だけ向上している。

図９では、エントロピーが向上している箇所については、括弧なしの数値で向上の度合いが示されており、エントロピーが悪化している箇所については、括弧付きの数値で向上の度合いが示されている。図９によると、Pepperとmilkdropについては、Ｍｏｄｅ １〜Ｍｏｄｅ ３のいずれの場合においても、エントロピーの向上がない、それ以外の１０種類の標準画像では、Ｍｏｄｅ １〜Ｍｏｄｅ ３のいずれかにおいてエントロピーの向上が見込めることが分かる。従って、異種の色成分の画素データ間の差分を符号化するＭｏｄｅ １〜Ｍｏｄｅ ３の可逆圧縮符号化を行うことにより、圧縮率を改善できることが分かる。

図１０は、図９と同じ１２種類の標準画像について、Ｎｏｒｍａｌ Ｍｏｄｅ、Ｍｏｄｅ １〜Ｍｏｄｅ ３の各モードの圧縮符号化データを可逆圧縮符号化部１４０に生成させた場合におけるライン単位での圧縮率のライン間のワースト値と、画像全体としての圧縮率とを算出した結果を示すものである。ここで、圧縮率は、圧縮符号化後のデータ量を圧縮符号化前のデータ量によって除算した値である。ただし、この例において、可逆圧縮符号化部１４０のＤＰＣＭ部１４１は、上記実施形態において述べた差分符号化アルゴリズムではなく、前値（図４に示す例では、対象画素Ｘの左隣の画素Ｘａの値）を予測値とする差分符号化アルゴリズムに従って予測誤差の算出を行っている。また、この例において、ハフマン符号化部１４３では、図７に示す変換テーブルではなく、ＪＰＥＧが採用している変換テーブルに従って、可変長符号化を行っている。また、この例において、レベルシフト部１３０および予測誤差変換部１４２には各々の処理を行わせていない。

図１０によると、多くの標準画像では、Ｍｏｄｅ １〜Ｍｏｄｅ ３のいずれかの圧縮符号化データは、Ｎｏｒｍａｌ Ｍｏｄｅの圧縮符号化データに比べて、画像全体としての圧縮率が向上している。また、Ｍｏｄｅ １〜Ｍｏｄｅ ３のいずれかの圧縮符号化データは、Ｎｏｒｍａｌ Ｍｏｄｅの圧縮符号化データよりも、ライン間の圧縮率のワースト値が大幅に改善されていることが分かる。これは、本実施形態において、画像を構成する各画素を示す色成分データをラスタスキャン順に差分符号化および可変長符号化の対象にしていることと、異種の色成分間の画素データの差分を差分符号化および可変長符号化の対象にしていることの相乗効果によるものと考えられる。すなわち、元の画素データよりもダイナミックレンジの小さな異種の色成分間の画素データの差分を差分符号化の対象にしているため、差分符号化において予測誤差の絶対値が小さくなり易く、また、同一ライン上に沿った同一または似通った色の領域では対象画素の予測誤差が連続して０となる頻度が高くなり、可変長符号化において予測誤差がＺＲＬやＡＬＬ０として取り扱われる頻度が増すと考えられるからである。

このライン間の圧縮率のワースト値が大幅に改善されるという効果は、前掲図２の画像処理ＬＳＩ３００のようにライン単位で圧縮符号化データの復号化を行う装置に対し、多大なる効果をもたらす。すなわち、次の通りである。まず、スプライト画像の圧縮符号化データにおいて、ライン間で圧縮率のばらつきがあり、圧縮符号化データの圧縮率の非常に低いラインがあると、そのラインの画素データの復号化に用いる圧縮符号化データの量が大きくなる。このため、そのラインの画素データの復号化に間に合うように復号化に必要な圧縮符号化データの転送を行うのが困難になるという不都合な事態が発生する。しかしながら、本実施形態では、Ｍｏｄｅ １〜Ｍｏｄｅ ３のいずれかの可逆圧縮符号化を行うことにより、ライン間の圧縮率のワースト値が大幅に改善されるため、このような不都合な事態の発生を防止できるのである。

（２）本実施形態によれば、予測誤差変換部１４２が差分符号化により得られた予測誤差の符号ビットを反転すると当該予測誤差の絶対値が減少する場合に当該予測誤差の符号ビットの反転を行い、ハフマン符号化部１４３は、予測誤差変換部１４２の処理を経た予測誤差に対し、絶対値が小さいものほど符号長が短くなる可変長符号化を行って、予測誤差を示す可変長符号を生成するので、画像全体あるいは１ライン分の画素を通じてみると、可変長符号化の対象となる予測誤差の絶対値が総じて小さくなり、全体としての可変長符号の符号長を短くすることができる。

（３）次に本実施形態の総合的な効果を説明する。図１１は、３０種類の評価画像について、ＪＰＥＧ−ＬＳの可逆圧縮符号化アルゴリズムにより圧縮符号化を行った場合と、本実施形態による符号化装置１００に圧縮符号化を行わせた場合にについて、圧縮符号化により得られる圧縮符号化データの圧縮率を対比して示すものである。図１１において、“±”と記された欄の数値は、ＪＰＥＧ−ＬＳの可逆圧縮符号化アルゴリズムにより得られた圧縮率を基準とし、本実施形態において得られる圧縮率の改善の度合いを示したものである。この欄において、本実施形態において得られた圧縮率の方がＪＰＥＧ−ＬＳの可逆圧縮符号化アルゴリズムにより得られた圧縮率よりも改善されている評価画像については、その改善の程度が正の値として記載されており、前者の圧縮率の方が後者の圧縮率よりも劣っている評価画像については、その劣っている程度が負の値として記載されている。３０種類の評価画像のうちop_24に関しては、ＪＰＥＧ−ＬＳと比較して圧縮率が若干低下しているが、その他の２９種類の評価画像に関しては、ＪＰＥＧ−ＬＳより高い圧縮率が得られている。

＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）上記実施形態におけるレベルシフト部１３０と予測誤差変換部１４２を省略してもよい。
（２）上記実施形態では、可逆圧縮符号化部１４０の可逆圧縮符号化アルゴリズムとして、差分符号化と可変長符号化との組み合わせたアルゴリズムを採用したが、他の可逆圧縮符号化アルゴリズムを採用してもよい。
（３）上記実施形態におけるＭｏｄｅ １〜３の圧縮符号化データの内容を次のように変更してもよい。
＜変更前Ｍｏｄｅ １＞ ＜変更後Ｍｏｄｅ １＞
第１色成分 Ｒ Ｒ
第２色成分 Ｒ−Ｇ Ｇ−Ｒ
第３色成分 Ｒ−Ｂ Ｂ−Ｒ
＜変更前Ｍｏｄｅ ２＞ ＜変更後Ｍｏｄｅ ２＞
第１色成分 Ｇ−Ｒ Ｒ−Ｇ
第２色成分 Ｇ Ｇ
第３色成分 Ｇ−Ｂ Ｂ−Ｇ
＜変更前Ｍｏｄｅ ３＞ ＜変更後Ｍｏｄｅ ３＞
第１色成分 Ｂ−Ｒ Ｒ−Ｂ
第２色成分 Ｂ−Ｇ Ｇ−Ｂ
第３色成分 Ｂ Ｂ
この態様においても上記実施形態と同様な効果が得られる。

この発明の一実施形態である符号化装置１００および復号化装置２００の構成を示すブロック図である。 同符号化装置１００から出力されたスプライト画像の圧縮符号化データの復号化および再生を行う画像処理ＬＳＩ３００の構成を示すブロック図である。 同符号化装置１００の圧縮符号化処理の内容を示す図である。 同符号化装置１００のＤＰＣＭ部１４１が行う差分符号化処理の内容を示す図である。 同符号化処理１００の予測誤差変換部１４２の処理内容を示す図である。 予測誤差の構成ビット数が６ビットである場合を例に予測誤差変換部１４２の処理内容を詳細に示す図である。 同符号化装置１００のハフマン符号化部１４３の可変長符号化に使用される変換テーブルを示す図である。 同復号化装置２００のＲＧＢ加算部２２０の処理内容を示す図である。 同実施形態におけるＭｏｄｅ １、Ｍｏｄｅ ２、Ｍｏｄｅ ３の各圧縮符号化データの元となる第１〜第３色成分の色成分データのエントロピー（ビット／画素）を例示する図である。 同実施形態において、異種の色成分間の画素データの差分を圧縮符号化の対象としたことによる効果を示す図である。 同実施形態による符号化装置１００において得られる圧縮率とＪＰＥＧ−ＬＳの可逆圧縮符号化アルゴリズムにおいて得られる圧縮率とを対比して示す図である。

符号の説明

１００……符号化装置、２００……復号化装置、１１０……ＲＧＢ変換部、１２０……ＲＧＢ減算部、１３０……レベルシフト部、１４０……可逆圧縮符号化部、１４１……ＤＰＣＭ部、１４２……予測誤差変換部、１４３……ハフマン符号化部、１５０……比較選択部、２１０……可逆復号化部、２１１……ハフマン復号化部、２１２……ＩＤＰＣＭ部、２２０……ＲＧＢ加算部、２３０……ＲＧＢ逆変換部。

Claims (2)

1. 画像の第１色成分〜第３色成分を示す各画素データについて、異種の色成分間の画素データの差分を各々算出し、複数種類の差分データとして出力する減算手段と、
   前記第１色成分〜第３色成分を示す各画素データおよび前記複数種類の差分データの各々を可逆圧縮符号化し、複数種類の圧縮符号化データを出力する可逆圧縮符号化手段と、
   各々前記可逆圧縮符号化手段により出力された各圧縮符号化データの各組み合わせであって、
   （ａ）前記第１色成分〜第３色成分の各画素データの各圧縮符号化データからなる第１の組み合わせと、
   （ｂ）前記第１色成分の画素データの圧縮符号化データ、前記第１色成分および第２色成分の各画素データ間の差分データの圧縮符号化データ並びに前記第１色成分および第３色成分の各画素データ間の差分データの圧縮符号化データからなる第２の組み合わせと、
   （ｃ）前記第２色成分および第１色成分の各画素データ間の差分データの圧縮符号化データ、前記第２色成分の画素データの圧縮符号化データ並びに前記第２色成分および第３色成分の各画素データ間の差分データの圧縮符号化データからなる第３の組み合わせと、
   （ｄ）前記第３色成分および第１色成分の各画素データ間の差分データの圧縮符号化データ、前記第３色成分および第２色成分の各画素データ間の差分データの圧縮符号化データ並びに前記第３色成分の画素データの圧縮符号化データからなる第４の組み合わせと
   の中からフレーム単位で圧縮率の最も高い組み合わせを選択し、選択した組み合わせを示すモード信号とともに出力する比較選択手段と
   を具備することを特徴とする可逆圧縮符号化装置。
2. 請求項１に記載の可逆圧縮符号化装置から出力された３種類の圧縮符号化データに復号化処理を施す復号化手段と、
   請求項１に記載の可逆圧縮符号化装置から出力された前記モード信号を取得するモード信号取得手段と、
   フレーム単位で、前記モード信号に対応付けて用意された前記３種類の圧縮符号化データの復号化結果を用いる演算処理により、前記画像の第１色成分〜第３色成分を示す各画素データを生成する加算手段と
   を具備することを特徴とする復号化装置。

Images