JP4515832B2 - 画像圧縮装置、及び画像復元装置 - Google Patents

Description

本発明は、画像データの圧縮化及び伸張化に関する。

従来、複数の色成分を持つ自然画像において可逆圧縮を行う場合、隣接画素との相関を高めるために色成分ごとに圧縮を行う、もしくは可逆的な色変換を行ってから圧縮を行う等の方式がよく行われている。また、色数が制限されたＣＧ等では、ルックアップテーブルを用いることで、同一色を１つの値で表現し、データ量を削減している。

デジタルスチルカメラで撮影された画像を可逆圧縮する方式としてＲＡＷ圧縮が存在する。ＲＡＷ圧縮とは撮像素子から読み出されたデータを、画質劣化を伴わない形式で圧縮することである。しかし、デジタルスチルカメラで撮影した画像をＲＡＷ圧縮する場合、撮像系等に起因するノイズの影響でそれほど圧縮率が上がらない。そのため、隣接画素との相関の強い上位ビットのみをＤＰＣＭ方式で可逆圧縮する方法が開示されている（例えば、特許文献１、特許文献２。）。ＤＰＣＭ方式とは、符号化すべき注目画素の画像惰報と周辺画素の画像情報には相関関係が強いことを利用して情報量を減少させる方法である。また、これらの方式では、ベイヤー構造を各色成分ごとに分離することで隣接画素との相関を高めている。
特開２０００−２４４９２２号公報 特開２００１−６０８７６号公報

隣接画素との相関が高い自然画像の場合、隣接画素値もしくは単位ベイヤー構造ごとの隣接画素値は、全ての色成分において相関が高いことが期待される。特に、画素値の上位ビットに関しては全ての色成分のビット成分が同一となる可能性がある。

ところが、従来の方式では、色成分の上位ビット同士といった相関が強い場合の冗長度に関しては、あまり考慮されていない。
そこで、上記の課題に鑑み、本発明では、フレーム内に複数の色成分を含む画像、例えばマルチコンポーネント画像（フルカラー画像）やベイヤー画像のような画像において、色の重複を取り除き、圧縮効率を向上させるための装置等、および伸張装置等を提供する。

本発明に係る複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮する画像圧縮装置は、前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割手段と、前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とが関連付けられたパレットデータを生成するパレットデータ作成手段と、前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するユニットデータ生成手段と、前記パレットデータと前記ユニットデータとを圧縮する圧縮手段と、を有し、前記ユニットデータ生成手段は、前記それぞれの領域に含まれる前記ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる前記ユニットの数を制御することを特徴とする。

前記画像圧縮装置は、さらに、前記画像データを構成する各画素データであって所定のビットからなる該画素データを分離して、上位ビットからなる上位画素データと下位ビットからなる下位画素データとにする画素データ分離手段を備え、前記パレットデータ作成手段は、前記上位画素データから構成される前記画像データについての前記パレットデータである上位画素パレットデータを生成することを特徴とする。

前記画像圧縮装置において、前記圧縮手段は、前記下位画素データを圧縮することを特徴とする。

前記画像圧縮装置において、前記圧縮手段は、ユニバーサル符号化、ＤＰＣＭ符号化、及びランレングス符号化のうち少なくともいずれか１つの符号化により圧縮を行うことを特徴する。

本発明に係る画像復元装置は、上記に記載の画像圧縮装置により前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張する伸張手段と、前記伸張手段により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元手段と、を有することを特徴とする。

本発明に係る、複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮する画像圧縮方法は、前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割し、前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成し、前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御し、前記パレットデータと前記ユニットデータとを圧縮することを特徴とする。

本発明に係る画像復元方法は、上記に記載の画像圧縮方法により前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張し、伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元することを特徴とする。

本発明に係る、複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮するための処理を、コンピュータに実行させるための画像圧縮プログラムは、前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割処理と、前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成するパレットデータ作成処理と、前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御するユニットデータ生成処理と、前記それぞれの領域毎に、前記パレットデータと前記ユニットデータとを圧縮する圧縮処理と、を、コンピュータに実行させることを特徴とする。

本発明に係る画像復元プログラムは、上記に記載の画像圧縮プログラムにより前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張する伸張処理と、前記伸張処理により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元処理と、を、コンピュータに実行させることを特徴とする。

本発明に係る、複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮するための処理を、コンピュータに実行させるための画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体は、前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割処理と、前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成するパレットデータ作成処理と、前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御するユニットデータ生成処理と、前記パレットデータと前記ユニットデータとを圧縮する圧縮処理と、を、コンピュータに実行させるための画像圧縮プログラムを記録していることを特徴とする。

本発明に係るコンピュータ読み取り可能な記録媒体は、上記に記載の画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体により前記パレットデータと前記ユニットデータとが圧縮された圧縮データを伸張する伸張処理と、前記伸張処理により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元処理と、を、コンピュータに実行させるための画像復元プログラムを記録していることを特徴とする。

本発明によると、複数領域に分割された画像データのそれぞれの領域毎に、ユニット毎に分割された画像データをユニットの各色成分の画素値に対応するｋ（ｋは正の整数）ビットのユニット記号で表したユニットデータを生成するとともに、それぞれの領域に含まれるユニット記号の個数がｋビットで表わされる最大数になるように、該それぞれの領域に含まれるユニットの数を制御し、パレットデータとユニットデータとを圧縮するようにしたので、画素分布パターンが同一の出現頻度が高いほど、その領域のサイズは大きくなるが、画像データは隣接間の相関が高いので圧縮効率を高めることが可能となる。

本発明は、二次元に配列された画素データからなる画像データを複数のユニットに分割し、このユニット内の各色成分の画素値に応じたユニット記号を付与して、このユニット記号に対して所定の圧縮処理が施された画像データを復号化する。以下に、本発明を説明する。

図１は、本発明にかかる画像データの圧縮化処理の概念的なフローを示す。本発明では、一例としてベイヤー配列よりなる画像データを用いて発明内容を説明する。
まず、画像データについてｍ×ｎユニット化を行う（ステップＳ１、以下ステップをＳと称する）。ｍ×ｎユニット化とは、ｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとして、これを画像データについて行い、画像データを複数のユニットの集合体にすることである。

次に、ユニット化された画像データについてパレット化を行う（Ｓ２）。ここで、パレット化について説明する。１ユニットは、ｍ×ｎ個の画素から構成され、１画素はｋ階調（ｋは任意の正の整数）で表現される。よって、１ユニットは、ｋ^mn個のパターンの成分（画素分布）を取ることができるが、後述するように、このうち所定数のパターンについて各画素分布に対してユニークの記号を付与する。これをパレット化と呼ぶ。

Ｓ２でパレット化が行われるとパレット化データが生成し、このパレット化データはパレットデータとユニットデータよりなる。後述するように、パレットデータとは、ユニット化された画素の集合体を構成する各画素の階調値を格納したデータである。また、ユニットデータとはユニット化された画像データをユニット記号に置き換えたデータである。

そして、パレットデータとユニットデータをそれぞれ圧縮符号化する（Ｓ３，Ｓ４）。
図２に、本発明におけるユニット化されたベイヤー画像の一例を示す。ベイヤー画像は、２×２画素（赤（Ｒ）、緑（Ｇｒ）、緑（Ｇｂ）、青（Ｂ））を１組として表される画像である。本発明では、この２×２画素を１ユニットとする。そうすると、ベイヤー画像は、縦４ユニット×横４ユニット＝１６ユニットで構成される。

そして、各ユニットの画素分布を左上から右方向へ順に見ていくと、（Ｒ０，Ｇｒ０，Ｇｂ０，Ｂ０）、（Ｒ１，Ｇｒ１，Ｇｂ１，Ｂ１）、（Ｒ２，Ｇｒ２，Ｇｂ２，Ｂ２）、（Ｒ３，Ｇｒ３，Ｇｂ３，Ｂ３）、（Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４）、（Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４）、（Ｒ５，Ｇｒ５，Ｇｂ５，Ｂ５）、（Ｒ６，Ｇｒ６，Ｇｂ６，Ｂ６）、（Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４）、（Ｒ７，Ｇｒ７，Ｇｂ７，Ｂ７）、（Ｒ８，Ｇｒ８，Ｇｂ８，Ｂ８）、（Ｒ８，Ｇｒ８，Ｇｂ８，Ｂ８）、（Ｒ９，Ｇｒ９，Ｇｂ９，Ｂ９）、（Ｒ１０，Ｇｒ１０，Ｇｂ１０，Ｂ１０）、（Ｒ１１，Ｇｒ１１，Ｇｂ１１，Ｂ１１）、（Ｒ１２，Ｇｒ１２，Ｇｂ１２，Ｂ１２）となっている。

なお、Ｒ０，Ｒ１，Ｒ２・・・は、赤色成分の画素値（Ｒ画素値という）を示す。Ｇｒ０，Ｇｒ１，Ｇｒ２・・・とＧｂ０，Ｇｂ１，Ｇｂ２・・・とは、緑色成分の画素値（それぞれ、Ｇｒ画素値、Ｇｂ画素値という）を示す。Ｂ０，Ｂ１，Ｂ２・・・は、青色成分の画素値（Ｂ画素値という）を示す。

同図において、１ユニットは、２×２画素からなるのＲ，Ｇｒ，Ｇｂ，Ｂの４画素から構成され、これらの各画素は階調値を有しているので、１ユニットの色は、この４画素の画素成分（階調値の成分比）により表される。以下では、１ユニットの画素成分を画素分布という。なお、同図は、１３色の色からなる画像である。

図３は、本発明におけるパレットデータの一例を示す。このデータは、図２のユニット化された画像についてのパレットデータであって、ユニットの色成分（画素分布）であるＲ画素値、Ｇｒ画素値、Ｇｂ画素値、及びＢ画素値と、この画素分布を一意に管理するためのユニット記号からなる。同図において、（Ｒ０，Ｇｒ０，Ｇｂ０，Ｂ０）にはユニット記号０が付与され、（Ｒ１，Ｇｒ１，Ｇｂ１，Ｂ１）にはユニット記号１が付与され、（Ｒ２，Ｇｒ２，Ｇｂ２，Ｂ２）にはユニット記号２が付与され、（Ｒ３，Ｇｒ３，Ｇｂ３，Ｂ３）にはユニット記号３が付与され、（Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４）にはユニット記号４が付与され、・・・（Ｒ１２，Ｇｒ１２，Ｇｂ１２，Ｂ１２）にはユニット記号１２が付与される。

また、ユニット記号１３について、Ｒ画素値、Ｇｒ画素値、Ｇｂ画素値、Ｂ画素値にはそれぞれＥＯＰ（Ｅｎｄ Ｏｆ Ｐａｌｅｔｔｅ）が格納される。ＥＯＰは１つのパレットデータの終わりを示す。

図４は、図３のパレットデータに基づいて、図２の画像をユニットデータにしたものである。すなわち、このユニットデータは、ユニット化された画像データ（図２）をユニット記号（図３）に置き換えたデータである。

図２に示した画像の左上のユニットは（Ｒ０，Ｇｒ０，Ｇｂ０，Ｂ０）であるので、図３のパレットデータを参照して、これをユニット記号で表すと「０」となる。また、その右のユニットは（Ｒ１，Ｇｒ１，Ｇｂ１，Ｂ１）であるので、これをユニット記号で表すと「１」となる。これを図２の画像を構成する全てのユニットについて行ったものが図４である。

このユニット記号を走査順に並べたデータの次にＥＯＰを表すユニット記号１３のユニット記号が付与される。
図５は、図２の画像よりも多い画素数を有する画像をユニット化した後の画像データの一例を示す。図５は、領域１、領域２、・・・・、領域ｄ（ｄは任意の正数）の複数の領域で表される。これについては、後述する。

図６は、図５の画像のパレットデータを示す。図６（ａ）は図５の領域１に対応するパレットデータを示し、図６（ｂ）は図５の領域２に対応するパレットデータを示し、・・・図６（ｃ）は図５の領域ｄに対応するパレットデータを示す。いずれの領域についてもユニット記号０〜２５４が付された２５５パターンの画素分布と、ユニット記号２５５が付されたＥＯＰで構成されている。

図５及び図６で領域について説明する。例えば、１領域について、予めユニット記号を付与できる個数を定めることができ、例えばユニット記号を８ビットで表すことができる場合には、２⁸=２５６個のユニット記号を付与することができる。この２５６個のユニット記号のうちの１個はＥＯＰのために使用されるので、残りの２５５個を画素分布に付与するために使用することができる。すなわち、２５５パターンの画素分布までは、画素分布にユニット記号をすることができる。このユニット記号を付与できる画像の範囲を１つの領域として扱う。

ところが、上記の例の場合には画素分布のパターンが２５５個を越えてしまうと、ユニット記号を付与することができなくなってしまう。そこで、領域を変えて、新たな領域についてユニット記号を０から付与する。この新たな領域についても同様に、２５５パターンの画素分布に対してユニット記号を付与し終わると、さらに次の領域について同様の処理を繰り返す。このようにして、領域１，２，・・・領域ｄが作成される。

したがって、各領域のパレットデータは、その領域内においては画素分布の数は一意であり、それぞれ一意のユニット記号が付与され、各領域のパレットデータの最終列のユニット記号には、その領域の最後を示すＥＯＰが格納される。

このとき、パレット化データは、ある領域について画素分布のパターン数が所定数を越えるとその領域についてのパレット化データの作成は終了して、次の領域についてのパレット化データが作成されることになるので、画素分布のパターンが同一の出現頻度が高いほど、その領域のサイズは大きくなる。なお、このパレットデータ及び領域に対応したユニットデータも作成される。

なお、以上では説明のための一例としてベイヤー画像を用いてユニット化、パレット化を行ったが、これに限定されず、一般的なＲＧＢのフルカラー画像等のコンポーネント画像でも使用することができる。

それでは、以下に本発明を用いた画像データの圧縮化及び伸張化についての実施形態を以下に示す。
＜第１の実施形態＞
本実施形態では、画像データをユニット化、パレット化して、ユニットデータとパレットデータを生成して圧縮符号化する場合について説明する。

図７は、本実施形態における画像圧縮装置の構成ブロック図を示す。画像圧縮装置１は、少なくともユニット化（領域分割）部２と、パレット化部３と、合成部４ａ，４ｂ，６と、圧縮符号化部５ａ，５ｂとからなる。ユニット化（領域分割）部２では、入力された画像データに対してユニット化を行い、ユニット毎に分割する（図１のＳ１に対応する処理を行う）。

パレット化部３では、パレット化データを作成、すなわち、ユニット化した画素分布のパターン毎にユニット記号を付与したデータ（パレットデータ）と、ユニット化された画像データ（図２）をユニット記号（図３）に置き換えたデータ（ユニットデータ）とを作成する（図１のＳ２に対応する処理を行う）。

合成部４ａではユニットデータ同士を合成する。合成とは、図６で説明したように各領域ごとにユニットデータが作成されるので、それらユニットデータ同士を１つのデータにする処理を行う。この合成は既知の方法により行われる。合成部４ｂではパレットデータ同士を合成する。ここでも同様に、各領域ごとにパレットデータが作成されるので、それらパレットデータ同士を１つのデータにする処理を行う。

圧縮符号化部５ａでは、合成部４ａで合成されたユニットデータを圧縮符号化する。圧縮符号化部５ｂでは、合成部４ｂで合成されたパレットデータを圧縮符号化する。合成部６では、圧縮符号化部５ａと圧縮符号化部５ｂとでそれぞれ圧縮符号化されたユニットデータとパレットデータとを合成して、１つのデータ（符号化データ）にする。後述するように、圧縮符号化には種々の符号化を用いることができる。

図８は、本実施形態における画像圧縮装置１のハードウェア環境の一例を示す構成ブロック図である。画像圧縮装置１は、例えば、出力インタフェース（以下、インタフェースをＩ／Ｆと称す）１０、中央処理装置（ＣＰＵ）１１、リードオンリメモリ（ＲＯＭ）１２、通信Ｉ／Ｆ１３、入力Ｉ／Ｆ１４、ランダムアクセスメモリ（ＲＡＭ）１５、記憶装置１６、可搬型記憶媒体の読み取り装置１７、およびこれらの全てが接続されたバス１８、出力Ｉ／Ｆ１０に接続している出力装置１９、入力Ｉ／Ｆ１４に接続している出力装置２０によって構成されている。

記憶装置１６としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができる。そして、このような記憶装置１６、またはＲＯＭ１２に以下に示すフローチャートに示されたプログラムが格納されている。このプログラムがＣＰＵ１１により読み出されて、プログラミングされている処理が実行される。

また、このようなプログラムは、プログラム提供者側からネットワーク２１、および通信Ｉ／Ｆ１３を介して、例えば記憶装置１６に格納される。また、このようなプログラムは、市販されて流通している可搬型記憶媒体に格納され、読み取り装置１７にセットされて、ＣＰＵ１１によって実行されることも可能である。可搬型記憶媒体としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカード、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置１７によって読み取られる。

また、入力装置２０としては、キーボード、マウス、タブレット、マイク、または画像を取得するためのカメラやスキャナなどを用いることが可能である。また、出力装置１９には、ディスプレイ、プリンタ、スピーカなどを用いることが可能である。

また、ネットワーク２１は、インターネット、ＬＡＮ、ＷＡＮ、専用線、有線、無線等の通信網であってよい。
図９は、本実施形態における圧縮符号化のフローを示す。画像データには、１画素ａビットでｘ画素数からなる画像を用いる（ａ、ｘはそれぞれ任意の正数である）。この画像データは例えば記憶装置１６に格納されている。まず、この画像データは、ＣＰＵ１１により記憶装置１６から読み出され、ｍ×ｎのユニット化を行う（Ｓ１１）。この処理は、図２で説明したように、所定の画素の集まり（縦ｍ画素×横ｎ画素）を１ユニットとして、読み込んだ画像データをユニット毎に分割する。

次に、ｃ個のユニット内の画素値の集合ごとに分解する（Ｓ１２）（ｃは、任意の正数である）。この処理は、図５及び図６で説明したように、１領域につきｃ個のユニット内の画素値の集合（すなわちｃパターンのユニット内の画素値の集合である。なお、ｃ個のユニット内の画素値の集合はすべて一意である）を所有することができる。この結果、複数の領域（本実施形態では、領域１，領域２，・・・領域ｄ）とそれに対応するパレット化データが生成される。

次に、パレット作成を行う（Ｓ１３）。パレット作成は、図３及び図４で説明したように、Ｓ１２で生成したパレットデータに基づいて、ユニット化された各画像データをそれに対応するユニット記号で表して、ユニットデータにすることである。パレット１作成とは領域１についてパレット作成を行い、パレット２作成とは領域２についてパレット作成を行い、・・・パレットｄ作成とは領域ｄについてパレット作成を行うことである。

次に、ユニットデータについての合成処理（Ｓ１４ａ）とパレットデータについての合成処理を行う（Ｓ１４ｂ）。ユニットデータについての合成処理（Ｓ１４ａ）とは、Ｓ１３でそれぞれの領域について生成された複数のユニットデータ（ｄ個のユニットデータ）を結合して１つのデータ（以下、合成ユニットデータという）とする処理である。また、パレットデータについての合成処理（Ｓ１４ｂ）とは、Ｓ１３でそれぞれの領域について生成された複数のパレットデータ（ｄ個のパレットデータ）を結合して１つのデータ（以下、合成パレットデータという）とする処理である。

次に、合成ユニットデータについての圧縮符号化処理（Ｓ１５ａ）と合成パレットデータについての圧縮符号化処理を行う（Ｓ１５ｂ）。圧縮符号化の方法としては、例えば、ユニバーサル符号化、ＤＰＣＭ符号化（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ランレングス符号化等を用いる。

その後、圧縮符号化された合成ユニットデータ（以下、圧縮合成ユニットデータ）と圧縮符号化された合成パレットデータ（以下、圧縮合成パレットデータ）を合成して、１つのデータ（符号化データ）とする。なお、このとき符号化データのうちどの部分（例えば、符号化データの先頭から何バイト）が圧縮合成ユニットデータのフィールドで、どの部分が圧縮合成パレットデータのフィールドかという情報（例えば、フィールド長 等）やその他伸張化する場合に必要な情報をヘッダ情報として符号化データに付与する。

以上で本フローは終了する。
このようにすることにより、画像データは隣接間の相関が高いので、隣接するユニット間では同一のユニット番号になる頻度が高くなり、そのため圧縮率を高めることが可能となる。また、ユニバーサル符号化、ＤＰＣＭ符号化、及びランレングス符号化等の符号化のうち少なくともいずれか１つの符号化により圧縮を行うので、隣接画素との相関が強い程、圧縮率を向上させることができる。

＜第２の実施形態＞
本実施形態では、第１の実施形態で圧縮化された符号化データを伸張化して画像データに復元する方法について説明する。

図１０は、本実施形態における画像復元装置の構成ブロック図を示す。画像復元装置３０は、少なくともユニットデータ・パレットデータ分解部３１と、伸張部３２ａ，３２ｂと、領域分解部３３ａ，３３ｂと、画素分布変換部３４と、合成部３５とからなる。

ユニットデータ・パレットデータ分解部３１では、第１の実施形態で生成した符号化データを圧縮合成ユニットデータと圧縮合成パレットデータとに分解する。伸張部３２ａでは、圧縮合成ユニットデータを伸張化して、合成ユニットデータにする。伸張部３２ｂでは、圧縮合成パレットデータを伸張化して、合成パレットデータにする。

領域分解部３３ａでは、合成ユニットデータを領域毎のユニットデータに分解する。領域分解部３３ｂでは、合成パレットデータを領域毎のパレットデータに分解する。画素分布変換部３４では、ユニットデータを構成しているユニット記号に基づいて、このユニット記号に対応するパレットデータの画素分布の画素を復元する（各領域の画像データがそれぞれ復元される）。合成部３５では、領域単位で復元された画像データ同士を合成して１つの画像データとする。なお、画像復元装置３０のハードウェア環境の構成は、図８と同様である。

図１１は、本実施形態における伸張化のフローを示す。符号化データは例えば記憶装置１６に格納されているとする。まず、この符号化データは、ＣＰＵ１１により記憶装置１６から読み出され、ユニットデータ・パレットデータ分解が行われる（Ｓ２０）。この処理では、第１の実施形態で生成した符号化データを、圧縮合成ユニットデータと圧縮合成パレットデータとに分解する。

分解に際して、まず、符号化データのヘッダ情報を確認する。ヘッダ情報には、上述のように、符号化データのうちどの部分が圧縮合成ユニットデータのフィールドで、どの部分が圧縮合成パレットデータのフィールドかという情報（例えば、フィールド長 等）を有している。この情報に基づいて、符号化データを、圧縮合成ユニットデータと圧縮合成パレットデータとに分解する。

次に、圧縮合成パレットデータを伸張化して、合成パレットデータにする（Ｓ２１ａ）。伸張化の方法は、圧縮符号化に対応する方法で伸張化する。また、圧縮合成ユニットデータを伸張化して、合成ユニットデータにする（Ｓ２１ｂ）。伸張化の方法は、圧縮符号化に対応する方法で伸張化する。

次に、合成パレットデータを領域毎のパレットデータに分解する（Ｓ２２ａ）。ここでは、例えば、合成パレットデータを構成している各パレットデータの最後列のユニット記号には、パレットデータの最後を示す記号（ＥＯＰ）が付与されているので、それを検出して各パレットデータに分解してもよい。また、ユニット記号は、０，１，２・・・と順次付与され領域が分かると再び０から付与されていくので、領域の最初のユニット記号を検出して、各パレットデータに分解してもよい。

また、合成ユニットデータを領域毎のユニットデータに分解する（Ｓ２２ｂ）。ここでは、合成ユニットデータを構成している各ユニットデータの最後尾には、ユニットデータの最後を示す記号（ＥＯＵ：Ｅｎｄ ＯＦ Ｕｎｉｔ）が付与されているので、それを検出して、各ユニットデータに分解する。

次に、ユニットデータを構成しているユニット記号に基づいて、このユニット記号に対応するパレットデータの画素分布の画素を復元する（各領域に対応する画像データが復元される）（Ｓ２３）。すなわち、パレットデータ１とユニットデータ１からは領域１に対応する画像が復元され、パレットデータ２とユニットデータ２からは領域２に対応する画像が復元され、・・・、パレットデータｄとユニットデータｄからは領域ｄに対応する画像が復元される。

そして、領域単位で復元ざれた画像データ同士を合成して１つの画像データとする（Ｓ２４）。
なお、Ｓ２０、Ｓ２２ａ、Ｓ２２ｂでの分解は一例であり、これに限られず、あらゆる公知の方法を用いることができる。

このようにすることにより、第１の実施形態で圧縮符号化した符号化データを容易に伸張化して画像データを復元することができる。
＜第３の実施形態＞
本実施形態は、第１の実施形態の変形例であって、第１の実施形態にさらにビット分離を施す方法について説明する。

図１２は、本実施形態におけるビット分離の一例を示す図である。図１２（ａ）は、１画素が１２ビットで構成されており、左端がＭＳＢ（最上位ビット）で右端がＬＳＢ（最下位ビット）を示している。本実施形態において、この１２ビットを上位８ビットと下位４ビットに分離したものが図１２（ｂ）である。

ビット分離を行う利点は、次の通りである。デジタルカメラ等で撮影されたベイヤー画像は１２ビット階調で表され、通常のフルカラー画像に比べて階調が多い。そして、この１２ビットのうち上位のビットは隣接画素との相関が強いので、この上位ビットを抜き出して、第１の実施形態の圧縮復号化を行えば、図５で説明した各領域のサイズを大きくすることができるので、領域数は減少し、さらに圧縮率を高めることができる。それでは、以下で本実施形態における圧縮符号化について説明する。

図１３は、本実施形態における画像圧縮装置４０の構成ブロック図を示す。画像圧縮装置４０は、下位ビット分離部４１、ユニット化（領域分割）部４２、パレット化部４３、合成部４４ａ，４４ｂ，４６、圧縮符号化部４５ａ，４５ｂ，４５ｃからなる。下位ビット分離部４１は、入力された画像データを構成する各画素を表すビットデータを、図１２で説明したように、上位ビットデータと下位ビットに分離する。

ユニット化（領域分割）部４２では、下位ビット分離部４１からの出力データである上位ビットデータに対してユニット化を行い、ユニット毎に分割する（図７のユニット化（領域分割）部２と同様の処理を行う）。

パレット化部４３では、パレット化データを作成、すなわち、ユニット化した画素分布のパターン毎にユニット記号を付与したデータ（パレットデータ）と上記でユニット化した画像データをこのユニット記号で表したデータ（ユニットデータ）とを作成する（図７のパレット化部３と同様の処理を行う）。

合成部４４ａではユニットデータ同士を合成する（図７の合成部４ａと同様の処理を行う）。合成部４４ｂではパレットデータ同士を合成する（図７の合成部４ｂと同様の処理を行う）。

圧縮符号化部４５ａでは、合成部４４ａで合成されたユニットデータを圧縮符号化する（図７の圧縮符号化部５ａと同様の処理を行う）。圧縮符号化部４５ｂでは、合成部４４ｂで合成されたパレットデータを圧縮符号化する（図７の圧縮符号化部５ｂと同様の処理を行う）。圧縮符号化部４５ｃでは、下位ビット分離部４１から出力された下位ビットデータを圧縮符号化する。

合成部４６では、圧縮符号化部４５ａと圧縮符号化部４５ｂと圧縮符号化部４５ｃでそれぞれ圧縮符号化されたユニットデータとパレットデータと下位ビットデータとを合成して、１つのデータ（符号化データ）にする。なお、画像圧縮装置４０のハードウェア環境の構成は、図８と同様である。

図１４は、本実施形態における圧縮符号化のフローを示す。画像データには、１画素ａビットでｘ画素数からなる画像を用いる。この画像データは例えば記憶装置１６に格納されている。まず、この画像データは、ＣＰＵ１１により記憶装置１６から読み出され、各画素についてビット分離を行う（Ｓ３０）。ビット分離は、図１２で説明した通りである。本実施形態では、ｂ（ｂは任意の正数であり、ｂ＜ａ）ビットの上位ビットデータと、（ａ−ｂ）ビットの下位ビットデータに分離する。なお、分離するビット数ｂは、予め設定することができる。

次に、上位ビットデータについてユニット化を行う（Ｓ３１）。この処理は図９のＳ１１と同様である。
次に、ｃ個の画素分布ごとに分解する（Ｓ３２）。この処理は図９のＳ１２と同様である。

次に、パレット作成を行う（Ｓ３３）。この処理は図９のＳ１３と同様である。
次に、ユニットデータについての合成処理（Ｓ３４ａ）とパレットデータについての合成処理を行う（Ｓ３４ｂ）。これらの処理はそれぞれ、図９のＳ１４ａとＳ１４ｂと同様である。以下、Ｓ３４ａで合成されたユニットデータを合成ユニットデータと、Ｓ３４ｂで合成されたパレットデータを合成パレットデータという。

次に、合成ユニットデータについての圧縮符号化処理（Ｓ３５ａ）と、合成パレットデータについての圧縮符号化処理を行う（Ｓ３５ｂ）。これらの処理はそれぞれ、図９のＳ１５ａとＳ１５ｂと同様に、例えば、ユニバーサル符号化、ＤＰＣＭ符号化（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ランレングス符号化等を用いる。

また、Ｓ３０でビット分離された下位ビットデータ（（ａ−ｂ）ビット）についても圧縮符号化処理を行う（Ｓ３５ｃ）。ここで用いる圧縮符号化は、Ｓ３５ａ、Ｓ３５ｂと同様に、例えば、ユニバーサル符号化、ＤＰＣＭ符号化（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ランレングス符号化等の圧縮符号化を行う。

その後、圧縮符号化された合成ユニットデータ（以下、圧縮合成ユニットデータという）と圧縮符号化された合成パレットデータ（以下、圧縮合成パレットデータという）と圧縮符号化された下位ビットデータ（以下、圧縮下位ビットデータという）を合成して、１つのデータ（符号化データ）とする。

なお、このとき符号化データのうちどの部分（例えば、符号化データの先頭からのオフセット）が圧縮合成ユニットデータのフィールドで、どの部分が圧縮合成パレットデータのフィールドで、どの部分が圧縮下位ビットデータのフィールドかという情報（例えば、フィールド長 等）やビット分離に関する情報（例えば、ａの値 等）やその他伸張化する場合に必要な情報をヘッダ情報として符号化データに付与する。

以上で本フローは終了する。
このようにすることにより、下位ビットは画像データのノイズの影響を受けるため、上位ビットに対してユニット記号を付与することにより、各ユニット間で同一のユニット記号になる頻度が高いので圧縮率をさらに高めることが可能となる。すなわち、隣接画素との相関が強い上位ビット同士を圧縮できるので、圧縮の効率化を図ることができる。

また、上位ビットだけでなく、相関のある下位ビットについても圧縮をすることができる。下位ビットに対して、ユニバーサル符号化、ＤＰＣＭ符号化、及びランレングス符号化等の符号化のうち少なくともいずれか１つの符号化により圧縮を行うので、隣接画素との相関が強い程、圧縮率を向上させることができる。

＜第４の実施形態＞
本実施形態では、第３の実施形態で圧縮化された符号化データを伸張化して画像データに復元する方法について説明する。

図１５は、本実施形態における画像復元装置の構成ブロック図を示す。画像復元装置５０は、ユニットデータ・パレットデータ・下位ビットデータ分解部５１、伸張部５２ａ，５２ｂ，５２ｃ、領域分解部５３ａ，５３ｂ、画素分布変換部５４、及び合成部５５からなる。

ユニットデータ・パレットデータ・下位ビットデータ分解部５１では、第３の実施形態で生成した符号化データを、圧縮合成ユニットデータと圧縮合成パレットデータと圧縮下位ビットデータとに分解する。

伸張部５２ａでは、圧縮合成ユニットデータを伸張化して、合成ユニットデータにする。伸張部５２ｂでは、圧縮合成パレットデータを伸張化して、合成パレットデータにする。伸張部５２ｃでは、圧縮下位ビットデータを伸張化して、下位ビットデータにする。

領域分解部５３ａでは、合成ユニットデータを領域毎のユニットデータに分解する。領域分解部５３ｂでは、合成パレットデータを領域毎のパレットデータに分解する。画素分布変換部５４では、ユニットデータを構成しているユニット記号に基づいて、このユニット記号に対応するパレットデータの画素（上位ビットデータについての画素）を復元する（１領域分の画像データが復元される）。

合成部５５では、領域単位で復元ざれた上位ビットデータについての画像データ同士を合成して１つの画像データ（上位ビットデータについての画像データ）とする。そして、この画像データの各画素について上位ビットデータ（ｂビット）と下位ビットデータ（（ａ−ｂ）ビット）を結合し、１画素ａビットからなる画像データを復元する。なお、画像復元装置５０のハードウェア環境の構成は、図８と同様である。

図１６は、本実施形態における伸張化のフローを示す。符号化データは例えば記憶装置１６に格納されているとする。まず、この符号化データは、ＣＰＵ１１により記憶装置１６から読み出され、ユニットデータ・パレットデータ・下位ビットデータ分解が行われる（Ｓ４０）。

この処理では、第３の実施形態で生成した符号化データを圧縮合成ユニットデータと圧縮合成パレットデータと圧縮下位ビットデータに分解する。この処理は図１１のＳ２０と同様にして、符号化データのヘッダ情報に基づいて、符号化データを、圧縮合成ユニットデータと圧縮合成パレットデータと圧縮下位ビットデータに分解する。

次に、圧縮合成パレットデータを伸張化して、合成パレットデータにする（Ｓ４１ａ）。伸張化の方法は、圧縮符号化に対応する方法で伸張化する。また、圧縮合成ユニットデータを伸張化して、合成ユニットデータにする（Ｓ４１ｂ）。伸張化の方法は、圧縮符号化に対応する方法で伸張化する。これらの処理は、図１１のＳ２１ａ，Ｓ２１ｂと同様である。

また、圧縮下位ビットデータを伸張化して、下位ビットデータにする（Ｓ４１ｃ）。ここで用いる圧縮符号化は、Ｓ２１ａ、Ｓ２１ｂと同様に圧縮符号化を行う。
次に、合成パレットデータを領域毎のパレットデータに分解する（Ｓ４２ａ）。この処理は、図１１のＳ２２ａと同様である。また、合成ユニットデータを領域毎のユニットデータに分解する（Ｓ４２ｂ）。この処理は、図１１のＳ２２ｂと同様である。

次に、ユニットデータを構成しているユニット記号に基づいて、このユニット記号に対応するパレットデータの画素分布の画素を復元する（各領域に対応する画像データ（上位ビット分のみの画像データ）が復元される）（Ｓ４３）。この処理は、図１１のＳ２３と同様である。

そして、領域単位で復元ざれた上位ビットデータについての画像データ同士を合成して１つの画像データ（上位ビットデータについての画像データ）とする。そして、この画像データの各画素について上位ビットデータ（ｂビット）と下位ビットデータ（（ａ−ｂ）ビット）を結合し、１画素ａビットからなる画像データを復元する（Ｓ４４）。

このようにすることにより、第３の実施形態で圧縮符号化した符号化データを容易に伸張化して画像データを復元することができる。

本発明における画像データの圧縮化処理の概念的なフローを示す図である。 本発明におけるユニット化されたベイヤー画像の一例を示す図である。 本発明におけるパレットデータの一例を示す図である。 本発明におけるユニットデータを示す図である。 図２の画像よりも多い画素数を有する画像をユニット化した後の画像データの一例を示す図である。 図５の画像のパレットデータを示す図である。 第１の実施形態における画像圧縮装置の構成ブロック図である。 第１の実施形態における画像圧縮装置１のハードウェア環境の一例を示す構成ブロック図である。 第１の実施形態における圧縮符号化のフローを示す図である。 第２の実施形態における画像復元装置の構成ブロック図である。 第２の実施形態における伸張化のフローを示す図である。 第３の実施形態におけるビット分離の一例を示す図である。 第３の実施形態における画像圧縮装置の構成ブロック図である。 第３の実施形態における圧縮符号化のフローを示す図である。 第４の実施形態における画像復元装置の構成ブロック図である。 第４の実施形態における伸張化のフローを示す図である。

符号の説明

１ 画像圧縮装置
２ ユニット化（領域分割）部
３ パレット化部
４ａ，４ｂ，６ 合成部
５ａ，５ｂ 圧縮符号化部
１０ 出力Ｉ／Ｆ
１１ ＣＰＵ
１２ ＲＯＭ
１３ 通信Ｉ／Ｆ
１４ 入力Ｉ／Ｆ
１５ ＲＡＭ
１６ 記憶装置
１７ 読み取り装置
１８ バス
１９ 出力装置
２０ 出力装置
２１ ネットワーク
３０ 画像復元装置
３１ ユニットデータ・パレットデータ分解部
３２ａ，３２ｂ 伸張部
３３ａ，３３ｂ 領域分解部
３４ 画素分布変換部
３５ 合成部
４０ 画像圧縮装置
４１ 下位ビット分離部
４２ ユニット化（領域分割）部
４３ パレット化部
４４ａ，４４ｂ，４６ 合成部
４５ａ，４５ｂ，４５ｃ 圧縮符号化部
５０ 画像復元装置
５１ ユニットデータ・パレットデータ・下位ビットデータ分解部
５２ａ，５２ｂ，５２ｃ 伸張部
５３ａ，５３ｂ 領域分解部
５４ 画素分布変換部
５５ 合成部

Claims (11)

1. 複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮する画像圧縮装置であって、
   前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割手段と、
   前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とが関連付けられたパレットデータを生成するパレットデータ作成手段と、
   前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するユニットデータ生成手段と、
   前記パレットデータと前記ユニットデータとを圧縮する圧縮手段と、
   を有し、
   前記ユニットデータ生成手段は、前記それぞれの領域に含まれる前記ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる前記ユニットの数を制御することを特徴とする画像圧縮装置。
2. 前記画像圧縮装置は、さらに、
   前記画像データを構成する各画素データであって所定のビットからなる該画素データを分離して、上位ビットからなる上位画素データと下位ビットからなる下位画素データとにする画素データ分離手段
   を備え、
   前記パレットデータ作成手段は、前記上位画素データから構成される前記画像データについての前記パレットデータである上位画素パレットデータを生成する
   ことを特徴とする請求項１に記載の画像圧縮装置。
3. 前記圧縮手段は、前記下位画素データを圧縮する
   ことを特徴とする請求項２に記載の画像圧縮装置。
4. 前記圧縮手段は、ユニバーサル符号化、ＤＰＣＭ符号化、及びランレングス符号化のうち少なくともいずれか１つの符号化により圧縮を行う
   ことを特徴する請求項１に記載の画像圧縮装置。
5. 請求項１に記載の画像圧縮装置により前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張する伸張手段と、
   前記伸張手段により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元手段と、
   を有することを特徴とする画像復元装置。
6. 複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮する画像圧縮方法であって、
   前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割し、
   前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成し、
   前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御し、
   前記パレットデータと前記ユニットデータとを圧縮する
   ことを特徴とする画像圧縮方法。
7. 請求項６に記載の画像圧縮方法により前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張し、
   伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する
   ことを特徴とする画像復元方法。
8. 複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮するための処理を、コンピュータに実行させるための画像圧縮プログラムであって、
   前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割処理と、
   前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成するパレットデータ作成処理と、
   前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御するユニットデータ生成処理と、
   前記それぞれの領域毎に、前記パレットデータと前記ユニットデータとを圧縮する圧縮処理と、
   を、コンピュータに実行させるための画像圧縮プログラム。
9. 請求項８に記載の画像圧縮プログラムにより前記パレットデータと前記ユニットデータとが圧縮されてなる圧縮データを伸張する伸張処理と、
   前記伸張処理により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元処理と、
   を、コンピュータに実行させるための画像復元プログラム。
10. 複数の領域に分割された画像データを領域毎に符号化し、該符号化された画像データを合成して圧縮するための処理を、コンピュータに実行させるための画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記画像データをｍ×ｎ画素（ｍとｎは任意の正の整数）を１ユニットとする複数のユニットの集合体に分割する分割処理と、
    前記ユニット内の各色成分の画素値と該分布に応じて付与されるｋ（ｋは正の整数）ビットのユニット記号とを含むパレットデータを生成するパレットデータ作成処理と、
    前記それぞれの領域毎に、前記ユニット毎に分割された画像データを該ユニットの各色成分の画素値に対応するユニット記号で表したユニットデータを生成するとともに、該それぞれの領域に含まれる該ユニット記号の個数が前記ｋビットで表わされる最大数になるように、該それぞれの領域に含まれる該ユニットの数を制御するユニットデータ生成処理と、
    前記パレットデータと前記ユニットデータとを圧縮する圧縮処理と、
    を、コンピュータに実行させるための画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 請求項１０に記載の画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体により前記パレットデータと前記ユニットデータとが圧縮された圧縮データを伸張する伸張処理と、
    前記伸張処理により伸張された前記パレットデータと前記ユニットデータに基づいて前記画像データを復元する復元処理と、
    を、コンピュータに実行させるための画像復元プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images