JP4149144B2

JP4149144B2 - 画像圧縮装置、方法、プログラムおよび記録媒体

Info

Publication number: JP4149144B2
Application number: JP2001178310A
Authority: JP
Inventors: 豊佐野; 宏幸作山; 児玉　　卓
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-06-13
Filing date: 2001-06-13
Publication date: 2008-09-10
Anticipated expiration: 2021-06-13
Also published as: JP2002374532A

Description

【０００１】
【発明の属する技術分野】
本発明はウェーブレット変換を行って画像データを圧縮する画像圧縮装置、プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、カラー静止画像に対して高精細化の要求が、近年非常に高まっている。画像入力装置として、デジタル・カメラ（Digital Camera(DC)) を例にあげると、３００万以上の画素数を持つ高性能な電化結合素子（ＣＣＤ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。
【０００３】
こうしたＣＣＤの高性能化は、シリコン・プロセスあるいはデバイス技術の進歩に負うところが大きく、微細化とＳ／Ｎ比の低下というトレード・オフ問題を克服してきた。
【０００４】
そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。一方、画像出力・表示装置に関しても、レーザ・プリンタ／インクジェット・プリンタ／昇華型プリンタ／等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）／ＰＤＰ（プラズマ表示デバイス）／等のフラットパネル・ディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００５】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細静止画像の大衆化が始まっており、今後はあらゆる場面で、高精細静止画像の需要が高まると予想されている。
【０００６】
実際、パーソナル・コンピュータ（ＰＣ）やインターネットを始めとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノート・パソコンを始めとするモバイル機器の普及速度が非常に大きく、画像を通信手段を用いて伝送する機会が急増している。
【０００７】
こうしたことを背景に、高精細静止画像の取扱いを容易にする画像圧縮技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
このような要求に対処するための画像データの高圧縮方法としてウェーブレット変換が検討されている。
【０００８】
以後ウェーブレット変換による画像データの圧縮を図を参照して説明する。
図６は従来のウェーブレット変換による画像圧縮装置の構成図である。
図６において、入力される画像データは色空間変換部１００でＲ（赤）、Ｇ（緑）およびＢ（青）信号に分離変換される。分離されたＲ，ＧおよびＢ信号の１フレームを、例えば６４画素×６４画素からなるタイルにタイル分離部１０１で分離される。
【０００９】
図７は、Ｒ，ＧおよびＢ信号の１フレームをタイルＲ００〜Ｒ１５，Ｇ００〜Ｇ１５およびＢ００〜Ｂ１５に分離した結果を示している。
補間部１０２については後で説明する。
【００１０】
ウェーブレット変換部１０３は、タイル分離部１０１で分離された各タイルに対してウェーブレット変換を行う。
図８はデコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブバンドを示している。
【００１１】
図８（Ａ）はタイル分離部１０１が分離したタイルを示しており、このタイル内のデータ値は入力画像のデータ値であり、デコンポジション・レベルは０である。
【００１２】
ウェーブレット変換部１０３は、先ず図８（Ａ）の画像データの垂直（または水平）方向の画素データに対してローパスフィルリングした後、偶数番目の画素データを削除して半減させる（ＯＨ−ＬＯＷ）、と共に垂直（または水平）方向の画素データに対してハイパスフィルタリングした後、偶数番目の画素データを削除して半減させる（ＯＨ−ＨＩＧ）。
【００１３】
図８（Ｂ）に示すデコンポジション・レベル−１の１ＬＬで示すサブバンドは、ＯＨ−ＬＯＷ画像データに対して水平方向に対してローパスフィルタリングした後、偶数番目の画素データを削除して得る。
【００１４】
１ＬＨで示すサブバンドはＯＨ−ＨＩＧ画素データに対して水平方向にハイパスフィルタリングした後、偶数番目の画素データを削除して得る。
１ＨＬで示すサブバンドはＯＨ−ＨＩＧ画素データに対して水平方向にローパスフィルタリングした後、偶数番目の画素データを削除して得る。
【００１５】
また、１ＨＨで示すサブバンドはＯＨ−ＨＩＧ画素データに対して水平方向にハイパスフィルタリングした後、偶数番目の画素データを削除して得る。
図８（Ｃ）で示すデコンポジション・レベル−２の２ＬＬ，２ＬＨ，２ＨＬおよび２ＨＨなるサブバンドは、図８（Ｂ）で示すデコンポジション・レベル−１の１ＬＬで示すサブバンドを図８（Ａ）で示す０ＬＬ（原画像タイル）と見なして、前述したデコンポジション・レベル−１と同様な方法で求める。
【００１６】
また、図８（Ｄ）で示すデコンポジション・レベル−３の３ＬＬ，３ＬＨ，３ＨＬおよび３ＨＨは、図８（Ｃ）の２ＬＬで示すサブバンドを図８（Ａ）で示す０ＬＬと見なし、前述したデコンポジション・レベル−１と同様な方法で求める。
【００１７】
前述したように、ウェーブレット変換を行うにはローパスフィルタリングおよびハイパスフィルタリングが行われる。
補間部１０２は、タイル周辺画素がスムーズにフィルタリングされるようにするため、タイル境界画素の外側にデータを補間する。
【００１８】
ウェーブレット変換部１０３でウェーブレット変換された各サブバンドのウェーブレット係数は量子化部１０４に送られ、サブバンド単位で量子化が行われる。ただし、量子化部１０４ではＸＬＬ（Ｘはデコンポジション・レベル）なるサブバンドに対しては、一般には量子化は行わない。
【００１９】
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図９に示した様に、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピ・コーティングを行う際の基本単位となる。
【００２０】
エントロピ符号化部１０５では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
最後にタグ処理部１０６は、エントロピ符号化部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。
【００２１】
【発明が解決しようとする課題】
前述した従来のウェーブレット変換を用いた画像圧縮装置において、圧縮された画像を伸長した場合にタイル境界が不連続なる現象が生じる。
図１０は原画像を７５分の１に圧縮した画像データを伸長して得られた画像を、図１１は原画像と伸長後の誤差画像の一例を示す。
【００２２】
図１０および図１１に示す矢印はタイルの境界を示し、この部分に不連続が生じている。
また、この不連続は量子化部１０４で量子化を行う量子化率が高くなるに従って不連続は大となる。
【００２３】
以下、タイル境界での不連続を数値的に説明する。
図１２の枠内の数値はタイルに分離された０ＬＬに対応する画像データ値を示し、枠外の数値は補間部１０２がミラーリング法によって生成して拡張した画像データ値を示している。
【００２４】
図１３（Ａ），（Ｂ），（Ｃ）および（Ｄ）は、図１２に示すタイルよりウェーブレット変換し得られた１ＬＬ，１ＨＬ，１ＬＨおよび１ＨＨなるサブバンドのウェーブレット係数値を示す。
【００２５】
図１３（Ａ），（Ｂ），（Ｃ）および（Ｄ）で示す各サブバンドのウェーブレット係数値を量子化部１０４で量子化せずに伸長して画像を再生した場合は、図１２の枠内に示すと同じ数値の画像データが得られ、タイル境界には不連続は発生しない。
【００２６】
図１４（Ａ），（Ｂ），（Ｃ）および（Ｄ）は、図１３（Ａ）に示す１ＬＬサブバンドに対しては量子化ステップサイズを４、（Ｂ）および（Ｃ）の１ＨＬおよび１ＬＨのサブバンドに対しては量子化ステップサイズを３２、（Ｄ）の１ＨＨサブバンドに対しては量子化ステップサイズを６４として量子化を行い、逆量子化を行って得られた１ＬＬ，１ＨＬ，１ＬＨおよび１ＨＨのウェーブレット係数値を示す。
【００２７】
図１５は、図１４（Ａ），（Ｂ），（Ｃ）および（Ｄ）の１ＬＬ，１ＨＬ，１ＬＨおよび１ＨＨより逆ウェーブレット変換して得られた０ＬＬと図１２に示す元の０ＬＬのウェーブレット係数値との差を示す。
図１５から、特にタイル境界に近い画素に大きな誤差が見られ、不連続が生じていることがわかる。
【００２８】
本発明はタイル境界で不連続が生じないようにした画像圧縮装置、方法、プログラムおよび記録媒体を提供することを課題とする。
【００２９】
【課題を解決するための手段】
請求項１および１１の発明においては、画像データを圧縮する画像圧縮装置において、原画像を複数のタイルに分離し、画像データに対してウェーブレット変換を行ってウェーブレット値を得る処理を行い、前記分離された各タイルの周囲のデータに対してミラーリング法により第１の補間を行い、前記第１の補間で補間された画像データに対して得られたウェーブレット値を量子化して画像データを圧縮するものであって、分離された各タイルの周囲のデータに対して該タイルと隣接するタイルの画素値で第２の補間を行い、第１の補間で補間された画像データに対して得られたウェーブレット値と、第２の補間で補間された画像データに対して得られたウェーブレット値とを比較し、比較結果の差に応じて前記量子化するときの量子化率のうち前記分離された各タイルの隣接するタイルとの境界近傍の前記ウェーブレット値の量子化率を前記境界近傍以外の量子化率より低くする。
【００３０】
請求項２の発明においては、前記境界近傍の前記ウェーブレット値に対して量子化率を一定に低減する。
請求項３の発明においては、前記境界近傍の前記ウェーブレット値に対して量子化率を１にする。
【００３１】
請求項４の発明においては、前記量子化率を低くするタイルを前記原画像で指定された領域に含まれるタイル境界のみとする。
請求項５および１２の発明においては、前記原画像が動画画像とする。
【００３４】
請求項６の発明においては、前記ウェーブレット値の比較をサブバンド、コードブロック単位または画素単位で行う。
【００３５】
請求項７の発明においては、前記比較の結果、両者の差の最大値を含む前記サブバンドまたは前記コードブロックに対してのみ前記量子化率を低くする。
請求項８の発明においては、前記比較の結果、両者の差の２乗和が最大となる前記サブバンドまたは前記コードブロックに対してのみ前記量子化率を低くする。
【００３６】
請求項９の発明においては、前記原画像をＲ（赤）、Ｇ（緑）およびＢ（青）信号に分離し、前記Ｇ信号に対してのみ前記境界近傍の量子化率を低くする。
請求項１０の発明においては、前記原画像をＹ（輝度）、Ｕ（赤色差）およびＶ（青色差）信号に分離し、前記Ｙ信号に対してのみ前記境界近傍の量子化率を低くする。
【００３７】
請求項１３の発明においては、前記請求項１乃至１０のいずれかに記載の画像圧縮装置のプロセッサに処理を実行させるためのプログラムである。
請求項１４の発明においては、前記請求項１乃至１０のいずれかに記載の画像圧縮装置のプロセッサに処理を実行させるためのプログラムを記録した記録媒体である。
【００３８】
【発明の実施の形態】
本発明の実施の形態を図１〜図３を参照して説明する。図１は本発明の実施例の構成図、図２および図３は同実施例の動作フローチャートである。
【００３９】
図１において、１は画像メモリ、２は色空間変換部、３はタイル分離部、４は補間部、５はウェーブレット変換部、６は量子化率選択部、７は量子化部、８はエントロピ符号化部、９はコードストリーム処理部、１０は制御部、１１および１２はインタフェース（Ｉ／Ｏ）、１３は処理を行うプロセッサ（ＣＰＵ）である。
【００４０】
つぎに、図２および図３を参照して、実施例の動作を説明する。
ステップＳ１では、制御部１０は、Ｉ／Ｏ１１より画像データを取込み、画像メモリ１に記録する。
なお入力画像が動画像の場合には画像メモリ１内の図示しないＡ領域およびＢ領域に交互に記録する。
【００４１】
ステップＳ１で１フレーム分の画像データが画像メモリ１に記録されるとステップＳ２に移り、色空間変換部２は記録されている画像データをＲ（赤）、Ｇ（緑）、およびＢ（青）成分に分離変換する。
【００４２】
なお補色系のＹ（黄）、Ｍ（マゼンダ）およびＣ（シアン）成分に分離変換、またはＹＣ_rＣ_bあるいはＹ（輝度）、Ｕ（赤色差）およびＶ（青色差）成分に分離するようにしてもよい。
【００４３】
ステップＳ３では、タイル分離部３は、Ｒ，ＧおよびＢ成分に分離変換された各画像データに対して、例えば１６画素×１６画素からなるタイルに分離する。ステップＳ４では、補間部４は、分離されたタイルを読出し、第１の補間法であるミラーリング法によりタイル外周の画像データを補間する。
【００４４】
ステップＳ５では、ウェーブレット変換部５は、ステップＳ４で補間されたタイルに対してウェーブレット変換を行い、変換されたウェーブレット係数値（ＷＴ１）を図示しないメモリに記録する。
【００４５】
ステップＳ６では、補間部４は、ステップＳ４で読出したと同じタイルを読出し、第２の補間法である、例えば該タイルと隣接するタイルの画素値で外周の画像データを補間する。
【００４６】
ステップＳ７では、ウェーブレット変換部５は、ステップＳ６で補間されたタイルに対してウェーブレット変換を行い、変換されたウェーブレット係数値（ＷＴ２）を図示しないメモリに記録する。
【００４７】
ステップＳ８では、量子化率選択部６は、タイル境界近傍のＷＴ１とＷＴ２とに差が有るか否かを判定し、判定がＹＥＳの場合はステップＳ９に、ＮＯの場合はステップＳ１０に移る。
【００４８】
なお差が有るか否かの判定はＷＴ１およびＷＴ２の個別係数値の差、または個別係数値の差の２乗和が所定値以上であるか否かによって判定する。
ステップＳ９では、量子化率選択部６は、ステップＳ８での判定がＹＥＳとなったタイル近傍の量子化率を選択する。
【００４９】
ステップＳ１０では、量子化部７は、ステップＳ５でウェーブレット変換されたウェーブレット係数値ＷＴ１に対して量子化を行う。
なおステップＳ９で量子化率が選択されたタイル境界近傍の係数値については、それ以外の係数値に対する量子化率より低い量子化率で量子化を行う。
【００５０】
すなわち、例えばステップＳ８での差が５以上の時はステップＳ９で１を、差が７のときは２を、差が９のときは３を出力させ、ステップＳ１０ではステップＳ９で１が出力されたときは量子化率を１ランク低下させ、２が出力された場合は量子化率を２ランク低下させる等、差に対応して量子化率を低くする。
【００５１】
なお差が所定値以上の場合は量子化率を所定ランクに低下させたり、量子化率を１、すなわち量子化を行わないようにしてもよい。
また量子化率を低下させる単位は係数（画素）単位、コードブロック単位、サブバンド単位のいずれかの単位で行う。
【００５２】
ステップＳ１１では、ステップＳ１０で量子化されたデータおよび量子化率を低下させたデータ、コードブロックまたはサブバンドを記録する。
ステップＳ１２では、制御部１０は、１フレームのＲ，ＧおよびＢ成分の全てのタイルが量子化されたか否かを判定し、判定がＮＯの場合はステップＳ３に移り、ステップＳ３〜Ｓ１２が繰返される。
【００５３】
ステップＳ１３では、エントロピ符号化部８は、従来と同様に符号化が行われ、ステップＳ１４に移ってコードストリーム処理部９でコードストリームが生成され、ステップＳ１５に移ってＩ／Ｏ１２より出力される。
【００５４】
ステップＳ１６では、制御部１０は、次の入力画像が有るか否かを判定し、判定がＹＥＳの場合はステップＳ１に移ってステップＳ１〜Ｓ１６が繰返され、ＮＯの場合は処理を終了する。
【００５５】
図４は本発明を適用した例を示す図で、タイル境界近傍の斜線で示した部分が量子化率を低下させた領域である。
タイル境界であるにもかかわらず斜線が無い部分はミラーリング法と隣接画素による補間法で求めたウェーブレット係数値の差が小さく、量子化率を低下させる必要が無い領域であり、元々、タイル境界に不連続が生じない部分である。
【００５７】
またステップＳ４での補間はミラーリング法による補間に限定されるものではない。
また図５で斜線で示される領域を指定し、該指定領域に対して本発明を適用し、その他の領域に対してはステップＳ６〜Ｓ９を削除するようにしてもよい。
【００５８】
また実施例ではステップＳ２で画像データをＲ，ＧおよびＢ成分に分離し、分離されたＲ，ＧおよびＢの全てに本発明を適用していたが、視覚的に最も寄与するＧ成分の画像データのみに本発明を適用し、ＲおよびＢ成分に対してはステップＳ６〜Ｓ９を削除するようにしてもよい。
【００５９】
なお、画像をＹ，ＵおよびＶ成分に分離した場合はＹ成分のみについて本発明を適用するようにしてもよい。
また、入力画像がモノクロの場合はステップＳ２が削除される。
【００６０】
また、実施例のステップＳ６〜Ｓ９を削除して、ステップＳ１０での量子化に際してはタイル境界近傍の全ての領域に対して他の領域より量子化率を低減させて量子化を行うようにしてもよい。
【００６１】
【発明の効果】
本発明によればタイルの隣接するタイルとの境界近傍のウェーブレット値の量子化率を境界近傍以外の量子化率より低くし、かつ、この量子化率を低くする際に、第１の補間（ミラーリング法による補間）による前記ウェーブレット値と、分離された各タイルの周囲を該タイルと隣接するタイルの画素値により第２の補間で補間してウェーブレット変換を行って得られたウェーブレット値とを比較し、比較結果の差に応じて前記量子化率を低くするようにしたため、伸長した画像におけるタイル境界の不連続を無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施例の構成図である。
【図２】同実施例の動作フローチャートである。
【図３】同実施例の動作フローチャートである。
【図４】本発明を適用した結果の一例を示す図である。
【図５】本発明を適用する領域を説明するための図である。
【図６】従来例の構成図である。
【図７】タイル分割を説明するための図である。
【図８】デコンポジション・レベルとサブバンドを説明するための図である。
【図９】プレシンクトとコードブロックを説明するための図である。
【図１０】ウェーブレット変換を行って量子化したデータを伸長した画像の一例を示す図である。
【図１１】原画像と図１０の伸長画像との差分を示す図である。
【図１２】ミラーリング法によって補間したタイルの一例を示す図である。
【図１３】図１２のタイルに対してウェーブレット変換を行ったデコンポジション・レベル−１における各サブバンドの係数値である。
【図１４】図１２の各サブバンドの係数値を量子化したものを逆量子化して得られた係数値である。
【図１５】図１２の各サブバンドに対してウェーブレット逆変換を行って得られたタイルと図１２で示す原タイルとの差分を示す図である。
【符号の説明】
１画像メモリ
２色空間変換部
３タイル分離部
４補間部
５ウェーブレット変換部
６量子化率選択部
７量子化部
８エントロピ符号化部
９コードストリーム処理部
１０制御部
１１，１２インタフェース（Ｉ／Ｏ）
１３プロセッサ（ＣＰＵ）

Claims

画像データを圧縮する画像圧縮装置において、
原画像を複数のタイルに分離する分離手段と、
画像データに対してウェーブレット変換を行ってウェーブレット値を得る変換手段と、
前記分離された各タイルの周囲のデータに対してミラーリング法により第１の補間を行う第１補間手段と、
前記分離された各タイルの周囲のデータに対して該タイルと隣接するタイルの画素値で第２の補間を行う第２補間手段と、
前記第１補間手段で補間された画像データに対して前記変換手段で得られたウェーブレット値を量子化する量子化手段と、
該量子化手段における量子化率を変更する量子化変更手段と、
を備え、
前記量子化変更手段は、前記第１補間手段で補間された画像データに対して前記変換手段で得られたウェーブレット値と、前記第２補間手段で補間された画像データに対して前記変換手段で得られたウェーブレット値とを比較し、比較結果の差に応じて前記量子化手段における前記量子化率のうち前記分離された各タイルの隣接するタイルとの境界近傍の前記ウェーブレット値の量子化率を前記境界近傍以外の量子化率より低くするようにしたことを特徴とする画像圧縮装置。
前記境界近傍の前記ウェーブレット値に対して量子化率を一定に低減するようにしたことを特徴とする請求項１記載の画像圧縮装置。
前記境界近傍の前記ウェーブレット値に対して量子化率を１にしたことを特徴とする請求項１記載の画像圧縮装置。
前記量子化率を低くするタイルを前記原画像で指定された領域に含まれるタイル境界のみとしたことを特徴とする請求項１，２または３記載の画像圧縮装置。
前記原画像が動画画像であることを特徴とする請求項１，２，３または４記載の画像圧縮装置。
前記ウェーブレット値の比較をサブバンド、コードブロック単位または画素単位で行うことを特徴とする請求項１記載の画像圧縮装置。
前記比較の結果、両者の差の最大値を含む前記サブバンドまたは前記コードブロックに対してのみ前記量子化率を低くするようにしたことを特徴とする請求項６記載の画像圧縮装置。
前記比較の結果、両者の差の２乗和が最大となる前記サブバンドまたは前記コードブロックに対してのみ前記量子化率を低くするようにしたことを特徴とする請求項６記載の画像圧縮装置。
前記原画像をＲ（赤）、Ｇ（緑）およびＢ（青）信号に分離し、前記Ｇ信号に対してのみ前記境界近傍の量子化率を低くするようにしたことを特徴とする請求項１乃至８のいずれかに記載の画像圧縮装置。
前記原画像をＹ（輝度）、Ｕ（赤色差）およびＶ（青色差）信号に分離し、前記Ｙ信号に対してのみ前記境界近傍の量子化率を低くするようにしたことを特徴とする請求項１乃至８のいずれかに記載の画像圧縮装置。
画像データを圧縮する画像圧縮装置において、
原画像を複数のタイルに分離し、
画像データに対してウェーブレット変換を行ってウェーブレット値を得る処理を行い、
前記分離された各タイルの周囲のデータに対してミラーリング法により第１の補間を行い、
前記第１の補間で補間された画像データに対して得られたウェーブレット値を量子化して画像データを圧縮する画像圧縮方法であって、
前記分離された各タイルの周囲のデータに対して該タイルと隣接するタイルの画素値で第２の補間を行い、
前記第１の補間で補間された画像データに対して得られたウェーブレット値と、前記第２の補間で補間された画像データに対して得られたウェーブレット値とを比較し、比較結果の差に応じて前記量子化するときの量子化率のうち前記分離された各タイルの隣接するタイルとの境界近傍の前記ウェーブレット値の量子化率を前記境界近傍以外の量子化率より低くするようにしたことを特徴とする画像圧縮方法。
前記原画像が動画画像であることを特徴とする請求項１１記載の画像圧縮方法。
前記請求項１乃至１０のいずれかに記載の画像圧縮装置のプロセッサに処理を実行させるためのプログラム。
前記請求項１乃至１０のいずれかに記載の画像圧縮装置のプロセッサに処理を実行させるためのプログラムを記録した記録媒体。