JPWO2012160626A1 - 画像圧縮装置、画像復元装置、及びプログラム - Google Patents

Abstract

圧縮対象画像に対してできるだけロスレス圧縮を適用することで、画質劣化を防止する。予測器４１１は、圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を出力する。ライン判定部４１３は、圧縮対象ラインに対する圧縮符号の符号量を予測し、予測した符号量と圧縮済みラインに対する圧縮符号の符号量とに基づいて、ロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定する。圧縮部４１２は、ロスレス圧縮を適用すると判定された圧縮対象ラインの各予測対象画素の予測誤差をロスレス圧縮により圧縮して、圧縮対象ラインに対する圧縮符号を生成する。受信部４２１は、圧縮符号と、判定結果を示す圧縮情報とを受信する。判定部４２３は、圧縮情報がロスレス圧縮又はロッシー圧縮のいずれを示すかを判定する。復元部４２２は、圧縮情報がロスレス圧縮を示す場合に、圧縮符号からロスレス復元により圧縮対象ラインの画像を復元する。

Description

本発明は、予測符号化方式（Differential Pulse Code Modulation，ＤＰＣＭ）を利用した画像圧縮装置、画像復元装置、及びプログラムに関する。

画像データを圧縮してデータ量を削減する画像圧縮技術は、様々な分野の機器に用いられており、その分野の１つとして車載装置が挙げられる。車載装置に表示される動画像に画像圧縮技術を適用するには、以下の条件を満たす必要がある。
（１）高画質
自然画とComputer Graphics （ＣＧ）画像の双方で高画質であることが求められる。車載装置で扱う画像情報としては、一般のテレビ画像や映画等に代表される自然画と、カーナビゲーションの地図等に代表されるＣＧ画像（デジタル画像）が知られている。これらは画像の性質としては大きく異なり、自然画では低周波成分が、またデジタル画像では高周波成分が多く含まれている。最近の車載装置や携帯電話機を含む携帯端末では、地図等のデジタル画像と、テレビ画像や映画等の自然画像との両方を扱うようになってきており、これらのように特性の異なる画像についても効果的な画像圧縮技術が望まれている。
（２）低遅延
映像情報は、通常、車載Local Area Network（ＬＡＮ）により伝送される。このとき、車中の前部座席と後部座席の双方において画面のズレがないように同等の映像を表示するためには、圧縮、伝送、及び復元処理に時間がかからず低遅延であることが求められる。
（３）軽量
多重伝送を行う場合、ＬＡＮ端末毎に圧縮装置及び復元装置が必要になるため、個々の装置の回路規模が小さく、かつ、軽量であることが求められる。

画像圧縮技術の１つとして、画素単位で画素値を予測する予測符号化方式が知られている。予測符号化方式を利用した画像圧縮技術では、量子化ステップの幅を変化させることで、自然画とＣＧ画像のように特性の異なる画像の双方に対して、精密に発生符号量を調整することができる。

図１は、従来の予測符号化方式を利用した画像圧縮処理を示している。予測器１０２は、圧縮対象の画像データ１０１が入力されると、周辺画素の画素値から対象画素の画素値を予測し、実際の画素値と予測値の差を予測誤差として出力する。

例えば、平面予測では、図２に示すように、注目ライン２０２上の対象画素２１４の画素値Ｘが、注目ライン２０２上の隣接画素２１３と直前ライン２０１上の隣接画素２１１及び２１２の画素値を用いて予測される。画素２１３、２１１、及び２１２の画素値をそれぞれＡ、Ｂ、及びＣとすると、対象画素２１４の予測値Ｘ’は次式により求められる。
Ｘ’＝Ａ＋Ｃ−Ｂ （１）

この場合、画像は概ね平坦であり、隣接画素の画素値は概ね近い値である、という前提で予測が行われる。

次に、量子化器１０３は、予測誤差Ｘ−Ｘ’を量子化して代表値に変換する。量子化器１０３が使用する量子化ステップ幅の大小によって、同じ画像データ１０１に対する代表値は異なってくる。

次に、可変長符号器１０４は、その代表値の出現頻度に応じた可変長符号を割り当てて、圧縮符号を生成する。通常、可変長符号の符号長は出現頻度に反比例した長さになるため、代表値が異なれば符号長も異なる。このため、量子化ステップ幅の大小によって、同じ画像データ１０１に対する圧縮効率が変化する。

量子化ステップ幅が小さい量子化器を用いた場合、量子化誤差が小さくなるため、画質は良くなるが、圧縮効率は低下する。一方、量子化ステップ幅が大きい量子化器を用いた場合、符号長の総和が短くなるので圧縮効率は向上するが、量子化誤差が大きくなるため、画質は悪くなる。

また、予測器が使用する予測アルゴリズムによって符号化効率が異なるため、異なる種類の複数の予測器を切り替えることで、特性の異なる画像に対しても圧縮率の向上が期待できる。ただし、予測器の種類によって、発生する符号量は異なる。

このような予測器及び量子化器の性質に基づき、高画質、低遅延、及び軽量という条件を満たすべく、複数種類の予測器と複数種類の量子化器をそれぞれ切り替える画像圧縮装置が知られている。この画像圧縮装置は、ライン方向の予測符号化方式を適用する際に、自然画向け及びＣＧ画像向けにそれぞれ異なる予測器を選択的に切り替える。そして、予測器を切り替えた場合の予測誤差を圧縮前に広域的に（ライン単位で）推定し、推定結果をもとに使用する量子化器を決定する。これにより、局所的な画像劣化を起こさずに圧縮符号の符号量を調整することができる。

国際公開第２００９／１５７０４７号パンフレット

上述した従来の画像圧縮装置には、以下のような問題がある。
車載装置に表示されるナビゲーション画像として、地図のグラデーションを表現するために、幾何学的な模様が使用されることがある。このような幾何学的な模様には、図３に示すような、画素間における画素値の差が小さい市松模様も含まれる。

このようなナビゲーション画像の場合、圧縮符号の符号量は少なくなることが多い。しかし、符号量が少ない分だけ、量子化ステップ幅の小さい量子化器を選択したとしても、元々の幾何学的模様が乱れて僅かな画質劣化が非常に目立つ場合がある。この場合、量子化を伴うロッシー圧縮ではなく、ロスレス圧縮を適用することが望ましい。

また、ナビゲーション画像に限らず、圧縮符号から復元される画像の画質劣化を防止するには、圧縮対象画像内のできるだけ多くの領域に対してロスレス圧縮を適用することが望ましい。

本発明の課題は、圧縮対象画像に対してできるだけロスレス圧縮を適用することで、画質劣化を防止することである。

第１の態様において、予測符号化方式を利用した画像圧縮装置は、予測器、ライン判定部、及び圧縮部を含む。
予測器は、圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を出力する。ライン判定部は、圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測し、予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定する。圧縮部は、ライン判定部がロスレス圧縮を適用すると判定した場合、圧縮対象ラインの各予測対象画素の予測誤差をロスレス圧縮により圧縮して、圧縮対象ラインに対する圧縮符号を生成する。

第２の態様において、予測符号化方式を利用した画像復元装置は、受信部、判定部、及び復元部を含む。受信部は、圧縮対象ラインに対する圧縮符号と、ロスレス圧縮又はロッシー圧縮のいずれを適用するかの判定結果を示す圧縮情報とを受信する。判定部は、圧縮情報がロスレス圧縮又はロッシー圧縮のいずれを示すかを判定する。復元部は、圧縮情報がロスレス圧縮を示す場合に、圧縮対象ラインに対する圧縮符号からロスレス復元により圧縮対象ラインの画像を復元する。

第１又は第２の態様によれば、圧縮対象画像内の発生符号量が少ないと予測される圧縮対象ラインに対して、ロスレス圧縮を適用することが可能になり、その圧縮対象ラインに対する復元画像の画質劣化が防止される。

従来の予測符号化方式を利用した画像圧縮処理を示す図である。 平面予測を示す図である。 ナビゲーション画像に使用される模様を示す図である。 画像処理システムの機能的構成図である。 画像圧縮装置の機能的構成図である。 量子化テーブルを示す図である。 画像圧縮処理のフローチャートである。 広域モード判定のフローチャートである。 第１のライン符号量予測部の機能的構成図である。 第２のライン符号量予測部の機能的構成図である。 第３のライン符号量予測部の機能的構成図である。 局所モード判定のフローチャートである。 第１の画素値比較部の機能的構成図である。 第２の画素値比較部の機能的構成図である。 第３の画素値比較部の機能的構成図である。 第１の発生符号量の変化を示す図である。 第２の発生符号量の変化を示す図である。 第３の発生符号量の変化を示す図である。 画像復元装置の機能的構成図である。 逆量子化テーブルを示す図である。 画像復元処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
図４は、実施形態の画像処理システムの機能的構成例を示している。図４の画像処理システムは、画像圧縮装置４０１及び画像復元装置４０２を含む。画像圧縮装置４０１は、予測器４１１、圧縮部４１２、及びライン判定部４１３を含み、画像復元装置４０２は、受信部４２１、復元部４２２、及び判定部４２３を含む。

予測器４１１は、圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を出力する。ライン判定部４１３は、圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測する。そして、予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定する。圧縮部４１２は、ライン判定部４１３がロスレス圧縮を適用すると判定した場合、圧縮対象ラインの各予測対象画素の予測誤差をロスレス圧縮により圧縮して、圧縮対象ラインに対する圧縮符号を生成する。

受信部４２１は、圧縮対象ラインに対する圧縮符号と、ロスレス圧縮又はロッシー圧縮のいずれを適用するかの判定結果を示す圧縮情報とを受信する。判定部４２３は、圧縮情報がロスレス圧縮又はロッシー圧縮のいずれを示すかを判定する。復元部４２２は、圧縮情報がロスレス圧縮を示す場合に、圧縮対象ラインに対する圧縮符号からロスレス復元により圧縮対象ラインの画像を復元する。

このような画像処理システムによれば、圧縮対象画像内の発生符号量が少ないと予測される圧縮対象ラインに対してロスレス圧縮を適用することが可能になり、その圧縮対象ラインに対する復元画像の画質劣化が防止される。

図５は、画像圧縮装置の別の機能的構成例を示している。図５の画像圧縮装置は、ラインバッファ５０１、画素ブロックバッファ５０２、予測器５０３、圧縮部５０４、ライン判定部５０５、画素ブロック判定部５０６、及びカウンタ５０７を含む。

圧縮部５０４は、選択部５１１、５１４、量子化器５１２、非量子化パス５１３、及び可変長符号化器５１５を含む。ライン判定部５０５は、ライン符号量予測部５２１及び広域モード判定部５２２を含み、画素ブロック判定部５０６は、画素値比較部５３１及び局所モード判定部５３２を含む。

入力される圧縮対象画像は画素の集合であり、画面内のライン方向の順序に従って、画素がラインバッファ５０１及びライン判定部５０５に入力される。
ラインバッファ５０１は、入力される圧縮対象画像のうち１ライン分の画素の画素値を、圧縮対象ラインとして格納する。１ラインは複数個の画素ブロックを含む。画素ブロックバッファ５０２は、ラインバッファ５０１に格納された圧縮対象ラインのうち、１ブロック分の画素の画素値を圧縮対象画素ブロックとして格納する。１ブロックは１個以上の所定数の画素を含む。

例えば、８個の画素からなる画素ブロックは、縦１画素×横８画素の領域に対応し、１６個の画素からなる画素ブロックは、縦１画素×横１６画素の領域に対応する。１個の画素からなる画素ブロックは、画素そのものに一致する。

予測器５０３は、画素ブロックバッファ５０２に格納された圧縮対象画素ブロックの各画素を予測対象画素として、所定の予測アルゴリズムに基づき予測対象画素の画素値を予測し、予測誤差を出力する。予測アルゴリズムとしては、例えば、図２に示した平面予測、４画素前予測、又は８画素前予測を用いることができ、それ以外の他の予測アルゴリズムを用いてもよい。

選択部５１１及び５１４は、広域モード判定部５２２及び局所モード判定部５３２の判定結果に基づいて、量子化器５１２又は非量子化パス５１３の一方を選択する。量子化器５１２は、予測誤差を量子化して量子化結果を出力し、非量子化パス５１３は、予測誤差をそのまま出力する。可変長符号化器５１５は、量子化結果又は予測誤差を可変長符号に変換して圧縮符号を生成する。

カウンタ５０７は、圧縮対象画像の圧縮開始から現在までに可変長符号化器５１５から出力された圧縮符号の符号量をカウントし、発生符号量としてライン判定部５０５及び画素ブロック判定部５０６に出力する。

ライン判定部５０５のライン符号量予測部５２１は、入力される圧縮対象画像のうち１ライン（圧縮対象ライン）から生成される圧縮符号の符号量を予測し、予測発生符号量を広域モード判定部５２２に出力する。広域モード判定部５２２は、予測発生符号量と、カウンタ５０７から出力される発生符号量とに基づき、圧縮対象ラインの圧縮モードを判定する。

ラインバッファ５０１を設けることで、ライン判定部５０５が圧縮対象ラインの圧縮モードを判定するまで、そのラインの圧縮処理を遅延させることができる。
画素ブロック判定部５０６の画素値比較部５３１は、画素ブロックバッファ５０２に格納された圧縮対象画素ブロックの各画素の画素値と、その画素の周辺に存在する画素の画素値とを比較する。そして、圧縮対象画素ブロックの全画素についての比較結果の累計を示す累計値を、局所モード判定部５３２に出力する。局所モード判定部５３２は、累計値と、カウンタ５０７から出力される発生符号量とに基づき、圧縮対象画素ブロックの圧縮モードを判定する。

画素ブロックバッファ５０２を設けることで、画素ブロック判定部５０６が圧縮対象画素ブロックの圧縮モードを判定するまで、その画素ブロックの圧縮処理を遅延させることができる。
このような画像圧縮装置によれば、ロスレス圧縮又はロッシー圧縮のいずれを適用するかをライン単位で判定するだけでなく、画素ブロック単位でも判定することができる。

図６は、量子化器５１２が量子化に用いる量子化テーブルの例を示している。量子化器５１２は、量子化テーブルに設定された量子化ステップ幅に基づいて、予測誤差を対応する量子化値と量子化番号に変換する。予測誤差の量子化ステップ幅、量子化値、及び量子化番号としては、図６以外の数値を用いてもよい。

図７は、図５の画像圧縮装置による画像圧縮処理の例を示すフローチャートである。まず、ライン判定部５０５は、入力画素が１ラインの開始画素か否かを判定する（ステップ７０１）。入力画素が１ラインの開始画素であれば（ステップ７０１，Ｙｅｓ）、広域モード判定を行い、判定結果を出力する（ステップ７０２）。広域モード判定の判定結果は、ロッシーモード１、ロッシーモード２、又はロスレスモードのいずれかを示す。

次に、画素ブロック判定部５０６は、広域モード判定の判定結果がロッシーモード２であるか否かを判定する（ステップ７０３）。判定結果がロッシーモード２であれば（ステップ７０３，Ｙｅｓ）、そのラインに含まれる各画素ブロックについて局所モード判定を行い、判定結果を出力する（ステップ７０４）。局所モード判定の判定結果は、ロッシーモード又はロスレスモードのいずれかを示す。

次に、予測器５０３は予測誤差を出力し（ステップ７０５）、圧縮部５０４は、広域モード判定及び局所モード判定の判定結果に基づいて、予測誤差をロッシー圧縮又はロスレス圧縮のいずれかにより圧縮する（ステップ７０６）。そして、カウンタ５０７は、発生符号量をカウントする（ステップ７０７）。

次に、ライン判定部５０５は、未処理の圧縮対象画素が残っているか否かを判定し（ステップ７０８）、未処理の圧縮対象画素が残っていれば（ステップ７０８，Ｎｏ）、ステップ７０１以降の処理を繰り返す。

ステップ７０１において入力画素が１ラインの開始画素でなければ（ステップ７０１，Ｎｏ）、ステップ７０３以降の処理が行われ、ステップ７０３において判定結果がロッシーモード２でなければ（ステップ７０３，Ｎｏ）、ステップ７０５以降の処理が行われる。そして、ステップ７０８において未処理の圧縮対象画素が残っていなければ（ステップ７０８，Ｙｅｓ）、処理を終了する。

図８は、図７のステップ７０２における広域モード判定の例を示すフローチャートである。まず、広域モード判定部５２２は、カウンタ５０７から出力される発生符号量を閾値Ｔ１と比較する（ステップ８０１）。発生符号量がＴ１より大きければ（ステップ８０１，Ｎｏ）、圧縮対象ラインの圧縮モードをロッシーモード１と判定する（ステップ８０６）。

発生符号量がＴ１以下であれば（ステップ８０１，Ｙｅｓ）、次に、ライン符号量予測部５２１は、圧縮対象ラインの画素値に基づいて予測発生符号量を算出する（ステップ８０２）。

そして、広域モード判定部５２２は、カウンタ５０７から出力される発生符号量と予測発生符号量の和の符号量を閾値Ｔ２と比較する（ステップ８０３）。符号量がＴ２より大きければ（ステップ８０３，Ｎｏ）、圧縮対象ラインの圧縮モードをロッシーモード２と判定する（ステップ８０４）。一方、符号量がＴ２以下であれば（ステップ８０３，Ｙｅｓ）、圧縮対象ラインの圧縮モードをロスレスモードと判定する（ステップ８０５）。

ロスレスモードと判定されたラインにはロスレス圧縮が適用され、ロッシーモード１と判定されたラインにはロッシー圧縮が適用される。ロッシーモード２と判定されたラインは、部分的にロスレス圧縮を適用できる余地があるため、局所モード判定により、改めて圧縮モードが判定される。

Ｔ１としては、圧縮対象画像の全ラインのうち、圧縮済みラインに含まれる全画素の画素値のビット数の総和を所定の圧縮率で圧縮符号のビット数に換算した値を用いることができる。また、Ｔ２としては、圧縮済みライン及び圧縮対象ラインに含まれる全画素の画素値のビット数の総和を所定の圧縮率で圧縮符号のビット数に換算した値を用いることができる。この場合、各画素の画素値のビット数をｋビットとし、圧縮率をＲとし、１ライン当たりの横画素数をＨとすると、Ｔ１及びＴ２は、それぞれ次式で与えられる。
Ｔ１＝ＲｋＨ×圧縮済みライン数 （１１）
Ｔ２＝ＲｋＨ×（圧縮済みライン数＋１） （１２）

図９は、図５のライン符号量予測部５２１の第１の機能的構成例を示している。図９のライン符号量予測部５２１は、予測器９０１、頻度算出器９０２、及び符号量算出器９０３を含む。

予測器９０１は、入力される圧縮対象ラインの各画素を予測対象画素として、所定の予測アルゴリズムに基づき予測対象画素の画素値を予測し、予測誤差を出力する。予測アルゴリズムとしては、例えば、図２に示した平面予測、４画素前予測、又は８画素前予測を用いることができ、それ以外の他の予測アルゴリズムを用いてもよい。

頻度算出器９０２は、予測器９０１から出力される各予測対象画素の予測誤差に基づいて、圧縮対象ラインにおける各予測誤差の出現頻度を算出する。符号量算出器９０３は、得られた出現頻度に基づいて、圧縮対象ラインから生成される予測発生符号量を算出する。

例えば、Ｎ通りの予測誤差が想定され、ｉ番目（ｉ＝１，．．．，Ｎ）の予測誤差の出現頻度をＥｒｒ（ｉ）とすると、圧縮対象ラインの予測発生符号量（ビット数）は、次式により算出される。

図１０は、図５のライン符号量予測部５２１の第２の機能的構成例を示している。図１０のライン符号量予測部５２１は、分散値算出器１００１、頻度算出器１００２、及び符号量算出器１００３を含む。

分散値算出器１００１は、入力される圧縮対象ラインの各画素を予測対象画素として、予測対象画素の画素値と、その画素の周囲に存在する８個の画素それぞれの画素値の差分を算出し、得られた差分の分散値を算出する。

頻度算出器１００２は、分散値算出器１００１から出力される各予測対象画素の分散値に基づいて、圧縮対象ラインにおける各分散値の出現頻度を算出する。符号量算出器１００３は、得られた出現頻度に基づいて、圧縮対象ラインから生成される予測発生符号量を算出する。

例えば、Ｎ通りの分散値が想定され、ｉ番目（ｉ＝１，．．．，Ｎ）の分散値の出現頻度をＳｔｄｅｖ（ｉ）とすると、圧縮対象ラインの予測発生符号量（ビット数）は、次式により算出される。

図１１は、図５のライン符号量予測部５２１の第３の機能的構成例を示している。図１１のライン符号量予測部５２１は、フィルタ１１０１、頻度算出器１１０２、及び符号量算出器１１０３を含む。

フィルタ１１０１は、入力される圧縮対象ラインの各画素を予測対象画素として、所定のフィルタリングアルゴリズムに基づき予測対象画素の画素値をフィルタリングし、フィルタリング結果を出力する。フィルタリングアルゴリズムとしては、例えば、ラプラシアンフィルタを用いることができ、それ以外の他のフィルタリングアルゴリズムを用いてもよい。

頻度算出器１１０２は、フィルタ１１０１から出力される各予測対象画素のフィルタリング結果に基づいて、圧縮対象ラインにおける各フィルタリング結果の出現頻度を算出する。符号量算出器１１０３は、得られた出現頻度に基づいて、圧縮対象ラインから生成される予測発生符号量を算出する。

例えば、Ｎ通りのフィルタリング結果が想定され、ｉ番目（ｉ＝１，．．．，Ｎ）のフィルタリング結果の出現頻度をＦｉｌｔ（ｉ）とすると、圧縮対象ラインの予測発生符号量（ビット数）は、次式により算出される。

なお、ライン符号量予測部５２１の構成は、図９〜図１１に示した構成に限られるものではなく、１ラインから生成される圧縮符号の符号量を予測する他の構成を用いてもよい。

図１２は、図７のステップ７０４における局所モード判定の例を示すフローチャートである。まず、局所モード判定部５３２は、カウンタ５０７から出力される発生符号量を閾値Ｔ３と比較する（ステップ１２０１）。発生符号量がＴ３以下であれば（ステップ１２０１，Ｙｅｓ）、圧縮対象画素ブロックの圧縮モードをロスレスモードと判定する（ステップ１２０３）。

発生符号量がＴ３より大きければ（ステップ１２０１，Ｎｏ）、次に、画素値比較部５３１から出力される累計値を閾値Ｔ４と比較する（ステップ１２０２）。累計値がＴ４より大きければ（ステップ１２０２，Ｎｏ）、圧縮対象画素ブロックの圧縮モードをロッシーモードと判定する（ステップ１２０４）。一方、累計値がＴ４以下であれば（ステップ１２０２，Ｙｅｓ）、圧縮対象画素ブロックの圧縮モードをロスレスモードと判定する（ステップ１２０３）。

ロスレスモードと判定された画素ブロックにはロスレス圧縮が適用され、ロッシーモードと判定された画素ブロックにはロッシー圧縮が適用される。
Ｔ３としては、圧縮対象画像の全画素ブロックのうち、圧縮済み画素ブロックに含まれる全画素の画素値のビット数の総和を所定の圧縮率で圧縮符号のビット数に換算した値を用いることができる。この場合、１ライン当たりの画素ブロック数をＢとすると、Ｔ３は次式で与えられる。
Ｔ３＝ＲｋＨ×総ライン数−Ｒｋ（Ｈ／Ｂ）×残画素ブロック数 （１６）

総ライン数は、圧縮対象画像に含まれるラインの総数を表し、残画素ブロック数は、未圧縮の画素ブロックの数を表す。Ｔ４としては、画素値比較部５３１から出力される累計値の種類に応じて異なる値が用いられる。

図１３は、図５の画素値比較部５３１の第１の機能的構成例を示している。図１３の画素値比較部５３１は、予測器１３０１及び累計部１３０２を含む。
予測器１３０１は、入力される圧縮対象画素ブロックの各画素を予測対象画素として、所定の予測アルゴリズムに基づき予測対象画素の画素値を予測し、予測誤差を出力する。予測アルゴリズムとしては、例えば、図２に示した平面予測、４画素前予測、又は８画素前予測を用いることができ、それ以外の他の予測アルゴリズムを用いてもよい。累計部１３０２は、予測器１３０１から出力される各予測対象画素の予測誤差の累計値を算出する。

この場合、Ｔ４としては、量子化器５１２で用いられる予測誤差の量子化ステップ幅に基づく値を用いることができる。例えば、量子化ステップ幅の最小単位に１画素ブロック当たりの画素数を乗算した値を用いてもよい。図６の量子化テーブルでは、量子化ステップ幅の最小単位は“２”であり、この最小単位に対応する予測誤差量子化値には、最小の可変長符号が割り当てられる。したがって、このようなＴ４を用いて、予測誤差の累計値がＴ４以下の場合にロスレス圧縮を適用することで、画素間における画素値の差が小さく発生符号量が少ない領域を、画質劣化を伴わずに圧縮することができる。

図１４は、図５の画素値比較部５３１の第２の機能的構成例を示している。図１４の画素値比較部５３１は、分散値算出器１４０１及び累計部１４０２を含む。
分散値算出器１４０１は、入力される圧縮対象画素ブロックの各画素を予測対象画素として、予測対象画素の画素値と、その画素の周囲に存在する８個の画素それぞれの画素値の差分を算出し、得られた差分の分散値を算出する。累計部１４０２は、分散値算出器１４０１から出力される各予測対象画素の分散値の累計値を算出する。

この場合、Ｔ４としては、画素の分散値に基づく値を用いることができる。例えば、量子化ステップ幅の最小単位に対応する分散値に、１画素ブロック当たりの画素数を乗算した値を用いてもよい。

図１５は、図５の画素値比較部５３１の第３の機能的構成例を示している。図１５の画素値比較部５３１は、フィルタ１５０１及び累計部１５０２を含む。
フィルタ１５０１は、入力される圧縮対象画素ブロックの各画素を予測対象画素として、所定のフィルタリングアルゴリズムに基づき予測対象画素の画素値をフィルタリングし、フィルタリング結果を出力する。フィルタリングアルゴリズムとしては、例えば、ラプラシアンフィルタを用いることができ、それ以外の他のフィルタリングアルゴリズムを用いてもよい。累計部１５０２は、フィルタ１５０１から出力される各予測対象画素のフィルタリング結果の累計値を算出する。

この場合、Ｔ４としては、画素のフィルタリング結果に基づく値を用いることができる。例えば、量子化ステップ幅の最小単位に対応するフィルタリング結果に、１画素ブロック当たりの画素数を乗算した値を用いてもよい。

なお、画素値比較部５３１の構成は、図１３〜図１５に示した構成に限られるものではなく、各画素の画素値と、その画素の周辺に存在する画素の画素値とを比較して、１画素ブロック分の比較結果の累計値を算出する他の構成を用いてもよい。

図７のステップ７０６において、選択部５１１及び５１４は、ロッシーモード１（ステップ８０６）又はロッシーモード（ステップ１２０４）と判定された画素に対して量子化器５１２を選択する。一方、ロスレスモード（ステップ１２０３）と判定された画素に対しては、非量子化パス５１３を選択する。

可変長符号化器９０５は、広域モード判定の判定結果、局所モード判定の判定結果、及び量子化器５１２又は非量子化パス５１３の出力をそれぞれ判別可能な形式で、圧縮符号を生成する。このとき、広域モード判定の判定結果及び局所モード判定の判定結果は、それぞれ広域モードフラグ及び局所モードフラグに変換される。

広域モードフラグは、ライン毎にライン先頭の画素が圧縮されたときに出力され、ロッシーモード１、ロッシーモード２、又はロスレスモードのいずれかを表す。ロッシーモード１の場合は、例えば、固定長ビット“００”が出力され、ロッシーモード２の場合は、例えば、固定長ビット“０１”が出力され、ロスレスモードの場合は、例えば、固定長ビット“１０”が出力される。

局所モードフラグは、広域モード判定によりロッシーモード２と判定されたラインの画素ブロック毎に、画素ブロック先頭の画素が圧縮されたときに出力され、ロッシーモード又はロスレスモードのいずれかを表す。ロッシーモードの場合は、例えば、固定長ビット“０”が出力され、ロスレスモードの場合は、例えば、固定長ビット“１”が出力される。

図１６は、圧縮対象画像の圧縮開始から経過した時間に対する発生符号量の変化を示している。直線１６０１は、常に所定の圧縮率を維持しながら圧縮する場合の発生符号量の変化を表し、破線１６０２は、図８のステップ８０１における閾値Ｔ１の変化を表し、曲線１６０３は、カウンタ５０７から出力される発生符号量を表している。

発生符号量１６０３が閾値１６０２以下になれば、圧縮対象ラインに対してロスレス圧縮を適用できる可能性が生じるため、ステップ８０３の判定が行われ、ロッシーモード２又はロスレスモードのいずれかが、広域モード判定の判定結果として出力される。ここで、ロスレスモードと判定されれば、圧縮対象ライン全体に対してロスレス圧縮が適用されるため、圧縮率の条件を満たしながら、ライン単位で画質劣化のない領域を増やすことができる。

一方、図１７に示すように、発生符号量１７０１が閾値１６０２を超えれば、圧縮対象ラインに対してロッシー圧縮が適用され、ロッシーモード１が広域モード判定の判定結果として出力される。

図１８は、ステップ８０３においてロッシーモード２と判定された後の発生符号量の変化を示している。破線１８０１は、図１２のステップ１２０１における閾値Ｔ３の変化を表している。カウンタ５０７から出力される発生符号量１８０２が閾値１８０１以下になれば、圧縮対象画素ブロックに対してロスレス圧縮が適用できるため、ロスレスモードが局所モード判定の判定結果として出力される。この場合、圧縮対象画素ブロック全体に対してロスレス圧縮が適用されるため、圧縮率の条件を満たしながら、画素ブロック単位で画質劣化のない領域を増やすことができる。

なお、図５の構成によれば、ラインバッファ５０１及び画素ブロックバッファ５０２を設けるだけで、広域モード判定及び局所モード判定を実現できるため、高画質、低遅延、及び軽量という条件が満たされる。

次に、図１９から図２１までを参照しながら、圧縮符号から元の画像を復元する画像復元装置の構成と動作について説明する。
図１９は、画像復元装置の機能的構成例を示している。図１７の画像復元装置は、受信復元部１９０１及び判定部１９０２を含む。受信復元部１９０１は、図４の受信部４２１及び復元部４２２に対応し、可変長復号器１９１１、選択部１９１２、１９１５、逆量子化器１９１３、非量子化パス１９１４、復元画素バッファ１９１６、予測器１９１７、及び加算器１９１８を含む。

可変長復号器１９１１は、画像圧縮装置から出力された圧縮符号を受信し、圧縮符号から広域モードフラグ、局所モードフラグ、及び符号部を抽出する。そして、広域モードフラグ及び局所モードフラグを圧縮情報として判定部１９０２に出力し、符号部を可変長復号して復号結果を選択部１９１２に出力する。広域モードフラグは、各ラインの先頭から抽出され、局所モードフラグは、各画素ブロックの先頭から抽出される。

判定部１９０２は、広域モードフラグ及び局所モードフラグの値に基づいて、符号部の圧縮モードを判定し、判定結果を選択部１９１２及び１９１５に出力する。選択部１９１２及び１９１５は、判定部１９０２の判定結果に基づいて、逆量子化器１９１３又は非量子化パス１９１４の一方を選択する。逆量子化器１９１３は、復号結果を逆量子化して予測誤差を出力し、非量子化パス１９１４は、復号結果である予測誤差をそのまま出力する。

加算器１９１８は、予測器１９１７から出力される予測値と選択部１９１５から出力される予測誤差を加算して、復元対象画素の画素値を出力する。復元画素バッファ１９１６は、加算器１９１８から出力される画素値を、周辺復元画素の画素値として格納する。予測器１９１７は、周辺復元画素の画素値を用いて、図５の予測器５０３に対応する予測アルゴリズムに基づき復元対象画素の画素値を予測し、予測値を出力する。

図２０は、逆量子化器１９１３が逆量子化に用いる逆量子化テーブルの例を示している。逆量子化器１９１３は、選択部１９１２から出力される復号結果である量子化番号を、対応する予測誤差の量子化値に変換する。逆量子化テーブルの量子化番号及び量子化値としては、図５の量子化器５１２が用いる量子化テーブルに対応する数値が用いられる。

逆量子化器１９１３から出力される予測誤差を用いた画像復元処理は、ロッシー復元に対応し、非量子化パス１９１４出力される予測誤差を用いた画像復元処理は、ロスレス復元に対応する。

図２１は、図１９の画像復元装置による画像復元処理の例を示すフローチャートである。まず、可変長復号器１９１１は、入力圧縮符号が１ラインの開始位置に対応するか否かを判定する（ステップ２１０１）。入力圧縮符号が１ラインの開始位置に対応すれば（ステップ２１０１，Ｙｅｓ）、広域モードフラグを抽出して判定部１９０２に出力する。

判定部１９０２は、広域モード判定を行い、広域モードフラグがロッシーモード１、ロッシーモード２、又はロスレスモードのいずれを示すかを判定する（ステップ２１０２）。広域モード判定の判定結果がロッシーモード２であれば（ステップ２１０３，Ｙｅｓ）、局所モード判定を行い、そのラインに含まれる各局所モードフラグがロッシーモード又はロスレスモードのいずれを示すかを判定する（ステップ２１０４）。

次に、可変長復号器１９１１は、各画素に対応する符号部を復号して復号結果を出力する。そして、選択部１９１２、１９１５、逆量子化器１９１３、及び非量子化パス１９１４は、広域モード判定及び局所モード判定の判定結果に基づいて、復号結果に対応する予測誤差を出力する（ステップ２１０５）。

選択部１９１２及び１９１５は、広域モード判定の判定結果がロッシーモード１である場合又は局所モード判定の判定結果がロッシーモードである場合に、逆量子化器１９１３を選択する。この場合、逆量子化器１９１３の予測誤差が加算器１９１８に出力される。

一方、選択部１９１２及び１９１５は、広域モード判定又は局所モード判定の判定結果がロスレスモードである場合に、非量子化パス１９１４を選択する。この場合、非量子化パス１９１４の予測誤差が加算器１９１８に出力される。

次に、予測器１９１７は予測値を出力し（ステップ２１０６）、加算器１９１８は、予測値に予測誤差を加算して、復元対象画素の画素値を算出する（ステップ２１０７）。
次に、可変長復号器１９１１は、未処理の圧縮符号が残っているか否かを判定し（ステップ２１０８）、未処理の圧縮符号が残っていれば（ステップ２１０８，Ｎｏ）、ステップ２１０１以降の処理を繰り返す。

ステップ２１０１において入力圧縮符号が１ラインの開始位置に対応しなければ（ステップ２１０１，Ｎｏ）、ステップ２１０３以降の処理が行われる。また、ステップ２１０３において判定結果がロッシーモード２でなければ（ステップ２１０３，Ｎｏ）、ステップ２１０５以降の処理が行われる。そして、ステップ２１０８において未処理の圧縮符号が残っていなければ（ステップ２１０８，Ｙｅｓ）、処理を終了する。

図４の画像圧縮装置４０１及び画像復元装置４０２、図５の画像圧縮装置、及び図１９の画像復元装置は、例えば、図２２に示すような情報処理装置（コンピュータ）を用いて実現可能である。

図２２の情報処理装置は、Central Processing Unit （ＣＰＵ）２２０１、メモリ２２０２、入力装置２２０３、出力装置２２０４、外部記憶装置２２０５、媒体駆動装置２２０６、及びネットワーク接続装置２２０７を備える。これらはバス２２０８により互いに接続されている。

メモリ２２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像圧縮処理又は画像復元処理に用いられるプログラム及びデータを格納する。例えば、ＣＰＵ２２０１は、メモリ２２０２を利用してプログラムを実行することにより、画像圧縮処理又は画像復元処理を行う。メモリ２２０２は、図５のラインバッファ５０１、画素ブロックバッファ５０２、又は図１９の復元画素バッファ１９１６としても使用できる。

入力装置２２０３は、例えば、キーボード、ポインティングデバイス等であり、利用者又はオペレータからの指示や情報の入力に用いられる。出力装置２２０４は、例えば、表示装置、プリンタ、スピーカ等であり、利用者又はオペレータへの問い合わせや処理結果の出力に用いられる。この処理結果には、復元画像が含まれる。

外部記憶装置２２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。この外部記憶装置２２０５には、ハードディスクドライブも含まれる。情報処理装置は、この外部記憶装置２２０５にプログラム及びデータを格納しておき、それらをメモリ２２０２にロードして使用することができる。

媒体駆動装置２２０６は、可搬型記録媒体２２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記録媒体２２０９には、Compact Disk Read Only Memory （ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等も含まれる。利用者又はオペレータは、この可搬型記録媒体２２０９にプログラム及びデータを格納しておき、それらをメモリ２２０２にロードして使用することができる。

このように、画像圧縮処理又は画像復元処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ２２０２、外部記憶装置２２０５、及び可搬型記録媒体２２０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置２２０７は、Local Area Network（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置２２０７は、生成された圧縮符号を画像復元装置に送信したり、画像圧縮装置から圧縮符号を受信したりする。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２２０７を介して受け取り、それらをメモリ２２０２にロードして使用することもできる。

開示の実施形態とその利点について詳しく説明したが、当業者は、請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

次に、図１９から図２１までを参照しながら、圧縮符号から元の画像を復元する画像復元装置の構成と動作について説明する。
図１９は、画像復元装置の構成例を示している。図１９の画像復元装置は、受信復元部１９０１及び判定部１９０２を含む。受信復元部１９０１は、図４の受信部４２１及び復元部４２２に対応し、可変長復号器１９１１、選択部１９１２、１９１５、逆量子化器１９１３、非量子化パス１９１４、復元画素バッファ１９１６、予測器１９１７、及び加算器１９１８を含む。

Claims (12)

1. 予測符号化方式を利用した画像圧縮装置であって、
   圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を出力する予測器と、
   前記圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測し、予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、該圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定するライン判定部と、
   前記ライン判定部が前記ロスレス圧縮を適用すると判定した場合、前記圧縮対象ラインの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮して、前記圧縮対象ラインに対する圧縮符号を生成する圧縮部と
   を有することを特徴とする画像圧縮装置。
2. 前記ライン判定部が前記ロッシー圧縮を適用すると判定した場合、前記圧縮対象ライン内の圧縮対象画素ブロックに含まれる予測対象画素の第１の画素値と、該圧縮対象画素ブロックに含まれる該予測対象画素の周辺に存在する画素の第２の画素値との比較結果に基づいて、該圧縮対象画素ブロックに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する画素ブロック判定部をさらに備え、前記圧縮部は、前記画素ブロック判定部が前記ロスレス圧縮を適用すると判定した場合、該圧縮対象画素ブロックの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮し、前記画素ブロック判定部が前記ロッシー圧縮を適用すると判定した場合、該圧縮対象画素ブロックの各予測対象画素の予測誤差を該ロッシー圧縮により圧縮して、該圧縮対象画素ブロックに対する圧縮符号を生成することを特徴とする請求項１記載の画像圧縮装置。
3. 前記圧縮対象ラインの各予測対象画素の画素値を格納するラインバッファをさらに備え、前記ライン判定部は、該ラインバッファに入力される画素値を用いて該圧縮対象ラインに対する圧縮符号の符号量を予測し、前記画素ブロック判定部は、該ラインバッファから出力される画素値を用いて前記比較結果を生成することを特徴とする請求項２記載の画像圧縮装置。
4. 前記ライン判定部は、前記圧縮対象ライン内の各予測対象画素に対する予測誤差、前記圧縮対象ライン内の各予測対象画素の第３の画素値と周辺に存在する画素の第４の画素値との差分の分散値、又は前記圧縮対象ライン内の各予測対象画素に対するフィルタリング結果に基づいて、前記圧縮対象ラインに対する圧縮符号の符号量を予測することを特徴とする請求項１乃至３のいずれか１項に記載の画像圧縮装置。
5. 前記画素ブロック判定部は、前記圧縮対象画素ブロック内の各予測対象画素に対する予測誤差、前記圧縮対象画素ブロック内の各予測対象画素に対する前記第１の画素値と前記第２の画素値との差分の分散値、又は前記圧縮対象画素ブロック内の各予測対象画素に対するフィルタリング結果に基づいて、前記比較結果を生成することを特徴とする請求項２乃至４のいずれか１項に記載の画像圧縮装置。
6. 予測符号化方式を利用した画像復元装置であって、
   圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を生成し、該圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測し、予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、該圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定し、該ロスレス圧縮を適用すると判定した場合に、該圧縮対象ラインの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮することで生成された、該圧縮対象ラインに対する圧縮符号と、該ロスレス圧縮又は該ロッシー圧縮のいずれを適用するかの判定結果を示す圧縮情報とを受信する受信部と、
   前記圧縮情報が前記ロスレス圧縮又は前記ロッシー圧縮のいずれを示すかを判定する判定部と、
   前記圧縮情報が前記ロスレス圧縮を示す場合に、前記圧縮対象ラインに対する圧縮符号からロスレス復元により前記圧縮対象ラインの画像を復元する復元部と、
   を有することを特徴とする画像復元装置。（図４、図１９）
7. 予測符号化方式を利用した画像圧縮処理を行うコンピュータのためのプログラムであって、
   圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測し、
   予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、前記圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定し、
   前記圧縮対象ラインの各予測対象画素の画素値を予測して予測誤差を生成し、
   前記ロスレス圧縮を適用すると判定した場合、前記圧縮対象ラインの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮して、前記圧縮対象ラインに対する圧縮符号を生成する
   処理を前記コンピュータに実行させるプログラム。
8. 前記コンピュータは、前記ライン判定部が前記ロッシー圧縮を適用すると判定した場合、前記圧縮対象ライン内の圧縮対象画素ブロックに含まれる予測対象画素の第１の画素値と、該圧縮対象画素ブロックに含まれる該予測対象画素の周辺に存在する画素の第２の画素値との比較結果に基づいて、該圧縮対象画素ブロックに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する処理をさらに実行し、前記圧縮符号を生成する処理は、前記圧縮対象画素ブロックに対して前記ロスレス圧縮を適用すると判定した場合、該圧縮対象画素ブロックの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮し、前記圧縮対象画素ブロックに対して前記ロッシー圧縮を適用すると判定した場合、該圧縮対象画素ブロックの各予測対象画素の予測誤差を該ロッシー圧縮により圧縮して、該圧縮対象画素ブロックに対する圧縮符号を生成することを特徴とする請求項７記載のプログラム。
9. 前記圧縮対象ラインに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する処理は、前記圧縮対象ラインの各予測対象画素の画素値を格納するラインバッファに入力される画素値を用いて該圧縮対象ラインに対する圧縮符号の符号量を予測し、前記圧縮対象画素ブロックに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する処理は、該ラインバッファから出力される画素値を用いて前記比較結果を生成することを特徴とする請求項８記載のプログラム。
10. 前記圧縮対象ラインに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する処理は、前記圧縮対象ライン内の各予測対象画素に対する予測誤差、前記圧縮対象ライン内の各予測対象画素の第３の画素値と周辺に存在する画素の第４の画素値との差分の分散値、又は前記圧縮対象ライン内の各予測対象画素に対するフィルタリング結果に基づいて、前記圧縮対象ラインに対する圧縮符号の符号量を予測することを特徴とする請求項７乃至９のいずれか１項に記載のプログラム。
11. 前記圧縮対象画素ブロックに対して前記ロスレス圧縮又は前記ロッシー圧縮のいずれを適用するかを判定する処理は、前記圧縮対象画素ブロック内の各予測対象画素に対する予測誤差、前記圧縮対象画素ブロック内の各予測対象画素に対する前記第１の画素値と前記第２の画素値との差分の分散値、又は前記圧縮対象画素ブロック内の各予測対象画素に対するフィルタリング結果に基づいて、前記比較結果を生成することを特徴とする請求項８乃至１０のいずれか１項に記載のプログラム。
12. 予測符号化方式を利用した画像復元処理を行うコンピュータのためのプログラムであって、
    圧縮対象画像内の予測対象画素の画素値を予測して予測誤差を生成し、該圧縮対象画像内の圧縮対象ラインに対する圧縮符号の符号量を予測し、予測した符号量と１つ以上の圧縮済みラインに対する圧縮符号の符号量とに基づいて、該圧縮対象ラインに対してロスレス圧縮又はロッシー圧縮のいずれを適用するかを判定し、該ロスレス圧縮を適用すると判定した場合に、該圧縮対象ラインの各予測対象画素の予測誤差を該ロスレス圧縮により圧縮することで生成された、該圧縮対象ラインに対する圧縮符号と、該ロスレス圧縮又は該ロッシー圧縮のいずれを適用するかの判定結果を示す圧縮情報とを受信し、
    前記圧縮情報が前記ロスレス圧縮又は前記ロッシー圧縮のいずれを示すかを判定し、
    前記圧縮情報が前記ロスレス圧縮を示す場合に、前記圧縮対象ラインに対する圧縮符号からロスレス復元により前記圧縮対象ラインの画像を復元する
    処理を前記コンピュータに実行させるプログラム。

Images