JP3764765B2

JP3764765B2 - ディジタル画像の処理方法及びシステム

Info

Publication number: JP3764765B2
Application number: JP22868095A
Authority: JP
Inventors: 富夫越後; 潤治前田; 政国洪; 幹博井岡
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-09-06
Filing date: 1995-09-06
Publication date: 2006-04-12
Anticipated expiration: 2015-09-06
Also published as: JPH0984002A; US5915046A

Description

【０００１】
【産業上の利用分野】
本発明は、画像データの処理方法及びシステムに係り、特にディジタル画像をオブジェクト領域に分割してレイヤー画像表現を用いた画像圧縮方法及びシステムに関する。
【０００２】
【従来の技術】
マルチメディアの普及が進むするにつれて、印刷物や写真と同等の品質を有する高精度画像の処理技術に対する要求がますます高まっている。画像データは、音声データ等と比べるとデータ量が膨大であり、画像を高精細にするにつれて、そのデータ量は飛躍的に増大する。従って、画像データを符号化してデータ圧縮することは、画像処理において不可欠な技術である。
【０００３】
例えば、カラー静止画の符号化の国際標準としてＪＰＥＧという規格がある。この規格には、情報損失があるが圧縮率がよい方式（ロッシー）と、原画増を完全に復元できる方式（ロスレス）という符号化方法が提案されている。ロッシーとロスレスとは、符号化の方法が全く異なるため、ロッシー圧縮された画像を、より高品質なロスレス方式の画像にしたい場合には、原画像は同一であるにも関わらず、ユーザーは、全く異なるフォーマットの画像データを異なるアルゴリズムで符号化し直さなければならない。
【０００４】
【発明が解決しようとする課題】
上述のように、従来は、ロッシーとロスレスとは、異なるフォーマットで画像データが圧縮されていた。従って、ユーザーは、全く異なるフォーマットの画像データを異なるアルゴリズムで符号化し直さなければならないため、大きな負担となっていた。
【０００５】
そこで、本発明の目的は、ロッシーからロスレスまで統一したデータフォーマットで取り扱うことができる新規なデータ圧縮方法及びシステムを提供することである。
【０００６】
また、本発明の別の目的は、容易にユーザが期待する任意の画質で画像を表示できる方法及びシステムを提供することである。
【０００７】
【課題を解決するための手段】
係る目的を達成するために、本発明は、画像データの圧縮方法において、
(a)その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割するステップと、
(b)オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように複数の多角形平面で平面近似するステップと、
(c)原画像と前記平面近似した画像との差を求めることにより１次残差画像を求めるステップと、
(d)１次残差画像を符号化して圧縮するステップと
を有することを特徴とする方法。
【０００８】
また、別の発明は、画像データの圧縮方法において、
(a) 原画像を所定の相関を有するオブジェクト領域ごとに分割し、このオブジェクト領域の階層構造を決定するステップと、
(b) オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように複数の多角形平面で平面近似するステップと、
(c) 原画像と平面近似した画像との差を求めることにより１次残差画像を求めるステップと、
(d) この求められた１次残差画像を符号化して圧縮するステップと、
(e) 圧縮された１次残差画像を伸張して得られた画像と前記１次残差画像との差から２次残差画像を求めるステップと
を有する方法を提供する。
【０００９】
また、別の発明は、画像データの圧縮方法において、
(a)原画像を所定の相関を有するオブジェクト領域ごとに分割し、オブジェクト領域の重ね合わせの順序に関する階層構造を決定するステップと、
(b)オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように複数の多角形平面で平面近似するステップと、
(c)原画像と前記平面近似した画像との差を求めることにより１次残差画像を求めるステップと、
(d)この求められた１次残差画像を符号化して圧縮するステップと、
(e)圧縮された１次残差画像を伸張して得られた画像と前記１次残差画像との差から２次残差画像を求めるステップと、
(f)上記のステップ(d)及び上記のステップ(e)を再帰的に実行して、高次の残差画像を順次求めるステップと
を有する方法を提供する。
【００１０】
ここで、多角形平面は、三角形平面であることが好ましい。
【００１１】
また、重ね合わせの順序が最も下位のオブジェクト領域以外のオブジェクト領域は、その輪郭形状に関する情報を有している。
【００１２】
上記のステップ(b)において、オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まる範囲ごとに多角形平面で近似することが望ましい。
【００１３】
一の前記オブジェクト領域のうち、それよりも上位にある他のオブジェクト領域が存在する位置に対応する対応領域に、一の前記オブジェクト領域が他のオブジェクト領域の輪郭形状に依らずに多角形平面で近似できるようなデータを補完するようにしてもよい。
【００１４】
上記の輪郭形状に関する情報を有するオブジェクト領域を、この輪郭形状からはみ出した複数の多角形平面で近似するようにしてもよい。
【００１５】
さらに別の発明は、画像データの圧縮システムにおいて、
その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割する手段と、
オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように複数の多角形平面で平面近似する手段と、
原画像と前記平面近似された画像との差を求めることにより１次残差画像を求める手段と、
１次残差画像を含むｎ次（ｎ≧１）残差画像を符号化して圧縮する手段と、
平面近似された画像及び符号化され圧縮されたｎ次残差画像を記憶する手段と
圧縮されたｎ次残差画像を伸張して得られた画像と前記ｎ次残差画像原画像との差から、（ｎ＋１）次残差画像を求める手段と
を有するシステムを提供する。
【００１６】
別の発明は、画像データの復号方法において、
(a)その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割し、オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように１以上の多角形平面で平面近似して得られた平面近似データを復号するステップと、
(b)原画像と前記平面近似した画像との差を求めることにより得られた１次残差画像データを復号するステップと、
(c)復号された１次残差画像データを復号された前記平面近似データに加えるステップと
を有する方法を提供する。
【００１７】
上記の発明は、さらに、(d) 圧縮された前記１次残差画像を伸張して得られた画像と前記１次残差画像との差から得られた２次残差画像データを復号するステップと、
(e) 復号された前記２次残差画像データを復号された前記平面近似データ及び復号された前記１次残差画像データに加えるステップと
を有していてもよい。
【００１８】
上記の発明は、さらに、(f) 高次の残差画像データを復号して、すでに復号された前記平面近似データ及び前記残差画像データに加えるために、上記ステップ(d)及び上記ステップ(e)を再帰的に実行するステップと
を有していてもよい。
【００１９】
【実施例】
図１は、本実施例における画像圧縮方法を示すフローチャートである。また、図２は三次元のシーンを二次元に投影した画像を示す図である。この画像は、空(SKY)、地面(GRASS)、雲(CLOUD)、木の幹(TREE)そして木の葉(LEAVES)から構成されている。以下、本実施例における手順について、適宜、図２を参照しながら説明する。
【００２０】
領域分割（ステップ２０１）
(a) 原画像を所定の相関を有するオブジェクト領域ごとに分割する。すなわち、図２の画像においては、画像を空、地面、雲、木の幹及び木の葉という複数のオブジェクト領域に分割する。画像を相関を有するオブジェクト領域ごとに分割するのは、同一領域内の各点の相関は強いが、異なる領域の各点の相関は弱いので、領域ごとに圧縮を行う方が高いデータ圧縮が可能となるからである。
【００２１】
この領域分割は、具体的には、隣接する画素同士の輝度値、色差がある一定の範囲内のものを一つの領域とすることもできるが、それ以外にもテクスチャの比較による方法など様々な方法がある。
【００２２】
重ね合わせ順の決定（ステップ２０２）
オブジェクト領域間の重なりを許しながらその重なり順序を記述した階層構造を生成する。重ね合わせの順序が最も下位のオブジェクト領域以外のオブジェクト領域は、その輪郭形状に関する情報をも有している。なお、ここでは、以下に述べるような、レイヤ画像表現が用いられる。
【００２３】
レイヤ画像表現とは、例えば、輝度、不透明度、動きなどによってその属性が記述された二次元的なレイヤを空間的に重ね合わせたものとして入力動画像系列を表現しようとするものである。それぞれのレイヤは、例えば、以下の三種類のマップを有するように構成してもよい。
【００２４】
(1) 輝度マップ(Intensity Map)
レイヤの各点において相加的に取り扱われるテクスチャを表したマップである。
(2) アルファマップ(Alpha Map)
レイヤの各点において不透明度や透明度を指定したマップである。これにより、複数のレイヤの重ね合わせのルールが明確に定義される。各レイヤの奥行きの順に並べられ、この重ね合わせのルールに従って、影やハイライトなども含めた一般的な隠蔽関係を陽に考慮して画像が合成される。
(3) 速度マップ(Velocity Map)
レイヤが時間的にどのように変形するのかを指定したマップである。なお、速度マップのみではレイヤの時間的な変化を充分に捉えることができない場合には、さらにデルタマップ、すなわち、輝度マップを時間的に更新するための輝度値の時間的変化を表したマップを用いてもよい。
【００２５】
なお、レイヤ画像表現に関する基本的事項は、「テレビジョン学会誌Vol.49, No.49 pp523〜pp534(1995)」に説明されている。
【００２６】
本ステップでは、下位のオブジェクト領域の内で上位のオブジェクト領域で覆われている部分は、任意データ領域としている。すなわち、上位のオブジェクト領域（例えば、雲）を切り取った後の下位のオブジェクト領域（例えば、空）では、上位のオブジェクト領域が存在しない空の領域の一部分に空白部分が生じる。この空白部分は、上位のオブジェクトで隠れているため、実際には、どのようなデータを補っても良い。そこで、この部分を任意データ領域として、データ圧縮に有利となるデータでこの領域を補完する。この補完は、具体的には、任意データ領域には、上位オブジェクト領域の輪郭線の周辺領域を延長して、後述する最も大きな三角パッチで平面近似できるようなデータを補う。
【００２７】
このように任意データ領域を設けたのは、単に動画像の圧縮・再生に有利なだけではなく、下位のオブジェクト領域の圧縮においても有利である点に着目したためである。
【００２８】
また、あるオブジェクトは上位のオブジェクト領域に対して、上位のオブジェクト領域が有する輪郭形状からのはみ出しを認めている。図３は、あるオブジェクト領域の輪郭形状からのはみ出しを示す図である。この図において、あるオブジェクト領域の輪郭形状である曲線に沿って領域を表現すると、輪郭近傍で同一要素を有する非常に多くの三角形を用いなければならない。しかしながら、領域のはみ出しを認める方法を用いると、少数の三角形で曲線の輪郭領域が表現できる。そして、上位レイヤは輪郭形状に関する情報を有するため、輪郭形状からはみ出した領域を再生しても、実際に下位レイヤに重ねて再生するときに、輪郭内部の情報だけを重ね合わせればよい。図４は、図２の画像の階層構造表現を模式的に示した図である。
【００２９】
領域内の平面近似（ステップ２０３）
ステップ２０１、２０２により分割されたそれぞれの領域について、その輝度値及び色が、ある閾値以内の誤差に収まるように平面近似する。領域内部の表現には、多角形（好ましくは、三角形）で平面近似を行う。従来より領域の表現には、４分木がメモリの効率から計算機内部の表現に適しているとされているが、規則的な矩形で画像を表現するとブロック歪みの問題が生じる。そこで、これを回避するために、三角パッチで輝度値及び色の平面近似を行う。図５は、領域内画像の平面近似を示した図である。
【００３０】
図５（ａ）は、ｘ、ｙを画像の空間軸に一致させ、ある空間領域の輝度値Ｙを高さで表現し、色Ｃb、Ｃrをベクトルで表現している。これに基づき、輝度値及び色の誤差が所定の閾値以内に収まるように複数の三角形平面で平面近似するしたのが、図５（ｂ）である。これは、ある閾値内に収まる領域について三角形平面で近似し、さらに隣り合う平面との連続性が保たれるように、画像をサーフェスモデルで近似する。この１つの三角形平面は、その内部は相関がある程度ある領域である。従って、この三角形平面の１つまたは複数でオブジェクト領域が形成されることになる。
【００３１】
残差画像の作成（ステップ２０４）
ステップ２０３による平面近似から、ある領域を平面で近似した近似領域画像と原画像から近似領域画像との差である領域残差画像が得られる。図（ｃ）は、原画像（図５（ａ））とサーフェスモデルで近似した画像（図５（ｂ））との差をベクトル表示したものである。これを１次残差画像と呼ぶ。
【００３２】
残差画像の圧縮（ステップ２０５）
残差画像を近似画像に加える。領域を平面近似した場合には、画像の構造は理解できるが、原画像が有する質感は得られない。そこで、リアルな質感を得るために、残差画像を近似画像に加えることが必要となる。領域残差画像では、すべての領域で生成され、すべてを集めたものを１次残差画像とする。１次残差画像では、その画素は生成時の閾値におさえられているため、原画像の階調より小さなレベルになる。原画像では、領域内に強い相関があるが、領域外の相関は弱い。一方、残差画像では、領域内外で相関がない可能性が高い。しかしながら、残差の現れ方は遠く離れた部分領域でも同じように多数存在すると考えられる。そのため、領域を考慮しないで、残差画像の全部を符号化する従来手法が利用できる。
【００３３】
この画像圧縮方法には、従来の量子化ベクトル法や予測符号化法を利用する。本実施例においては、１次残差画像は圧縮率が高いがロッシーであるため、圧縮した１次残差画像を再生して近似画像を加えても、原画像とは一致しない。そこで、１次残差画像を圧縮して、伸張したものと１次残差画像との差を求め、これを２次残差画像とし、１次残差画像の圧縮データを蓄積する。２次残差画像は１次残差画像と比べて、画素ごとの階調レベルが小さくなる。従って、この操作をｎ回繰り返すとｎ＋１次残差画像では、すべての画素が０となるようなｎが存在する。これはすべての画素が１階調以内になったとき、ベクトル量子化に基づく方法では、コードブックですべてのパターンが表現できるからである。この最後のｎ次までの残差画像を蓄積しておくと、ロスレスの画像を再生することができる。
【００３４】
残差画像が０であるかの判断（ステップ２０６）
以上のステップにより、高次の残差画像を求めていく。そして、これらの操作をｎ回繰り返すと（ｎ＋１）次残差画像において、すべての画素が０になったら圧縮を終了する。これは、すべての画素が１階調以内になったとき、ベクトル量子化に基づく方法では、コードブックですべてのパターンが表現できるからである。この最後のｎ次の残差画像を蓄積していくと、ロスレスの画像を再現できる。
【００３５】
このように平面近似画像及びｋ次の残差画像を指定することで、ユーザは多段階で再生画像の画質を復号することができる。例えば、動画像や静止画の高速な検索を実行している場合に、画質が高画質であることは必ずしも要求されないので、平面近似画像と１次残差画像で十分な場合が多い。しかしながら、静止したときや所望の静止画が見つかった場合には、高次の残差画像を利用して、高画質な画像を表現することができる。さらに、印刷等で必要になればｎ次までの残差画像を利用して、原画像を完全に復元することができる。
【００３６】
実施例で示した画像圧縮方法においては、画像の概形を表現するオブジェクト領域の平面近似が、多面体のパラメータで表現できるため、ユーザが表示装置の解像度に依存しない特徴に加え、ユーザが多段階に画質、データ量を選べることができ、それをスケーラブルに行える点に特徴がある。ここで、スケーラブルとは、復号化可能な圧縮データにさらにデータを付加することによって、より高画質のデータを復号化できることである。
【００３７】
図６は、本実施例における画像圧縮システムのブロック図である。まず画像データは、画像入力部６１に入力される。つぎに、画像入力部から出力されたデータが、階層構造決定手段６２により、原画像を所定の相関を有するオブジェクト領域ごとに分割し、前記オブジェクト領域の階層構造が決定される。次に、平面近似手段６３により、オブジェクト領域が輝度値及び色の誤差が所定の閾値以内に収まるように複数の多角形平面で平面近似される。
【００３８】
残差計算手段６４により、原画像と平面近似された画像との差が求められる。これが、１次残差画像である。そして、圧縮手段６５により、１次残差画像が符号化されて圧縮される。記憶手段６６は、平面近似された画像及び符号化された１次残差画像を記憶する。さらに、圧縮された１次残差画像は、伸張手段６７により伸張される。残差計算手段６４は、この伸張して得られた画像と１次残差画像との差から２次残差画像を、さらにｋ次残差画像とその圧縮と伸張処理によって得られた画像の圧縮結果を記憶する。
【００３９】
最後に、本実施例における方法で符号化されたディジタル画像の復号化方法について言及する。まず、原画像を所定の相関を有するオブジェクト領域ごとに分割し、前記オブジェクト領域の階層構造を決定し、前記オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように１以上の三角形平面で平面近似して得られた平面近似データを復号する。そして、表示画面にこの復号された平面近似データを表示する。この表示により、ユーザは表示画面の大まかな内容を理解できるであろう。
【００４０】
次に、原画像と平面近似した画像との差を求めることにより得られた１次残差画像データを復号し、この復号された１次残差画像データを復号された平面近似データに加える。そして、この結果が、表示画面に表示される。この表示され得た画像は、平面近似データのみに基づく画像よりも当然高画質である。
【００４１】
圧縮された１次残差画像を伸張して得られた画像と１次残差画像との差から得られた２次残差画像データを復号し、この復号された２次残差画像データを復号された平面近似データ及び復号された１次残差画像データに加える。そして、この結果が、表示画面に表示される。この画像は、さらに高画質になっている。
【００４２】
上記の手順を再帰的に実行して、高次の残差画像データを復号して、表示された画像、すなわち、復号された平面近似データ及び複数の残差画像データより求まる画像に加える。このように、より高次の残差画像を再帰的に復号して、既表示画像に係るデータに加えていくことにより、最終的にはロスレスの画面が再現できる。
【００４３】
なお、以上復号化の概略的な方法について説明したが、その具体的な内容は、符号化方法と共通するので詳細な説明を省略する。必要に応じて、符号化方法の欄を参照されたい。
【００４４】
【効果】
このように、実施例で示した画像圧縮方法においては、ユーザが多段階に画質、データ量を選べることができ、それをスケーラブル、すなわち、復号化可能な圧縮データにさらにデータを付加することによって、より高画質のデータを復号化できる。
【図面の簡単な説明】
【図１】画像圧縮方法を示すフローチャートである。
【図２】三次元のシーンを二次元に投影した画像の一例である。
【図３】あるレイヤの輪郭からのはみ出しを説明するための図である。
【図４】画像を階層構造表現を模式的に示す図である。
【図５】領域内画像の平面近似を示した図である。
【図６】画像圧縮システムのブロック図である。

Claims

画像データの圧縮方法において、
(a)その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割するステップと、
(b)前記オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように１以上の多角形平面で平面近似するステップと、
(c)原画像と前記平面近似した画像との差を求めることにより１次残差画像を求めるステップと、
(d)前記１次残差画像を符号化して圧縮するステップと
を有することを特徴とする方法。
(e)圧縮された前記１次残差画像を伸張して得られた画像と前記１次残差画像との差から２次残差画像を求めるステップ
をさらに有することを特徴とする請求項１に記載の方法。
(f)上記ステップ(d)及び上記ステップ(e)を再帰的に実行して、高次の残差画像を順次求めるステップ
をさらに有することを特徴とする請求項２に記載の方法。
前記多角形平面は、三角形平面であることを特徴とする請求項１、２又は３に記載の方法。
重ね合わせの順序が最も下位の前記オブジェクト領域以外の前記オブジェクト領域は、その輪郭形状に関する情報を有することを特徴とする請求項１、２又は３に記載の方法。
上記ステップ(b)において、前記オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まる範囲ごとに多角形平面で近似することを特徴とする請求項１、２、３又は５に記載の方法。
一の前記オブジェクト領域のうち、それよりも上位にある他の前記オブジェクト領域が存在する位置に対応する対応領域に、一の前記オブジェクト領域が他の前記オブジェクト領域の前記輪郭形状に依らずに多角形平面で近似できるようなデータを補完することを特徴とする請求項５に記載の方法。
前記輪郭形状に関する情報を有する前記オブジェクト領域を、前記輪郭形状からはみ出した複数の多角形平面で近似することを特徴とする請求項５に記載の方法。
画像データの圧縮システムにおいて、
その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割する手段と、
前記オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように１以上の多角形平面で平面近似する手段と、
原画像と前記平面近似された画像との差を求めることにより１次残差画像を求める手段と、
前記１次残差画像を含むｎ次（ｎ≧１）残差画像を符号化して圧縮する手段と、
前記平面近似された画像及び符号化され圧縮された前記ｎ次残差画像を記憶する手段と
圧縮された前記ｎ次残差画像を伸張して得られた画像と前記ｎ次残差画像との差から、（ｎ＋１）次残差画像を求める手段と
を有することを特徴とするシステム。
画像データの復号方法において、
(a)その同一領域内の画素が互いに所定の相関を有するオブジェクト領域が重畳されて原画像が得られるように、前記オブジェクト領域を階層化し定義して前記原画像を分割し、前記オブジェクト領域を輝度値及び色の誤差が所定の閾値以内に収まるように１以上の多角形平面で平面近似して得られた平面近似データを復号するステップと、
(b)前記原画像と前記平面近似した画像との差を求めることにより得られた１次残差画像データを復号するステップと、
(c)復号された前記１次残差画像データを復号された前記平面近似データに加えるステップと
を有することを特徴とする方法。
(d)圧縮された前記１次残差画像を伸張して得られた画像と前記１次残差画像との差から得られた２次残差画像データを復号するステップと、
(e)復号された前記２次残差画像データを復号された前記平面近似データ及び復号された前記１次残差画像データに加えるステップと
をさらに有することを特徴とする請求項１０に記載の方法。
(f)高次の残差画像データを復号して、すでに復号された前記平面近似データ及び前記残差画像データに加えるために、上記ステップ(d)及び上記ステップ(e)を再帰的に実行するステップと
をさらに有することを特徴とする請求項１１に記載の方法。