JPH06334868A - 画像符号化および復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 フラクタル性を利用して画像のテクスチャに
関する特徴量を求め，この特徴量からテクスチャを再現
することにより，高圧縮率を得るためには落ちる傾向の
あるテクスチャ情報をわずかな情報で符号化する。 【構成】 フラクタル次元等の画像のテクスチャを代表
する特徴量を求めるテクスチャ特徴抽出部とこれを符号
にする符号化部を設け，これと通常の変換符号化やベク
トル量子化による符号化と合わせて最終的な符号を得る
ように符号化装置を構成する．復号はフラクタルモデル
によりテクスチャを再現し，その他の成分からの再生画
像と重畳する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，画像情報の圧縮を行な
う符号化装置とこれに対応する復号化装置，特に高圧縮
率下で画像の大域的な構造とテクスチャとをともに保存
することが可能な画像の符号化・復号化装置に関する。

【０００２】

【従来の技術】マルチメディア技術の発展に伴い，より
大量の画像情報を取り扱う必要性が増加している．計算
機の上で画像を取り扱うためにはより高い圧縮率を実現
することが求められ，また対話性によるストーリーの分
岐などから，より長時間・大量の画像情報を記録・伝送
する必要性が増加している。

【０００３】画像情報を離散コサイン変換(ＤＣＴ)を基
本とする圧縮手法が現在中心に用いられているが，この
手法は，画面を一定の大きさのブロックに切りわけ，周
波数領域への変換を施すと，低周波域に情報が集中する
ことを利用して圧縮を行なっている。

【０００４】また，より高い圧縮率をもたらす手法とし
てベクトル量子化（ＶＱ)が提案されているが，これは
複数のサンプルをまとめてベクトルとして符号化するこ
とにより，複数サンプル間の冗長性を利用しようという
ものである。

【０００５】一方，画像の合成や解析での分野を中心
に，画像のフラクタル性を利用すれば質感やテクスチャ
をコンパクトに表現できることが注目されている．フラ
クタル性を利用して画像の符号化を行なう手法も，「輪
郭のフラクタル性を利用した画像符号化，鈴木他，テレ
ビジョン学会技術報告 Vol. 16, No. 9 pp. 7-12」など
に示されるように提案されている．画像のフラクタル性
に注目し，波形を保存する必要のない部分についてはフ
ラクタル特徴を符号とすることにより，効率的な符号化
を行なおうという手法である。

【０００６】また別に離散コサイン変換の変換関数にフ
ラクタル性を加える手法なども提案されているが，これ
は原画像のフラクタル次元を求め，そのフラクタル次元
に近付くように逆ＤＣＴ関数にフラクタル性を持たせる
手法であり，フラクタル次元に関しては原画像により近
い再生画像がコンパクトな符号から得られることが示さ
れている。

【０００７】

【発明が解決しようとする課題】ＤＣＴによる情報の集
中を利用する手法では圧縮率を高めるとブロック状のノ
イズが発生したり，細かいエッジの情報が多い部分では
周波数成分の低域へのエネルギの集中を利用した圧縮が
効果的に働かないなどの問題点があった。また，高圧縮
率を目指したＶＱについても，計算時間が膨大になるな
ど実用化には問題点もある．両手法とも，高圧縮率を求
めると，高周波域の情報が多い場合には良好な圧縮が行
なえなかった。

【０００８】またフラクタル特徴を用いた画像圧縮手法
は，波形を保存する形で符号化を行なう変換手法による
圧縮との切替えで用いるものとされており，原画像が波
形の保存を必要とするかしないかということが必ずしも
明確に判別しがたい一般的な画像については適用が難し
く，波形の保存とテクスチャの保存の両方を満足するも
のではなかった。

【０００９】さらに変換関数にフラクタル性を加える手
法は，画像のテクスチャの特徴をとらえ，そのテクスチ
ャ特徴に応じて符号を切替えるものではないので，テク
スチャ画像に対してより高い圧縮率を得るという効果が
得られない。

【００１０】これらの手法は画像の持つフラクタル性に
注目し，フラクタル次元を近似的に再生することによっ
てフラクタル次元に関して原画像に近付けようとするも
のであり，テクスチャ情報を符号化に積極的に利用しよ
うとするものではなかった。

【００１１】本発明は，このような問題点を解決し，画
像のテクスチャをとらえ，テクスチャに関する情報を符
号に加えることによって，高圧縮率の下で良好な性能を
発揮する画像符号化装置を提供するものである。

【００１２】

【課題を解決するための手段】画像を分割して各部分ご
とにテクスチャ特徴を求める。このためには，フラクタ
ル次元や自己相関などの特徴量を用いる。この特徴量に
よってその領域の対象物がフラクタル性の高い自然物の
テクスチャを持っているか，人工的なテクスチャを持っ
ているかを判別する．一般的にはフラクタル次元が高い
場合には，自然のパタンと判断する。

【００１３】そして，フラクタル性が高いと判定された
場合は，テクスチャを表現する特徴量を符号とし，非フ
ラクタルパタンの場合にはベクトル量子化などの変換符
号化の手法を用いて符号化する。

【００１４】また，輝度に応じたクラスタリングの結果
を用いて符号化を行なう手法にテクスチャによるクラス
タリング結果を組み合わせ，輝度クラスタとテクスチャ
クラスタ，輝度分布とテクスチャ特徴との組合せを符号
とすることによって，大域的な輝度の情報だけでなく，
各領域のテクスチャも含めて符号を形成する。

【００１５】あるいは，画像全体を周波数帯域によって
複数プレーンに分割して各プレーンごとに符号化を行な
うサブバンド符号化手法では，高周波域のプレーンにつ
いてはテクスチャを表現していると見ることができる。
従って，高周波域のプレーンについてはテクスチャを代
表する特徴量によって符号化し，低周波域のプレーンに
ついては通常の変換符号化を行なうことによって符号を
形成する。

【００１６】

【作用】フラクタル次元を用いて画像のテクスチャの種
類を判別し，テクスチャ情報を符号として持つことによ
って，従来のような領域変換では欠けてしまうテクスチ
ャについての情報を有効に符号化することができる。ま
た高周波成分をテクスチャ情報としてわずかな情報で表
現することにより，低周波成分により多くの情報を割り
当てて符号化することが出来る。

【００１７】このため，高い圧縮率の下でも原画像の大
局的な構造の情報を損なうことなく，符号化・復号化を
行なう装置を提供することが出来る。

【００１８】輝度による領域分割とテクスチャによる領
域分割の結果を利用する方法では，テクスチャに関する
情報を符号に含めることによって，輝度クラスタと輝度
分布との情報による再生画像が平板になってしまうのを
避けて，原画像のもつテクスチャや質感を再現すること
ができる。

【００１９】また，サブバンド符号化で高周波域のプレ
ーンをテクスチャ特徴を用いて符号化する方法では，高
周波域のプレーンが主に画面中の各部分のテクスチャの
情報を多く含んでいるため，変換符号化の手法を用いる
よりもテクスチャ特徴を符号とした方がより小量の符号
で有効な情報を符号化することができる。

【００２０】

【実施例】以下，本発明の実施例について，図面をもと
に説明する。

【００２１】（実施例１）図１に示すのは，本発明の第
1の実施例の画像符号化装置である。本実施例では静止
画の1フレームを入力とし，この入力画像に対する符号
を生成する。図1において，入力画像は画像入力部１０
１に与えられ，ブロック切り出し手段１０２において，
所定の大きさ，例えばＮ×Ｎ画素のブロックに切り分け
られる。切り分けが行なわれたブロックは，ＤＣＴ変換
部１０３に供されて周波数領域に変換される。量子化を
行なった後，予め定められた範囲の低周波域のＤＣＴ係
数から逆ＤＣＴ変換部１０４で再生画像を作る。テクス
チャ特徴抽出部１０５では逆ＤＣＴ変換部１０４で得ら
れた再生画像と原画像との差分から，テクスチャを表現
するフラクタル特徴量が抽出される。ＤＣＴ変換部１０
３とフラクタル特徴抽出部１０５の出力は，量子化符号
化部１０６で符号に変換されるが，量子化符号化部１０
６の動作はフラクタル性判定部１０７の働きにより制御
される。

【００２２】各部分の動作をより詳細に説明する。テク
スチャ特徴抽出部１０５では，画像中の与えられたブロ
ック中のテクスチャを表現する特徴量を抽出する。この
特徴量としては，フラクタル次元，分散，エントロピー
などをとることができるが，ここではフラクタル次元Ｆ
ｄと分散Ｖとの２つを特徴量として抽出する。フラクタ
ル次元にはさまざまの求め方があるが，ここでは自己相
似性を代表するパラメータであるＨを用いる。2次元空
間上の曲面については，このＨはフラクタル次元Ｆｄと
Ｈ＝３−Ｆｄ の関係にある。Ｈは［０，１］区間中の
値をとり，Ｈの値が高いほど乱雑で自己相似性が強いフ
ラクタルパタンであるということを示す。所定の領域に
ついてのＨは，画面の輝度分布をフラクタルブラウン関
数と仮定すると，

【００２３】

【数１】

【００２４】の関係が成立することを利用し，dx と v
(x+dx)-v(x) との間の関係を最小自乗法で直線近似し，
その傾きをＨとする。

【００２５】また，分散Ｖは，

【００２６】

【数２】

【００２７】として求められる。フラクタル性判定部１
０７では，この領域内のテクスチャのフラクタル性を上
記の２つの特徴量から求める。ＨとＶとは共にフラクタ
ル性が高い時に大きい値を持つので，ＨとＶの値が高い
時にはフラクタル性が高いと見て，Ｆ＝Ｈ＋ｋＶ（ｋは
スケーリングファクタ）をフラクタル性を代表する量と
する。このＦの大小に従って，量子化符号化部１０６の
動作を制御する。すなわち，ＤＣＴ変換部１０４から得
られるＤＣＴ係数とテクスチャ特徴抽出部１０５から得
られるテクスチャ特徴量のどちらに重点を置いて符号化
するかを決定する。ＤＣＴ係数とテクスチャ特徴量との
比率は，フラクタル性の大小に従って，一般的にはＦが
大きい場合にはテクスチャ特徴量を入れて，Ｆが小さい
場合にはテクスチャ特徴量を加えずにＤＣＴ係数のみで
符号を形成する。この判断は，フラクタル性判定部１０
７において行なわれ，判定信号を量子化符号化部１０６
に渡す。量子化符号化部１０６はこの判定信号に従っ
て，最適な符号を形成する。以上が符号化器の動作であ
る。

【００２８】本実施例の符号化装置による符号から再生
画像を得るためには，符号化時とは逆に，ＤＣＴ係数か
ら逆ＤＣＴによって画像を生成し，この再生画像をベー
スとして，この上にテクスチャ特徴量から決まるテクス
チャを重ねる形で最終的な再生画像を得る。

【００２９】テクスチャの再生には中点変位法を用い，
ＤＣＴ係数から得られる再生画像とは別に生成する。最
初に領域の４隅の画素の値を0と決め，以下の式を順次
適用して行くことにより，テクスチャ画像を生成する。

【００３０】

【数３】

【００３１】ｖは画素値，ｖｎは既に決まっているもっ
とも近傍の画素の値である。この手続きによって，与え
られたＨとＶとで決まるテクスチャ画像が再現される。
生成された画像を再生画像に重畳して，最終的な出力画
像とする。

【００３２】（実施例２）次に本発明の第２の実施例で
ある画像処理装置について示す．本実施例は，従来の濃
淡を用いた領域分割による画像符号化とテクスチャ特徴
による領域分割を用いた符号化とを合わせ，従来の濃淡
による領域分割に基づいた画像圧縮にフラクタル特徴に
よってテクスチャ情報を付加し，質感や光の状態の表現
を図ったものである。

【００３３】濃淡について領域分割を行なった後，領域
内の輝度分布の表現をフラクタルによって行なうという
手法は既に開発されているが，本実施例では，テクスチ
ャの分布が必ずしも輝度の分布とは直接の対応を持た
ず，テクスチャによる領域分割を別に行なった方が，よ
り忠実に原画のテクスチャをとらえ得るということに着
目し，濃淡とテクスチャとの２つの領域分割の結果から
画像に対応する符号を形成する。

【００３４】以下，図２をもとに，本実施例の画像符号
化装置の構成について説明する。画像入力部２０１から
供給された入力画像は，２つのクラスタリング手法を用
いててそれぞれクラスタリングが行なわれる。第１のク
ラスタリング手法は，画面中のテクスチャ特徴によって
クラスタリングを行なうものであり，第２のクラスタリ
ング手法は画面中の輝度情報に基づく。まず，テクスチ
ャ特徴抽出部２０２では，画像中の各点について，テク
スチャを示すフラクタル特徴量を求める。求める特徴量
は第１の実施例と同様ＨとＶとの２つである。各点の特
徴量を求めるには，その点を中心とする近傍領域（ここ
では９×９）を取り，この領域に対して特徴量を求める
ことにより行なう。テクスチャクラスタリング部２０３
では，画面上の各点について抽出された２つの特徴量か
らなるベクトルでクラスタリングを行なう。クラスタリ
ング結果は，クラスタ分割に関する情報であるテクスチ
ャクラスタとこのクラスタ内の代表的なテクスチャの特
徴を与えるテクスチャ特徴量とで与えられる。

【００３５】また，輝度クラスタリング部２０５は，画
面の輝度によってクラスタリングを行ない，クラスタ分
割に関する情報である輝度クラスタと各クラスタ内の輝
度分布とを出力する。フィルタ２０４は平滑化を行なう
ためのものである。クラスタ統合部２０６はテクスチャ
クラスタと輝度クラスタの双方で類似するクラスタをマ
ッチングによって抽出し，類似のクラスタがある場合に
は，輝度クラスタの情報でテクスチャクラスタを代用す
る。この結果は，クラスタ情報として出力され，テクス
チャ特徴量，輝度分布と合わせて量子化符号化部２０７
において記号に変換される。

【００３６】本実施例の動作は，以下のようである。本
実施例の符号化装置の動作のうち，輝度クラスタリング
を用いる部分については，通常の領域分割を用いた符号
化手法と同様であり，輝度については連続した輝度分布
を持つ領域に領域分割を行なってクラスタリングする。
各クラスタ内の輝度分布は一定値または２次までの多項
式で表現する。画面の大局的な配置はこの輝度に基づい
たクラスタリングの結果で与えられるが，領域内の輝度
分布は簡単な式で表現するために細かなテクスチャは表
現されない。そのためテクスチャに関する特徴量を取
り，この特徴量をもとにクラスタリングを行なうことに
より，テクスチャについての情報も保存する。テクスチ
ャクラスタと輝度クラスタとは重複する場合があるた
め，テクスチャクラスタの一部は輝度クラスタで代用が
可能である。このため，クラスタ統合部２０８では輝度
クラスタを基本とし，テクスチャクラスタは輝度クラス
タとの比較を行ない，近似している輝度クラスタがあれ
ばそれで代用する。またこの方法とは別に，テクスチャ
クラスタは輝度のクラスタと同じものとし，各輝度クラ
スタについてテクスチャ特徴量を求めて，輝度クラス
タ，輝度分布，テクスチャ特徴量の３つから符号を形成
することもできる。

【００３７】本実施例の復号化装置については，その概
略の動作のみを示す。復号装置に与えられる情報は，輝
度およびテクスチャのクラスタ，各クラスタ内の輝度分
布またはテクスチャ特徴量である。輝度とテクスチャに
ついては別々に再生を行なう。輝度については輝度分布
を与える多項式で与えられる平面を輝度クラスタ内に割
りつけることによって，再生画像が得られる。また，テ
クスチャに関しては，あるテクスチャクラスタを選択し
た時，その領域内で第１の実施例と同様，中点変位法な
どを用いてテクスチャパタンを生成する。このようにし
て得られた輝度に関する画面とテクスチャに関する画面
とを重畳して，最終的な復号画像を得ることになる。

【００３８】（実施例３）次に本発明の第３の実施例に
ついて以下に示す。本実施例の構成のうち一部は，サブ
バンド符号化の手法に基づいたものである。画像入力部
３０１から入力された画像は，それぞれ垂直水平方向の
空間フィルタであるフィルタ群３０２，３０３によって
低周波域の成分が得られる。このフィルタ群にはＱＭＦ
等のフィルタを用いることができる。これらのフィルタ
の出力としては水平方向，垂直方向ともに高周波域成分
がカットされた低周波域の画像が得られる。差分画像抽
出部３０８では，原画像と低周波域の画像の差分を取っ
て低周波域の画像を補完する高周波域の画像を得る。低
周波域の画像は垂直水平方向のダウンサンプラ３０４，
３０５によって間引きを行ない，ＤＣＴ変換部３０６で
周波数領域に変換し，変換係数を符号化部３０７で量子
化および符号化する。さらに，高周波域の画像について
はテクスチャ特徴抽出部３０９で領域ごとにフラクタル
特徴を抽出し，符号化部３１０で符号に変換する。２つ
の符号化部３０７と３１０との出力は符号合成部３１１
で合成されて，最終的な符号を形成する。

【００３９】フィルタ群３０２，３０３は画像全体の中
から低周波領域の成分のみを抽出する働きをする。低周
波領域の画像は画像の大域的な構造を保っており，高周
波域の画像は，局所的なテクスチャやエッジなどの情報
を多く含んでいる。フィルタ群の働きはこれを分解する
ことにあるので，高周波域の画像を求めるために差分画
像抽出部を設けるのではなく，フィルタバンクの形で同
様の効果を得ることもできる。

【００４０】周波数帯域により分割された画像のうち，
低周波域の画像は原画像の大域的な構造を持っているの
で，従来画像符号化に用いられているＤＣＴ等の変換符
号化によって符号に変換する。ここにはＶＱなどの圧縮
手法を適用することもできる。高周波域の画像は原画像
のテクスチャに関する情報を持っていると見て，テクス
チャ特徴を抽出して符号に変換する。テクスチャの符号
化の方法は，第１の実施例ないし第２の実施例に示した
のと同様のものであるので，詳細な記述は省略する。第
１の実施例と同様の方法をとった場合には，画像を所定
の大きさの領域に分割して，分割された各領域ごとにテ
クスチャ特徴量であるＨとＶとを求め，これを符号とす
る。この場合はアルゴリズムが簡潔になる利点がある。
また第２の実施例と同様の方法を取った場合には，画像
上の各点について局所的なテクスチャ特徴を求め，テク
スチャ特徴に基づいてクラスタリングを行ない，クラス
タ分割の情報と各クラスタ内のテクスチャ特徴とを符号
とする。この場合はテクスチャの特徴がより正確に再現
できる。

【００４１】以上示した３つの実施例では，テクスチャ
特徴をとらえて符号化するに当たって，ＨとＶの２つの
パラメータを抽出しこれらを符号とし，復号時にはこれ
らのパラメータから再度フラクタルモデルによってテク
スチャパタンを再生していた。

【００４２】これに代わって，代表的なテクスチャパタ
ンを画面の一部から切りだし，これをテクスチャに対す
る符号とすることも出来る。そして，テクスチャ特徴を
比較することにより，同じテクスチャを持つと考えられ
る領域には，代表にとったテクスチャパタンをマッピン
グする。

【００４３】また実施例中では，対象とする画像は１枚
の静止画として説明したが，同様の手法を用いてカラー
画像など複数プレーンから構成される画像に対しても，
各プレーンごとに同様の手法を適用することによって本
発明を適用することができる。

【００４４】また，動き補償等との組合せで，動画像の
符号化に適用しても同様の効果が得られる。

【００４５】

【発明の効果】テクスチャに関する情報をパラメータと
して符号化することにより，原画像のテクスチャに関す
る情報をわずかな情報量で保存し，画像の大域的な構造
に関する情報，あるいは低周波領域の情報に符号の容量
をより多く割り当てることができる。これにより，圧縮
率の高い領域で原画像を良好に再現することが可能な画
像符号化装置および対応する復号化装置を提供する。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示すブロック図

【図２】本発明の第２の実施例の構成を示すブロック図

【図３】本発明の第３の実施例の構成を示すブロック図

【符号の説明】

１０１，２０１，３０１ 画像入力部 １０２ ブロック切り出し手段 １０３，３０６ ＤＣＴ変換部 １０４ 逆ＤＣＴ変換部 １０５，３０９ テクスチャ特徴抽出部 １０６，２０７ 量子化符号化部 １０７ フラクタル性判定部 ２０２ テクスチャ特徴抽出部 ２０３ テクスチャクラスタリング部 ２０４ フィルタ ２０５ 輝度クラスタリング部 ２０６ クラスタ統合部 ３０２，３０３ フィルタ ３０４，３０５ ダウンサンプラ ３０７，３１０ 符号化部 ３０８ 差分画像抽出部 ３１１ 符号合成部

Claims (3)

【特許請求の範囲】
1. 【請求項１】対象画像を所定の大きさのブロックに分割
   するブロック切り出し手段と，分割されたブロックに対
   してフラクタル次元および分散等のテクスチャ特徴を求
   めるテクスチャ特徴抽出部と，同ブロックに対するフラ
   クタル性の度合を判断するフラクタル性判定部とを有
   し，フラクタル性が高いと判断された場合には画像ブロ
   ックの低周波成分の変換符号とフラクタル次元などのテ
   クスチャ特徴のパラメータとの組合せを符号とし，フラ
   クタル性が低いと判断された場合にはブロック全体を変
   換符号化手法によって符号化することを特徴とする画像
   符号化装置。
2. 【請求項２】対象画像の局所的なフラクタル次元および
   分散等のテクスチャ特徴を求めるテクスチャ特徴抽出部
   と，前記テクスチャ特徴を用いて画像をクラスタリング
   するテクスチャクラスタリング部と，輝度についてのク
   ラスタリングを行なう輝度クラスタリング部と，テクス
   チャクラスタと輝度クラスタとを統合するクラスタ統合
   部と，統合されたクラスタ情報とテクスチャ特徴および
   輝度分布によって符号を構成する量子化符号化部とで構
   成される画像符号化装置と，輝度クラスタと輝度分布と
   を用いて復号を行なった画像の上に，テクスチャクラス
   タとテクスチャ特徴からテクスチャを再構成したものを
   重畳して再生画像を得ることを特徴とする画像復号化装
   置とからなる画像符号化・復号化装置。
3. 【請求項３】対象画像全体を周波数帯域で分割するフィ
   ルタバンクおよびダウンサンプラを有し，前記フィルタ
   バンクによって分割された画像のうち低周波域の画像に
   ついて，変換符号化等の波形符号化手法を用いて圧縮を
   行なう手段と，高周波域の画像について，フラクタル次
   元等のテクスチャ特徴を求めるテクスチャ特徴抽出部
   と，抽出されたテクスチャ特徴を符号に変換する符号化
   部とを備え，こ両画像から得られる符号を合成した符号
   を出力することを特徴とする画像符号化装置。