JPH0334690A - 画像符号化装置及び画像復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） この発明は電子スチルカメラ、画像データベース、カラ
ーファクシミリ等の静止画像、あるいはＴＶ会議システ
ム、ＴＶ電話等の動画像の圧縮符号化のうちの画像の階
層的符号化方式に係る画像符号化方式に関する。

（従来の技術） 画像の階層的符号化方式には、ブロックごとに直交変換
を行なった後、その変換係数を直流成分から高次の交流
成分へと順次伝送する方式、あるいはデータベース等に
格納する方式がある。この手法は伝送されてきた画像、
あるいは格納されている画像を再生する際に、直流成分
または直流成分と低次の交流成分のみの画像を短時間で
再生することにより、その画像の概要を少しでも早く提
供できるという利点がある。また、データベース等の検
索画像としても利用されるため、処理時間を出来るだけ
少なくして、短時間に目的の画像を表示させる必要があ
る。

一方この様な階層的符号化方式においては、直流成分か
ら低次の交流成分を予測することによって、交流成分の
情報量を削減することが可能である。つまり直流成分が
求められた段階で、交流成分の予測が出来れば、その予
測誤差のみについて交流成分の符号化を行なえば良いた
め、情報量が削減されることになる。また、検索用画像
として直流成分画像を用いる場合も、直流成分のみから
ある程度の交流成分が予測できれば、直流成分のみの画
像に比べて画質の向上がはかれることになる。

直流成分のみから交流成分を予測するには、ブロックご
とに求められている直流成分のブロック間の変化量を利
用して算出する手法をとるが、これらの実際の手段とし
て従来は、２１次曲面の式を用いて曲面近似を行なう手
法（加藤、パ平均値分離形ブロック符号化方式の符号化
効率改善″′、昭和６２年度電子情報通信学会総合全国
大会１ｉｓａ）や、輝度変化がブロック間で滑らかに接
続していることを利用する手法（井沢、木村、滝沢、″
静止画像の階層的符号化における画質改善の一検討″Ｐ
　ＣＳ　Ｊ　８７．４−１）などが提案されている。　
しかし前者は、２次曲面の式およびそれらを含む５元連
立方程式を解く必要があり、また、後者では、８×８の
実数の７１−リクス演算を行なう必要があるためそれぞ
れに多くの計算量と計算時間とを必要とする。しかもこ
れらの手法は、段階的にではなく一度に交流成分の予測
を行なってしまうため、処理時間に余裕がない場合であ
っても途中で処理な打ち切ることが不可能であり、この
様な場合はじめから予測処理を適用できないという不都
合もある。

（発明が解決しようとする課Ｍ） この様に従来の手法は、直流成分のみから交流成分を予
測する際に、複雑な方程式を解くことになるため、多く
の計算量と計算時間とを必要としていた。しかも−度に
交流成分を予測するため。

時間的に余裕がない場合でも途中で処理を打ち切る事が
出来ず、この様な場合は交流成分の予測を諦めざるを得
ない、という不都合があった。

そこで本発明はこれらの問題点を解決し、従来よりも簡
単な方法で予測を行なうことによって、計算量および計
算時間を削減するとともに、交流成分の予測精度をしだ
いに向上させていく様な段階的な予測処理を行なうこと
によって、処理時間に余裕がない場合でも、その限られ
た時間内で処理が可能な段階までの予測を行ない、後の
交流成分の符号化効率を向上させる。又、従来直流成分
のみで行なっていた検索用画像に、予測を行なった交流
成分を加えにとにより、画質の向上が図れるような階層
的な画像符号化方式を提供することを目的とする。

〔発明の構成〕

（ａ題を解決するための手段） ］二記目的を達成するために本発明では、直流成分から
交流成分を予測する場合に、まず直流成分が与えられて
いる各ブロック（メインブロック）内を数個のサブブロ
ックに分割し、各サブブロックごとにそのサブブロック
が含まれているメインブロックを含めたその周辺のメイ
ンブロックの直流成分を用いて、それらを単に平均する
ことによって、あるいはそのサブブロックから各メイン
ブロックまでの距離を考慮した重み付け（例えば距離に
反比例した重み付け、あるいはシフト演算のみで重み付
は処理を行なうために、上記距離に反比例した値を２の
べき乗近似した値での重み付け）を行なった後、その重
み付は直流成分を平均することによって得られた値をそ
のサブブロックの直流成分（疑似直流成分）とする、メ
インブロックの交流成分は、メインブロック内に存在す
る各サブブロックの疑似直流成分の変化の割合から決定
される。つまり、もとの直流成分のみが与えられている
段階では、メインブロック内の画素領ば全て同一の値と
見なされ、交流成分は存在しないが、メインブロック内
に存在する各サブブロックの疑似直流成分が求められた
段階でメインブロック内の画素値は上記サブブロックの
疑似直流成分の種類だけの異なる値をとるため、交流成
分が発生する。しかもこれら交流成分の値は、周辺のメ
インブロックの直流成分の変化量を考慮して決定されて
いるため、メインブロック間の画素値の相関が高ければ
高いほど、実際の交流成分に近い値となり、予測が精度
良く行なわれることになる。

（作用） この様に、平均値を求めるという簡単な処理の繰り返し
によって、交流成分の予測を行なうことによって、従来
のように多くの計算量と計算時間を要すること無く交流
成分が予測でき、しかも段階的予測を行なうことによっ
て、処理時間に余裕のない場合は、途中の段階で予測処
理を終了させても、その段階までに予測された交流成分
は有効となる。従って、予測が終了した段階においては
、直流成分のみの場合に比べてその後の交流成分の符号
化処理に要する符号量が削減でき、圧縮の効果が向上す
る。また、データベース用の検索画像として直流成分画
像を用いる場合も上記のような交流成分の予測を行なう
ことによって画質を向上させることが可能となる。

なお、各段階においてメインブロックの直流成分値を保
存することも可能であるため、交流成分を予測して作成
した画像と原画像との差分をとったときに、差分画像の
直流成分を常に０に保つことができ、差分画像を直交変
換したときには交流成分のみを伝送すればよいことにな
る。

（実施例） 以下に、図面を参照して本発明の詳細な説明する。

第１図は本発明の第一の実施例に係わる、送信側および
受信側のブロック図である。まず、カメラ１００から入
力した画像をブロック分割回路１ｏ１でブロック（例え
ば８×８あるいは１６　Ｘ　１６等）に分割し、その情
報をメモリ１０２に蓄える。その平均値（直流成分）算
出回路１０３において、各ブロックごとの直流成分を算
出し、量子化回路１０４にて量子化を行なって、多重化
回路１１３を伝送路あるいはデータベース１１４へ転送
する。一方１０４で量子化が行なわれた直流成分は、交
流成分の予測決定回路１０９において交流成分の予測に
使用される。

つまり、逆量子化回路１０５で逆量子化が行なわれ。

交流成分の予測に必要な情報分（少なくとも交流成分の
予測に用いられる数個のブロックの直流成分すべて）だ
けでメモリ１０６内に格納される。その後交流成分予測
回路１０７において、各ブロックの交流成分の予測が行
なわれるが、この予測の一例をさらに詳しく説明する。

第２図に示すようにｎＸｎに分割されたブロック（メイ
ンブロック）Ａ−Ｉのうち、いまメインブロックＥの交
流成分を予測する場合を考える。

まずメインブロックＥを４つのｎ　／　２　Ｘ　ｎ　／
　２サイズのサブブロックｅ工〜ｅ４に分割し、それぞ
れのサブブロックの値（以前に説明した疑似直流成分）
を各サブブロックが属しているメインブロックを含む周
辺の４つのメインブロックの直流成分から予測するもの
とする。今、上記４つのメインブロックの直流成分の平
均値をサブブロックの疑似直流成分と規定した場合、各
ブロックの名称（Ａ−Ｉおよびｅ１〜８４）がそのブロ
ックの直流成分値を表しているとすると、 ｅ１＝　（Ａ＋Ｂ＋Ｄ十Ｅ）／４ ａ　２　＝（Ｂ　＋　Ｃ＋　Ｅ　十Ｆ　）　／　４ｅ、
＝　（Ｄ＋Ｅ＋Ｇ＋Ｈ）／４ ６４：　（Ｅ十Ｆ＋Ｈ＋Ｉ）／４ によって各サブブロックの疑似直流成分が決定される。

これは加算とシフト（２ビツトシフト）演算のみで実行
できる。尚例えばメインブロックＡのサブブロックの疑
似直流成分値の演算はデエフォル（グレー）で行なって
もよいし、又行なわなくてもよい。

以上の処理で第一段階の予測が終了するが、次にこの様
にして決定された各サブブロックの疑似直流成分をもと
に、さらに第二段階の処理を行なう。つまり、第３図に
示すようにメインブロックＢ、Ｃ，Ｅ、Ｆの内部がｂ　
ｔ　〜ｂ　４　ｔ　Ｑ　ｔ　〜Ｃ４＃　ｅ　ｔ〜ｅ、ｔ
　ｒ、〜ｆ４のそれぞれの疑似直流成分で表されている
とき、例えばｅ２内を４つのｎ／４×ｎ　／　４のサブ
ブロック（ローカルサブブロック）ｓｅ１〜ｓｅ４に分
割した場合、これらローカルサブブロックの疑似直流成
分を第一段階のときと同様に、 ｓ　ｅＬ＝　（ｂ、＋ｂ４＋ｅ、＋ｅ２）／４ｓ　ｅ２
＝　（ｂ４＋ｃ、＋ｓ、＋ｆ、）／４ｓ　ｅＪ＝＝　（
ｅ、十ｅ２＋ｅ３＋ｅ、）／４ｓ　ｅ４＝＝　（ｓ、＋
ｆ１＋ｅ４＋Ｌ）／４にて決定する。他のローカルサブ
ブロックについても同様に決定できる。以下同様にロー
カルサブブロックが画素単位になるまで予測処理を繰り
返すが、処理時間に余裕のない場合は途中の段階で処理
を打ち切ってもよい。また、各段階ごとにもとのメイン
ブロックの直流成分値を保存するように値の調整を行な
うことも可能である。

一方第２図において、交流成分予測の別の手法として、
単に周囲ブロックの直流成分値の平均値としてサブブロ
ックの疑似直流成分を決定するのではなく、各ザブブロ
ックから予測に用いる各メインブロックまでの距離を考
慮した重み付けを行なうことも可能である。つまり、第
４図に示すように、サブブロックｃ２の疑似直流成分を
決定する際に、各メインブロックＢ、Ｃ，Ｅ、Ｆまでの
距離（距離は各ブロックの中心間の距離とする）ｄｉ、
ｄ２．ｄ３．ｄ４を求め、この値に反比例した重み付け
（すなわち　１／ｃｌｌ、１／ｄ２゜１／ｄ３，１／ｄ
４）を各メインブロックの直流成分に対して行なった後
、これら重み付は直流成分の値にもとずいてサブブロッ
クｅ２の疑似直流成分を決定する。いま ｔ　１＝１／ｄ　１ ｔ　２＝　１／ｄ　２ ｔ　３　＝　１．　／　ｄ　３ ｔ、４＝１／ｄ４ とすると。

ｅ　ｚ　＝（ｔ　Ｉ　Ｘ　Ｂ　＋　ｔ　２　Ｘ　Ｃ＋　
ｔ　３　Ｘ　Ｅ　＋　ｔ　４ＸＦ）／（ｔ　１＋ｔ　２
＋ｔ　３＋ｔ４）によって０２の疑似直流成分が求めら
れる。同様にｅ□９　ｅ３１　ｅ４についても決定でき
る。

これらの処理を、ローカルサブブロックが画素単位にな
るまで各段について行なうことになるが、上記ｔｌ、ｔ
２．ｔ３．ｔ４は疑似直流成分を求める際の計算を簡単
にするために、２のべき乗近似値とすることも可能であ
る。

以上説明したように、交流成分予測回路１０７において
、直流成分のみからそのブロック内の交流成分が予測さ
れ、その予測値と実際の画素値（メモリ１０２に格納さ
れているブロック情報を呼び出す）との差が減算器１１
０において求められる。なお、１０７において平均値を
保存するためのｒＲ９１が行なわれているため、その差
分画像の直流成分は０になっており、以後の処理につい
ては交流成分のみを考慮していればよい。その後Ｄ　Ｃ
Ｔ回路１１１でＤＣＴが施され、交流成分のみが次の符
号化回路１１２にて符号化され、１０４後の直流成分と
同様に多重回路１１３を通して伝送路あるいはデータベ
ース１１４へ転送される。

受信側において、分離回路１１５において直流成分と交
流成分が分離され、直流成分については逆量子化回１ｉ
ｉ６にて逆量子化され、後で交流成分を予測する場合に
必要な情報（予測処理を行なおうとしているサブブロッ
クが属するブロックとその周辺のブロックの情報）をメ
モリ内に格納する。

その後交流成分予測回路１１８において、送信側の１０
７で説明したのと同様に処理を行なうことによって、交
流成分が予測された画像が作成される。

このシステムがデータベースであり、直流成分画像を検
索用に用いる場合は、１１８で作成された画像をモニタ
１２３に表示することによって、交流成分予測を行なわ
ない場合の画像に比べて画質のよい検索用画像が得られ
る。

一方交流戊分は、１１５で分離された後復号化回路１２
０において交流成分係数のみが復号され、ＩＤＣＴＤ路
１２１　を通すことによって交流成分のみの画像が得ら
れる。　この信号と１１８からの出力信号（直流成分お
よび予測された交流成分によって作られた画像）とが加
算器１２２において加算され、最終的な復号画像が得ら
れる。この復号画像はモ二タ１２３において検索用画像
と同様に表示することが可能である。

第５図は、本発明の別の一実施例の送信側のブロック図
である。

入力画像はブロック分割回路３００においてブロックに
分割され、　その後ＤＣＴ回路３０１でＤＣＴが施され
た後、直流交流分離回路３０２にて直流成分と交流成分
に分離される。　メモリ３０３内には直流成分と交流成
分に分離された形で格納され、直流成分については量子
化回路３０４において量子化が施され、多重化回路３０
８を通って伝送路あるいはデータベース等に送り出され
る。

一方この直流成分は、交流成分の予測決定回路１０９に
おいて、第１図で説明したのと同様な処理を行なうこと
により交流成分の予測に使用され、その交流成分を含ん
だ画像がＤＣＴ回路３０５において再びＤＣＴ処理され
る。その後、メモリ３０３内のこのブロックに対応する
交流成分情報が減算回路３０６に送り出され、ここで３
０５からの出力情報（交流成分が予測された画像のＤＣ
Ｔ係数）を差し引くことにより、交流成分予測が行なわ
れる前の情報量（メモリ３０３内に格納されている段階
での交流成分の情報ｆｉｔ）よりも少ない情報量でその
ブロックの交流成分が表現されることになる。その後、
符号化回路３０７において交流成分のみの符号化が行な
われ（直流成分は１０９の処理において保存されている
ため、ＤＣＴ後に発生する直流成分は、受信側でも知る
ことができる。従ってあらためて伝送する必要はない）
、多重化回路３０８を通って伝送路あるいはデータベー
ス等に送り出される。

以上説明したことをまとめると、直流成分から交流成分
を予測する場合に、まず直流成分が与えられている各ブ
ロック（メインブロック）内を数個のサブブロックに分
割し、各サブブロックごとにそのサブブロックが含まれ
ているメインブロックを含めたその周辺のメインブロッ
クの直流成分を用いて、それらを単に平均することによ
って、あるいはそのサブブロックから各メインブロック
までの距離を考慮した重み付け（例えば距離に反比例し
た重み付け、あるいはシフト演算のみで重み付は処理を
行なうために、上記距離に反比例した値を２のべき乗近
似した値での重み付け）を行なった後、その重み付は直
流成分を平均することによって得られた値をそのサブブ
ロックの直流成分（疑似直流成分）とする。メインブロ
ックの交流成分は、メインブロック内に存在する各サブ
ブロックの疑似直流成分の変化の割合から決定される。

つまり、もとの直流成分のみが与えられている段階では
、メインブロック内の画素値は全て同一の値と見なされ
、交流成分は存在しないが、メインブロック内に存在す
る各サブブロックの疑似直流成分が求められた段階でメ
インブロック内の画素値は上記サブブロックの疑似直流
成分の挿類だけの異なる値をとるため、交流成分が発生
する。

しかもこれら交流成分の値は、周辺のメインブロックの
直流成分の変化量を考慮して決定されているため、メイ
ンブロック間の画素値の相関が高ければ高いほど、実際
の交流成分に近い値となり、予測が精度良く行なわれる
ことになる。

又、第二段階は、これら各サブブロック内を再び数個の
サブブロック（ローカルサブブロック）に分割し、第一
段階でメインブロックとサブブロックとの間で行なわれ
た処理を、今度はサブブロックとローカルサブブロック
との間で行なう。従って、第二段階終了時点でメインブ
ロック内の画素値は、に記各ローカルサブブロックの疑
似直流成分の種類だけの異なる値をとることになり、第
一段階よりもさらに精度良く交流成分が予測されること
になる。

第三段階以降も同様な処理を繰り返すことにより、メイ
ンブロックの交流成分をしだいに精度良く予測して行き
、最終的には、ローカルサブブロックが画素単位になっ
た段階で全ての予測処理を終了する。

なお全体の符号化処理の中で５これらの全段階の予測に
要する時間的余裕が無い場合は、途中の段階で予測処理
を停止させることも可能である。

また、各段階ごとに、一つのメインブロック内に含まれ
るサブブロックあるいはローカルサブブロックの疑似直
流成分の平均値が、メインブロックの直流成分と同じ値
になるように調整すること、つまりどの段階においても
メインブロックの直流成分を保存しておくことも可能な
方式である。

〔発明の効果〕

以上本発明によれば、平均値を求めるという簡単な処理
の繰り返しによって直流成分から交流成分を予測できる
ため、従来のように多くの計算量と計算時間を要するこ
と無く交流成分の予測が可能となり、しかも段階的予測
を行なっているため、処理時間に余裕のない場合は、途
中の段階で予測処理を終了させても、その段階までに予
測された交流成分は有効となる。さらに予測を終了した
段階においては、それが最終段階でなくても。

予測を行なっていない場合に比べてその後の交流成分の
符号化処理を行なうべき符号量が削減でき、圧縮の効果
が向上するとともに、データベース用の検索画像として
直流成分画像を用いる場合も上記のような交流成分の予
測を行なうことによって画質を向上させることが可能と
なる。

【図面の簡単な説明】

第１図は本発明の実施例を示したブロック図、第２図は
直流成分から交流成分を予測する場合の第一段目の様子
を示した図、第３図は直流成分から交流成分を予測する
場合の第二段目の処理の様子を示した図、第４図は直流
成分から交流成分を予測する際にブロック間の距離を考
慮した重み付けを行なう場合の処理の様子を示した図、
第５図は本発明の別の実施例を示したブロック図である
。 ２００、２０２・・・最初に分割されたときのサイズの
ブロック、 ２０１・・・２００のサイズのブロックを４分割したサ
ブブロック。 ２０３・・・２０１のサイズのサブブロックをさらに４
分割したサブブロック、 ２０４・・・ブロック間の距離。

Claims (2)

【特許請求の範囲】
1. （１）画面をブロックに分割して、各ブロックごとに直
   交変換を施した後、変換係数の直流成分から高次の交流
   成分へと順次符号化して伝送あるいはデータベース内に
   格納するための画像符号化方式において、 画面内の各メインブロックごとに直流成分が与えられて
   いるときに、一つのメインブロックを数個のサブブロッ
   クに分割して、各サブブロックごとに該サブブロックが
   属しているメインブロックを含めたその周辺のメインブ
   ロックの直流成分を用いて、それらの値を平均するか、
   あるいは該サブブロックからの距離を考慮した重み付け
   を行なった後に平均することによって求めた値を該サブ
   ブロックの直流成分とし、メインブロック内の各サブブ
   ロックごとのこの直流成分の変化の割合によってこのメ
   インブロックの交流成分の予測値とすることを特徴とす
   る画像符号化方式。
2. （２）直流成分から交流成分を予測する各段階ごとに、
   一つのメインブロックに含まれるサブブロックの疑似直
   流成分の平均値と、該メインブロックの直流成分値が等
   しくなるよう行なうことを特徴とする請求項１記載の画
   像符号化方式。