JPH0497656A - 画像処理方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、静止画や動画像の符号化および復号化のため
の画像処理方法及びその方法を使用した画像処理装置に
関する。

〔従来の技術〕

従来より、テレビジョン信号などのデータ圧縮法として
、直交変換などを用いたブロック符号化が知られている
。この方法は、原画像を分割したブロック内の画像信号
を２次元の周波数成分に変換した場合に、低い空間周波
数に電力が集中することを利用したものである。また、
直交変換の手法としては、Ｄ　ＣＴ　（Ｄｉｓｃｒｅｔ
ｅ　ＣＣｏ５１ｎｅＴｒａｎｓｆｏｒ　）がよく用いら
れている。

このＤＣＴにより得られる変換係数は、視覚特性を考慮
に入れた量子化幅、つまり空間周波数が高い周波数に相
当する係数に対しては、低い周波数に相当する係数より
も大きい量子化幅によって量子化される。

ところで、このようにして圧縮された画像データは復元
したときに原画像の特性によっては部分的に歪を生じて
しまう場合がある。

そこで従来は、復元後に歪が生じるようなブロックに対
しては、量子化幅を変化させる適応量子化が行われてい
る。

〔発明が解決しようとする課題〕

しかしながら、このような適応量子化を行った場合は、
復号時に適用量子化されたプロ・ツクを判断するために
、符号語に付加情報を持たせる必要があり、圧縮効率を
低下させる要因となるといった欠点がある。

本発明は、以上のような実情に鑑みてなされたもので、
付加情報を付けずに量子化幅が切換えられたブロックを
検出することができ、圧縮率の低下を防止でき、歪みの
発生が防止された画像を得ることのできる画像処理方法
およびその装置を提供することを目的とする。

〔課題を解決するための手段〕

上記目的を達成するために、本発明による画像処理方法
は、分割した原画像の各ブロック毎に、そこに含まれる
画像信号の最大値および最小値からブロック内ダイナミ
ックレンジを求め、これをしきい値と比較し、しきい値
より大きいときは当該ブロックの信号を量子化するため
の第１の量子化幅Ｑ１を第２の量子化幅Ｑ２に切換える
。この時、第２の量子化幅は、第２の量子化幅Ｑ２て量
子化されたブロックの符号語を、第１の量子化幅Ｑ１を
使って逆量子化したとすると復号値の最大値又は最小値
が符号化前の画像全体す対する最大値および最小値の範
囲をオーバーするように設定したことを特徴とする。

また本発明による画像処理方法は、以上のような画像処
理方法で符号化された符号語に対して、第１の量子化幅
Ｑ１で逆量子化して得られる値について各ブロック毎の
最大値又は最小値が符号化前の原画像全体に対する最大
値および最小値のとりうる範囲をオーバーするときには
、該ブロックを逆量子化する量子化幅を第２の量子化幅
Ｑ２とすることを特徴とする特 〔作用〕 本発明の画像処理方法によれば、原画像を符号化する際
に、第２の量子化幅にて適応量子化するブロックについ
ては、第１の量子化幅によって複合したときに、その複
合値がブロック内の最大値又は最小値が本来とり得る範
囲をオーバーするようにしたので、符号語に適応量子化
に関する付加情報を持たせなくても、複合時に第２の量
子化幅にて量子化されたブロックを知ることができ、付
加情報か無くても正しく再生することができる。

〔実施例〕

以下、本発明の実施例について図面を参照して説明する
。

第１図は本発明の第１実施例を示す図であり、本発明の
符号化方法を使用するための符号化回路の構成例を示す
図である。本実施例は、原画像データがブロッキング回
路１へ与えられ、そこで各々ＮＸＭ画素の複数ブロック
に分割された画像信号が直交変換回路２およびダイナミ
ックレンジ検出回路３へそれぞれ入力される。直交変換
回路２では、夫々のブロック毎に２次元直交変換が行な
われ、各ブロックの直交変換係数が出力される。

また、ダイナミックレンジ検出回路３では、ブロック毎
に画像信号の最大値および最小値からブロック内ダイナ
ミックレンジが検出され、その検出結果が量子化幅切換
回路４へ出力される。量子化幅切換回路４は、しきい値
が設定されていて、このしきい値とダイナミックレンジ
とを比較し、この比較結果に基づいて互いに圧縮率の異
なる第１の量子化幅Ｑ１および第２の量子化幅Ｑ２が切
換えられる。量子化回路５は、直交変換回路２から入力
されるブロックの直交変換係数を、量子化幅切換回路４
で決定された量子化幅で量子化し、各ブロック毎に量子
化された符号語を出力する。

ここで、量子化幅切換回路４におけるしきい値とダイナ
ミックレンジとの関係を説明する。原画像データが例え
ば８ビツトデータであったとすると、その値は０〜２５
５までの値をとり得ることになり、最大値ＭＡＸと最小
値ＭＩＮも０〜２５５の値となる。この範囲を第２の量
子化幅Ｑ２で量子化して、その符号語を第１の量子化幅
Ｑ１で逆量子化した時に、最大値ＭＡＸと最小値ＭＩＮ
の値をとっていた画素の少なくとも１つかＯ〜２５５の
範囲をオーバーするような最大値ＭＡＸと最小値ＭＩＮ
の組み合わせのダイナミックレンジで適当なものをその
しきい値とする。

この関係を第２図を参照して詳しく説明する。

第２図（ａ）は、通常の量子化であって、ＭＩＮとＭＡ
Ｘの間を第１の量子化幅Ｑ１で量子化し、第１の量子化
幅Ｑ１で逆量子化した場合の例である。

第２図（ｂ）は、ＭＩＮとＭＡＸの間を第２の量子化幅
Ｑ２で量子化し、第１の量子化幅Ｑ１で逆量子化した場
合を示していて、逆量子化による複合値が、原画像デー
タのとり得る値Ｏ〜２５５の範囲をオーバーしている。

このようになるＭＡＸとＭＩＮの組み合わせは、第１の
量子化幅Ｑ１と第２の量子化幅Ｑ２が定まれば、（ＭＡ
Ｘ−ＭＩＮ）ＸＱＩ／Ｑ２＞２５５　　　　−（１）な
る式を満たすものということになる。

また、その他に条件が定まっているのであれば（１）式
が成り立たなくても良い場合がある。例えば、第２図（
ｃ）のように、平均ＨＡＶＥが量子化と逆量子化によっ
て変化しないということが判っているとすると、 （ＭＡＸ−ＡＹＥ）ＸＱＬ／Ｑ２＋ＡＶＥ＞２５５　　
　・（２）（ＭＩＮ−ＡＹＥ）Ｘ　Ｑｌ／Ｑ２＋ＡＹＥ
＜　Ｏ−（３）なる２式のうち少なくとも一つが成り立
てば良いことになる。

このように、量子化幅を切換えることによって逆量子化
後のブロック内ダイナミックレンジが負値や２５５より
大きい値をとるような矛盾が生じるブロックであれば量
子化幅を切換えたかどうかを復号時に判断ができること
になる。従って、そのようなブロックであるかどうかを
判定し得、なおかつ量子化幅を細かくしてブロック内で
発生する量子化誤差による歪みを少なく押さえることが
好ましいと判断されるようなコントラストの強い、つま
りブロック内ダイナミックレンジが大きいブロックを選
び出せるようなしきい値を設定して、そのしきい値より
もブロック内ダイナミックレンジか大きいブロックは量
子化幅を第２の量子化幅Ｑ２へ切換えるようにしている
。

直交変換回路２は、直交変換として離散的余弦ｌ１ｌ（
ＤＣＴ）を用いている。この変換係数は２次元の空間周
波数と対応しており、その電力は低い周波数成分に集中
することが知られている。そこで視覚特性的に画質への
影響の大きい低い周波数成分の量子化幅を細かくして、
情報量をより多く残させようとしている。

第３図は２次元ＤＣＴ後のブロックで、左上隅が直流成
分となっており、そこから離れるに従って高い周波数に
対応した係数となっている。この係数を量子化する場合
、各係数に対する量子化幅は低い周波数になる程細かく
なっていて、量子化テーブルとして保持されている。こ
の関係を数学的に表現すると Ｃｑ（ｉ、ｊ）＝　１ｎｔｌｃｏ（ｉ、Ｄ／　Ｑ（ｊ、
ｊ）ｌ　　　　−（４）Ｃｒ（ｉ、ｊ）−１ｎｔｌｃｑ
（ｉ、ｊ）ｘＱ（ｉ、ｊ）］　　　−（５）となる。

二こて、Ｃｏ　（ｉ、ｊ）は直交変換後の係数で、１お
よびＪは係数のブロック内の位置で夫々１行、３列を表
わしている。つまりＣｏ　（０，０）は直流成分のこと
でｉ、ｊか増える程高い周波数成分になる。Ｑ（ｉ、ｊ
）は各周波数の量子化幅でＣｑ　（ｉ、ｊ）が量子化後
の各係数、Ｃｒ（ｉ、ｊ）はそれを逆量子化した各係数
の値となる。

このＱ（ｉ、ｊ）を変化させること、つまりＱ′　（ｉ
、ｊ）で量子化することて適応量子化を実現させようと
するものである。このＱ′（ｉ、ｊ）は単純にＱ（ｉ、
ｊ）の各係数を定数で割ったものでも良いが、各周波数
毎に変化の度、合いを変えたものでも良い。例えば直流
成分はＱ’（０，０）−Ｑ（０，０）／ｋ　　　（ｋ＞
１）のようにして、他の交流成分の量子化幅は画質改善
効果と、適応化によって増える情報量を考慮して好まし
い値にする。この時、高い周波数成分の量子化幅が逆に
大きくなってしまったとしても、前述の（１）式等の関
係が成り立つのであれば何ら問題は無い。

第４図（ａ）は、ブロックサイズが４Ｘ４画素の時の第
１の量子化テーブルを、第４図（ｂ）は第２の量子化テ
ーブルをそれぞれ示している。この第２の量子化テーブ
ルを用いると、直流成分は１／４の量子化幅で量子化さ
れるので量子化値は第１の量子化テーブルを用いて量子
化した時の４倍の値となる。同様に交流成分も異る量子
化幅で量子化され、当該ブロックの情報量は多くなるこ
とになる。

一方、この様にして量子化された符号語を（５）式のよ
うに第１の量子化テーブルを用いて逆量子化すると、先
ず直流成分つまりブロックの平均電力は４倍の値となり
、各交流成分も量子化テーブルの各周波数に対応する値
の変化の逆数倍の値に逆量子化される。これらを離散余
弦逆変換（ＩＤＣＴ）して画像信号に復号した時に、ブ
ロック内最大値と最小値が夫々２５５を超えるか又は負
の値となり、量子化時に適応化すべく第２の量子化テー
ブルを使用して量子化したことが判る。

そこで、第２の量子化テーブルで量子化されたブロック
に対しては、第２の量子化テーブルで逆量子化し直して
からＩＤＣＴすれば歪みのない所望の画像信号を得るこ
とができる。これは、適応量子化しなかった場合に較べ
てブロックに割当てられた情報量か多かった分だけ高画
質となっている。

第５図は以上のようにして圧縮されたデータを復号して
画像データを得るための複合化回路の構成例を示す図で
ある。

この複合化回路は、先ず逆量子化回路６で第１の量子化
幅Ｑ１を用いて逆量子化し、これを逆直交変換回路７て
逆直交変換する（先の例の場合、これはＩＤＣＴを行う
）。次に、ブロック内の最大値と最小値をダイナミック
レンジ検出回路８で求め、それらが負の値や２５５を超
える値をとっている場合は、量子化幅切換回路９が第２
の量子化幅Ｑ２で逆量子化し直すように逆量子化回路６
に信号を送る構成となっている。

この時、復号化回路側では第１と第２の両方の量子化幅
を記憶していなければならないが、これは符号化回路側
から情報を送るようにしてもよいし、予め決めておいて
付加情報としない構成とする。

この様に本実施例においては、量子化幅を細かくしてダ
イナミックレンジを大きくすべきブロックを選出し得る
しきい値を設定しておき、このしきい値と各ブロック毎
のダイナミックレンジとを比較して、量子化幅を細かく
してダイナミックレンジを大きくすべきブロックに対し
ては、量子化する際にダイナミックレンジを人きくシ得
る量子化幅に設定され、かつ第１の量子化幅で複合した
ときその複合値が０〜２５５の範囲をオーバーするよう
に設定された第２の量子化幅に切換えられる。そして、
複合時には、この様にして符号化された符号語が第１の
量子化幅で逆量子化され、第２の量子化幅で量子化され
たブロックは逆量子化された値が原画像データの取り得
る値０〜２５５の範囲をオーバーする。このオーバーし
た逆量子化値を含むブロックの符号語に対しては、第２
の量子化値で逆量子化される。

従って、本実施例によれば、符号化時に適応化して量子
化幅を切換えた場合であっても、その適応化に関する付
加情報を付加させなくても複合化時に適応化したブロッ
クを判別することができ、圧縮率の低下を防止すること
ができると共に歪みのない画質か改善された画像を得る
ことができる。

また、適応化を行なうかどうかを判定するしきい値を制
御することで、全く適応化を行なわない、つまり通常の
符号化を行なうこともできるので、通常の復号器にも対
応できる。

なお、量子化幅切換回路４で行なわれるブロック内ダイ
ナミックレンジとしきい値の比較は、前記（２）式及び
（３）式の少なくともいずれかが成り立つ場合のように
、ブロック内のダイナミックレンジではなくてブロック
内の最大値、最小値、平均値から判断されるものと置き
換えても構わない。また、それら入力に対する量子化幅
を切り換えを行なうかどうかの判断をテーブルを用いて
行うようにしてもよい。

また、量子化幅を切り換える適応化を行なってその部分
の画質を上げた方が良いかどうかを他の回路に判断させ
て、その結果を量子化幅切換回路４に入力し、量子化幅
切換回路４では前記（１）式等の条件を当該ブロックが
満足する場合に適応化可能と判定し、量子化幅を切り換
えさせるよう構成してもよい。適応化させた方が良いか
どうかの判断は人間によってキーボード等の入力装置か
らの指示で行なっても構わない。

適応化を行なわせるブロックを選ばせるようにする理由
は、一般に画像は、シーンによって様々なダイナミック
レンジをとるので、適応化が行なわれるブロック数は実
際に処理を行なってみるまでわからない。従って画像に
よっては、はとんどのブロックで（１）式等の条件を満
足してしまい、適応化されてしまう可能性がある。とこ
ろが、適応化によって量子化幅が細かくなった分だけ各
ブロックで発生する符号量が増えるので、適応化された
ブロック数が多い程、全体の符号量も大きく増えてしま
う。そこで、適応化させるべきブロックを選ぶようにし
ておけば適当な数のブロックだけか適応化されるので大
幅に符号量が増えることがなくなる。

また、入力される画像の種類が限定される場合、例えば
医療用内視鏡画像などに用途が限られた場合には、本発
明の符号化方法の効果は更に上がる。

内視鏡画像は、全体的にコントラストの変化がゆるやか
で、ブロック内ダイナミックレンジも比較的小さい値と
なる。ところが、照明光が粘膜等に反射して輝点となっ
て画面に現われてくることがある。この輝点は画素数に
して２〜３画素と小さく、全画面中でも数パーセント以
下のブロックにしか存在しないのが普通であるが、非常
に高い輝度値を持つために、この輝点を含むブロックの
ブロック内ダイナミックレンジは大きな値を示す。

このブロックを通常の方法で圧縮すると、量子化歪の影
響が大きく出る。この現象は特に、直交変換後の係数を
量子化して圧縮する場合には、各周波数成分が夫々大き
い量子化誤差を有しており、結果として復号後の画像の
ブロック内に本来存在しなかったようなパターンが現わ
れる等の歪となる。こういった歪は、医療画像の場合に
は誤診の原因となりかねないので上記のような歪発生か
予想されるブロックにのみ適応量子化を行なうようにす
るのが好ましい。従って、輝点の存在するブロックを検
出するようにして、前述の（１）式等の条件を満足する
場合に適応化を行なわせると、該適応化されるブロック
は、全ブロックに対してわずかなので、適応化されない
ブロックに割り当てられる符号量の全符号量に対する割
合はほとんど変化せずに輝点周囲の歪除去が可能となる
。このときの輝点の存在するブロックの検出方法は、ブ
ロック内ダイナミックレンジを用いても良いし、ブロッ
ク内の分散又は直交変換係数から判断しても良い。

次に、本発明の第２・実施例について第６図を参照して
説明する。

本実施例は、ブロッキング回路１で分割された原画像の
画像信号か各ブロック毎に離散余弦変換回路（以下、ｒ
ＤＣＴ回路」と呼ぶ）１０へ与えられ、このＤＣＴ回路
１０から出力されるＤＣＴ係数が量子化回路１１および
直流成分検圧回路１２へ入力される。直流成分検出回路
１２は、直流成分のみを取り出して量子化テーブル切換
回路１３へ出力する。量子化テーブル切換回路１３では
、直流成分をしきい値と比較して、その結果によって量
子化テーブルを切り換えるように量子化回路１１へ信号
を送るように構成されている。

ここで、第２の量子化テーブルとしては、該直流成分を
第２の量子化テーブルのＱ′　（０，０）で量子化し、
かつ第１の量子化テーブルのＱ（０，０）で逆量子化し
たときに直流成分か全画素とも２５５の時の直流成分の
値をオーバーするようにしきい値とＱ’　　（０，０）
を設定する。

他の交流成分に対するテーブルは任意の値として適応化
の効果が最も高くなるよう設定する。

第７図に本実施例における復号化回路の構成例を示す。

この復号化回路は、直流成分比較回路１４てＣｑ　（０
，０）とＣ２５５／Ｑ　（０，Ｏ）の比較を行う。なお
、Ｃ２９，はブロック中の全画素か２５５の時のＤＣＴ
係数の直流成分値である。

Ｃｑ　（０，０）の方か大きい場合は量子化テーブル決
定回路１５は第２の量子化テーブルを、また小さい場合
は第１の量子化テーブルを用いるように逆量子化回路１
６に指示を出し、指示に基づいて夫々逆量子化した後に
逆直交変換する構成となっている。

このように本実施例によれば、逆量子化および逆直交変
換をしてから量子化幅を判断しているので、量子化幅（
量子化テーブル）を切換えて逆量子化と逆直交変換をし
直すといった重複操作が必要なくなり、復合化回路の構
成を簡素化でき、処理時間も短縮できる。

また、適応量子化が行なわれるブロック数が多くなると
、非適応ブロックに割り当てられるデータ量の減少が大
きくなり、画質に影響が出るような場合は、例えば適応
化されたブロック数を数えておき、予め定めておいた数
よりも多いブロック数となったときに、適応化を行うか
どうかの判断に使用するしきい値の値を変化させて、適
応化されるブロック数を少なくするようにして量子化を
し直すように構成することが好ましい。

これは、符号化後の総ビット数を目的のビット数以内に
納めるべく量子化幅を変更して量子化と符号化の処理を
やり直す方法と組み合わせることが望ましい。このよう
な符号化方法を実行するためのフローチャートを第８図
に示す。なお、適応量子化における符号化は、ハフマン
コード等の可変長符号化を行うものである。

以上、説明した実施例ではブロック化後に直交変換を行
っていたか、本発明はこれに限ったものでなく、予測信
号からの差分をとるものであったり、ブロックデータを
ベクトル化するものであっても構わない。また、適応化
によって切換わる量子化幅は、そのような２種類の動き
をする量子化器を夫々用意しておき、使用する量子化器
を切り換えるように構成してもよい。

〔発明の効果〕

以上詳記したように本発明によれば、付加情報を付けず
に量子化幅が切換えられたブロックを検出することがで
き、圧縮率の低下を防止でき、歪みの発生が防止された
画像を得ることのできる画像処理方法およびその装置を
提供できる。

【図面の簡単な説明】

第１図は第１実施例における符号化回路の構成図、第２
図はしきい値とダイナミックレンジとの関係を示す図、
第３図は離散的余弦変換後の係数を示す図、第４図は量
子化テーブルを示す図、第５図は第１実施例における複
合化回路の構成図、第６図は第２実施例における符号化
回路の構成図、第７図は同実施例における複合化回路の
構成図、第８図は符号化後の総ビット数を目的のビット
数以内に納めるための符号化方法のフローチャートを示
す図である。 １・・・ブロッキング回路、２・・・直交変換回路、３
．８・・・ダイナミックレンジ検出回路、４，９・・・
量子化幅切換回路、５・・・量子化回路、６・・・逆量
子化回路、７・・・逆直交変換回路。 出願人代理人　弁理士　坪井　　淳 第 図 （ａ） （ｂ） 第 図 第 図 （ｃ） 第６図 ！Ｉ７図

Claims (4)

【特許請求の範囲】
1. （１）原画像の画像信号を各々複数画素よりなる複数ブ
   ロックに分割し、前記各ブロック毎に、その画像信号を
   画像特性に応じて基準となる第１の量子化幅と量子化幅
   を変化させた第２の量子化幅とを切換えて量子化する画
   像処理方法において、前記第２の量子化幅を、該第２の
   量子化幅にて量子化された符号が前記第１の量子化幅で
   逆量子化されたとき、該ブロックにおける復元画像信号
   の最大値および最小値の少なくとも一方が、符号化前の
   前記原画像全体の画像信号の最大値と最小値の範囲から
   逸脱するように設定したことを特徴とする画像処理方法
   。
2. （２）前記第１の量子化幅及び第２の量子化幅を切換え
   て量子化された複数ブロックの中から、復元画像信号の
   最大値または最小値が符号化前の前記原画像全体の画像
   信号の最大値と最小値の範囲から逸脱するブロックを検
   出し、この検出したブロックの符号を前記第２の量子化
   幅で逆量子化することを特徴とする請求項１記載の画像
   処理方法。
3. （３）原画像の画像信号を各々複数画素よりなる複数ブ
   ロックに分割する分割手段と、前記各ブロック毎にブロ
   ック内ダイナミックレンジまたは直交変換係数を検出す
   る検出手段と、この検出手段の検出結果に基づいて基準
   となる第１の量子化幅と量子幅が異なる第２の量子化幅
   を切換える量子化幅切換手段と、この量子化幅切換手段
   にて切換えられた第１または第２の量子化幅にて該ブロ
   ックの画像信号を量子化する量子化手段とを具備した画
   像処理装置であって、 前記第２の量子化幅を、該第２の量子化幅で量子化され
   たブロックの符号が前記第１の量子化幅で逆量子化され
   たとき、該ブロックにおける復元画像信号の最大値およ
   び最小値の少なくとも一方が、前記原画像全体における
   画像信号の最大値と最小値の範囲から逸脱するように設
   定したことを特徴とする画像処理装置。
4. （４）複数ブロックに分割した原画像の画像信号を各ブ
   ロック毎に基準となる第１の量子化幅、若しくは量子化
   幅を変化させた第２の量子化幅にて量子化した符号の各
   々を、各ブロック毎に量子化する際に使用した量子化幅
   で逆量子化して復元する画像処理装置であって、 前記第２の量子化幅は、該第２の量子化幅で量子化され
   たブロックの符号語を、前記第１の量子化幅で逆量子化
   したとき、該ブロックにおける復元画像信号の最大値お
   よび最小値の少なくとも一方が、前記原画像全体の画像
   信号の最大値と最小値の範囲から逸脱するように設定さ
   れたものであり、 復元画像信号の最大値または最小値が、符号化前の前記
   原画像全体の画像信号の最大値と最小値の範囲から逸脱
   するブロックを検出するブロック検出手段と、このブロ
   ック検出手段で検出したブロックの符号を前記第２の量
   子化幅で逆量子化する逆量子化手段とを具備したことを
   特徴とする画像処理装置。