JP3194041B2

JP3194041B2 - 画像処理方法

Info

Publication number: JP3194041B2
Application number: JP17480392A
Authority: JP
Inventors: 博康井手
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1992-06-08
Filing date: 1992-06-08
Publication date: 2001-07-30
Anticipated expiration: 2016-07-30
Also published as: JPH05344345A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データの圧縮処理
等に用いられる画像処理方法に係り、詳細には、直交変
換を用いた画像処理方法に関する。

【０００２】

【従来の技術】画像圧縮の国際標準としてＪＰＥＧ（Jo
int Photographic Expert Group）やＭＰＥＧ（Moving
Picture Expert Group）がある。ＪＰＥＧは、静止画像
を圧縮することを目的としており、すでにカラー静止画
像の符号化手法が決定し、国際標準規格として承認され
る予定である。ＪＰＥＧについては、チップも製品化さ
れており、このチップを用いたボードも市場に出始めて
いる。ＪＰＥＧアルゴリズムは、大きく２つの圧縮方式
に分けられる。第１の方式はＤＣＴ（Discrete Cosine
Transform：離散コサイン変換）を基本とした方式であ
り、第２の方式は２次元空間でＤＰＣＭ（Differntial
PCM）を行なうSpatial（空間関数）方式である。ＤＣＴ
方式は量子化を含むため一般には完全に元の画像は再現
されない非可逆符号化であるが、少ないビット数におい
ても十分な復号画像品質を得ることができ、本アルゴリ
ズムの基本となる方式である。一方、Spatial方式は、
圧縮率は小さいが元の画像を完全に再現する可逆符号化
であり、この特性を実現するために標準方式として付加
された方式である。

【０００３】ＤＣＴ方式はさらに必須機能であるベース
ライン・プロセス（Baseline System）とオプション機
能である拡張ＤＣＴプロセス（Extended System）の２
つに分類される。これらの方式と別に、上記の方式を組
み合わせてプログレッシブ・ビルドアップを実現するハ
イアラーキカル・プロセスがある。ベースライン・プロ
セスは、ＤＣＴ方式を実現するすべての符号器／復号器
がもたなければならない最小限の機能で、ＡＤＣＴ方式
（Adaptive Descrete Cosine Transform Coding：適応
型離散コサイン変換）を基礎としたアルゴリズムであ
る。上記ベースライン・プロセスにおける画像圧縮では
画像データを８×８ピクセル単位のブロックで処理をす
る。処理プロセスは、以下の通りである。（１）２次元ＤＣＴ変換処理（２）ＤＣＴ係数の量子化処理（３）エントロピー符号化処理２次元ＤＣＴ変換処理では、図５に示すように空間デー
タを周波数データに変換し、６４個のＤＣＴ係数を出力
する。このとき、色成分は、（Ｙ，ＣB，ＣR)としてい
る。この係数のうち行列の中の左上の係数はＤＣ成分と
呼ばれ、ブロック・データの平均値である。また、残り
の６３個の係数は、ＡＣ成分と呼ばれる。

【０００４】ＤＣ成分の量子化処理では、図５に示すよ
うに量子化器で各係数ごとに大きさの異なった量子化ス
テップ・サイズを設定した量子化マトリクスを用いて、
ＤＣＴ係数を線形量子化する。但し、符号量あるいは復
号画品質を制御可能とするために、外部から指定する係
数（スケーリング・ファクタ）を量子化マトリクスに乗
じた値を実際のマトリクス値として使用し、量子化を行
なう。このように、量子化テーブルを参照しながら６４
個のＤＣＴ係数を整数値に量子化する。この量子化処理
によって非可逆圧縮となる。また、使用される参照テー
ブルの内容についてはＪＰＥＧでは規定していない。量
子化のテーブルは、人間の視覚特性を考慮して作成す
る。人間は、高周波数成分の視覚情報には鈍いので、こ
の高周波成分は粗く量子化する。

【０００５】エントロピー符号化処理では、まずＤＣ成
分と左隣ブロックにおける量子化されたＤＣ成分との差
分を計算し、符号化する。この方法は、ＤＰＣＭと呼ば
れる。また、ＡＣ成分は図５に示すようなジクザグ・ス
キャンにより１次元配列に変換される。ベースラインプ
ロセスのエントロピー符号化では、ハフマン符号化方式
を用いる。ハフマン符号化処理では各係数がゼロである
かどうかを判定し、連続するゼロの係数は、その長さが
ランレングスとして勘定される。ゼロでない係数が来る
と、その量子化結果とそれまでのゼロ係数のランレング
スを組み合わせて、２次元ハフマン符号化される。ＤＣ
／ＡＣ係数のハフマン符号化は、与えられたハフマン符
号テーブルに基づくが、量子化マトリクスおよびハフマ
ン符号テーブルは、使用する状況において最適なものに
なるようにするためデフォルト値はなく、必要に応じて
符号器から復号器へ転送して使用する。

【０００６】このように、直交変換（一般には、ＤＣ
Ｔ）を用いた画像処理方法は、図５に示したようにフレ
ームメモリに蓄えられ画像データを８×８画素のブロッ
クに分割し、２次元直交変換後、量子化、ジクザグスキ
ャンを行って符号化される。

【０００７】

【発明が解決しようとする課題】ところで、写真等の自
然画像は、情報の殆どが低周波成分に集中することが知
られている。そのため、画像に多くの高周波成分が含ま
れているとＤＣＴで変換したときに非常に圧縮効率が落
ちてしまうことになる。そこで、画面中の高周波成分を
取り除く方法としてローパスフィルタ（Low-pass filte
r）をかけることが考えられるが、画面一様にローパス
フィルタをかけてしまうと、画像全体がぼやけてしまい
視覚的に弱くなってしまうという問題点があった。しか
し、高周波成分にも残しておきたい高周波成分と必要な
い高周波成分が存在する。すなわち、一画面中には比較
的強いフィルタによって落としてもさほど違和感の出な
いノイズのような高周波成分と、物体の稜線のようにフ
ィルタによってぼやけてしまうとそれが気になる高周波
成分が混在している。１画面に同じ強さのフィルタをか
けると、強いフィルタではエッジのぼやけが気になり、
弱いフィルタでは高周波成分を落しきれないという欠点
があった。そこで本発明は、視覚的に目立たないように
フィルタをかけることができ、圧縮効率を上げることが
可能な画像処理方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
上記目的達成のため、画像データに対しフィルタリング
処理を行なうフィルタ手段を備えた画像処理方法であっ
て、前記フィルタ手段は、画面を所定の部分画像毎に分
割する画面分割手段と、画像データから高周波成分を抽
出する高周波成分抽出手段と、前記高周波成分抽出手段
により抽出された高周波成分からしきい値により所定の
高周波成分を除去する除去手段と、前記除去手段により
残った高周波成分からエッジを表す高周波成分を保存す
る保存手段と、前記保存手段に基づいて、分割された部
分画像毎にフィルタを選択するとともに、選択されたフ
ィルタの強度が隣接する部分画像同士で所定の差がある
ときはフィルタの強度を補正するフィルタ選択手段と、
前記フィルタ選択手段の出力に基づいて画像データに対
して部分画像毎にフィルタリング処理を実行するフィル
タ実行手段とを備えている。前記フィルタ選択手段は、
例えば請求項２に記載されているように、各部分画像に
合わせて選択したフィルタ群のそれぞれの強さを空間方
向に検出し、境界線が目立たなくなるようにフィルタの
強度を補正するものであってもよく、また、前記フィル
タ手段は、請求項３に記載されているように、画像デー
タに対して直交変換を実行する直交変換手段の前段に置
かれるように構成されていてもよい。また、前記画面分
割手段は、例えば請求項４に記載されているように、画
像データを直交変換手段に用いられるブロックと同様の
大きさのブロックに分割するようにしたものであっても
よく、前記直交変換手段は、例えば請求項５に記載され
ているように、離散コサイン変換（ＤＣＴ）を行なう離
散コサイン変換手段により構成してもよい。さらに、前
記フィルタリング処理は、例えば請求項６に記載されて
いるように、ローパスフィルタにより実行されるもので
あってもよい。

【０００９】

【作用】本発明の手段の作用は次の通りである。請求項
１、２、３、４、５及び６記載の発明では、画面分割手
段により画面が所定の部分画像毎に分割されるととも
に、高周波成分を抽出し、抽出した高周波成分からしき
い値に基づいて所定の高周波成分を除去し、さらに残っ
た高周波成分からエッジを表す高周波成分を保存し、保
存データをもとにフィルタ選択手段により、分割された
部分画像毎にフィルタが選択される。この場合、選択さ
れたフィルタの強度が隣接する部分画像同士で所定の差
があるときには選択したフィルタの強度が補正される。
そして、フィルタ実行手段により選択された補正後のフ
ィルタに基づいて部分画像毎に画像データに対してフィ
ルタリング処理が実行される。従って、部分画像のフィ
ルタの強さの差による歪みを低減させつつ、画質を向上
させることができる。

【００１０】

【実施例】以下、本発明を図面に基づいて説明する。図
１〜図４は本発明に係る画像処理方法の一実施例を示す
図であり、直交変換処理の前段で画像データにフィルタ
をかけるプレフィルタを備えた画像処理装置に適用した
例である。先ず、構成を説明する。図１は画像処理方法
に設けられた分割型プレフィルタ１０のフィルタをかけ
る手順を示す機能ブロック図であり、図中、矢印はデー
タの流れを示す。この図において、分割型プレフィルタ
１０は、画像データを一時的に格納する画像データバッ
ファ１１と、画像データを８×８画素のブロック（ＤＣ
Ｔ処理時のブロック分割と同じ単位の大きさのブロッ
ク）に分割する画面分割部１２と、分割された部分画像
毎にその画像に合ったフィルタを選択する各部分フィル
タ算出部１３と、選択された各部分フィルタの強度（高
周波成分のレンジの幅）を求め、各部間でフィルタ強度
が極端に違う値とならないようにフィルタ強度を補正す
るフィルタ強度補正部１４と、画像データバッファ１１
から読出した画像データに、フィルタ強度補正部１４に
より補正された各部分画像毎のフィルタをかけるローパ
スフィルタ１５とにより構成されている。

【００１１】次に、本実施例の動作を説明する。前述し
たように、画像に多くの高周波成分が含まれると、圧縮
効率が落ちてしまうことになる。本実施例では画面中の
高周波成分を、その画像に合わせて効率的に取除くため
１画面をいくつかの部分画像に分割し、分割した部分画
像それぞれに合ったフィルタをかけるようにしている。
この場合、隣接する部分画像において、それぞれのフィ
ルタの強さにある程度以上の違いがあるとその境界線と
なる部分が目立ってしまうことが判明した。特に、動画
像においては連続している画像は非常に似ているため、
その歪みが強調されて見えてしまうという不具合が生じ
ることがあった。

【００１２】そこで、本実施例では各部分画像に合わせ
て選択されたフィルタ群のそれぞれの強さを空間方向に
検出し、境界線が目立たなくなるようにフィルタの強さ
を加減する。

【００１３】以下、図１及び図２を参照しながらフィル
タをかける手順を具体的に述べる。図１において、ま
ず、画像データバッファ１１からフィルタ選択用の画像
データを読出し、読出した画像データを画面分割部１２
でフィルタをかける単位に分割する。本実施例ではＤＣ
Ｔ処理時のブロック分割単位と同じ大きさの８×８画素
毎のブロックに分割する。次いで、図２（ａ）に示すよ
うに各部分フィルタ算出部１３によりブロック単位に分
割した部分画像毎にその画像に適合したフィルタを算出
する。

【００１４】実際のフィルタ選択手順としては、例えば
画面全体に高周波成分を抽出する２次元のラプラシアン
フィルタ１２をかける。次いで、それらの値の絶対値を
とり、あるしきい値（例えば、１）で切り捨てる。残っ
た値の連続性を見るために、近傍９画素で分散された高
周波成分を除去しエッジを保存するメディアンフィルタ
１４をかける。このようにして得られた値を、実際にフ
ィルタをかける大きさ（８×８）に分解し、そのブロッ
ク中の値を合計する。そして、合計値とフィルタ選択値
を比較する。

【００１５】図３はフィルタ選択値と対応するフィルタ
の例を示す図であり、例えば、選択値が０のときはフィ
ルタが最も強い最上段のフィルタが、また、選択値が０
〜２のときはその下のフィルタが選択される。また、こ
の図に示すフィルタ係数は、対応する画素にこの値を乗
じて加算し、２５６で割った値を求める画素の値とす
る。

【００１６】これらの計算により画像の各ブロックにか
けるフィルタが選択されるので、それぞれのフィルタを
元の画像の態様する部分にかけていく。なお、図６に示
すフィルタは７タップの横１次元のフィルタであるか
ら、同様のフィルタを縦方向にかけることによって２次
元のフィルタリングを行なうようにする。

【００１７】上記フィルタ選択値に基づく各部分フィル
タ係数の算出と同時に、図３の左欄に示すように高周波
成分のレンジの幅に対応するフィルタ強度を算出する。
例えば、上述の例では選択値が０のときの最上段のフィ
ルタ強度は０、また選択値が０〜２のときのフィルタの
フィルタ強度は１である。このようにして数値化した各
部分画像毎のフィルタ強度を、画面に対応させて表にす
る。図２（ａ）は選択されたフィルタの強度（図３）を
画面に対応させた表を示している。次いで、フィルタ強
度補正部１４により上記表において各部分間でフィルタ
強度に極端な差が生じないようにフィルタ強度を加減し
た図２（ｂ）に示すような表に作り変える。例えば、図
２（ａ）の左側の上から２番目のブロックではフィルタ
強度は５であり、その上の一番左側上のブロックのフィ
ルタ強度の２とではかなりの差がある。このままのフィ
ルタ強度のフィルタでフィルタリング処理を行うと、そ
れらブロック間のブロック境界線が目立ってしまうこと
になる。そこで、フィルタ強度補正部１４により図２
（ａ）に示す表を、図２（ｂ）に示す表に作り変えて極
端に違う数値が隣合うブロック間で連続しないようにす
る。上述の例では、左側の上から２番目のブロックのフ
ィルタ強度は３に補正される。

【００１８】そして、このようにして補正されたフィル
タ強度の表（図２（ｂ））に基づいて元の画像の各ブロ
ックにそれぞれの強さのローパスフィルタ１５（図４参
照）をかけてフィルタリング処理を終える。図４は、選
択されたフィルタの表（図２（ｂ））にかけるローパス
フィルタの係数を示す図である。

【００１９】以上説明したように、本実施例に係るプレ
フィルタ１０は、画像データを８×８画素のブロックに
分割する画面分割部１２と、分割された部分画像毎にそ
の画像に合ったフィルタを選択する各部分フィルタ算出
部１３と、選択された各部分フィルタの強度を求め、各
部間でフィルタ強度が極端に違う値とならないようにフ
ィルタ強度を補正するフィルタ強度補正部１４と、画像
データバッファ１１から読出した画像データに、フィル
タ強度補正部１４により補正された各部分画像毎のフィ
ルタをかけるローパスフィルタ１５を設け、選択された
フィルタ強度を画面に対応させた表にするとともに、該
表において極端に違う数値が連続しないようにフィルタ
強度を補正するようにしているので、フィルタの強度の
差によって生じる部分画像の歪みを低減することでき、
画質の向上を図ることができる。

【００２０】なお、本実施例では画面を細分化し、その
細分化された部分それぞれに適正なフィルタを算出し、
フィルタリングをしているので、視覚的な画像の劣化を
抑えて高周波成分を取除くことができ、圧縮率を向上さ
せることができる。

【００２１】また、本実施例では、圧縮率を高めるため
にＤＣＴの前段にフィルタを置くプレフィルタ１０とし
て適用しているが、これに限らず、圧縮された画像（例
えば、ＤＣＴをかけた画像）のノイズを低減して画像を
落ち着かせるポストフィルタとして利用することもでき
る。

【００２２】また、本実施例では、画面をＤＣＴをかけ
る８×８画素のブロックに分割してフィルタをかけるよ
うにしているのが、画面を細分化させ、細分化した部分
のそれぞれにフィルタをかけるものであればどのような
ものでもよく、例えば１６×１６画素のブロックでもよ
いし、ＤＣＴをかけるブロックの大きさと同じでなくて
もよい。

【００２３】また、本実施例ではフィルタをＪＰＥＧア
ルゴリズムに基づく画像処理方法に適用した例である
が、勿論これには限定されず、データを符号化する制御
を行なうものであれば全ての装置に適用可能であること
は言うまでもない。

【００２４】また、本実施例では、変換符号化方式にＤ
ＣＴを適用しているが、このＤＣＴ方式には限定され
ず、例えば、アダマール変換、ハール（Harr）変換、傾
斜変換（スラント変換）、対称性サイン変換などを用い
た画像処理方法に適用することができる。

【００２５】さらに、上記プレフィルタ１０やフィルタ
の表、ローパスフィルタ等を構成する回路や部材の数、
種類などは前述した実施例に限られないことは言うまで
もない。特に、フィルタを数値化した表を平滑化させる
方法はローパスフィルタには限定されない。

【００２６】

【発明の効果】請求項１、２、３、４、５及び６記載の
発明によれば、フィルタ手段が、画面を所定の部分画像
毎に分割する画面分割手段と、画像データから高周波成
分を抽出する高周波成分抽出手段と、前記高周波成分抽
出手段により抽出された高周波成分からしきい値により
所定の高周波成分を除去する除去手段と、前記除去手段
により残った高周波成分からエッジを表す高周波成分を
保存する保存手段と、前記保存手段に基づいて、分割さ
れた部分画像毎にフィルタを選択するとともに、選択さ
れたフィルタの強度が隣接する部分画像同士で所定の差
があるときはフィルタの強度を補正するフィルタ選択手
段と、前記フィルタ選択手段の出力に基づいて画像デー
タに対して部分画像毎にフィルタリング処理を実行する
フィルタ実行手段とを備えているので、画像を細分化
し、高周波成分を抽出しエッジを表す高周波成分を保存
することにより、その部分画像にそれぞれ適正なフィル
タをかける処理により圧縮効率を上げることができ、ま
た、連続したフィルタの強度を補正することによりフィ
ルタの強度の差によって生じる部分画像の歪みを低減し
て画質の向上を図ることができる。以上

【図面の簡単な説明】

【図１】画像処理装置の機能ブロック図である。

【図２】画像処理装置のフィルタをかける手順を示す図
である。

【図３】画像処理装置のフィルタ選択値とフィルタ係数
及びフィルタ強度を示す図である。

【図４】画像処理装置のローパスフィルタの係数を示す
図である。

【図５】画像処理装置の画像圧縮手順を示す図である。

【符号の説明】

１０プレフィルタ１１画像データバッファ１２画面分割部１３各部分フィルタ算出部１４フィルタ強度補正部１５ローバスフィルタ

Claims

(57)【特許請求の範囲】

【請求項１】画像データに対しフィルタリング処理
を行なうフィルタ手段を備えた画像処理方法であって、前記フィルタ手段は、画面を所定の部分画像毎に分割す
る画面分割手段と、画像データから高周波成分を抽出する高周波成分抽出手
段と、前記高周波成分抽出手段により抽出された高周波成分か
らしきい値により所定の高周波成分を除去する除去手段
と、前記除去手段により残った高周波成分からエッジを表す
高周波成分を保存する保存手段と、前記保存手段に基づいて、分割された部分画像毎にフィ
ルタを選択するとともに、選択されたフィルタの強度が
隣接する部分画像同士で所定の差があるときはフィルタ
の強度を補正するフィルタ選択手段と、前記フィルタ選択手段の出力に基づいて画像データに対
して部分画像毎にフィルタリング処理を実行するフィル
タ実行手段と、を具備したことを特徴とする画像処理方法。
【請求項２】前記フィルタ選択手段は、各部分画像に
合わせて選択したフィルタ群のそれぞれの強さを空間方
向に検出し、境界線が目立たなくなるようにフィルタの
強度を補正するようにしたことを特徴とする請求項１に
記載の画像処理方法。
【請求項３】前記フィルタ手段は、画像データに対し
て直交変換を実行する直交変換手段の前段に置かれるこ
とを特徴とする請求項１に記載の画像処理方法。
【請求項４】前記画面分割手段は、画像データを直交
変換手段に用いられるブロックと同様の大きさのブロッ
クに分割するようにしたことを特徴とする請求項１に記
載の画像処理方法。
【請求項５】前記直交変換手段は、離散コサイン変換
（ＤＣＴ）を行なう離散コサイン変換手段であることを
特徴とする請求項３又は請求項４の何れかに記載の画像
処理方法。
【請求項６】前記フィルタリング処理は、ローパスフ
ィルタにより実行されることを特徴とする請求項１記載
の画像処理方法。