JP3594630B2 - 圧縮から復元された文書画像の見掛け状態を改善する方法 - Google Patents

Description

【０００１】
本発明は、現在提案されているＪＰＥＧ ＡＤＣＴ（適合的離散コサイン変換）標準に準拠して圧縮された画像の圧縮復元（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）方法に関し、とくに、標準ＪＰＥＧ ＡＤＣＴ圧縮画像の復元に起因する、文書型の画像における復元に伴って発生する好ましくない効果を減少させる方法に関する。
【０００２】
データ処理過程において、実際のアプリケーションに対して過多のデータが存在するとき、データ圧縮が必要とされる。圧縮は、通常、伝送時間が長い、つまり帯域幅が限定されている、通信リンクにおいて使用される。圧縮の別の用途は、データ保存であり、データが保存される媒体スペースの量が、圧縮により十分に減少する。さらに別の用途は、校合、重刷、その他の複写機機能のための中間記憶装置が必要なディジタル複写機である。一般に、走査された画像、つまりハードコピー文書を電子的に表現したものは、大きいのが普通であり、したがって圧縮するのが望ましい。
【０００３】
多数の圧縮技法が存在し、その多くは個々の使用者の所有物である。しかし、装置間の相互通信が行われるときは、標準的技法が必要とされる。とくに、異なる種類の機器間での通信が要求される、いわゆるマルチメディア通信の到来とともに、共通的な標準が要求される。一例が、現在要望されている、ファックス装置と印字装置間の通信の実現である。現在、圧縮基準は、異なる種類の機器では異なる基準が使用されているのが普通である。
【０００４】
３種類の主要な方式が、複数の国際標準化グループによって現在研究されている。まず、本来的に２進値であるファックス型の画像伝送が、ＪＢＩＧ（合同２進画像グループ）委員会によって研究中である。つぎに、テレビとフィルムに関して、標準がＭＰＥＧ（動画専門家グループ）によって作成中である。ＪＢＩＧの作業範囲よりも一般的な、動きのない一般的画像、つまり静止画像に関しては、ＪＰＥＧ（合同写真専門家グループ）が、適合的離散コサイン変換方式を使用して、装置から独立した圧縮標準の開発を模索している。
【０００５】
ＡＤＣＴ方式（適合的離散コサイン変換方式、Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；たとえば、”ＡｄａｐｔｉｖｅＣｏｄｉｎｇ ｏｆ Ｍｏｎｏｃｈｒｏｍｅ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍ．，Ｖｏｌ．ＣＯＭ−２５，ｐｐ．１２８５−１２９２，Ｎｏｖｅｍｂｅｒ １９７７において、Ｗ．Ｈ．ＣｈｅｎとＣ．Ｈ．Ｓｍｉｔｈによって説明されている）は、ＪＰＥＧ委員会によって普及された、データの冗長部分を画素間の相関性に基づいて減少させる、損失の多い（ｌｏｓｓｙ）システムである。一般に、画像においては、画素レベルで見ると、画像はあまり変化しない。したがって、画像は、いわゆる「自然空間相関性」を有している。自然の風景では、相関性は一般化されるが、厳密ではない。ノイズによって、各々の画素が、その近傍からいくぶん異なったものになる。
【０００６】
一般的に、図１に示されているように、圧縮の過程は、画像のＭｘＭのタイルを記憶するタイルメモリ１０を必要とする。以下の説明では、ＪＰＥＧの勧告に基づいて、正方形のタイルが使用されているが、本発明による方法では、どのような形のタイルでも使用できることに注意しなければならない。タイルメモリに記憶されている画像の一部から、離散コサイン変換（ＤＣＴ）、つまり画像を周波数空間的に表現したものが変換器１２で形成される。Ｃ−Ｃｕｂｅ Ｍｉｃｒｏｓｙｓｔｅｍｓ社のＣＬ５５０Ａ ＪＰＥＧ画像圧縮処理装置のような、圧縮をハードウェアで実現する方法が利用可能であり、この装置は、ＪＰＥＧ標準案にしたがって、圧縮モードあるいは復元モードのいずれかで動作する。Ｑテーブルメモリ１６に記憶されているＱテーブルと呼ばれる１セットの値から分割器／量子化装置１４が使用されるので、別個のＱテーブル値が分割されてＤＣＴ値になり、その値の整数部分が量子化ＤＣＴ値として返される。統計的な符号化を使用するハフマン符号化器２０は、量子化ＤＣＴ値を符号化し、圧縮画像を発生する。圧縮された画像は、記憶、伝送、あるいはその他の処理が行われる。
【０００７】
現在のＡＤＣＴ圧縮方法では、画像がＭｘＭの画素ブロックに分割される。ここで、Ｍ＝８である。このＭ＝８は妥協の結果であり、ブロックを大きくとればとるほど、圧縮率は高くなるが、反面、ブロックが大きくなると、そのブロック内に非相関の画素が発生し、圧縮率が低下する可能性もでてくる。ブロックを小さくすると、ブロック内の相関性は高くなるが、全体としての圧縮率が低下する。とくに、文書画像においては、自然画像を形成する風景の場合よりも、８ｘ８ブロック内で画像のエッジが検出されやすい。したがって、空間的相関性の仮定が、ある程度崩れる。本発明が指摘する主要な課題は、以下に詳述するが、ＡＤＣＴ案は、連続階調と多数のレベルのグレイ画素を有する写真に対して非常に有効であるが、非常に高い周波数度成分と多数のコントラストの強いエッジを有する文書画像の再生に対しては、あまり有効でないことが多い。
【０００８】
圧縮方式は、１セットの基準関数を使用して、ブロック間の相関性を利用する傾向がある。基準関数は、データを、隔たった１セットの直交関数への射影として定義する。ＡＤＣＴは、コサイン関数を基準関数として使用し、離散コサイン変換（ＤＣＴ）を射影ステップとして使用する。ＡＤＣＴ標準の最初のステップでは、画像は８ｘ８ブロックに分割される。各々のブロック内で、６４個のＤＣＴ係数のセットが、そのブロック内のすべての画素に対して判定される。これらのＤＣＴ係数は、８ｘ８ブロックの離散コサイン変換の各々のコサイン項の係数を表わす。
【０００９】
ここで、図２（Ａ）を参照すると、画像の８ｘ８ブロック内の６４個の画素を表わす６４個のグレイレベル値の配列が示されている。この８ｘ８ブロックは、ＪＰＥＧ ＡＤＣＴ仕様にしたがって変換され、図２（Ｂ）に示されているＤＣＴ係数になる。これらの係数は、図２（Ａ）の画像データをまだ完全に記述しているが、全体的にみると、より大きな値が、低い空間周波数領域の左上隅に集まってきている。同時に、画像の大半においては、画像の周波数が高くなるにつれ、グリッドの右下の係数値はゼロに近づく。
【００１０】
人間の目は、一般的に、画像の低周波数部分を最もよく見る傾向がある。周波数が高くなるにしたがい、振幅間の変化は、そのような変化が極度に強いコントラストで発生しないかぎり、気がつかなくなる。これは、人間の視覚系のよく知られている効果であり、たとえば、Ｐ．Ｒｏｅｔｌｉｎｇ著の”ＶｉｓｕａｌＰｅｒｆｏｒｍａｎｃｅ ａｎｄ Ｉｍａｇｅ Ｃｏｄｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓ．Ｉ．Ｄ． １７／２ ｐｐ．１１１−１１４（１９７６）に詳しい。ＡＤＣＴ方法は、高い周波数における小さな振幅変化は一般的に無視できるという事実を利用している。
【００１１】
ＡＤＣＴ方法の次のステップは、量子化あるいはＱ行列の使用を伴うものである。図２（Ｃ）に示されているＱ行列は、圧縮に対する標準ＪＰＥＧ案の行列であるが、ＡＤＣＴならびに本発明による方法も、別のＱ行列（あるいはＱテーブル）を使用して、動作させることができる。この行列には、より大きい周波数に対してより大きな量子化ステップ、つまりより大きなエントリを導入することにより、より低い周波数は、より高い周波数よりも、概略的により重要であるという効果が取り入れられている。しかし、このテーブルは、このような概略的な仮定から、いくつかの好ましい変化を内部的に作成することも試みている。したがって、このテーブルの値は、周波数にしたがって変化し、そこでは、厳密な変化は、人間の視覚系、予測される文書の種類、つまり写真であるか、テキストであるか、グラフィックであるかなど、あるいはいくつかの別のアプリケーション依存パラメータによって異なってくる可能性がある。図２（Ｂ）のＤＣＴ値の各々は、下式のように、図２（Ｃ）の対応するＱ行列値によって分割され、量子化ＤＣＴ（ＱＤＣＴ）値になる：
ＱＤＣＴ［ｍ］［ｎ］
＝ＩＮＴ｛ＤＣＴ［ｍ］［ｎ］÷Ｑテーブル［ｍ］［ｎ］＋１／２｝
ここで、ＩＮＴ｛Ａ｝はＡの整数部分を示す。
【００１２】
除算で発生した余りは切り捨てられるので、データの喪失が発生する。以下の説明においては、除算という言葉は、打ち切り（ｔｒｕｎｃａｔｉｏｎ）と切り捨てて丸める（ｒｏｕｎｄ−ｏｆｆ）ことを処理する方法を含む、ＡＤＣＴにおいて詳述されている過程を記述するのに使用する。さらに、テーブルの右下のＱ値は高くなる傾向があることから、その領域の値の大部分は、より高い周波数において画像の極度に高い振幅が発生しないかぎり、ゼロになる。
【００１３】
図２（Ｄ）に示されているような１セットの量子化ＤＣＴ値が求められると、画素は、空間を埋めるジグザク形の曲線の順序に配置され、そして、ハフマン法のような統計的符号化方法の使用によって、伝送信号が発生する。この統計的符号化は、データの損失を伴わずに実行され、そして、圧縮でもたらされる唯一の損失は、Ｑテーブルを使用したＤＣＴ係数の量子化によって発生する損失だけである。
【００１４】
ＡＤＣＴ変換は周知であり、そして、画像データに変換を施すためのハードウェアが存在する。たとえば、Ｎｉｈａｒａの米国特許第５，０４９，９９１号、Ｇｏｎｚａｌｅｓ等の米国特許第５，００１，５５９号、そしてＰｕｒｉの米国特許第４，９９９，７０５号などがその例である。しかし、これらの特定の特許の本来の趣旨は、文書画像ではなく、動画画像を対象としたものである。
【００１５】
圧縮されている画像を復元するには、図１に示されているように、圧縮過程を逆にたどる一連の機能あるいはステップが使用される。ハフマン符号化が復号器５０で除去される。その結果、画像信号が量子化ＤＣＴ係数を表わし、これは、信号乗算器５２において、メモリ５４に記憶されているＱテーブルにより、圧縮過程と逆の過程をたどって乗算される。逆変換器５６において、離散コサイン変換の逆変換が行われ、空間領域の出力画像が画像バッファ５８に記憶される。
【００１６】
上記の復元方法では、ハフマン符号化は、量子化ＤＣＴ係数セットを得るために除去される。この係数セットの各構成要素は、次式により図２（Ｃ）と２（Ｄ）のデータを使用することにより、Ｑテーブル値で乗算され、図３（Ａ）に示されているＤＣＴ係数になる：
ＤＣＴ［ｍ］［ｎ］＝ＱＤＣＴ［ｍ］［ｎ］×Ｑテーブル［ｍ］［ｎ］
【００１７】
しかし、図３（Ａ）に示されている結果は、図２（Ｂ）に示されている元のＤＣＴ係数のセットではない。なぜなら、圧縮過程において、Ｑテーブルで行われたＤＣＴ係数の元の量子化に対して計算された余りが失われているからである。標準ＡＤＣＴ復元過程では、ＤＣＴ係数のセットの逆離散コサイン変換を求めて、図３（Ｂ）に示されている画像値を得ている。
【００１８】
上記の過程は、最良の画像を再生するようには働かない。この過程が元の画像を再生できないことは明らかである。なぜなら、画像内のデータが、圧縮・量子化ステップにおいて廃棄されているからである。テキストに存在するのが一般的な強いエッジが現れるとき、この欠陥が露呈する。とくに、そのような強いエッジにおいては、「リンギング効果」とか「モスキートノイズ」と呼ばれる好ましくない現象が発生する。これらの問題は、テキスト、図形、中間調など、文書画像において非常に一般的な構成要素において発生する。モスキートノイズあるいはリンギング効果に加え、ブロッキング効果という好ましくない現象が頻発する。この現象は、圧縮基準の計算の基になった各々のＭｘＭブロックが見えるようになる、グレイが徐々に変化する画像領域に関連して発生する。
【００１９】
このような好ましくない効果を除去するために、２種類の方法が試みられている。最初の方法では、圧縮された画像が後処理を施される。つまり、画像が完全に復元された後で画像の改善が試みられる。言うまでもなく、そのような処理は、元の画像が失われているので、元の画像には絶対に戻らない。このような過程は、Ｒｅｅｖｅ，ＩＩＩ等による論文”Ｒｅｄｕｃｔｉｏｎ ｏｆ Ｂｌｏｃｋｉｎｇ Ｅｆｆｅｃｔｓ ｉｎ Ｉｍａｇｅ Ｃｏｄｉｎｇ”，ＯｐｔｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｊａｎｕａｒｙ／Ｆｅｂｒｕａｒｙ，１９８４，Ｖｏｌ．２３，Ｎｏ．１，ｐ．３４、ならびに、Ｃ．Ａｖｒｉｌ等の論文”Ｌｉｎｅａｒ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｒｅｄｕｃｉｎｇ ＢｌｏｃｋｉｎｇＥｆｆｅｃｔｓ ｉｎ Ｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍ Ｉｍａｇｅ Ｃｏｄｉｎｇ”，Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，Ａｐｒｉｌ １９９２，Ｖｏｌ．１（２），ｐｐ．１８３−１９１に記述されている。しかし、この画像後処理法では、実際の元の画像の復元は不可能であり、そして電子イメージング応用分野において必要となる可能性のある後続の圧縮／復元ステップにより、復元画像と元の画像とのずれがますます大きくなる。
【００２０】
もう一つの方法は、既知のデータの帯域制限を使用した反復復号過程による方法である。この方法では、画像の圧縮形態を再度使用して、たとえば３２ｘ３２などの複数の異なるブロックを使用して、画像の復号を行なう。その一例が、Ｒ．Ｒｏｓｅｎｈｏｌｔｚ等の”Ｉｔｅｒａｔｉｖｅ Ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ Ｒｅｄｕｃｔｉｏｎ ｏｆ Ｂｌｏｃｋｉｎｇ Ｅｆｆｅｃｔｓ ｉｎＴｒａｎｓｆｏｒｍ Ｉｍａｇｅ Ｃｏｄｉｎｇ”，ＳＰＩＥ，Ｖｏｌ．１４５２，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ ＩＩ，（１９９１），ｐｐ．１１６−１２６に記載されている。これは、画像全体をぼかす方法であり、ぼかしによって上記の好ましくないブロックキング効果を目立たなくすることを期待している。
【００２１】
本発明によれば、圧縮された文書画像を復元する方法が提供される。この方法では、復元された画像に対してフィルタリングが行われ、そしてフィルタリングが行われた画像が、元の画像から導き出せる１セットの画像と比較されてから圧縮されて、画像ノイズを低減し、復元された画像が画像の既知の範囲内に確実に入るようにする。
【００２２】
本発明の一つの局面によれば、元の文書画像に対する忠実度を維持しながら、復元された文書画像の見掛けを改善する方法が提供され、そこでは、圧縮に対して、元の文書画像が画素ブロックに分割され、その画素ブロックが、周波数空間変換圧縮動作を使用した前方変換符号化動作によって、変換係数ブロックに変換される。この変換係数は、つぎに、損失を伴う量子化過程で量子化される。この量子化過程では、各々の変換係数は、量子化テーブルからの量子化値によって分割され、その結果の整数部分が量子化変換係数として使用される。そして、量子化変換係数のブロックが、損失を伴わない符号化方法によって符号化される。この方法は、次の復元ステップで構成される。つまり、ａ）元の画像に対する符号化され量子化された変換係数ブロックを受け取る。ｂ）元の画像に対する量子化変換係数ブロックの損失を伴わないで符号化したものを取り除く。ｃ）ブロック内の各々の量子化変換係数に、量子化テーブルからの対応する量子化値を掛け、受け取った変換係数のブロックを得る。ｄ）逆変換動作を、受け取った変換係数に対して実行して、画像を復元する。ｅ）選択したフィルタを使用して、エッジを保存しながら、損失を伴う量子化過程の結果として復元画像に発生した高周波ノイズを低下させて、復元画像の見掛けをより視覚的に訴えるように再現する。ｆ）フィルタリングを行なった復元画像を、周波数空間変換動作を使用した前方変換符号化動作によって、新しい変換係数のブロックに変換する。ｇ）新しい変換係数の各々のブロックを、受け取られた変換係数の対応ブロックならびに選択された量子化テーブルと比較し、フィルタリングを行なった復元画像が元の画像から導き出せるかどうかを判断する。最後に、ｈ）導き出せることが分かったら、フィルタリングを行なった復元画像を出力バッファに転送する。
【００２３】
本発明の別の局面によれば、上記復元過程において、ステップｇ）はさらに次のステップを含むことができる。つまり、１）新しい変換係数のブロックが元の画像から導きだせないことを判断する。２）個々の新しい変換係数を変更し、変更された新しい変換係数が元の画像から導き出せるようにする。３）変更された新しい変換係数のブロックから画像を復元する。
【００２４】
本発明のさらに別の局面によると、ステップｅ）からｇ）は、選択した条件が発生するまで、反復して繰り返すことができる。選択条件としては、ｉ）反復回数、ｉｉ）変換された画像に対して修正が不要、あるいはｉｉｉ）逆変換された画像に対して、連続反復において変更が行われなかった。
【００２５】
圧縮過程ではなく復元過程を変更することにより、ＪＰＥＧ標準過程との一貫性と互換性が、文書画像データが受ける圧縮／復元の回数とは関係なく、維持される。さらに、この過程は、画像の入力と、本発明による復元過程を使用することにより改善ができるかどうかにしたがい、使用を選択することができる。
【００２６】
図１は、従来のＡＤＣＴ圧縮／復元過程の機能ブロック図である。
【００２７】
図２（Ａ）は、圧縮する画像データの８ｘ８ブロックを示す。
【００２８】
図２（Ｂ）は、図２（Ａ）の画像の周波数空間表現を与える決定されたものとしての離散コサイン値を示す。
【００２９】
図２（Ｃ）は、実施例で使用されているデフォルトのＱテーブルを示す。
【００３０】
図２（Ｄ）は、決定されたものとしての量子化離散コサイン値を示す。
【００３１】
図３（Ａ）は、図２（Ｃ）のＱテーブルを使用して図２（Ａ）のデータから得られたＤＣＴ値を示す。
【００３２】
図３（Ｂ）は、対応する８ｘ８の再構成された画像のデータブロックを示す。
【００３３】
図４は、１つのクラスの別個の可能な画像を表わす１セットの量子化されたＡＤＣＴ値の原理を示す。
【００３４】
図５から７は、１セットの量子化されたＡＤＣＴ値で表わされている複数のソース画像の場合の数値的な例を示す。
【００３５】
図８は、実施例に使用されているエッジを保存する低域通過フィルタの効果である。
【００３６】
図９（Ａ）は、画像ブロックの一例と、その近傍ならびにフィルタコンテキストを示す。
【００３７】
図９（Ｂ）は、画像に対して実行したフィルタリングの効果を示す。
【００３８】
図９（Ｃ）は、画像のＤＣＴ変換を示す。丸は、画像が可能な画像のセット内に入っていないことを示す。
【００３９】
図９（Ｄ）は、画像のＤＣＴ変換に対する変更を示す。
【００４０】
図９（Ｅ）は、変更されたＤＣＴ変換の逆変換を示す。
【００４１】
図１０は、図９を図示したもので、を図示したもので、フィルタリングを施した画像が、同一のＡＤＣＴ表現を有する画像のセットの外側にある。
【００４２】
図１１は本発明を形成する反復復元過程の流れ図である。
【００４３】
本発明の実施例の説明を目的とし、本発明を制限するものではない図を参照すると、まず、当初圧縮過程で圧縮された画像に厳密に戻ることは、圧縮過程でデータが失われているので、不可能であるが、元の圧縮された画像にある点で似ている画像に戻ることは、以下に説明されているように可能である。つぎに、画像に発生した基本的な画像欠陥を修正することが可能である。図４を参照すると、圧縮／復元過程の概念が示されている。互いに独立した１セットの画像が存在するが、これらの画像は、各々が同一のＡＤＣＴ表現に圧縮されるという点で類似である。したがって、復元を行なうと、このセット内の出力画像が発生するはずである。可能な画像のセットの情報は、使用Ｑテーブルによって符号化される。Ｑテーブルは、離散量子化変換係数の除数を表わし、そして、量子化の結果、各係数の小数部分が切り捨てられるので、可能な画像のセットは、変換の各項に対する可能な係数値の範囲について同一の量子化変換係数を決定できるすべての画像を表わすことになる。
【００４４】
ここで、図５を参照する。１セットの可能なソース画像１００、１０２、１０４、１０６があり、各々は、たとえば、０から２５６の範囲の濃度値を有する画像信号で構成され、そしてＤＣＴ変換の結果として発生した対応するＤＣＴ係数が後続する（この図では、ＤＣＴ１０８として示されている）。これらの画像は、元の画像を入力スキャナで走査して作成された、あるいはコンピュータなどにおける電子文書上に作成された文書画像の一部を表わしている。これらの画像はそれぞれが独立しており、また図６に示されているＤＣＴ係数１１０、１１２、１１４、１１６もそれぞれ別個のものであることは明らかである。ＤＣＴ係数は、図７に示されているＱテーブル１１９内の対応するエントリを使用して、量子化１１８において量子化される。この例では、ＤＣＴ係数の左上のエントリが、Ｑテーブルの左上のエントリ［１６］によって分割される。小数部分を丸めることにより、これらの係数はつぎのようになる：
セット１１０では、１５７／１６＝９．８１≒１０
セット１１２では、１６０／１６＝１０
セット１１４では、１６３／１６＝１０．１９≒１０
セット１１６では、１６２／１６＝１０．１３≒１０
【００４５】
したがって、ＤＣＴ係数のテーブルの左上のすべてのエントリは、このＱテーブルを使用する同じ量子化ＤＣＴ係数（図７に示されているセット１２０）に対して写像することができる。このことは、図５に示されているすべての他のＤＣＴ係数についても当てはまる。したがって、セット１２０の圧縮データは、図５に示されている可能なソース画像の部分集合を持つ一意のソース画像を記述するのではなく、これらの１セットの可能なソース画像を記述する。８ｘ８画像ブロックが量子化ＤＣＴ係数の可能なソースであるとの判断は、Ｑテーブルのエントリによって量子化器が決まり、したがってＤＣＴ係数の精度が決まるという事実を考慮することによって、導き出すことができる。図６の例では、左上のエントリは、１５３≦エントリ≦１６８で囲まれ、１６個の値にわたっており、この範囲内のどの値も、圧縮データを変更することなくＤＣＴ係数として使用することができる。これが、本発明による方法で使用される「非一意性（ｎｏｎ−ｕｎｉｑｕｅｎｅｓｓ）」である。これは、ｉ）圧縮データに一致する可能なソース画像、かつ、ｉｉ）文書画像のモデルに一致する画像である可能なソース画像を選択することにより使用される。このようにして、本発明による方法は、従来の方法とは異なっている。従来の後フィルタリング方法の場合では、得られた最終画像が圧縮データに一致せず、圧縮の制限にソース画像モデルを使用せずに、サンプリングを使用して画像をぼかす手法をとっている。
【００４６】
入力文書画像に対する期待値を定義するため、復元過程から発生する問題は、リンギング、つまり高周波ノイズであることに注目しなければならない。高周波ノイズの除去が望ましいが、低域通過フィルタが必要である。残念なことに、リンギングはエッジにおいて発生する。エッジは文書画像において非常に一般的で重要である。したがって、エッジは高周波を表わし、そして高周波は取り除いてはならないので、簡単な低域通過フィルタは十分ではない。簡単な低域通過フィルタを使用すると、エッジ情報が破壊される。つまり、そしてノイズ減少に伴って、文字の読みやすさ、線の明確さが低下する。そのようなフィルタとは反対に、エッジを保存する低域通過フィルタが必要になる。エッジを保存する低域通過フィルタは、順序統計フィルタ（あるいは中央値フィルタ）、シグマフィルタのような、非線形フィルタである。
【００４７】
この例では、図８を参照すると分かるように、シグマフィルタは、ノイズ値あるいはΔ＝３２のデルタを使用して、画像を処理する。値２３１を持つ画素は、この値からΔ以上逸脱しない画素によって取り囲まれている。したがって、出力値２１８は、３ｘ３領域内の９個の画素すべての平均をとることによって得られる。値４０を持つ画素は、この範囲内の画素によって取り囲まれるとともに、この範囲を超える画素によっても取り囲まれ、その結果、３個の画素を平均することによって、出力値５５が得られる。
【００４８】
さて、図９を参照すると、１０ｘ１０画素近傍内の８ｘ８画素ブロックの中にある１セットの復元画素とそれらのグレイ値が、画像の残りの部分からこの近傍を分離している黒い線によって示されている。画像の境界において、画素が単純に複写され、そして図９（Ａ）に示されているように、これは左端の列と下端の行によって表わされる。シグマフィルタは、中央の画素から値３２以上逸脱しない３ｘ３近傍内の画素に対して実行される平均化機能として表わされる。図９（Ａ）では、値１５５、９６、１４１（全て丸で示されている）は、中央の画素２０６（四角で示されている）から、値３２（ノイズ値あるいはΔ）以上逸脱している。このフィルタをかけると、図９（Ｂ）に示されているグレイレベル画素から修正された画像が得られ、その画素の新しい値２０８（四角で示されている）になる。
【００４９】
復元画像の高周波ノイズが減衰しているフィルタリングが施された画像が得られると、元の画像との比較が行われ、元の画像に対する忠実度が確認される。この画像のＤＣＴが、図９（Ｃ）に示されているように導き出される。その結果が、元の圧縮画像と直接比較される（たとえば、図６のＤＣＴ係数セット１１０、１１２、１１４、１１６と図７のＱテーブル１１９と直接比較される）。ＤＣＴセットの各々の位置は、ある範囲の許容可能な値を有しており、そして、図９（Ｃ）の例では、位置３，１における値（丸で示された値７４）は、８＝ＩＮＴ｛許容可能な値÷１０＋１／２｝によってすでに７５から８４であると決定している許容可能な値の範囲を超えている。ここで、この式の中の’８’は量子化されたＤＣＴ係数であり、’１０’は対応するＱテーブルのエントリである。したがって、値７５は値７４の代りに使用される。つまり、可能な画像のセット外にあった画像が、そのセットの中に来るように（図５と６参照）、変換値が変更されたということである。この例では、許容可能な範囲内だけの値が選択されるが、経験によれば、その範囲における別の位置の値も、範囲外の値の代りに使用することができる。図９（Ｄ）は、位置３，１における補正されたＤＣＴ係数を示し、修正されたエントリが位置１，４（丸で示されている）に追加されている。図９（Ｃ）と図９（Ｄ）からも明らかなように、復元画像に単純なフィルタリングを施しても、そのフィルタリング動作の結果が、圧縮データに対する可能なソース画像であった画像になる保証はなく、そのため、ＤＣＴデータに違反する画像が発生する。変更されたＤＣＴセットを逆変換したものが導き出され、そして１セットのグレイ画像画素が、図９（Ｅ）に示されているように、再び得られる。図９（Ｂ）を基準として変更された図９（Ｅ）のすべての画素がここでも丸で示されている。図９（Ｅ）に与えられている値は、可能な元の画像の値である一方、図９（Ｂ）の２つの値は許容可能なＤＣＴ範囲に違反していることに注意しなければならない。
【００５０】
画像のフィルタリング、周波数空間への変換、周波数空間値の比較と変更、グレイ画像画素への再変換は、何回でも反復することができる。反復回数は、ＤＣＴ変換の変更を伴わずに選択できる（つまり、収束する）。あるいは、この過程は、画像にもはや変化がなくなるまで、反復することができる（これは別の種類の収束である）。あるいは、固定値に設定した反復回数、つまり固定値を反復回数の上限として使用することができる。
【００５１】
上記の反復過程では、フィルタで使用されるノイズ推定値は、反復毎に変更することができる。つまり、Δ＝３２を仮定して、その値を各々の反復過程に使用する代りに、３回の反復の場合では、２回目の反復でΔの２／３の値を、３回目の反復でΔの１／３の値を使用することができる。また、フィルタリングと鮮鋭化（別のフィルタを使用）を逐次動作で行なうこともできる。
【００５２】
かくして、画像が新しいものになった。ここで、最初に注意すべきことは、この画像が、圧縮された元の画像になったであろう、ひとつの可能な元の画像であるということである。したがって、元の画像に対するなんらかの忠実性が存在する。この画像は、少なくとも１回円滑化が施され、エッジが強調するか、或いは、維持しながら、高周波ノイズが除去されている。修正によって画像に変化がもたらされたかもしれないが、フィルタリングを施された画像を圧縮したものが元の圧縮画像（元の可能なセット）と比較されて、忠実度を確保している。フィルタリングを施された画像は、必要に応じて修正されている。修正され、フィルタリングを施された画像は、フィルタリングを施されただけの画像よりも良好とみなされる。なぜなら、前者は、可能な画像の範囲に完全に一致しているからである。
【００５３】
図１０は、本発明の原理を示す。元の画像が圧縮され、圧縮されたものが復元される。復元された画像にフィルタリングが施されて、見掛けが改善されるが、その過程で、画像は、許容可能な画像範囲の外へ押し出される。したがって、画像をＤＣＴで表現したものが変更され、画像を許容画像範囲の中に押し戻す。
【００５４】
ここで、図１１は、本発明の追加動作を示す、本発明による反復ＡＤＣＴ復元／再構成の流れ図である。ＡＤＣＴ圧縮方法に従って統計的符号化で圧縮された画像が、ステップ３００において得られる。この統計的符号化は、ステップ３０２で除去されて、量子化されたＤＣＴ係数が得られる。ステップ３０４において、量子化ＤＣＴ係数にＱテーブル内の値が掛けられ、１セットのＤＣＴ係数が得られる。ステップ３０６において、ＤＣＴ係数の逆変換が行われ、グレイ画像が得られる。通常の過程から外れて、ステップ３０８で、８ｘ８出力ブロックに対してフィルタリングが施される。ステップ３１０において、フィルタリングを施された出力画像が使用されて、１セットのＤＣＴ係数が発生する。ステップ３１２において、フィルタリングを施された画像のＤＣＴ係数が、ステップ３１２で得られたＤＣＴ係数と比較され、そして各々の値に関する許容可能な範囲と比較される。ステップ３１４において、フィルタリングを施された画像のＤＣＴ係数が、この許容可能範囲内にあると判断された場合、ステップ３１６において、ＤＣＴ係数の逆変換が行われ、グレイ画像が発生する。ステップ３２０において、このグレイ画像が出力される。フィルタリングを施された画像のＤＣＴ係数が各値毎の許容範囲内にないと判断された場合、ステップ３２２において、許容可能な値が範囲外の値に代って使用され、この過程がステップ３０６から繰り返される。図示されないカウンタが増分されて、反復回数を制限する。もし、ステップ３２４において、反復回数の上限に到達すると、データがブロック３１６に転送され、さらにブロック３２０を通じて出力される。このステップによって、この出力グレイ画像が、ステップ３００で受信された圧縮記述に対して有効な画像になることが確実になる。
【００５５】
上記の例では、ＤＣＴ係数に対して、１つの特定のフィルタの種類と、１つの特定の競合の解消が使用されていることに注意しなければならない。ここで、一般的な順序統計フィルタやいわゆる「ファインド・アンド・リプレース」型のフィルタを含む上記以外のフィルタの使用も可能であることは明らかである。また、フィルタは、８ｘ８ブロックの局所特性に基礎を置くことも可能である。その一例は、局所８ｘ８ブロックのダイナミックレンジの端数および／あるいはＱ行列を使用して、ブロック内で検出された最大ノイズ変動を判定する、エッジ保存円滑化フィルタである。ＤＣＴ領域に対する画像領域での処理に対するもうひとつの選択肢は、元の画像が２進値の場合、データをしきい値処理することである。しかし、この選択肢は、ＤＣＴ領域内で試験して、そして、しきい値処理は、しきい値処理を行なった後のＤＣＴ係数が、しきい値処理を行なう前のＤＣＴ係数に一致する場合にだけ許容すべきである。
【００５６】
ＤＣＴ係数の競合の解消に対しては、上記とは別の選択肢が存在する。収束速度は、アルゴリズムを少し修正するだけで改善することができる。考えられる修正には、たとえば、ノイズを、修正されたＤＣＴ係数に追加することがあげられる。最後に、反復回数は、上記の例に使用されている固定数を使用せずに、局所８ｘ８ブロック特性の関数とすることができる。
【図面の簡単な説明】
【図１】従来のＡＤＣＴ圧縮／復元過程の機能ブロック図である。
【図２】図２（Ａ）は、圧縮する画像データの８ｘ８ブロックを示す。図２（Ｂ）は、図２（Ａ）の画像の周波数空間表現を与える決定されたものとしての離散コサイン値を示す。図２（Ａ）の画像の周波数空間表現を決定し、行なうものとしての離散コサイン値を示す。図２（Ｃ）は、実施例で使用されているデフォルトのＱテーブルを示す。図２（Ｄ）は、決定されたものとしての量子化離散コサイン値を示す。
【図３】図３（Ａ）は、図２（Ｃ）のＱテーブルを使用して図２（Ａ）のデータから得られたＤＣＴ値を示す。図３（Ｂ）は、対応する８ｘ８の再構成された画像のデータブロックを示す。
【図４】１つのクラスの別個の可能な画像を表わす１セットの量子化されたＡＤＣＴ値の原理を示す。
【図５】１セットの量子化されたＡＤＣＴ値で表わされている複数のソース画像の場合の数値的な一つの例を示す。
【図６】１セットの量子化されたＡＤＣＴ値で表わされている複数のソース画像の場合の数値的な他の例を示す。
【図７】１セットの量子化されたＡＤＣＴ値で表わされている複数のソース画像の場合の数値的な更に他の例を示す。
【図８】実施例に使用されているエッジを保存する低域通過フィルタの効果である。
【図９】図９（Ａ）は、画像ブロックの一例と、その近傍ならびにフィルタコンテキストを示す。図９（Ｂ）は、画像に対して実行したフィルタリングの効果を示す。図９（Ｃ）は、画像のＤＣＴ変換を示す。丸は、画像が可能な画像のセット内に入っていないことを示す。図９（Ｄ）は、画像のＤＣＴ変換に対する変更を示す。図９（Ｅ）は、変更されたＤＣＴ変換の逆変換を示す。
【図１０】図９を図示したもので、フィルタリングを施した画像が、同一のＡＤＣＴ表現を有する画像のセットの外側にある。
【図１１】本発明を形成する反復復元過程の流れ図である。
【符号の説明】
１０…ＭｘＭメモリ、１２…変換器、１４…分割器、１６…Ｑテーブルメモリ、２０…符号化器、５０…復号器、５２…乗算器、５４…Ｑテーブルメモリ、５６…逆変換器、５８…画像バッファ

Claims (5)

1. 圧縮時に、元の文書画像が画素のブロックに分割され、上記画素のブロックが、周波数空間変換動作を使用した順方向変換符号化動作によって変換係数のブロックに変えられ、その後上記変換係数が損失を伴う量子化過程によって量子化され、上記量子化過程では各々の変換係数が量子化テーブルからの量子化値に従って量子化され、その結果が量子化変換係数として使用される元の文書画像に対する忠実度を維持しながら、圧縮から復元された文書画像の見掛け状態を改善する方法であって、
   ａ）上記元の画像に対する上記量子化変換係数を受け取り、
   ｂ）量子化テーブルからの対応量子化値に従ってブロック内の変換係数を逆量子化して１ブロックの受け取られた変換係数を得、
   ｃ）受け取られた変換係数に逆変換動作を適用して画像を復元し、
   ｄ）エッジを保存する非線形フィルタを使用して、エッジを保存しながら、損失を伴う量子化過程の結果として復元画像に発生した高周波ノイズを低下させて、復元画像の見掛けをより視覚的に訴えるように再現し、
   ｅ）周波数空間変換圧縮動作を使用した順方向変換符号化動作によって、フィルタリングを施した復元画像を新しい変換係数のブロックに変え、
   ｆ）新しい変換係数の各ブロックを、受け取られた変換係数の対応ブロックおよび選択された量子化テーブルと比較し、フィルタリングを施した復元画像が元の画像から導き出せるかどうかを判断し、そして、
   ｇ）上記判断に基づいて、フィルタリングを施した復元画像を出力バッファに転送する圧縮過程を有する圧縮から復元された文書画像の見掛け状態を改善する方法。
2. 請求項１に記載の圧縮から復元された文書画像の見掛け状態を改善する方法において、
   ｆ）が、
   １）新規の変換係数のブロックを元の画像から導き出せないことを判断し、
   ２）個々の新規の変換係数を変更して、変更された変換係数が元の画像から導き出せるようにし、
   ３）変更された新規の変換係数のブロックから画像を回復する追加の過程を含む文書画像の見掛け状態を改善する方法。
3. 請求項１に記載の圧縮から復元された文書画像の見掛け状態を改善する方法において、
   ｆ）が、
   １）新規の変換係数のブロックを元の画像から導き出せないことを判断し、
   ２）個々の新規の変換係数を変更して、変更された変換係数が元の画像から導き出せるようにし、
   ３）変更された新規の変換係数のブロックから画像を回復し、
   ４）所望の状態が起こるまで、ｄ）〜ｆ）を繰り返す追加の過程を含む文書画像の見掛け状態を改善する方法。
4. 請求項１に記載の圧縮から復元された文書画像の見掛け状態を改善する方法において、
   順方向変換符号化動作が頻度操作を使用し、離散的コサイン変換である文書画像の見掛け状態を改善する方法。
5. 請求項１に記載の圧縮から復元された文書画像の見掛け状態を改善する方法において、
   量子化変換係数が、ロスレス符号化によって更に符号化され、ｂ）に先だってロスレスの符号化を除去する文書画像の見掛け状態を改善する方法。

Images