JP4037824B2 - 画像符号化方法および画像装置 - Google Patents

Description

【０００１】
【技術分野】
本発明は、画像を圧縮する画像符号化方法および画像装置に関し、さらに詳細には、文字などのエッジが明確な領域を含む画像を圧縮し、この圧縮された画像から元の画像を再現するときに発生するモスキートノイズを減少させる画像符号化方法および画像装置に関する。
【０００２】
【背景技術】
従来から写真などの中間調画像の符号化方法としては、ＪＰＥＧ（Joint Photographic Coding Experts Group）に代表されるような直交変換を用いた方法が広く使用されている。
【０００３】
ＪＰＥＧはカラー静止画像の符号化方法で非可逆変換ではあるが、写真などの自然画像に対して画質の劣化が少ない。したがって、パーソナルコンピュータ、インターネット、ディジタルカメラなど多くのアプリケーションでＪＰＥＧが用いられており、カラーファクシミリにおいても標準の符号化方法となっている。
【０００４】
たとえば、カラーファクシミリ装置では標準的なカラー画像の符号化方法として前記ＪＰＥＧが用いられる。ここで、カラーファクシミリ装置に用いられるＪＰＥＧについて説明する。カラーファクシミリ装置では、画像の各ピクセルの色表現に通常Ｌ^*ａ^*ｂ^*色空間を用いる。画像を圧縮する場合、たとえばＲＧＢで表される原画像をＬ^*ａ^*ｂ^*色空間に変換して、ａ^*およびｂ^*で表される色差成分の解像度を１／２に圧縮する。次に、色空間に変換された画像を８×８の画素からなるブロックに分割し、各ブロックを離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）によって空間周波数成分に変換する。このＤＣＴによって変換された空間周波数成分を量子化マトリクスで除算して整数部分のハフマン符号化を行うことによって圧縮画像となる。ＪＰＥＧでは、前記量子化マトリクスで除算するときに、主に周波数の高い成分を大きく圧縮する。また、空間周波数成分のマトリクス左上端の直流（ＤＣ）成分は可逆なエントロピー圧縮法であるハフマン符号化で圧縮し、その他の成分は斜めにジグザグに取り出されて同じくハフマン符号化で圧縮される。
【０００５】
上述したＪＰＥＧでは、人間の目が高周波成分に対して鈍感なことを利用して、高周波成分ほど大きく圧縮されるような量子化テーブルを用いている。この量子化マトリクスで空間周波数成分を除算して整数で近似することによって、原画像の情報は失われる。したがって、符号化処理とは逆の処理を行うことによって画像の復号化を行うと、再現された画像では特に高周波成分が失われている。このようにＪＰＥＧは、圧縮された画像を逆変換すると原画像とは異なる画像となってしまう非可逆な符号化方法である。
【０００６】
上述したようにＪＰＥＧは非可逆な符号化方法であるので、文字などの濃度の急峻な変化を有する画像では、高周波成分が失われることによって画質劣化が大きくなる。したがって、文字などのエッジを含む画像を符号化し、再び復号化した画像では、もやもやとした部分、いわゆるモストキートノイズが発生する。モスキートノイズは、単色ファクシミリ装置の圧縮方法であるモディファイドハフマン符号化およびモディファイドリード符号化では発生しないが、ＪＰＥＧでは主に文字周辺の白色の下地に発生して文字品位を大幅に減少させる。
【０００７】
図７Ａ，Ｂ，Ｃは、上述したモスキートノイズの発生を具体的に説明するための図である。図７Ａ，Ｂ，Ｃの各図で、縦軸は階調値０（黒）から階調値２５５（白）までの２５６段階で色空間座標ごとの各成分の色を表し、横軸は画素の位置を１次元的に表している。ここでは、Ｌ^*ａ^*ｂ^*色空間を用いる標準的なカラーファクシミリ装置の場合を考え、人間の目が敏感な明度成分であるＬ^*成分についてのみ示す。一般に、カラー画像はＲＧＢなどの色の３成分で表現され、各成分とも０からＮ−１までのＮ段階の成分に量子化される（Ｎは２以上の自然数）。Ｎを大きく取るほど画像の表現は原画像に忠実になるが、コンピュータなどの電子機器で処理する場合には８ビットで表現される画像であるＮ＝２５６を選択することが多い。
【０００８】
ここでは左側が文字領域で高濃度となっており、右側が余白部で白となっている画像、つまり図７Ａに示すように、画素位置の左側では階調値が小さく、つまり画像の濃度が大きく、右側では階調値が２５５であり濃度が低くなっている画像の符号化を行う。図７Ａに示す画像をＪＰＥＧによって符号化し、符号化された画像を符号化処理とは逆の処理を行って再変換し、再現した画像を図７Ｂに示す。図７Ｂは、階調値２５５でクリッピングする前の復号画像を示す図である。ＪＰＥＧでは符号化によって高周波成分が大きく圧縮されるので、クリッピング前の復号画像は画像の白部分にリップルのような画像が残り、階調値が２５５以上となる画素が発生する。このため、逆変換処理では階調値が２５５以上の階調範囲外の画素は、図７Ｃに示すようにクリッピングして階調値２５５に固定される。このように、従来の画像符号化方法では高周波成分の圧縮を大きくするため、文字などの高周波成分を含む部分ではリップル状の濃度差が発生する。このリップル状の濃度差がモスキートノイズの原因となっている。なお、同じようなリップル状の濃度差は復号画像の文字領域である黒部分にも発生するが、実質上あまり目立たないので簡明を期するため、説明を省略している。
【０００９】
上述したモスキートノイズを減少させるためには、量子化マトリクスの値を小さくする必要がある。しかしながら、量子化マトリクスの値を小さくすると圧縮率が小さくなるので、たとえばカラーファクシミリの場合では送信時間が長くなるといった問題がある。従来の多くのカラーファクシミリ装置などの機器は、カラー画像の符号化方法としてＪＰＥＧだけを搭載し、ファクシミリ送信における発信元表示などの文字もＪＰＥＧで符号化するので文字領域のノイズが目立つといった問題がある。
【００１０】
また、ＪＰＥＧ−２０００では画像をブロックに分割しないでウェーブレット変換を用いて符号化を行う。しかしながら、この場合も同様にモスキートノイズが発生する。
【００１１】
上述したモスキートノイズの発生を低減する方法が、たとえば特開平６−８６３２８号公報、特開平７−５０８４９号公報、特開平１１−３０８４６３号公報、特開２０００−３０７８７９号公報、および特開２００１−１６４５２号公報などに開示されている。
【００１２】
特開平６−８６３２８号公報では、高圧縮された画像データの復号化によって発生する色差信号のモスキートノイズを輝度信号に基づいて除去する画像復号化装置が開示されている。
【００１３】
また、特開平７−５０８４９号公報では、文字を合成した画像に画像情報の圧縮、伸長処理を施しても美しい文字の表示を可能とするため、画像メモリと画像圧縮伸長部との間にノイズ低減部を設け、文字を合成した画像を画像メモリから画像圧縮伸長部へ入力するに先立って、合成した文字の外側であって、水平方向および垂直方向における１番目に位置する画素として、文字の階調と文字周辺の階調との中間階調色を持つ画素を挿入している。
【００１４】
また、特開平１１−３０８４６３号公報では、自然画像などの階調画像と文字または図形などの非階調画像などとが混在した画像データの圧縮に際し、階調画像と非階調画像とをそれぞれ異なる符号化方法を用いて符号化する。
【００１５】
また、特開２０００−３０７８７９号公報では、モスキートノイズを低減するため、カラー成分信号のうち、輝度信号に対して混在画像の像域を判定回路で判定し、中間調画像については量子化テーブルａを用いて量子化し、２値画像データについては量子化テーブルｂ（ａ＜ｂ）を用いて量子化して送信し、受信側では、２値画像データについては量子化テーブルａと同じ値の参照値を用いて、非対称の逆量子化を行い、輝度のダイナミックレンジからはみ出す部分についてはクランプ回路でクランプする。
【００１６】
また、特開２０００−１６４５２号公報では、画像データの圧縮伸長処理の前後に２つの下地除去処理を設けることによってモスキートノイズを低減している。
【００１７】
一方、カラーファクシミリ装置では、標準の符号化方法であるＪＰＥＧ以外にオプションの符号化方法としてＭＲＣ（Mixed Raster Content）を有する。このＭＲＣを用いることによって、発信元情報部分だけをノイズの発生しない可逆符号化で送ることができる。ＭＲＣは、画像をフォアレイヤー、マスクレイヤー、バックレイヤーの３つに分けて、それぞれを別の方法で符号化する。フォアレイヤーとバックレイヤーとはカラー画像であり、マスクレイヤーは２値画像で、かつ復号側でフォアレイヤーとバックレイヤーのどちらかを表示するスイッチの役目を果す。フォアレイヤーとバックレイヤーとは、ＪＰＥＧなどのカラーファクシミリの標準カラー画像符号化方法で符号化される。このカラー画像用の符号化は、可逆および非可逆の両方法があるが、マスクレイヤーは、単色ファクシミリの標準２値画像用可逆符号化方法が使用される。
【００１８】
カラーファクシミリ装置の有するＭＲＣ以外にも、２つの画像を重ね合わせる方法として、透過色を利用する方法がある。この場合、顔写真およびフレーム、物体および背景などの合成に使用することができる。透過色の指定は、画素単位で行うことができるが、ＪＰＥＧなどの非可逆な符号化を施すと、画素の階調値が変わって指定した透過色の範囲にノイズが入ってしまうため、符号化は、ＧＩＦ（Graphics Interchange Format）やＰＮＧ（Portable Network Graphic）などの可逆符号化が用いられ、インターネットのＷＷＷブラウザで使われている。
【００１９】
また、動画像符号化方法であるＭＰＥＧ（Motion Picture Coding Experts Group）４には、任意の形状画像符号化の機能があるが、形状の指定で表示されない部分を指定するためには、表示される画像とは別にアルファプレーンという画像が使用される。アルファプレーンには、２値画像のバイナリアルファプレーンとグレイスケールアルファプレーンがあり、グレイスケールアルファプレーンは、オプションで半透明を指定するためのもので非可逆符号化が適用され、バイナリアルファプレーンは、必須で可逆符号化が適用される。
【００２０】
上述した特開平６−８６３２８号公報および特開平７−５０８４９号公報に開示される画像符号化方法では、圧縮した画像を復号化するときにノイズを除去する。しかしながら、ノイズであるか否かを判断するために複雑な処理を必要とするため、復号化の速度の低下および回路規模の増加によるコストの増加は避けられない。また、特開２０００−３０７８７９号公報に開示される画像符号化方法では、２値画像データについては送信側の量子化と受信側の逆量子化とを非対称に行うので、量子化テーブルを複数用意する必要がある。また、特開２００１−１６４５２号公報に開示される画像符号化方法では、圧縮前および伸長後の２回に分けて下地除去処理を行うことによってモスキートノイズを低減しているが、圧縮する側と伸長する側とで下地除去処理を行う装置が必要となるといった問題がある。
【００２１】
また従来の技術では、カラーファクシミリ装置における発信元の下地の白部分にしても、透過色にしても、符号化によるノイズを発生させないために、ノイズを発生させたくない部分には、可逆符号化を適用している。しかしながら、ＰＮＧやＧＩＦなどの可逆符号化は、非可逆符号化と比べ圧縮率が小さいという欠点がある。また、特開平１１−３０８４６３号公報、ＭＲＣの３レイヤーおよびＭＰＥＧ４の任意形状符号化においては、２つ以上の符号化方法を使用するため、従来の１つの符号化方法で対応してきたアプリケーションと互換性がないという問題がある。
【００２２】
【発明の開示】
本発明の目的は、モスキートノイズの発生を低減する処理を符号化側に担持させることによって、復号側の変更を要求せず、多くのアプリケーションに効果がある画像符号化方法および画像装置を提供することである。
【００２３】
本発明は、色の成分を空間周波数領域に変換し、エントロピー圧縮法によって画像データの情報量を圧縮する画像符号化方法において、
色空間に表された２つの領域に相当する２個のクラスタに属する色の色表現値の少なくともいずれか一方を、２つのクラスタが離れる方向で、かつ階調の範囲外の色表現値に変更する色変換処理を含むことを特徴とする画像符号化方法である。
【００２４】
本発明に従えば、２つの領域を色空間に表現したとき、色空間に表された一方の領域のピクセルの集まりであるクラスタと、他方の領域のピクセルの集まりであるクラスタとを、この各領域のピクセルの色表現値が２つのクラスタが離れる方向で、かつ階調の範囲外に変更した後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮することによって、圧縮時に失ったデータによって復号化したときの画像に発生するモスキートノイズを低減することができる。
【００２５】
また本発明は、前記色変換処理は、文字が存在する文字領域に適用されることを特徴とする。
【００２６】
本発明に従えば、モスキートノイズが発生しやすい文字の存在する文字領域に前記色変換処理を適用するので、モスキートノイズを効率的に低減させることができる。また、文字の存在する領域のみに前記色変換処理を行うと、画像の符号化処理を効率的に行うことができる。
【００２７】
また本発明は、白色に相当するピクセルの色表現値を、黒色の方向とは逆の方向に変更する色変換処理を含むことを特徴とする。
【００２８】
本発明に従えば、白色に相当するピクセルの色表現値である階調値を、黒色の方向とは逆の方向に変更する色変換処理を行った後、たとえば、原画像の階調を０からＮ−１までのＮ（Ｎは２以上の自然数）階調とし、数値の大きい方を白色として、白色に相当するピクセルの階調値を全てＮ−１より大きな値にした後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、圧縮時に失ったデータによって復号化したときの画像で白色の部分に発生するモスキートノイズを低減することができる。
【００２９】
また本発明は、黒色に相当するピクセルの色表現値を、白色の方向とは逆の方向に変更する色変換処理を含むことを特徴とする。
【００３０】
本発明に従えば、黒色に相当するピクセルの色表現値である階調値を、白色の方向とは逆の方向に変更する色変換処理を行った後、たとえば、原画像の階調を０からＮ−１までのＮ（Ｎは２以上の自然数）階調とし、数値の大きい方を白色として、黒色に相当するピクセルの階調値を全て０より小さい値にした後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、圧縮時に失ったデータによって復号化したときの画像で黒色の部分に発生するモスキートノイズを低減することができる。
【００３１】
また本発明において色空間に表された文字領域および地肌領域に相当する２個のクラスタに属する色を、２つのクラスタのうちいずれか一方が他方から離れる方向の色表現値に変更する色変換処理を含むことを特徴とする。
【００３２】
本発明に従えば、文字領域と地肌領域とを色空間に表現したとき、色空間に表された文字領域のピクセルの集まりであるクラスタと、地肌領域のピクセルの集まりであるクラスタとを、この各領域のピクセルの色表現値が２つのクラスタが離れる方向に変更した後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、圧縮時に失ったデータによって復号化したときの画像に発生するモスキートノイズを低減することができる。
【００３３】
また本発明は、入力された画像に文字を追加した画像データを画像符号化する場合に、前記色変換処理を行うことを特徴とする。
【００３４】
本発明に従えば、たとえばファクシミリ装置における発信元記録、および記憶装置や撮像装置などから入力された画像に日付、コメント、カレンダーなどの文字を追加した画像データを画像符号化する場合に前記色変換処理を行うので、画像に後から文字を書き込む場合でも、モスキートノイズを低減することができる。
【００３５】
また本発明は、画像に文字領域であることが指定されている画像データを画像符号化する場合に、該指定された部分に前記色変換処理を行うことを特徴とする。
【００３６】
本発明に従えば、たとえば文字および画像ファイルが指定されているマークアップ言語に基づいて表示されている画像のように文字領域が指定されている画像データを画像符号化する場合に、指定された部分に前記色変換処理を行うので、文字領域の特定が容易であり、モスキートノイズの発生しやすい文字領域の効率的な処理が可能である。
【００３７】
また本発明は、画像領域と文字が存在する文字領域とに領域を分割し、文字領域と判断された領域に、前記色変換処理を行うことを特徴とする。
【００３８】
本発明に従えば、画像領域と文字領域とに領域を分割して、分割した文字領域に前記色変換処理を行うことによって効率的な処理が可能となる。
【００３９】
また本発明は、文字領域を使用者が指定できることを特徴とする。
【００４０】
本発明に従えば、文字領域を使用者が指定することによって、色変換処理を行う場所を指定することができ、効率的な処理が可能となる。
【００４１】
また本発明は、各ピクセルの色表現値が予め設定された濃度以下の場合に、該色表現値を白色に相当すると判断して色変換処理を行うことを特徴とする。
【００４２】
本発明に従えば、各ピクセルの色表現値が予め設定された濃度以下の場合に、該色表現値を白色に相当するピクセルの色表現値であると判断して色変換処理を行うので、色表現上の最も白い色が存在しない画像においても、白色に相当するピクセルを定義して前記色変換処理を行うことができる。
【００４３】
また本発明は、各ピクセルの色表現値が予め設定された濃度以上の場合に、該色表現値を黒色に相当すると判断して色変換処理を行うことを特徴とする。
【００４４】
本発明に従えば、各ピクセルの色表現値が予め設定された濃度以上の場合に、該色表現値を黒色に相当するピクセルの色表現値であると判断して色変換処理を行うので、色表現上の最も黒い色が存在しない画像においても、黒色に相当するピクセルを定義して前記色変換処理を行うことができる。
【００４５】
また本発明は、前記色変換処理を適用する画像の明るさの分布を求め、前記分布の最大明度から予め定められる値を減じた明度までの各ピクセル、または最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を白色に相当する色表現値と判断することを特徴とする。
【００４６】
本発明に従えば、前記色変換処理を適用する画像の明るさの分布を求め、この明るさの分布の最大明度から予め定められる値を減じた明度までの各ピクセル、または、最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を白色に相当する色表現値と判断するので、色表現上の最も白い色が存在しない場合でも前記色変換処理を行うことができる。
【００４７】
また本発明は、前記色変換処理を適用する画像の明るさの分布を求め、前記分布の最小明度から予め定められる値を加えた明度までの各ピクセル、または最大明度と最小明度との範囲内で予め定められる割合以下の明度の部分を黒色に相当する色表現値と判断することを特徴とする。
【００４８】
本発明に従えば、前記色変換処理を適用する画像の明るさの分布を求め、この明るさの分布の最小明度から予め定められる値を加えた明度までの各ピクセル、または、最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を黒色に相当する色表現値と判断するので、色表現上の最も黒い色が存在しない場合でも前記色変換処理を行うことができる。
【００４９】
また本発明は、白色に相当するピクセルの色表現値を、色表現上の最も白い色に対応する値に予め定められた値だけ黒色の方向とは逆の方向に変更した値に、変換することを特徴とする。
【００５０】
本発明に従えば、白色に相当するピクセルの色表現値は、色表現上の最も白い色に対応する値を予め定められた値だけ黒色とは反対側の方向に変更した値に変換されるので、前記予め定められた値を調節することによって、モスキートノイズを効率的に低減させることができる。
【００５１】
また本発明は、黒色に相当するピクセルの色表現値を、色表現上の最も黒い色に対応する値に予め定められた値だけ白色の方向とは逆の方向に変更した値に、変更することを特徴とする。
【００５２】
本発明に従えば、黒色に相当するピクセルの色表現値は、色表現上の最も黒い色に対応する値を予め定められた値だけ白色とは反対側の方向に変更した値に変換されるので、前記予め定められた値を調節することによって、モスキートノイズを効率的に低減させることができる。
【００５３】
また本発明は、白色に相当するピクセルの色表現値を、色表現上の最も白い色に近いほど黒色の方向とは逆の方向の値に変更することを特徴とする。
【００５４】
本発明に従えば、白色に相当するピクセルの色表現値を、色表現上最も白い値に近いほど黒とは反対側に大きく離れて変更するので、モスキートノイズを効率的に低減させることができる。
【００５５】
また本発明は、黒色に相当するピクセルの色表現値を、色表現上の最も黒い色に近いほど白色の方向とは逆の方向の値に変更することを特徴とする。
【００５６】
本発明に従えば、黒色に相当するピクセルの色表現値を、色表現上最も黒い値に近いほど白とは反対側に大きく離れて変更するので、モスキートノイズを効率的に低減させることができる。
【００５７】
また本発明は、前記色変換処理では、画像の最小濃度値と最大濃度値との間の差に一定の係数を乗算した値に基づいて、色表現値を変更することを特徴とする。
【００５８】
本発明に従えば、前記色変換処理は、画像の最小濃度値と最大濃度値との間の差に一定の係数を乗算した値に基づいて行われるので、係数を調整することによってモスキートノイズを効率よく低減させることができる。
【００５９】
また本発明は、前記画像符号化方法によって符号化された画像を逆変換して再現した画像と原画像とを比較し、両者の色差が予め定められる色差以上である場合に、両者の色差が前記予め定める色差内に収まるまで前記一定の係数を変更することを特徴とする。
【００６０】
本発明に従えば、一度圧縮された後に逆変換することによって再現した画像と、原画像とを比較して、両者の画像が予め定められる色差以上である場合に、予め定められる色差の範囲内となるまで一定の係数を変更するので、確実にモスキートノイズを低減させることができる。
【００６１】
また本発明は、予め定められた回数、前記一定の係数の変更を行っても再現した画像と原画像との色差が規定された範囲内とならない場合は利用者に警告することを特徴とする。
【００６２】
本発明に従えば、予め規定された回数、一定の係数を変更して符号化した画像した後に復元した画像と原画像とが一定の色差の範囲とならないときは、利用者に警告を行うので、利用者はモスキートノイズの多く発生する画像に対して対処することができる。
【００６３】
また本発明は、前記画像符号化方法によって符号化された画像を逆変換して再現した画像を表示することを特徴とする。
【００６４】
本発明に従えば、符号化された画像を逆変換して再現した画像を、たとえば表示装置や印刷装置などによって表示させることによって画像の確認を行うことができ、その後の処理の決定を行うことができる。
【００６５】
また本発明は、前記色変更処理を行うか否かを利用者が設定できることを特徴とする。
【００６６】
本発明に従えば、前記色変換処理を行うか否かを利用者が設定できるので、文字などのエッジを含まない画像に対しては色変換処理を行わないで、文字などのエッジを含むときのみ色変換処理を行うように設定することで、画像符号化処理を効率的に行うことができる。
【００６７】
また本発明は、上述の画像符号化方法を用いることを特徴とする画像装置である。
【００６８】
本発明に従えば、たとえば画像を取り扱う通信装置、情報処理装置、映像装置などの画像装置、たとえば、ファクシミリ装置、パーソナルコンピュータ、ディジタルカメラなどでの符号化される画像を復号化したときに発生するモスキートノイズの低減が可能となる。
【００６９】
【発明の効果】
以上のように本発明によれば、２つの領域を色空間に表現したとき、色空間に表された一方の領域のピクセルの集まりであるクラスタと、他方の領域のピクセルの集まりであるクラスタとを、この各領域のピクセルの色表現値が２つのクラスタが離れる方向で、かつ 階調の範囲外に変更した後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、復号側の変更を要求しなくてもモスキートノイズの低減が可能であり、多くのアプリケーションに使用できる。
【００７０】
また本発明によれば、モスキートノイズが発生しやすい文字の存在する文字領域に前記色変換処理を適用するので、モスキートノイズを効率的に低減させることができる。
【００７１】
また本発明によれば、白色に相当するピクセルの色表現値を、黒色の方向とは逆の方向に変更する色変換処理を行った後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、復号側の変更を要求しなくてもモスキートノイズの低減が可能であり、多くのアプリケーションに使用できる。
【００７２】
また本発明によれば、黒色に相当するピクセルの色表現値を、白色の方向とは逆の方向に変更する色変換処理を行った後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、復号側の変更を要求しなくてもモスキートノイズの低減が可能であり、多くのアプリケーションに使用できる。
【００７３】
また本発明によれば、文字領域と地肌領域とを色空間に表現したとき、色空間に表された文字領域のピクセルの集まりであるクラスタと、地肌領域のピクセルの集まりであるクラスタとを、この各領域のピクセルの色表現値が２つのクラスタが離れる方向に変更した後、色成分を空間周波数領域に変換し、エントロピー圧縮法によって情報量を圧縮するので、復号側の変更を要求しなくてもモスキートノイズの低減が可能であり、多くのアプリケーションに使用できる。
【００７４】
また本発明によれば、たとえばファクシミリ装置における発信元記録、および記憶装置や撮像装置などから入力された画像に日付、コメント、カレンダーなどの文字を追加した画像データを画像符号化する場合に前記色変換処理を行うので、画像に後から文字を書き込む場合でも、モスキートノイズを低減することができる。
【００７５】
また本発明によれば、たとえば文字および画像ファイルが指定されているマークアップ言語に基づいて表示されている画像のように文字領域が指定されている画像に対して前記色変換処理を行うので、文字領域の特定が容易であり、モスキートノイズの発生しやすい文字領域の効率的な処理が可能である。
【００７６】
また本発明によれば、画像領域と文字領域とに領域を分割して、分割した文字領域に前記色変換処理を行うことによって効率的な処理が可能となる。
【００７７】
また本発明によれば、文字領域を使用者が指定することによって、色変換処理を行う場所を指定することができ、効率的な処理が可能となる。
【００７８】
また本発明によれば、各ピクセルの色表現値が予め設定された濃度以下の場合に、該色表現値を白色に相当するピクセルの色表現値であると判断するので、色表現上の最も白い色が存在しない画像においても、白色に相当するピクセルを定義して前記色変換処理を行うことができる。
【００７９】
また本発明によれば、各ピクセルの色表現値が予め設定された濃度以上の場合に、該色表現値を黒色に相当するピクセルの色表現値であると判断するので、色表現上の最も黒い色が存在しない画像においても、黒色に相当するピクセルを定義して前記色変換処理を行うことができる。
【００８０】
また本発明によれば、前記色変換処理を適用する画像の明るさの分布を求め、この明るさの分布の最大明度から予め定められる値を減じた明度までの各ピクセル、または、最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を白色に相当する色表現値と判断するので、色表現上の最も白い色が存在しない場合でも前記色変換処理を行うことができる。
【００８１】
また本発明によれば、前記色変換処理を適用する画像の明るさの分布を求め、この明るさの分布の最小明度から予め定められる値を加えた明度までの各ピクセル、または、最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を黒色に相当する色表現値と判断するので、色表現上の最も黒い色が存在しない場合でも前記色変換処理を行うことができる。
【００８２】
また本発明によれば、白色に相当するピクセルの色表現値を、色表現上の最も白い色に対応する値に予め定められた値だけ黒色とは反対側の方向に変更されるので、前記予め定められた値を調節することによって、モスキートノイズを効率的に低減させることができる。
【００８３】
また本発明によれば、黒色に相当するピクセルの色表現値を、色表現上の最も黒い色に対応する値に予め定められた値だけ白色とは反対側の方向に変更されるので、前記予め定められた値を調節することによって、モスキートノイズを効率的に低減させることができる。
【００８４】
また本発明によれば、白色に相当するピクセルの色表現値を、色表現上最も白い値に近いほど黒とは反対側に大きく離れて変更するので、モスキートノイズを良好に低減させることができる。
【００８５】
また本発明によれば、黒色に相当するピクセルの色表現値を、色表現上最も黒い値に近いほど白とは反対側に大きく離れて変更するので、モスキートノイズを良好に低減させることができる。
【００８６】
また本発明によれば、前記色変換処理では、画像の最小濃度値と最大濃度値との間の差に一定の係数を乗算した値に基づいて行われるので、係数を調整することによってモスキートノイズを効率よく低減させることができる。
【００８７】
また本発明によれば、一度圧縮された後に逆変換することによって再現した画像と、原画像とを比較して、両者の画像が予め定められる色差以上である場合に、予め定める色差の範囲内となるまで一定の係数を変更するので、確実にモスキートノイズを低減させることができる。
【００８８】
また本発明によれば、予め規定された回数、一定の係数を変更して符号化した画像した後に復元した画像と原画像とが一定の色差の範囲とならないときは、利用者に警告を行うので、利用者はモスキートノイズの多く発生する画像に対して対処することができる。
【００８９】
また本発明によれば、符号化された画像を逆変換して再現した画像を、たとえば表示装置や印刷装置などによって表示させることによって画像の確認を行うことができ、その後の処理の決定を行うことができる。
【００９０】
また本発明によれば、前記色変換処理を行うか否かを利用者が設定できるので、文字などのエッジを含まない画像に対しては色変換処理を行わないで、文字などのエッジを含むときのみ色変換処理を行うように設定することで、画像符号化処理を効率的に行うことができる。
【００９１】
また本発明によれば、たとえば画像を取り扱う通信装置、情報処理装置、映像装置などの画像装置、たとえば、ファクシミリ装置、パーソナルコンピュータ、およびディジタルカメラなどでの扱われる画像のモスキートノイズを低減することができる。
【００９２】
また本発明によれば、白黒の２色のみから成る２値画像の白色および黒色の階調値を適切な階調範囲外の値である階調値を変更した状態で符号化することによって、復号化したときにモスキートノイズが全くないロスレス画像を得ることができる。
本発明の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。
【００９３】
【発明を実施するための最良の形態】
以下図面を参考にして本発明の好適な実施例を詳細に説明する。
【００９４】
本発明は、カラー画像またはグレースケール画像を空間周波数領域に変換し、エントロピー圧縮法を行うすべての画像符号化方法を用いるすべての画像装置に対して有効であるが、本実施形態ではカラーファクシミリ装置を例に挙げて説明する。
【００９５】
図１は、本発明の実施の一形態であるファクシミリ装置１を示すブロック図である。ファクシミリ装置１は、ファクシミリ通信機能および電話通信機能を有する。本実施形態のファクシミリ装置１は、網制御装置１２、モデム１３、制御装置１４、ハンドセット１５、印刷装置１６、記憶装置１７、コードレス用制御回路１８、画像読取装置１９、画像記憶装置１１０、表示装置１１１、ダイヤルキー１１２、操作キー１１３、アンテナ１１４を含み構成される。
【００９６】
ファクシミリ装置１は、公衆回線である電話回線網１１に網制御装置１２を介して接続され、電話回線網１１を通じてカラー画像および単色画像のどちらも送受信することができる。
【００９７】
カラー画像または単色画像を送信する際の設定は操作キー１１３によって行われるが、送信する相手機器がカラー画像の受信能力をもつときだけカラー画像の送信が可能を可能とする。したがって、操作キー１１３によってカラー画像の送信を指定しても相手機器が単色画像を受信する能力しかない場合は、自動的に単色画像の送信に切り換えられる。
【００９８】
網制御装置１２は、電話回線網１１の監視を行うとともに、電話回線網１１をハンドセット１５およびコードレス用制御回路１８、またはモデム１３側に切り換えて接続する。モデム１３は、ファクシミリ装置１内で取り扱うディジタル信号を電話回線網１１に適したアナログ信号に変調するとともに、電話回線網２１から受信するアナログ信号をディジタル信号に復調する。
【００９９】
制御装置１４は、たとえばマイクロプロセッサなどで構成され、記憶装置１７に記憶されるプログラムとあいまって、ダイヤルキー１１２および操作キー１１３からの使用者の入力や指示情報、電話回線網１１からの受信、ファクシミリ装置１の各ユニットからの状態を示す信号などによって装置全体の動作を確定する。また、制御装置１４は、装置の各ユニットに動作の指示、電話回線網１１への必要な信号の送信、表示装置１１１に情報およびガイダンスの表示などの指示を行う。
【０１００】
さらに制御装置１４は、画像信号の情報圧縮および伸長を行う。単色画像の情報圧縮および伸長では、ＭＨ（Modified Huffman）、ＭＲ（Modified Read）など符号化方法が用いられ、カラー画像の情報圧縮および伸長では、後述する画像符号化方法を用いる。また、制御装置１４は、画像読み取り時に用いられる加色の３原色である赤色Ｒ、緑色Ｇおよび青色Ｂの３原色で表現されたカラー画像、印刷に用いられる減色の３原色であるシアンＣ、マゼンタＭおよび黄色Ｙの３原色で表現されるカラー画像、ならびにファクシミリの送受信のときに用いられるＬ^*ａ^*ｂ^*カラー空間座標（色空間）で表現されるカラー画像を相互に変換する機能を有する。しかしながら、これらのカラー画像を取り扱う機能、つまり画像の圧縮および伸長を行う機能を担持させることによって制御装置１４の負担が過大となる場合は、カラー画像を取り扱う機能を有するユニットを別に設けてもよい。
【０１０１】
ダイヤルキー１１２および操作キー１１３は、テンキーおよび入力用キーボードなどから構成され、使用者が情報を入力する場合に使用される。
【０１０２】
画像記憶装置１１０は、電話回線網１１を介して受信した画像および画像読取装置１９で読み取った画像などを記憶するユニットである。この画像記憶装置１１０を装備することによって、画像の転送、同報、用紙がなくなった場合の代行受信、およびメモリ送信などの高度の機能をファクシミリ装置１に持たせることができる。
【０１０３】
印刷装置１６は、カラー画像の印刷を行うため、カラーインクジェットプリンタ、カラー電子写真方式プリンタ、カラーサーマル転写プリンタなどのカラー画像の印刷が可能な印刷メカニズムを採用している。カラー画像を印刷するメカニズムとしては、写真の銀塩フィルム、昇華型サーマル転写プリンタのように各ピクセルの３原色が多段階の階調を持つ場合と、通常のインクジェット方式のように各色がドットのある無しの２階調しか表現できない方式とがある。後者の２階調によって中間調を表現する場合、ディザ法、誤差拡散法などの疑似中間調表現を活用する。プリンタのドット数が受信した画像より多い場合、まず、受信した画像をプリンタの解像度に合せて各プリンタの各ドットに対し、内挿法により各色の３原色（Ｃ、Ｍ、Ｙ）の濃度を決定して、その後プリンタの解像度で原色毎に前記疑似中間調の技法をもちいて、印刷ドット毎に２値のうちどちらか、すなわち印刷のある無しを決定する。
【０１０４】
コードレス用制御回路１８およびアンテナ１１４は、コードレスの電話機、いわゆる子機を用いて電話通信を行う場合に使用する。
【０１０５】
画像読取装置１９は、たとえばＬＥＤ（Light Emitting Diode）および蛍光灯などのカラー画像を読み取るための３色（Ｒ、Ｇ、Ｂ）の光源を読み取りライン毎に順次点灯して読み取る方法、ならびに３色（Ｒ、Ｇ、Ｂ）の色フィルターをそれぞれ装備した３色分のＣＣＤ（Charge Coupled Device）などの光電変換センサーを用いて読み取る方法などを用いる。
【０１０６】
表示装置１１１は、簡易型のファクシミリ装置では簡単なガイダンスを行う数行のＬＣＤ（Liquid Crystal Display）が使用されるが、本実施形態のファクシミリ装置１ではカラー画像が表示されることが望ましいので、表示面積の広いカラーＬＣＤを用いる。
【０１０７】
次に、ファクシミリ装置１で画像を圧縮するときに用いられる画像符号化方法について説明する。
【０１０８】
図２は、ファクシミリ装置１で画像符号化する手順を示すフローチャートである。カラー画像を送信する場合には多くの選択肢の組み合わせがあり、全てに言及できないため、図２では最も標準的な手順のみを示す。ただし、本発明は多くの選択肢に対してもその有効性は変わらない。
【０１０９】
カラー画像をファクシミリ送信する場合、まず、ステップＳ１で、画像読取装置１９を用いて画像を読み取る。カラー画像は、通常Ｒ，Ｇ，Ｂのカラー座標で画像が表現されているので、ここでは、通常２００ｄｐｉ（dot per inch）×２００ｄｐｉで各色８ビットの中間調で読み取り、読み取った画像を画像記憶装置１１０に記憶する。次にステップＳ２に進み、画像記憶装置１１０に記憶されたＲ，Ｇ，Ｂのカラー座標で表現されている画像を制御装置１４および記憶装置１７によって送信のための標準色の空間であるＬ^*ａ^*ｂ^*色空間による表現に変換してステップＳ３に進む。ステップＳ３では、明度成分Ｌ^*はそのままの解像度として、第１の色差成分ａ^*および第２の色差成分ｂ^*の解像度を主走査方向および副走査方向ともに半分に圧縮、つまりドット密度を１／２にしてステップＳ４に進む。ステップＳ４では、明度成分Ｌ^*と、色差成分ａ^*，ｂ^*とを成分毎に、主走査方向および副走査方向の８ドットずつをブロックとして切り出してステップＳ５に進む。ステップＳ５では、本発明の特徴の色変換処理である階調シフト処理を行う。この階調シフト処理は、たとえば、発信元記録などの文字が存在する文字領域に適用される。ここでは、ステップＳ４において切り出された各ブロックの階調を変更する。階調シフト処理の詳細な説明は後述する。次にステップＳ６に進み、ステップＳ５で階調シフト処理が行われたブロックを単位としてＤＣＴ（離散コサイン変換）を行って空間周波数領域である２次元周波数分布マトリクスでの表現に変換し、ステップＳ７に進む。ステップＳ７では、ステップＳ６で変換された２次元周波数分布マトリクスを量子化テーブル（量子化マトリクス）で除算し、丸め処理が行われてステップＳ８に進む。本画像符号化方法もＪＰＥＧと同様にステップＳ７で使用される量子化テーブルの値によって画像の圧縮率が変化する。ここで、高い圧縮率を採用すれば高速の送信が可能となるが、画像の品質の劣化は大きくなる。逆に圧縮率を低くすれば画像の劣化は少ないが、送信する情報量が多くなるので送信速度は遅くなる。
【０１１０】
次に、ステップＳ８では、前記ステップＳ７において量子化テーブルで除算され、丸め処理された画像の２次元周波数分布マトリクスが、ハフマンテーブルによって実際の圧縮された符号化データに変更され、この符号化データを量子化データおよびハフマンテーブルとともに受信先に送信する。
【０１１１】
このように、ファクシミリ装置１の画像符号化方法は階調シフト処理を含んでいるが、ＪＰＥＧとほぼ同じ符号化方法であるので、このファクシミリ装置１で圧縮した画像は、従来のＪＰＥＧを取り扱うファクシミリ装置などで復号することができる。したがって、受信した通信機器では、通常のＪＰＥＧを復号化する手順、つまりステップＳ５を除いた状態で図３のフローチャートを逆に進行して画像を取り出す。また、ファクシミリ装置１が受信した画像は、印刷装置１６に適したＣ，Ｍ，Ｙカラー座標に変換されて印刷される。しかしながら実際は、Ｃ，Ｍ，Ｙのカラーを混色しても黒色が充分に再現できない場合が多いので、Ｃ，Ｍ、Ｙ３色に黒色Ｋを加えて印刷してもよい。
【０１１２】
次に、階調シフト処理について詳細に説明する。カラー画像では色差成分ａ^*およびｂ^*の重要性は少なく、主として明度成分Ｌ^*が重要な役割を果す。このため、本実施形態では明度成分Ｌ^*のみを用いて階調シフト処理を説明する。
【０１１３】
また、モスキートノイズは主に白色の地肌領域である下地に黒色の文字が書かれている場合に、文字周辺の白色の下地に黒い色で発生するが、逆に、黒色の地肌領域である下地に白色の文字があった場合、文字周辺の黒字の下地に白色のノイズが発生する。黒色の下地に白色文字があった場合、この画像を白黒反転させて表示および印刷をすると、やはり白色の下地に黒色の文字があった場合と同様なモスキートノイズとなるので、黒色の下地に対する白色のモスキートノイズも同等に扱う。ただし、黒色の下地に白抜き文字があった場合の説明は、白色の下地に黒色の文字があった場合の説明で白と黒を入れ換えて明度の明暗を逆にするとほとんどそのまま適用できるので、本実施形態では白色の下地に黒色の文字が書かれている場合についてのみ説明する。
【０１１４】
図３Ａ，Ｂ，Ｃ，Ｄは、前記階調シフト処理を説明するための図である。図３Ａ，Ｂ，Ｃ，Ｄのグラフにおいて縦軸は色表現値である階調値を表し、黒色となる階調値０から白色となる階調値２５５までの２５６段階で明度成分Ｌ^*および各色差成分ａ^*，ｂ^*のうちのいずれかを表す。ここでは図３Ａ，Ｂ，Ｃ，Ｄのグラフの縦軸は、上述したように明度成分Ｌ^*の階調値を表す。また、横軸は画素の位置を１次元的に表している。本実施形態では、原画像として、図３Ａに示すように画像の左側が文字部分３００で高濃度となっており、右側が余白部で白となっている画像３０１の符号化処理について述べる。また本実施形態では、画像の白色に相当するピクセルの階調値、つまり、図３の階調値２５５である白色の画素に階調シフト処理を適用した場合について示す。
【０１１５】
階調シフト処理は、制御装置１４と記憶装置１７によって、図３Ａに示す階調値２５５である白に相当する画素の階調値を、図３Ｂの参照符号３０２に示すように黒色とは反対側の方向の階調範囲外となる値に変更する。つまり、色表現上最も白い階調値２５５よりさらに大きな値とする。この階調シフト処理を行った画像を前記図２に示した手順によって符号化し、この符号化された画像を復号化すると画像の同じ部分の階調値は図３Ｃに示すように、画像の白色部分に階調値２５５よりも大きな値となるリップル３１が発生する。図３Ｃはクリッピング前の復号画像を示す図である。このリップル３１は、符号化によって高周波成分が大きく圧縮されることによって発生する。しかしながら、図３Ｃに示すように、クリッピング前の復号画像におけるリップル状の画像の異常状態は、白色を示す階調値２５５よりも、大きな値となる階調範囲外の値の階調値となる画素を中心とする。したがって、モスキートノイズは、階調値２５５よりも大きな値となる階調範囲外の値の階調値となる画素が含まれる部分に発生する。この画像を階調値２５５でクリッピングした画像を図４Ｄに示す。図４Ｄに示すように、従来の画像符号化方法によって符号化した画像（図７Ｃ参照）では発生していたモスキートノイズが階調シフト処理を行うと参照符号３０３に示すように消滅していることがわかる。
【０１１６】
従来の画像符号化方法においても図７に示すように、画素の階調値が階調範囲を外れることがあるので、クリッピング処理は画像の復号化では必須の処理となっている。したがって、画像を圧縮する際に階調シフト処理を行うことによって符号化した画像の復号化を行うファクシミリ装置には、従来のＪＰＥＧによって符号化を行うファクシミリ装置を用いてもモスキートノイズを低減することができる。
【０１１７】
なお、復号後の画像では、図３Ｃに示すリップル３１と同じようなリップルが文字の黒部分にも発生するが、実質上あまり目立たないので、簡明を期するために省略している。
【０１１８】
また、前述したように本符号化は黒部分にも適用できるが、その場合は、原画像で黒色を示す階調値０である画素の階調値を白色とは反対側の方向に変更する。つまり、階調シフト処理で黒色に相当する画素の階調値をマイナスの値にすればよい。
【０１１９】
本発明の実施の他の形態では、白色の画素および黒色の画素の両者に前述の階調シフト処理をそれぞれ行ってもよい。
【０１２０】
上述した、色変換処理では文字を白色および黒色によって表す場合について述べているが、色調で文字領域と文字が書かれる下地部分である地肌領域とを表す方法を用いてもよい。色調で文字領域と地肌領域とを表す場合、文字を明確に表すため、文字領域は地肌領域に対してできるだけ識別しやすい色調を選択する場合が多く、文字領域と地肌領域とに補色関係の色を選択する場合が多い。
【０１２１】
以下に、色調で文字領域と地肌領域とを表す方法を用いる場合の色変換処理について述べる。
【０１２２】
図４は、Ｌ^*ａ^*ｂ^*色空間４０における文字領域クラスタ４１および地肌領域クラスタ４２を示す図である。図４に示すＬ^*ａ^*ｂ^*色空間４０では、各成分を階調値０〜２５５の２５６階調で表している。文字領域クラスタ４１は文字を構成する各画素の色調の集まりを示し、地肌領域クラスタ４２は地肌領域を構成する画素の色調の集まりを示す。したがって、文字領域の色調を示す文字領域クラスタ４１と、地肌領域の色調を表す地肌クラスタ４２とは、Ｌ^*ａ^*ｂ^*色空間で距離が離れている方が文字として識別しやすい。
【０１２３】
ファクシミリ装置１で送信される画像は、図４に示すように文字領域と地肌領域とが、それぞれ１つのクラスタを形成することとなる。たとえば、操作キー１１３やダイヤルキー１１２などを用いて、ファクシミリ装置１内で文字を作成する場合など作成される文字の色調が予め設定されている場合は、文字クラスタ４１はＬ^*ａ^*ｂ^*色空間４０の一点になるが、画像読取装置１９で文字を含む画像を読み取った場合などでは、文字領域クラスタ４１はある程度ばらつきのある形状となる。したがって、画像読取装置１９で読み取った文字などでは、画像の色調の分布を求め、文字領域クラスタ４１および地肌領域クラスタ４２に相当する２つのクラスタを求める。
【０１２４】
文字領域クラスタ４１と地肌領域クラスタ４２との色調をＬ^*ａ^*ｂ^*色空間４０の外部、本実施形態では明度成分Ｌ^*および各色差成分ａ^*，ｂ^*の階調値が０〜２５５である色空間の外部に変更する色変換処理を行うことによって、モスキートノイズの低減を図ることができる。各クラスタをシフトする方向は、文字領域クラスタ４１および地肌領域クラスタ４２の各クラスタを結ぶ直線４３の延びる方向で、各クラスタが互いに離反する方向である。また、クラスタをシフトする方向は、２つのクラスタの成分のうち、値が最も離れた成分の方向、図４では、文字領域クラスタ４１および地肌領域クラスタ４２が最も離れる方向であるｂ^*方向でもよい。
【０１２５】
上述した黒色および白色で表されている文字を、黒色クラスタおよび白色のクラスタとして色空間で取り扱うこともでき、この場合、黒色のクラスタおよび白色のクラスタの両クラスタを結ぶ直線の延びる方向で、両クラスタが離反する方向とすることで適用可能である。本実施の形態において、色空間は、明度成分Ｌ^*および２つの色差成分ａ^*，ｂ^*から成る色空間としたがこれに限らず、たとえば、赤色成分Ｒ、緑色成分Ｇおよび青色成分Ｂから成る色空間でもよい。
【０１２６】
また、上述した色調で文字領域と地肌領域とを表す方法を用いる場合の色変換処理は、主に文字領域に適用することが望ましい。自然画像に上述した色変換処理を適用すると、一部分ではあるが画像の濃度がずれることになる。しかしながら、上記色変換処理は符号化を行う装置のみで適用するので、画像の必要な部分のみに適用しても、復号化する側では何ら差し支えがない。
【０１２７】
ファクシミリ装置１では、画像を解析することによって画像のエッジを検出し、その状態から写真などの自然画像領域または文字領域のどちらであるかの判定を行って自然画像領域と文字領域とを分割した後、文字領域に前記階調シフト処理を適用してもよい。画像を解析することによって自然画像領域および文字領域を分割する方法は公知の技術として存在するので、この技術を用いて文字領域のみを容易に判定することができ、効率的な圧縮が可能となる。
【０１２８】
また、ファクシミリ装置１では、使用者が文字領域を指定してもよく、このように使用者がモスキートノイズの発生しやすい文字領域を指定し、この文字領域に前記色変換処理を適用することによって、装置が文字領域を検出する必要がなく、効率的な圧縮が可能となる。本実施形態では文字領域の指定方法を規定しないが、たとえば、操作キー１１３およびダイヤルキー１１２などを用いて文字領域の座標を入力する方法、表示装置１１１上でペンまたはマウスなどによって指定する方法など各種の方法が可能である。
【０１２９】
また、ファクシミリ装置１の装置内部で作成した文字であれば、白色の画素には階調値２５５が設定され、黒色の画素には階調値０が設定されるので、その値の画素のみを階調シフト処理することが可能である。しかしながら、画像読取装置１９などによって外部から入力された画像の文字領域および地肌領域の画像解析で文字領域と判断された領域では、地肌領域が階調値２５５であるとは限らない。あるいは、地肌領域と文字領域とが分離不可能な場合もあり、画像読取装置１９で純白の原画像を読み取った場合でも、必ずしも各画素の階調値が２５５になるとは限らない。このため、色変換処理を適応する白色に相当する値である白レベルあるいは黒色に相当する値である黒レベルを定義する必要がある。白レベルあるいは黒レベルの定義は、予め定める濃度以下、たとえば階調値が０以上２０以下を黒色に相当すると判断し、予め定める濃度以上、たとえば階調値が２３５以上２５５以下までを白色に相当すると判断するなど、予め指定した階調値を判断基準としてもよい。
【０１３０】
また、白レベルあるいは黒レベルの定義としては、まず画像の明るさの範囲を求め、たとえば原画像の階調値が３０以上２００以下までであるとすると、その両端の階調値から予め設定された階調、たとえば階調の範囲が３０となる判定限界を設定し、階調値が３０以上６０以下を黒、階調値が１７０以上２００以下を白と判断してもよい。また、前記予め定められる階調を、画像の明るさの最大明度と最小明度との範囲で予め定める一定の割合以上の明度を白と判断し、画像の明るさの最大明度と最小明度との範囲で予め定める一定の割合以下の明度を黒と判断してもよい。
【０１３１】
また、明るさの範囲の両端から、原画像の明るさの範囲に対して予め指定した比率だけ明度を偏移させ、この範囲に入った部分をそれぞれ白または黒と判断してもよい。
【０１３２】
また、ファクシミリ装置１では、白あるいは黒と判断された領域の階調シフトの量を規定しておいてもよい。画像符号化処理を行う装置内で画像に文字を追加して作成する場合は、白を階調値２５５に設定して階調値が２５５の画素のみの色変換処理をすれば、ほとんどの写真などの自然画像は階調２５５の値をとることはないので自然画像をそのまま符号化することができる。しかしながら、上述したような白レベルに幅を持たせる場合、および文字領域と自然画像領域とを同時に符号化処理せざるを得ない場合、白レベルの幅にある画素の階調シフトの量によって、つまり階調シフト方法によって、自然画像領域の色のシフト量が異なる。
【０１３３】
図５は、白レベルの階調シフト方法の一例を示す図である。図５では、白レベル５１と決定された階調値の部分を全て、色表現上最も白い色に対応する階調値２５５に、黒色とは逆の方向に、すなわち値を大きくするような予め定める白階調シフト量５２を加算した値にシフトしている。図５で、横軸は原画像の濃度値（階調値）、縦軸は階調シフトした後の濃度値（階調値）を示す。白レベル５１と決定した階調５０１に対して、階調２５５（白）より白階調シフト量５２だけ、大きく設定する。
【０１３４】
図６は、白レベルの階調シフト方法の他の例を示す図である。図６で、横軸は原画像の濃度値（階調値）、縦軸は階調シフトした後の濃度値（階調値）を示す。図６では、色表現上最も白い色に近い階調ほど黒とは反対側に変更される。具体的には、原画像で白レベル６１と指定した部分の階調値が小さい側６３０の境界値６３と、色表現上最も白い色に対応する値２５５に白階調シフト量６２だけ加えた階調値とを適当な曲線あるいは直線（図６では曲線６３１）で結び、白レベル６１である画素の階調値をこの曲線あるいは直線上となるように階調シフトする。この曲線または直線６３１の形状を変化させることによって、相反する特性である自然画像の色の変化と、文字画像周辺のモスキートノイズの量、濃度の程度との妥協点を見付けることができる。
【０１３５】
前記階調シフト量５２および６２は、画像を解析することによって決定してもよい。画像の階調の範囲が小さいと、符号化および復号化した画像のモスキートノイズの濃度範囲も小さくなる。そのため、原画像の全濃度範囲を元にその値に一定の係数を掛けた値を階調シフト量とする。つまり、画像の最大濃度値から最小濃度値を差し引いた値に一定の係数を乗算した値とする。実験では、階調シフト量を全階調範囲の１／２に設定すると、モスキートノイズが目立たなくなることが明らかになっている。
【０１３６】
また、カラーファクシミリ装置１では、通常のＪＰＥＧを復号化する手順、つまり図３でステップ５を除いた状態でフローチャートを逆に進行する処理を制御装置１４が行い、符号化処理が行われた画像を復号化した後画像と画像読取装置で読み取った原画像と比較することによって、原画像との色差である階調差を求め、この差が予め定める色差の範囲になるように、図５に示した白階調シフト量５２、または図６に示す白階調シフト量６２を修正できる。この修正の工程は一定回数繰り返されるように規定されてもよく、修正を繰り返しても原画像と復号されて生成される復号画像の階調のずれ、つまりモスキートノイズの発生量が希望の範囲に入らない場合は、使用者に、表示装置１１１または音声などで警告を発生させてもよい。このように、警告を発生させることによって、使用者は次の処理をどのように行うか、たとえばそのまま送信したり、もう一度設定を行ったりする指示を行うことができる。
【０１３７】
また本発明の画像符号化方法によって圧縮される画像が２値画像の場合であって、たとえば白黒の２色のみから成る２値画像の場合、各ピクセルの色表現値である階調値は、白色を示す２５５と、黒色を示す０とだけであり、白色および黒色の階調値を適切な階調範囲外の値である階調値とする前述の階調シフト処理を行うことによって、モスキートノイズの原因となる画素の階調値をすべて階調範囲外の値の階調値とした状態で符号化を行うので、符号化したときにモスキートノイズの全くないロスレス画像を得ることができる。
【０１３８】
また、ファクシミリ装置１では、符号化した画像を復号化して、表示装置１１１および印刷装置１６などで復号した画像を出力して、モスキートノイズの発生を確認するように構成してもよい。復号化された画像を確認することによって、モスキートノイズの発生量を使用者が確認することができるので、使用者がその画像に基づいて白階調シフト量５２，６２などの定数値の変更、あるいは、そのまま画像を送信するなどの決定を行うことができる。
【０１３９】
また、ファクシミリ装置１では、上述した色変換処理を行うか否かを使用者が選択してもよい。処理を行うか否かの選択にはダイヤルキー１１２または操作キー１１３などを用いて行う。このように、使用者が色変換処理を行うか否かを判断することによって、たとえば重要でない画像などはそのまま送信することができ、ファクシミリにおいては効率的な送信が可能となる。
【０１４０】
また本発明の画像符号化方法は、ファクシミリ装置１に限らず他の画像装置、たとえば、パーソナルコンピュータ、ディジタルカメラおよびディジタルビデオカメラなどの各種装置においても適用することができる。装置内、あるいは、接続された装置の内部で文字などを追加する場合などに、この追加した文字の領域に色変換処理を行うことによって、効率的にモスキートノイズを低減することができる。また、たとえば文字および画像ファイルが指定されるＨＴＭＬを読み込んだＷＷＷブラウザによって表示される画像の如く外部から入力された、あるいは、記憶装置内の画像で文字部分が明確な場合では、その部分に色変換処理を適用すると効率的な画像符号化処理を行うことが可能となる。
【０１４１】
以上のように本発明によれば、画像を圧縮する側でモスキートノイズを低減させるための処理を行うので、画像を復号する側では特別な装置を設けなくても、モスキートノイズを気にせずに復号することができる。また本発明は、画素をブロック分けせずにウェーブレット変換する符号化方法に適用することも可能であり、高周波成分を圧縮することによってモスキートノイズが発生するすべての符号化方法に適用可能である。
本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。従って、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。
【図面の簡単な説明】
図１は、本発明の実施の一形態であるファクシミリ装置１の構成を示すブロック図である。
図２は、ファクシミリ装置１の画像符号化処理の動作を示すフローチャートである。
図３Ａは原画像の階調値、図３Ｂは階調シフト処理を行った画像の階調値、図３Ｃは階調シフト処理を行った符号化行った画像を復号化したクリッピング前の画像の階調値、図３Ｄは図３Ｃの画像にクリピングを行った画像の階調値を示す図である。
図４は、Ｌ^*ａ^*ｂ^*色空間における文字領域クラスタおよび地肌領域クラスタを示す図である。
図５は、白レベルの階調シフト方法の一例を示す図である。
図６は、白レベルの階調シフト方法の他の例を示す図である。
図７Ａ〜７Ｃは、従来の画像符号化方法によって発生するモスキートノイズを説明する図である。
【符号の説明】
１ ファクシミリ装置
１４ 制御装置
１６ 印刷装置
１９ 画像読取装置
１７ 記憶装置
３１ リップル
４１ 文字領域クラスタ
４２ 地肌領域クラスタ
５１，６１ 白レベル
５２，６２ 白階調シフト量
１１１ 表示装置

Claims (25)

1. 色の成分を空間周波数領域に変換し、エントロピー圧縮法によって画像データの情報量を圧縮する画像符号化方法において、
   色空間に表された２つの領域に相当する２個のクラスタに属する色の色表現値の少なくともいずれか一方を、２つのクラスタが離れる方向で、かつ階調の範囲外の色表現値に変更する色変換処理を含むことを特徴とする画像符号化方法。
2. 前記色変換処理は、文字が存在する文字領域に適用されることを特徴とする請求項１記載の画像符号化方法。
3. 白色に相当するピクセルの色表現値を、黒色の方向とは逆の方向に変更する色変換処理を含むことを特徴とする請求項１記載の画像符号化方法。
4. 黒色に相当するピクセルの色表現値を、白色の方向とは逆の方向に変更する色変換処理を含むことを特徴とする請求項１記載の画像符号化方法。
5. 色空間に表された文字領域および地肌領域に相当する２個のクラスタに属する色を、２つのクラスタのうちいずれか一方が他方から離れる方向の色表現値に変更する色変換処理を含むことを特徴とする請求項１記載の画像符号化方法。
6. 入力された画像に文字を追加した画像データを画像符号化する場合に、前記色変換処理を行うことを特徴とする請求項２記載の画像符号化方法。
7. 画像に文字領域であることが指定されている画像データを画像符号化する場合に、該指定された部分に前記色変換処理を行うことを特徴とする請求項２記載の画像符号化方法。
8. 画像領域と文字が存在する文字領域とに領域を分割し、文字領域と判断された領域に、前記色変換処理を行うことを特徴とする請求項２記載の画像符号化方法。
9. 文字領域を使用者が指定できることを特徴とする請求項２記載の画像符号化方法。
10. 各ピクセルの色表現値が予め設定された濃度以下の場合に、該色表現値を白色に相当すると判断して色変換処理を行うことを特徴とする請求項３記載の画像符号化方法。
11. 各ピクセルの色表現値が予め設定された濃度以上の場合に、該色表現値を黒色に相当すると判断して色変換処理を行うことを特徴とする請求項４記載の画像符号化方法。
12. 前記色変換処理を適用する画像の明るさの分布を求め、前記分布の最大明度から予め定められる値を減じた明度までの各ピクセル、または最大明度と最小明度との範囲内で予め定められる割合以上の明度の部分を白色に相当する色表現値と判断することを特徴とする請求項３記載の画像符号化方法。
13. 前記色変換処理を適用する画像の明るさの分布を求め、前記分布の最小明度から予め定められる値を加えた明度までの各ピクセル、または最大明度と最小明度との範囲内で予め定められる割合以下の明度の部分を黒色に相当する色表現値と判断することを特徴とする請求項４記載の画像符号化方法。
14. 白色に相当するピクセルの色表現値を、色表現上の最も白い色に対応する値に予め定められた値だけ黒色の方向とは逆の方向に変更した値に、変換することを特徴とする請求項３記載の画像符号化方法。
15. 黒色に相当するピクセルの色表現値を、色表現上の最も黒い色に対応する値に予め定められた値だけ白色の方向とは逆の方向に変更した値に、変更することを特徴とする請求項４記載の画像符号化方法。
16. 白色に相当するピクセルの色表現値を、色表現上の最も白い色に近いほど黒色の方向とは逆の方向の値に変更することを特徴とする請求項３記載の画像符号化方法。
17. 黒色に相当するピクセルの色表現値を、色表現上の最も黒い色に近いほど白色の方向とは逆の方向の値に変更することを特徴とする請求項４記載の画像符号化方法。
18. 前記色変換処理では、画像の最小濃度値と最大濃度値との間の差に一定の係数を乗算した値に基づいて、色表現値を変更することを特徴とする請求項１記載の画像符号化方法。
19. 前記画像符号化方法によって符号化された画像を逆変換して再現した画像と原画像とを比較し、両者の色差が予め定められる色差以上である場合に、両者の色差が前記予め定める色差内に収まるまで前記一定の係数を変更することを特徴とする請求項１８記載の画像符号化方法。
20. 予め定められた回数、前記一定の係数の変更を行っても再現した画像と原画像との色差が規定された範囲内とならない場合は利用者に警告することを特徴とする請求項１９記載の画像符号化方法。
21. 前記画像符号化方法によって符号化された画像を逆変換して再現した画像を表示することを特徴とする請求項１記載の画像符号化方法。
22. 前記色変更処理を行うか否かを利用者が設定できることを特徴とする請求項１記載の画像符号化方法。
23. 請求項１記載の画像符号化方法を用いることを特徴とする画像装置。
24. 白色に相当するピクセルの色表現値を、黒色の方向とは逆の方向に変更し、黒色に相当するピクセルの色表現値を、白色の方向とは逆の方向に変更する色変換処理を含むことを特徴とする請求項１記載の画像符号化方法。
25. 前記色変換処理は、白黒の２色のみから成る画像に適用されることを特徴とする請求項２４記載の画像符号化方法。

Images