JP4169522B2 - 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 - Google Patents
画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 Download PDFInfo
- Publication number
- JP4169522B2 JP4169522B2 JP2002081361A JP2002081361A JP4169522B2 JP 4169522 B2 JP4169522 B2 JP 4169522B2 JP 2002081361 A JP2002081361 A JP 2002081361A JP 2002081361 A JP2002081361 A JP 2002081361A JP 4169522 B2 JP4169522 B2 JP 4169522B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- continuous tone
- edge
- window
- tone conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 218
- 238000006243 chemical reaction Methods 0.000 claims description 192
- 238000000034 method Methods 0.000 claims description 121
- 238000000605 extraction Methods 0.000 claims description 116
- 230000008569 process Effects 0.000 claims description 107
- 239000003086 colorant Substances 0.000 claims description 46
- 238000003708 edge detection Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000003672 processing method Methods 0.000 description 14
- 230000006872 improvement Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40075—Descreening, i.e. converting a halftone signal into a corresponding continuous-tone signal; Rescreening, i.e. combined descreening and halftoning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、この画像処理装置が備えるコンピュータに解釈実行される画像処理プログラム、及びこのプログラムを記憶する記憶媒体に係り、より詳細には、例えば印刷文書をスキャナ等の画像読取機器から入力して得られるデジタル画像をプリンタ等の画像出力機器から出力する際に、出力画像の粒状性やモアレ現象を改善する技術に関する。
【０００２】
【従来の技術】
例えば印刷文書をスキャナ等の画像読取機器から入力して得られるデジタル画像をディスプレイ上に表示したりプリンタ等の画像出力機器から出力する場合、デジタル画像に何の処理も施さなかったり、あるいは、施したとしてもスケーリングや回転等のような画像品質に関係しない画像処理だけを施した場合、モアレ現象が生じたり、粒状性が粗くなったりするというような再現画像の劣化が生じることがある。
【０００３】
これは、印刷文書の中間調領域が、ディザ等のスクリーニングや誤差拡散法等を適用して生成されたドットパターンによって構成されている場合、そのような画像処理と、プリンタ等の画像出力機器で行われている中間調処理等の画像処理との整合性がとれていないことを原因として発生する現象である。
【０００４】
このような画像劣化の問題を回避して画質を改善するためには、ドットパターンで表現された中間調領域を連続階調表現に変換すれば良い。このような画質改善のための処理は、従来からデジタル複合機等の画像機器に組み込まれている。但し、ここで注意しなければならないのは、文字、線画等のグラフィックスや重要なエッジ等をぼかしてはならないということである。
【０００５】
ここで、関連する従来技術としては、特開平６−６２２３０号公報、特開平１０−２０８０３８号公報、特開平１１−４１４６９号公報、及び特開２００１−２１１３２７公報等がある。
【０００６】
特開平６−６２２３０号公報及び特開平１０−２０８０３８号公報には、文字領域と絵柄領域を分離して、各画素の周囲の画像特徴に応じて画素ごとに異なる周波数特性をもつ線形フィルタ処理を施し、これによって中間調領域を連続階調表現に変換するという技術が記載されている。
【０００７】
また、特開平１１−４１４６９号公報及び特開２００１−２１１３２７公報には、ウェーブレット変換を利用した方法が考案されている。
【０００８】
【発明が解決しようとする課題】
しかし、近年のネットワーク環境の普及に伴い、画像読取機器を通して入力されたデジタル画像がネットワークを介して遠隔地に送信され、受信者は、未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信するという状況が出現している。このようなネットワーク環境では、従来にはなかった新たな技術的課題が発生する。
【０００９】
なお、前に紹介した特開平６−６２２３０号公報、特開平１０−２０８０３８号公報、特開平１１−４１４６９号公報、及び特開２００１−２１１３２７公報に記載された技術は、このようなネットワーク環境を考慮したものではない。
【００１０】
ネットワーク環境によって発生する技術的課題は、次の通りである。
【００１１】
（１）未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信し、この際に出力画像の粒状性やモアレ現象を改善するための機能を、パーソナルコンピュータにインストールされ、あるいはパーソナルコンピュータで解釈されるソフトウェアによって実現する場合でも、実用に耐え得る処理速度を達成すること。
【００１２】
ネットワーク環境下では、遠隔地で入力されてネットワークを介して送られてきた画像に対して、パーソナルコンピュータ上で画質向上処理を施し、これをファイルに保存したり、プリンタで出力したり、さらにネットワークを介して送信することがある。この場合、このような機能をパーソナルコンピュータにインストールされ、あるいはパーソナルコンピュータで解釈されるソフトウェアで実現すると、実用に耐える処理速度を達成することが困難である。例えば、前述した線形フィルタやウェーブレット変換をソフトウェアで実装し、Ａ４サイズのフルカラー文書画像に適用すると、解像度が上がるに従って、計算時間が実用に耐えられないものとなってしまう。
【００１３】
そこで、上記機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することが望まれる。
【００１４】
（２）画像の送り手側での画像処理機器（特に、スキャナ等の画像入力機器）と画像の受け手側での画像処理機器との特性の相違を吸収すること。
【００１５】
スタンドアロンの画像処理機器の場合、機器の特性に合わせて、画像処理アルゴリズムやパラメータを設計することが多い。しかしながら、ある特定の機種に対して最適な画像処理系が、特性が異なる機種に対して効果を発揮するとは限らない。ネットワーク環境下では、画像処理機器、特にスキャナ等の画像入力機器の特性が多様であり、さらに、遠隔地から画像が送信されてきたような場合には、特性が未知のことすらある。このため、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合には、再現する画像品質が著しく劣化し、出力画像の粒状性が低下したりモアレ現象が発生したりすることがある。
【００１６】
そこで、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、満足がいく画質が得られるようにすることが望まれる。
【００１７】
（３）画像の送り手側で行った中間調処理方式の内容（方式、性質）に依存することなく、画像の受け手側で良好な画像品質での画像再現を実現すること。
【００１８】
ドットパターンを生成する中間調処理の方式やそのパラメータ（ディザの閾値行列、誤差拡散のフィルタ係数、スクリーン角、網点周期等）が分かれば、情報処理機器における画像再現処理に際してそれに特化した方式を用いることができる。しかし、書籍、雑誌、新聞等、未知の工程で印刷された文書画像を対象とする場合、画像入力機器の高周波感度が良くないか解像度が低い場合には、中間調パターンの特徴を抽出することができない場合がある。
【００１９】
そこで、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することが望まれる。
【００２０】
本発明の目的は、未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信し、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することである。
【００２１】
本発明の目的は、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、満足がいく画質が得られるようにすることである。
【００２２】
本発明の目的は、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することである。
【００２３】
【課題を解決するための手段】
上記課題を解決するために、請求項１ないし１２のそれぞれに記載された発明は、新規な画像処理装置を規定する。また、請求項１３ないし１８のそれぞれに記載された発明は、本発明の画像処理装置が備えるコンピュータに解釈実行される新規な画像処理プログラムを規定する。そして、請求項１９記載の発明は、本発明の画像処理プログラムを記憶する新規な記憶媒体を規定する。
【００２４】
［画像処理装置（請求項１ないし１２）］請求項１記載の画像処理装置の発明は、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を前記原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を具備する。
【００２５】
したがって、前景画像と背景画像とを区別して抽出する処理が縮小画像に対して行なわれ、縮小画像から背景画像として抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される。そして、連続階調に変換された画像と縮小画像から前景画像として抽出された画像に基づく画像とが合成される。このようなことから、本請求項の発明は、次のような利点を備える。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【００４２】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を具備する。
【００４３】
したがって、画像に対してウィンドウが設定され、このウィンドウ内の色の平均値が各ウィンドウ内の画素として置き換えられる。これにより、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることが可能となる。
【００４４】
請求項３記載の発明は、請求項１記載の画像処理装置において、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにした。
【００４５】
したがって、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められる。これにより、ウィンドウ内の色の平均値が精度良く求められる。
【００４６】
請求項４記載の発明は、請求項２又は３記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を具備する。
【００４７】
画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性がある。そこで、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像に近似させる。
【００４８】
請求項５記載の発明は、請求項４記載の画像処理装置において、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する。
【００４９】
このような判定手法を採用することで、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかが容易に判定される。
【００５０】
請求項６記載の発明は、請求項４又は５記載の画像処理装置において、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する。
【００５１】
これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【００５２】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５３】
ここで、第１の抽出手段及び第２の抽出手段における前景画像と背景画像との区別した抽出は、エッジの抽出によっても二値化によってもその組み合わせによっても可能である。請求項８ないし１２記載の発明は、そのような各種の組み合わせを規定する。
【００５４】
請求項８記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５５】
請求項９記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５６】
請求項１０記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５７】
請求項１１記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５８】
請求項１２記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５９】
［画像処理プログラム（請求項１３ないし１８）］請求項１３記載の画像処理プログラムの発明は、コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を実行させる。
【００６０】
したがって、前景画像と背景画像とを区別して抽出する処理が縮小画像に対して行なわれ、縮小画像から背景画像として抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される。そして、連続階調に変換された画像と縮小画像から前景画像として抽出された画像に基づく画像とが合成される。このようなことから、本請求項の発明は、次のような利点を備える。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【００７３】
請求項１４記載の発明は、請求項１３記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を前記コンピュータに実行させる。
【００７４】
したがって、画像に対してウィンドウが設定され、このウィンドウ内の色の平均値が各ウィンドウ内の画素として置き換えられる。これにより、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることが可能となる。
【００７５】
請求項１５記載の発明は、請求項１４記載の画像処理プログラムにおいて、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにした。
【００７６】
したがって、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められる。これにより、ウィンドウ内の色の平均値が精度良く求められる。
【００７７】
請求項１６記載の発明は、請求項１４又は１５記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を前記コンピュータに実行させる。
【００７８】
画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性がある。そこで、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像に近似させる。
【００７９】
請求項１７記載の発明は、請求項１６記載の画像処理プログラムにおいて、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する。
【００８０】
このような判定手法を採用することで、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかが容易に判定される。
【００８１】
請求項１８記載の発明は、請求項１６又は１７記載の画像処理プログラムにおいて、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する。
【００８２】
これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【００８３】
［画像処理プログラムを記憶する記憶媒体（請求項１９）］請求項１９記載の発明は、請求項１３ないし１８の何れか一記載の画像処理プログラムを記憶する記憶媒体である。したがって、それらの各請求項に記載された発明と同一の作用効果を奏する。
【００８４】
【発明の実施の形態】
本発明の実施の形態を図１ないし図９に基づいて説明する。
【００８５】
本実施の形態は、本発明の画像処理装置を実施する画像処理装置であり、この画像処理装置は、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
【００８６】
図１は、本実施の形態におけるシステム構築例を示す模式図である。
【００８７】
本実施の形態のシステムでは、サーバコンピュータ１０１にＬＡＮ等のネットワーク２０１を介して画像処理装置を構成するパーソナルコンピュータ３０１が複数第接続されたサーバクライアントシステム１１を想定する。このサーバクライアントシステム１１は、スキャナやデジタルカメラ等の画像入力機器４０１及びプリンタ等の画像出力機器５０１をネットワーク２０１上でシェアし得る環境が整えられている。また、ネットワーク２０１上には、マルチファンクションペリフェラルと称されるＭＦＰ６０１が接続され、このＭＦＰ６０１が画像入力機器４０１や画像出力機器５０１として機能するように環境が構築されていても良い。
【００８８】
このようなサーバクライアントシステム１１は、例えばイントラネット２１を介して別のサーバクライアントシステム３１とのデータ通信可能に構築され、インターネット通信網４１を介して外部環境とデータ通信可能に構築されている。
【００８９】
図２は、本実施の形態における画像処理装置としてのパーソナルコンピュータ３０１のモジュール構成図である。
【００９０】
パーソナルコンピュータ３０１は、情報処理を行なうＣＰＵ３０２、情報を格納するＲＯＭ３０３及びＲＡＭ３０４等の一次記憶装置３０５、ＨＤＤ３０６（ハードディスクドライブ）等の二次記憶装置３０７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭ等のリムーバブルディスク装置３０８、外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース３０９、処理経過や結果等を操作者に表示する表示装置３１０、並びに操作者がパーソナルコンピュータ３０１に命令や情報等を入力するためのキーボード３１１、マウス等のポインティングディバイス３１２等から構成されており、これらの各部間で送受信されるデータをバスコントローラ３１３が調停して動作する。
【００９１】
このようなパーソナルコンピュータ３０１では、ユーザが電源を投入するとＣＰＵ３０２がＲＯＭ３０３内のローダーというプログラムを起動させ、ＨＤＤ３０６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ３０４に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００９２】
ここで、パーソナルコンピュータ３０１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ３０６に記憶している。この意味で、ＨＤＤ３０６は、画像処理プログラムを記憶する記憶媒体として機能する。
【００９３】
また、一般的には、パーソナルコンピュータ３０１のＨＤＤ３０６等の二次記憶装置３０７にインストールされる動作プログラムは、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ３０６等の二次記憶装置３０７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース３０９を介して外部から取り込まれ、ＨＤＤ３０６等の二次記憶装置３０７にインストールされても良い。
【００９４】
図３は、画像処理プログラムに従い画像処理装置であるパーソナルコンピュータ３０１よって実行される手段を模式的に示す機能ブロック図である。また、図４は、この機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【００９５】
パーソナルコンピュータ３０１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ３０２が各種の演算処理を実行して各部を集中的に制御する。この際、パーソナルコンピュータ３０１は、図３の機能ブロック図に示す各機能によって、図４のフローチャートに示す各種の手段を実行することになる。これらの手段を次に説明する。
【００９６】
１．処理の概要
本実施の形態では、多重解像度解析を利用する。Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ （ＭＲＣ） Ｉｍａｇｉｎｇ Ｍｏｄｅｌによると、画像は次の２つの要素から構成される。
◎前景（Ｆｏｒｅｇｒｏｕｎｄ）：テキスト、グラフィックス（特に線画）、重要なエッジ
◎背景（Ｂａｃｋｇｒｏｕｎｄ）：前景以外の領域（連続階調領域）
これらのうち、背景については、鋭いエッジがなく、例えば、１００ｄｐｉ程度の低解像度の画像に圧縮しても、人間の目には劣化が目立たない。また、ＢＴＣ（Ｂｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇ）では、画像をブロック分割し、各ブロックを２色で符号化するｌｏｓｓｙ圧縮方法を採用している。これに対して、前景に対しては、高周波数成分の保持のために高い解像度が必要とされる。そこで、画像を表現する場合には、前景と背景とを異なる観点から異なる方法で表現することが必要となる。
【００９７】
そこで、本実施の形態では、背景領域の処理は解像度を落とした画像で行っても十分であるとの認識に基づいて画像処理を行ない、これによって全体の処理時間の短縮等を図っている。
【００９８】
本実施の形態における画像処理は、図３の機能ブロック図及び図４のフローチャートに示すように、一例として、パーソナルコンピュータ３０１がネットワークインターフェース３０９を介して原画像Ｉ０ を受信していることが前提となっている（ステップＳ１０１）。この場合、原画像Ｉ０ は、デジタル化されたカラー画像である。このような前提の下、まず、原画像Ｉ０ から低解像度の縮小画像Ｉを生成する（ステップＳ１０２）。
【００９９】
次いで、低解像度処理（図３参照）として、生成した低解像度の縮小画像Ｉ上で、局所的特徴（エッジ、色信号の局所的統計量等など）に基づいて前景画像Ｆを抽出する（ステップＳ１０３）。前景画像Ｆ以外の画素が背景画像Ｂとなる。そして、背景画像Ｂを連続階調表現（後述する）に変換し、連続階調変換された背景画像Ｊとする（ステップＳ１０４）。
【０１００】
次いで、原解像度処理（図３参照）として、低解像度の縮小画像Ｉ中から前景として抽出された前景画像Ｆについて、受信したままの原画像Ｉ０ での処理を行なう。縮小画像Ｉ中から前景として抽出された前景画像Ｆ内で、局所的特徴（エッジ、色信号の局所的統計量等など）をもとに前景画像ＦＦを抽出し、それ以外の画素を背景画像ＢＦとする（ステップＳ１０５）。そして、その背景画像ＢＦを連続階調表現（後述する）に変換し、連続階調変換された背景画像Ｊ０ とする（ステップＳ１０６）。
【０１０１】
最後に、縮小画像Ｉから連続階調表現された背景画像Ｊ、前景画像ＦＦ、原画像Ｉ０ から連続階調表現された背景画像Ｊ０ を合成して、補正画像Ｑが得られる（ステップＳ１０７）。そこで、この補正画像Ｑを、例えば画像出力機器５０１、６０１から出力したり、あるいは、他の機器３０１、３１等に送信したりする（ステップＳ１０８）。
【０１０２】
ここで、背景画像Ｂ、ＢＦを連続階調表現に変換する処理の概要を説明する。
【０１０３】
受信した原画像Ｉ０ について、ドットパターンを生成した中間調処理の方式やパラメータがわかっていれば、適当なサポートサイズをもつ線形フィルタのセットを用意し、各画素に対しては、そこでの画像特徴に応じてその中から適当なフィルタを原画像Ｉ０ にかければよい。しかしながら、本実施の形態では、適当なサポートサイズが分からないことを想定していることから、以下に述べるような疎から密への多重スケール処理を用いて連続階調変換処理を行なう。
【０１０４】
まず、前景画像Ｆを抽出した後に残る領域の画像、すなわち背景画像Ｂ内に、Ｗ×Ｗの大きさ（ウィンドウサイズｓ）の局所的領域Ｒを設定する。ここでは、ウィンドウサイズｓがＷ×Ｗの大きさであることから、局所的領域Ｒは正方形であることになるが、局所的領域Ｒは、矩形であれば必ずしも正方形に限定されない。また、この局所的領域Ｒは、それが適切なサイズであれば、鋭いエッジ、文字、グラフィックスなどを持たない。したがって、ウィンドウサイズｓの大きさと局所的領域Ｒの位置とが適切であれば、局所的領域Ｒ内の画素をＲ内の平均色で置き換えても問題はないはずである。例えば、局所的領域Ｒが図５（ａ）に例示するように背景が単一色からなるような場合、連続階調変換を行った結果が図５（ｃ）に例示するようになり、適切な連続階調表現が得られる。
【０１０５】
これに対して、ウィンドウサイズｓの大きさが大きすぎたり、局所的領域Ｒの位置が不適切であったりする場合、局所的領域Ｒが不適切な状態となり、連続階調変換の結果も不適切となる。ウィンドウサイズｓの大きさが大きすぎたり局所的領域Ｒの位置が不適切であったりする場合に局所的領域Ｒが不適切な状態となる一例としては、図５（ｂ）や図６（ａ）に例示するように、背景に異なる複数の色が含まれてしまう状態が挙げられる。局所的領域Ｒが図５（ｂ）や図６（ａ）に例示する状態となっている場合に連続階調変換を行った結果は、図６（ｂ）に例示するようになり、画像に歪みが生じる。
【０１０６】
そこで、この問題の解決のためには、歪みが生じた部分を検出し、この部分に対してより小さなウィンドウサイズｓを有する局所的領域Ｒを設定し直し、この局所的領域Ｒに対して連続階調変換処理を再度行なう必要がある。
【０１０７】
ここで、歪みを生じた部分の検出手法について説明する。連続階調表現がなされた背景画像Ｊ、Ｊ０ に含まれるエッジは、原画像Ｉ０ のエッジの部分集合になるはずである。すなわち、妥当な処理が行われている限り、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中に原画像Ｉ０ に存在しないエッジが存在することは有り得ない。これを画素毎に観察すると、連続階調表現がなされた背景画像Ｊ、Ｊ０ でのエッジ強度が原画像Ｉ０ でのエッジ強度よりも強いことはありえないということになる。これに対して、例えば図６（ｃ）に例示するように、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中、原画像Ｉ０ にないエッジがあったとすると、これは、連続階調変換処理においてウィンドウサイズｓの大きさが大きすぎたり局所的領域Ｒの位置が不適切であったりして生じる副作用であると考えられる。つまり、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中、原画像Ｉ０ にないエッジが存在するか否かを判定することにより、歪みを生じた部分を検出することが可能となる。
【０１０８】
そこで、こうして検出された歪みが生じた部分に対してより小さなウィンドウサイズｓを有する局所的領域Ｒを設定し直し、この局所的領域Ｒに対して連続階調変換処理を再度行なう。この際、画素毎に適切な処理スケールを適宜決定できることが望ましいが、ボトムアップ的な画像解析によって自動的に最適な処理スケールを決めることは難しい。そこで、エッジ情報をもとにして、作った画像を原画像と比較しながら、疎から密への多重スケール処理により、最適な処理スケールを決めて行くことになる。
【０１０９】
もっとも、実際には、背景画像Ｂ、ＢＦを一定のウィンドウサイズｓを有する矩形状の局所的領域Ｒで覆い尽くすことはできない。そこで、実際のアルゴリズムでは、後述するように、縦横のランを用いて連続階調変換を行なう。
【０１１０】
２．処理の詳細
【０１１１】
［１００１：縮小画像生成手段］
デジタルカラー画像である原画像Ｉ０ に対して、解像度が原画像Ｉ０ よりも低い縮小画像Ｉを生成する処理である。
【０１１２】
ここでは、単純に、入力画像を重なりのないブロックに分割し、ブロック内での信号の平均値を低解像度画像での対応する画素の信号に設定し、これによって縮小画像Ｉを生成する。ブロックの大きさ、すなわち、縮小率をｒとすると、
【０１１３】
【数１】
となる。この際、縮小率ｒは常に自然数になるようにする。
【０１１４】
［２００１：第１の抽出手段］
縮小画像Ｉに対して、前景画像Ｆと背景画像Ｂとを区別して抽出する処理である。
【０１１５】
この処理に先立って、ノイズ除去のため、低解像度の縮小画像Ｉを例えば線形フィルタで平滑化する。この際、初期状態として、すべての画素が前景要素として設定されていないとすると、
【０１１６】
【数２】
となる。
【０１１７】
そこで、平滑化された低解像度の縮小画像Ｉから、前景要素である前景画像Ｆを抽出する。この抽出処理には、エッジ強度の検出処理及びカラー信号の局所統計量の処理を用いる。以下、この二つの処理について説明する。
【０１１８】
まず、エッジ強度計算と前景抽出とについて説明する。低解像度の縮小画像Ｉに対して、エッジ強度を計算する（Ｅ０ ）。画素[ｉ，ｊ]でのエッジ強度は、３つのチャンネル（ＲＧＢ）に対して別個に計算されたエッジ強度の最大値である。つまり、
【０１１９】
【数３】
となる。ただし、Ｓ［Ｉ；ｉ，ｊ；ｋ］は、縮小画像Ｉのｋチャンネルでの画素［ｉ，ｊ］におけるエッジ強度である。このようにして計算されたエッジ強度を閾値処理（ｔｈｒ）することにより、
【数４】
として前景要素が得られる。なお、閾値については、予め固定値を設定しても良いし、外部から設定変更できるようにしても良い。
【０１２０】
次いで、局所統計量計算と前景抽出とについて説明する。この処理では、エッジ強度計算によるエッジ特徴の抽出処理によっては前景として抽出されなかった画素に対して、カラー成分の局所適応的二値化を行なうことにより、残りの前景要素の検出が行なわれる。例えば、各画素の周りに固定サイズのウィンドウを設定する。ＲＧＢチャンネルごとにウィンドウ内の画素の信号値の平均値μと標準偏差σとを計算して、ａとｂとをパラメータとした閾値μ（ａ＋ｂσ）と信号値との比較を行ない、信号値が閾値よりも低いようなチャンネルが１つでもあれば、その画素［ｉ，ｊ］を前景要素に設定する。つまり、
【０１２１】
【数５】
となる。
【０１２２】
こうして、エッジ強度の検出処理とカラー信号の局所統計量の処理という二種類の処理によって前景要素である前景画像Ｆが抽出される。
【０１２３】
ここで、前景画像Ｆと背景画像Ｂとの区別した抽出は、エッジの抽出とカラー成分の二値化による文字や線画の抽出との組み合わせが可能である。例えば、縮小画像Ｉに対して、エッジの抽出とカラー成分の二値化による文字や線画の抽出との両方を行なっても、エッジの抽出だけを行なっても、カラー成分の二値化による文字や線画の抽出だけを行っても良い。但し、エッジ抽出だけでは、細い線のような画像を抽出することができない場合があるため、カラー成分の二値化と併用することが好ましい。また、エッジ抽出とカラー成分の二値化は、いずれの順序で行なっても良い。なお、カラー成分の二値化は、上述した局所対応的二値化に限定されず、固定閾値を用いた二値化であっても良い。
【０１２４】
［３００１：第１の連続階調変換手段］
縮小画像Ｉから背景画像Ｂとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊを生成する処理である。この処理は、疎から密への多重スケール処理として概略説明した処理であり、具体的には、初期連続階調画像の生成処理と階調画像の修正処理とから構成されている。そこで、これらの二つの処理、つまり、初期連続階調画像の生成処理と階調画像の修正処理とを順に説明する。
【０１２５】
まず、初期連続階調画像の生成処理の概略について説明する。
【０１２６】
図７は、初期連続階調画像の生成処理の流れを示すフローチャートである。このフローチャートは、初期連続階調画像を生成することが前提となっている。ここでは、初期連続階調画像として、縮小画像Ｉと同じサイズの画像であって、前景画素（前景画像Ｆの要素）では値ＯＮ、それ以外（背景画像Ｂの要素）では値ＯＦＦを持つような二値画像Ｐを構成する。ここに、図７のフローチャート中での記号の意味は、
入力情報として、
Ｉ：縮小画像
Ｐ：二値（前景／背景）画像
出力情報として、
Ｊ：連続階調処理後の背景画像
パラメータとして、
ｓ：ウィンドウサイズ
ｗ：画像の幅
ｈ：画像の高さ
である。
【０１２７】
初期連続階調画像の生成処理では、背景画像Ｂとして抽出された画像に対して、予め決められた大きさのウィンドウを設定するウィンドウ設定手段（後述する図１０のステップＳ３０１参照）と、各ウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段とを含んでいる。このような連続階調変換処理を実施することにより、原画像Ｉ０ に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を向上させることが可能となる。
【０１２８】
また、変換手段では、ウィンドウ内の第１の方向、例えば横方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（後述する図１０のステップＳ３０２参照）、続いて、ウィンドウ内の第１の方向と直交する第２の方向、例えば縦方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（後述する図１０のステップＳ３０３参照）、ウィンドウ内の色の平均値を求めるようにしている。これにより、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められるため、ウィンドウ内の色の平均値が精度良く求められる。
【０１２９】
ここで、より具体的な処理内容について説明する。図８（ａ）に示すように、横方向の各ラインに対して、長さが最大ｗｓｚ（例えば、１００ｄｐｉで４画素）であり、その中に前景要素の画素（ＰがＯＮである画素）を含まないようなランを逐次構成する（ステップＳ２０１〜２０８、ステップＳ２１０〜２１２）。
【０１３０】
そして、各ランについて、ランを構成する画素の平均色を計算し、計算後の平均色をそのランを構成する各画素の色に設定する（ステップＳ２０９）。こうして、横方向のランを用いた連続階調変換処理をした画像Ｃ´が得られる。
【０１３１】
その後、図８（ｂ）に示すように、縦方向のランを構成し、生成された画像Ｃ´に対して、上記と同様な連続階調変換処理を施す（ステップＳ２５１〜２６１）。
【０１３２】
このように、連続階調変換処理では、横方向で左から右、縦方向で上から下に、指定された長さになるか、前景画素に出会うまで、ランを順次構成して行く。ランが前景画素に出会ったときには、指定された長さより短くなることがあるので、そのラン上で推定された背景色が暗くなることがある。この問題を解決するために、ランが前景画素に出会って、ランの長さが指定の長さまで成長しなかったときには、図９に示すように、ランの始点から逆戻りして、ランを拡張する処理を行なう。すなわち、ランが前景画素に出会って、ランの長さがｗｓｚ未満のときに、ランの始点から逆戻りして、ランを拡張する。
【０１３３】
このようにして、横方向と縦方向のランに連続階調変換処理を施すことにより、初期連続階調画像Ｊが生成される。
【０１３４】
次いで、連続階調画像の修正処理の概略を図１０にフローチャートに基づいて説明する。図１０は、連続階調画像の修正処理の流れを示すフローチャートである。
【０１３５】
前述したように、初期連続階調画像の生成処理では、背景画像Ｂとして抽出された画像に対して、予め決められた大きさのウィンドウを設定し（ステップＳ３０１）と、各ウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する。この際、各ウィンドウの色の平均値は、前述したように、ウィンドウ内の第１の方向、例えば横方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（ステップＳ３０２）、続いて、ウィンドウ内の第１の方向と直交する第２の方向、例えば縦方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（ステップＳ３０３）、これによってウィンドウ内の色の平均値を求めるようにしている。
【０１３６】
ところが、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジが連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に発生する可能性がある。
【０１３７】
そこで、本実施の形態の連続階調変換処理は、背景画像Ｂとして抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像（初期連続階調画像Ｊ）からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の原画像Ｉ０ のエッジと比較し、連続階調変換処理を施す前の原画像Ｉ０ に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の原画像Ｉ０ に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を含む。
【０１３８】
つまり、図１０に示すフローチャート中、ウィンドウ内の第１の方向と直交する第２の方向のランについて色の平均値を求めたら（ステップＳ３０３）、連続階調変換処理を施した画像（初期連続階調画像Ｊ）からエッジを検出（ステップＳ３０４）、検出したエッジを、連続階調変換処理を施す前の原画像Ｉ０ のエッジと比較する（ステップＳ３０５）。これにより、エッジ残差画像を生成し（ステップＳ３０６）、これを二値化し（ステップＳ３０７）、二値化されたエッジ残差画像に基づいて擬似エッジ、つまり連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジであるかどうかを判定する（ステップＳ３０８）。そして、擬似エッジが存在すると判定されなければ（ステップＳ３０８のＮ）処理を終了し、擬似エッジが存在すると判定されれば（ステップＳ３０８のＹ）、擬似エッジの周囲について前回よりも小さなウィンドウを設定し（ステップＳ３０９）、そのウィンドウサイズが予め決められたウィンドウサイズよりも小さくなるまで（ステップＳ３１０のＹ）、ウィンドウ中の第１の方向及び第２の方向について平均色を算出する処理（ステップＳ３０２、３０３）から続くステップＳ３０２〜３０９の処理を繰り返す。
【０１３９】
これにより、連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に、連続階調変換処理を施す前の原画像Ｉ０ に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像（修正後の画像）を、連続階調変換処理を施す前の原画像Ｉ０ に近似させることが可能となる。
【０１４０】
ここで、比較判定手段は、各画素について、計算されたエッジ強度から連続階調変換処理を施す前の原画像Ｉ０ のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の原画像Ｉ０ に存在しないエッジであると判定する。このような判定手法を採用することで、連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジが連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に存在しているかどうかが容易に判定される。
【０１４１】
さらに、再変換手段によって連続階調変換処理を施す画像のウィンドウは、最初に設定されていたウィンドウの大きさよりも小さく設定する。これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【０１４２】
ここで、初期連続階調画像Ｊを修正する、より具体的な処理内容について説明する。まず、概略として、
（ａ）各画素に対して、連続階調画像Ｊのエッジ強度から原画像Ｉ０ のエッジ強度Ｅ０ を引き、これによってエッジ残差画像を生成する。大半の画素では、残差が０以下の値になる。そして、エッジ残差画像を二値化処理し、疑似エッジ画像Ｅ１ を生成する。残差が閾値以上の画素をＯＮ、それ以外をＯＦＦとする。ここで、ウィンドウの大きさを前回設定されていた大きさよりも小さく設定する。
【０１４３】
（ｂ）そして、設定したウィンドウ内のランの長さｗｓｚの値を半分にする。疑似エッジ画像Ｅ１ でＯＮ画素の周囲に対して新しいｗｓｚの値を用いて連続階調変換処理を実行し、連続階調画像Ｃを生成する。なお、ランの長さｗｓｚの値を半分にすることを例示したが、ここではランの長さｗｓｚを短くすれば良く、必ずしも半分の長さにすることに限定されない。
【０１４４】
（ｃ）背景色画像Ｊにおいて、疑似エッジ画像Ｅ１ でＯＮ画素の近傍の例えば（２・ｗｓｚ−１）×（２・ｗｓｚ−１）個の画素の色を、新しい連続階調画像Ｃでの色に置き換える。
【０１４５】
（ｄ）ｗｓｚが予め決められた最小サイズより小さくなるまで、上記（ａ）〜（ｃ）の処理を、再帰的に繰り返す。
【０１４６】
次に、これらの（ａ）〜（ｄ）について詳しく述べる。
【０１４７】
連続階調画像のエッジ検出のために、連続階調画像Ｊから上記と同様に、次式によってエッジ強度を計算する（Ｅ１ ）。
【０１４８】
【数６】
【０１４９】
擬似エッジ検出のために、低解像度の縮小画像Ｉには存在せずに連続階調画像Ｊだけに存在する偽のエッジを次式により求める。
【０１５０】
【数７】
【０１５１】
背景色の修正のために、ウィンドウサイズ（ｗｓｚ）を小さく（半分に）する。この新しい小さなウィンドウサイズ（ｗｓｚ）で連続階調変換する（Ｃ）。そして、連続階調画像Ｊにおいて、擬似エッジの周囲を、次式のように今変換した色Ｃで置き換える。
【０１５２】
【数８】
【０１５３】
その後、修正処理の反復のために、ウィンドウサイズ（ｗｓｚ）が指定された最小サイズより大きければ、連続階調画像修正の一連の処理を繰り返す。そうでなければ、ここで連続階調画像修正は終了する。
【０１５４】
［４００１：第２の抽出手段］
縮小画像Ｉから前景画像Ｆとして抽出された画像に対して、この画像に対応する原画像上で前景画像ＦＦと背景画像ＢＦとを区別して抽出する処理である。
【０１５５】
つまり、低解像度の縮小画像Ｉから前景として抽出された前景画像Ｆに対して、原解像度で精細な処理を行なう。正確に言えば、前景画像Ｆに対応する原画像Ｉ０ 上での領域は、[ｉ／ｒ，ｊ／ｒ]∈Ｆであるような画素［ｉ，ｊ］の集合である。そこで、この前景画像Ｆ内において、原画像Ｉ０ に対して前述した手法と同様にして前景抽出を行なう。この結果、前景として分類された領域である前景画像をＦＦ、その残りの領域である背景画像をＢＦ（＝Ｆ−ＦＦ）とする。
【０１５６】
ここで、前景抽出に関しては、第１の抽出手段２００１と同様に、エッジの抽出とカラー成分の二値化による文字や線画の抽出との組み合わせが可能である。例えば、縮小画像Ｉに対して、エッジの抽出とカラー成分の二値化による文字や線画の抽出との両方を行なっても、エッジの抽出だけを行なっても、カラー成分の二値化による文字や線画の抽出だけを行っても良い。
【０１５７】
そして、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出と、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出とに関して、エッジの抽出とカラー成分の二値化による文字や線画の抽出とを様々に組み合わせることが可能である。
【０１５８】
例えば、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方で行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１５９】
別の例として、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をエッジの抽出のみで行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１６０】
さらに別の例として、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をカラー成分の二値化による文字や線画の抽出のみで行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１６１】
［５００１：第２の連続階調変換手段］
原画像Ｉ０ から背景画像ＢＦとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊ０ を生成する処理である。
【０１６２】
つまり、原画像Ｉ０ から抽出した背景画像ＢＦ内において、原画像Ｉ０ に対して、前述した手法と同様の手法で連続階調変換処理を行ない、連続階調画像Ｊ０ を計算する。ここで、ランの初期長は、ｄ・ｒ（ｄは定数）と設定する。ｒは、低解像度である縮小画像Ｉの１画素分に相当し、物理的な長さは入力画像の解像度に関わらずほぼ一定になる。定数ｄは、ランの長さが中間調ドットパターンの周期よりも十分大きくなる様に設定する。
【０１６３】
［６００１：合成手段］
第１の連続階調変換手段で連続階調に変換された画像Ｊと、第２の抽出手段で前景画像ＦＦとして抽出された画像と、第２の連続階調変換手段で連続階調に変換された画像Ｊ０ とを合成する処理である。
【０１６４】
これにより、補正画像Ｑが得られる。この補正画像Ｑは、実際には、画素［ｉ，ｊ］において、
【０１６５】
【数９】
と表現される。
【０１６６】
［作用、効果］
以上説明したように、パーソナルコンピュータ３０１は、例えばインストールされた画像処理プログラムに従い、上述した各種の処理を実行する。つまり、前景画像Ｆと背景画像Ｂとを区別して抽出する処理が縮小画像Ｉに対して行なわれ（２００１）、この処理によって前景画像Ｆとして抽出された画像について、さらに原画像Ｉ０ から前景画像ＦＦと背景画像ＢＦとを区別して抽出する処理が行なわれる（４００１）。そして、縮小画像Ｉから前景画像Ｆとして抽出された画像と原画像Ｉ０ から背景画像ＢＦとして抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される（３００１、５００１）。そして、連続階調に変換された画像と原画像Ｉ０ から前景画像ＦＦとして抽出された画像とが合成される。このようなことから、本実施の形態の発明は、次のような利点を備える。
【０１６７】
（１）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された背景画像Ｂであるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
【０１６８】
（２）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された画像であるため、原画像Ｉ０ には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側で操作する画像入力機器４０１、６０１で入力されてその画像入力機器４０１、６０１の特性に依存する補正情報を含む画像を、その画像入力機器４０１、６０１と特性が異なる画像の受け手側で操作する画像出力機器５０１で再現処理する場合、あるいはインターネット通信網４１を利用して外部環境から取得したような未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
【０１６９】
（３）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された画像であるため、原画像Ｉ０ には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側で操作する画像入力機器４０１、６０１で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で操作する画像出力機器５０１において、出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
【０１７０】
なお、本実施の形態では、原画像Ｉ０ としてデジタルカラー画像を用い、このデジタルカラー画像に対して処理を施す一例を示したが、モノクロのような１つのチャンネルからなるデジタル画像についても同様に本発明が適用可能である。
【０１７１】
また、本実施の形態では、第２の抽出手段４００１の機能、つまり、縮小画像Ｉから前景画像Ｆとして抽出された画像に対して、この画像に対応する原画像上で前景画像ＦＦと背景画像ＢＦとを区別して抽出する機能が実行され、第２の連続階調変換手段５００１の機能、つまり、原画像Ｉ０ から背景画像ＢＦとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊ０ を生成する機能が実行される。このような第２の抽出手段４００１の機能及び第２の連続階調変換手段５００１の機能は、縮小画像Ｉから前景画像ＦＦとして抽出された画像について、さらに原画像にＩ０ から前景画像ＦＦと背景画像ＢＦとを区別して抽出するという機能であり、これらの機能の実行は、より精密な前景画像Ｆ（ＦＦ）と背景画像Ｂ（ＢＦ）との区別に効果的である。しかしながら、前述した（１）、（２）及び（３）の効果は、必ずしも第２の抽出手段４００１の機能及び第２の連続階調変換手段５００１の機能が実施されなくても得られる。したがって、実施に当っては、デジタル画像である原画像Ｉ０ に対して、縮小画像生成手段１００１、第１の抽出手段２００１、第１の連続階調変換手段３００１、及び合成手段６００１の機能が実行されるような処理内容であっても良い。この場合、合成手段６００１では、第１の抽出手段２００１で前景画像Ｆとして抽出された画像と、第１の連続階調変換手段３００１で連続階調に変換された画像Ｊとを合成する。あるいは、合成する画像として、第１の抽出手段２００１で前景画像Ｆとして抽出された画像を用いるのではなく、原画像Ｉ０ 中の第１の抽出手段２００１で前景画像Ｆとして抽出された画像に対応する領域の画像を用いても良い。このような原画像Ｉ０ 中の対応画像は、前述したように、[ｉ／ｒ，ｊ／ｒ]∈Ｆであるような画素［ｉ，ｊ］の集合である。
【０１７２】
【発明の効果】
［画像処理装置（請求項１ないし１２）］請求項１記載の画像処理装置の発明は、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を前記原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を具備するので、次に示す効果を有する。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【０１８２】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を具備するので、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることができる。
【０１８３】
請求項３記載の発明は、請求項２記載の画像処理装置において、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにしたので、ウィンドウ内の色の平均値を精度良く求めることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８４】
請求項４記載の発明は、請求項２又は３記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を具備するので、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性があるのに対して、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像により近似させることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８５】
請求項５記載の発明は、請求項４記載の画像処理装置において、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定するので、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかを容易に判定することができる。
【０１８６】
請求項６記載の発明は、請求項４又は５記載の画像処理装置において、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定するので、連続階調変換処理を再度施すに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させ、それらの異なるウィンドウの平均値として規定される画素の連続性を維持することができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８７】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１８８】
請求項８記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１８９】
請求項９記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９０】
請求項１０記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９１】
請求項１１記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９２】
請求項１２記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９３】
［画像処理プログラム（請求項１３ないし１８）］請求項１３記載の画像処理プログラムの発明は、コンピュータに解釈され、このコンピュータに、デジタルカラー画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、
前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を実行させる次に示す効果を有する。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【０２００】
請求項１４記載の発明は、請求項１３記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を前記コンピュータに実行させるので、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることができる。
【０２０１】
請求項１５記載の発明は、請求項１４記載の画像処理プログラムにおいて、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにしたので、ウィンドウ内の色の平均値を精度良く求めることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０２】
請求項１６記載の発明は、請求項１４又は１５記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を前記コンピュータに実行させるので、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性があるのに対して、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像により近似させることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０３】
請求項１７記載の発明は、請求項１６記載の画像処理プログラムにおいて、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定するので、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかを容易に判定することができる。
【０２０４】
請求項１８記載の発明は、請求項１６又は１７記載の画像処理プログラムにおいて、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定するので、連続階調変換処理を再度施すに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させ、それらの異なるウィンドウの平均値として規定される画素の連続性を維持することができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０５】
［画像処理プログラムを記憶する記憶媒体（請求項１９）］請求項１９記載の発明は、請求項１３ないし１８の何れか一記載の画像処理プログラムを記憶する記憶媒体である。それらの各請求項に記載された発明と同一の効果を有する。
【図面の簡単な説明】
【図１】本実施の形態におけるシステム構築例を示す模式図である。
【図２】画像処理装置のモジュール構成図である。
【図３】画像処理プログラムによって実行される手段を模式的に示す機能ブロック図である。
【図４】図３の機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【図５】ウィンドウ内での局所的領域を示す模式図である。
【図６】ウィンドウ内での局所的領域にエッジが出現した様子を示す模式図である。
【図７】連続階調処理の流れを示すフローチャートである。
【図８】連続階調変換処理の様子を示す模式図である。
【図９】ランを拡張する処理の様子を示す模式図である。
【図１０】連続階調画像の修正処理の流れを示すフローチャートである。
【符号の説明】
１００１ 縮小画像生成手段
２００１ 第１の抽出手段
３００１ 第１の連続階調変換手段
４００１ 第２の抽出手段
５００１ 第２の連続階調変換手段
６００１ 合成手段、合成手段
Ｂ、ＢＦ 背景画像
Ｆ、ＦＦ 前景画像
ＦＦ 第２の抽出手段で前景画像として抽出された画像
Ｉ０ 原画像
Ｉ 縮小画像
Ｊ 第１の連続階調変換手段で連続階調に変換された画像
Ｊ０ 第２の連続階調変換手段で連続階調に変換された画像
【発明の属する技術分野】
本発明は、画像処理装置、この画像処理装置が備えるコンピュータに解釈実行される画像処理プログラム、及びこのプログラムを記憶する記憶媒体に係り、より詳細には、例えば印刷文書をスキャナ等の画像読取機器から入力して得られるデジタル画像をプリンタ等の画像出力機器から出力する際に、出力画像の粒状性やモアレ現象を改善する技術に関する。
【０００２】
【従来の技術】
例えば印刷文書をスキャナ等の画像読取機器から入力して得られるデジタル画像をディスプレイ上に表示したりプリンタ等の画像出力機器から出力する場合、デジタル画像に何の処理も施さなかったり、あるいは、施したとしてもスケーリングや回転等のような画像品質に関係しない画像処理だけを施した場合、モアレ現象が生じたり、粒状性が粗くなったりするというような再現画像の劣化が生じることがある。
【０００３】
これは、印刷文書の中間調領域が、ディザ等のスクリーニングや誤差拡散法等を適用して生成されたドットパターンによって構成されている場合、そのような画像処理と、プリンタ等の画像出力機器で行われている中間調処理等の画像処理との整合性がとれていないことを原因として発生する現象である。
【０００４】
このような画像劣化の問題を回避して画質を改善するためには、ドットパターンで表現された中間調領域を連続階調表現に変換すれば良い。このような画質改善のための処理は、従来からデジタル複合機等の画像機器に組み込まれている。但し、ここで注意しなければならないのは、文字、線画等のグラフィックスや重要なエッジ等をぼかしてはならないということである。
【０００５】
ここで、関連する従来技術としては、特開平６−６２２３０号公報、特開平１０−２０８０３８号公報、特開平１１−４１４６９号公報、及び特開２００１−２１１３２７公報等がある。
【０００６】
特開平６−６２２３０号公報及び特開平１０−２０８０３８号公報には、文字領域と絵柄領域を分離して、各画素の周囲の画像特徴に応じて画素ごとに異なる周波数特性をもつ線形フィルタ処理を施し、これによって中間調領域を連続階調表現に変換するという技術が記載されている。
【０００７】
また、特開平１１−４１４６９号公報及び特開２００１−２１１３２７公報には、ウェーブレット変換を利用した方法が考案されている。
【０００８】
【発明が解決しようとする課題】
しかし、近年のネットワーク環境の普及に伴い、画像読取機器を通して入力されたデジタル画像がネットワークを介して遠隔地に送信され、受信者は、未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信するという状況が出現している。このようなネットワーク環境では、従来にはなかった新たな技術的課題が発生する。
【０００９】
なお、前に紹介した特開平６−６２２３０号公報、特開平１０−２０８０３８号公報、特開平１１−４１４６９号公報、及び特開２００１−２１１３２７公報に記載された技術は、このようなネットワーク環境を考慮したものではない。
【００１０】
ネットワーク環境によって発生する技術的課題は、次の通りである。
【００１１】
（１）未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信し、この際に出力画像の粒状性やモアレ現象を改善するための機能を、パーソナルコンピュータにインストールされ、あるいはパーソナルコンピュータで解釈されるソフトウェアによって実現する場合でも、実用に耐え得る処理速度を達成すること。
【００１２】
ネットワーク環境下では、遠隔地で入力されてネットワークを介して送られてきた画像に対して、パーソナルコンピュータ上で画質向上処理を施し、これをファイルに保存したり、プリンタで出力したり、さらにネットワークを介して送信することがある。この場合、このような機能をパーソナルコンピュータにインストールされ、あるいはパーソナルコンピュータで解釈されるソフトウェアで実現すると、実用に耐える処理速度を達成することが困難である。例えば、前述した線形フィルタやウェーブレット変換をソフトウェアで実装し、Ａ４サイズのフルカラー文書画像に適用すると、解像度が上がるに従って、計算時間が実用に耐えられないものとなってしまう。
【００１３】
そこで、上記機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することが望まれる。
【００１４】
（２）画像の送り手側での画像処理機器（特に、スキャナ等の画像入力機器）と画像の受け手側での画像処理機器との特性の相違を吸収すること。
【００１５】
スタンドアロンの画像処理機器の場合、機器の特性に合わせて、画像処理アルゴリズムやパラメータを設計することが多い。しかしながら、ある特定の機種に対して最適な画像処理系が、特性が異なる機種に対して効果を発揮するとは限らない。ネットワーク環境下では、画像処理機器、特にスキャナ等の画像入力機器の特性が多様であり、さらに、遠隔地から画像が送信されてきたような場合には、特性が未知のことすらある。このため、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合には、再現する画像品質が著しく劣化し、出力画像の粒状性が低下したりモアレ現象が発生したりすることがある。
【００１６】
そこで、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、満足がいく画質が得られるようにすることが望まれる。
【００１７】
（３）画像の送り手側で行った中間調処理方式の内容（方式、性質）に依存することなく、画像の受け手側で良好な画像品質での画像再現を実現すること。
【００１８】
ドットパターンを生成する中間調処理の方式やそのパラメータ（ディザの閾値行列、誤差拡散のフィルタ係数、スクリーン角、網点周期等）が分かれば、情報処理機器における画像再現処理に際してそれに特化した方式を用いることができる。しかし、書籍、雑誌、新聞等、未知の工程で印刷された文書画像を対象とする場合、画像入力機器の高周波感度が良くないか解像度が低い場合には、中間調パターンの特徴を抽出することができない場合がある。
【００１９】
そこで、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することが望まれる。
【００２０】
本発明の目的は、未知の画像読取機器を通して入力された画像を例えばパーソナルコンピュータ上で編集・再利用・印刷・再送信し、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することである。
【００２１】
本発明の目的は、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、満足がいく画質が得られるようにすることである。
【００２２】
本発明の目的は、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することである。
【００２３】
【課題を解決するための手段】
上記課題を解決するために、請求項１ないし１２のそれぞれに記載された発明は、新規な画像処理装置を規定する。また、請求項１３ないし１８のそれぞれに記載された発明は、本発明の画像処理装置が備えるコンピュータに解釈実行される新規な画像処理プログラムを規定する。そして、請求項１９記載の発明は、本発明の画像処理プログラムを記憶する新規な記憶媒体を規定する。
【００２４】
［画像処理装置（請求項１ないし１２）］請求項１記載の画像処理装置の発明は、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を前記原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を具備する。
【００２５】
したがって、前景画像と背景画像とを区別して抽出する処理が縮小画像に対して行なわれ、縮小画像から背景画像として抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される。そして、連続階調に変換された画像と縮小画像から前景画像として抽出された画像に基づく画像とが合成される。このようなことから、本請求項の発明は、次のような利点を備える。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【００４２】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を具備する。
【００４３】
したがって、画像に対してウィンドウが設定され、このウィンドウ内の色の平均値が各ウィンドウ内の画素として置き換えられる。これにより、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることが可能となる。
【００４４】
請求項３記載の発明は、請求項１記載の画像処理装置において、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにした。
【００４５】
したがって、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められる。これにより、ウィンドウ内の色の平均値が精度良く求められる。
【００４６】
請求項４記載の発明は、請求項２又は３記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を具備する。
【００４７】
画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性がある。そこで、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像に近似させる。
【００４８】
請求項５記載の発明は、請求項４記載の画像処理装置において、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する。
【００４９】
このような判定手法を採用することで、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかが容易に判定される。
【００５０】
請求項６記載の発明は、請求項４又は５記載の画像処理装置において、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する。
【００５１】
これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【００５２】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５３】
ここで、第１の抽出手段及び第２の抽出手段における前景画像と背景画像との区別した抽出は、エッジの抽出によっても二値化によってもその組み合わせによっても可能である。請求項８ないし１２記載の発明は、そのような各種の組み合わせを規定する。
【００５４】
請求項８記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５５】
請求項９記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５６】
請求項１０記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５７】
請求項１１記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５８】
請求項１２記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する。
【００５９】
［画像処理プログラム（請求項１３ないし１８）］請求項１３記載の画像処理プログラムの発明は、コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を実行させる。
【００６０】
したがって、前景画像と背景画像とを区別して抽出する処理が縮小画像に対して行なわれ、縮小画像から背景画像として抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される。そして、連続階調に変換された画像と縮小画像から前景画像として抽出された画像に基づく画像とが合成される。このようなことから、本請求項の発明は、次のような利点を備える。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【００７３】
請求項１４記載の発明は、請求項１３記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を前記コンピュータに実行させる。
【００７４】
したがって、画像に対してウィンドウが設定され、このウィンドウ内の色の平均値が各ウィンドウ内の画素として置き換えられる。これにより、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることが可能となる。
【００７５】
請求項１５記載の発明は、請求項１４記載の画像処理プログラムにおいて、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにした。
【００７６】
したがって、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められる。これにより、ウィンドウ内の色の平均値が精度良く求められる。
【００７７】
請求項１６記載の発明は、請求項１４又は１５記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を前記コンピュータに実行させる。
【００７８】
画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性がある。そこで、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像に近似させる。
【００７９】
請求項１７記載の発明は、請求項１６記載の画像処理プログラムにおいて、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する。
【００８０】
このような判定手法を採用することで、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかが容易に判定される。
【００８１】
請求項１８記載の発明は、請求項１６又は１７記載の画像処理プログラムにおいて、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する。
【００８２】
これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【００８３】
［画像処理プログラムを記憶する記憶媒体（請求項１９）］請求項１９記載の発明は、請求項１３ないし１８の何れか一記載の画像処理プログラムを記憶する記憶媒体である。したがって、それらの各請求項に記載された発明と同一の作用効果を奏する。
【００８４】
【発明の実施の形態】
本発明の実施の形態を図１ないし図９に基づいて説明する。
【００８５】
本実施の形態は、本発明の画像処理装置を実施する画像処理装置であり、この画像処理装置は、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
【００８６】
図１は、本実施の形態におけるシステム構築例を示す模式図である。
【００８７】
本実施の形態のシステムでは、サーバコンピュータ１０１にＬＡＮ等のネットワーク２０１を介して画像処理装置を構成するパーソナルコンピュータ３０１が複数第接続されたサーバクライアントシステム１１を想定する。このサーバクライアントシステム１１は、スキャナやデジタルカメラ等の画像入力機器４０１及びプリンタ等の画像出力機器５０１をネットワーク２０１上でシェアし得る環境が整えられている。また、ネットワーク２０１上には、マルチファンクションペリフェラルと称されるＭＦＰ６０１が接続され、このＭＦＰ６０１が画像入力機器４０１や画像出力機器５０１として機能するように環境が構築されていても良い。
【００８８】
このようなサーバクライアントシステム１１は、例えばイントラネット２１を介して別のサーバクライアントシステム３１とのデータ通信可能に構築され、インターネット通信網４１を介して外部環境とデータ通信可能に構築されている。
【００８９】
図２は、本実施の形態における画像処理装置としてのパーソナルコンピュータ３０１のモジュール構成図である。
【００９０】
パーソナルコンピュータ３０１は、情報処理を行なうＣＰＵ３０２、情報を格納するＲＯＭ３０３及びＲＡＭ３０４等の一次記憶装置３０５、ＨＤＤ３０６（ハードディスクドライブ）等の二次記憶装置３０７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭ等のリムーバブルディスク装置３０８、外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース３０９、処理経過や結果等を操作者に表示する表示装置３１０、並びに操作者がパーソナルコンピュータ３０１に命令や情報等を入力するためのキーボード３１１、マウス等のポインティングディバイス３１２等から構成されており、これらの各部間で送受信されるデータをバスコントローラ３１３が調停して動作する。
【００９１】
このようなパーソナルコンピュータ３０１では、ユーザが電源を投入するとＣＰＵ３０２がＲＯＭ３０３内のローダーというプログラムを起動させ、ＨＤＤ３０６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ３０４に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００９２】
ここで、パーソナルコンピュータ３０１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ３０６に記憶している。この意味で、ＨＤＤ３０６は、画像処理プログラムを記憶する記憶媒体として機能する。
【００９３】
また、一般的には、パーソナルコンピュータ３０１のＨＤＤ３０６等の二次記憶装置３０７にインストールされる動作プログラムは、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ３０６等の二次記憶装置３０７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース３０９を介して外部から取り込まれ、ＨＤＤ３０６等の二次記憶装置３０７にインストールされても良い。
【００９４】
図３は、画像処理プログラムに従い画像処理装置であるパーソナルコンピュータ３０１よって実行される手段を模式的に示す機能ブロック図である。また、図４は、この機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【００９５】
パーソナルコンピュータ３０１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ３０２が各種の演算処理を実行して各部を集中的に制御する。この際、パーソナルコンピュータ３０１は、図３の機能ブロック図に示す各機能によって、図４のフローチャートに示す各種の手段を実行することになる。これらの手段を次に説明する。
【００９６】
１．処理の概要
本実施の形態では、多重解像度解析を利用する。Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ （ＭＲＣ） Ｉｍａｇｉｎｇ Ｍｏｄｅｌによると、画像は次の２つの要素から構成される。
◎前景（Ｆｏｒｅｇｒｏｕｎｄ）：テキスト、グラフィックス（特に線画）、重要なエッジ
◎背景（Ｂａｃｋｇｒｏｕｎｄ）：前景以外の領域（連続階調領域）
これらのうち、背景については、鋭いエッジがなく、例えば、１００ｄｐｉ程度の低解像度の画像に圧縮しても、人間の目には劣化が目立たない。また、ＢＴＣ（Ｂｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇ）では、画像をブロック分割し、各ブロックを２色で符号化するｌｏｓｓｙ圧縮方法を採用している。これに対して、前景に対しては、高周波数成分の保持のために高い解像度が必要とされる。そこで、画像を表現する場合には、前景と背景とを異なる観点から異なる方法で表現することが必要となる。
【００９７】
そこで、本実施の形態では、背景領域の処理は解像度を落とした画像で行っても十分であるとの認識に基づいて画像処理を行ない、これによって全体の処理時間の短縮等を図っている。
【００９８】
本実施の形態における画像処理は、図３の機能ブロック図及び図４のフローチャートに示すように、一例として、パーソナルコンピュータ３０１がネットワークインターフェース３０９を介して原画像Ｉ０ を受信していることが前提となっている（ステップＳ１０１）。この場合、原画像Ｉ０ は、デジタル化されたカラー画像である。このような前提の下、まず、原画像Ｉ０ から低解像度の縮小画像Ｉを生成する（ステップＳ１０２）。
【００９９】
次いで、低解像度処理（図３参照）として、生成した低解像度の縮小画像Ｉ上で、局所的特徴（エッジ、色信号の局所的統計量等など）に基づいて前景画像Ｆを抽出する（ステップＳ１０３）。前景画像Ｆ以外の画素が背景画像Ｂとなる。そして、背景画像Ｂを連続階調表現（後述する）に変換し、連続階調変換された背景画像Ｊとする（ステップＳ１０４）。
【０１００】
次いで、原解像度処理（図３参照）として、低解像度の縮小画像Ｉ中から前景として抽出された前景画像Ｆについて、受信したままの原画像Ｉ０ での処理を行なう。縮小画像Ｉ中から前景として抽出された前景画像Ｆ内で、局所的特徴（エッジ、色信号の局所的統計量等など）をもとに前景画像ＦＦを抽出し、それ以外の画素を背景画像ＢＦとする（ステップＳ１０５）。そして、その背景画像ＢＦを連続階調表現（後述する）に変換し、連続階調変換された背景画像Ｊ０ とする（ステップＳ１０６）。
【０１０１】
最後に、縮小画像Ｉから連続階調表現された背景画像Ｊ、前景画像ＦＦ、原画像Ｉ０ から連続階調表現された背景画像Ｊ０ を合成して、補正画像Ｑが得られる（ステップＳ１０７）。そこで、この補正画像Ｑを、例えば画像出力機器５０１、６０１から出力したり、あるいは、他の機器３０１、３１等に送信したりする（ステップＳ１０８）。
【０１０２】
ここで、背景画像Ｂ、ＢＦを連続階調表現に変換する処理の概要を説明する。
【０１０３】
受信した原画像Ｉ０ について、ドットパターンを生成した中間調処理の方式やパラメータがわかっていれば、適当なサポートサイズをもつ線形フィルタのセットを用意し、各画素に対しては、そこでの画像特徴に応じてその中から適当なフィルタを原画像Ｉ０ にかければよい。しかしながら、本実施の形態では、適当なサポートサイズが分からないことを想定していることから、以下に述べるような疎から密への多重スケール処理を用いて連続階調変換処理を行なう。
【０１０４】
まず、前景画像Ｆを抽出した後に残る領域の画像、すなわち背景画像Ｂ内に、Ｗ×Ｗの大きさ（ウィンドウサイズｓ）の局所的領域Ｒを設定する。ここでは、ウィンドウサイズｓがＷ×Ｗの大きさであることから、局所的領域Ｒは正方形であることになるが、局所的領域Ｒは、矩形であれば必ずしも正方形に限定されない。また、この局所的領域Ｒは、それが適切なサイズであれば、鋭いエッジ、文字、グラフィックスなどを持たない。したがって、ウィンドウサイズｓの大きさと局所的領域Ｒの位置とが適切であれば、局所的領域Ｒ内の画素をＲ内の平均色で置き換えても問題はないはずである。例えば、局所的領域Ｒが図５（ａ）に例示するように背景が単一色からなるような場合、連続階調変換を行った結果が図５（ｃ）に例示するようになり、適切な連続階調表現が得られる。
【０１０５】
これに対して、ウィンドウサイズｓの大きさが大きすぎたり、局所的領域Ｒの位置が不適切であったりする場合、局所的領域Ｒが不適切な状態となり、連続階調変換の結果も不適切となる。ウィンドウサイズｓの大きさが大きすぎたり局所的領域Ｒの位置が不適切であったりする場合に局所的領域Ｒが不適切な状態となる一例としては、図５（ｂ）や図６（ａ）に例示するように、背景に異なる複数の色が含まれてしまう状態が挙げられる。局所的領域Ｒが図５（ｂ）や図６（ａ）に例示する状態となっている場合に連続階調変換を行った結果は、図６（ｂ）に例示するようになり、画像に歪みが生じる。
【０１０６】
そこで、この問題の解決のためには、歪みが生じた部分を検出し、この部分に対してより小さなウィンドウサイズｓを有する局所的領域Ｒを設定し直し、この局所的領域Ｒに対して連続階調変換処理を再度行なう必要がある。
【０１０７】
ここで、歪みを生じた部分の検出手法について説明する。連続階調表現がなされた背景画像Ｊ、Ｊ０ に含まれるエッジは、原画像Ｉ０ のエッジの部分集合になるはずである。すなわち、妥当な処理が行われている限り、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中に原画像Ｉ０ に存在しないエッジが存在することは有り得ない。これを画素毎に観察すると、連続階調表現がなされた背景画像Ｊ、Ｊ０ でのエッジ強度が原画像Ｉ０ でのエッジ強度よりも強いことはありえないということになる。これに対して、例えば図６（ｃ）に例示するように、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中、原画像Ｉ０ にないエッジがあったとすると、これは、連続階調変換処理においてウィンドウサイズｓの大きさが大きすぎたり局所的領域Ｒの位置が不適切であったりして生じる副作用であると考えられる。つまり、連続階調表現がなされた背景画像Ｊ、Ｊ０ 中、原画像Ｉ０ にないエッジが存在するか否かを判定することにより、歪みを生じた部分を検出することが可能となる。
【０１０８】
そこで、こうして検出された歪みが生じた部分に対してより小さなウィンドウサイズｓを有する局所的領域Ｒを設定し直し、この局所的領域Ｒに対して連続階調変換処理を再度行なう。この際、画素毎に適切な処理スケールを適宜決定できることが望ましいが、ボトムアップ的な画像解析によって自動的に最適な処理スケールを決めることは難しい。そこで、エッジ情報をもとにして、作った画像を原画像と比較しながら、疎から密への多重スケール処理により、最適な処理スケールを決めて行くことになる。
【０１０９】
もっとも、実際には、背景画像Ｂ、ＢＦを一定のウィンドウサイズｓを有する矩形状の局所的領域Ｒで覆い尽くすことはできない。そこで、実際のアルゴリズムでは、後述するように、縦横のランを用いて連続階調変換を行なう。
【０１１０】
２．処理の詳細
【０１１１】
［１００１：縮小画像生成手段］
デジタルカラー画像である原画像Ｉ０ に対して、解像度が原画像Ｉ０ よりも低い縮小画像Ｉを生成する処理である。
【０１１２】
ここでは、単純に、入力画像を重なりのないブロックに分割し、ブロック内での信号の平均値を低解像度画像での対応する画素の信号に設定し、これによって縮小画像Ｉを生成する。ブロックの大きさ、すなわち、縮小率をｒとすると、
【０１１３】
【数１】
【０１１４】
［２００１：第１の抽出手段］
縮小画像Ｉに対して、前景画像Ｆと背景画像Ｂとを区別して抽出する処理である。
【０１１５】
この処理に先立って、ノイズ除去のため、低解像度の縮小画像Ｉを例えば線形フィルタで平滑化する。この際、初期状態として、すべての画素が前景要素として設定されていないとすると、
【０１１６】
【数２】
【０１１７】
そこで、平滑化された低解像度の縮小画像Ｉから、前景要素である前景画像Ｆを抽出する。この抽出処理には、エッジ強度の検出処理及びカラー信号の局所統計量の処理を用いる。以下、この二つの処理について説明する。
【０１１８】
まず、エッジ強度計算と前景抽出とについて説明する。低解像度の縮小画像Ｉに対して、エッジ強度を計算する（Ｅ０ ）。画素[ｉ，ｊ]でのエッジ強度は、３つのチャンネル（ＲＧＢ）に対して別個に計算されたエッジ強度の最大値である。つまり、
【０１１９】
【数３】
【数４】
【０１２０】
次いで、局所統計量計算と前景抽出とについて説明する。この処理では、エッジ強度計算によるエッジ特徴の抽出処理によっては前景として抽出されなかった画素に対して、カラー成分の局所適応的二値化を行なうことにより、残りの前景要素の検出が行なわれる。例えば、各画素の周りに固定サイズのウィンドウを設定する。ＲＧＢチャンネルごとにウィンドウ内の画素の信号値の平均値μと標準偏差σとを計算して、ａとｂとをパラメータとした閾値μ（ａ＋ｂσ）と信号値との比較を行ない、信号値が閾値よりも低いようなチャンネルが１つでもあれば、その画素［ｉ，ｊ］を前景要素に設定する。つまり、
【０１２１】
【数５】
【０１２２】
こうして、エッジ強度の検出処理とカラー信号の局所統計量の処理という二種類の処理によって前景要素である前景画像Ｆが抽出される。
【０１２３】
ここで、前景画像Ｆと背景画像Ｂとの区別した抽出は、エッジの抽出とカラー成分の二値化による文字や線画の抽出との組み合わせが可能である。例えば、縮小画像Ｉに対して、エッジの抽出とカラー成分の二値化による文字や線画の抽出との両方を行なっても、エッジの抽出だけを行なっても、カラー成分の二値化による文字や線画の抽出だけを行っても良い。但し、エッジ抽出だけでは、細い線のような画像を抽出することができない場合があるため、カラー成分の二値化と併用することが好ましい。また、エッジ抽出とカラー成分の二値化は、いずれの順序で行なっても良い。なお、カラー成分の二値化は、上述した局所対応的二値化に限定されず、固定閾値を用いた二値化であっても良い。
【０１２４】
［３００１：第１の連続階調変換手段］
縮小画像Ｉから背景画像Ｂとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊを生成する処理である。この処理は、疎から密への多重スケール処理として概略説明した処理であり、具体的には、初期連続階調画像の生成処理と階調画像の修正処理とから構成されている。そこで、これらの二つの処理、つまり、初期連続階調画像の生成処理と階調画像の修正処理とを順に説明する。
【０１２５】
まず、初期連続階調画像の生成処理の概略について説明する。
【０１２６】
図７は、初期連続階調画像の生成処理の流れを示すフローチャートである。このフローチャートは、初期連続階調画像を生成することが前提となっている。ここでは、初期連続階調画像として、縮小画像Ｉと同じサイズの画像であって、前景画素（前景画像Ｆの要素）では値ＯＮ、それ以外（背景画像Ｂの要素）では値ＯＦＦを持つような二値画像Ｐを構成する。ここに、図７のフローチャート中での記号の意味は、
入力情報として、
Ｉ：縮小画像
Ｐ：二値（前景／背景）画像
出力情報として、
Ｊ：連続階調処理後の背景画像
パラメータとして、
ｓ：ウィンドウサイズ
ｗ：画像の幅
ｈ：画像の高さ
である。
【０１２７】
初期連続階調画像の生成処理では、背景画像Ｂとして抽出された画像に対して、予め決められた大きさのウィンドウを設定するウィンドウ設定手段（後述する図１０のステップＳ３０１参照）と、各ウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段とを含んでいる。このような連続階調変換処理を実施することにより、原画像Ｉ０ に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を向上させることが可能となる。
【０１２８】
また、変換手段では、ウィンドウ内の第１の方向、例えば横方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（後述する図１０のステップＳ３０２参照）、続いて、ウィンドウ内の第１の方向と直交する第２の方向、例えば縦方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（後述する図１０のステップＳ３０３参照）、ウィンドウ内の色の平均値を求めるようにしている。これにより、例えば縦横方向のラインを細分化するラン毎の色の平均値に基づいてウィンドウ内の色の平均値が求められるため、ウィンドウ内の色の平均値が精度良く求められる。
【０１２９】
ここで、より具体的な処理内容について説明する。図８（ａ）に示すように、横方向の各ラインに対して、長さが最大ｗｓｚ（例えば、１００ｄｐｉで４画素）であり、その中に前景要素の画素（ＰがＯＮである画素）を含まないようなランを逐次構成する（ステップＳ２０１〜２０８、ステップＳ２１０〜２１２）。
【０１３０】
そして、各ランについて、ランを構成する画素の平均色を計算し、計算後の平均色をそのランを構成する各画素の色に設定する（ステップＳ２０９）。こうして、横方向のランを用いた連続階調変換処理をした画像Ｃ´が得られる。
【０１３１】
その後、図８（ｂ）に示すように、縦方向のランを構成し、生成された画像Ｃ´に対して、上記と同様な連続階調変換処理を施す（ステップＳ２５１〜２６１）。
【０１３２】
このように、連続階調変換処理では、横方向で左から右、縦方向で上から下に、指定された長さになるか、前景画素に出会うまで、ランを順次構成して行く。ランが前景画素に出会ったときには、指定された長さより短くなることがあるので、そのラン上で推定された背景色が暗くなることがある。この問題を解決するために、ランが前景画素に出会って、ランの長さが指定の長さまで成長しなかったときには、図９に示すように、ランの始点から逆戻りして、ランを拡張する処理を行なう。すなわち、ランが前景画素に出会って、ランの長さがｗｓｚ未満のときに、ランの始点から逆戻りして、ランを拡張する。
【０１３３】
このようにして、横方向と縦方向のランに連続階調変換処理を施すことにより、初期連続階調画像Ｊが生成される。
【０１３４】
次いで、連続階調画像の修正処理の概略を図１０にフローチャートに基づいて説明する。図１０は、連続階調画像の修正処理の流れを示すフローチャートである。
【０１３５】
前述したように、初期連続階調画像の生成処理では、背景画像Ｂとして抽出された画像に対して、予め決められた大きさのウィンドウを設定し（ステップＳ３０１）と、各ウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する。この際、各ウィンドウの色の平均値は、前述したように、ウィンドウ内の第１の方向、例えば横方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（ステップＳ３０２）、続いて、ウィンドウ内の第１の方向と直交する第２の方向、例えば縦方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め（ステップＳ３０３）、これによってウィンドウ内の色の平均値を求めるようにしている。
【０１３６】
ところが、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジが連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に発生する可能性がある。
【０１３７】
そこで、本実施の形態の連続階調変換処理は、背景画像Ｂとして抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像（初期連続階調画像Ｊ）からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の原画像Ｉ０ のエッジと比較し、連続階調変換処理を施す前の原画像Ｉ０ に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の原画像Ｉ０ に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を含む。
【０１３８】
つまり、図１０に示すフローチャート中、ウィンドウ内の第１の方向と直交する第２の方向のランについて色の平均値を求めたら（ステップＳ３０３）、連続階調変換処理を施した画像（初期連続階調画像Ｊ）からエッジを検出（ステップＳ３０４）、検出したエッジを、連続階調変換処理を施す前の原画像Ｉ０ のエッジと比較する（ステップＳ３０５）。これにより、エッジ残差画像を生成し（ステップＳ３０６）、これを二値化し（ステップＳ３０７）、二値化されたエッジ残差画像に基づいて擬似エッジ、つまり連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジであるかどうかを判定する（ステップＳ３０８）。そして、擬似エッジが存在すると判定されなければ（ステップＳ３０８のＮ）処理を終了し、擬似エッジが存在すると判定されれば（ステップＳ３０８のＹ）、擬似エッジの周囲について前回よりも小さなウィンドウを設定し（ステップＳ３０９）、そのウィンドウサイズが予め決められたウィンドウサイズよりも小さくなるまで（ステップＳ３１０のＹ）、ウィンドウ中の第１の方向及び第２の方向について平均色を算出する処理（ステップＳ３０２、３０３）から続くステップＳ３０２〜３０９の処理を繰り返す。
【０１３９】
これにより、連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に、連続階調変換処理を施す前の原画像Ｉ０ に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像（修正後の画像）を、連続階調変換処理を施す前の原画像Ｉ０ に近似させることが可能となる。
【０１４０】
ここで、比較判定手段は、各画素について、計算されたエッジ強度から連続階調変換処理を施す前の原画像Ｉ０ のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の原画像Ｉ０ に存在しないエッジであると判定する。このような判定手法を採用することで、連続階調変換処理を施す前の原画像Ｉ０ には存在しなかったエッジが連続階調変換処理を施した画像（初期連続階調画像Ｊ）中に存在しているかどうかが容易に判定される。
【０１４１】
さらに、再変換手段によって連続階調変換処理を施す画像のウィンドウは、最初に設定されていたウィンドウの大きさよりも小さく設定する。これにより、連続階調変換処理が再度施されるに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させることが可能となり、それらの異なるウィンドウの平均値として規定される画素の連続性が維持され、良好な画像品質での画像再現が可能となる。
【０１４２】
ここで、初期連続階調画像Ｊを修正する、より具体的な処理内容について説明する。まず、概略として、
（ａ）各画素に対して、連続階調画像Ｊのエッジ強度から原画像Ｉ０ のエッジ強度Ｅ０ を引き、これによってエッジ残差画像を生成する。大半の画素では、残差が０以下の値になる。そして、エッジ残差画像を二値化処理し、疑似エッジ画像Ｅ１ を生成する。残差が閾値以上の画素をＯＮ、それ以外をＯＦＦとする。ここで、ウィンドウの大きさを前回設定されていた大きさよりも小さく設定する。
【０１４３】
（ｂ）そして、設定したウィンドウ内のランの長さｗｓｚの値を半分にする。疑似エッジ画像Ｅ１ でＯＮ画素の周囲に対して新しいｗｓｚの値を用いて連続階調変換処理を実行し、連続階調画像Ｃを生成する。なお、ランの長さｗｓｚの値を半分にすることを例示したが、ここではランの長さｗｓｚを短くすれば良く、必ずしも半分の長さにすることに限定されない。
【０１４４】
（ｃ）背景色画像Ｊにおいて、疑似エッジ画像Ｅ１ でＯＮ画素の近傍の例えば（２・ｗｓｚ−１）×（２・ｗｓｚ−１）個の画素の色を、新しい連続階調画像Ｃでの色に置き換える。
【０１４５】
（ｄ）ｗｓｚが予め決められた最小サイズより小さくなるまで、上記（ａ）〜（ｃ）の処理を、再帰的に繰り返す。
【０１４６】
次に、これらの（ａ）〜（ｄ）について詳しく述べる。
【０１４７】
連続階調画像のエッジ検出のために、連続階調画像Ｊから上記と同様に、次式によってエッジ強度を計算する（Ｅ１ ）。
【０１４８】
【数６】
擬似エッジ検出のために、低解像度の縮小画像Ｉには存在せずに連続階調画像Ｊだけに存在する偽のエッジを次式により求める。
【０１５０】
【数７】
背景色の修正のために、ウィンドウサイズ（ｗｓｚ）を小さく（半分に）する。この新しい小さなウィンドウサイズ（ｗｓｚ）で連続階調変換する（Ｃ）。そして、連続階調画像Ｊにおいて、擬似エッジの周囲を、次式のように今変換した色Ｃで置き換える。
【０１５２】
【数８】
その後、修正処理の反復のために、ウィンドウサイズ（ｗｓｚ）が指定された最小サイズより大きければ、連続階調画像修正の一連の処理を繰り返す。そうでなければ、ここで連続階調画像修正は終了する。
【０１５４】
［４００１：第２の抽出手段］
縮小画像Ｉから前景画像Ｆとして抽出された画像に対して、この画像に対応する原画像上で前景画像ＦＦと背景画像ＢＦとを区別して抽出する処理である。
【０１５５】
つまり、低解像度の縮小画像Ｉから前景として抽出された前景画像Ｆに対して、原解像度で精細な処理を行なう。正確に言えば、前景画像Ｆに対応する原画像Ｉ０ 上での領域は、[ｉ／ｒ，ｊ／ｒ]∈Ｆであるような画素［ｉ，ｊ］の集合である。そこで、この前景画像Ｆ内において、原画像Ｉ０ に対して前述した手法と同様にして前景抽出を行なう。この結果、前景として分類された領域である前景画像をＦＦ、その残りの領域である背景画像をＢＦ（＝Ｆ−ＦＦ）とする。
【０１５６】
ここで、前景抽出に関しては、第１の抽出手段２００１と同様に、エッジの抽出とカラー成分の二値化による文字や線画の抽出との組み合わせが可能である。例えば、縮小画像Ｉに対して、エッジの抽出とカラー成分の二値化による文字や線画の抽出との両方を行なっても、エッジの抽出だけを行なっても、カラー成分の二値化による文字や線画の抽出だけを行っても良い。
【０１５７】
そして、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出と、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出とに関して、エッジの抽出とカラー成分の二値化による文字や線画の抽出とを様々に組み合わせることが可能である。
【０１５８】
例えば、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方で行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１５９】
別の例として、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をエッジの抽出のみで行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１６０】
さらに別の例として、第１の抽出手段２００１における前景画像Ｆと背景画像Ｂとの区別した抽出をカラー成分の二値化による文字や線画の抽出のみで行ない、第２の抽出手段４００１における前景画像ＦＦと背景画像ＢＦとの区別した抽出をエッジの抽出とカラー成分の二値化による文字や線画の抽出との両方、エッジの抽出のみ、又はカラー成分の二値化による文字や線画の抽出で行なうという三種類の組み合わせが可能である。
【０１６１】
［５００１：第２の連続階調変換手段］
原画像Ｉ０ から背景画像ＢＦとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊ０ を生成する処理である。
【０１６２】
つまり、原画像Ｉ０ から抽出した背景画像ＢＦ内において、原画像Ｉ０ に対して、前述した手法と同様の手法で連続階調変換処理を行ない、連続階調画像Ｊ０ を計算する。ここで、ランの初期長は、ｄ・ｒ（ｄは定数）と設定する。ｒは、低解像度である縮小画像Ｉの１画素分に相当し、物理的な長さは入力画像の解像度に関わらずほぼ一定になる。定数ｄは、ランの長さが中間調ドットパターンの周期よりも十分大きくなる様に設定する。
【０１６３】
［６００１：合成手段］
第１の連続階調変換手段で連続階調に変換された画像Ｊと、第２の抽出手段で前景画像ＦＦとして抽出された画像と、第２の連続階調変換手段で連続階調に変換された画像Ｊ０ とを合成する処理である。
【０１６４】
これにより、補正画像Ｑが得られる。この補正画像Ｑは、実際には、画素［ｉ，ｊ］において、
【０１６５】
【数９】
【０１６６】
［作用、効果］
以上説明したように、パーソナルコンピュータ３０１は、例えばインストールされた画像処理プログラムに従い、上述した各種の処理を実行する。つまり、前景画像Ｆと背景画像Ｂとを区別して抽出する処理が縮小画像Ｉに対して行なわれ（２００１）、この処理によって前景画像Ｆとして抽出された画像について、さらに原画像Ｉ０ から前景画像ＦＦと背景画像ＢＦとを区別して抽出する処理が行なわれる（４００１）。そして、縮小画像Ｉから前景画像Ｆとして抽出された画像と原画像Ｉ０ から背景画像ＢＦとして抽出された画像とに対して、その中間調ドットパターンを連続階調に変換する処理が実行される（３００１、５００１）。そして、連続階調に変換された画像と原画像Ｉ０ から前景画像ＦＦとして抽出された画像とが合成される。このようなことから、本実施の形態の発明は、次のような利点を備える。
【０１６７】
（１）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された背景画像Ｂであるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
【０１６８】
（２）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された画像であるため、原画像Ｉ０ には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側で操作する画像入力機器４０１、６０１で入力されてその画像入力機器４０１、６０１の特性に依存する補正情報を含む画像を、その画像入力機器４０１、６０１と特性が異なる画像の受け手側で操作する画像出力機器５０１で再現処理する場合、あるいはインターネット通信網４１を利用して外部環境から取得したような未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
【０１６９】
（３）中間調ドットパターンが連続階調に変換される画像合成後の背景画像の大部分は、縮小画像Ｉから抽出された画像であるため、原画像Ｉ０ には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側で操作する画像入力機器４０１、６０１で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で操作する画像出力機器５０１において、出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
【０１７０】
なお、本実施の形態では、原画像Ｉ０ としてデジタルカラー画像を用い、このデジタルカラー画像に対して処理を施す一例を示したが、モノクロのような１つのチャンネルからなるデジタル画像についても同様に本発明が適用可能である。
【０１７１】
また、本実施の形態では、第２の抽出手段４００１の機能、つまり、縮小画像Ｉから前景画像Ｆとして抽出された画像に対して、この画像に対応する原画像上で前景画像ＦＦと背景画像ＢＦとを区別して抽出する機能が実行され、第２の連続階調変換手段５００１の機能、つまり、原画像Ｉ０ から背景画像ＢＦとして抽出された画像の中間調ドットパターンを連続階調に変換し、連続階調処理された背景画像Ｊ０ を生成する機能が実行される。このような第２の抽出手段４００１の機能及び第２の連続階調変換手段５００１の機能は、縮小画像Ｉから前景画像ＦＦとして抽出された画像について、さらに原画像にＩ０ から前景画像ＦＦと背景画像ＢＦとを区別して抽出するという機能であり、これらの機能の実行は、より精密な前景画像Ｆ（ＦＦ）と背景画像Ｂ（ＢＦ）との区別に効果的である。しかしながら、前述した（１）、（２）及び（３）の効果は、必ずしも第２の抽出手段４００１の機能及び第２の連続階調変換手段５００１の機能が実施されなくても得られる。したがって、実施に当っては、デジタル画像である原画像Ｉ０ に対して、縮小画像生成手段１００１、第１の抽出手段２００１、第１の連続階調変換手段３００１、及び合成手段６００１の機能が実行されるような処理内容であっても良い。この場合、合成手段６００１では、第１の抽出手段２００１で前景画像Ｆとして抽出された画像と、第１の連続階調変換手段３００１で連続階調に変換された画像Ｊとを合成する。あるいは、合成する画像として、第１の抽出手段２００１で前景画像Ｆとして抽出された画像を用いるのではなく、原画像Ｉ０ 中の第１の抽出手段２００１で前景画像Ｆとして抽出された画像に対応する領域の画像を用いても良い。このような原画像Ｉ０ 中の対応画像は、前述したように、[ｉ／ｒ，ｊ／ｒ]∈Ｆであるような画素［ｉ，ｊ］の集合である。
【０１７２】
【発明の効果】
［画像処理装置（請求項１ないし１２）］請求項１記載の画像処理装置の発明は、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を前記原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を具備するので、次に示す効果を有する。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【０１８２】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を具備するので、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることができる。
【０１８３】
請求項３記載の発明は、請求項２記載の画像処理装置において、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにしたので、ウィンドウ内の色の平均値を精度良く求めることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８４】
請求項４記載の発明は、請求項２又は３記載の画像処理装置において、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を具備するので、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性があるのに対して、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像により近似させることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８５】
請求項５記載の発明は、請求項４記載の画像処理装置において、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定するので、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかを容易に判定することができる。
【０１８６】
請求項６記載の発明は、請求項４又は５記載の画像処理装置において、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定するので、連続階調変換処理を再度施すに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させ、それらの異なるウィンドウの平均値として規定される画素の連続性を維持することができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０１８７】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１８８】
請求項８記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１８９】
請求項９記載の発明は、請求項１ないし６のいずれか一記載の画像処理装置において、前記第１の抽出手段は、前記縮小画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９０】
請求項１０記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９１】
請求項１１記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９２】
請求項１２記載の発明は、請求項７、８又は９記載の画像処理装置において、前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出するので、前景画像と背景画像とを確実に区別して抽出することができ、本発明の画像処理装置の効果を確実なものとすることができる。
【０１９３】
［画像処理プログラム（請求項１３ないし１８）］請求項１３記載の画像処理プログラムの発明は、コンピュータに解釈され、このコンピュータに、デジタルカラー画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、
前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、前記第１の連続階調変換手段で連続階調に変換された画像を原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を実行させる次に示す効果を有する。
（１）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるので、出力画像の粒状性やモアレ現象を改善するための機能をソフトウェアで実装する場合にも、実用に耐え得る処理速度を達成することができる。
（２）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力されてその画像入力機器の特性に依存する補正情報を含む画像を、その画像入力機器と特性が異なる画像の受け手側の画像処理機器で再現処理する場合、あるいは未知の補正情報を含む画像を再現処理する場合でも、出力画像の粒状性やモアレ現象を改善する画質向上処理を簡単に適応することができ、よって、満足がいく画質を得ることができる。
（３）中間調ドットパターンが連続階調に変換される背景画像の大部分は、縮小画像から抽出された画像であるため、原画像には含まれていた各種の画像処理の痕跡が目立たなくなる。これにより、画像の送り手側における画像入力機器で入力された画像の中間調処理方式が如何なる処理方式を採用していようとも、これに依存することなく、画像の受け手側で出力画像の粒状性やモアレ現象を改善した良好な画像品質での画像再現を実現することができる。
（４）縮小画像から前景画像として抽出された画像については、さらに原画像から前景画像と背景画像とを区別して抽出する処理が行なわれ、より精密な前景画像と背景画像との区別がなされる。
【０２００】
請求項１４記載の発明は、請求項１３記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を前記コンピュータに実行させるので、原画像に含まれている画像改善情報が如何なるものであるとしても、出力画像の粒状性やモアレ現象を改善する画質向上処理の結果を飛躍的に向上させることができる。
【０２０１】
請求項１５記載の発明は、請求項１４記載の画像処理プログラムにおいて、前記変換手段は、前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、これによって前記ウィンドウ内の色の平均値を求めるようにしたので、ウィンドウ内の色の平均値を精度良く求めることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０２】
請求項１６記載の発明は、請求項１４又は１５記載の画像処理プログラムにおいて、前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を前記コンピュータに実行させるので、画像に対してウィンドウを設定し、このウィンドウ内の色の平均値を各ウィンドウ内の画素として置き換える処理では、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値が大きくかけ離れ、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に発生する可能性があるのに対して、本請求項の発明では、連続階調変換処理を施した画像中に、連続階調変換処理を施す前の画像に存在しなかったエッジを発見した場合には、その検出したエッジの周囲について連続階調変換処理を再度施すことで、連続階調変換処理を施した画像を、連続階調変換処理を施す前の画像により近似させることができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０３】
請求項１７記載の発明は、請求項１６記載の画像処理プログラムにおいて、前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定するので、連続階調変換処理を施す前の画像には存在しなかったエッジが連続階調変換処理を施した画像中に存在しているかどうかを容易に判定することができる。
【０２０４】
請求項１８記載の発明は、請求項１６又は１７記載の画像処理プログラムにおいて、前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定するので、連続階調変換処理を再度施すに際して、あるウィンドウとこれに隣接する別のウィンドウとの色の平均値を近接させ、それらの異なるウィンドウの平均値として規定される画素の連続性を維持することができ、したがって、良好な画像品質での画像再現を行なうことができる。
【０２０５】
［画像処理プログラムを記憶する記憶媒体（請求項１９）］請求項１９記載の発明は、請求項１３ないし１８の何れか一記載の画像処理プログラムを記憶する記憶媒体である。それらの各請求項に記載された発明と同一の効果を有する。
【図面の簡単な説明】
【図１】本実施の形態におけるシステム構築例を示す模式図である。
【図２】画像処理装置のモジュール構成図である。
【図３】画像処理プログラムによって実行される手段を模式的に示す機能ブロック図である。
【図４】図３の機能ブロック図に含まれる各種の手段の実行手順を示すフローチャートである。
【図５】ウィンドウ内での局所的領域を示す模式図である。
【図６】ウィンドウ内での局所的領域にエッジが出現した様子を示す模式図である。
【図７】連続階調処理の流れを示すフローチャートである。
【図８】連続階調変換処理の様子を示す模式図である。
【図９】ランを拡張する処理の様子を示す模式図である。
【図１０】連続階調画像の修正処理の流れを示すフローチャートである。
【符号の説明】
１００１ 縮小画像生成手段
２００１ 第１の抽出手段
３００１ 第１の連続階調変換手段
４００１ 第２の抽出手段
５００１ 第２の連続階調変換手段
６００１ 合成手段、合成手段
Ｂ、ＢＦ 背景画像
Ｆ、ＦＦ 前景画像
ＦＦ 第２の抽出手段で前景画像として抽出された画像
Ｉ０ 原画像
Ｉ 縮小画像
Ｊ 第１の連続階調変換手段で連続階調に変換された画像
Ｊ０ 第２の連続階調変換手段で連続階調に変換された画像
Claims (19)
- デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、
前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、
前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、
前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、
前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、
前記第１の連続階調変換手段で連続階調に変換された画像を前記原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を具備する画像処理装置。 - 前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、
前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、
前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を具備する請求項１記載の画像処理装置。 - 前記変換手段は、
前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、
これによって前記ウィンドウ内の色の平均値を求めるようにした請求項２記載の画像処理装置。 - 前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、
前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、
検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、
比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を具備する請求項２又は３記載の画像処理装置。 - 前記比較判定手段は、各画素について、前記エッジ検出手段で計算されたエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する請求項４記載の画像処理装置。
- 前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する請求項４又は５記載の画像処理装置。
- 前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項１ないし６のいずれか一記載の画像処理装置。
- 前記第１の抽出手段は、前記縮小画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項１ないし６のいずれか一記載の画像処理装置。
- 前記第１の抽出手段は、前記縮小画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項１ないし６のいずれか一記載の画像処理装置。
- 前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出と二値化とを行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項７、８又は９記載の画像処理装置。
- 前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、エッジの抽出を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項７、８又は９記載の画像処理装置。
- 前記第２の抽出手段は、前記縮小画像から前記前景画像として抽出された画像に対して、二値化を行ない、これによって前記前景画像と前記背景画像とを区別して抽出する請求項７、８又は９記載の画像処理装置。
- コンピュータに解釈され、このコンピュータに、デジタル画像である原画像に対して、解像度が原画像よりも低い縮小画像を生成する縮小画像生成手段と、
前記縮小画像に対して、前景画像と背景画像とを区別して抽出する第１の抽出手段と、
前記第１の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第１の連続階調変換手段と、
前記第１の抽出手段で前記前景画像として抽出された画像に対して、当該画像に対応する原画像上での領域で前景画像と背景画像とを区別して抽出する第２の抽出手段と、
前記第２の抽出手段で前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する第２の連続階調変換手段と、
前記第１の連続階調変換手段で連続階調に変換された画像を原画像の解像度に拡大した画像と、前記第２の抽出手段で前記前景画像として抽出された画像と、前記第２の連続階調変換手段で連続階調に変換された画像とを合成する合成手段と、を実行させる画像処理プログラム。 - 前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、
前記背景画像として抽出された画像に対して予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、
前記各ウィンドウ内の色の平均値を前記各ウィンドウ内の画素として置き換え、これによって中間調ドットパターンを連続階調に変換する変換手段と、を前記コンピュータに実行させる請求項１３記載の画像処理プログラム。 - 前記変換手段は、
前記ウィンドウ内の第１の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、
前記ウィンドウ内の前記第１の方向と直交する第２の方向に沿うラインを細分化するランを設定して各ランについて色の平均値を求め、
これによって前記ウィンドウ内の色の平均値を求めるようにした請求項１４記載の画像処理プログラム。 - 前記第１の連続階調変換手段と前記第２の連続階調変換手段との何れか一方又は両方は、
前記背景画像として抽出された画像の中間調ドットパターンを連続階調に変換する連続階調変換処理を施した画像からエッジを検出するエッジ検出手段と、
検出したエッジを、連続階調変換処理を施す前の画像のエッジと比較し、連続階調変換処理を施す前の画像に存在するエッジなのか存在しないエッジなのかを判定する比較判定手段と、
比較判定の結果、連続階調変換処理を施す前の画像に存在しないエッジの検出を判定した場合、その検出したエッジの周囲について連続階調変換処理を再度施す再変換手段と、を前記コンピュータに実行させる請求項１４又は１５記載の画像処理プログラム。 - 前記比較判定手段は、各画素について、前記エッジ検出手段で計算され たエッジ強度から連続階調変換処理を施す前の画像のエッジ強度を差し引き、その値が予め決められた閾値以上であれば連続階調変換処理を施す前の画像に存在しないエッジであると判定する請求項１６記載の画像処理プログラム。
- 前記再変換手段は、前記ウィンドウ設定手段で設定する前記ウィンドウの大きさを、前回の連続階調変換処理のときよりも小さく設定する請求項１６又は１７記載の画像処理プログラム。
- 請求項１３ないし１８の何れか一記載の画像処理プログラムを記憶し、機械読み取り可能である記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002081361A JP4169522B2 (ja) | 2002-03-22 | 2002-03-22 | 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 |
| US10/389,974 US7324247B2 (en) | 2002-03-22 | 2003-03-18 | Image processing apparatus, image processing program and storage medium storing the program |
| EP03251740A EP1349371B1 (en) | 2002-03-22 | 2003-03-20 | Image processing apparatus, image processing program and storage medium storing the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002081361A JP4169522B2 (ja) | 2002-03-22 | 2002-03-22 | 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003281526A JP2003281526A (ja) | 2003-10-03 |
| JP4169522B2 true JP4169522B2 (ja) | 2008-10-22 |
Family
ID=27800391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002081361A Expired - Fee Related JP4169522B2 (ja) | 2002-03-22 | 2002-03-22 | 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7324247B2 (ja) |
| EP (1) | EP1349371B1 (ja) |
| JP (1) | JP4169522B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8268356B2 (en) | 2007-11-16 | 2012-09-18 | Asahi Kasei Chemicals Corporation | Aqueous film coating solution, film coated granule and tablet using the same |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4118749B2 (ja) * | 2002-09-05 | 2008-07-16 | 株式会社リコー | 画像処理装置、画像処理プログラムおよび記憶媒体 |
| US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
| JP3870176B2 (ja) * | 2003-07-29 | 2007-01-17 | キヤノン株式会社 | 情報処理方法及び装置 |
| JP2005064704A (ja) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | 画像処理装置、プログラム及び記憶媒体 |
| JP4259949B2 (ja) | 2003-08-08 | 2009-04-30 | 株式会社リコー | 画像作成装置、画像作成プログラムおよび記録媒体 |
| US7646517B2 (en) * | 2004-02-27 | 2010-01-12 | Seiko Epson Corporation | Image processing system and image processing method |
| US20050213174A1 (en) * | 2004-02-27 | 2005-09-29 | Seiko Epson Corporation | Image processing system and image processing method |
| US7596273B2 (en) * | 2004-04-19 | 2009-09-29 | Fujifilm Corporation | Image processing method, image processing apparatus, and image processing program |
| JP4657787B2 (ja) * | 2004-04-19 | 2011-03-23 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP2006053690A (ja) | 2004-08-10 | 2006-02-23 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US20060227381A1 (en) * | 2005-04-06 | 2006-10-12 | Xerox Corporation | Edge detection for dispersed-dot binary halftone images |
| US8194277B2 (en) * | 2005-06-20 | 2012-06-05 | Canon Kabushiki Kaisha | Image combining apparatus, and control method and program therefor |
| US7692696B2 (en) | 2005-12-27 | 2010-04-06 | Fotonation Vision Limited | Digital image acquisition system with portrait mode |
| IES20060558A2 (en) | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Image blurring |
| JP4615462B2 (ja) * | 2006-03-15 | 2011-01-19 | 株式会社リコー | 画像処理装置、画像形成装置、プログラムおよび画像処理方法 |
| IES20060564A2 (en) | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
| US7916352B2 (en) * | 2006-06-30 | 2011-03-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and recording medium |
| US7719719B2 (en) * | 2006-09-18 | 2010-05-18 | Xerox Corporation | Sharpening a halftoned image |
| JP4934843B2 (ja) * | 2006-11-29 | 2012-05-23 | 株式会社リコー | 情報処理装置、画像登録方法、およびプログラム |
| US8254680B2 (en) * | 2007-01-24 | 2012-08-28 | Samsung Electronics Co., Ltd. | Apparatus and method of segmenting an image in an image coding and/or decoding system |
| US8244039B2 (en) | 2007-07-12 | 2012-08-14 | Ricoh Company, Limited | Apparatus, method, and computer program product for acquiring processing content for image data |
| US8254669B2 (en) | 2007-09-19 | 2012-08-28 | Ricoh Company, Ltd. | Data processing apparatus, computer program product, and data processing method for predicting an optimum function based on a case database and image feature values calculated by a feature-value calculating unit |
| US8488181B2 (en) * | 2010-04-07 | 2013-07-16 | Xerox Corporation | Preserving user applied markings made to a hardcopy original document |
| JP5263630B2 (ja) * | 2010-11-24 | 2013-08-14 | カシオ計算機株式会社 | 画調変換装置およびプログラム |
| US9113059B2 (en) * | 2011-11-30 | 2015-08-18 | Canon Kabushiki Kaisha | Image pickup apparatus and image region discrimination method |
| JP2014041425A (ja) * | 2012-08-21 | 2014-03-06 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| US8995021B2 (en) * | 2013-06-12 | 2015-03-31 | Xerox Corporation | Black trapping methods, apparatus and systems for binary images |
| JP6344064B2 (ja) * | 2014-05-30 | 2018-06-20 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
| WO2017143392A1 (en) * | 2016-02-22 | 2017-08-31 | GenMe Inc. | A video background replacement system |
| WO2019124137A1 (ja) | 2017-12-19 | 2019-06-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7166853B2 (ja) * | 2017-12-19 | 2022-11-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
| GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
Family Cites Families (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3668311A (en) * | 1969-11-19 | 1972-06-06 | Du Pont | Method and system for simulating halftones |
| US4266249A (en) * | 1978-09-19 | 1981-05-05 | Bell Telephone Laboratories, Incorporated | Digital encoder for facsimile transmission |
| US4741046A (en) * | 1984-07-27 | 1988-04-26 | Konishiroku Photo Industry Co., Ltd. | Method of discriminating pictures |
| DE3686821T2 (de) * | 1985-01-10 | 1993-04-01 | Nippon Telegraph & Telephone | Halbtonbildverarbeitungseinrichtung. |
| US5067165A (en) * | 1989-04-19 | 1991-11-19 | Ricoh Company, Ltd. | Character recognition method |
| JP2719202B2 (ja) * | 1989-09-21 | 1998-02-25 | 株式会社リコー | 線図形特徴抽出及び認識方法 |
| US5029020A (en) * | 1989-11-17 | 1991-07-02 | Xerox Corporation | Scanner with slow scan image context processing |
| JP2718485B2 (ja) * | 1990-11-29 | 1998-02-25 | 株式会社リコー | 文字認識方法 |
| JP3001966B2 (ja) * | 1990-11-30 | 2000-01-24 | 株式会社リコー | 文字認識用辞書の作成方法 |
| JPH0662230A (ja) | 1992-08-10 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
| JP3260843B2 (ja) * | 1992-08-25 | 2002-02-25 | 株式会社リコー | 文字認識方法 |
| JP3037432B2 (ja) * | 1993-11-01 | 2000-04-24 | カドラックス・インク | 光波オーブンによる食物調理方法および調理装置 |
| US6198545B1 (en) * | 1994-03-30 | 2001-03-06 | Victor Ostromoukhov | Method and apparatus for generating halftone images by evolutionary screen dot contours |
| EP0709809B1 (en) * | 1994-10-28 | 2002-01-23 | Oki Electric Industry Company, Limited | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform |
| US5956157A (en) * | 1994-12-08 | 1999-09-21 | Eastman Kodak Company | Method and apparatus for locally blending gray dot types of the same or different types to reproduce an image with gray level printing |
| US5729632A (en) * | 1994-12-08 | 1998-03-17 | Eastman Kodak Company | Reproduction apparatus and method for adjusting rendering with toners of different particle sizes |
| US5737455A (en) * | 1994-12-12 | 1998-04-07 | Xerox Corporation | Antialiasing with grey masking techniques |
| TW305951B (ja) * | 1995-02-27 | 1997-05-21 | Toray Industries | |
| JP3194352B2 (ja) * | 1995-05-05 | 2001-07-30 | アグフア−ゲヴエルト・ナームローゼ・フエンノートシヤツプ | 合成画像を再現する方法 |
| US6307962B1 (en) * | 1995-09-01 | 2001-10-23 | The University Of Rochester | Document data compression system which automatically segments documents and generates compressed smart documents therefrom |
| JP3602659B2 (ja) * | 1996-08-05 | 2004-12-15 | 株式会社リコー | 濃淡値文書画像からの特徴抽出方法及び特徴抽出装置 |
| US6078697A (en) * | 1996-10-01 | 2000-06-20 | Eastman Kodak Company | Method and apparatus for segmenting image data into contone, text and halftone classifications |
| JP3476641B2 (ja) | 1997-01-21 | 2003-12-10 | シャープ株式会社 | 画像処理方法および画像処理装置 |
| JP3729612B2 (ja) | 1997-07-23 | 2005-12-21 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP3815704B2 (ja) * | 1997-10-28 | 2006-08-30 | 株式会社リコー | 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法 |
| US6289364B1 (en) * | 1997-12-22 | 2001-09-11 | Adobe Systems, Inc. | Transparency processing in a page description language |
| US6160913A (en) * | 1998-03-25 | 2000-12-12 | Eastman Kodak Company | Method and apparatus for digital halftone dots detection and removal in business documents |
| US6233060B1 (en) | 1998-09-23 | 2001-05-15 | Seiko Epson Corporation | Reduction of moiré in screened images using hierarchical edge detection and adaptive-length averaging filters |
| US6628819B1 (en) * | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
| AUPP702498A0 (en) * | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART77) |
| JP2000175052A (ja) * | 1998-12-07 | 2000-06-23 | Xerox Corp | ピクセルマップ表現の処理方法及び装置 |
| JP2000175023A (ja) * | 1998-12-09 | 2000-06-23 | Sharp Corp | 画像形成装置 |
| JP4077094B2 (ja) * | 1998-12-11 | 2008-04-16 | 富士通株式会社 | カラー文書画像認識装置 |
| JP4386216B2 (ja) * | 1999-03-09 | 2009-12-16 | キヤノン株式会社 | カラープリントシステム及びその制御方法 |
| JP4064023B2 (ja) * | 1999-07-28 | 2008-03-19 | 株式会社リコー | デジタル画像中間調処理方法及び装置、並びに、デジタル画像中間調処理プログラムを記録した記録媒体 |
| JP4046465B2 (ja) * | 1999-09-17 | 2008-02-13 | 株式会社リコー | 画像処理装置、画像処理方法、及び画像処理システム |
| DE19958553A1 (de) * | 1999-12-04 | 2001-06-07 | Luratech Ges Fuer Luft Und Rau | Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten |
| US7068851B1 (en) | 1999-12-10 | 2006-06-27 | Ricoh Co., Ltd. | Multiscale sharpening and smoothing with wavelets |
| JP3768052B2 (ja) * | 1999-12-14 | 2006-04-19 | 株式会社リコー | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 |
| US6809839B1 (en) * | 2000-06-02 | 2004-10-26 | Global Graphics Software Limited | System and method for rendering printing traps with application of color transformations |
| US6760126B1 (en) * | 2000-06-20 | 2004-07-06 | Hewlett-Packard Development Company, L.P. | Adaptive halftoning method and apparatus |
| JP4219542B2 (ja) * | 2000-09-07 | 2009-02-04 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体 |
| US6738517B2 (en) * | 2000-12-19 | 2004-05-18 | Xerox Corporation | Document image segmentation using loose gray scale template matching |
| US6909803B2 (en) * | 2000-12-22 | 2005-06-21 | Canon Kabushiki Kaisha | Text color detection for copier image processing |
| US7085006B2 (en) * | 2000-12-28 | 2006-08-01 | Seiko Epson Corporation | Apparatus for generating two color printing data, a method for generating two color printing data and recording media |
| US6498660B2 (en) * | 2001-02-16 | 2002-12-24 | Oak Technology, Inc. | System and method for the dynamic thresholding of grayscale image data |
| MXPA04001135A (es) * | 2001-08-07 | 2004-07-08 | Pacific Holographics Inc | Sistema y metodo para codificar y descodificar una imagen o documento y el documento asi modificado. |
| JP4003428B2 (ja) * | 2001-10-10 | 2007-11-07 | セイコーエプソン株式会社 | 小切手等処理装置及び小切手等処理方法 |
| EP1307039A3 (en) * | 2001-10-26 | 2005-09-14 | Ricoh Company, Ltd. | Image processing apparatus and image scanning apparatus |
| US7120297B2 (en) * | 2002-04-25 | 2006-10-10 | Microsoft Corporation | Segmented layered image system |
| US7242802B2 (en) * | 2002-07-01 | 2007-07-10 | Xerox Corporation | Segmentation method and system for Multiple Raster Content (MRC) representation of documents |
| US20040066538A1 (en) * | 2002-10-04 | 2004-04-08 | Rozzi William A. | Conversion of halftone bitmaps to continuous tone representations |
| US6641053B1 (en) * | 2002-10-16 | 2003-11-04 | Xerox Corp. | Foreground/background document processing with dataglyphs |
| US20040080789A1 (en) * | 2002-10-28 | 2004-04-29 | Anderson James E. | Gray scale enhancements for color documents rendered on monochrome devices |
| US6975411B2 (en) * | 2003-03-31 | 2005-12-13 | Eastman Kodak Company | Post rip image rendering in an electrographic printer using density patch feedback |
-
2002
- 2002-03-22 JP JP2002081361A patent/JP4169522B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-18 US US10/389,974 patent/US7324247B2/en not_active Expired - Fee Related
- 2003-03-20 EP EP03251740A patent/EP1349371B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8268356B2 (en) | 2007-11-16 | 2012-09-18 | Asahi Kasei Chemicals Corporation | Aqueous film coating solution, film coated granule and tablet using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003281526A (ja) | 2003-10-03 |
| EP1349371B1 (en) | 2011-07-20 |
| EP1349371A2 (en) | 2003-10-01 |
| EP1349371A3 (en) | 2008-04-02 |
| US7324247B2 (en) | 2008-01-29 |
| US20030179409A1 (en) | 2003-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4169522B2 (ja) | 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体 | |
| JP4423298B2 (ja) | デジタル画像におけるテキスト状エッジの強調 | |
| US7532767B2 (en) | Removing ringing and blocking artifacts from JPEG compressed document images | |
| JP5132517B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4176114B2 (ja) | 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法 | |
| US8384964B2 (en) | Image processing apparatus and image processing method | |
| JP2003348360A (ja) | 文書エンコーディングシステム、文書デコーディングシステムおよびその方法 | |
| JP2006005939A (ja) | スキャンされた文書用のセグメント化に基づくハイブリッド圧縮機構 | |
| JP4586891B2 (ja) | 減色方法、減色処理装置、画像形成装置、およびコンピュータプログラム | |
| JP4350778B2 (ja) | 画像処理装置、画像処理プログラムおよび記録媒体 | |
| JP2005045404A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2001143066A (ja) | 画像処理装置、画像処理システム及び記憶装置、画像処理方法、並びに記憶媒体 | |
| JP6923037B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Son et al. | Inverse color to black-and-white halftone conversion via dictionary learning and color mapping | |
| JP4059389B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
| JP2004153817A (ja) | 入力イメージを変換することにより出力イメージを生成する方法 | |
| JP4040528B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置 | |
| JP2003219187A (ja) | 画像処理方法及び画像処理装置 | |
| JP4169674B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
| JP2004153821A (ja) | 入力イメージを変換して出力イメージを生成する方法 | |
| JP4766586B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2002158879A (ja) | 階調画像の圧縮・解凍方法および圧縮・解凍装置 | |
| JP2005198007A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2000307867A (ja) | 画像処理装置及び方法並びに画像処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
| US20200193113A1 (en) | Image output device, image output method, and output image data production method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041006 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041022 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |