JP4568459B2 - 画像処理装置及び記録媒体 - Google Patents
画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP4568459B2 JP4568459B2 JP2001269404A JP2001269404A JP4568459B2 JP 4568459 B2 JP4568459 B2 JP 4568459B2 JP 2001269404 A JP2001269404 A JP 2001269404A JP 2001269404 A JP2001269404 A JP 2001269404A JP 4568459 B2 JP4568459 B2 JP 4568459B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- area
- fcr
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 193
- 238000000034 method Methods 0.000 claims description 74
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 239000003086 colorant Substances 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 30
- 238000003708 edge detection Methods 0.000 description 16
- 238000011946 reduction process Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 7
- 230000008929 regeneration Effects 0.000 description 7
- 238000011069 regeneration method Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び記録媒体に関し、特に、カラー原稿の読込みや複写等、デジタルカラー画像処理において高画質化処理が可能な画像処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
近年、スキャナ・複写機・プリンタなどの分野でデジタルカラー機器の発達・普及が目覚ましい。また、パーソナル・コンピュータやワープロソフト等の文書作成環境の進歩・発達もあり、上記のようなデジタルカラー機器を利用するカラー画像再現の分野においては、人物・風景等の自然画像のみならず、主に文字情報やグラフ・図表などから構成される文書画像も重要な処理対象となってきている。
【０００３】
それらの文書画像を自然画像と比較した場合の特徴としては、文書画像の場合は２，３色からせいぜい数十色程度までといった非常に少ない色数で表現されている事、広い面積を有する同一色領域が多く存在する事などがある。このため、元々の原稿の品質、画像の読み込み機器のデバイス特性、階調補正やＭＴＦ補正などの画像処理における過強調等に起因して、本来は同一であるべき色領域におけるノイズや色むらが画像再現を行う際に生じる、という問題がある。
【０００４】
この問題を解決するため、原画像中の色数を減らす所謂減色処理的な手法を用いて色を均一化する方式が各種提案されている。例えば、特開平８−２２５３２号公報には、原画像中に存在する色の成分比率を限定することによって文書画像中に存在するムラを軽減する技術が記載されている。また、特開平１０−２４３２５０号公報には、原画像中の色の分布からフラットに再現するべき色領域とそうでない色領域を設定し、色の補正を行うことによって均一な色領域の再現を向上させる技術が記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術は、何れも各画素単位で色を最も近い色に置き換えたり、或いは補正係数を異ならせたりする処理であり、原画像中に存在する網点成分や微小ノイズの影響を受けやすく、その結果として色数の減少が必ずしも所望領域の均一色化に結びつかない場合があった。また、色の置換に先立って行われる代表色設定も複雑な演算処理が必要とされ、全体として処理規模に対して妥当な処理品質が得られない、という問題があった。
【０００６】
本発明は上記事実に鑑みて成されたものであり、カラー文書画像を高品質化することが可能な画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像を走査読み取りする画像読み取り手段により予め定めた解像度で読み取った入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成する画像生成手段と、前記画像生成手段により生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の画素値を有する領域を候補色領域として少なくとも１つ定める候補領域設定手段と、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成する処理手段と、を有することを特徴とする。
【０００８】
この発明によれば、画像生成手段は、画像を走査読み取りする画像読み取り手段、例えばスキャナなどにより予め定めた解像度で読み取った入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成する。
【０００９】
入力画像を該入力画像の解像度よりも低解像度の変換画像に変換するには、例えば入力画像を複数画素を含む領域で分割し、該領域内の画素平均値を算出し、該算出した画素平均値を前記領域の画素値とすることにより行うことができる。
この低解像度の変換画像は１つ生成してもよいし複数生成してもよい。
【００１０】
ところで、例えば文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合、前記同一色領域において色むらが生じる場合があり、画質が低下する場合がある。このため、同一色領域を抽出し、この領域の色を略均一にすることにより、読み取った画像を元の画像に近づけることが必要となる。
【００１１】
そこで、候補領域設定手段は、前記画像生成手段により生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の画素値を有する領域を候補色領域として少なくとも１つ定める。すなわち、計測した色分布から画素数が少ない色の画素を検出し、これを除外した減色画像を生成する。そして、生成した減色画像に基づいて、前記代表色の領域を候補色領域として定める。これにより、均一な色の領域を精度よく設定することができる。このように、低解像度の変換画像で候補色領域を定めるのは、低解像度の画像では、画像に含まれる文字要素や絵柄要素、前記同一色領域が検出しやすいからである。従って、前記変換画像の解像度は、画像に含まれる文字要素や絵柄要素、同一色領域が検出しやすい解像度に設定される。
【００１２】
処理手段は、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定する。すなわち、低解像度の変換画像で設定した候補色領域の境界は、本来の画像における同一色領域の正確な領域ではないため、低解像度の変換画像より高解像度の画像、例えば入力画像における前記候補色領域に対応する領域又はこれと隣接する領域の画素を参照する。そして、候補色領域又は隣接する領域内に存在する境界を検出し、この境界内を略均一な色の領域である均一色領域として設定し、この均一色領域内の画素の色を例えば同一色で設定する。
【００１４】
そして、処理手段は、設定した均一色領域の画像を入力画像に上書き（合成）する。これにより、文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合でも、読み取った画像を高画質化することができる。
【００１５】
また、画像生成手段は、低解像度の変換画像を１つ生成し、かつ高解像度の画像を入力画像としてもよい。すなわち、入力画像と低解像度の変換画像の２つの画像のみを用いて上記の処理を行う。これにより、処理を簡略化することができる。
【００１７】
また、候補領域設定手段は、候補色領域の大きさ、形状、及び縦横比の少なくとも一つに基づいて候補色領域を再設定するようにしてもよい。すなわち、例えば候補色領域の大きさが小さい場合や形状が複雑な場合、縦横比が大きく、幅が細い場合など、同一色で均一化しても画質の改善が見込めないような場合には、このような候補色領域を除外する。これにより、不必要な領域を均一色化してしまうのを防ぐことができる。
【００１８】
また、候補領域設定手段は、候補色領域の色と高解像度の画像における候補色領域に対応する領域の色との相関関係を求め、該求めた相関関係に基づいて候補色領域を再設定するようにしてもよい。例えば、候補色領域の色と高解像度の画像における候補色領域に対応する領域の色との標準偏差を求め、この標準偏差が所定以上、すなわち実際の画像の色とのばらつきが生じている場合には、このような候補色領域を除外する。これにより、不必要な領域を均一色化してしまうのを防ぐことができる。
【００１９】
また、処理手段は、高解像度の画像における候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定することができる。このエッジ検出には、例えばＳｏｂｅｌオペレーションなどの手法を採用することができる。これにより、精度よく均一色領域を設定することができる。
【００２０】
また、処理手段は、均一色領域内の画素値の平均値を求め、該求めた平均値を均一色領域の色として設定してもよく、均一色領域内の画素値の中央値を求め、該求めた中央値を均一色領域の色として設定してもよい。
【００２１】
また、処理手段は、均一色領域内の画素数が所定以下の画素を除外して均一色領域の色を求めるようにしてもよい。これにより、ノイズなどの影響を防ぐことができる。
【００２２】
また、処理手段は、均一色領域の色を予め定めた所定の純色に置き換えるようにしてもよい。例えば、白、黒、青、赤、緑、黄色などの予め定めた純色に近い色の場合には、これら純色に置換する。これにより鮮明な画像を得ることができる。
【００２３】
また、入力画像から線分要素を抽出する線分要素抽出手段と、入力画像から線分要素を除外した差分画像を生成する差分画像生成手段と、をさらに備え、画像生成手段は、差分画像から該差分画像の解像度より低解像度の変換画像を１つ以上生成し、かつ処理手段は、均一色領域の画像のうち、抽出した線分要素以外の領域の画像を入力画像に合成するようにすることができる。
【００２４】
すなわち、画像中に文字などの線分要素が存在する場合には、この線分要素を除外した差分画像から低解像度の変換画像を１つ以上生成する。そして、候補領域設定手段により、前記画像生成手段により生成された前記低解像度の変換画像の中から選択された予め定めた解像度の変換画像の予め定めた色空間における色分布を計測し、該計測した色分布に基づいて前記予め定めた解像度の変換画像の代表色を求め、前記入力画像の各画素値のうち前記代表色の値と所定範囲内の画素値を前記代表色の値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の領域を候補色領域として少なくとも１つ定める。処理手段は、均一色領域の画像のうち、抽出した線分要素以外の領域の画像を入力画像に合成する。これにより、文字などの線分要素を含む画像においても精度よく均一色領域を設定することができ、高画質化を図ることができる。
【００２５】
また、差分画像生成手段は、差分画像のうち除外された線分要素の領域の画素を、線分要素の周囲の画素で置換するようにしてもよい。例えば、線分要素の周囲の領域が１色の場合はその画素で線分要素の領域を置換すればよい。また、線分要素の周囲の領域がそれぞれ異なる色の場合には、各領域を外側へ拡大するようにして、線分要素の領域の画素を周囲の領域の画素で置き換えればよい。
【００２６】
また、線分要素の色分布を計測し、該計測した色分布に基づいて線分要素の減色画像を生成し、該生成した減色画像に基づいて線分要素中の孤立色の画素を除去する除去手段をさらに備えるようにしてもよい。これにより、線分要素中の色のばらつきを低減することができる。
【００２７】
また、線分要素抽出手段は、予め定めた特定色の線分要素を抽出するようにしてもよい。例えば、黒色のような文書画像で多く用いられる色の線分要素のみを抽出することにより、処理を簡略化することができる。
【００２８】
なお、予め定めた解像度で走査読み取りされた入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成するステップと、生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成するステップと、生成した減色画像に基づいて、前記代表色の領域を候補色領域として少なくとも１つ定めるステップと、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成するステップと、を含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で上記の処理を実行させることができる。
【００２９】
また、その他の上記各処理についても、これらの処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で実行させることができる。
【００３０】
【発明の実施の形態】
［第１実施形態］
以下、図面を参照して本発明の第１実施形態について説明する。図１には本発明に係る画像処理装置１０の概略ブロック図が示されている。
【００３１】
図１に示すように、画像処理装置１０は、画像入力手段１２、画像処理手段１４、画像記憶手段１６、画像表示手段１８、画像出力手段２０、及び通信手段２２で構成されている。
【００３２】
画像入力手段１２は、画像を入力するためのものであり、例えばフラットベッドスキャナ等のカラー画像入力機器である。画像処理手段１４は、画像入力手段１２で入力した入力画像に対して高画質化のための画像処理を施すためのものである。画像記憶手段１６は、画像入力手段１２から入力されたカラ一原画像や画像処理手段１４によって補正処理されたカラー画像等を蓄積・保持するものである。画像表示手段１８は、画像処理手段１４で補正処理が行われたカラー画像を表示するためのものである。画像出力手段２０は、画像処理手段１４で補正処理が行われたカラー画像を印刷するためのものである。通信手段２２は、画像処理手段１４で補正処理が行われたカラー画像を例えば他の機器へ送信するためのものである。
【００３３】
なお、画像入力手段１２は本発明の画像読み取り手段に対応し、画像処理手段１４は本発明の画像生成手段、候補領域設定手段、処理手段に各々対応する。
【００３４】
このような画像処理装置１０では、処理対象となる例えば用紙上に記録された文書画像は画像入力手段１２で読み込まれる。画像入力手段１２は、読み込んだ画像を例えば１画素当たりＲ，Ｇ，Ｂ各８ビットのフルカラー画像として画像処理手段１４へ出力する。
【００３５】
画像処理手段１４では、入力画像の中で比較的広い面積を持つ略同一な色で表現される領域（以下では、この領域を単にＦＣＲ（Ｆｌａｔ Ｃｏｌｏｒ Ｒｅｇｉｏｎ）と称する）を検知し、ＦＣＲを適切な色で均一化して再生成する処理が行われる。
【００３６】
画像処理手段１４で補正処理が施されたカラー画像は、画像記憶手段１６に蓄積・保持されたり、画像表示手段１８で表示されたり、画像出力手段２０から印刷出力されたり、通信手段２２を介して他のデジタルカラー処理機器へ送信されたりする。
【００３７】
次に、画像処理手段１４における画像処理の詳細について説明する。
【００３８】
まず、本発明の基本的なアイデアについて説明する。本実施形態では、図２に示すような複数レベルの解像度で表現された画像を用いて画像処理を行う。複数レベルのデータ構造への変換は、図２に示すように、入力画像を例えば５０％縮小する処理を繰り返すことによって行われる。
【００３９】
すなわち、入力画像（原画像）の解像度をレベル０として、入力画像に対して１／２（５０％）の縮小処理を施して解像度がレベル１の画像を生成し、さらにレベル１の画像に対して１／２の縮小処理を施して解像度がレベル２の画像を生成し、以後同様にレベル３，レベル４の画像を生成する。従って、レベルが上がるに従って解像度は低下し、逆にレベルが下がるに従って解像度は高くなる。
【００４０】
次に、このようなデータ構造を用いて行われる領域検知処理の概念について説明する。すなわち、「文字」や「絵柄」、そして本発明の画像処理の補正対象である「ＦＣＲ」などの文書画像の構成要素がレベルの異なる画像、すなわち解像度の異なる画像でどのような特徴をもって検知されるかについて説明する。
【００４１】
ここでは、図３に示すように、注目画素２４を中心とする５×５画素の領域を参照域２６として参照し、その空間的な特徴と階調的な特徴を画素単位で判定する特徴検知処理を例とした本発明の基本アイデアを説明する。
【００４２】
空間的な特徴の判定は、注目画素２４が、孤立点や離散ドット等を構成する「ドット要素」、文字、線画、領域の境界を構成する「エッジ要素」、急峻な変化を有さない「平坦部」、の３属性のいずれであるかを判別することによって行われる。また、階調的な特徴の判定は、注目画素２４の近傍に存在する色の数をカウントし、色数の「小」、「中」、「大」を判別することによって行われる。
【００４３】
図４には画像処理手段１４において実行される特徴検知処理のフローチャートを示した。図４に示すように、空間的な特徴量の検知はカラー画像の明暗情報を表す明度信号を用いて行われる。まず、画像入力手段１２から入力されたＲ，Ｇ，Ｂの各画像信号を用いて、以下の演算によって明度信号（明度値）が生成される（ステップ１００）。
【００４４】
明度信号 ＝ ０．３×Ｒ ＋ ０．６×Ｇ ＋ ０．１×Ｂ
次に、注目画素を中心とする例えば５×５画素の明度平均値を算出し、注目画素の明度値との比較を行う。そして、注目画素の明度値が大きければ（画素が暗い）ＯＮ画素、小さければ（画素が明るい）ＯＦＦ画素とする。これを各画素について行うことによって２値画像を生成する（ステップ１０２）。
【００４５】
以上のような処理で生成された２値画像について、注目画素を中心とする５×５近傍画素内のＯＮ画素の数や連結状態を判断し（ステップ１０４）、注目画素に対して「エッジ要素」，「ドット要素」，「平坦部」のいずれかの属性を設定する（ステップ１０６，１０８，１１０）。例えば、隣接する画素がＯＮ画素であり、ＯＮ画素が連結していればエッジ要素、ＯＮ画素の数が所定以下の場合にはドット要素、ＯＦＦ画素の数が所定以上であれば平坦部などと判断することができる。
【００４６】
階調的な特徴量の検知は、前述したように参照域２６内の色数をカウントすることによって行われる。ただし、処理画像に含まれるノイズ成分を考えて、Ｒ，Ｇ，Ｂ各８ビットある階調成分のうち、下位３ビットを削除して上位５ビットのみを用いる（ステップ２００）。
【００４７】
次に、注目画素２４を中心とする５×５画素の参照域２６に存在する色数をカウントし予め設定された閾値と比較する（ステップ２０２）。そして、色数に応じて一例として３段階の属性、すなわち「色数小」，「色数中」，「色数大」のいずれかの属性を設定する（ステップ２０４，２０６，２０８）。
【００４８】
図５には、上記処理により各画素に対して設定される属性が、「文字」や「絵柄」、「ＦＣＲ」などの文書画像の構成要素、及び前記データ構造におけるレベル（解像度）によってどのように変化するかを示した。
【００４９】
図５に示すように、例えば、「文字」要素の場合には、レベルの違いによって色数は変化しないが、レベルが下位（解像度が高い）から上位（解像度が低い）に上がるに従って、空間的な属性は「エッジ要素」→「ドット要素」→「平担部」と変化していく。「絵柄」要素の場合には、レベルが低い場合には網点ドットの影響の為に、階調的な属性は「色数中」，空間的な属性は「ドット要素」と判定されるが、網点が検知されない上位レベルになると、色数が増えてエッジ成分が検出され始め、階調的な属性は「色数大」，空間的な属性は「エッジ要素」と判定されるようになる。
【００５０】
また、「ＦＣＲ」要素の場合には下位レベルにおいては綱点ドットの為に「絵柄」要素と同様に階調的な属性は「色数中」，空間的な属性は「ドット要素」と判定され、網点の影響がなくなったレベルで階調的な属性は「色数小」，空間的な属性は「平担部」と判定されるようになる。さらにレベルが上がり参照領域がＦＣＲの領域境界部を含むようになると階調的な属性は「色数中」，空間的な属性は「エッジ要素」と判定されるようになってくる。もちろん、これらの空間的・階調的な属性は、入力される文書画像の解像度や「文字」・「絵柄」・「ＦＣＲ」の各要素のサイズやレイアウト・デザインなどに依存するが、各文書構成要素から得られる特徴としては概ね同様のものになると考えることができる。
【００５１】
例えば、高解像度の画像に対してＦＣＲの検知処理を行うとすれば、「絵柄」要素と「ＦＣＲ」要素は空間的にも階調的にも非常に類似した特徴を有しているので、精度良くこれを達成することは困難である。しかし、綱点の影響がなくなるまでレベルを上げれば、「絵柄」要素と「ＦＣＲ」要素の空間的・階調的な特徴には大きな差異が生じてくるので高解像度での処理に比べると容易に両者を分離する事が可能となる。
【００５２】
同様に、「文字」要素と「ＦＣＲ」要素の識別についても解像度が高い画像で「文字」要素の「エッジ要素」と「ＦＣＲ」要素の「ドット要素」を識別するよりは、何れかの要素が「平坦部」となる、より上位レベルの画像を用いて領域検知処理するのが好ましい。
【００５３】
本発明はこのような着眼点に基づき、複数レベルの解像度を有する画像データ構造を用いて領域検知処理を行う。これにより、効率良く高画質化することが可能となる。
【００５４】
次に、図６及び図７を参照し、画像処理手段１４で実施される画像処理の流れについて説明する。
【００５５】
図６に画像処理の概略的な処理の流れを示し、図７に画像処理の詳細な流れについて示した。
【００５６】
図６に示すように、まず、入力されたカラー画像は、前述した方法によって画像処理に適した複数レベルの解像度を有する内部データ構造に変換される（ステップ３００）。次に、内部データ構造の所定レベルの画像を用いてＦＣＲの候補領域が抽出される。（ステップ３１０）。次に、ＦＣＲ候補領域の抽出に用いた所定レベルとは異なるレベルの画像データを用いてＦＣＲの再判定を行い、最終的なＦＣＲを生成すると共に各ＦＣＲを再生成する代表色を決定する（ステップ３２０）。最後に、求められたＦＣＲ及び置換すべき代表色の情報に基づいて文書画像中の所定領域を所定同一色で置換して本処理が終了する（ステップ３３０）。
【００５７】
次に、図７を参照して画像処理の詳細な内容について説明する。
【００５８】
図７に示すように、まず、画像入力手段１２から入力された入力画像に対して所定倍率（例えば１／２）の縮小処理を施して低解像度の変換画像を生成し（ステップ３０１）、予め定めた所定回数解像度変換したか否かを判断し（ステップ３０２）、所定回数になるまで解像度変換を繰り返す。この所定回数は、例えばＮ層（Ｎは正数）のレベルの内部データ構造にしたい場合には（Ｎ−１）回となる。すなわち、例えば図２に示すようにレベル０〜レベル３までの４層のレベルのデータ構造としたい場合には、解像度変換を３回行うこととなる。また、生成された各レベルの画像データは、内部データ構造３０として画像記憶手段１６に一次記憶される。
【００５９】
図８には、ステップ３０１において実行される解像度変換の具体例について示した。なお、図中Ａ〜Ｉはそれぞれの画素の画素値を示す。図８（ａ）に示す所定のレベルＫの画像を例えば５０％縮小して図８（ｂ）に示す一つ上位のレベル（Ｋ＋１）の画像を生成するには、図８（ａ）に示すように、縦横２画素ずつ合計４画素を１つのブロック４０とし、このブロック４０内の画素値の平均値、すなわち、Ｅ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４を求め、この求めた平均値Ｅをレベル（Ｋ＋１）の画像の１画素の画素値とする。これをレベルＫの画像全てについて行うことにより、レベルＫの画像を５０％縮小したレベル（Ｋ＋１）の画像が生成される。
【００６０】
同様に、図８（ｂ）に示すレベル（Ｋ＋１）の画像を５０％縮小して図８（ｃ）に示す一つ上位のレベル（Ｋ＋２）の画像を生成するには、図８（ｂ）に示すように、縦横２画素ずつ合計４画素を１つのブロック４２とし、このブロック４２内の画素値の平均値、すなわち、Ｉ＝（Ｅ＋Ｆ＋Ｇ＋Ｈ）／４を求め、この求めた平均値Ｉをレベル（Ｋ＋２）の画像の１画素の画素値とする。これをレベル（Ｋ＋１）の画像全てについて行うことにより、レベル（Ｋ＋１）の画像を５０％縮小したレベル（Ｋ＋２）の画像が生成される。
【００６１】
図９には、このようにして解像度変換を行った結果生成された内部データ構造３０の構成を示した。この内部データ構造３０は、ヘッダ情報３２及びポインタ情報３４で構成されている。
【００６２】
ヘッダ情報３２は、解像度変換で生成される画像の数、すなわちレベル数Ｎ及び画像情報で構成される。画像情報には入力画像の幅・高さ等の情報が含まれる。
【００６３】
ポインタ情報３４は、レベル数Ｎ分のポインタ（アドレス）で構成されている。このポインタは、対応するレベルの画像データ３６、具体的にはＲ，Ｇ，Ｂの各画素値が記憶された領域へのアドレスである。このポインタを参照することにより、対応するレベルの画像データ３６がどのアドレスに格納されているかを知ることができる。
【００６４】
以上のように所定回数の解像度変換が終了して内部データ構造３０が生成されると、ＦＣＲ候補の抽出（ステップ３１０）が実行される。
【００６５】
ＦＣＲ候補の抽出処理は、内部データ構造３０中の所定レベルの画像に対して行われる。ここで、所定レベルとは網点やエッジ、ノイズなどの微細な画像要素の影響が十分に少ない上位レベルの画像であって、例えば入力画像、すなわちレベル０の画像が４００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）程度の解像度を有する場合には所定レベルはレベル４前後とすることが好ましい。なお、以下ではこの所定レベルを便宜上レベルＲと称する。
【００６６】
まず、レベルＲの画像に対する減色処理が行われる（ステップ３１１）。図１０には、減色処理の具体的な処理の流れを示した。なお、ステップ３１１の処理は、本発明の減色画像生成手段に対応する。
【００６７】
図１０に示すように、まずレベルＲのカラー画像に対しては綱点やノイズによる過剰な影響を受けないように、まずビット数の削減処理が行われる（ステップ４００）。例えば、Ｒ，Ｇ，Ｂ各８ビットの計２４ビットで１画素の画素データが構成されている場合、Ｒ，Ｇ，Ｂの各画素データの下位３ビットを切り捨て、上位５ビットの画素データとする。これにより、３２（＝２5）階調の画像データへの変換が行われる。
【００６８】
次に、１画素あたりＲ，Ｇ，Ｂ各５ビット計１５ビットのカラー画像データの出現頻度を３次元的に計測する（ステップ４０２）。すなわち、互いに直交するＲ軸、Ｇ軸、Ｂ軸で定められた３次元色空間における出現頻度を計測する。
【００６９】
次に、色分布計測で得られた３次元色分布データに基づいてＦＣＲを構成する色、すなわち出現頻度の高い色を代表色として選定する。この代表色の選定について図１１及び図１２を参照して説明する。
【００７０】
ここで行う代表色選定処理は、図１１に示したように、互いに直交するＲ軸、Ｂ軸、Ｇ軸で構成された３次元色空間５０を順次８等分に分割した空間を利用して行われる。このように３次元色空間５０を順次分割していくと、図１１に示すように、３次元色空間５０は部分空間５０1〜５０8に分割され、例えば部分空間５０8は部分空間５０81〜５０88に分割される。これをツリー状で表したものを図１２に示す。図１２に示すように、３次元色空間Ａは部分空間Ｂ1〜Ｂ8に８分割され、例えば部分空間Ｂ1は部分空間Ｃ11〜Ｃ18に８分割され、部分空間Ｂ7は部分空間Ｃ71〜Ｃ78に８分割される。また、例えば部分空間Ｃ74は部分空間Ｄ741〜Ｄ748に８分割される。
【００７１】
本実施形態では、一例として図１１、１２に示したような空間分割を４回行うことにより得られる４０９６個の部分空間を用いて代表色を設定する。
【００７２】
まず、Ｒ，Ｇ，Ｂ各５ビットの計１５ビットの精度で行った色分布の計測結果を用いて、注目部分空間に存在する（その部分空間の色を有する）画素の画素数を求め、予め設定された所定閾値と比較する（ステップ４０４）。ここで、画素数が所定閾値以上の場合には、その部分空間を代表色空間候補として画像記憶手段１６に一時記憶すると共に、代表色空間数ｎのカウント・アップを行う（ステップ４０６）。
【００７３】
一方、注目部分空間に属する画素数が所定閾値未満の場合には、注目部分空間に存在する画素の画素数をその注目部分空間の親空間へと統合する（ステップ４０８）。
【００７４】
例えば、図１２において部分空間Ｃ72が注目部分空間であったとした場合、部分空間Ｃ72に存在する画素の画素数が所定閾値以上の場合には、部分空間Ｃ72を代表色空間の候補として記憶する。また、注目部分空間が部分空間Ｃ73であったとした場合に、部分空間Ｃ73に存在する画素の画素数が所定閾値未満の場合には、部分空間Ｃ73の画素を部分空間Ｂ7に属する画素として画素数を統合していく。すなわち部分空間Ｃ73の画素数を部分空間Ｂ7の画素数に加算する。
【００７５】
以上のような判別処理を４０９６個の部分空間全てに対して終了したか否かを判断し（ステップ４１０）、全ての部分空間に対して終了するまで上記の処理を繰り返す。そして、代表色空間数ｎが予め決められた所定閾値以上であるか否かが判断される（ステップ４１２）。
【００７６】
代表色空間数ｎが所定閾値以上の場合には代表色空間の設定処理を終了し、代表色空間数ｎが所定閾値未満の場合には、注目部分空間が予め設定された所定階層の部分空間であるか否かが判断される（ステップ４１４）。そして、注目部分空間が予め設定された所定階層以上の部分空間である場合には代表色空間の設定処理を終了し、注目部分空間が所定階層未満の場合には注目空間を一つ上位の親空間（階層）へと移動して（ステップ４１６）上記と同様の処理を行う。
【００７７】
次に、以上のような処理によって求められた代表色空間候補の情報を用いて代表色の設定を行う。まず、代表色空間候補に属する画素の平均色、すなわちＲ，Ｇ，Ｂの各画素値の平均値を各代表色空間候補全てについて求める（ステップ４１８）。
【００７８】
次に、求められた各代表色空間候補全てについて、Ｒ，Ｇ，Ｂの各画素の平均値の３次元空間における距離を計算し、各々比較する（ステップ４２０）。そして、平均値の差が所定範囲内となる代表色空間候補が存在する場合には、これらは類似色であると判断し、類似色と判断された各代表色空間候補の平均値をさらに求め、これらの代表色空間候補を統合する（ステップ４２２）。このようにして減色処理の代表色が決定される（ステップ４２４）。例えば、代表色空間候補に部分空間Ｃ11，Ｃ12が含まれている場合に、部分空間Ｃ11，Ｃ12の平均値の差が所定範囲内の場合には、部分空間Ｃ11，Ｃ12の平均値を求め、この求めた平均値を代表色候補とする。また、平均値の差が所定範囲内となる代表色空間候補が存在しない場合には、ステップ４１８で求めた各代表色空間の平均値がそのまま代表色となる。
【００７９】
減色処理は１画素あたりＲ，Ｇ，Ｂ各８ビットの入力画像の各画素値と前述した処理によって決定された全代表色を比較することで行われる。まず、注目画素の画素値と、この画素値と最も近い値を有する代表色との差が所定範囲内であるか否かが判断され（ステップ４２６）、所定範囲内であると判断された場合、その注目画素は減色処理の対象であると判断され、画素値として最も近い代表色番号が割り当てられる（ステップ４２８）。
【００８０】
一方、注目画素の画素値と、この画素値と最も近い値を有する代表色との差が所定範囲内でない場合には、その注目画素には割り当てるべき適当な代表色がないものと判断され、減色処理の対象外である事を示すＦＦ（１６進数）が割り当てられる（ステップ４３０）。そして、以上の処理が入力画像の全画素に対して行われたか否かが判断され（ステップ４３２）、全画素に対して行われるまで上記の処理が繰り返される。
【００８１】
このような減色処理が施されることにより、図１３に示すような構造の減色画像６２が生成される。減色画像６２は、図１３（ａ）に示すように、代表色数データ６４、代表色テーブル６６、画像データ６８を含んで構成される。代表色数データ６４で示される代表色数ＮＮ（ＮＮは正数）は上記の処理により決定された代表色の数を示す。代表色テーブル６６は、図１３（ｂ）に示すように、決定された代表色の代表色番号と該代表色番号に対応する代表色情報、すなわちＲ，Ｇ，Ｂの各画素値とが対応付けられたテーブルである。画像データ６８は、図１３（ｃ）に示すような減色処理後の画像データ（１６進数で示す）である。前述したように、減色処理の対象外の画素の画素値は「ＦＦ」となっている。
【００８２】
このような減色処理が行われた後は、領域候補抽出処理が行われる（ステップ３１２）が行われる。この処理は、上記のような処理によって生成された減色画像において同じ代表色に割り当てられた隣接画素を統合してＦＣＲ候補領域を生成するものである。
【００８３】
図１４には領域候補抽出処理の流れを示した。図１４に示すように、本処理では、前述した減色処理によって決定された各代表色に対してそれぞれＦＣＲ候補領域を抽出していく。
【００８４】
まず、生成した減色画像に対して隣接画素色の参照が行われる（ステップ５００）。ここでは、注目画素の色が注目代表色と一致する場合に、注目画素を中心とする３×３画素領域の画素値を各々確認する。一致しない場合には注目画素の色が注目代表色と一致するまで次の画素を参照する。そして、注目画素と同色の画素が隣接しているか否かを判断する（ステップ５０２）。そして、注目画素と同色の画素が隣接している場合には、これを統合する（ステップ５０４）。
【００８５】
注目画素の色と同色の画素が隣接していない場合、又はステップ５０４の統合処理が終了すると、減色処理における割り当て処理の不良を修正する処理が行われる。すなわち、注目画素を中心とする３×３画素領域において、注目代表色と同じ色の注目画素以外の８画素がすべて同色であって、かつ注目画素の色と周囲８画素の色との差が所定範囲内であるか否かが判断される（ステップ５０６）。
【００８６】
そして、注目画素以外の８画素がすべて同色であって、かつ注目画素の色と周囲８画素の色との差が所定範囲外である場合（すなわち注目画素が周囲の画素から孤立した孤立ドットのような場合）には、前述した減色処理における割り当て不良であると判断され、注目画素の色を周囲８画素の色に修正する（ステップ５０８）。すなわち、注目画素を中心とする３×３画素領域の色を全て同一色に設定する。
【００８７】
そして、以上の処理を画像データ全てに対して行ったか否かを判断し（ステップ５１０）、画像データ全てに対して上記の処理を行った場合には、注目代表色を有する領域が１以上存在するか否か、すなわち、ステップ５０４により同一色の画素が統合された領域が存在するか否かが判断される（ステップ５１２）。そして、注目代表色を有する領域が存在する場合には、その領域情報を後述するＦＣＲ候補領域データ７４として画像記憶手段１６に記憶・保持する（ステップ５１４）。
【００８８】
そして、全代表色について上記の処理が終了したか否かを判断し（ステップ５１６）、終了していない場合には次の代表色を設定して（ステップ５１８）、上記と同様の処理を行う。
【００８９】
このような処理により生成されたＦＣＲ候補情報７０の構造を図１５に示す。
ＦＣＲ候補情報７０は、ヘッダ情報７２、候補色領域としてのＦＣＲ候補領域データ７４で構成されている。ヘッダ情報７２は、画像全体に対する情報としてＦＣＲ候補領域数Ｍ（Ｍは正数）や、幅や高さといった画像サイズの情報を含んでいる。ＦＣＲ候補領域データ７４は、Ｍ個分の代表色番号及び領域情報７６へのポインタで構成されている。領域情報７６は、図１５に示すように、例えば代表色番号で示される代表色の画素を‘１’、その他の色の画素を‘０’とした２値画像データとすることができる。なお、２値画像データに限らず、ＦＣＲ候補領域の輪郭部分の画素の座標データとしてもよい。
【００９０】
そして、このようにして生成されたＦＣＲ候補領域に対して領域再判定処理が行われる（図７に示すステップ３１３）。図１６に示すように、領域再判定処理は、ここではレベルＲ以外のレベルの画像、具体的にはレベルＲよりも下位レベルの画像（解像度が高い画像）、例えばレベルＰの画像を用いてＦＣＲ候補領域の再判定を行う。
【００９１】
まず、再判定のポイントとしては、ＦＣＲ候補領域の大きさ及び形状が挙げられる。ＦＣＲは最終的には均一色で再生成する領域であるので、均一化することによる画像品質改善が見込めない小さな領域や幅の細い領域は、ここでＦＣＲ候補から除外される。まず、ＦＣＲ候補情報７０を参照し、領域情報７６に含まれる２値画像データから注目ＦＣＲ候補領域の面積、領域の輪郭、及び領域の縦横比などの領域サイズ特徴量を求める。
【００９２】
次に、これら領域サイズ特徴量を予め設定された所定閾値とそれぞれ比較し、所定条件を満たすか満たさないかを判断する。例えば、ＦＣＲ候補領域のサイズ（面積）が所定以下であるか否かを判断し所定以下の場合、すなわち同一色で均一化することによる画像品質改善が見込めないほど小さい領域である場合にはこのＦＣＲ候補領域を除外対象とする。また、ＦＣＲ候補領域の縦横比が所定以上であるか否かを判断し所定以上の場合、すなわち同一色で均一化することによる画像品質改善が見込めないほどＦＣＲ候補領域の幅が細い場合にはこのＦＣＲ候補領域を除外対象とする。
【００９３】
次に、減色処理を行ったレベルＲの画像において消失している微細な画像成分の確認が行われる。この確認は主に絵柄領域に対する不具合を回避する為に行うものであり、この処理を行うことにより、たまたまレベルＲの画像では検知されなかったエッジ部分やテクスチャ構造等が誤って均一化されてしまう不具合を回避する事が可能となる。
【００９４】
この微細な画像成分の確認は、前述したようにレベルＲよりも下位のレベル、例えば図１６に示すレベルＰの画像において、Ｓｏｂｅｌオペレーションに代表される公知のエッジ検出処理を行い注目ＦＣＲ候補領域におけるエッジ画素数をカウントし、単位面積あたりのエッジ画素数が所定閾値以上の場合には、ＦＣＲ候補領域は絵柄領域を含んでいるものと判断して、このＦＣＲ候補領域を除外対象とする。
【００９５】
最後に、各ＦＣＲ候補領域に割り当てられた代表色が実画像の色に対してどの程度妥当であるかの確認が行われる。この処理は、本来は代表色と全く異なる画素値を持つ画素群が平均化されることによって、代表色に収束していくことの不具合を回避するものであり、図１６に示すようにレベルＲよりも下位レベルの画像の画素値と減色処理されたＦＣＲ候補領域の代表色との標準偏差値を算出し、該算出した標準偏差値が所定閾値以上のばらつきを示す値である場合には、代表色で表現することは不適切な領域であると判断して、このＦＣＲ候補領域を除外対象とする。
【００９６】
このような処理を全てのＦＣＲ候補領域に対して行い、ＦＣＲ候補領域の再判定処理が終了した後、除外対象のＦＣＲ候補データ７４をＦＣＲ候補情報７０から削除してＦＣＲ候補情報７０を更新する。
【００９７】
次に、最終的なＦＣＲ及び代表色マップの決定（図６，７に示すステップ３２０）が行われる。最終的なＦＣＲは、レベルＲで生成された領域形状をより高精細にする為のＦＣＲ境界検出処理（図７に示すステップ３２１）によって決定される。
【００９８】
このＦＣＲ境界検出処理は以下のようにして行われる。例えば図１７（ａ）の斜線部分で示す領域がレベルＲの画像におけるＦＣＲ候補領域８０であるとすると、図１７（ｂ）に示すレベルＲよりも下位レベルの画像を参照し、ＦＣＲ候補領域８０の境界部分のエッジ要素を検出する。ここでは、図１７（ａ），（ｂ）に示すように、レベルＲの画像に対して３レベル下位の画像、すなわち、レベルＲの１つの画素が縦横８分割された解像度が３倍の画像においてエッジ検出を行う場合について説明する。
【００９９】
まず、図１７（ａ）に示すＦＣＲ候補領域８０のエッジ部分の領域、すなわち領域８０Ａ，８０Ｂ，８０Ｃに隣接する領域を、エッジ要素検出対象領域８２とする。このエッジ要素検出対象領域は図１７（ｂ）の斜線部分で示される。そして、エッジ要素検出対象領域８２においてエッジ検出処理を行い、図１７（ｃ）に示すようにエッジ８４（図１７（ｃ）において黒色で塗りつぶした部分）を検出する。
【０１００】
次に、エッジ検出処理について説明する。エッジ検出処理では、明るさだけはなく色味の情報も加味するために、図１８に示すように、注目ＦＣＲ候補の代表色（Ｒｘ，Ｇｘ，Ｂｘ）とエッジ検出処理を行うレベルＰのカラー画像の画素値（Ｒｉ，Ｇｉ，Ｂｉ）との距離をエッジ検出信号△iとして求める。
【０１０１】
【数１】
【０１０２】
このエッジ検出信号Δiに対してＳｏｂｅｌオペレーション等の公知のエッジ検知手法を施すことによってエッジ画素を検出する。なお、上記処理によってエッジ画素が検知されない部分が発生した場合にはレベルＲで生成されたＦＣＲ候補情報７０の領域情報７６の輪郭部分をその領域のエッジとする。
【０１０３】
以上のような処理によって、図１７（ｄ）の斜線部分で示すような最終的な均一色領域としてのＦＣＲ８６が抽出される。なお、図１７においてはレベルＲの画像に対して３レベル下位の画像においてエッジ検出を行う場合について示したが、本発明はこれに限定されるものではない。例えば、エッジ検出に用いられるレベルは入力画像と同じ解像度を有するレベル０の画像であっても良い。また、前述したＦＣＲ候補の再判定時に用いられるレベルＰのエッジ画像を利用すれば処理の簡略化が可能となる。
【０１０４】
このようにして最終的なＦＣＲ８６を決定した後、代表色選定処理を行う（ステップ３２２）。この代表色の選定は、例えばＦＣＲ８６内の画素の画素値の平均値を算出することにより行われる。ここで、平均値の算出はレベル０のＲ，Ｇ，Ｂの各画像を用いて行っても良いが、図１９に示すように、境界部８７（図中斜線で示す部分）は境界検出を行ったレベルの画像の画素値を、境界部８７以外の中央部８９（網線部分）ではＦＣＲ候補を抽出したレベルの画像の画素値を用いて算出してもよい。これにより、計算を大幅に簡略化する事が可能となる。また、平均値に限らず、中央値、すなわち一番小さい画素値と一番大きい画素値との中間の値を用いても良い。
【０１０５】
また、図２０には最終的なＦＣＲ８６のＲ，Ｇ，Ｂの色分布計測結果の一例を示した。なお、縦軸は頻度、すなわち画素数を、横軸は画素値をそれぞれ示す。
図２０に示すように、得られた色分布計測結果に対して、所定頻度（図２０においてＴｈで示す位置）に満たない色、すなわち画素数が少ない色はノイズ成分であると判断して平均値算出の対象から除外する。このようにしてＲ，Ｇ，Ｂ各色の平均値を求め、これをＦＣＲ８６の最終的な代表色とする。
【０１０６】
また、平均値算出においては一般に色が混ざり合って濁りが生じてしまう傾向があるので、追加処理として図２１に示したような補正テーブルを用いてコントラスト強調処理を行ってもよい。すなわち、図２１に示すように、補正前の画素値がＸ1以下の画素については画素値を０とし、補正前の画素値がＸ2以上の画素については画素を２５５（すなわち画素値の最大値）とし、補正前の画素値がＸ1〜Ｘ2の範囲の画素については、所定係数を乗算した画素値とする。このような補正を行うことにより色濁りが軽減され、より高画質な画像を得ることができる。
【０１０７】
そして、以上のような処理を全てのＦＣＲに対して施したか否かを判断し（ステップ３２３）、全て終了した場合には、図１３（ｂ）に示した代表色テーブルの代表色情報を上記のようにして求めた代表色の値に更新する。これにより最終的な代表色の選定が終了する。
【０１０８】
以上のような処理によって代表色が求まるが、例えば文書画像中の白や黒といった色は、各画素値をそれぞれＲ＝Ｇ＝Ｂ＝２５５としたりＲ＝Ｇ＝Ｂ＝０として純粋な白や黒で表現するのが好ましい。また、白や黒に限らず、文書で多用される赤や青といった色も、各画素値をＲ＝２５５，Ｇ＝Ｂ＝０やＲ＝Ｇ＝０，Ｂ＝２５５といった純粋な赤や青で表現する事が好まれる場合が多い。
【０１０９】
そこで、このような純色に近い色を純色に置き換えるための特色処理を行う（ステップ３２４）。この特色処理では、前述した代表色選定処理で決定された代表色テーブルを参照し、各代表色と例えば白，黒，赤，青，緑，イエロー，マゼンタ，シアンといった純色との色空間における距離をそれぞれ求めて所定閾値と比較し、所定閾値以下の場合には、代表色が純色と近い色であると判断し、代表色を上記純色の純色値で置き換える。
【０１１０】
このように特色処理をすべての代表色について行うことによりＦＣＲ及び代表色が最終的に決定される。そして、図１５に示した最終的に決定されたＦＣＲ情報７０と代表色番号とが対応付けられ中間画像としてのＦＣＲテーブル９０として画像記憶手段１６に記憶される。
【０１１１】
次に、画像再生成処理が行われる（ステップ３３０）。すなわち、これまでの処理により生成されたＦＣＲ情報７０及び代表色テーブル６６の代表色情報で構成されたＦＣＲテーブル９０を参照して書き込むべき画像情報を生成し、これをレベル０の画像、すなわち入力画像に上書き描画（合成）していくことによって画像再生成が行われる。例えば、図２２に示すようなＦＣＲ領域９２Ａ，９２Ｂ，９２Ｃが存在する場合、これらを順次対応する代表色で入力画像に上書きしていく。このような処理を最終的に生成されたＦＣＲの個数分繰り返すことによってＦＣＲの均一化処理が終了する（ステップ３３１、３３２）。
【０１１２】
以上説明したように、本実施形態では、入力画像より低い解像度の画像を用いて略均一色の領域を抽出し、この抽出した領域の色を均一な色に置き換えるため、文書画像などの比較的広い面積で略均一な色の領域を持つ画像を高画質化することができる。
【０１１３】
［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態では、入力画像及び入力画像を縮小することによって生成された入力画像よりも解像度が低い２種類の画像を用いてＦＣＲの検知及び色の再生成を行う場合について説明する。
【０１１４】
本実施形態では、２種類の解像度の画像のみを扱うため、便宜上、入力画像を下位レベル画像、入力画像を縮小して生成された低解像度画像を上位レベル画像と称して説明する。なお、図２３に示すように、本実施形態では低解像度の変換画像として入力画像を１／１６に縮小した画像を用いた場合について説明するが、本発明はこれに限定されるものではない。また、第１実施形態で説明した処理と同一処理についての詳細な説明は省略する。
【０１１５】
本実施形態では、基本的には第１実施形態で説明した図６、図７に示す処理と同様の処理が行われるが、本実施形態で用いる画像は図２４に示すように入力画像である下位レベル画像９１と、入力画像の１／１６の解像度を有する上位レベル画像９３の２つ（レベル数２）であるため、図２５に示すように、データ構造の変換処理（ステップ３００）では入力画像を１／１６の倍率へ縮小する解像度変換処理（ステップ３０１）を一度行うだけでよい。
【０１１６】
縮小処理は、図２６に示すように、例えば２５６（＝１６×１６）画素の平均値を算出することによって行われる。これにより、図２７に示すような、ヘッダ情報３２及び下位レベル（レベル０）画像９１及び上位レベル（レベル１）画像９３のポインタ情報３４で構成された内部データ構造３０が生成される。
【０１１７】
そして、第１実施形態と同様に、ＦＣＲ候補の抽出処理（ステップ３１０）では、減色処理（ステップ３１１），領域候補抽出処理（ステップ３１２）が上位レベル画像９３に対して行われる。また、領域候補再判定処理（ステップ３１３）では、下位レベル画像９１を参照してＦＣＲ候補領域の再判定処理が行われる。
【０１１８】
次に、最終的なＦＣＲ及び代表色マップの決定処理（ステップ３２０）が行われる。最終的なＦＣＲは、上位レベルで生成された領域形状をより高精細にする為のＦＣＲ境界検出処理（ステップ３２１）によって決定される。
【０１１９】
このＦＣＲ境界検出処理は以下のようにして行われる。図２８（ａ）の斜線部分で示す領域が上位レベル画像９３から生成したＦＣＲ候補領域８０であるとすると、境界検出は、より高い解像度を有する下位レベル画像９１を用いてこのＦＣＲ候補領域８０の境界部分のエッジ要素を検出することによって行われる。図２８（ｂ）の斜線部分で示す領域は、エッジ要素検出対象領域８２を示しており、図２８（ａ）に示すＦＣＲ候補領域８０のエッジ部分の領域、すなわち領域８０Ａ，８０Ｂ，８０Ｃ、８０Ｄに隣接する領域である。このエッジ要素検出対象領域８２においてエッジ検出を行うことにより図２８（ｃ）に示すようなエッジ８４が検出される（図２８（ｃ）において黒色で塗りつぶした部分）。このエッジ検出は上記実施形態で説明したのと同様の処理で行われる。
【０１２０】
以上のような処理によって、図２８（ｄ）に示すような最終的なＦＣＲ８６が抽出される。
【０１２１】
最終的なＦＣＲ８６を決定した後は、代表色選定処理を行う（ステップ３２２）。この代表色の選定は、例えば最終的なＦＣＲ８６の境界となる部分を代表値選定対象領域から除外して行う。例えば、図２８（ｄ）に示したＦＣＲ８６の代表色を再算出する場合には、図２９に示すように境界部（図中斜線で示す部分）以外の領域（網線部分）のみを用いて代表色を決定する。すなわちＦＣＲ８６ではない領域の色に影響されない領域のみを用いて代表色を決定する。このようにして代表色を選定することによって、上位レベル画像９３の画素値を用いて代表色を計算する事ができ、代表色選定処理を大幅に簡略化することができる。
【０１２２】
代表色の選定は、例えば以下のようにして行う。まず上位レベル画像９３において図３０に示すように注目ＦＣＲ８６の境界領域を除外した領域のＲ，Ｇ，Ｂ各画素の色分布計測を行う。次に、Ｒ，Ｇ，Ｂそれぞれの分布の中央となる値（図中点線で示す）を求め、その中央値を代表値に決定する。このような処理を全てのＦＣＲ８６に対して施すことによって代表色の選定が終了する。
【０１２３】
そして、上記実施形態と同様に特色処理（ステップ３２４）、画像再生成（ステップ３３１）が行われて本処理が終了する。
【０１２４】
このように、本実施形態では、異なる２種類の解像度の画像のみを用いて画像処理するため、処理時間を大幅に短縮することができる。
【０１２５】
［第３実施形態］
次に、本発明の第３実施形態について説明する。本発明は、上記実施形態で説明したように、広い面積を有する略同一色の領域であるＦＣＲの色を均一化することによって文書画像をより高品質化するものである。
【０１２６】
しかしながら、文書画像には例えば図３１（ａ）に示すようにＦＣＲ８６内部に文字９５や表・罫線などが存在する場合や、図３１（ｂ）に示すようにＦＣＲ８６の境界を縁取る境界線９７が存在する場合も多い。
【０１２７】
そこで、第３実施形態では、このようなＦＣＲ８６の内部の文書構成要素（以下、ＦＣＲ包含要素と記述する）及びＦＣＲ８６の境界を縁取るような線分要素（以下、ＦＣＲ境界要素と記述する）を検知することにより高品質な文書画像処理を行う場合について説明する。
【０１２８】
まず、本処理の概念について図３２を参照して説明する。図３２に示すように、まず原画像６００からＦＣＲ包含要素・境界要素情報６０２の検出処理を行い、原画像６００とＦＣＲ包含要素・境界要素情報６０２との差分画像６０４を生成する。そして得られた差分画像６０４に対して上記実施形態と同様に、内部データ構造３０の生成、ＦＣＲ候補情報７０の抽出、最終的なＦＣＲ８６の決定が行われる。
【０１２９】
そして、ＦＣＲ包含要素・境界要素情報６０２をマスク情報６０６として用いて、ＦＣＲ８６を原画像６００に対して書き込むことによって文書画像６０８の再生成が完了する。
【０１３０】
次に、具体的な処理について図３３に示すフローチャートを参照して説明する。なお、上記実施形態で説明した処理と同一の処理についてはその詳細な説明を省略する。
【０１３１】
まず、入力画像中の文書構成要素、線分要素を検出しＦＣＲ包含要素・境界要素情報６０２を抽出する（ステップ７００）。文書構成要素、線分要素の検出には種々の公知の方法があるが、本実施形態では、例えば図３４に示すように、浮動二値化処理及びノイズ除去処理によって文書構成要素、線分要素の検出を行っている。浮動二値化処理（ステップ７２０）では、注目画素を中心とする周辺画素の平均色と注目画素の色とを比較し、色の差異が所定閾値を越える画素を検出する。
【０１３２】
この時、参照する周辺画素領域は例えば入力画像の解像度や検出すべき文書構成要素、線分要素の幅によって設定されるが、本発明のようにＦＣＲの均一化を目的する場合、網点や微小ノイズの影響を受けない程度、例えば２５×２５画素領域から５１×５１画素領域まで参照範囲を拡大するのが好ましい。
【０１３３】
次に、孤立ドットの除去処理（ステップ７２２）が行われる。この処理は浮動二値化で誤って検出されたノイズや網点成分を除去する処理であり、検出された注目画素の周辺の５×５画素領域において注目画素の場合と同様に色の差異が所定閾値を超える画素として検出された画素の画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立ドット、すなわちノイズあるいは網点成分と判断して除去する。
【０１３４】
次に、孤立色ドットの除去処理（ステップ７２４）が行われる。この処理は孤立ドットの除去と同じく浮動二値化処理において誤って検出された網点成分を除去する処理であり、検出された注目画素の入力画像における色と周辺５×５画素領域の入力画像における色とを比較し、その差異が所定閾値以内におさまる画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立色ドット、すなわち網点成分と判断して除去する。
【０１３５】
以上のような処理によって得られる２値画像をＦＣＲ包含要素・境界要素情報６０２として画像記憶手段１６に記憶・保持する。
【０１３６】
次に、差分画像６０４の生成が行われる（ステップ７０２）。図３５（ａ）には原画像６００が、図３５（ｂ）には原画像から文字や線成分等が抽出されたＦＣＲ包含要素・境界要素情報６０２が示されている。この図３５（ｂ）に示すＦＣＲ包含要素・境界要素情報６０２を原画像６００から取り除いて図３５（ｃ）に示すような画像６０３を生成し、取り除かれたＦＣＲ包含要素・境界要素情報６０２の部分を周辺画素の画素値から補間した値に置き換えることにより図３５（ｄ）に示すような差分画像６０４を得る。
【０１３７】
なお、図４１（ａ）に示すように３つ以上の異なる色のＦＣＲ８６Ａ，８６Ｂ，８６ＣがＦＣＲ包含要素・境界要素であるエッジ８４を介して接しているような場合には、図４１（ｂ）に示すようにエッジ８４を取り除いた画像を生成し、さらに、取り除かれたエッジ８４の部分の画素を、ＦＣＲ８６Ａ，８６Ｂ，８６Ｃの画素値で置き換えることにより差分画像６０４を生成する。これは、例えばＦＣＲ８６Ａ，８６Ｂ，８６Ｃそれぞれの領域を外側へ向けて、すなわちエッジ８４の中央部へ向けて拡大するようにしてそれぞれの画素値でエッジ８４の画素を置き換えることにより実現することができる。
【０１３８】
そして、このような差分画像６０４に対して上記実施形態と同様に、データ構造の変換（ステップ３００），ＦＣＲ候補の抽出（ステップ３１０）を行う。
【０１３９】
次に、図３６に示すようなＦＣＲ・代表色マップの決定の処理を行う（ステップ３２０）。なお、図３６に示した境界検出（ステップ３２１），代表色選定（ステップ３２２），特色処理（ステップ３２４）は、上記実施形態と同様の処理である為説明は省略し、代表色選定（ステップ３２２）の後に行われるＦＣＲ包含要素・境界要素の確認処理（ステップ７０４）について説明する。
【０１４０】
このＦＣＲ包含要素・境界要素の確認処理では、注目ＦＣＲ候補に包含されるＦＣＲ包含要素・境界要素又は注目ＦＣＲ候補に接するＦＣＲ包含要素・境界要素を参照し、入力画像における該当画素値と代表色選定処理（ステップ３２２）で決定された代表色との差異を確認し、色の差異が所定閾値以下の場合には、そのＦＣＲ包含要素・境界要素はＦＣＲ８６として処理した方が妥当と判断してＦＣＲ包含要素・境界要素情報６０２から除外する。
【０１４１】
最後に上記実施形態と同様に文書画像の再生成（ステップ３３０）が行われるが、本実施形態ではＦＣＲ包含要素・境界要素情報６０２が上記再生成処理のマスク情報６０６として用いられる。すなわち、ＦＣＲ８６の書き込みはＦＣＲ包含要素・境界要素情報６０２を参照しながら行われ、ＦＣＲ包含要素・境界要素と判定されていない画素に対してはＦＣＲ８６の代表色の書き込みを行い、ＦＣＲ包含要素・境界要素と判定されている画素に対しては代表色の書き込みを行わず原画像６００の色情報を保持する。
【０１４２】
以上のような処理によって、図３１（ａ）に示したような文書構成要素及び図３１（ｂ）に示した線分要素に対して良好な高品質化処理が可能となる。
【０１４３】
［第４実施形態］
次に、本発明の第４実施形態について説明する。本実施形態では、上記第３実施形態で説明したマスク画像として用いたＦＣＲ包含要素・境界要素に対して減色処理を施す場合について説明する。
【０１４４】
まず、本処理の概念について図３７を参照して説明する。図３７に示すように、本実施形態では、まず原画像６００からＦＣＲ包含要素・境界要素候補画像６０１が検出される。次に、ＦＣＲ包含要素・境界要素候補画像６０１に対して減色処理を施すことによってＦＣＲ包含要素・境界要素情報６０２を生成し、原画像６００とＦＣＲ包含・境界要素情報６０２との差分画像６０４を生成する。そして得られた差分画像６０４に対して上記第３実施形態で説明したのと同様の処理を施し、内部データ構造３０の生成、ＦＣＲ情報７０の抽出が行われる。
【０１４５】
そして、以上のようにして得られたＦＣＲ包含要素・境界要素情報６０２とＦＣＲ情報７０との整合性を確認し、再生成用のＦＣＲ８６及びＦＣＲ包含要素・境界要素６０６を生成し、原画像６００に対してＦＣＲ８６を書き込んだ画像６０７を生成（合成）する。そして、画像６０７にＦＣＲ包含・境界要素６０６を描画（合成）することによって高品質化された文書画像６０８を得る。
【０１４６】
次に、具体的な処理について図３８、図３９に示すフローチャートを参照して説明する。なお、上記実施形態で説明した処理と同一の処理についてはその詳細な説明を省略する。
【０１４７】
図３８に示すように、まず、入力画像中の文書構成要素、線分要素を検出しＦＣＲ包含要素・境界候補情報６０１を抽出する（ステップ７００）。これは、上記第３実施形態と同様に、浮動二値化処理及びノイズ除去処理によって文書構成要素、線分要素の検出を行う。すなわち、図３９に示すように浮動二値化処理（ステップ７２０）を行い、次に孤立ドットの除去処理（ステップ７２２）を行う。
【０１４８】
次に、減色処理及び孤立色ドットの除去処理が行われる（ステップ７０１）。
まず、ＦＣＲ包含要素・境界候補６０１に対する減色処理（ステップ７２３）は、入力画像中に存在する文字や線分要素中の色のばらつきを低減することを目的とするものである。なお、ステップ７０１の処理は、本発明の除去手段に対応する。
【０１４９】
減色処理は、図７のステップ３１１の処理と同様の処理であり、ＦＣＲ包含要素・境界候補６０１の画素値に対してのみこの処理を行う。次に、上記第３実施形態と同様に孤立色の除去処理が行われる（ステップ７２４）。すなわち、孤立ドットとして検出された注目画素の減色画像における色と注目画素の周辺５×５画素領域の入力画像における色とを比較し、その差が所定閾値以内となる画素の画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立色ドット、すなわち綱点成分であると判断して除去する。
【０１５０】
以上のような処理によって得られるＦＣＲ包含要素・境界要素情報６０２は、図１３に示すような構造の画像データの形式で画像記憶手段１６に記憶・保持される。
【０１５１】
次に、上記第３実施形態と同様に差分画像６０４の生成（ステップ７０２）、データ構造の変換（ステップ３００），ＦＣＲ候補７０の抽出（ステップ３１０）、ＦＣＲ・代表色マップの決定の処理（ステップ３２０）が行われる。なお、図３６に示した境界検出（ステップ３２１），代表色選定（ステップ３２２），特色処理（ステップ３２４）は、上記実施形態と同様の処理である為説明は省略し、代表色選定（ステップ３２２）の後に行われるＦＣＲ包含要素・境界要素の確認処理（ステップ７０４）について説明する。
【０１５２】
このＦＣＲ包含要素・境界要素の確認処理では、注目ＦＣＲ候補に包含されるＦＣＲ包含要素・境界要素又は注目ＦＣＲ候補に接するＦＣＲ包含要素・境界要素を参照し、入力画像における該当画素値と代表色選定処理（ステップ３２２）で決定された代表色との差異を確認し、色の差異が所定閾値以下の場合には、そのＦＣＲ包含要素・境界要素はＦＣＲ８６として処理した方が妥当と判断して包含要素・境界要素情報６０２から除外する。
【０１５３】
また、本実施形態では、さらにＦＣＲ８６の境界の補正が行われる。この補正について図４０を参照して説明する。図４０（ａ）には、前述した線分検出、ノイズ除去、減色処理などの処理（ステップ７００、７０１）により生成されたＦＣＲ包含要素・境界要素６０６であるエッジ８４が示されている（図中、黒く塗りつぶされた画素）。図４０（ｂ）の斜線部分は、境界検出処理（ステップ３２１）で生成されたＦＣＲ８６を示す。この二つの領域はそれぞれ異なるプロセスで検出されているので、入力画像の品質が低く多くのノイズを含む場合や網点成分、テクスチャ構造を有する領域など線分検出・境界検知が難しい箇所においては不整合が生じる事が考えられるが、以下、この不整合について説明する。
【０１５４】
本実施形態では図３７に示したように原画像（入力画像）６００に対してＦＣＲ８６を書き込んで画像６０７を生成し、これにＦＣＲ包含要素・境界要素６０６の描画を行う（合成する）ことにより最終的な文書画像６０８を得ている。この時、図４０（ａ）、（ｂ）のようにＦＣＲ８６及びエッジ８４の検出に不整合があると、図４０（ｃ）に示したように隙間が生じた状態となる。
【０１５５】
ここで、ＦＣＲ８６とエッジ８４との境界付近の白色で表されている画素は、入力画像の画素値が保持されている。ＦＣＲ包含要素・境界要素情報６０２をマスク情報６０６として用いる第３実施形態の場合とは異なり、ここではＦＣＲ８６及びＦＣＲ包含要素・境界要素６０６は減色処理によって均一化されているので、保持される入力画像の画素値や減色処理の過程で決定される代表色によっては、この不整合画素が画像の品質を低下させてしまう。そこで、本実施形態ではＦＣＲ８６にエッジ８４等の境界要素が存在する場合には、図４０（ｄ）に示すようにＦＣＲ８６をその境界要素まで拡張する処理が行われる。すなわち、図４０（ｃ）に示すＦＣＲ８６とエッジ８４との間の隙間の画素をＦＣＲ８６の色で置き換える。
【０１５６】
以上のような処理で得られるＦＣＲ８６を入力画像に書き込み、さらにＦＣＲ包含要素・境界要素６０６を上書きすることにより、図４０（ｅ）に示すような不整合のない文書画像６０８が再生成される（ステップ３３０）。
【０１５７】
なお、検出した線分要素を公知のベクトル変換によりベクトル化し、これを公知のラスタ変換により再度ラスタデータに戻すようにしてもよい。これにより、図４２（ａ）に示すような本来直線で示されるべきエッジ８４が、画像入力の際にノイズなどにより歪んでしまったような場合でも、図４２（ｂ）に示すようにエッジ８４を本来の画像のように直線に戻すことができる。
【０１５８】
以上のような処理により、例えば、文書画像中に存在する赤い文字であっても画素によって微妙に色合いがオレンジ方向やマゼンタ方向にずれていたり、色の濃淡が濃かったり薄かったりする不具合を低減する事が可能となる。また、この処理の効果が最も顕著に現れるのが文書中の黒文字や黒線である。従って、上記実施形態で説明した減色処理では原画像の色分布に基づき頻度の高い色に統合する例を示したが、例えば黒色領域近傍のＦＣＲ包含要素・境界要素のみを抽出するといったように特定色で限定した処理を行うことにより、上述のような減色処理に比べて簡素な処理によって効果的にＦＣＲに内包される黒文字や罫線、ＦＣＲの境界を形成する黒線の高品質化を達成できる。
【０１５９】
【発明の効果】
以上説明したように、本発明は、文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合でも、読み取った画像を高画質化することができる、という効果を有する。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概略構成図である。
【図２】解像度変換について説明するための図である。
【図３】特徴検知処理について説明するための図である。
【図４】特徴検知処理の流れを示すフローチャートである。
【図５】特徴検知処理により設定された属性と解像度との関係について説明するための図である
【図６】画像処理の流れを示すフローチャートである。
【図７】画像処理の詳細な流れを示すフローチャートである。
【図８】具体的な解像度変換について説明するための図である。
【図９】内部データ構造の構成を示す図である。
【図１０】減色処理の流れを示すフローチャートである。。
【図１１】３次元色空間の分割について説明するための図である。
【図１２】３次元色空間の分割について説明するための図である。
【図１３】減色画像のデータ構造を示す図である。
【図１４】領域候補抽出処理の流れを示すフローチャートである。
【図１５】ＦＣＲ候補情報の構造について説明するための図である。
【図１６】領域再判定処理について説明するための図である。
【図１７】ＦＣＲ境界検出処理について説明するための図である。
【図１８】エッジ検出処理について説明するための図である。
【図１９】ＦＣＲの代表色選定処理について説明するための図である。
【図２０】色分布計測結果の一例を示す図である。
【図２１】コントラスト強調処理について説明するための図である。
【図２２】画像の再生成について説明するための図である。
【図２３】解像度変換について説明するための図である。
【図２４】領域再判定処理について説明するための図である。
【図２５】画像処理の流れの一部を示すフローチャートである。
【図２６】解像度変換について説明するための図である。
【図２７】内部データ構造の構成を示す図である。
【図２８】エッジ検出処理について説明するための図である。
【図２９】ＦＣＲの代表色選定処理について説明するための図である。
【図３０】色分布計測結果の一例を示す図である。
【図３１】文書構成要素や線分要素を含む文書画像の一例を示す図である。
【図３２】画像処理の概念について説明するための図である。
【図３３】画像処理の流れを示すフローチャートである。
【図３４】ＦＣＲ包含要素・境界要素候補抽出処理の流れを示すフローチャートである。
【図３５】差分画像の生成について説明するための図である。
【図３６】ＦＣＲ・代表色マップの決定処理の流れを示すフローチャートである。
【図３７】画像処理の概念について説明するための図である。
【図３８】画像処理の流れを示すフローチャートである。
【図３９】画像処理の流れの一部を示すフローチャートである。
【図４０】ＦＣＲ８６の境界の補正について説明するための図である。
【図４１】差分画像の生成について説明するための図である。
【図４２】線分要素のベクトル−ラスタ変換について説明するための図である。
【符号の説明】
１０ 画像処理装置
１２ 画像入力手段
１４ 画像処理手段
１６ 画像記憶手段
１８ 画像表示手段
２０ 画像出力手段
２２ 通信手段
３０ 内部データ構造
６２ 減色画像
７０ ＦＣＲ情報
９０ ＦＣＲテーブル
【発明の属する技術分野】
本発明は、画像処理装置及び記録媒体に関し、特に、カラー原稿の読込みや複写等、デジタルカラー画像処理において高画質化処理が可能な画像処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
近年、スキャナ・複写機・プリンタなどの分野でデジタルカラー機器の発達・普及が目覚ましい。また、パーソナル・コンピュータやワープロソフト等の文書作成環境の進歩・発達もあり、上記のようなデジタルカラー機器を利用するカラー画像再現の分野においては、人物・風景等の自然画像のみならず、主に文字情報やグラフ・図表などから構成される文書画像も重要な処理対象となってきている。
【０００３】
それらの文書画像を自然画像と比較した場合の特徴としては、文書画像の場合は２，３色からせいぜい数十色程度までといった非常に少ない色数で表現されている事、広い面積を有する同一色領域が多く存在する事などがある。このため、元々の原稿の品質、画像の読み込み機器のデバイス特性、階調補正やＭＴＦ補正などの画像処理における過強調等に起因して、本来は同一であるべき色領域におけるノイズや色むらが画像再現を行う際に生じる、という問題がある。
【０００４】
この問題を解決するため、原画像中の色数を減らす所謂減色処理的な手法を用いて色を均一化する方式が各種提案されている。例えば、特開平８−２２５３２号公報には、原画像中に存在する色の成分比率を限定することによって文書画像中に存在するムラを軽減する技術が記載されている。また、特開平１０−２４３２５０号公報には、原画像中の色の分布からフラットに再現するべき色領域とそうでない色領域を設定し、色の補正を行うことによって均一な色領域の再現を向上させる技術が記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術は、何れも各画素単位で色を最も近い色に置き換えたり、或いは補正係数を異ならせたりする処理であり、原画像中に存在する網点成分や微小ノイズの影響を受けやすく、その結果として色数の減少が必ずしも所望領域の均一色化に結びつかない場合があった。また、色の置換に先立って行われる代表色設定も複雑な演算処理が必要とされ、全体として処理規模に対して妥当な処理品質が得られない、という問題があった。
【０００６】
本発明は上記事実に鑑みて成されたものであり、カラー文書画像を高品質化することが可能な画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像を走査読み取りする画像読み取り手段により予め定めた解像度で読み取った入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成する画像生成手段と、前記画像生成手段により生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の画素値を有する領域を候補色領域として少なくとも１つ定める候補領域設定手段と、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成する処理手段と、を有することを特徴とする。
【０００８】
この発明によれば、画像生成手段は、画像を走査読み取りする画像読み取り手段、例えばスキャナなどにより予め定めた解像度で読み取った入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成する。
【０００９】
入力画像を該入力画像の解像度よりも低解像度の変換画像に変換するには、例えば入力画像を複数画素を含む領域で分割し、該領域内の画素平均値を算出し、該算出した画素平均値を前記領域の画素値とすることにより行うことができる。
この低解像度の変換画像は１つ生成してもよいし複数生成してもよい。
【００１０】
ところで、例えば文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合、前記同一色領域において色むらが生じる場合があり、画質が低下する場合がある。このため、同一色領域を抽出し、この領域の色を略均一にすることにより、読み取った画像を元の画像に近づけることが必要となる。
【００１１】
そこで、候補領域設定手段は、前記画像生成手段により生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の画素値を有する領域を候補色領域として少なくとも１つ定める。すなわち、計測した色分布から画素数が少ない色の画素を検出し、これを除外した減色画像を生成する。そして、生成した減色画像に基づいて、前記代表色の領域を候補色領域として定める。これにより、均一な色の領域を精度よく設定することができる。このように、低解像度の変換画像で候補色領域を定めるのは、低解像度の画像では、画像に含まれる文字要素や絵柄要素、前記同一色領域が検出しやすいからである。従って、前記変換画像の解像度は、画像に含まれる文字要素や絵柄要素、同一色領域が検出しやすい解像度に設定される。
【００１２】
処理手段は、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定する。すなわち、低解像度の変換画像で設定した候補色領域の境界は、本来の画像における同一色領域の正確な領域ではないため、低解像度の変換画像より高解像度の画像、例えば入力画像における前記候補色領域に対応する領域又はこれと隣接する領域の画素を参照する。そして、候補色領域又は隣接する領域内に存在する境界を検出し、この境界内を略均一な色の領域である均一色領域として設定し、この均一色領域内の画素の色を例えば同一色で設定する。
【００１４】
そして、処理手段は、設定した均一色領域の画像を入力画像に上書き（合成）する。これにより、文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合でも、読み取った画像を高画質化することができる。
【００１５】
また、画像生成手段は、低解像度の変換画像を１つ生成し、かつ高解像度の画像を入力画像としてもよい。すなわち、入力画像と低解像度の変換画像の２つの画像のみを用いて上記の処理を行う。これにより、処理を簡略化することができる。
【００１７】
また、候補領域設定手段は、候補色領域の大きさ、形状、及び縦横比の少なくとも一つに基づいて候補色領域を再設定するようにしてもよい。すなわち、例えば候補色領域の大きさが小さい場合や形状が複雑な場合、縦横比が大きく、幅が細い場合など、同一色で均一化しても画質の改善が見込めないような場合には、このような候補色領域を除外する。これにより、不必要な領域を均一色化してしまうのを防ぐことができる。
【００１８】
また、候補領域設定手段は、候補色領域の色と高解像度の画像における候補色領域に対応する領域の色との相関関係を求め、該求めた相関関係に基づいて候補色領域を再設定するようにしてもよい。例えば、候補色領域の色と高解像度の画像における候補色領域に対応する領域の色との標準偏差を求め、この標準偏差が所定以上、すなわち実際の画像の色とのばらつきが生じている場合には、このような候補色領域を除外する。これにより、不必要な領域を均一色化してしまうのを防ぐことができる。
【００１９】
また、処理手段は、高解像度の画像における候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定することができる。このエッジ検出には、例えばＳｏｂｅｌオペレーションなどの手法を採用することができる。これにより、精度よく均一色領域を設定することができる。
【００２０】
また、処理手段は、均一色領域内の画素値の平均値を求め、該求めた平均値を均一色領域の色として設定してもよく、均一色領域内の画素値の中央値を求め、該求めた中央値を均一色領域の色として設定してもよい。
【００２１】
また、処理手段は、均一色領域内の画素数が所定以下の画素を除外して均一色領域の色を求めるようにしてもよい。これにより、ノイズなどの影響を防ぐことができる。
【００２２】
また、処理手段は、均一色領域の色を予め定めた所定の純色に置き換えるようにしてもよい。例えば、白、黒、青、赤、緑、黄色などの予め定めた純色に近い色の場合には、これら純色に置換する。これにより鮮明な画像を得ることができる。
【００２３】
また、入力画像から線分要素を抽出する線分要素抽出手段と、入力画像から線分要素を除外した差分画像を生成する差分画像生成手段と、をさらに備え、画像生成手段は、差分画像から該差分画像の解像度より低解像度の変換画像を１つ以上生成し、かつ処理手段は、均一色領域の画像のうち、抽出した線分要素以外の領域の画像を入力画像に合成するようにすることができる。
【００２４】
すなわち、画像中に文字などの線分要素が存在する場合には、この線分要素を除外した差分画像から低解像度の変換画像を１つ以上生成する。そして、候補領域設定手段により、前記画像生成手段により生成された前記低解像度の変換画像の中から選択された予め定めた解像度の変換画像の予め定めた色空間における色分布を計測し、該計測した色分布に基づいて前記予め定めた解像度の変換画像の代表色を求め、前記入力画像の各画素値のうち前記代表色の値と所定範囲内の画素値を前記代表色の値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の領域を候補色領域として少なくとも１つ定める。処理手段は、均一色領域の画像のうち、抽出した線分要素以外の領域の画像を入力画像に合成する。これにより、文字などの線分要素を含む画像においても精度よく均一色領域を設定することができ、高画質化を図ることができる。
【００２５】
また、差分画像生成手段は、差分画像のうち除外された線分要素の領域の画素を、線分要素の周囲の画素で置換するようにしてもよい。例えば、線分要素の周囲の領域が１色の場合はその画素で線分要素の領域を置換すればよい。また、線分要素の周囲の領域がそれぞれ異なる色の場合には、各領域を外側へ拡大するようにして、線分要素の領域の画素を周囲の領域の画素で置き換えればよい。
【００２６】
また、線分要素の色分布を計測し、該計測した色分布に基づいて線分要素の減色画像を生成し、該生成した減色画像に基づいて線分要素中の孤立色の画素を除去する除去手段をさらに備えるようにしてもよい。これにより、線分要素中の色のばらつきを低減することができる。
【００２７】
また、線分要素抽出手段は、予め定めた特定色の線分要素を抽出するようにしてもよい。例えば、黒色のような文書画像で多く用いられる色の線分要素のみを抽出することにより、処理を簡略化することができる。
【００２８】
なお、予め定めた解像度で走査読み取りされた入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成するステップと、生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成するステップと、生成した減色画像に基づいて、前記代表色の領域を候補色領域として少なくとも１つ定めるステップと、前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成するステップと、を含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で上記の処理を実行させることができる。
【００２９】
また、その他の上記各処理についても、これらの処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で実行させることができる。
【００３０】
【発明の実施の形態】
［第１実施形態］
以下、図面を参照して本発明の第１実施形態について説明する。図１には本発明に係る画像処理装置１０の概略ブロック図が示されている。
【００３１】
図１に示すように、画像処理装置１０は、画像入力手段１２、画像処理手段１４、画像記憶手段１６、画像表示手段１８、画像出力手段２０、及び通信手段２２で構成されている。
【００３２】
画像入力手段１２は、画像を入力するためのものであり、例えばフラットベッドスキャナ等のカラー画像入力機器である。画像処理手段１４は、画像入力手段１２で入力した入力画像に対して高画質化のための画像処理を施すためのものである。画像記憶手段１６は、画像入力手段１２から入力されたカラ一原画像や画像処理手段１４によって補正処理されたカラー画像等を蓄積・保持するものである。画像表示手段１８は、画像処理手段１４で補正処理が行われたカラー画像を表示するためのものである。画像出力手段２０は、画像処理手段１４で補正処理が行われたカラー画像を印刷するためのものである。通信手段２２は、画像処理手段１４で補正処理が行われたカラー画像を例えば他の機器へ送信するためのものである。
【００３３】
なお、画像入力手段１２は本発明の画像読み取り手段に対応し、画像処理手段１４は本発明の画像生成手段、候補領域設定手段、処理手段に各々対応する。
【００３４】
このような画像処理装置１０では、処理対象となる例えば用紙上に記録された文書画像は画像入力手段１２で読み込まれる。画像入力手段１２は、読み込んだ画像を例えば１画素当たりＲ，Ｇ，Ｂ各８ビットのフルカラー画像として画像処理手段１４へ出力する。
【００３５】
画像処理手段１４では、入力画像の中で比較的広い面積を持つ略同一な色で表現される領域（以下では、この領域を単にＦＣＲ（Ｆｌａｔ Ｃｏｌｏｒ Ｒｅｇｉｏｎ）と称する）を検知し、ＦＣＲを適切な色で均一化して再生成する処理が行われる。
【００３６】
画像処理手段１４で補正処理が施されたカラー画像は、画像記憶手段１６に蓄積・保持されたり、画像表示手段１８で表示されたり、画像出力手段２０から印刷出力されたり、通信手段２２を介して他のデジタルカラー処理機器へ送信されたりする。
【００３７】
次に、画像処理手段１４における画像処理の詳細について説明する。
【００３８】
まず、本発明の基本的なアイデアについて説明する。本実施形態では、図２に示すような複数レベルの解像度で表現された画像を用いて画像処理を行う。複数レベルのデータ構造への変換は、図２に示すように、入力画像を例えば５０％縮小する処理を繰り返すことによって行われる。
【００３９】
すなわち、入力画像（原画像）の解像度をレベル０として、入力画像に対して１／２（５０％）の縮小処理を施して解像度がレベル１の画像を生成し、さらにレベル１の画像に対して１／２の縮小処理を施して解像度がレベル２の画像を生成し、以後同様にレベル３，レベル４の画像を生成する。従って、レベルが上がるに従って解像度は低下し、逆にレベルが下がるに従って解像度は高くなる。
【００４０】
次に、このようなデータ構造を用いて行われる領域検知処理の概念について説明する。すなわち、「文字」や「絵柄」、そして本発明の画像処理の補正対象である「ＦＣＲ」などの文書画像の構成要素がレベルの異なる画像、すなわち解像度の異なる画像でどのような特徴をもって検知されるかについて説明する。
【００４１】
ここでは、図３に示すように、注目画素２４を中心とする５×５画素の領域を参照域２６として参照し、その空間的な特徴と階調的な特徴を画素単位で判定する特徴検知処理を例とした本発明の基本アイデアを説明する。
【００４２】
空間的な特徴の判定は、注目画素２４が、孤立点や離散ドット等を構成する「ドット要素」、文字、線画、領域の境界を構成する「エッジ要素」、急峻な変化を有さない「平坦部」、の３属性のいずれであるかを判別することによって行われる。また、階調的な特徴の判定は、注目画素２４の近傍に存在する色の数をカウントし、色数の「小」、「中」、「大」を判別することによって行われる。
【００４３】
図４には画像処理手段１４において実行される特徴検知処理のフローチャートを示した。図４に示すように、空間的な特徴量の検知はカラー画像の明暗情報を表す明度信号を用いて行われる。まず、画像入力手段１２から入力されたＲ，Ｇ，Ｂの各画像信号を用いて、以下の演算によって明度信号（明度値）が生成される（ステップ１００）。
【００４４】
明度信号 ＝ ０．３×Ｒ ＋ ０．６×Ｇ ＋ ０．１×Ｂ
次に、注目画素を中心とする例えば５×５画素の明度平均値を算出し、注目画素の明度値との比較を行う。そして、注目画素の明度値が大きければ（画素が暗い）ＯＮ画素、小さければ（画素が明るい）ＯＦＦ画素とする。これを各画素について行うことによって２値画像を生成する（ステップ１０２）。
【００４５】
以上のような処理で生成された２値画像について、注目画素を中心とする５×５近傍画素内のＯＮ画素の数や連結状態を判断し（ステップ１０４）、注目画素に対して「エッジ要素」，「ドット要素」，「平坦部」のいずれかの属性を設定する（ステップ１０６，１０８，１１０）。例えば、隣接する画素がＯＮ画素であり、ＯＮ画素が連結していればエッジ要素、ＯＮ画素の数が所定以下の場合にはドット要素、ＯＦＦ画素の数が所定以上であれば平坦部などと判断することができる。
【００４６】
階調的な特徴量の検知は、前述したように参照域２６内の色数をカウントすることによって行われる。ただし、処理画像に含まれるノイズ成分を考えて、Ｒ，Ｇ，Ｂ各８ビットある階調成分のうち、下位３ビットを削除して上位５ビットのみを用いる（ステップ２００）。
【００４７】
次に、注目画素２４を中心とする５×５画素の参照域２６に存在する色数をカウントし予め設定された閾値と比較する（ステップ２０２）。そして、色数に応じて一例として３段階の属性、すなわち「色数小」，「色数中」，「色数大」のいずれかの属性を設定する（ステップ２０４，２０６，２０８）。
【００４８】
図５には、上記処理により各画素に対して設定される属性が、「文字」や「絵柄」、「ＦＣＲ」などの文書画像の構成要素、及び前記データ構造におけるレベル（解像度）によってどのように変化するかを示した。
【００４９】
図５に示すように、例えば、「文字」要素の場合には、レベルの違いによって色数は変化しないが、レベルが下位（解像度が高い）から上位（解像度が低い）に上がるに従って、空間的な属性は「エッジ要素」→「ドット要素」→「平担部」と変化していく。「絵柄」要素の場合には、レベルが低い場合には網点ドットの影響の為に、階調的な属性は「色数中」，空間的な属性は「ドット要素」と判定されるが、網点が検知されない上位レベルになると、色数が増えてエッジ成分が検出され始め、階調的な属性は「色数大」，空間的な属性は「エッジ要素」と判定されるようになる。
【００５０】
また、「ＦＣＲ」要素の場合には下位レベルにおいては綱点ドットの為に「絵柄」要素と同様に階調的な属性は「色数中」，空間的な属性は「ドット要素」と判定され、網点の影響がなくなったレベルで階調的な属性は「色数小」，空間的な属性は「平担部」と判定されるようになる。さらにレベルが上がり参照領域がＦＣＲの領域境界部を含むようになると階調的な属性は「色数中」，空間的な属性は「エッジ要素」と判定されるようになってくる。もちろん、これらの空間的・階調的な属性は、入力される文書画像の解像度や「文字」・「絵柄」・「ＦＣＲ」の各要素のサイズやレイアウト・デザインなどに依存するが、各文書構成要素から得られる特徴としては概ね同様のものになると考えることができる。
【００５１】
例えば、高解像度の画像に対してＦＣＲの検知処理を行うとすれば、「絵柄」要素と「ＦＣＲ」要素は空間的にも階調的にも非常に類似した特徴を有しているので、精度良くこれを達成することは困難である。しかし、綱点の影響がなくなるまでレベルを上げれば、「絵柄」要素と「ＦＣＲ」要素の空間的・階調的な特徴には大きな差異が生じてくるので高解像度での処理に比べると容易に両者を分離する事が可能となる。
【００５２】
同様に、「文字」要素と「ＦＣＲ」要素の識別についても解像度が高い画像で「文字」要素の「エッジ要素」と「ＦＣＲ」要素の「ドット要素」を識別するよりは、何れかの要素が「平坦部」となる、より上位レベルの画像を用いて領域検知処理するのが好ましい。
【００５３】
本発明はこのような着眼点に基づき、複数レベルの解像度を有する画像データ構造を用いて領域検知処理を行う。これにより、効率良く高画質化することが可能となる。
【００５４】
次に、図６及び図７を参照し、画像処理手段１４で実施される画像処理の流れについて説明する。
【００５５】
図６に画像処理の概略的な処理の流れを示し、図７に画像処理の詳細な流れについて示した。
【００５６】
図６に示すように、まず、入力されたカラー画像は、前述した方法によって画像処理に適した複数レベルの解像度を有する内部データ構造に変換される（ステップ３００）。次に、内部データ構造の所定レベルの画像を用いてＦＣＲの候補領域が抽出される。（ステップ３１０）。次に、ＦＣＲ候補領域の抽出に用いた所定レベルとは異なるレベルの画像データを用いてＦＣＲの再判定を行い、最終的なＦＣＲを生成すると共に各ＦＣＲを再生成する代表色を決定する（ステップ３２０）。最後に、求められたＦＣＲ及び置換すべき代表色の情報に基づいて文書画像中の所定領域を所定同一色で置換して本処理が終了する（ステップ３３０）。
【００５７】
次に、図７を参照して画像処理の詳細な内容について説明する。
【００５８】
図７に示すように、まず、画像入力手段１２から入力された入力画像に対して所定倍率（例えば１／２）の縮小処理を施して低解像度の変換画像を生成し（ステップ３０１）、予め定めた所定回数解像度変換したか否かを判断し（ステップ３０２）、所定回数になるまで解像度変換を繰り返す。この所定回数は、例えばＮ層（Ｎは正数）のレベルの内部データ構造にしたい場合には（Ｎ−１）回となる。すなわち、例えば図２に示すようにレベル０〜レベル３までの４層のレベルのデータ構造としたい場合には、解像度変換を３回行うこととなる。また、生成された各レベルの画像データは、内部データ構造３０として画像記憶手段１６に一次記憶される。
【００５９】
図８には、ステップ３０１において実行される解像度変換の具体例について示した。なお、図中Ａ〜Ｉはそれぞれの画素の画素値を示す。図８（ａ）に示す所定のレベルＫの画像を例えば５０％縮小して図８（ｂ）に示す一つ上位のレベル（Ｋ＋１）の画像を生成するには、図８（ａ）に示すように、縦横２画素ずつ合計４画素を１つのブロック４０とし、このブロック４０内の画素値の平均値、すなわち、Ｅ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４を求め、この求めた平均値Ｅをレベル（Ｋ＋１）の画像の１画素の画素値とする。これをレベルＫの画像全てについて行うことにより、レベルＫの画像を５０％縮小したレベル（Ｋ＋１）の画像が生成される。
【００６０】
同様に、図８（ｂ）に示すレベル（Ｋ＋１）の画像を５０％縮小して図８（ｃ）に示す一つ上位のレベル（Ｋ＋２）の画像を生成するには、図８（ｂ）に示すように、縦横２画素ずつ合計４画素を１つのブロック４２とし、このブロック４２内の画素値の平均値、すなわち、Ｉ＝（Ｅ＋Ｆ＋Ｇ＋Ｈ）／４を求め、この求めた平均値Ｉをレベル（Ｋ＋２）の画像の１画素の画素値とする。これをレベル（Ｋ＋１）の画像全てについて行うことにより、レベル（Ｋ＋１）の画像を５０％縮小したレベル（Ｋ＋２）の画像が生成される。
【００６１】
図９には、このようにして解像度変換を行った結果生成された内部データ構造３０の構成を示した。この内部データ構造３０は、ヘッダ情報３２及びポインタ情報３４で構成されている。
【００６２】
ヘッダ情報３２は、解像度変換で生成される画像の数、すなわちレベル数Ｎ及び画像情報で構成される。画像情報には入力画像の幅・高さ等の情報が含まれる。
【００６３】
ポインタ情報３４は、レベル数Ｎ分のポインタ（アドレス）で構成されている。このポインタは、対応するレベルの画像データ３６、具体的にはＲ，Ｇ，Ｂの各画素値が記憶された領域へのアドレスである。このポインタを参照することにより、対応するレベルの画像データ３６がどのアドレスに格納されているかを知ることができる。
【００６４】
以上のように所定回数の解像度変換が終了して内部データ構造３０が生成されると、ＦＣＲ候補の抽出（ステップ３１０）が実行される。
【００６５】
ＦＣＲ候補の抽出処理は、内部データ構造３０中の所定レベルの画像に対して行われる。ここで、所定レベルとは網点やエッジ、ノイズなどの微細な画像要素の影響が十分に少ない上位レベルの画像であって、例えば入力画像、すなわちレベル０の画像が４００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）程度の解像度を有する場合には所定レベルはレベル４前後とすることが好ましい。なお、以下ではこの所定レベルを便宜上レベルＲと称する。
【００６６】
まず、レベルＲの画像に対する減色処理が行われる（ステップ３１１）。図１０には、減色処理の具体的な処理の流れを示した。なお、ステップ３１１の処理は、本発明の減色画像生成手段に対応する。
【００６７】
図１０に示すように、まずレベルＲのカラー画像に対しては綱点やノイズによる過剰な影響を受けないように、まずビット数の削減処理が行われる（ステップ４００）。例えば、Ｒ，Ｇ，Ｂ各８ビットの計２４ビットで１画素の画素データが構成されている場合、Ｒ，Ｇ，Ｂの各画素データの下位３ビットを切り捨て、上位５ビットの画素データとする。これにより、３２（＝２5）階調の画像データへの変換が行われる。
【００６８】
次に、１画素あたりＲ，Ｇ，Ｂ各５ビット計１５ビットのカラー画像データの出現頻度を３次元的に計測する（ステップ４０２）。すなわち、互いに直交するＲ軸、Ｇ軸、Ｂ軸で定められた３次元色空間における出現頻度を計測する。
【００６９】
次に、色分布計測で得られた３次元色分布データに基づいてＦＣＲを構成する色、すなわち出現頻度の高い色を代表色として選定する。この代表色の選定について図１１及び図１２を参照して説明する。
【００７０】
ここで行う代表色選定処理は、図１１に示したように、互いに直交するＲ軸、Ｂ軸、Ｇ軸で構成された３次元色空間５０を順次８等分に分割した空間を利用して行われる。このように３次元色空間５０を順次分割していくと、図１１に示すように、３次元色空間５０は部分空間５０1〜５０8に分割され、例えば部分空間５０8は部分空間５０81〜５０88に分割される。これをツリー状で表したものを図１２に示す。図１２に示すように、３次元色空間Ａは部分空間Ｂ1〜Ｂ8に８分割され、例えば部分空間Ｂ1は部分空間Ｃ11〜Ｃ18に８分割され、部分空間Ｂ7は部分空間Ｃ71〜Ｃ78に８分割される。また、例えば部分空間Ｃ74は部分空間Ｄ741〜Ｄ748に８分割される。
【００７１】
本実施形態では、一例として図１１、１２に示したような空間分割を４回行うことにより得られる４０９６個の部分空間を用いて代表色を設定する。
【００７２】
まず、Ｒ，Ｇ，Ｂ各５ビットの計１５ビットの精度で行った色分布の計測結果を用いて、注目部分空間に存在する（その部分空間の色を有する）画素の画素数を求め、予め設定された所定閾値と比較する（ステップ４０４）。ここで、画素数が所定閾値以上の場合には、その部分空間を代表色空間候補として画像記憶手段１６に一時記憶すると共に、代表色空間数ｎのカウント・アップを行う（ステップ４０６）。
【００７３】
一方、注目部分空間に属する画素数が所定閾値未満の場合には、注目部分空間に存在する画素の画素数をその注目部分空間の親空間へと統合する（ステップ４０８）。
【００７４】
例えば、図１２において部分空間Ｃ72が注目部分空間であったとした場合、部分空間Ｃ72に存在する画素の画素数が所定閾値以上の場合には、部分空間Ｃ72を代表色空間の候補として記憶する。また、注目部分空間が部分空間Ｃ73であったとした場合に、部分空間Ｃ73に存在する画素の画素数が所定閾値未満の場合には、部分空間Ｃ73の画素を部分空間Ｂ7に属する画素として画素数を統合していく。すなわち部分空間Ｃ73の画素数を部分空間Ｂ7の画素数に加算する。
【００７５】
以上のような判別処理を４０９６個の部分空間全てに対して終了したか否かを判断し（ステップ４１０）、全ての部分空間に対して終了するまで上記の処理を繰り返す。そして、代表色空間数ｎが予め決められた所定閾値以上であるか否かが判断される（ステップ４１２）。
【００７６】
代表色空間数ｎが所定閾値以上の場合には代表色空間の設定処理を終了し、代表色空間数ｎが所定閾値未満の場合には、注目部分空間が予め設定された所定階層の部分空間であるか否かが判断される（ステップ４１４）。そして、注目部分空間が予め設定された所定階層以上の部分空間である場合には代表色空間の設定処理を終了し、注目部分空間が所定階層未満の場合には注目空間を一つ上位の親空間（階層）へと移動して（ステップ４１６）上記と同様の処理を行う。
【００７７】
次に、以上のような処理によって求められた代表色空間候補の情報を用いて代表色の設定を行う。まず、代表色空間候補に属する画素の平均色、すなわちＲ，Ｇ，Ｂの各画素値の平均値を各代表色空間候補全てについて求める（ステップ４１８）。
【００７８】
次に、求められた各代表色空間候補全てについて、Ｒ，Ｇ，Ｂの各画素の平均値の３次元空間における距離を計算し、各々比較する（ステップ４２０）。そして、平均値の差が所定範囲内となる代表色空間候補が存在する場合には、これらは類似色であると判断し、類似色と判断された各代表色空間候補の平均値をさらに求め、これらの代表色空間候補を統合する（ステップ４２２）。このようにして減色処理の代表色が決定される（ステップ４２４）。例えば、代表色空間候補に部分空間Ｃ11，Ｃ12が含まれている場合に、部分空間Ｃ11，Ｃ12の平均値の差が所定範囲内の場合には、部分空間Ｃ11，Ｃ12の平均値を求め、この求めた平均値を代表色候補とする。また、平均値の差が所定範囲内となる代表色空間候補が存在しない場合には、ステップ４１８で求めた各代表色空間の平均値がそのまま代表色となる。
【００７９】
減色処理は１画素あたりＲ，Ｇ，Ｂ各８ビットの入力画像の各画素値と前述した処理によって決定された全代表色を比較することで行われる。まず、注目画素の画素値と、この画素値と最も近い値を有する代表色との差が所定範囲内であるか否かが判断され（ステップ４２６）、所定範囲内であると判断された場合、その注目画素は減色処理の対象であると判断され、画素値として最も近い代表色番号が割り当てられる（ステップ４２８）。
【００８０】
一方、注目画素の画素値と、この画素値と最も近い値を有する代表色との差が所定範囲内でない場合には、その注目画素には割り当てるべき適当な代表色がないものと判断され、減色処理の対象外である事を示すＦＦ（１６進数）が割り当てられる（ステップ４３０）。そして、以上の処理が入力画像の全画素に対して行われたか否かが判断され（ステップ４３２）、全画素に対して行われるまで上記の処理が繰り返される。
【００８１】
このような減色処理が施されることにより、図１３に示すような構造の減色画像６２が生成される。減色画像６２は、図１３（ａ）に示すように、代表色数データ６４、代表色テーブル６６、画像データ６８を含んで構成される。代表色数データ６４で示される代表色数ＮＮ（ＮＮは正数）は上記の処理により決定された代表色の数を示す。代表色テーブル６６は、図１３（ｂ）に示すように、決定された代表色の代表色番号と該代表色番号に対応する代表色情報、すなわちＲ，Ｇ，Ｂの各画素値とが対応付けられたテーブルである。画像データ６８は、図１３（ｃ）に示すような減色処理後の画像データ（１６進数で示す）である。前述したように、減色処理の対象外の画素の画素値は「ＦＦ」となっている。
【００８２】
このような減色処理が行われた後は、領域候補抽出処理が行われる（ステップ３１２）が行われる。この処理は、上記のような処理によって生成された減色画像において同じ代表色に割り当てられた隣接画素を統合してＦＣＲ候補領域を生成するものである。
【００８３】
図１４には領域候補抽出処理の流れを示した。図１４に示すように、本処理では、前述した減色処理によって決定された各代表色に対してそれぞれＦＣＲ候補領域を抽出していく。
【００８４】
まず、生成した減色画像に対して隣接画素色の参照が行われる（ステップ５００）。ここでは、注目画素の色が注目代表色と一致する場合に、注目画素を中心とする３×３画素領域の画素値を各々確認する。一致しない場合には注目画素の色が注目代表色と一致するまで次の画素を参照する。そして、注目画素と同色の画素が隣接しているか否かを判断する（ステップ５０２）。そして、注目画素と同色の画素が隣接している場合には、これを統合する（ステップ５０４）。
【００８５】
注目画素の色と同色の画素が隣接していない場合、又はステップ５０４の統合処理が終了すると、減色処理における割り当て処理の不良を修正する処理が行われる。すなわち、注目画素を中心とする３×３画素領域において、注目代表色と同じ色の注目画素以外の８画素がすべて同色であって、かつ注目画素の色と周囲８画素の色との差が所定範囲内であるか否かが判断される（ステップ５０６）。
【００８６】
そして、注目画素以外の８画素がすべて同色であって、かつ注目画素の色と周囲８画素の色との差が所定範囲外である場合（すなわち注目画素が周囲の画素から孤立した孤立ドットのような場合）には、前述した減色処理における割り当て不良であると判断され、注目画素の色を周囲８画素の色に修正する（ステップ５０８）。すなわち、注目画素を中心とする３×３画素領域の色を全て同一色に設定する。
【００８７】
そして、以上の処理を画像データ全てに対して行ったか否かを判断し（ステップ５１０）、画像データ全てに対して上記の処理を行った場合には、注目代表色を有する領域が１以上存在するか否か、すなわち、ステップ５０４により同一色の画素が統合された領域が存在するか否かが判断される（ステップ５１２）。そして、注目代表色を有する領域が存在する場合には、その領域情報を後述するＦＣＲ候補領域データ７４として画像記憶手段１６に記憶・保持する（ステップ５１４）。
【００８８】
そして、全代表色について上記の処理が終了したか否かを判断し（ステップ５１６）、終了していない場合には次の代表色を設定して（ステップ５１８）、上記と同様の処理を行う。
【００８９】
このような処理により生成されたＦＣＲ候補情報７０の構造を図１５に示す。
ＦＣＲ候補情報７０は、ヘッダ情報７２、候補色領域としてのＦＣＲ候補領域データ７４で構成されている。ヘッダ情報７２は、画像全体に対する情報としてＦＣＲ候補領域数Ｍ（Ｍは正数）や、幅や高さといった画像サイズの情報を含んでいる。ＦＣＲ候補領域データ７４は、Ｍ個分の代表色番号及び領域情報７６へのポインタで構成されている。領域情報７６は、図１５に示すように、例えば代表色番号で示される代表色の画素を‘１’、その他の色の画素を‘０’とした２値画像データとすることができる。なお、２値画像データに限らず、ＦＣＲ候補領域の輪郭部分の画素の座標データとしてもよい。
【００９０】
そして、このようにして生成されたＦＣＲ候補領域に対して領域再判定処理が行われる（図７に示すステップ３１３）。図１６に示すように、領域再判定処理は、ここではレベルＲ以外のレベルの画像、具体的にはレベルＲよりも下位レベルの画像（解像度が高い画像）、例えばレベルＰの画像を用いてＦＣＲ候補領域の再判定を行う。
【００９１】
まず、再判定のポイントとしては、ＦＣＲ候補領域の大きさ及び形状が挙げられる。ＦＣＲは最終的には均一色で再生成する領域であるので、均一化することによる画像品質改善が見込めない小さな領域や幅の細い領域は、ここでＦＣＲ候補から除外される。まず、ＦＣＲ候補情報７０を参照し、領域情報７６に含まれる２値画像データから注目ＦＣＲ候補領域の面積、領域の輪郭、及び領域の縦横比などの領域サイズ特徴量を求める。
【００９２】
次に、これら領域サイズ特徴量を予め設定された所定閾値とそれぞれ比較し、所定条件を満たすか満たさないかを判断する。例えば、ＦＣＲ候補領域のサイズ（面積）が所定以下であるか否かを判断し所定以下の場合、すなわち同一色で均一化することによる画像品質改善が見込めないほど小さい領域である場合にはこのＦＣＲ候補領域を除外対象とする。また、ＦＣＲ候補領域の縦横比が所定以上であるか否かを判断し所定以上の場合、すなわち同一色で均一化することによる画像品質改善が見込めないほどＦＣＲ候補領域の幅が細い場合にはこのＦＣＲ候補領域を除外対象とする。
【００９３】
次に、減色処理を行ったレベルＲの画像において消失している微細な画像成分の確認が行われる。この確認は主に絵柄領域に対する不具合を回避する為に行うものであり、この処理を行うことにより、たまたまレベルＲの画像では検知されなかったエッジ部分やテクスチャ構造等が誤って均一化されてしまう不具合を回避する事が可能となる。
【００９４】
この微細な画像成分の確認は、前述したようにレベルＲよりも下位のレベル、例えば図１６に示すレベルＰの画像において、Ｓｏｂｅｌオペレーションに代表される公知のエッジ検出処理を行い注目ＦＣＲ候補領域におけるエッジ画素数をカウントし、単位面積あたりのエッジ画素数が所定閾値以上の場合には、ＦＣＲ候補領域は絵柄領域を含んでいるものと判断して、このＦＣＲ候補領域を除外対象とする。
【００９５】
最後に、各ＦＣＲ候補領域に割り当てられた代表色が実画像の色に対してどの程度妥当であるかの確認が行われる。この処理は、本来は代表色と全く異なる画素値を持つ画素群が平均化されることによって、代表色に収束していくことの不具合を回避するものであり、図１６に示すようにレベルＲよりも下位レベルの画像の画素値と減色処理されたＦＣＲ候補領域の代表色との標準偏差値を算出し、該算出した標準偏差値が所定閾値以上のばらつきを示す値である場合には、代表色で表現することは不適切な領域であると判断して、このＦＣＲ候補領域を除外対象とする。
【００９６】
このような処理を全てのＦＣＲ候補領域に対して行い、ＦＣＲ候補領域の再判定処理が終了した後、除外対象のＦＣＲ候補データ７４をＦＣＲ候補情報７０から削除してＦＣＲ候補情報７０を更新する。
【００９７】
次に、最終的なＦＣＲ及び代表色マップの決定（図６，７に示すステップ３２０）が行われる。最終的なＦＣＲは、レベルＲで生成された領域形状をより高精細にする為のＦＣＲ境界検出処理（図７に示すステップ３２１）によって決定される。
【００９８】
このＦＣＲ境界検出処理は以下のようにして行われる。例えば図１７（ａ）の斜線部分で示す領域がレベルＲの画像におけるＦＣＲ候補領域８０であるとすると、図１７（ｂ）に示すレベルＲよりも下位レベルの画像を参照し、ＦＣＲ候補領域８０の境界部分のエッジ要素を検出する。ここでは、図１７（ａ），（ｂ）に示すように、レベルＲの画像に対して３レベル下位の画像、すなわち、レベルＲの１つの画素が縦横８分割された解像度が３倍の画像においてエッジ検出を行う場合について説明する。
【００９９】
まず、図１７（ａ）に示すＦＣＲ候補領域８０のエッジ部分の領域、すなわち領域８０Ａ，８０Ｂ，８０Ｃに隣接する領域を、エッジ要素検出対象領域８２とする。このエッジ要素検出対象領域は図１７（ｂ）の斜線部分で示される。そして、エッジ要素検出対象領域８２においてエッジ検出処理を行い、図１７（ｃ）に示すようにエッジ８４（図１７（ｃ）において黒色で塗りつぶした部分）を検出する。
【０１００】
次に、エッジ検出処理について説明する。エッジ検出処理では、明るさだけはなく色味の情報も加味するために、図１８に示すように、注目ＦＣＲ候補の代表色（Ｒｘ，Ｇｘ，Ｂｘ）とエッジ検出処理を行うレベルＰのカラー画像の画素値（Ｒｉ，Ｇｉ，Ｂｉ）との距離をエッジ検出信号△iとして求める。
【０１０１】
【数１】
このエッジ検出信号Δiに対してＳｏｂｅｌオペレーション等の公知のエッジ検知手法を施すことによってエッジ画素を検出する。なお、上記処理によってエッジ画素が検知されない部分が発生した場合にはレベルＲで生成されたＦＣＲ候補情報７０の領域情報７６の輪郭部分をその領域のエッジとする。
【０１０３】
以上のような処理によって、図１７（ｄ）の斜線部分で示すような最終的な均一色領域としてのＦＣＲ８６が抽出される。なお、図１７においてはレベルＲの画像に対して３レベル下位の画像においてエッジ検出を行う場合について示したが、本発明はこれに限定されるものではない。例えば、エッジ検出に用いられるレベルは入力画像と同じ解像度を有するレベル０の画像であっても良い。また、前述したＦＣＲ候補の再判定時に用いられるレベルＰのエッジ画像を利用すれば処理の簡略化が可能となる。
【０１０４】
このようにして最終的なＦＣＲ８６を決定した後、代表色選定処理を行う（ステップ３２２）。この代表色の選定は、例えばＦＣＲ８６内の画素の画素値の平均値を算出することにより行われる。ここで、平均値の算出はレベル０のＲ，Ｇ，Ｂの各画像を用いて行っても良いが、図１９に示すように、境界部８７（図中斜線で示す部分）は境界検出を行ったレベルの画像の画素値を、境界部８７以外の中央部８９（網線部分）ではＦＣＲ候補を抽出したレベルの画像の画素値を用いて算出してもよい。これにより、計算を大幅に簡略化する事が可能となる。また、平均値に限らず、中央値、すなわち一番小さい画素値と一番大きい画素値との中間の値を用いても良い。
【０１０５】
また、図２０には最終的なＦＣＲ８６のＲ，Ｇ，Ｂの色分布計測結果の一例を示した。なお、縦軸は頻度、すなわち画素数を、横軸は画素値をそれぞれ示す。
図２０に示すように、得られた色分布計測結果に対して、所定頻度（図２０においてＴｈで示す位置）に満たない色、すなわち画素数が少ない色はノイズ成分であると判断して平均値算出の対象から除外する。このようにしてＲ，Ｇ，Ｂ各色の平均値を求め、これをＦＣＲ８６の最終的な代表色とする。
【０１０６】
また、平均値算出においては一般に色が混ざり合って濁りが生じてしまう傾向があるので、追加処理として図２１に示したような補正テーブルを用いてコントラスト強調処理を行ってもよい。すなわち、図２１に示すように、補正前の画素値がＸ1以下の画素については画素値を０とし、補正前の画素値がＸ2以上の画素については画素を２５５（すなわち画素値の最大値）とし、補正前の画素値がＸ1〜Ｘ2の範囲の画素については、所定係数を乗算した画素値とする。このような補正を行うことにより色濁りが軽減され、より高画質な画像を得ることができる。
【０１０７】
そして、以上のような処理を全てのＦＣＲに対して施したか否かを判断し（ステップ３２３）、全て終了した場合には、図１３（ｂ）に示した代表色テーブルの代表色情報を上記のようにして求めた代表色の値に更新する。これにより最終的な代表色の選定が終了する。
【０１０８】
以上のような処理によって代表色が求まるが、例えば文書画像中の白や黒といった色は、各画素値をそれぞれＲ＝Ｇ＝Ｂ＝２５５としたりＲ＝Ｇ＝Ｂ＝０として純粋な白や黒で表現するのが好ましい。また、白や黒に限らず、文書で多用される赤や青といった色も、各画素値をＲ＝２５５，Ｇ＝Ｂ＝０やＲ＝Ｇ＝０，Ｂ＝２５５といった純粋な赤や青で表現する事が好まれる場合が多い。
【０１０９】
そこで、このような純色に近い色を純色に置き換えるための特色処理を行う（ステップ３２４）。この特色処理では、前述した代表色選定処理で決定された代表色テーブルを参照し、各代表色と例えば白，黒，赤，青，緑，イエロー，マゼンタ，シアンといった純色との色空間における距離をそれぞれ求めて所定閾値と比較し、所定閾値以下の場合には、代表色が純色と近い色であると判断し、代表色を上記純色の純色値で置き換える。
【０１１０】
このように特色処理をすべての代表色について行うことによりＦＣＲ及び代表色が最終的に決定される。そして、図１５に示した最終的に決定されたＦＣＲ情報７０と代表色番号とが対応付けられ中間画像としてのＦＣＲテーブル９０として画像記憶手段１６に記憶される。
【０１１１】
次に、画像再生成処理が行われる（ステップ３３０）。すなわち、これまでの処理により生成されたＦＣＲ情報７０及び代表色テーブル６６の代表色情報で構成されたＦＣＲテーブル９０を参照して書き込むべき画像情報を生成し、これをレベル０の画像、すなわち入力画像に上書き描画（合成）していくことによって画像再生成が行われる。例えば、図２２に示すようなＦＣＲ領域９２Ａ，９２Ｂ，９２Ｃが存在する場合、これらを順次対応する代表色で入力画像に上書きしていく。このような処理を最終的に生成されたＦＣＲの個数分繰り返すことによってＦＣＲの均一化処理が終了する（ステップ３３１、３３２）。
【０１１２】
以上説明したように、本実施形態では、入力画像より低い解像度の画像を用いて略均一色の領域を抽出し、この抽出した領域の色を均一な色に置き換えるため、文書画像などの比較的広い面積で略均一な色の領域を持つ画像を高画質化することができる。
【０１１３】
［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態では、入力画像及び入力画像を縮小することによって生成された入力画像よりも解像度が低い２種類の画像を用いてＦＣＲの検知及び色の再生成を行う場合について説明する。
【０１１４】
本実施形態では、２種類の解像度の画像のみを扱うため、便宜上、入力画像を下位レベル画像、入力画像を縮小して生成された低解像度画像を上位レベル画像と称して説明する。なお、図２３に示すように、本実施形態では低解像度の変換画像として入力画像を１／１６に縮小した画像を用いた場合について説明するが、本発明はこれに限定されるものではない。また、第１実施形態で説明した処理と同一処理についての詳細な説明は省略する。
【０１１５】
本実施形態では、基本的には第１実施形態で説明した図６、図７に示す処理と同様の処理が行われるが、本実施形態で用いる画像は図２４に示すように入力画像である下位レベル画像９１と、入力画像の１／１６の解像度を有する上位レベル画像９３の２つ（レベル数２）であるため、図２５に示すように、データ構造の変換処理（ステップ３００）では入力画像を１／１６の倍率へ縮小する解像度変換処理（ステップ３０１）を一度行うだけでよい。
【０１１６】
縮小処理は、図２６に示すように、例えば２５６（＝１６×１６）画素の平均値を算出することによって行われる。これにより、図２７に示すような、ヘッダ情報３２及び下位レベル（レベル０）画像９１及び上位レベル（レベル１）画像９３のポインタ情報３４で構成された内部データ構造３０が生成される。
【０１１７】
そして、第１実施形態と同様に、ＦＣＲ候補の抽出処理（ステップ３１０）では、減色処理（ステップ３１１），領域候補抽出処理（ステップ３１２）が上位レベル画像９３に対して行われる。また、領域候補再判定処理（ステップ３１３）では、下位レベル画像９１を参照してＦＣＲ候補領域の再判定処理が行われる。
【０１１８】
次に、最終的なＦＣＲ及び代表色マップの決定処理（ステップ３２０）が行われる。最終的なＦＣＲは、上位レベルで生成された領域形状をより高精細にする為のＦＣＲ境界検出処理（ステップ３２１）によって決定される。
【０１１９】
このＦＣＲ境界検出処理は以下のようにして行われる。図２８（ａ）の斜線部分で示す領域が上位レベル画像９３から生成したＦＣＲ候補領域８０であるとすると、境界検出は、より高い解像度を有する下位レベル画像９１を用いてこのＦＣＲ候補領域８０の境界部分のエッジ要素を検出することによって行われる。図２８（ｂ）の斜線部分で示す領域は、エッジ要素検出対象領域８２を示しており、図２８（ａ）に示すＦＣＲ候補領域８０のエッジ部分の領域、すなわち領域８０Ａ，８０Ｂ，８０Ｃ、８０Ｄに隣接する領域である。このエッジ要素検出対象領域８２においてエッジ検出を行うことにより図２８（ｃ）に示すようなエッジ８４が検出される（図２８（ｃ）において黒色で塗りつぶした部分）。このエッジ検出は上記実施形態で説明したのと同様の処理で行われる。
【０１２０】
以上のような処理によって、図２８（ｄ）に示すような最終的なＦＣＲ８６が抽出される。
【０１２１】
最終的なＦＣＲ８６を決定した後は、代表色選定処理を行う（ステップ３２２）。この代表色の選定は、例えば最終的なＦＣＲ８６の境界となる部分を代表値選定対象領域から除外して行う。例えば、図２８（ｄ）に示したＦＣＲ８６の代表色を再算出する場合には、図２９に示すように境界部（図中斜線で示す部分）以外の領域（網線部分）のみを用いて代表色を決定する。すなわちＦＣＲ８６ではない領域の色に影響されない領域のみを用いて代表色を決定する。このようにして代表色を選定することによって、上位レベル画像９３の画素値を用いて代表色を計算する事ができ、代表色選定処理を大幅に簡略化することができる。
【０１２２】
代表色の選定は、例えば以下のようにして行う。まず上位レベル画像９３において図３０に示すように注目ＦＣＲ８６の境界領域を除外した領域のＲ，Ｇ，Ｂ各画素の色分布計測を行う。次に、Ｒ，Ｇ，Ｂそれぞれの分布の中央となる値（図中点線で示す）を求め、その中央値を代表値に決定する。このような処理を全てのＦＣＲ８６に対して施すことによって代表色の選定が終了する。
【０１２３】
そして、上記実施形態と同様に特色処理（ステップ３２４）、画像再生成（ステップ３３１）が行われて本処理が終了する。
【０１２４】
このように、本実施形態では、異なる２種類の解像度の画像のみを用いて画像処理するため、処理時間を大幅に短縮することができる。
【０１２５】
［第３実施形態］
次に、本発明の第３実施形態について説明する。本発明は、上記実施形態で説明したように、広い面積を有する略同一色の領域であるＦＣＲの色を均一化することによって文書画像をより高品質化するものである。
【０１２６】
しかしながら、文書画像には例えば図３１（ａ）に示すようにＦＣＲ８６内部に文字９５や表・罫線などが存在する場合や、図３１（ｂ）に示すようにＦＣＲ８６の境界を縁取る境界線９７が存在する場合も多い。
【０１２７】
そこで、第３実施形態では、このようなＦＣＲ８６の内部の文書構成要素（以下、ＦＣＲ包含要素と記述する）及びＦＣＲ８６の境界を縁取るような線分要素（以下、ＦＣＲ境界要素と記述する）を検知することにより高品質な文書画像処理を行う場合について説明する。
【０１２８】
まず、本処理の概念について図３２を参照して説明する。図３２に示すように、まず原画像６００からＦＣＲ包含要素・境界要素情報６０２の検出処理を行い、原画像６００とＦＣＲ包含要素・境界要素情報６０２との差分画像６０４を生成する。そして得られた差分画像６０４に対して上記実施形態と同様に、内部データ構造３０の生成、ＦＣＲ候補情報７０の抽出、最終的なＦＣＲ８６の決定が行われる。
【０１２９】
そして、ＦＣＲ包含要素・境界要素情報６０２をマスク情報６０６として用いて、ＦＣＲ８６を原画像６００に対して書き込むことによって文書画像６０８の再生成が完了する。
【０１３０】
次に、具体的な処理について図３３に示すフローチャートを参照して説明する。なお、上記実施形態で説明した処理と同一の処理についてはその詳細な説明を省略する。
【０１３１】
まず、入力画像中の文書構成要素、線分要素を検出しＦＣＲ包含要素・境界要素情報６０２を抽出する（ステップ７００）。文書構成要素、線分要素の検出には種々の公知の方法があるが、本実施形態では、例えば図３４に示すように、浮動二値化処理及びノイズ除去処理によって文書構成要素、線分要素の検出を行っている。浮動二値化処理（ステップ７２０）では、注目画素を中心とする周辺画素の平均色と注目画素の色とを比較し、色の差異が所定閾値を越える画素を検出する。
【０１３２】
この時、参照する周辺画素領域は例えば入力画像の解像度や検出すべき文書構成要素、線分要素の幅によって設定されるが、本発明のようにＦＣＲの均一化を目的する場合、網点や微小ノイズの影響を受けない程度、例えば２５×２５画素領域から５１×５１画素領域まで参照範囲を拡大するのが好ましい。
【０１３３】
次に、孤立ドットの除去処理（ステップ７２２）が行われる。この処理は浮動二値化で誤って検出されたノイズや網点成分を除去する処理であり、検出された注目画素の周辺の５×５画素領域において注目画素の場合と同様に色の差異が所定閾値を超える画素として検出された画素の画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立ドット、すなわちノイズあるいは網点成分と判断して除去する。
【０１３４】
次に、孤立色ドットの除去処理（ステップ７２４）が行われる。この処理は孤立ドットの除去と同じく浮動二値化処理において誤って検出された網点成分を除去する処理であり、検出された注目画素の入力画像における色と周辺５×５画素領域の入力画像における色とを比較し、その差異が所定閾値以内におさまる画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立色ドット、すなわち網点成分と判断して除去する。
【０１３５】
以上のような処理によって得られる２値画像をＦＣＲ包含要素・境界要素情報６０２として画像記憶手段１６に記憶・保持する。
【０１３６】
次に、差分画像６０４の生成が行われる（ステップ７０２）。図３５（ａ）には原画像６００が、図３５（ｂ）には原画像から文字や線成分等が抽出されたＦＣＲ包含要素・境界要素情報６０２が示されている。この図３５（ｂ）に示すＦＣＲ包含要素・境界要素情報６０２を原画像６００から取り除いて図３５（ｃ）に示すような画像６０３を生成し、取り除かれたＦＣＲ包含要素・境界要素情報６０２の部分を周辺画素の画素値から補間した値に置き換えることにより図３５（ｄ）に示すような差分画像６０４を得る。
【０１３７】
なお、図４１（ａ）に示すように３つ以上の異なる色のＦＣＲ８６Ａ，８６Ｂ，８６ＣがＦＣＲ包含要素・境界要素であるエッジ８４を介して接しているような場合には、図４１（ｂ）に示すようにエッジ８４を取り除いた画像を生成し、さらに、取り除かれたエッジ８４の部分の画素を、ＦＣＲ８６Ａ，８６Ｂ，８６Ｃの画素値で置き換えることにより差分画像６０４を生成する。これは、例えばＦＣＲ８６Ａ，８６Ｂ，８６Ｃそれぞれの領域を外側へ向けて、すなわちエッジ８４の中央部へ向けて拡大するようにしてそれぞれの画素値でエッジ８４の画素を置き換えることにより実現することができる。
【０１３８】
そして、このような差分画像６０４に対して上記実施形態と同様に、データ構造の変換（ステップ３００），ＦＣＲ候補の抽出（ステップ３１０）を行う。
【０１３９】
次に、図３６に示すようなＦＣＲ・代表色マップの決定の処理を行う（ステップ３２０）。なお、図３６に示した境界検出（ステップ３２１），代表色選定（ステップ３２２），特色処理（ステップ３２４）は、上記実施形態と同様の処理である為説明は省略し、代表色選定（ステップ３２２）の後に行われるＦＣＲ包含要素・境界要素の確認処理（ステップ７０４）について説明する。
【０１４０】
このＦＣＲ包含要素・境界要素の確認処理では、注目ＦＣＲ候補に包含されるＦＣＲ包含要素・境界要素又は注目ＦＣＲ候補に接するＦＣＲ包含要素・境界要素を参照し、入力画像における該当画素値と代表色選定処理（ステップ３２２）で決定された代表色との差異を確認し、色の差異が所定閾値以下の場合には、そのＦＣＲ包含要素・境界要素はＦＣＲ８６として処理した方が妥当と判断してＦＣＲ包含要素・境界要素情報６０２から除外する。
【０１４１】
最後に上記実施形態と同様に文書画像の再生成（ステップ３３０）が行われるが、本実施形態ではＦＣＲ包含要素・境界要素情報６０２が上記再生成処理のマスク情報６０６として用いられる。すなわち、ＦＣＲ８６の書き込みはＦＣＲ包含要素・境界要素情報６０２を参照しながら行われ、ＦＣＲ包含要素・境界要素と判定されていない画素に対してはＦＣＲ８６の代表色の書き込みを行い、ＦＣＲ包含要素・境界要素と判定されている画素に対しては代表色の書き込みを行わず原画像６００の色情報を保持する。
【０１４２】
以上のような処理によって、図３１（ａ）に示したような文書構成要素及び図３１（ｂ）に示した線分要素に対して良好な高品質化処理が可能となる。
【０１４３】
［第４実施形態］
次に、本発明の第４実施形態について説明する。本実施形態では、上記第３実施形態で説明したマスク画像として用いたＦＣＲ包含要素・境界要素に対して減色処理を施す場合について説明する。
【０１４４】
まず、本処理の概念について図３７を参照して説明する。図３７に示すように、本実施形態では、まず原画像６００からＦＣＲ包含要素・境界要素候補画像６０１が検出される。次に、ＦＣＲ包含要素・境界要素候補画像６０１に対して減色処理を施すことによってＦＣＲ包含要素・境界要素情報６０２を生成し、原画像６００とＦＣＲ包含・境界要素情報６０２との差分画像６０４を生成する。そして得られた差分画像６０４に対して上記第３実施形態で説明したのと同様の処理を施し、内部データ構造３０の生成、ＦＣＲ情報７０の抽出が行われる。
【０１４５】
そして、以上のようにして得られたＦＣＲ包含要素・境界要素情報６０２とＦＣＲ情報７０との整合性を確認し、再生成用のＦＣＲ８６及びＦＣＲ包含要素・境界要素６０６を生成し、原画像６００に対してＦＣＲ８６を書き込んだ画像６０７を生成（合成）する。そして、画像６０７にＦＣＲ包含・境界要素６０６を描画（合成）することによって高品質化された文書画像６０８を得る。
【０１４６】
次に、具体的な処理について図３８、図３９に示すフローチャートを参照して説明する。なお、上記実施形態で説明した処理と同一の処理についてはその詳細な説明を省略する。
【０１４７】
図３８に示すように、まず、入力画像中の文書構成要素、線分要素を検出しＦＣＲ包含要素・境界候補情報６０１を抽出する（ステップ７００）。これは、上記第３実施形態と同様に、浮動二値化処理及びノイズ除去処理によって文書構成要素、線分要素の検出を行う。すなわち、図３９に示すように浮動二値化処理（ステップ７２０）を行い、次に孤立ドットの除去処理（ステップ７２２）を行う。
【０１４８】
次に、減色処理及び孤立色ドットの除去処理が行われる（ステップ７０１）。
まず、ＦＣＲ包含要素・境界候補６０１に対する減色処理（ステップ７２３）は、入力画像中に存在する文字や線分要素中の色のばらつきを低減することを目的とするものである。なお、ステップ７０１の処理は、本発明の除去手段に対応する。
【０１４９】
減色処理は、図７のステップ３１１の処理と同様の処理であり、ＦＣＲ包含要素・境界候補６０１の画素値に対してのみこの処理を行う。次に、上記第３実施形態と同様に孤立色の除去処理が行われる（ステップ７２４）。すなわち、孤立ドットとして検出された注目画素の減色画像における色と注目画素の周辺５×５画素領域の入力画像における色とを比較し、その差が所定閾値以内となる画素の画素数をカウントし、該カウントした画素数が所定閾値以下の場合にはその画素が孤立色ドット、すなわち綱点成分であると判断して除去する。
【０１５０】
以上のような処理によって得られるＦＣＲ包含要素・境界要素情報６０２は、図１３に示すような構造の画像データの形式で画像記憶手段１６に記憶・保持される。
【０１５１】
次に、上記第３実施形態と同様に差分画像６０４の生成（ステップ７０２）、データ構造の変換（ステップ３００），ＦＣＲ候補７０の抽出（ステップ３１０）、ＦＣＲ・代表色マップの決定の処理（ステップ３２０）が行われる。なお、図３６に示した境界検出（ステップ３２１），代表色選定（ステップ３２２），特色処理（ステップ３２４）は、上記実施形態と同様の処理である為説明は省略し、代表色選定（ステップ３２２）の後に行われるＦＣＲ包含要素・境界要素の確認処理（ステップ７０４）について説明する。
【０１５２】
このＦＣＲ包含要素・境界要素の確認処理では、注目ＦＣＲ候補に包含されるＦＣＲ包含要素・境界要素又は注目ＦＣＲ候補に接するＦＣＲ包含要素・境界要素を参照し、入力画像における該当画素値と代表色選定処理（ステップ３２２）で決定された代表色との差異を確認し、色の差異が所定閾値以下の場合には、そのＦＣＲ包含要素・境界要素はＦＣＲ８６として処理した方が妥当と判断して包含要素・境界要素情報６０２から除外する。
【０１５３】
また、本実施形態では、さらにＦＣＲ８６の境界の補正が行われる。この補正について図４０を参照して説明する。図４０（ａ）には、前述した線分検出、ノイズ除去、減色処理などの処理（ステップ７００、７０１）により生成されたＦＣＲ包含要素・境界要素６０６であるエッジ８４が示されている（図中、黒く塗りつぶされた画素）。図４０（ｂ）の斜線部分は、境界検出処理（ステップ３２１）で生成されたＦＣＲ８６を示す。この二つの領域はそれぞれ異なるプロセスで検出されているので、入力画像の品質が低く多くのノイズを含む場合や網点成分、テクスチャ構造を有する領域など線分検出・境界検知が難しい箇所においては不整合が生じる事が考えられるが、以下、この不整合について説明する。
【０１５４】
本実施形態では図３７に示したように原画像（入力画像）６００に対してＦＣＲ８６を書き込んで画像６０７を生成し、これにＦＣＲ包含要素・境界要素６０６の描画を行う（合成する）ことにより最終的な文書画像６０８を得ている。この時、図４０（ａ）、（ｂ）のようにＦＣＲ８６及びエッジ８４の検出に不整合があると、図４０（ｃ）に示したように隙間が生じた状態となる。
【０１５５】
ここで、ＦＣＲ８６とエッジ８４との境界付近の白色で表されている画素は、入力画像の画素値が保持されている。ＦＣＲ包含要素・境界要素情報６０２をマスク情報６０６として用いる第３実施形態の場合とは異なり、ここではＦＣＲ８６及びＦＣＲ包含要素・境界要素６０６は減色処理によって均一化されているので、保持される入力画像の画素値や減色処理の過程で決定される代表色によっては、この不整合画素が画像の品質を低下させてしまう。そこで、本実施形態ではＦＣＲ８６にエッジ８４等の境界要素が存在する場合には、図４０（ｄ）に示すようにＦＣＲ８６をその境界要素まで拡張する処理が行われる。すなわち、図４０（ｃ）に示すＦＣＲ８６とエッジ８４との間の隙間の画素をＦＣＲ８６の色で置き換える。
【０１５６】
以上のような処理で得られるＦＣＲ８６を入力画像に書き込み、さらにＦＣＲ包含要素・境界要素６０６を上書きすることにより、図４０（ｅ）に示すような不整合のない文書画像６０８が再生成される（ステップ３３０）。
【０１５７】
なお、検出した線分要素を公知のベクトル変換によりベクトル化し、これを公知のラスタ変換により再度ラスタデータに戻すようにしてもよい。これにより、図４２（ａ）に示すような本来直線で示されるべきエッジ８４が、画像入力の際にノイズなどにより歪んでしまったような場合でも、図４２（ｂ）に示すようにエッジ８４を本来の画像のように直線に戻すことができる。
【０１５８】
以上のような処理により、例えば、文書画像中に存在する赤い文字であっても画素によって微妙に色合いがオレンジ方向やマゼンタ方向にずれていたり、色の濃淡が濃かったり薄かったりする不具合を低減する事が可能となる。また、この処理の効果が最も顕著に現れるのが文書中の黒文字や黒線である。従って、上記実施形態で説明した減色処理では原画像の色分布に基づき頻度の高い色に統合する例を示したが、例えば黒色領域近傍のＦＣＲ包含要素・境界要素のみを抽出するといったように特定色で限定した処理を行うことにより、上述のような減色処理に比べて簡素な処理によって効果的にＦＣＲに内包される黒文字や罫線、ＦＣＲの境界を形成する黒線の高品質化を達成できる。
【０１５９】
【発明の効果】
以上説明したように、本発明は、文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合でも、読み取った画像を高画質化することができる、という効果を有する。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概略構成図である。
【図２】解像度変換について説明するための図である。
【図３】特徴検知処理について説明するための図である。
【図４】特徴検知処理の流れを示すフローチャートである。
【図５】特徴検知処理により設定された属性と解像度との関係について説明するための図である
【図６】画像処理の流れを示すフローチャートである。
【図７】画像処理の詳細な流れを示すフローチャートである。
【図８】具体的な解像度変換について説明するための図である。
【図９】内部データ構造の構成を示す図である。
【図１０】減色処理の流れを示すフローチャートである。。
【図１１】３次元色空間の分割について説明するための図である。
【図１２】３次元色空間の分割について説明するための図である。
【図１３】減色画像のデータ構造を示す図である。
【図１４】領域候補抽出処理の流れを示すフローチャートである。
【図１５】ＦＣＲ候補情報の構造について説明するための図である。
【図１６】領域再判定処理について説明するための図である。
【図１７】ＦＣＲ境界検出処理について説明するための図である。
【図１８】エッジ検出処理について説明するための図である。
【図１９】ＦＣＲの代表色選定処理について説明するための図である。
【図２０】色分布計測結果の一例を示す図である。
【図２１】コントラスト強調処理について説明するための図である。
【図２２】画像の再生成について説明するための図である。
【図２３】解像度変換について説明するための図である。
【図２４】領域再判定処理について説明するための図である。
【図２５】画像処理の流れの一部を示すフローチャートである。
【図２６】解像度変換について説明するための図である。
【図２７】内部データ構造の構成を示す図である。
【図２８】エッジ検出処理について説明するための図である。
【図２９】ＦＣＲの代表色選定処理について説明するための図である。
【図３０】色分布計測結果の一例を示す図である。
【図３１】文書構成要素や線分要素を含む文書画像の一例を示す図である。
【図３２】画像処理の概念について説明するための図である。
【図３３】画像処理の流れを示すフローチャートである。
【図３４】ＦＣＲ包含要素・境界要素候補抽出処理の流れを示すフローチャートである。
【図３５】差分画像の生成について説明するための図である。
【図３６】ＦＣＲ・代表色マップの決定処理の流れを示すフローチャートである。
【図３７】画像処理の概念について説明するための図である。
【図３８】画像処理の流れを示すフローチャートである。
【図３９】画像処理の流れの一部を示すフローチャートである。
【図４０】ＦＣＲ８６の境界の補正について説明するための図である。
【図４１】差分画像の生成について説明するための図である。
【図４２】線分要素のベクトル−ラスタ変換について説明するための図である。
【符号の説明】
１０ 画像処理装置
１２ 画像入力手段
１４ 画像処理手段
１６ 画像記憶手段
１８ 画像表示手段
２０ 画像出力手段
２２ 通信手段
３０ 内部データ構造
６２ 減色画像
７０ ＦＣＲ情報
９０ ＦＣＲテーブル
Claims (14)
- 画像を走査読み取りする画像読み取り手段により予め定めた解像度で読み取った入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成する画像生成手段と、
前記画像生成手段により生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成する減色画像生成手段を含み、生成した減色画像に基づいて、前記代表色の画素値を有する領域を候補色領域として少なくとも１つ定める候補領域設定手段と、
前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成する処理手段と、
を有する画像処理装置。 - 前記画像生成手段は、前記低解像度の変換画像を１つ生成し、かつ前記高解像度の画像は前記入力画像であることを特徴とする請求項１記載の画像処理装置。
- 前記候補領域設定手段は、前記候補色領域の大きさ、形状、及び縦横比の少なくとも一つに基づいて前記候補色領域を再設定することを特徴とする請求項１又は請求項２記載の画像処理装置。
- 前記候補領域設定手段は、前記候補色領域の色と前記高解像度の画像における前記候補色領域に対応する領域の色との相関関係を求め、該求めた相関関係に基づいて候補色領域を再設定することを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
- 前記相関関係は標準偏差であることを特徴とする請求項４記載の画像処理装置。
- 前記処理手段は、前記均一色領域内の画素値の平均値を求め、該求めた平均値を前記均一色領域の色として設定することを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
- 前記処理手段は、前記均一色領域内の画素値の中央値を求め、該求めた中央値を前記均一色領域の色として設定することを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
- 前記処理手段は、前記均一色領域内の画素数が所定以下の画素を除外して前記均一色領域の色を求めることを特徴とする請求項６又は請求項７に記載の画像処理装置。
- 前記処理手段は、前記均一色領域の色を予め定めた所定の純色に置き換えることを特徴とする請求項６乃至請求項８の何れか１項に記載の画像処理装置。
- 前記入力画像から線分要素を抽出する線分要素抽出手段と、前記入力画像から前記線分要素を除外した差分画像を生成する差分画像生成手段と、をさらに備え、前記画像生成手段は、前記差分画像から該差分画像の解像度より低解像度の変換画像を１つ以上生成し、かつ前記処理手段は、前記均一色領域の画像のうち、抽出した線分要素以外の領域の画像を前記入力画像に合成することを特徴とする請求項１乃至請求項９の何れか１項に記載の画像処理装置。
- 前記差分画像生成手段は、前記差分画像のうち除外された線分要素の領域の画素を、前記線分要素の周囲の画素で置換することを特徴とする請求項１０記載の画像処理装置。
- 前記線分要素の色分布を計測し、該計測した色分布に基づいて前記線分要素の減色画像を生成し、該生成した減色画像に基づいて前記線分要素中の孤立色の画素を除去する除去手段をさらに備えた請求項１０又は請求項１１記載の画像処理装置。
- 前記線分要素抽出手段は、予め定めた特定色の線分要素を抽出することを特徴とする請求項１０乃至請求項１２の何れか１項に記載の画像処理装置。
- 予め定めた解像度で走査読み取りされた入力画像に基づいて、該入力画像の解像度より低解像度の変換画像を１つ以上生成するステップと、
生成された前記変換画像から選択された一つの選択変換画像に対応した色空間における色分布を計測し、該計測した色分布に基づいて前記選択変換画像の代表色を求め、前記選択変換画像の各画素値のうち前記代表色の画素値を含む所定範囲内の画素値を前記代表色の画素値で置換した減色画像を生成するステップと、
生成した減色画像に基づいて、前記代表色の領域を候補色領域として少なくとも１つ定めるステップと、
前記入力画像の解像度以下で且つ前記選択変換画像より高解像度の画像における前記候補色領域に対応する領域のエッジを検出し、該検出したエッジで囲まれる領域を均一色領域として設定し、設定した前記均一色領域の画像を前記入力画像の前記均一色領域に対応する領域に合成するステップと、
を含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US655314 | 2000-09-05 | ||
| US09/655,314 US6873436B1 (en) | 2000-09-05 | 2000-09-05 | Image processing device and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002142128A JP2002142128A (ja) | 2002-05-17 |
| JP4568459B2 true JP4568459B2 (ja) | 2010-10-27 |
Family
ID=24628394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001269404A Expired - Fee Related JP4568459B2 (ja) | 2000-09-05 | 2001-09-05 | 画像処理装置及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6873436B1 (ja) |
| JP (1) | JP4568459B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020001096A1 (en) * | 2000-04-28 | 2002-01-03 | Kenro Hama | Image processor for detecting specified pattern |
| US6873436B1 (en) * | 2000-09-05 | 2005-03-29 | Fuji Xerox Co., Ltd. | Image processing device and recording medium |
| JP2004048379A (ja) * | 2002-07-11 | 2004-02-12 | Murata Mach Ltd | 画像処理装置 |
| US20040126011A1 (en) * | 2002-12-27 | 2004-07-01 | Chung-Wei Cheng | Image scanning method |
| JP2004264920A (ja) * | 2003-02-26 | 2004-09-24 | Sony Corp | サムネイル画像を作成すると共にサイズ変更された画像の画像品質を改善する装置及び方法 |
| US20070236707A1 (en) * | 2006-04-06 | 2007-10-11 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method and image processing program |
| US8000535B2 (en) * | 2007-06-18 | 2011-08-16 | Sharp Laboratories Of America, Inc. | Methods and systems for refining text segmentation results |
| US9131213B2 (en) * | 2007-09-07 | 2015-09-08 | Evertz Microsystems Ltd. | Method of generating a blockiness indicator for a video signal |
| JP4973603B2 (ja) * | 2008-06-03 | 2012-07-11 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
| JP5137759B2 (ja) * | 2008-09-18 | 2013-02-06 | キヤノン株式会社 | 画像処理装置 |
| JP4725636B2 (ja) * | 2008-11-19 | 2011-07-13 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| JP4528857B2 (ja) * | 2008-12-24 | 2010-08-25 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| JP5312166B2 (ja) * | 2009-04-13 | 2013-10-09 | キヤノン株式会社 | 画像処理装置及び制御方法及びプログラム |
| JP5300639B2 (ja) * | 2009-07-23 | 2013-09-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、及びプログラム |
| JP5455038B2 (ja) * | 2009-12-28 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5500996B2 (ja) * | 2010-01-06 | 2014-05-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| EP2761863B1 (en) | 2011-09-27 | 2019-08-28 | Hewlett-Packard Development Company, L.P. | Detecting printing defects |
| JP5779552B2 (ja) * | 2012-06-27 | 2015-09-16 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
| EP3096294B1 (en) * | 2015-03-31 | 2019-07-24 | Brother Kogyo Kabushiki Kaisha | Computer program, image processing apparatus, and method for improving quality of image data |
| JP6569307B2 (ja) * | 2015-06-03 | 2019-09-04 | 大日本印刷株式会社 | 画像処理装置及びプログラム |
| JP6953178B2 (ja) * | 2017-05-22 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP7301517B2 (ja) * | 2018-10-29 | 2023-07-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP7049292B2 (ja) * | 2019-06-18 | 2022-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7074171B2 (ja) * | 2020-09-17 | 2022-05-24 | 株式会社リコー | 画像処理装置、画像投影装置、および画像処理方法 |
| JP2022139237A (ja) * | 2021-03-11 | 2022-09-26 | キヤノン株式会社 | 情報処理装置とプログラム及び画像処理方法 |
| JP2022139238A (ja) | 2021-03-11 | 2022-09-26 | キヤノン株式会社 | 画像処理システム及び画像処理方法 |
| JP2022139239A (ja) * | 2021-03-11 | 2022-09-26 | キヤノン株式会社 | 情報処理装置とプログラム及び画像処理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165562A (ja) * | 1998-11-30 | 2000-06-16 | Murata Mach Ltd | 通信端末装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5050984A (en) * | 1983-05-09 | 1991-09-24 | Geshwind David M | Method for colorizing footage |
| US4606625A (en) * | 1983-05-09 | 1986-08-19 | Geshwind David M | Method for colorizing black and white footage |
| US4720745A (en) * | 1983-06-22 | 1988-01-19 | Digivision, Inc. | Method and apparatus for enhancing video displays |
| JP2746692B2 (ja) * | 1989-10-09 | 1998-05-06 | 富士通株式会社 | 色画像データ処理装置 |
| US5202933A (en) * | 1989-12-08 | 1993-04-13 | Xerox Corporation | Segmentation of text and graphics |
| US5598184A (en) * | 1992-03-27 | 1997-01-28 | Hewlett-Packard Company | Method and apparatus for improved color recovery in a computer graphics system |
| JP3293920B2 (ja) * | 1993-01-22 | 2002-06-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US5504846A (en) * | 1993-12-16 | 1996-04-02 | International Business Machines Corporation | Method and apparatus for improved area demarcation in bit mapped image derived from multi-color bit mapped image |
| EP0885520A1 (en) * | 1996-03-05 | 1998-12-23 | Telefonaktiebolaget Lm Ericsson | Progressive image coding |
| JP3405078B2 (ja) * | 1996-07-19 | 2003-05-12 | 栗田工業株式会社 | 糸状性バルキングの抑制方法 |
| JPH1166327A (ja) * | 1997-06-12 | 1999-03-09 | Canon Inc | 画像処理方法および画像処理装置および記録媒体 |
| US6094232A (en) * | 1998-11-25 | 2000-07-25 | Kabushiki Kaisha Toshiba | Method and system for interpolating a missing pixel using a motion vector |
| JP2000261647A (ja) * | 1999-03-04 | 2000-09-22 | Fuji Xerox Co Ltd | 画像処理装置 |
| KR100343223B1 (ko) * | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
| US6674925B1 (en) * | 2000-02-08 | 2004-01-06 | University Of Washington | Morphological postprocessing for object tracking and segmentation |
| US6873436B1 (en) * | 2000-09-05 | 2005-03-29 | Fuji Xerox Co., Ltd. | Image processing device and recording medium |
-
2000
- 2000-09-05 US US09/655,314 patent/US6873436B1/en not_active Expired - Lifetime
-
2001
- 2001-09-05 JP JP2001269404A patent/JP4568459B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165562A (ja) * | 1998-11-30 | 2000-06-16 | Murata Mach Ltd | 通信端末装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002142128A (ja) | 2002-05-17 |
| US6873436B1 (en) | 2005-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4568459B2 (ja) | 画像処理装置及び記録媒体 | |
| JP4568460B2 (ja) | 画像処理装置及び記録媒体 | |
| EP0899685B1 (en) | Image processing apparatus for discriminating image field of original document plural times and method therefor | |
| EP0550243B1 (en) | Color image processing | |
| CN100438563C (zh) | 图像处理装置、方法、图像形成装置、图像读取处理装置 | |
| JP3748172B2 (ja) | 画像処理装置 | |
| US7411699B2 (en) | Method and apparatus to enhance digital image quality | |
| US20040017579A1 (en) | Method and apparatus for enhancement of digital image quality | |
| CN101098387A (zh) | 图像处理设备和图像处理方法 | |
| CN100477722C (zh) | 图像处理装置、图像形成装置、图像读取处理装置及方法 | |
| JP4764903B2 (ja) | テキストマップの中からライン構造を検出する方法および画像処理装置 | |
| JPH1084475A (ja) | 画像領域判別方法および画像処理装置 | |
| CN101140437A (zh) | 图像形成装置、图像形成方法和记录介质 | |
| US5539866A (en) | Method and apparatus for accurately rendering half-bitted image pixels | |
| JP2008092447A (ja) | 画像処理装置、画像出力装置、および画像処理方法 | |
| JP4140519B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| JP3073837B2 (ja) | 画像領域分離装置及び画像領域分離方法 | |
| JP3952188B2 (ja) | 画像補間装置、画像補間方法および画像補間プログラム | |
| JP2006031245A (ja) | ディジタル画像の輪郭追跡による画像処理方法並びに画像処理装置 | |
| US7295344B2 (en) | Image processing method and image processing apparatus, program and recording medium, and image forming apparatus | |
| JP2006074809A (ja) | 画像処理装置および画像処理方法 | |
| JPS6359272A (ja) | 画像処理装置 | |
| JP3854060B2 (ja) | 画像処理装置、画像形成装置、画像処理方法及び記録媒体 | |
| JPH09238256A (ja) | 画像処理方法及び画像処理装置 | |
| JP4086537B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080619 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4568459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |