JP5595141B2 - 画像処理装置及びその制御方法、並びに、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置に関するものであり、特に入力された文書の出力方法を変換することができる画像処理装置に関するものである。

カラー文書にて、ある文字領域を白黒以外の色を用いて出力（以下、色情報を用いた出力という）することで、その文字領域を文書内で強調して出力する（以下、強調出力という）方法がある。

従来、このような強調出力された文字領域を有するカラー文書が白黒変換された際、白黒変換前にある文字領域が強調出力されていた事を示す情報を保つ技術があった。具体的には、カラー文書時に文字領域に用いられていた色を抽出し、当該文字領域のサイズを色毎に予め決められたサイズへ変換する（特許文献１参照）。

また、コンピュータ上で作成されるデジタル文書内にて、赤の色情報を用いて強調出力された文字領域に対して、この色情報を用いず下線や網掛けを施して変換することで、色が判別できない条件下であっても対象領域を強調表現する機能がある。（非特許文献１参照）。

特開平７−１２１７３３号公報

富士ゼロックス ＤｏｃｕＣｅｎｔｒｅ−ＩＶ Ｃ２２６０ カタログ Ｐ．７（２０１０年）

デジタル文書内において色情報を用いて他の領域よりも目立つように強調出力されていた文字領域に対して色情報を用いずに強調表現する際、元の文字サイズを変更することがある。この際、出力時に使用可能な領域やレイアウトの制限により、対象文字領域を強調表現することが難しい場合がある。

例えば、色情報を用いずに強調表現する際、強調対象の文字領域に対して網掛けを行う。この対象の文字領域を有する画像が縮小され、文字領域内の文字部のサイズも縮小されると、強調出力するために施された網掛けの修飾が、文字部の視認性を落とす場合がある。

また、文字領域に対して複数の色を使い分けた文書を、色情報を用いることなく各対象文字領域を強調するためのパターンを使用した文書に変換する場合、各色に対して異なった変換を実施するにはユーザが手作業で各色に対する変換方法を指定する必要がある。このため、ユーザの操作が非常に煩雑になる。

本発明はこれらの問題を解決するために、色情報を用いず強調出力したい対象の文字領域を出力する際に適切なパターンを用いて強調出力し、また、強調表現しても視認性が低下しないように画像を修飾する画像処理装置を提供するものである。

上記課題を解決するために、本発明における画像処理装置は、入力画像の出力方法を選択する選択手段と、前記入力画像から文字領域を検出する検出手段と、
前記選択手段により前記入力画像が有する色より少ない色を用いて前記検出手段により検出された文字領域を出力する出力方法が選択された場合、前記文字領域に対して修飾を施す際にどの文字領域を優先して修飾するのかを示す優先度を前記文字領域に対して設定する設定手段と、前記設定手段により設定された優先度に応じて決められる修飾パターンを用いて該文字領域に修飾を行う修飾手段と、
前記入力画像が有する色より少ない色を用いて前記修飾手段により修飾された文字領域を出力する出力手段とを有することを特徴とする。

本発明によれば、入力時に用いられていた色よりも少ない色で画像を出力する上に、文字の縮小等が伴う印刷設定の変更する際、画像内に存在する文字領域に対して、予め設定された修飾パターンを用いて修飾することができる。これにより、入力時に比べ文字サイズが縮小され、出力時に用いることができる色の数が減り、入力時に用いられていた色が変換されても、変換前に修飾対象となる文字領域が強調されていたという情報、文字領域の文字部が示す情報を保持して出力することができる。

また、ユーザは文字領域の出力方法を変換した際の機能を容易に操作可能である。さらにユーザは、必要に応じて任意に強調出力方法を指示することも可能になる。よって柔軟で操作性の高い装置を提供することができる。

デジタル複合機に搭載される制御システム構成を示す図。 文字領域修飾処理部５００の内部構成。 文字領域修飾処理全体の流れを示すフローチャート。 文字領域特性解析処理を示すフローチャート。 文字領域修飾方法決定処理を示すフローチャート。 修飾処理を示すフローチャート。 画像の処理経過を説明するための図。 修飾パターンの優先度の一例。 文字特徴優先情報の一例。 （ａ）文字解析結果の一例、（ｂ）文字解析結果の一例。 同一ルール適用範囲を定義したテーブル一例。 （ａ）コピーの基本操作画面の一例、（ｂ）カラー選択操作画面の一例、（ｃ）白黒変換時文字領域修飾機能設定画面の一例、（ｄ）手動設定画面の一例。 操作の流れを示すフローチャート。 文字領域修飾方法決定処理を示すフローチャート。 （ａ）修飾パターンの優先度（誤差拡散法適用向け）の例、（ｂ）修飾パターンの優先度（スクリーン法適用向け）の例、（ｃ）修飾パターンの優先度（カラー画像を電子データとして外部へ送付時）。

以下、本発明を実施するための形態について図面を用いて説明する。

［第１の実施形態］
本実施形態では画像処理装置としてデジタル複合機を用いる。なお、画像処理装置として用いる装置はデジタル複合機に限らず、以下に示すような構成を有していればよい。

図１は本実施例を適用するのに好適なデジタル複合機に搭載される制御システム構成を示している。コントローラユニット１００は、画像入力装置であるスキャナ２００や画像出力装置であるプリンタ３００と接続し、一方ではＬＡＮ６００や電話回線７００と接続することで、画像データやデバイス情報の入出力を行いシステム全体の制御を行う。ＣＰＵ１０３はデジタル複合機全体を制御するコントローラとして機能する。操作部Ｉ／Ｆ１０４は操作部４００とのインターフェース部で、操作部４００上の図示しない表示部に出力するための画像データを操作部４００に対して出力する。また、操作部４００からユーザが入力した情報をＣＰＵ１０３に伝える役割をする。ネットワークＩ／Ｆ１０５はＬＡＮ６００に接続し、情報の入出力を行う。モデム１０６は電話回線７００に接続し、データ送受信を行うための変調復調処理を行う。記憶部１０７は画像データや、圧縮されたデータを格納するためのものであり、ＣＰＵ１０３が動作するためのシステムワークメモリ等も含まれる。以上のデバイスがシステムバス１０１上に配置される。イメージバスＩ／Ｆ１１０はシステムバス１０１と画像データを高速で転送するイメージバス１０２を接続し、データ構造を変換するバスブリッジである。イメージバス１０２は、ＰＣＩバスまたはＩＥＥＥ１３９４などの高速バスで構成される。圧縮／解凍処理部１０８は画像データを各々所定の圧縮方法により圧縮、解凍を行う。解像度変換部１０９は、指定された倍率に応じて画像データの各画素の値を元に所定の補間演算で、画像の拡大または縮小を行う。デバイスＩ／Ｆ１１１は、画像入出力装置であるスキャナ２００やプリンタ３００とコントローラユニット１００を接続し、画像データの同期系／非同期系の変換を行う。入力画像処理部１１２は、スキャナ２００で取得した画像データに対し補正、加工、編集を施しその後のプリント出力または画像送信に適した処理を行う。出力画像処理部１１３は、画像データに対して、主にプリンタ３００で出力するのに適した補正とデータ変換を行う。文字領域修飾処理部５００は、入力した画像内の修飾処理対象領域の抽出、修飾パターンの決定および対象領域の文字領域修飾処理を行う。なお、文字領域修飾処理部５００で実施する処理の詳細は後述する。スキャナ２００は原稿を照明し、ＣＣＤラインセンサを走査するなどして、原稿上の画像を表す電気信号に変換、デジタル画像データを生成する。プリンタ３００は、画像データを用紙上の画像として出力する。その方式は感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。

図２は文字領域修飾処理部５００の内部構成を示している。文字領域検出部５０１は画像データ内で修飾変換処理対象の候補となる文字領域を検出する。文字領域解析部５０２は、文字領域検出部５０１で検出された文字領域を解析し、その後の文字領域修飾処理に必要な情報を取得する。修飾パターン決定部５０３は、文字領域解析部５０２で取得した情報をもとに文字領域検出部５０１で検出された各文字領域の修飾パターンを決定する。パターン修飾処理部５０４は、修飾パターン決定部５０３の結果を元に、各文字領域に対して文字領域修飾のための画像処理を実施する。

ここからは、本実施例のポイントとなる処理を、図３から図６のフローチャートで詳細に説明する。なお、処理の具体例を示すために図７を用いる。

図７（ａ）は、本実施形態の説明に好適な入力文書の例であり、各単語において文字サイズ、文字色が異なる画像である。この画像はカラー文書であり、各文字領域における文字部が色情報を有しており、黒色以外の色を用いて記載されている文字領域は、黒色を用いて記載されている文字領域より、画像内で強調して出力（強調出力）されている。

ここでは、Ｊａｎｕａｒｙ、Ｍａｒｃｈ、Ｍａｙ、Ｏｃｔｏｂｅｒが赤色を用いて記載されている。

また、Ｆｅｂｒｕａｒｙ、Ｄｅｃｅｍｂｅｒが緑色を用いて記載されており、Ａｐｒｉｌ、Ｓｅｐｔｅｍｂｅｒは青色を用いて記載されている。それ以外の文字は黒色を用いて記載されている。

また、色以外にも、文字部のフォントサイズを変更して出力が行われている。

ここでは、Ａｐｒｉｌ、Ｊｕｎｅはフォントサイズ大であり、Ｆｅｂｒｕａｒｙ、Ｓｅｐｔｅｍｂｅｒ、Ｄｅｃｅｍｂｅｒがフォントサイズ中であり、それ以外の文字はフォントサイズ小である。

このような入力カラー画像を、元々用いていた色よりも少ない色を用いて文書を出力（例えば、カラー文書を白黒変換して出力）する際、文字領域が変換前には強調出力されていたという情報を、変換後の文書にも保持させたい。このため本実施例では、文字領域に対して下線や網掛けで修飾を施して出力を行う。

さらに、この、出力時に入力画像が縮小された上に修飾が施されたために、文字領域内の文字部の視認性が落ちて文字部のそのものの情報が欠落しないよう、変換後の文書でも修飾された文字部のデータは保持させたい。

このような２点（強調していたという情報、文字部が示す情報）を、画像サイズが縮小され、採用可能な色情報が減った後も欠落させずに画像を出力させるため、以下の文字領域修飾という処理を行う。

すなわち、画像を入力時に用いられていた色よりも少ない色を用いて出力する出力方法が選択されて、入力画像を縮小して出力する際、文字の視認性を保ったまま、文字領域に対して強調出力されていたことを表現するために以下に示す文字領域修飾を行う。

図３は文字領域修飾処理部５００における文字領域修飾処理の流れを示すフローチャートである。なお、本フローにかかる文字領域修飾処理部５００のプログラムは、記憶部１０７に記憶され、不図示のＲＡＭによって読み出されＣＰＵ１０３によって実行される。

ステップＳ１０では、文字領域検出部５０１が入力した画像内における文字領域を検出する。ここで、入力画像がページ記述言語（ＰＤＬ）から展開された画像である場合には、ＰＤＬ情報から文字領域情報を取得する。入力画像が例えばスキャナ２００で取得したスキャン画像など文字領域情報を持たないデータである場合には、検出を行うための画像処理後にある閾値で２値化を行った画像から文字と推測される領域を抽出する方法等、既知の方法により文字領域を検出する。ここでの文字領域検出方法は特に限定しない。

図７（ｂ）には、検出された各文字領域を破線で示している。次にステップＳ２０で、文字領域解析部５０２が文字領域ごとの特性解析を行う。この処理の詳細は図４を用いて後述する。ステップＳ３０では、修飾パターン決定部５０３が、ステップＳ２０で得た特性解析情報に基づき、各文字領域の修飾パターンを決定する。この処理の詳細は図５を用いて後述する。ステップＳ４０では、パターン修飾処理部５０４が各文字領域に、ステップＳ３０で決められた修飾パターンに従って処理する。この処理の詳細は図６を用いて後述する。

（文字領域特性解析）
図４は、ステップＳ２０の文字領域特性解析の詳細を示すフローチャートである。まず、図３のステップＳ１０で検出された各文字領域を対象に、文字領域内に存在する文字部の表現に用いられる色や文字領域に施された色（マーカー）、文字領域を修飾する下線等、文字領域を修飾している要素を検出する。そして、検出して得られた情報を図１０（ａ）にまとめる。ここでは例としてステップＳ２１ではカラーで表現された文字領域、ステップＳ２２ではカラーの下線等を引かれた文字領域を検出する。

検出方法は、例えば文字領域内の文字部の各画素値や文字部の隣接領域の画素値を解析して、上記の文字部を出力する際に用いられる色や文字領域を修飾する下線を出力する際に用いられるの色を判断する。この判断に関して本実施形態では、既存のどの方式を取っても構わないためここでの詳細な説明は省略する。この解析結果から図１０（ａ）の「文字色」を示す列に相当する情報が得られる。

図１０（ａ）の「文字色」情報は、説明を簡素化するために、赤、青、緑、黒で示している。しかしこの時点での情報としては、代表色を表す画素値、例えばＲｅｄ，Ｂｌｕｅ，Ｇｒｅｅｎ各色８ビットで表されるデータを情報として保持する形式でも構わない。次に、ステップＳ２３で、各文字領域において検出した文字色、下線色を既定の閾値で分類し、同色の文字領域、同色の下線で修飾された文字領域等を同一のグループとする。「文字色」情報が画素値で保持されている場合は、例えば概ね「赤」と判定されるべきＲｅｄ，Ｂｌｕｅ，Ｇｒｅｅｎの各画素値による組み合わせの範囲が予め決められていて、その範囲内の代表値を持つ文字領域は「赤文字」に分類される。例えば、Ｒ≧１２８かつＧ≦３２かつＢ≦３２なら、赤文字に分類される。

図１０（ａ）の「色による分類」を示す列はその結果であり、図７（ｃ）は分類された領域を視覚的に示している。この例では、グループＡ〜Ｄの４つのグループに分類されている。次に、ステップＳ２４では、ステップＳ２３で作成されたグループ毎に、グループ内における最小の文字サイズの情報を取得する。そして、取得した情報を図１０（ｂ）にまとめる。まず、図１０（ａ）の「サイズ」を示す列のように各文字領域の文字部のサイズである文字サイズを取得し、分類されてグループ化された各分類内における文字サイズのうち最小の文字サイズを判断し、図１０（ｂ）の「分類内最小文字サイズ」に示す情報を得る。ここで文字サイズは、入力画像がＰＤＬ情報であれば各文字のフォントサイズから得ることができる。入力画像がスキャン画像等のサイズ情報を持たないデータである場合には、文字領域内にある文字部を一文字ずつ切り出し、それらの面積から相対的なサイズ情報を得る。文字部の切り出し方は特に限定しない既存の技術を用いる。ステップＳ２５では、各文字領域の特徴を取得し、ステップＳ２３で決定された分類方法によって分類された各グループに含まれる文字部のタイプ情報を取得する。各文字領域の特徴は、例えば、漢字／かな／アルファベット／数字等の種別や、領域内で文字部を形成する画素の割合から求められる文字密度（文字領域あたりの文字数）を取得するのが望ましい。

（文字領域修飾方法決定）
次に、文字領域修飾方法を決定する処理の詳細を説明する。
修飾時には、下線部、二重下線、囲み、という優先順に縮小処理時修飾パターンを用いて、文字領域を修飾する。図８は文字領域が検出された際、複数記憶されている修飾パターンから、文字領域が縮小された時に修飾を行うために用いるパターンを決める際に参照する図である。これは予め設定され、装置内に保持されている必要がある。図８に示すように、下線や網掛け等の複数記憶されている修飾パターンから、検出された文字領域の修飾に採用する修飾パターンの「優先度情報」が記載されている。図８に示す例では、元の文字領域（画像の出力方法を変換する前の文字領域）に対して視認性への影響が少ない修飾パターンを優先的に採用する。即ち、強調出力する文字領域に対して下線を引くという修飾パターンは、文字部自体へ情報を重ね合わせる操作が無い。そのため、視認性が低下する要因にならずに、変換後も変換前に文字部が示していた情報を欠落させずに保持できるパターンであると考えられる。

よって、この「下線」という修飾パターンは、文字領域の修飾パターンに採用する優先度を最が高く設定されている。一方で、文字部を反転させて強調する修飾パターンは、強調効果は高い。（反転とは、例えば、文字部を白地に黒色で記載されていた場合、黒地に白色で文字部を記載する処理を意味する。）しかし、強調出力する領域における文字部の文字サイズが小さい場合や文字部が画数の多い漢字である場合（つまり、文字領域における文字部の占める割合が高い）場合には視認性が著しく低下する可能性があると考えられる。視認性が低下すると、変換後に文字部が示す情報を欠落させてしまう可能性がある。よって、「反転」という修飾パターンは、文字領域の修飾パターンに採用する優先度を低く設定されている。

よって図８の「修飾パターン優先度情報」によると、視認性を低下させない修飾パターン順（下線、二重下線、囲み・・・といった順）に文字領域の修飾のための修飾パターン優先度設定が行われる。

そして、図９は、修飾に採用される優先度に応じた修飾パターンをどの様な分類に対して使用するのかという事について決める際に参照する図である。これは予め設定され、装置に保持されている必要がある。また、この設定された順位は、デフォルトで設定されている。また、この設定値はユーザによって設定可能である。

この図９は、更に具体的には、分類後の文字領域を修飾する際どのような優先度で修飾パターンを選んでいて修飾するかについて、予め設定された情報が記載されている「修飾対象優先度」である。

この例では、最小文字サイズ、文字色、文字種、文字数といった文字領域類が有する特性を用いられている。そして、各特性において優先度の高低の基準が保持されている。これは、最小文字サイズについての特性では、画像中における文字領域において最も文字サイズが小さい文字部を含むグループに修飾パターンの割り当て時、図８に示す修飾パターン優先度が高いパターンを用いて修飾するように設定することを表している。

同様に、文字種が漢字である分類、文字数が多い分類ほど修飾パターン優先度での順位が高い修飾パターンを用いて修飾を行うよう設定されている。

これは、文字領域に占める文字部の割合が高いものは、反転や網掛けのような優先度の低い修飾パターンを用いて変換すると、視認性が悪くなり、文字部が示す情報を欠落させる可能性が高くなるためである。

逆に、文字種が英数字や文字数が少ないものは、反転や網掛けをしても視認性が悪くなり難いため、パターン優先度設定の順位が低い修飾パターンを用いて修飾を行うよう設定されている。

また、文字色についての特性では、変換前の文字の色が緑、青、赤の順に優先して修飾パターンを決める。これは、カラー文書では赤色を用いて記載された文字領域を強調して表現することが多いので、この変換前「強調していた」という情報を変換後も出力画像に保持させるため、赤色を優先的に修飾する。一般的に、カラー文書内で文字領域を強調出力する際、赤色を用いることが多く、次に青色、緑色、と図９では設定されているが、どの色を強調出力効果が高い色として判断し、優先的に修飾するかはユーザが予め設定可能である。
このようにしてどの対象文字領域を優先的に修飾するのかを予め設定する修飾対象優先度設定が行われる。

図５は、ステップＳ３０の文字領域修飾パターン決定の詳細処理を示すフローチャートである。なお、本フローにかかる修飾パターン決定部５０３のプログラムは、記憶部１０７に記憶され、不図示のＲＡＭによって読み出されＣＰＵ１０３によって実行される。まずステップＳ３１で、図３のステップＳ２０で取得した文字領域の特性解析情報を取得する。その情報と図８、図９に示す情報を参照して、ステップＳ３２で各分類されたグループ化された文字領域に対する修飾順を決定する。つまり図９を用いて修飾対象優先度を決定する。

図７の例では、まず、グループ内における文字領域が有する文字部の最小の文字サイズ同士を比較する。この結果、文字サイズ「小」を含むグループＡの文字領域とグループＤの文字領域が、修飾対象となる文字領域のうち優先度１位の候補として抽出される。しかし、グループＤの文字領域は文字色が「黒」であるため、ここでは修飾対象から外される。（白黒変換以前のカラー出力時から「黒」を用いて出力をしていた文字は、もともと修飾対象ではないため対象から除外される）。よって、グループＡの文字領域が修飾対象優先度１位に決定される。次に、最小文字サイズが「中」であるグループＢの文字領域とグループＣの文字領域が修飾対象優先度２位候補となる。それらの文字色と図９を参照すると、グループＣの「青」を用いた文字領域がグループＢの「緑」を用いた文字領域よりも修飾対象優先度が高い。よってグループＣの文字領域が優先度２位、グループＢの文字領域が優先度３位に決定される。これらの解析から最終的に、図１０（ｂ）の「優先度」列に示されるように優先度が決定される。

ステップＳ３３で各修飾優先度を有する分類された各グループに対して修飾パターンを決定する。ステップＳ３３では、ステップＳ３２で決定された優先度（図１０（ｂ）の「修飾対象優先度」列）と、修飾パターン優先度（図８）から、各グループにおける文字領域を修飾するパターンを決定する。図７の例では、グループＡの文字領域が修飾パターン優先度１位の「下線」、グループＢにおける文字領域が修飾パターン優先度３位の「囲み」、グループＣにおける文字領域が修飾パターン優先度２位の「二重下線」で修飾するように情報が生成される。

（文字領域の修飾処理）
図６は、実際に各文字領域の修飾処理を実施するフローチャートである。
本フローにかかるパターン修飾処理部５０４のプログラムは、記憶部１０７に記憶され、不図示のＲＡＭによって読み出されＣＰＵ１０３によって実行される。入力画像に対して、ステップＳ４１で処理対象の分類されたグループＡに対応する文字領域を選択する。そして、ステップＳ４２でこのグループにおける文字領域の修飾方法である「下線」の情報を取得し、ステップＳ４３で、対象領域の修飾処理を実施する。この際、グループＡにおける文字領域のカラー出力時のデジタル文書は赤い文字であるため、白黒変換により、赤い文字を形成する画素を黒に変換する。

本実施形では白黒出力を行うよう選択されたとするので、変換対象文字領域のカラーを黒色に変換するが、単色カラー出力を行うよう選択されると（例えば赤色単色）、変換対象文字領域のカラーを赤色に変換する。

また、２色カラーの場合（例えば、黒、赤カラー）の場合、変換対象文字領域のうち変換対象から除外される色が黒の他に赤も加わる。そのため、変換前に黒又は赤色の文字領域は変換後も黒又は赤色であり、変換前に黒及び赤色以外であった修飾対象の文字領域は、変換後に黒又は赤色に変換され、さらに修飾パターンにより修飾が施される。

更に領域下部に直線を加える画像処理を施す。ステップＳ４４で未処理のグループがあるか否かを判断し、グループＢにおける文字領域、Ｃにおける文字領域を同様に処理した後にこの修飾処理が終了する。図７（ｄ）はこれら一連の処理を終了した画像例である。

また、以上のような処理が１度のジョブの全ページに共通で実施するのが望ましい場合と、文字領域修飾の変換ルールをページごとに処理するのが望ましい場合がある。図１１はジョブの種類によって、上記のように決定した変換ルールを全ページ共通にするか１ページ単位で切り替えるかを示したテーブルの一例である。このテーブルを記憶部１０７に保持しておき、ジョブをスタートした時点で処理単位を切り替えることもできる。また、このテーブルの内容を予めユーザが任意に設定してもよい。この設定は、予め設定されていてよいし、ユーザが入力画像を出力する指示を出す度に設定してもよい。

（設定操作）
次に、本機能を搭載したデジタル複合機を用いて、カラー画像を白黒又はカラー画像に用いられていた色よりも少ない色数で出力するコピーを行う場合の操作について説明する。中でも以下では、カラー画像を白黒出力するようにカラー選択された場合の操作について説明する。

本実施例では、この出力色の変更とともに、下記に示す倍率ボタン４１３が押下され、出力画像の縮小が設定される、又は用紙選択４１４が押下される等して、倍率設定やレイアウト変更により、出力画像が入力画像より縮小される際、実行される。

図１２（ａ）は操作部４００上の出力部に出力されたコピー用の基本的な画面４１０である。
コピー画面４１０上には、基本設定内容出力部４１１、カラー選択ボタン４１２、その他コピー機能の各種設定を行うためのボタンが配置されている。今回説明する例における文字領域修飾機能は、主にカラー原稿を白黒で出力するコピー時に使われるものであるので、カラー選択ボタン４１２が押下されたときに出力される画面から設定を行う。この画面は図１２（ｂ）に示す。図１２（ｂ）はカラー選択画面４２０である。この画面には、コピーの出力色を指定するボタン（４２２から４２６）と、白黒変換時に文字領域修飾機能の設定画面を開くためのボタン４２７が配置される。図３のフローで示した文字領域修飾処理を行う場合には白黒変換時文字領域修飾機能ボタン４２７がユーザにより押下される。

図１２（ｃ）は白黒変換時に、文字領域修飾機能を設定画面するための画面４３０である。設定ウィンドウ４３１上には動作モードを指定するための全自動ボタン４３２、自動／確認ボタン４３３、手動ボタン４３４、ルール選択ボタン４３５、機能ＯＦＦボタン４３６が配置される。また、ルール選択領域４４０、キャンセルボタン４３７、ＯＫボタン４３８も配置される。ルール選択領域４４０内には、予め登録されたルールに対応する変換ルールボタン４４１から４４３と、直前に実際に動作させた複数回分のルールに対応する履歴ボタン４４４，４４５と、それらの詳細ルールを参照するための詳細確認ボタン４４６が配置される。動作モードは、全自動ボタン４３２、自動／確認ボタン４３３、手動ボタン４３４、ルール選択ボタン４３５、機能ＯＦＦボタン４３６はそれらのうち１つのみ有効にすることができる。このうち全自動ボタン４３２に対応する全自動モードでは、上記図３から図６で説明した処理をすべて機器内部で自動的に行う。自動／確認ボタン４３３に対応する自動／確認モードでは、上記全自動とほぼ同じであるが、出力動作の前に文字領域修飾のための変換ルールが自動で決まった結果を操作画面上に提示して、ユーザがこの変換ルールを確認し、必要に応じて修正することが可能である。手動ボタン４３４に対応する手動モードでは、文字領域修飾のための変換ルールをすべてユーザが指定する。ルール選択ボタン４３５に対応するルール選択モードでは、予め登録してある変換ルールや履歴に残っている変換ルールに、適用したいルールが存在する場合にユーザが選択する。ルール選択モードでは、ルール選択領域４４０内にある登録済みの変換ルールボタン４４１から４４３または履歴ボタン４４４，４４５のうち１つを有効にすることができる。なお、詳細確認ボタン４４６は、登録済みルールや履歴のルールの詳細内容を確認するためのものであり、押下された時点で選択されているルールの詳細な内容が出力される。機能ＯＦＦボタン４３６は、白黒変換時の文字領域修飾機能を無効にするときに使用する。

図１２（ｄ）は、手動ボタン４３４が押下されるると表示される画面であり、ユーザが変換ルールを設定する際に用いる。設定ウィンドウ４５１上で原稿の文字の特徴と出力時の文字領域修飾パターンを選択してルールを追加していくことで設定操作を行う。原稿文字の特徴を選択する領域４５２には、赤文字、青文字、下線付き文字等、複数の文字の特徴を示すボタンが４５３が配置される。文字領域修飾パターンを選択する領域４５４には、出力時に文字を修飾するための複数の修飾パターンを示すボタン４５５が配置される。文字特徴とそれに対応する文字領域修飾パターンが一組選択された状態で追加ボタン４５６が押下されると、変換ルール表示領域４５８にその組み合わせが追加される。逆に変換ルール表示領域４５８上の変換ルールを選択した状態で削除ボタン４５７が押下されると、その変換ルールが削除される。１度のジョブで全ページ共通のルールを適用する場合には全ページ共通ボタン４６１を有効にする。一方、ページ毎に別ルールを指定する場合にはページ別ボタン４６０を有効にする。ページ毎に別ルールを指定するときにはページ別ボタン４６０内の矢印が押下されることにより、変換ルール表示領域４５８に出力されるページを切り替える。

なお、自動／確認ボタン４３３に対応する機能で、出力動作前の変換ルール確認画面は、手動設定ウィンドウ４５１とほぼ同様の構成である。すなわち、変換ルール表示領域４５８に対応する領域に、自動決定したルールが出力される。その他の構成、操作方法の詳細説明は省略する。

図１３は、以上の設定操作を示すフローチャートである。本フローにかかるコントローラユニット１００のプログラムは、記憶部１０７に記憶され、不図示のＲＡＭによって読み出されＣＰＵ１０３によって実行される。

まず、Ｓ５０において、ユーザにセットされた原稿をスキャナ２００が読み取る。次に、Ｓ５１において、ユーザにより操作部４００を介して、白黒変換時文字領域修飾機能ボタン４２７が押下されると、ＣＰＵ１０３が白黒変換時文字領域修飾機能を有効する。

そして、操作部４００が白黒変換時文字領域修飾機能の設定画面４３０を出力すると、この表示画面を介してユーザから動作モードの選択を受け付ける。ユーザからＳ５２の自動モードの選択を受け付けた場合、さらにユーザにより操作部４００のスタートボタンが押下されると（Ｓ５３）白黒変換時文字領域修飾機能の設定は終了する。ユーザからＳ５４の自動／確認モードの選択を受け付けた場合、さらにスタートボタンが押下されると（Ｓ５５）、操作部は画面上に、ユーザが変換ルールの確認と修正を行うための表示を行う。（Ｓ５６）。さらにユーザによりＯＫボタンが押下されると白黒変換時文字領域修飾設定は終了する（Ｓ５７）。ユーザからＳ５８の手動モードの選択を受け付けた場合、ユーザによって変換ルールをすべて指定される。操作部は、図１２（ｄ）に示したような、ユーザに変換ルールの指定を促す為の画面を表示する（Ｓ５９）。そして、ユーザによりスタートボタンが押下されると（Ｓ６０）、白黒変換時文字領域修飾設定は終了する。ユーザによりＳ６１のルール選択モードが選択されると、操作部は、図１２（ｃ）に示したような、装置内に登録されているルールもしくは履歴に残っている変換ルールから、所望のものをユーザに選択させるための画面を表示する（Ｓ６２）。そして、ユーザによりスタートボタンが押下されると（Ｓ６３）白黒変換時文字領域修飾設定は終了する。

以上説明したように本実施形態を用いると、色を利用することにより文字領域を強調して表現されているデジタル文書を白黒で出力する際に、強調していた文字を白黒出力用に変換することができる。また、その変換は文字の特徴を考慮した優先度を元に適切な処理を自動で実施することも可能である。さらに、ユーザが操作部から設定した任意のルートによって変換処理を実施することも可能である。また、本実施形態を用いると、デジタル文書上で強調されていた文字が、視認性を損なうことなく出力形式に適した方法で強調されるように変換された画像を得ることができる。なお、本実施形態では主に白黒出力に適した変換を例に挙げて説明したが、入力時にカラー画像であったものをカラーで出力時する際に、文字に下線や網掛け等強調パターン変換を施す場合にも適用可能であることは言うまでもない。

［第２の実施形態］
第１の実施形態では、文字領域修飾に採用する修飾パターンの「優先パターン順位情報」を示すテーブル（図８）が１つ用意されている場合の処理を説明した。本実施形態では、条件によって参照するテーブルを切り替える。これにより、更に適切なパターン変換を効率良く実施することができる。以下、本実施形態における手法を説明する。なお第１の実施形態と共通の処理モジュール、処理方法については同一の図面および番号を使用し、詳細な説明を省略する。

図１４は文字領域修飾パターン決定処理のフローチャートである。
本フローにかかる修飾パターン決定部５０３のプログラムは、記憶部１０７に記憶され、不図示のＲＡＭによって読み出されＣＰＵ１０３によって実行される。図５で示した処理に加えて、ステップＳ３４の出力設定情報取得を行う。
ここで取得する出力設定情報とは、例えば出力画像生成時の拡大縮小率、解像度、擬似中間調処理の種類を示した情報や画像出力時の出力方法（印刷出力か、電子データとして外部に送付する出力か、ファックス送信又はファイル送信する出力か）を示す情報である。ここで取得した出力設定情報と、ステップＳ３１で取得した文字領域の解析データとを利用してステップＳ３２で修飾パターン選択順を決定し、それに従ってステップＳ３３で各文字領域修飾パターンを決定する。ステップＳ３３の処理で参照する修飾パターン優先度を示すテーブルは、ステップＳ３４で取得した出力設定情報によって切り替えられる。

図１５（ａ）および（ｂ）は上記修飾パターン優先度を示すテーブルの一例を示している。
図１５（ａ）は印刷出力のために実施される擬似中間調処理として誤差拡散法等を適用した印刷のためのドットの並びに周期性が無い形式を有する画像を変換する場合に参照するテーブルである。なお、ここでの「囲み」は修飾対象文字列を矩形で囲むパターンを付加することを示す。また、「網掛け１」は細かい網点パターンを付加することを示す。また「網掛け２」は粗い網点パターンを付加することを示す。この図１５（ａ）では、文字領域の解析結果から得られるグループの数、すなわち異なる修飾パターンの必要数によって、参照する列を切り替える。例えば、パターン変換すべき強調文字の種類が１つのみである場合には、グループ数１の列を参照し、対象文字に下線を施す。パターン変換すべき文字領域の種類が４つである場合には、グループ数４の列を参照し、ステップＳ３２で決定された順に、下線、囲み、網掛け１、反転のパターン変換を適用する。グループ数ごとにテーブルを別に保持する理由は、例えば、下線と二重下線等、文字の視認性を確保するには適しているものの、修飾方法が類似しているものはグループ数が少ない場合に双方を使用することを避けるためである。

図１５（ｂ）は、印刷出力のために実施される擬似中間調処理としてスクリーン処理を適用した、印刷のためのドットの並びに周期性を持った形式となる場合に参照するテーブルである。なお、ここでの「囲み１」は図１５（ａ）の「囲み」と同様に対象文字列を矩形で囲むパターンを付加することを示す。また、「囲み２」は楕円で囲むパターンを示す。また、「破線」は対象文字列の下部に破線を引くことを示す。図１５（ｂ）は、図１５（ａ）にはあった網掛け、反転のパターンが外されていることに特徴がある。擬似中間調処理の種類によって適用する修飾パターンを切り替える理由は、例えば、誤差拡散法を適用した場合には問題なかった網掛けパターンが、スクリーン処理時にスクリーンパターンと干渉して画質が著しく低下する恐れがあるからである。同様に反転パターンもスクリーンパターンと組み合わせることにより文字の細い線の視認性が低下する可能性が高いため図１５（ｂ）には入っていない。

図１５（ｃ）は、出力方法が、電子データとして外部へ送付する場合、特にカラー画像を電子データとして送付する場合に参照するテーブルである。出力がカラー画像であり、カラー情報に加えてパターンを用いて文字を強調する場合、カラーの修飾パターンを利用しても構わない。この図１５（ｃ）では、色Ａから色Ｆの６色を利用している。色Ａから色Ｆは予め固定色を割り当てておいても良いし、ユーザが任意に選択してもよい。
図１５（ｃ）は、修飾処理後にたとえカラー情報が失われた場合であっても、修飾すべき文字領域の種類の見分けが可能であるようにパターン形状が指定されていることに特徴がある。

出力方法が、ファックス送信である場合、送信画像は白と黒で表される２値データであり、送信できる解像度にも制限がある。多くの場合低い解像度に変換され、更に２値データへの変換が行なわれるため、元画像や文字修飾パターンの品質が著しく低下する。そのため、修飾される文字の可読性を損なうおそれが無く、文字修飾効果がこれらの処理によって失われる可能性の低い修飾パターンを利用することが望ましい。図１５（ａ）はこの条件を満たしているため、ファックス送信時にも適用する。

以上のように、本実施形態２を用いると、出力設定情報および分類化されたグループ数に応じて参照テーブルを切り替えることができる。よって、文書に適した文字領域修飾パターンを選択することが可能である。

（その他の実施形態）
本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

Claims (15)

1. 入力画像の出力方法を選択する選択手段と、
   前記入力画像から文字領域を検出する検出手段と、
   前記選択手段により前記入力画像が有する色より少ない色を用いて前記検出手段により検出された文字領域を出力する出力方法が選択された場合、
   前記文字領域に対して修飾を施す際にどの文字領域を優先して修飾するのかを示す優先度を前記文字領域に対して設定する設定手段と、
   前記設定手段により設定された優先度に応じて決められる修飾パターンを用いて該文字領域に修飾を行う修飾手段と、
   前記入力画像が有する色より少ない色を用いて前記修飾手段により修飾された文字領域を出力する出力手段とを有することを特徴とする画像処理装置。
2. 前記修飾手段は、
   前記文字領域に対して修飾を施す際に用いる修飾パターンに対してパターン優先度を設定し、該パターン優先度応じて決められる修飾パターンを用いて文字領域に修飾をすることを特徴とする請求項１に記載の画像処理装置。
3. 下線、網掛け、囲みのうち少なくとも１つを含む修飾パターンを用いて前記文字領域を修飾する際に、前記パターン優先度は該文字領域の文字部を覆う領域が少ないものから順に優先度が高い修飾パターンであると設定されることを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段により設定される優先度は、前記文字領域における文字サイズが小さい文字部を有する文字領域ほど優先度を高く設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記パターン優先度を設定するテーブルの種類が複数あることを特徴とする請求項２に記載の画像処理装置。
6. 前記修飾手段は、
   前記入力画像が有する色の数によって、
   前記複数の種類ある修飾に用いるパターンの優先度を設定するテーブルから、該優先度を設定に用いる際に参照するテーブルを切り替えることを特徴とする請求項５に記載の画像処理装置。
7. 前記修飾手段は、前記出力手段における出力時の拡大縮小率又は解像度又は擬似中間調処理の種類又は前記出力手段における画像の出力方法が印刷かファイル送信かファックス送信のうちのどれであるか示す情報のうち少なくとも１つの画像処理に関する情報を取得し、
   該取得した画像処理に関する情報より前記パターンの優先度を設定する複数の種類あるテーブルのうち参照するテーブルを切り替えることを特徴とする請求項５に記載の画像処理装置。
8. 入力画像の出力方法を選択する選択ステップと、
   前記入力画像から文字領域を検出する検出ステップと、
   前記選択ステップにより前記入力画像が有する色より少ない色を用いて前記検出ステップにより検出された文字領域を出力する出力方法が選択された場合、
   前記文字領域に対して修飾を施す際にどの文字領域を優先して修飾するのかを示す優先度を前記文字領域に対して設定する設定ステップと、
   前記設定ステップにより設定された優先度に応じて決められる修飾パターンを用いて該文字領域に修飾を行う修飾ステップと、
   前記入力画像が有する色より少ない色を用いて前記修飾ステップにより修飾された文字領域を出力する出力ステップと
   を有することを特徴とする画像処理装置の制御方法。
9. 前記修飾ステップは、
   前記文字領域に対して修飾を施す際に用いる修飾パターンに対してパターン優先度を設定し、該パターン優先度に応じて決められる修飾パターンを用いて文字領域に修飾をすることを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 下線、網掛け、囲みのうち少なくとも１つを含む修飾パターンを用いて前記文字領域を修飾する際に、前記パターン優先度は該文字領域の文字部を覆う領域が少ないものから順に優先度が高い修飾パターンであると設定されることを特徴とする請求項９に記載の画像処理装置の制御方法。
11. 前記設定手段により設定される優先度は、前記文字領域における文字サイズが小さい文字部を有する文字領域ほど優先度を高く設定することを特徴とする請求項８に記載の画像処理装置の制御方法。
12. 前記パターン優先度を設定するテーブルの種類が複数あることを特徴とする請求項９に記載の画像処理装置の制御方法。
13. 前記入力画像が有する色の数によって、前記複数の種類ある修飾に用いるパターンの優先度を設定するテーブルから、該優先度を設定に用いる際に参照するテーブルを切り替えることを特徴とする請求項１２に記載の画像処理装置の制御方法。
14. 前記修飾ステップは、前記出力ステップにおける出力時の拡大縮小率又は解像度又は擬似中間調処理の種類又は前記出力ステップにおける画像の出力方法が印刷かファイル送信かファックス送信のうちのどれであるか示す情報のうち少なくとも１つの画像処理に関する情報を取得し、
    該取得した画像処理に関する情報より前記パターンの優先度を設定する複数の種類あるテーブルのうち参照するテーブルを切り替えることを特徴とする請求項１２に記載の画像処理装置の制御方法。
15. コンピュータに請求項８乃至１３のいずれか１項に記載の方法を実行させるためのプログラム。

Images