JP5052562B2 - 画像処理装置 - Google Patents

Description

本発明は、入力画像から文字領域と文字領域以外の背景領域を識別する文字属性レイヤ画像を生成する文字属性判別部と、文字属性レイヤ画像に基づいて入力画像データから文字色レイヤ画像と背景色レイヤ画像に分離し、各レイヤ画像をそれぞれ所定の解像度に変換する解像度変換部と、解像度変換された文字属性レイヤ画像を可逆圧縮するとともに文字色レイヤ画像及び背景色レイヤ画像を非可逆圧縮する画像圧縮部と、圧縮された各レイヤ画像に基づいて高圧縮画像ファイルを生成するファイル生成部を備えている画像処理装置に関する。

特許文献１に記載されているように、文字等の線画と写真等の絵柄が混在した画像を、画質が劣化しないように高圧縮符号化するために、ＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ(Mixed Raster Content)が注目されている。

ＭＲＣ(Mixed Raster Content)では、線画と連続階調の絵柄とが混在する画像データが、前景レイヤ、背景レイヤ、前景レイヤと背景レイヤの何れを選択するかを示す文字属性レイヤに分離され、各レイヤの特性に応じて個別に解像度変換された後に圧縮符号化される。

前景レイヤは線画の色情報を表す多値画像であり、背景レイヤは線画領域以外の絵柄つまり背景の色情報を表す多値画像であり、文字属性レイヤは線画の形状を表す二値画像である。

前景レイヤと背景レイヤを例えばＪＰＥＧ(Joint Photographic Experts Group)方式のような非可逆圧縮方式で圧縮符号化し、文字属性レイヤを例えばＭＭＲ(Modified Modified READ)方式のような可逆圧縮方式で圧縮符号化することにより、ＪＰＥＧ方式等単独で線画と絵柄が混在した画像データを圧縮する場合と比べて圧縮率及び圧縮画像品質を高く保つことができる。

通常、符号化された画像を復号化して元の解像度に戻す場合に、バイリニア補間法やキュービック補間法が採用されるが、例えば、前景レイヤが補間処理されると、復号化された前景レイヤの線画の輪郭にボケや色の滲みが発生する。

前景レイヤの線画の輪郭部で領域外の画素値が補間処理で反映されるためであり、特にスキャナ等により読み取られた画像では、線画の輪郭にボケが生じているので、一層顕著になる。また、非可逆圧縮された前景レイヤを復号化すると、モスキートノイズやリンギングノイズが発生し、補間処理によりこれらのノイズ成分が取り込まれて、ボケや色の滲みの原因となる。

補間処理後の前景レイヤを文字属性レイヤでマスクしても、文字輪郭の色濁り部分やぼけ部分が再生画像に現れる。このような現象は、背景レイヤでも同様に発生する。

特に線画の場合、このような輪郭近傍の色濁りやぼけは、再生画像の見栄えを悪くし、更に細線部分を含む線画の場合、細線部分が太線部分と異なった色になってしまい、例えば一連の文字が途中で分離したように見える等の問題があった。

そこで、特許文献２には、以下のような画像処理装置が開示されている。つまり、当該画像処理装置は、図１０（ａ）に示すように、オリジナル画像１０００を、文字・線画の領域を表すマスクプレーン１０４０と、文字・線画の色情報を担う前景プレーン１０４２と、文字・線画以外の画像情報を持つ背景プレーン１０４４に分離する。そして、前景プレーン１０４２を低解像度化する際、マスクプレーン１０４０を参照し、低解像度化結果の各画素が文字・線画に属する画素か否かを判別し、文字・線画に属する画素は、元の前景プレーン１０４２の文字・線画に属する画素の値のみから補間する。低解像度化された縮小前景プレーン１０５２、縮小背景プレーン１０５４を高解像度化する場合も、縮小マスク１０５３，１０５５を参照して同様の補間を行なう。

このような画像処理装置は、図１０（ｂ）に示すように、ＭＲＣフォーマットのデータを受信する受信部１５２，フォーマット解凍部１５４，マスク伸長部１５６，マスク縮小部１５８，前景伸長部１６０，背景伸長部１６２，前景拡大部１６４，背景拡大部１６６，一層合成部１６８，画像出力部１７０を備えた構成となっている。

以下に詳述する。フォーマット解凍部１５４は、受信部１５２で受信したＭＲＣフォーマットのデータを各プレーン（圧縮データ）に分解し、マスク伸長部１５６は、フォーマット解凍部１５４から与えられる各プレーンの圧縮データを、対応する符号化方式に従ってデータ伸長して、マスクプレーン１０４０、縮小前景プレーン１０５２及び縮小背景プレーン１０５４を得る。

マスク縮小部１５８は、マスク伸長部１５６でデータ伸張されたマスクプレーン１０４０を再度縮小し、縮小前景プレーン１０５２、縮小背景プレーン１０５４の夫々の解像度に合わせた低解像度の縮小マスクプレーン１０５３，１０５５を作成し、前景拡大部１６４は、縮小前景プレーン１０５２を、縮小前の前景プレーン１０４２と同じ解像度になるまで拡大するにあたり、縮小マスクプレーン１０５３を参照しつつ拡大処理を実行し前景プレーン１０６２を得て、背景拡大部１６６は、縮小背景プレーン１０５４を、縮小前の背景プレーン１０４４と同じ解像度になるまで拡大するにあたり、縮小マスクプレーン１０５５を参照しつつ拡大処理を実行し背景プレーン１０６４を得る。

このようにして得られた前景プレーン１０６２及び背景プレーン１０６４をマスク１０４０でマスクすることで、再生画像１０７０の文字と絵柄部分の輪郭部分の色濁りを防止または低減する構成となっている。

特開平１１−１２２４７９号公報 特開２００４−１８７０００号公報

しかし、上述の特許文献２に記載された画像処理装置では、縮小前景プレーン１０５２、縮小背景プレーン１０５４の解像度に合わせた低解像度の縮小マスクプレーン１０５３，１０５５を作成し、縮小前景プレーン１０５２、縮小背景プレーン１０５４を拡大するにあたり、縮小マスクプレーン１０５３，１０５５を参照しつつ拡大処理を実行する必要があるので、マスク縮小部１５８を備える必要があり、その処理も煩雑となる。

さらに、マスクプレーン１０４０を、縮小前景プレーン１０５２や縮小背景プレーン１０５４と同じまで低解像度化すると文字の輪郭が崩れ、そのような崩れた文字の輪郭に基づいて縮小前景プレーン１０５２、縮小背景プレーン１０５４を拡大処理した前景プレーン１０６２、背景プレーン１０６４から再生画像１０７０を得ても、低解像度化前の文字の輪郭が正確に再現できないという問題がある点でさらなる改良が求められている。

そこで、本発明の目的は、上述の問題に鑑み、線画と絵柄の境界部に色ムラやボケが発生することの無い高圧縮画像ファイルを生成可能な画像処理装置を提供する点にある。

上述の目的を達成するため、本発明による画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力画像から文字領域と文字領域以外の背景領域を識別する文字属性レイヤ画像を生成する文字属性判別部と、文字属性レイヤ画像に基づいて入力画像データから文字色レイヤ画像と背景色レイヤ画像に分離し、各レイヤ画像をそれぞれ所定の解像度に変換する解像度変換部と、解像度変換された文字属性レイヤ画像を可逆圧縮するとともに文字色レイヤ画像及び背景色レイヤ画像を非可逆圧縮する画像圧縮部と、圧縮された各レイヤ画像に基づいて高圧縮画像ファイルを生成するファイル生成部を備えている画像処理装置であって、入力画像から所定の非有効画素を示すインデックス値と同値の画素を抽出し、抽出した画素をインデックス値と異なる画素値に変換するインデックス値置換処理部を備え、解像度変換部は、文字属性レイヤ画像から生成されるマスク画像に基づいて、インデックス値置換処理部で処理された入力画像から文字色画素を抽出した文字色レイヤ画像を生成し、文字色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、マスク画像を参照して、画素ブロックにマスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックにマスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を全画素ブロックに繰り返して縮小文字色レイヤ画像を生成し、インデックス値に基づいて判別される縮小文字色レイヤ画像の輪郭部を膨張処理するように構成されている点にある。

上述の構成によれば、以下の特有の作用効果が奏される。
先ず、解像度変換部により生成される縮小文字色レイヤ画像は、所定画素数の画素ブロックの文字色のみの平均値に基づいて縮小されるので、バイリニア補間法やキュービック補間法を用いる場合に発生する輪郭画素の色の滲みが発生しない。

しかも、文字属性に対応する領域の画素値が文字色を示す画素値となり、文字属性ではない背景色に対応する領域の画素値がインデックス値となるので、文字属性レイヤ画像を参照することなく、インデックス値に基づいて文字属性に対応する領域を膨張処理することができるようになる。しかも、解像度変換前に膨張処理するよりも著しい演算負荷の低減効果がある。

また、文字色レイヤ画像は、文字色画素から非有効画素を示すインデックス値と同値の画素がインデックス値と異なる画素値に変換されているので、解像度変換部により生成された縮小文字色レイヤ画像の文字色画素が大きく変化するようなことが無く、文字色の画像の劣化を招くことが無い。

さらに、ファイル生成部で生成された高圧縮画像ファイルを伸張した縮小文字色レイヤ画像が、元の解像度に拡大するように解像度変換される場合であっても、解像度変換部で膨張処理された画素の寄与度が大きくなるため、拡大後の文字色レイヤ画像の輪郭に発生するボケや滲みの程度が抑制され、文字属性レイヤ画像でマスクされた文字色レイヤ画像には殆ど影響が現れない。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、解像度変換部は、文字属性レイヤ画像に基づいて生成される反転マスク画像に基づいて、インデックス値置換処理部で処理された入力画像から背景色画素を抽出した背景色レイヤ画像を生成し、背景色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、反転マスク画像を参照して、画素ブロックに反転マスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックに反転マスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を全画素ブロックに繰り返して縮小背景色レイヤ画像を生成し、インデックス値に基づいて判別される縮小背景色レイヤ画像の輪郭部を膨張処理するように構成されている点にある。

上述の構成によれば、背景色レイヤ画像に対しても、第一の特徴構成と同様の作用効果が発揮される。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、膨張処理は、膨張対象画素がインデックス値である場合に、膨張対象画素を中心画素とする所定数の画素ブロックのうち、インデックス値を示す画素以外の画素の平均値を膨張対象画素の画素値として生成し、膨張対象画素がインデックス値でない場合に、膨張対象画素を中心画素とする所定数の画素ブロックのうち、中心画素の画素値との差分が所定の閾値以内の画素値の平均値を膨張対象画素の画素値として生成するように構成されている点にある。

解像度変換部で縮小された縮小文字色レイヤ画像または縮小背景色レイヤ画像の輪郭を膨張処理する際に、膨張対象画素がインデックス値である場合に、膨張対象画素の画素値が周辺の文字色または背景色の平均値として生成されるので、膨張対象画素の周辺の文字色または背景色と同等の色を確保することができ、膨張対象画素がインデックス値でない場合に、膨張対象画素の画素値が膨張対象画素の画素値との差分が所定の閾値以内の画素値の平均値として生成されるので、輪郭画素に異なる色の輪郭画素が隣接するような場合に混色を回避することができる。何れの場合でも、膨張対象画素に輪郭画素から急変するような不自然な色の変化が発生するようなことが無く、滑らかな膨張処理効果が得られる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、マスク画像が文字属性レイヤ画像の輪郭を収縮処理した画像であり、反転マスク画像が文字属性レイヤ画像の輪郭を膨張処理した後に反転した画像である点にある。

領域分離部により、入力画像から文字色画素が抽出される際に、文字属性レイヤ画像の輪郭を収縮処理した画像がマスク画像として用いられると、入力画像に含まれる文字領域の輪郭部の色ムラを確実に排除することができ、入力画像から背景色画素が抽出される際に、文字属性レイヤ画像の輪郭を膨張処理した後に反転した画像がマスク画像として用いられると、入力画像に含まれる背景領域の輪郭部の色ムラを確実に排除することができるようになる。

そして、その後の解像度変換部で膨張処理された縮小文字色レイヤ画像は、輪郭部に色ムラの無いくっきりとした画像となる。

以上説明した通り、本発明によれば、線画と絵柄の境界部に色ムラやボケが発生することの無い高圧縮画像ファイルを生成可能な画像処理装置を提供することができるようになった。

ネットワークシステムの説明図 複合機の斜視図 複合機の主要な機能ブロックの説明図 画像処理部周辺の機能ブロックの説明図 圧縮伸張画像生成部のブロック構成図 解像度変換率の説明図 解像度変換テーブルの説明図 解像度変換手順の説明図 膨張処理手順の説明図 （ａ）は従来の画像処理装置での画像復元の説明図、（ｂ）は従来の画像処理装置の機能ブロック図

以下に、本発明による画像処理装置の一例である複合機について説明する。図１に示すように、複合機１は、ＰＣ（パーソナルコンピュータ）９１，９２、ネットワークプリンタ９３、ＦＡＸ９４等が公衆回線やＬＡＮ（ローカルエリアネットワーク）等の通信回線９５を介して、所定のネットワークプロトコルに従って接続されたネットワークシステムの一部を構成している。

当該ネットワークシステムは、複合機１やＦＡＸ９４に備えたスキャナによって読み取られた画像がＰＣ９１，９２に送信され、ＰＣ９１，９２のアプリケーションで作成された画像がネットワークプリンタ９３や複合機１で印刷されるように構成されている。

複合機１は、図２，図３，図４に示すように、マンマシンインタフェースである操作部２と、原稿画像を読み取るスキャナ３と、スキャナ３から入力された画像を格納するメモリ６と、操作部２で設定されたコピー濃度などのコピー条件に基づいてメモリ６に格納された画像を処理して出力画像を生成する画像処理部１４と、画像処理部１４により生成された出力画像に基づいてトナー像を形成し、当該トナー像を用紙に転写、熱定着して当該用紙を出力するプリンタエンジン５と、画像処理部１４により画像処理された画像データ等のコンテンツを格納するＨＤＤ（ハードディスクドライブ）７等の機能ブロックを備え、各機能ブロックを制御する制御部が設けられている。

具体的に、操作部２を制御する操作制御部１２と、スキャナ３を制御するスキャナ制御部１３と、メモリ６を制御するメモリ制御部１６と、プリンタエンジン５を制御するプリンタエンジン制御部１５と、通信回線９５を介して接続されたＰＣ９１，９２、ネットワークプリンタ９３等との通信を制御するネットワークインタフェース回路８と、ＦＡＸ９４と画像データの送受信を行うためのＦＡＸモデム９０と、電子メール処理部８０と、各制御部を統括制御するシステム制御部１７を備え、互いに制御信号を送受信するコマンドバス１８及び画像データを送受信する画像バス１９を介して接続されている。

システム制御部１７は、ＣＰＵが組み込まれたマイクロコンピュータと、ＣＰＵにより実行される制御プログラムや制御用のテーブルデータが格納されたＲＯＭと、バスにより接続された上述の各機能ブロックを制御するための演算データや制御データが格納されるＲＡＭを備え、操作部２での入力操作及びネットワーク上のＰＣ９１等からの入力操作により、ＲＯＭに記憶されているシステムプログラムや各種処理プログラムを読み出して実行することで複合機１を統括制御する。

操作制御部１２、スキャナ制御部１３、プリンタエンジン制御部１５及びメモリ制御部１６等は夫々、ＣＰＵとＣＰＵの動作プログラムを格納したＲＯＭとＣＰＵの作業領域であるＲＡＭと周辺回路などを備えた基板で構成される。各ＣＰＵは、システム制御部１７の指示に従い動作プログラムを夫々のＲＯＭから読み出して実行し、当該動作プログラムに規定されたアルゴリズムに従って動作する。

スキャナ３は、複合機１の上面に設けられた原稿載置部に載置された原稿画像を光電変換して入力画像としてのデジタル画像を生成し、当該入力画像をメモリ６に格納する。

プリンタエンジン５は、電子写真方式により用紙に画像を印刷して出力する機能ブロックで、感光体と、感光体表面を一様に帯電する帯電装置と、出力画像に基づきレーザビームを走査して感光体表面を露光し静電潜像を形成する露光装置と、形成された静電潜像をトナー像として顕像化する現像装置と、トナー像を用紙に転写する転写装置とを備えた画像形成部と、用紙に転写されたトナー像を溶融定着する熱定着装置と、用紙を搬送する搬送機構等を備え、プリンタエンジン制御部１５からの指令に応じて各部が協働して印刷動作を実行する。

操作部２は、複合機１の動作モードを設定するモード設定キーと、各動作モードに応じて必要となる操作キーを表示するとともに、エラー情報等を表示するタッチパネル式の液晶表示部２ａと、電源キー、スタートキー及びストップキー等の各種操作キー２ｂを備えている。

モード設定キーには、スキャナ３で読み取られた画像をプリンタエンジン５で印刷するコピーモードを選択するコピーキー、スキャナ３で読み取られた画像をＦＡＸモデム９０を介して外部に送信するＦＡＸキー、スキャナ３で読み取られた画像をハードディスク７に区画された記憶領域であるボックスに格納するボックスキー等が含まれる。

何れのモードに設定されている場合であっても、ネットワークインタフェース回路８を介してＰＣ９１，９２等から印刷要求され、或いは、ＦＡＸモデム９０を介して外部のＦＡＸ９４からの受信があれば、システム制御部１７は、対応する画像がプリンタエンジン５により印刷出力され、或いはハードディスク７に格納されるように制御する。

ボックスキーが操作されて移行するボックスモードでは、ハードディスク７に画像を格納する入力モードと、ハードディスク７に格納された画像を利用する出力モードの何れかが選択され、入力モードが選択されるとスキャナ３で読み取られた画像がハードディスク７に区画された指定領域に画像ファイルとして格納され、出力モードが選択されるとハードディスク７に区画された指定領域の画像ファイルがプリンタエンジン５により印刷出力され、ＦＡＸモデム９０から送信され、或いは電子メール処理部８０から添付ファイルとして送信先に送信される。

画像処理部１４は、操作部１２で設定された各動作モード及び各動作モードで液晶表示部２ａを介して設定された画像処理情報に基づいて、設定メモリ６に格納された入力画像に対して所定の処理を実行し、処理後の画像をプリンタエンジン５に出力し、或いはメモリ６やハードディスク７に格納する画像処理用のＡＳＩＣ等で構成される回路ブロックを備えている。

画像処理部１４は、出力画像生成部３１と、圧縮伸張画像生成部２０等を備えている。出力画像生成部３１及び圧縮伸張画像生成部２０のそれぞれは、メモリ６に格納されている原稿一枚分の画像から、所定の走査線数で構成されるブロック画像を読み出して、所定の処理を施した後に処理後のブロック画像を再度メモリ６に格納する処理を全ブロック画像にわたり繰り返し実行することにより所期の処理後の画像をメモリ６上に生成する。

出力画像生成部３１は、スキャナ３、ネットワークインタフェース回路８、またはＦＡＸモデム９０から入力され、メモリ６に格納されたモノクロまたはＲＧＢのカラー成分画素でなる入力画像を読み出して、所定の画像処理を施した画像をメモリ６に書き込み、プリンタエンジン５やＦＡＸモデム９０に出力する出力画像を生成するブロックで、カラー調整するカラー補正部３１ａ、倍率変換する拡縮処理部３１ｂ、階調変換する階調補正部３１ｃ、ＲＧＢカラー成分を各トナー色成分に対応したＹＭＣＫカラー成分の出力画像に変換するカラー変換部３１ｄ等の回路ブロックを備えている。

操作部２の操作情報に基づいて、カラー補正部３１ａ、拡縮処理部３１ｂ、階調補正部３１ｃ、カラー変換部３１ｄのうちの何れかまたは複数を用いて出力画像が生成される。

圧縮伸張画像生成部２０は、スキャナ３で読み取られ、或いはネットワークインタフェース回路８を介して入力され、メモリ６に格納された入力画像に基づいて、高圧縮画像ファイル例えば高圧縮ＰＤＦファイルを生成し、高圧縮画像ファイルを元の画像ファイルに展開するブロックである。

圧縮伸張画像生成部２０により生成された高圧縮画像ファイルは、ボックスに保存され、或いは電子メール処理部８０により電子メールの添付ファイルとして外部に送信される。

図５に示すように、圧縮伸張画像生成部２０は、文字属性判別部２１と、インデックス値置換処理部２２と、解像度変換部２３と、画像圧縮・伸張部２４と、ファイル生成部２５と、補正処理部２６と、記憶処理部２７と、画像合成部２８等の複数の回路ブロックを備えている。

文字属性判別部２１は、メモリ６に記憶された入力画像から、エッジ抽出処理等の公知の領域分離アルゴリズムに基づいて、文字領域と文字領域以外の背景領域を分離し、文字領域つまり文字や線画の領域と、非文字領域つまり絵柄や写真領域とを識別する文字属性レイヤ画像を生成する回路ブロックである。文字属性レイヤ画像は、文字領域を１、非文字領域を０とする二値画像である。

尚、文字属性判別部２１は、メモリ６に記憶された入力画像に含まれる文字領域において、全ての文字について文字属性レイヤ画像を生成してもよく、或いは、ユーザーが所望する文字についてのみ文字属性レイヤ画像を生成してもよい。例えば、黄色の文字についてのみ文字属性レイヤ画像を生成しないようにしたり、あるいは、黒（グレー）以外の文字については文字属性レイヤ画像を生成しないようにすることにより、文字属性レイヤ画像のファイルサイズを低減することが可能となる。

インデックス値置換処理部２２は、メモリ６に記憶された入力画像から所定の非有効画素を示すインデックス値と同値の画素を抽出し、抽出した画素をインデックス値と異なる画素値に変換する回路ブロックである。具体的に、ＲＧＢカラー成分が各８ビット階調で表される場合、カラー成分毎に、インデックス値として（０，０，０）の黒画素、（２５５，２５５，２５５）の白画素の何れかが採用される。

インデックス値置換処理部２２は、インデックス値として（０，０，０）の黒画素が設定されると、入力画像に、（０，０，０）の黒画素が存在するか否かを探索して、（０，０，０）の黒画素が存在する場合には（１，１，１）に変換する。同様にＲＧＢ何れかの画素成分が０であれば１に変換する。

インデックス値置換処理部２２は、インデックス値として（２５５，２５５，２５５）の白画素が設定されると、入力画像に（２５５，２５５，２５５）の白画素が存在するか否かを探索して、（２５５，２５５，２５５）の白画素が存在する場合には（２５４，２５４，２５４）の画素値に変換する。同様にＲＧＢ何れかの画素成分が２５５であれば２５４に変換する。

このようにインデックス値置換処理部２２は、インデックス値と同値の画素値を最も差分が小さい画素値で置換するので、入力画像の色合いは殆ど変化することはない。

解像度変換部２３は、文字属性レイヤ画像から生成されるマスク画像に基づいて、インデックス値置換処理部２２で置換処理された入力画像から文字色画素を抽出した文字色レイヤ画像を生成し、抽出した文字色レイヤ画像が所定の解像度となるように解像度変換する回路ブロックを備えている。

詳述すると、解像度変換部２３は、行及び列方向に配列された文字色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、マスク画像を参照して、画素ブロックにマスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックにマスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を、画素の配列に沿って区分された全画素ブロックに繰り返して縮小文字色レイヤ画像を生成する。

図８に示すように、例えば、解像度が６００ＤＰＩの入力画像から３７．５ＤＰＩの文字色レイヤ画像を生成する場合には、解像度変換率が１／１６となり、入力画像の１６画素から解像度変換後の１画素を生成すべく、文字色レイヤ画像を４×４の画素ブロックに区分する。ここでは文字属性レイヤ画像自体がマスク画像となり、マスク画像の１に対応する画素が文字色レイヤ画像となり、マスク画像の０に対応する画素が文字領域以外を示す非有効画素となる。

尚、図８に示す０，１の画素はマスク画像を示しており、実際には各画素８ビットのＲ，Ｇ，Ｂの何れかの画素値に対して解像度変換される。従って、文字色レイヤ画像及び背景色レイヤ画像ともに、Ｒ，Ｇ，Ｂそれぞれの色に対応する三枚のレイヤで構成されており、解像度変換処理は各色のレイヤ画像に対して実行される。

４×４の画素ブロックにマスク画像に属する画素が存在する、つまりマスク画像の１に対応する画素が存在すると、それらの画素の平均値を解像度変換後の画素値とし、４×４の画素ブロックにマスク画像に属する画素が存在しない、つまりマスク画像の１に対応する画素が存在しないと、インデックス値を解像度変換後の画素値とするのである。このような処理を文字色レイヤ画像の全域に施すことにより縮小文字色レイヤ画像が生成される。尚、インデックス値は白画素または黒画素の何れであってもよい。

つまり、置換処理された入力画像から文字色レイヤ画像を分離抽出しながら、同時に解像度変換される。

さらにその後、解像度変換部２３は、縮小文字色レイヤ画像に対して、インデックス値に基づいて判別される縮小文字色レイヤ画像の輪郭部を膨張処理する。

詳述すると、解像度変換部２３は、行方向及び列方向に配列された縮小文字色レイヤ画像の各画素を中心画素とするｎ×ｎ（ｎは正の奇数）サイズのフィルタ処理を画素の配列に沿って、つまり列方向、行方向に沿って全画素に対して実行する。

フィルタ処理では、膨張対象画素となる中心画素がインデックス値である場合に、フィルタサイズに相当する所定数つまりｎ×ｎ画素の画素ブロックのうち、インデックス値を示す画素以外の画素つまり文字色画素の平均値を中心画素の画素値として生成し、中心画素がインデックス値でない場合つまり文字色画素である場合に、フィルタサイズに相当する所定数つまりｎ×ｎ画素の画素ブロックのうち、中心画素の画素値との差分が所定の閾値以内の画素値の平均値を膨張対象画素の画素値として生成する。尚、画素ブロック全てがインデックス値である場合にはインデックス値を新たな画素値とする。

図９には、その様子が例示されている。解像度変換部２３は、行方向及び列方向に配列された縮小文字色レイヤ画像の各画素Ｐ（ｌ，ｍ），Ｐ（１，ｍ＋１），Ｐ（ｌ，ｍ＋２），・・・を中心画素とする３×３サイズのフィルタ処理を画素の配列に沿って実行することにより、膨張処理及び平滑化処理を実行する。

フィルタサイズを３×３に設定することが好ましく、縮小文字色レイヤ画像の文字色領域の境界が１画素膨張処理されるとともに、文字色領域が平滑化処理される。尚、２画素膨張させるためにはフィルタサイズを５×５に設定すればよい。

また、解像度変換部２３は、文字属性レイヤ画像に基づいて生成される反転マスク画像に基づいて、インデックス値置換処理部で処理された入力画像から背景色画素を抽出した背景色レイヤ画像を生成し、抽出した背景色レイヤ画像が所定の解像度となるように解像度変換する回路ブロックを備えている。

詳述すると、解像度変換部２３は、行方向及び列方向に配列された背景色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、反転マスク画像を参照して、画素ブロックに反転マスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックに反転マスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を画素の配列に沿って区分された全画素ブロックに繰り返して縮小背景色レイヤ画像を生成する。

例えば、解像度が６００ＤＰＩの入力画像から１５０ＤＰＩの背景色レイヤ画像を生成する場合には、解像度変換率が１／４となり、入力画像の４画素から解像度変換後の１画素を生成すべく、背景色レイヤ画像を２×２の画素ブロックに区分する。ここでは文字属性レイヤ画像を反転させた画像が反転マスク画像となり、反転マスク画像の１に対応する画素が背景色レイヤ画像となり、反転マスク画像の０に対応する画素が絵柄領域以外を示す非有効画素となる。

２×２の画素ブロックに反転マスク画像に属する画素が存在する、つまり反転マスク画像の１に対応する画素が存在すると、それらの画素の平均値を解像度変換後の画素値とし、２×２の画素ブロックに反転マスク画像に属する画素が存在しない、つまり反転マスク画像の１に対応する画素が存在しないと、インデックス値を解像度変換後の画素値とするのである。このような処理を背景色レイヤ画像の全域に施すことにより縮小背景色レイヤ画像が生成される。尚、インデックス値は白画素または黒画素の何れであってもよい。

つまり、置換処理された入力画像から背景色レイヤ画像を分離抽出しながら、同時に解像度変換される。

さらにその後、解像度変換部２３は、縮小背景色レイヤ画像に対して、インデックス値に基づいて判別される縮小背景色レイヤ画像の輪郭部を膨張処理する。ここでの膨張処理は上述した縮小文字色レイヤ画像に対する膨張処理と同様である。

更に、解像度変換部２３は、文字属性レイヤ画像が所定の解像度となるように解像度変換する。詳述すると、解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、当該画素ブロックの平均値が所定の閾値より大であれば１に、小であれば０に変換する。

例えば、解像度が６００ＤＰＩの文字属性レイヤ画像から３００ＤＰＩの文字属性レイヤ画像を生成する場合には、解像度変換率が１／２となり、入力画像の２画素から解像度変換後の１画素を生成すべく、背景色レイヤ画像を１×２または２×１の画素ブロックに区分して、対応する２画素の平均値が１であれば解像度変換後の画素を１に、平均値が０であれば解像度変換後の画素を０に、平均値が０．５であれば解像度変換後の画素を１に設定する。即ち閾値は０．５未満の値に設定されている。

縮小文字色レイヤ画像の解像度は、文字色が特定できればよいのでそれほど高い解像度は要求されないため３７．５ＤＰＩ程度が好ましく、縮小背景色レイヤ画像の解像度は、背景である絵柄が適正に再現できるように中程度の解像度である１５０ＤＰＩ程度が好ましく、縮小文字属性レイヤ画像の解像度は、線画の再現性を確保するために比較的高い解像度が要求され、３００ＤＰＩ程度が好ましい。

しかし、これらの値に限るものではなく、入力画像の解像度と、最終の高圧縮画像ファイルのトータルの容量に基づいて適宜設定される値である。例えば、入力画像の解像度が３００ＤＰＩであれば、文字属性レイヤ画像を等倍に解像度変換すればよく、実質的に解像度変換する必要はない。

画像圧縮・伸張部２４は、解像度変換部２３で解像度変換された文字属性レイヤ画像を可逆圧縮するとともに、文字色レイヤ画像及び背景色レイヤ画像を非可逆圧縮する。既に縮小処理されているため、ことさら高い圧縮率が要求されるものではない。

文字属性レイヤ画像に対する可逆圧縮方式として、ＭＲ方式、ＭＭＲ方式、ＪＢＩＧ方式等を採用でき、文字色レイヤ画像及び背景色レイヤ画像に対する非可逆圧縮方式として、直交変換符号化方式であるＪＰＥＧ方式等を採用できる。

ファイル生成部２５は、圧縮された各レイヤ画像に基づいて高圧縮画像ファイルを生成する。つまり、ファイル名称、ファイル容量、各レイヤ画像の圧縮パレメータや解像度パラメータ、並びに各レイヤ画像の識別コード等含むヘッダ情報に続けて各レイヤ画像を配列した高圧縮画像ファイルを生成する。

高圧縮画像ファイルは、圧縮伸張画像生成部２０によりメモリ６上に生成され、当該高圧縮画像ファイルがボックスに格納される。

ネットワークに接続されたＰＣ等から入力され、或いは電子メール処理部で受信された高圧縮画像ファイルや、ボックスに格納された高圧縮画像ファイルに対応した画像をプリンタエンジンで印刷する場合には、上述と逆の手順で出力画像が生成される。

つまり、ファイル生成部２５で各レイヤ画像に分離され、各レイヤ画像が画像圧縮・伸張部２４で縮小レイヤ画像に伸張処理され、解像度変換部２３で高解像度に逆変換される。

画像合成部２８では、このようにして生成された文字属性レイヤ画像をマスク画像または反転マスク画像として、文字色レイヤ画像から文字領域の画素が切り出され、背景色レイヤ画像から絵柄領域の画素が切り出され、文字領域の画素と絵柄領域の画素が合成された出力画像が生成される。

解像度変換部２３で行なわれる拡大処理アルゴリズムとして、バイリニア補間法やキュービック補間法を採用することができる。このような高解像度への画像変換処理により、文字色レイヤ画像または背景色レイヤ画像の輪郭部に色ムラやボケが生じる場合もあるが、上述の膨張処理の結果、本来の輪郭部よりも膨張された領域に発生する色ムラやボケであり、文字属性レイヤ画像を参照して、文字色レイヤ画像及び背景色レイヤ画像から本来の文字色領域及び背景色領域が切り出されるため、そのようなノイズが再生画像に表れることがない。

さらに、上述した出力画像生成部３１により、プリンタエンジン５に出力される画像が生成される。

解像度変換部２３で使用される縮小処理のためのマスク画像または反転マスク画像として、文字属性判別部２１で生成された文字属性レイヤ画像そのものが用いられる場合を示したが、マスク画像として、文字属性判別部２１で生成された文字属性レイヤ画像の輪郭を収縮処理した画像を用いると、入力画像に内在する文字色領域の輪郭部のボケや色ムラを効果的に排除でき、その後の膨張処理により輪郭部がすっきりした画像を確保でき、反転マスク画像として、文字属性レイヤ画像の輪郭を膨張処理した後に反転した画像を用いると、入力画像に内在する背景色領域の輪郭部のボケや色ムラをも効果的に排除でき、その後の膨張処理により輪郭部がすっきりした画像を確保できる。特に、背景色領域内に文字色領域が混在する場合に効果的である。

つまり、解像度変換部２３に、文字属性レイヤ画像を収縮処理する収縮処理回路ブロック、文字属性レイヤ画像を膨張処理する膨張処理回路ブロックを備えることにより実現できる。例えば、文字属性レイヤ画像の文字属性領域の最外縁の１画素を０に設定するような収縮処理回路ブロックや、文字属性領域の最外縁から外側の１画素を１に設定するような膨張処理回路ブロックを構成すればよい。

圧縮伸張画像生成部２０に設けられた補正処理部２６は、メモリ６に記憶された入力画像と文字属性レイヤ画像とに基づいて文字属性レイヤ画像を補正する回路ブロックである。

記憶処理部２７は、文字属性判別部２１により生成された文字属性レイヤ画像をＭＭＲ方式やＪＢＩＧ方式等を用いて可逆圧縮するとともに、入力画像をＪＰＥＧ方式等を用いて非可逆圧縮して、それぞれメモリ６またはハードディスク７等の記憶部に格納し、記憶部に格納した文字属性レイヤ画像または入力画像を伸張処理してメモリ６に展開する回路ブロックである。

スキャナ３等を介した入力画像に対して文字属性判別部２１により文字属性レイヤ画像が生成されるが、領域分離アルゴリズムによっては、文字領域以外の絵柄領域のエッジがノイズとして抽出される場合があり、そのような場合に、ノイズを除去する必要がある。また、分離された文字領域のうち特定の文字領域、例えば、特定の色の文字領域を文字属性レイヤ画像として生成することが要求される場合もある。

そのような場合、再度、文字属性判別部２１により文字属性レイヤ画像が生成する必要があるが、通常、記憶容量の観点で入力画像を生のデータで保存することはなく、ＪＰＥＧ方式等を用いて非可逆圧縮した画像がメモリ６またはメモリ６を介してハードディスク７に格納されるため、圧縮後の入力画像を伸張処理する必要がある。

このような伸張画像は画質が劣化しているため、文字属性判別部２１により伸張画像から文字属性レイヤ画像を生成すると、解像度の劣化が顕著な文字領域を適正に分離できないという問題がある。

そこで、本来の入力画像から文字属性判別部２１で生成された文字属性レイヤ画像を、記憶処理部２７により可逆圧縮して記憶部に格納するように構成されている。

補正処理部２６は、そのような場合に対応して設けられており、メモリ６に記憶された入力画像、つまり記憶処理部２７による圧縮保存後に伸張処理された入力画像を、色相、彩度または輝度の何れかの画像に変換する色相変換部、彩度変換部、輝度変換部を備えるとともに、記憶処理部２７による圧縮保存後に伸張処理された文字属性レイヤ画像と、色相、彩度または輝度の何れかに変換された入力画像に基づいて文字属性レイヤ画像を補正する補正回路を備えている。

例えば、彩度変換画像では、黒文字が低彩度画像領域となり、絵柄領域が比較的高彩度画像領域となるため、彩度変換画像と文字属性レイヤ画像の画素間で論理演算を行なうことにより、文字属性レイヤ画像から低彩度領域のみを抽出すれば、絵柄領域のエッジノイズを除去することができる。

例えば、輝度変換画像では、黒文字が低輝度画像領域となり、絵柄領域が比較的高輝度画像領域となるため、輝度変換画像と文字属性レイヤ画像の画素間で論理演算を行なうことにより、文字属性レイヤ画像から低輝度領域のみを抽出すれば、絵柄領域のエッジノイズを除去することができる。

例えば、文字属性レイヤ画像に含まれる文字属性領域から特定色の文字領域のみ抽出する必要がある場合には、色相変換部により特定の色相のみ抽出した色相変換画像と文字属性レイヤ画像の画素間で論理演算を行なうことにより、特定色の文字領域のみの文字属性レイヤ画像を生成することができる。

解像度変換部２３は、補正処理部２６で補正された文字属性レイヤ画像に基づいてメモリ６に記憶された伸張後の入力画像から文字色レイヤ画像と背景色レイヤ画像に分離し、各レイヤ画像をそれぞれ所定の解像度に変換するのである。

このような場合であっても、上述の解像度変換部２３による膨張処理により、画質の劣化が抑制される。特に、マスク画像として、文字属性判別部２１で生成された文字属性レイヤ画像の輪郭を収縮処理した画像を用い、反転マスク画像として、文字属性レイヤ画像の輪郭を膨張処理した後に反転した画像を用いると、画質の劣化が大幅に抑制される。

解像度変換部２３で、文字属性レイヤ画像、文字色レイヤ画像、背景色レイヤ画像のそれぞれに対する解像度変換率は、ボックスモードで入力モードが選択されたときに、操作部２の液晶表示部２ａに表示される選択キーにより選択される。

具体的には、「低」、「中」、「高」、「自動」の四種類の選択キーが表示される。各キーに対応する解像度は、図６に示す通りである。「低」、「中」、「高」の何れの選択キーが選択されても、入力画像の解像度にかかわらずそれぞれ一定の解像度変換率に設定される。従って、解像度変換後の各レイヤ画像の容量は入力画像の解像度により変動する。

「自動」の選択キーが選択されると、入力画像の解像度に応じて、解像度変換後の各レイヤ画像の容量が所定容量範囲に入るように解像度変換率が設定される。つまり、入力画像の解像度にかかわらず、解像度変換後の各レイヤ画像の容量が所定容量範囲に入るように、各レイヤ画像が解像度変換される。

つまり、図７に例示されているように、入力画像の解像度に応じて解像度変換後の各レイヤ画像の容量が所定容量範囲に入る解像度が設定された解像度変換テーブルを備え、解像度変換部は、解像度変換テーブルに基づいて、各レイヤ画像を解像度変換するように構成されている。

例えば、入力画像の解像度が６００ＤＰＩであれば、文字属性レイヤ画像の解像度変換率が１／２、文字色レイヤ画像の解像度変換率が１／１６、背景色レイヤ画像の解像度変換率が１／４に設定され、入力画像の解像度が３００ＤＰＩであれば、文字属性レイヤ画像の解像度変換率が１、文字色レイヤ画像の解像度変換率が１／８、背景色レイヤ画像の解像度変換率が１／２に設定され、入力画像の解像度が１２００ＤＰＩであれば、文字属性レイヤ画像の解像度変換率が１／４、文字色レイヤ画像の解像度変換率が１／３２、背景色レイヤ画像の解像度変換率が１／８に設定される。

その結果、解像度変換後の文字属性レイヤ画像の解像度が３００ＤＰＩ、文字色レイヤ画像の解像度が３７．５ＤＰＩ、背景色レイヤ画像の解像度が１５０ＤＰＩと、それぞれ一定の解像度に変換される。

従って、「自動」の選択キーが選択されると、ファイル生成部２５で生成された高圧縮画像ファイルは、常にほぼ一定容量のファイルとなる。解像度変換率を入力画像の解像度により変化させて、最終のファイル容量を一定に制限することにより、電子メール送信等により外部に高圧縮画像ファイルを送信する場合等の負荷の増大を回避することができるようになる。

以下、別実施形態を説明する。
上述した実施形態では、解像度変換部２３により文字色レイヤ画像と背景色レイヤ画像の双方が膨張処理される例を説明したが、少なくとも文字色レイヤ画像のみに膨張処理を施せば、文字領域がすっきりした再生画像を得ることができる。

上述した実施形態では、本発明の画像処理装置の一例としての複合機について説明したが、本発明は複合機以外の画像処理装置である複写機やプリンタ等に対しても有効である。また、本発明による画像処理アルゴリズムを実現するソフトウェアをパーソナルコンピュータ等にインストールすることにより構成される画像処理装置にも適用できる。

上述した実施形態では、高圧縮画像ファイルがＰＤＦファイルである場合を説明したが、高圧縮画像ファイルはＰＤＦフォーマットの画像ファイルに限るものではなく、他のフォーマットの画像ファイルにも適用できる。

上述した実施形態は何れも本発明の一実施例に過ぎず、当該記載により本発明の範囲が限定されるものではなく、各部の具体的構成は本発明による作用効果を奏する範囲において適宜変更設計することができることは言うまでもない。

１：画像処理装置（複合機）
１４：画像処理部
２０：圧縮伸張画像生成部
２１：文字属性判別部
２２：インデックス値置換処理部
２３：解像度変換部
２４：画像圧縮・伸張部
２５：ファイル生成部
２６：補正処理部
２７：記憶処理部
２８：画像合成部

Claims (4)

1. 入力画像から文字領域と文字領域以外の背景領域を識別する文字属性レイヤ画像を生成する文字属性判別部と、文字属性レイヤ画像に基づいて入力画像データから文字色レイヤ画像と背景色レイヤ画像に分離し、各レイヤ画像をそれぞれ所定の解像度に変換する解像度変換部と、解像度変換された文字属性レイヤ画像を可逆圧縮するとともに文字色レイヤ画像及び背景色レイヤ画像を非可逆圧縮する画像圧縮部と、圧縮された各レイヤ画像に基づいて高圧縮画像ファイルを生成するファイル生成部を備えている画像処理装置であって、
   入力画像から所定の非有効画素を示すインデックス値と同値の画素を抽出し、抽出した画素をインデックス値と異なる画素値に変換するインデックス値置換処理部を備え、
   解像度変換部は、文字属性レイヤ画像から生成されるマスク画像に基づいて、インデックス値置換処理部で処理された入力画像から文字色画素を抽出した文字色レイヤ画像を生成し、文字色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、マスク画像を参照して、画素ブロックにマスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックにマスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を全画素ブロックに繰り返して縮小文字色レイヤ画像を生成し、インデックス値に基づいて判別される縮小文字色レイヤ画像の輪郭部を膨張処理するように構成されている、
   画像処理装置。
2. 解像度変換部は、文字属性レイヤ画像に基づいて生成される反転マスク画像に基づいて、インデックス値置換処理部で処理された入力画像から背景色画素を抽出した背景色レイヤ画像を生成し、背景色レイヤ画像を解像度変換率に基づいて設定される所定画素数の画素ブロックに区分し、反転マスク画像を参照して、画素ブロックに反転マスク画像に属する画素が存在すると、当該画素の平均値を解像度変換後の画素値とし、画素ブロックに反転マスク画像に属する画素が存在しないと、インデックス値を解像度変換後の画素値とする処理を全画素ブロックに繰り返して縮小背景色レイヤ画像を生成し、インデックス値に基づいて判別される縮小背景色レイヤ画像の輪郭部を膨張処理するように構成されている、請求項１記載の画像処理装置。
3. 膨張処理は、膨張対象画素がインデックス値である場合に、膨張対象画素を中心画素とする所定数の画素ブロックのうち、インデックス値を示す画素以外の画素の平均値を膨張対象画素の画素値として生成し、膨張対象画素がインデックス値でない場合に、膨張対象画素を中心画素とする所定数の画素ブロックのうち、中心画素の画素値との差分が所定の閾値以内の画素値の平均値を膨張対象画素の画素値として生成するように構成されている請求項１または２記載の画像処理装置。
4. マスク画像が文字属性レイヤ画像の輪郭を収縮処理した画像であり、反転マスク画像が文字属性レイヤ画像の輪郭を膨張処理した後に反転した画像である請求項１から３の何れかに記載の画像処理装置。