JP4648073B2 - 画像処理装置及びこれを備えた画像読取装置並びに画像処理方法 - Google Patents

Description

本発明は、カラー画像を複数のレイヤに分けてファイル化する、いわゆるマルチレイヤ画像を生成する画像処理装置及びこれを備えた画像読取装置並びに画像処理方法に関し、特にカラー画像を文字などの主画像とその背景となる下地画像とに分けると共に、主画像を表示色ごとに振り分けて別レイヤでファイルに格納するようにした画像処理装置及びこれを備えた画像読取装置並びに画像処理方法に関するものである。

文書の電子化のため、文書をスキャナで読み取ってイメージデータ化する方法が広く普及しており、またコンピュータ上の文書作成ソフトウェアで作成された文書を配布する際に配布先で支障なく閲覧できるように文書をイメージデータ化しておくことが望ましく、このような文書のイメージデータ化にあたっては、記憶装置の容量の節約や通信時間の短縮などの要望からデータサイズを削減するための様々な圧縮方法が利用されている。

特にカラー文書の場合、通常低輝度で描画される文字とその周辺との輝度差が原因でカラー圧縮処理により再生画質が低下することがあり、このような不具合を避けるため、カラー画像を文字画像と下地画像とに分けて異なる圧縮方法にて圧縮処理するものとし、描画色の異なる文字画像については表示色ごとに振り分けて別レイヤでファイルに格納するようにした技術が知られている（特許文献１参照）。特にこの技術では、ファイルサイズを小さく抑えるため、所定の色範囲で同一色とみなされる文字領域を統合して圧縮効率を高めるようにしている。
特開２００３−１８４１３号公報

しかるに、前記従来の技術のように所定の範囲に含まれる色を同一色とみなして統合する場合、１色に統合する範囲を大きく設定することで、減色による圧縮効率の向上を図ることができるものの、離れた色が統合されることで見た印象が変化することがあり、特に無彩色に近い色領域では、彩度の僅かな変化が人間の色覚で容易に識別可能なため、原画像上では明らかに有彩色として視認可能な色が無彩色としてか視認し得ない色に変化して、見た印象が原画像と大きく変わってしまうような画質の低下を招くことがある。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、カラー画像をマルチレイヤ化するための色別の主画像を生成する際に、色の統合による減色において人間の色覚上の特性から無彩色に近い色領域で見た印象が原画像と大きく変わってしまう画質低下が生じることを避けることができるように構成された画像処理装置及びこれを備えた画像読取装置並びに画像処理方法を提供することにある。

このような課題を解決するために、本発明による画像処理装置においては、請求項１に示すとおり、原画像中に下地と異なる輝度で描画される主画像を原画像から取り出してその主画像を表示色ごとに振り分けて主画像の画データを色別に生成する主画像生成手段と、前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像の画データを生成する下地画像生成手段と、これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、前記主画像生成手段が、主画像部分ごとに原画像から抽出された表示色候補を、所定の統合条件にしたがってその近傍の表示色候補と統合して表示色を決定するものとし、このとき、所定の無彩色領域とその外側の有彩色領域との両方に、前記統合条件を満足する複数の表示色候補が存在する場合には、その両方の領域に分かれて存在する表示色候補同士の統合は行わず、別々に表示色として採用するようにしたものとした。

これによると、無彩色領域を適切に設定すれば、原画像上で有彩色として容易に認識可能な色が無彩色としてしか認識し得ない色に変化してしまう画質低下を避けることができる。

この場合、無彩色領域は、色空間において無彩色となる直線を中心とし、境界までの距離を所定のしきい値により規定された領域とすれば良い。

また、原画像からの表示色候補の抽出処理では、主画像を連続的に構成する画素群、すなわち主画像を２値化して得られた２値画像上で黒画素となる画素の連続領域ごとに代表色を求める、例えば複数の画素値を平均して得られる平均色を求め、これを表示色候補とすれば良い。

前記画像処理装置においては、請求項２に示すとおり、前記主画像生成手段が、色空間を等間隔に分割した分割空間の１つに含まれることを前記統合条件として複数の表示色候補を１つに統合すると共に、その分割空間ごとの表示色候補に対して画素数に応じて設定された優先順位にしたがって表示色候補を表示色に決定し、このとき、表示色候補を中心とした所定の類似領域内に優先順位の高い表示色が存在する場合には、その表示色に当該表示色候補を統合するようにした構成とすることができる。これによると、１つの文字のように同一色で描画される主画像の色が複数の分割空間の境界付近にあるため、本来１つとなるべき表示色候補が複数設定された場合でも、類似領域内にあることを条件に統合することができ、表示色が無用に増加する不具合を避けることができる。

この場合、類似領域は、対象とする表示色候補を中心として、境界までの距離を所定のしきい値により規定された領域である。

前記画像処理装置においては、請求項３に示すとおり、前記主画像生成手段が、前記無彩色領域内の表示色候補を統合する場合と、前記有彩色領域内の表示色候補を統合する場合とで、異なる大きさの前記類似領域を用いて統合処理を行い、前記無彩色領域用の類似領域が、前記有彩色領域用の類似領域に比較して大きく設定された構成とすることができる。これによると、有彩色領域では離れた色の統合により見た印象が大きく変化するのに対して、無彩色領域では離れた色の統合でも階調変化のみで見た印象がさほど変化しないことから、無彩色領域で大きな類似領域を用いて減色を図ることにより、画質の低下を抑えつつ、圧縮効率を高めることができる。

また本発明による画像読取装置においては、請求項４に示すとおり、前記の画像処理装置と、原稿のカラー画像を読み取る原稿読取手段とを備え、この原稿読取手段で取得した原画像のデータに基づいて前記画像処理装置にて所要の処理が行われてマルチレイヤ画像ファイルを出力するようにしたものとした。

また本発明による画像処理方法においては、請求項５に示すとおり、原画像中に下地と異なる輝度で描画される主画像を原画像から取り出してその主画像を表示色ごとに振り分けて主画像の画データを色別に生成するステップと、前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像の画データを生成するステップと、これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理するステップとを有し、前記主画像の画データを色別に生成するステップにおいて、主画像部分ごとに原画像から抽出された表示色候補を、所定の統合条件にしたがってその近傍の表示色候補と統合して表示色を決定するものとし、このとき、所定の無彩色領域とその外側の有彩色領域との両方に、前記統合条件を満足する複数の表示色候補が存在する場合には、その両方の領域に分かれて存在する表示色候補同士の統合は行わず、別々に表示色として採用するものとした。

これによると、無彩色領域を適切に設定すれば、原画像上で有彩色として視認可能な色が無彩色としてしか視認し得ない色に変化してしまう画質低下を避けることができる。

このように本発明によれば、減色による圧縮効率の向上を図るために、１色に統合する範囲を大きく設定することで、無彩色に近い色領域で見た印象が原画像と大きく変わってしまうような画質低下を避けることができ、これにより画質低下を抑制しつつ、圧縮効率を高めてデータサイズの削減を図る上で大きな効果が得られる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本発明による画像処理装置が適用された複合機の構成概略を示すブロック図である。この複合機は、原稿の画像を読み取るＣＣＤ１と、適切な読取結果が得られるようにＣＣＤ１からの画データを処理する読取データ処理部２と、適切なプリント結果が得られるように読取データ処理部２からの画データを処理するプリントデータ処理部３と、プリントデータ処理部３からの画データに基づいて記録紙に画像を記録するプリンタエンジン４とを有し、原稿画像を記録紙に複写する複写機能を備えている。

また、この複合機は、原稿の画像を読み取って出力画像ファイルを作成するスキャナ機能を備えており、ＣＣＤ１及び読取データ処理部２を経て得られた画データが、マルチレイア画像生成部５に送られ、ここで読取画データが下地画像と文字画像とに分離された上で異なる圧縮方法にて圧縮処理されてレイヤ別に格納したＰＤＦ（portable document format）のファイル形式による出力ファイル（マルチレイヤ画像ファイル）が作成される。

さらに、この複合機は、ＰＣなどのコンピュータ上の文書作成ソフトウェアで作成された文書の印刷データからマルチレイヤ画像ファイルを作成するデータ変換機能を備えており、ポストスクリプトなどのページ記述言語による印刷データがネットワーク制御部６で受信され、その印刷データがデータ変換部７にてＲＧＢの画データに変換された後、マルチレイア画像生成部５に送られてマルチレイヤ画像ファイルが作成される。

読取データ処理部２は、ＣＣＤ１の出力信号のＡ／Ｄ変換及びオフセット調整を行うＡ／Ｄ・オフセット調整部１１と、ＣＣＤ１の感度ムラを修正するシェーディング・黒補正部１２と、ラインセンサで構成されるＣＣＤ１による副走査方向のずれを補正するライン間補正部１３と、ＣＣＤ１の特性に応じたガンマ補正を行うガンマ補正部１４とを有している。

プリントデータ処理部３は、ＲＧＢの画データをＣＭＹＫの画データに色空間変換する色変換部１６と、プリンタエンジン４の出力解像度に対応する画像サイズに拡大・縮小する変倍部１７と、プリンタエンジン４の出力特性に適合するように階調を補正するプリンタ階調補正部１８と、色変換部１６及びプリンタ階調補正部１８の処理を画像の特性に応じて適正に行わせるために文字や写真などの領域を検出する像域判定部１９とを有している。

図２は、図１に示したマルチレイア画像生成部の構成を示すブロック図である。マルチレイア画像生成部５は、カラーの原画像内において下地画像（背景画像）と異なる輝度で描画される文字や線画図形などの主画像を原画像から取り出す主画像生成部（主画像生成手段）２１と、主画像に対応する原画像中の部分を所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成部（下地画像生成手段）２２と、これにより得られた主画像及び下地画像とを互いに異なる圧縮方法にて圧縮処理する主画像圧縮部（画像圧縮手段）２３及び下地画像圧縮部（画像圧縮手段）２４と、これにより得られた主画像及び下地画像の各圧縮画像データを複数のレイヤに振り分けてファイル化するファイル生成部２５とを有している。

主画像生成部２１は、ＲＧＢの画データから画素ごとの輝度を算出する輝度生成部３１と、これにより得られた輝度画像を所定のしきい値を基準にして２値化する２値化処理部３２と、これにより得られた２値画像内の文字や図形などの領域を判定する領域判定部３３と、これにより得られた領域情報に基づいて文字や図形などの主画像を抽出する像抽出部３４と、これにより得られた主画像の再生時の表示色を原画像から抽出する主画像色抽出部３５と、これにより得られた表示色ごとに主画像を別レイヤでファイルに格納するために色別の主画像のデータを作成する色別レイヤ分割部３６とを有している。

領域判定部３３では、２値画像内の文字、罫線で区切られた表、線画で描かれた図形、ビットマップイメージ（写真など）の各領域を判定し、ここで得られる各領域の２値画像上の位置（座標）に関する領域情報に基づいて像抽出部３４において、主画像としての文字、罫線、並びに線画図形の画像が抽出される。文字領域では、行認識を経て１文字単位の画像を切り出す処理が行われる。表領域では、表構造を認識して罫線の画像、並びにセル単位の画像を切り出す処理を行うようにしても良い。

主画像圧縮部２３では、２値画像の圧縮に適した圧縮方式、例えばＭＭＲやＪＢＩＧにより文字や線画図形などの主画像のデータが圧縮処理される。下地画像圧縮部２４では、多値画像の圧縮効率に優れた圧縮方式、例えばＪＰＥＧにより下地画像のデータが圧縮処理される。このようにして得られた主画像及び下地画像の各圧縮画像データは、ファイル生成部２５で別レイヤとしてファイル化され、これにより原画像をそのままＪＰＥＧ圧縮した場合に、周辺の下地部分より低輝度に描画された文字や線画などの主画像により、周辺の下地部分にモスキートノイズが発生することを避けることができる。

主画像の圧縮データを色別レイヤに振り分けるにあたっては、色別レイヤを予め所定の数（例えば、８つ）だけ設定しておき、主画像色抽出部３５では、レイヤ数に対応する色数とするため、近似色に統一する減色処理が行われる。また主画像色抽出部３５では、色別に分離された主画像（２値画像）の表示色と色別レイヤの識別番号との対応関係を示すカラーパレット情報が生成され、このカラーパレット情報は、ファイル生成部２５においてマルチレイヤ画像ファイルに格納される。

下地画像生成部２２は、主画像生成部２１の像抽出部３４で得た２値の主画像の画線部、すなわち２値画像上で黒画素となる画素に対応する原画像中の部分をその周辺色に類似する塗り潰し色で塗り潰して下地画像を生成するものであり、塗り潰しのための塗り潰し色を原画像から抽出する塗り潰し色抽出部３７と、主画像生成部２１の像抽出部３４で得た主画像の画線部に対応する原画像中の部分を、塗り潰し色抽出部３７で得た塗り潰し色で塗り潰す塗り潰し処理部３８とを有している。

塗り潰し色抽出部３７では、像抽出部３４で得た主画像の画線部の周囲の非画線部に対応する原画像中の部分の画素値を参考にして塗り潰し色が決定される。特にここでは、ＲＧＢの画データがＹＣｂＣｒの画データに変換された後、非画線部に対応する原画像中の部分の画素の輝度成分値に基づいて塗り潰し色の輝度成分値Ｙが決定され、他方、塗り潰し色の色差成分値（色度成分値）Ｃｂ・Ｃｒは、中間値、例えば色差成分値を２５６段階で表す場合にはＣｂ＝Ｃｒ＝１２８に予め設定されており、塗り潰し色は無彩色となる。

下地画像圧縮部（画像圧縮手段）２４では、下地画像のデータがＪＰＥＧ圧縮され、このＪＰＥＧ圧縮では、輝度成分値に対して色差成分値を大きく圧縮するダウンサンプリングが行われる。輝度成分値Ｙ及び色差成分値Ｃｂ・Ｃｒのサンプリング比率Ｙ：Ｃｂ：Ｃｒは、４：１：１、４：２：２、４：２：０のいずれかとすれば良い。

図３は、図２に示したマルチレイヤ画像生成部での処理の要領を示す概念図である。主画像生成部２１の輝度生成部３１及び２値化処理部３２を経て原画像を２値化した２値画像が得られ、さらに領域判定部３３及び像抽出部３４を経て文字、表、図形などの領域種別ごとの主画像の画データが得られ、文字領域の画像は、２値画像において文字に外接する矩形により１文字単位で切り分けて１文字ごとの文字画像が得られる。

主画像生成部２１の主画像色抽出部３５で行われる主画像の色の抽出、並びに下地画像生成部２２の塗り潰し色抽出部３７及び塗り潰し処理部３８で行われる塗り潰し色の抽出及び塗りつぶしの処理は、ＪＰＥＧ圧縮処理での処理単位となる８×８画素からなるブロックごとに行われる。

まず主画像生成部２１の主画像色抽出部３５では、２値画像上で黒画素となる画線部を構成する画素と同一座標の画素の色が多値画像（原画像）のデータから取得され、その多値画像上の各画素値に基づいて、主画像の画線部を表示する色（例えば、赤色）が決定される。そして主画像生成部２１の色別レイヤ分割部３６で、主画像色抽出部３５により得られた表示色ごとに主画像を振り分けて色別の主画像のデータを作成する処理が行われる。

また下地画像生成部２２の塗り潰し色抽出部３７では、２値画像上で黒画素となる画線部の周囲で白画素となる非画線部を構成する画素と同一座標の画素の輝度成分値が、ＹＣｂＣｒ表色系変換された多値画像のデータから取得され、その多値画像上の各画素ごとの輝度成分値の平均値が算出され、その平均輝度成分値と中間値（１２８）に予め設定され色差成分値とにより、塗り潰し色が決定される。例えば、２値画像の非画線部に対応する多値画像中の部分が青色であれば、塗り潰し処理部３８で得られる下地画像では、２値画像の画線部に対応する部分がその周囲の青色と同一輝度の灰色で塗り潰された配色となる。

なお、主画像の表示色の取得の際には、処理ブロック内の画線部を構成する全ての画素を対象せず、適宜な規則にしたがって選出された複数の画素を対象として表示色を決定するものとしても良い。また下地画像の塗り潰し色の取得の際も、同様に非画線部を構成する画素の中から適宜な規則にしたがって選出された複数の画素を対象として塗り潰し色を決定するものとしても良い。この他、１文字ごとの文字画像の外周部に位置する画素を、下地画像の塗り潰し色決定の基準とすることも可能である。

図４及び図５は、図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図である。ここでは、文字を主画像とした例について示す。

まずメモリに格納されたＲＧＢによる原画像の画データが主画像生成部２１において取得され（ステップ１０１）、ついで表色系（色空間）変換処理によりＹＣｂＣｒによる画データが生成され（ステップ１０２）、その輝度成分値Ｙによる輝度画像が輝度生成部３１で作成された後、その輝度画像を２値化する処理が２値化処理部３２で行われる（ステップ１０３）。そして２値画像内の文字や図形などの領域を検出するレイアウト解析処理が領域判定部３３で行われ、文字や図形などの領域種別や領域の原画像上の位置（座標）に関する属性を領域ごとに記載した領域リストが作成される（ステップ１０４）。

次に１文字単位の画像を取得する工程（ステップ１０５〜１０８）に進み、ここではまず文字領域内の２値画像から１文字ごとの文字画像を切り出す処理が像抽出部３４で行われ（ステップ１０６）、ついで切り出した１文字ごとの文字画像の格納先アドレスを領域リストに追加する処理が行われる（ステップ１０７）。

次に文字画像の表示色を１文字ごとに取得して色別文字レイヤに振り分けて圧縮処理する工程（ステップ１０９〜１１６）に進み、ここではまず領域リストを参照して文字領域に属する文字画像に関する処理ブロックごとの座標を求める処理が行われ、これにより得られた処理ブロックに関する情報を記載した文字リストが作成される（ステップ１１０）。そして文字リストに記載された処理ブロック単位で文字画像の表示色を取得する処理が主画像色抽出部３５で行われ（ステップ１１２）、ついで処理ブロック単位の画像を表示色ごとに仕分けする処理が色別レイヤ分割部３６で行われる（ステップ１１３）。さらに対象文字領域に属する全ての文字ごとの表示色の取得及び仕分けの処理が終了すると（ステップ１１４）、表示色ごとの２値画像を圧縮する処理が主画像圧縮部２３で行われる（ステップ１１５）。

次に図５に示すように、下地画像の塗り潰し色を処理ブロック単位で取得して塗り潰す工程（ステップ１１７〜１２３）に進み、ここではまず前記と同様に１文字ごとの処理ブロックに関する情報を記載した文字リストが作成された後（ステップ１１８）、文字リストに記載された処理ブロック単位で塗り潰し色を取得する処理が塗り潰し色抽出部３７で行われ（ステップ１２０）、ついで取得した塗り潰し色で塗り潰す処理が塗り潰し処理部３８で処理ブロック単位で行われる（ステップ１２１）。

そして１ページ分の塗り潰し処理が終了すると（ステップ１２３）、塗り潰し済みの多値画像をサブサンプリングしてＪＰＥＧ圧縮する処理が下地画像圧縮部２４で行われる（ステップ１２４・１２５）。

このようにして文字画像及び下地画像の圧縮データが取得されると、マルチレイヤ画像ファイルの作成の工程に進み、文字画像及び下地画像の各圧縮データにヘッダ情報を付けてファイルに書き込む処理がファイル生成部２５で行われる（ステップ１２６・１２７）。

図６・図７は、図４に示した文字色抽出処理の概要を示す概念図である。特に図７は、説明の便宜からＲＢ平面で示している。主画像生成部２１の主画像色抽出部３５では、表示色数を所定値に制限するため、主画像部分ごとに原画像から抽出された表示色候補を、その近傍の表示色候補と統合して表示色が決定され、特にここでは、ＲＧＢ色空間を等間隔に分割した分割空間について原則として表示色が１つ設定され、１つの分割空間に複数の表示色候補が存在する場合（統合条件）には、その複数の表示色候補を１つに統合する処理が行われる。

原画像からの表示色候補の抽出処理では、主画像を連続的に構成する画素群、すなわち主画像を２値化して得られた２値画像上で黒画素となる画素の連続領域ごとに代表色を求め、これを表示色候補とする。このとき、黒画素の連続領域を構成する複数の画素値の平均値を算出する、すなわち各画素のＲＧＢの各値をそれぞれ平均してＲＧＢごとの平均値を算出して得られる平均色を代表色とすれば良い。また、１つの分割空間に複数の表示色候補が存在する場合の統合処理でも、同様に、複数の表示色候補の画素値の平均値を算出して得られる平均色を該当する分割空間の表示色候補とすれば良い。

なお、図６の例では、ＲＧＢの各成分値について分割数を４としており、分割空間の総数は４×４×４＝６４となるが、この分割数は、要求される圧縮率などに応じて適宜に設定すれば良く、分割数をこれよりも多く設定することも可能であり、例えばＲＧＢの各成分値について分割数を１６とすると良く、この場合、分割空間の総数は１６×１６×１６＝４０９６となる。

さらにここでは、白（Ｒ，Ｇ，Ｂ）＝（０，０，０）と黒（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）とを結ぶ直線Ｒ＝Ｇ＝Ｂを中心とした所定の幅の領域を無彩色領域とし、この無彩色領域内の表示色候補と、無彩色領域の外側の有彩色領域内の表示色候補とで統合処理を別々に行うものとし、無彩色領域とその外側の有彩色領域との両方に、前記分割空間による統合条件を満足する複数の表示色候補が存在する場合には、その両方の領域に分かれて存在する表示色候補同士の統合は行わず、別々に表示色として採用するようにしている。

したがって、無彩色領域を含む無彩色分割空間では、無彩色と有彩色との２つの表示色を設定することができ、無彩色分割空間内の無彩色領域に複数の表示色候補がある場合、並びに無彩色分割空間内の有彩色領域に複数の表示色候補がある場合には、各々で統合処理が行われる。他方、無彩色領域を含まない有彩色分割空間では、１つの表示色が設定され、複数の表示色候補がある場合にはそれらの統合処理が行われる。

無彩色領域は、色空間において無彩色となる直線Ｒ＝Ｇ＝Ｂを中心とし、境界までの距離を所定のしきい値により規定された領域であり、この無彩色領域は、ＲＧＢ色空間において直線Ｒ＝Ｇ＝Ｂを中心線とした円柱状をなし、その大きさ（半径）を規定するしきい値は、ＲＧＢの各色成分値を０〜２５５の各値で表す場合、例えば１５に設定されている。

またここでは、分割空間ごとの表示色候補に対して画素数に応じて設定された優先順位にしたがって表示色候補を表示色に決定し、このとき、表示色候補を中心とした類似領域内に優先順位の高い表示色が存在する場合には、その表示色に当該表示色候補を統合するようにしている。特に、無彩色領域内の表示色候補を統合する場合と、有彩色領域内の表示色候補を統合する場合とで、異なる大きさの類似領域を用いて統合処理が行われ、無彩色領域用の類似領域が、有彩色領域用の類似領域に比較して大きく設定されている。

類似領域は、対象とする表示色候補を中心として、境界までの距離を所定のしきい値により規定された領域であり、この類似領域は、表示色候補を中心とした球状をなし、その大きさ（半径）を規定するしきい値は、例えば無彩色用で９６、有彩色用で３２に設定されている。

図７の例では、まず第１位の表示色候補が表示色に決定される。そして、この第１位の表示色候補が有彩色であるのに対して、第２位の表示色候補は無彩色であるため、両者は、共に同一の分割空間内にあるが統合されず、第２位の表示色候補も表示色に決定される。これに対し、第３位の表示色候補は有彩色であるため、類似領域により統合の要否が判定され、ここでは第３位の表示色候補を中心とした類似領域内に第１位の表示色候補が存在するため、第３位の表示色候補は先順位で優先度が高い第１位の表示色候補に統合される。

これに対し、例えば、表示色候補の値を平均して統合する従来の手法では、第１位及び第２位の表示色候補がそれらの平均色（無彩色）に統合され、さらにその平均色に優先度が低い第３位の表示色候補が統合され、これにより有彩色の第１位及び第３位の表示色候補のいずれも表示色に採用されないという不都合が生じるが、本発明のように構成すると、有彩色の第１位の表示色候補が表示色に採用されるため、原画像と色味が変化する画質低下を避けることができる。

以上のようにして、主画像部分（黒画素の連続領域）ごとに原画像から抽出された表示色候補を所定の統合条件にしたがって統合して表示色が決定されるが、この表示色の色数は、像域判定部１９で検出された文字、罫線で区切られた表、線画で描かれた図形などの各領域ごとに所定数、例えば１２に制限される。表示色数が所定数に達した場合には処理が終了し、このとき、表示色として採用されない表示色候補は切り捨てられるが、前記のように、画素数に応じて設定された優先順位にしたがって表示色候補を表示色に決定するため、見た印象が大きく変化するような画質低下を避けることができる。

図８は、図４に示した文字色抽出の処理手順を示すフロー図である。この文字色抽出の処理は、図２に示した主画像生成部２１の主画像色抽出部３５にて行われるものであり、黒画素の連続領域を１単位として各々に対して画素数の多い順に番号を付けたラベリングデータの代表色を表示色候補として登録し、この表示色候補を画素数に応じた優先順位に基づいて順に表示色に決定し、このとき所定の統合条件にしたがって近似色が１つの表示色に統合されて、所定数を超えない範囲で表示色が決定される。

まず、文字ブロックを複数のラベリングデータに分解する処理が行われ（ステップ２０１）、ついでそれらのラベリングデータに含まれる各画素の値を平均してラベリングデータの代表色を取得する処理が行われる（ステップ２０２）。そして所定のしきい値に基づいてラベリングデータの代表色が無彩色か否か、すなわち図７に示した無彩色領域にあるか否かの判定が行われ（ステップ２０３）、無彩色であれば、そのラベリングデータの代表色を該当する無彩色分割空間に無彩色の表示色候補として登録する処理が行われ（ステップ２０４）、無彩色でない、すなわち有彩色であれば、そのラベリングデータの代表色を該当する無彩色あるいは有彩色の分割空間に有彩色の表示色候補として登録する処理が行われる（ステップ２０５）。

次に表示色候補に対応する分割空間に含まれる画素数を計数して、表示色候補を画素数が多い順に並べ換える処理が行われる（ステップ２０６）。ついで各分割空間について、その中に表示色候補が複数存在する場合に、それらの複数の表示色候補の値を平均して各分割空間ごとの代表となる表示色候補を求める処理が行われる（ステップ２０７）。ここで、無彩色分割空間では、無彩色領域と有彩色領域とで別々に平均化処理が行われ、ラベリングデータの表示色候補が両領域に分かれて存在する場合には、代表となる表示色候補が２つ設定される。

次に優先順位にしたがって表示色候補を選択し、このとき未処理の表示色候補が存在するする場合には（ステップ２０８）、決定済みの表示色数が所定のしきい値未満であるか否かの判定が行われ（ステップ２０９）、ここで表示色数がしきい値未満と判定されると、決定済みの表示色が存在するか否かの判定が行われ（ステップ２１０）、決定済みの表示色が存在しない、すなわち最も優先順位の高い最初の表示色候補であれば、その表示色候補を表示色に決定する処理が行われ（ステップ２１１）、次の表示色候補の処理に進む（ステップ２０８〜２１０）。

そして決定済みの表示色が存在するか否かの判定（ステップ２１０）において、決定済みの表示色が存在するものと判定されると、対象とする表示色候補が無彩色か否か、すなわち図７に示した無彩色領域内にあるか否かの判定が行われ（ステップ２１２）、ここで表示色候補が無彩色であれば、決定済みの無彩色の表示色の中から対象とする表示色候補に近いものを探索する処理が行われ（ステップ２１３）、表示色候補が無彩色でない、すなわち有彩色であれば、決定済みの有彩色の表示色の中から対象とする表示色候補に近いものを探索する処理が行われる（ステップ２１４）。

ついで前記の探索処理（ステップ２１３・２１４）により見つかった決定済みの表示色が対象とする表示色候補を中心とした類似領域の中にあるか否かの判定が、無彩色用及び有彩色用の各しきい値を用いて行われ（ステップ２１５）、ここで対象とする表示色候補の類似領域内に決定済みの表示色がないものと判定されると、その表示色候補を表示色に決定する処理が行われる（ステップ２１６）。他方、対象とする表示色候補の類似領域内に決定済みの表示色があるものと判定されると、その表示色候補を削除する処理が行われる（ステップ２１７）。

以上の処理が優先順位に従って各表示色候補について行われ、未処理の表示色候補が存在するか否かの判定（ステップ２０８）で、未処理の表示色候補が存在しないものと判定されると、処理を終了する。また決定済みの表示色数が所定のしきい値未満であるか否かの判定（ステップ２０９）で、表示色数が所定のしきい値未満でない、すなわち表示色数が所定のしきい値に到達してこれ以上の表示色の登録ができないものと判定されると、未処理の表示色候補が残っている場合でも処理を終了する。

図９は、図４に示した文字画像色別分離の処理手順を示すフロー図である。この文字画像色別分離の処理は、図２に示した主画像生成部２１の色別レイヤ分割部３６にて行われるものであり、図８に示した文字色抽出の処理で取得した表示色ごとに、ラベリングデータの代表色に基づいて各ラベリングデータを仕分けして、別レイヤでファイルに格納される主画像の画データを色別に生成する。

まず、文字ブロックを複数のラベリングデータに分解する処理が行われ（ステップ３０１）、ついで未処理のラベリングデータが存在するか否かの判定が行われ（ステップ３０２）、未処理のラベリングデータがあれば、当該ラベリングデータの代表色が無彩色か否かの判定が行われ（ステップ３０３）、その代表色が無彩色であれば、無彩色の表示色の中から当該ラベリングデータの代表色に最も近いものを探索する処理が行われ（ステップ３０４）、これにより取得した表示色で当該ラベリングデータを描画するものとする（ステップ３０５）。

他方、ラベリングデータの代表色が無彩色か否かの判定（ステップ３０３）で、無彩色でない、すなわち有彩色と判定されると、有彩色の表示色の中から当該ラベリングデータの代表色に最も近いものを探索する処理が行われ（ステップ３０６）、ついでこの探索処理により見つかった表示色と当該ラベリングデータの代表色とを比較して両者が所定のしきい値以内にあるか否かの判定が行われ（ステップ３０７）、ここでしきい値以内と判定されると、探索処理（ステップ３０６）により見つかった表示色で当該ラベリングデータを描画するものとする（ステップ３０５）。

これに対して、しきい値による判定（ステップ３０７）で、探索処理（ステップ３０６）により見つかった表示色がしきい値以内にないものと判定されると、当該ラベリングデータをリストから外す処理が行われ（ステップ３０８）、これにより該当するラベリングデータを主画像として描画するのを断念し、これに対応する主画像部分は下地画像として表示される。これにより、色調が大きく離れた表示色で描画されることを避けることができる。このようにして注目したラベリングデータの処理が終了すると、次のラベリングデータの処理に進み、同様の処理が全てのラベリングデータについて繰り返し行われる。

本発明にかかる画像処理装置及びこれを備えた画像読取装置並びに画像処理方法は、カラー画像をマルチレイヤ化するための色別の主画像を生成する際に、色の統合による減色において人間の色覚上の特性から無彩色に近い色領域で見た印象が原画像と大きく変わってしまう画質低下が生じることを避けることができる効果を有し、カラー画像を複数のレイヤに分けてファイル化する、いわゆるマルチレイヤ画像を生成する画像処理装置及びこれを備えた画像読取装置並びに画像処理方法などとして有用である。

本発明による画像処理装置が適用された複合機の構成概略を示すブロック図 図１に示したマルチレイア画像生成部の構成を示すブロック図 図２に示したマルチレイヤ画像生成部での処理の要領を示す概念図 図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図 図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図 図４に示した文字色抽出処理の概要を示す概念図 図４に示した文字色抽出処理の概要を示す概念図 図４に示した文字色抽出処理の手順を示すフロー図 図４に示した文字画像色別分離処理の手順を示すフロー図

符号の説明

５ マルチレイア画像生成部
２１ 主画像生成部（主画像生成手段）
２２ 下地画像生成部（下地画像生成手段）
２３ 主画像圧縮部（画像圧縮手段）
２４ 下地画像圧縮部（画像圧縮手段）
３７ 塗り潰し色抽出部
３８ 塗り潰し処理部

Claims (5)

1. 原画像中に下地と異なる輝度で描画される主画像を原画像から取り出してその主画像を表示色ごとに振り分けて主画像の画データを色別に生成する主画像生成手段と、
   前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像の画データを生成する下地画像生成手段と、
   これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、
   前記主画像生成手段が、主画像部分ごとに原画像から抽出された表示色候補を、所定の統合条件にしたがってその近傍の表示色候補と統合して表示色を決定するものとし、このとき、所定の無彩色領域とその外側の有彩色領域との両方に、前記統合条件を満足する複数の表示色候補が存在する場合には、その両方の領域に分かれて存在する表示色候補同士の統合は行わず、別々に表示色として採用するようにしたことを特徴とする画像処理装置。
2. 前記主画像生成手段が、色空間を等間隔に分割した分割空間の１つに含まれることを前記統合条件として複数の表示色候補を１つに統合すると共に、その分割空間ごとの表示色候補に対して画素数に応じて設定された優先順位にしたがって表示色候補を表示色に決定し、このとき、表示色候補を中心とした所定の類似領域内に優先順位の高い表示色が存在する場合には、その表示色に当該表示色候補を統合するようにしたことを特徴とする請求項１に記載の画像処理装置。
3. 前記主画像生成手段が、前記無彩色領域内の表示色候補を統合する場合と、前記有彩色領域内の表示色候補を統合する場合とで、異なる大きさの前記類似領域を用いて統合処理を行い、前記無彩色領域用の類似領域が、前記有彩色領域用の類似領域に比較して大きく設定されたことを特徴とする請求項２に記載の画像処理装置。
4. 請求項１乃至請求項３のいずれかに記載の画像処理装置と、原稿のカラー画像を読み取る原稿読取手段とを備え、この原稿読取手段で取得した原画像のデータに基づいて前記画像処理装置にて所要の処理が行われてマルチレイヤ画像ファイルを出力するようにしたことを特徴とする画像読取装置。
5. 原画像中に下地と異なる輝度で描画される主画像を原画像から取り出してその主画像を表示色ごとに振り分けて主画像の画データを色別に生成するステップと、
   前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像の画データを生成するステップと、
   これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理するステップとを有し、
   前記主画像の画データを色別に生成するステップにおいて、主画像部分ごとに原画像から抽出された表示色候補を、所定の統合条件にしたがってその近傍の表示色候補と統合して表示色を決定するものとし、このとき、所定の無彩色領域とその外側の有彩色領域との両方に、前記統合条件を満足する複数の表示色候補が存在する場合には、その両方の領域に分かれて存在する表示色候補同士の統合は行わず、別々に表示色として採用することを特徴とする画像処理方法。

Images