JP5300639B2 - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Description

本発明は、文書画像の画像処理方法、画像処理装置、及びプログラムに関する。

近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等によりスキャンして電子化して保存したり、その電子データを他装置に送信するシステムが普及してきている。

電子文書には可読性向上や高圧縮性を実現させるために文字部は鮮明、背景は均一な色が求められているが、実際に紙文書を電子化する際には各種のノイズやにじみ、むらが発生する。

特許文献１では、減色処理を容易にするため入力画像を低解像度変換し、低解像度画像から略均一な色の領域を代表色領域候補とし、領域候補を高解像度画像に当てはめて代表色と代表色で塗られるべき領域を決定する方式が開示されている。

特開２００２−１４２１２８号公報

特許文献１のように低解像度画像で代表色を決定すると、元の色数が減るため代表色の決定は容易になる。しかし、網点領域に文字が乗っていて、文字の大きさが小さい場合、例えば、文字「ｉ」の点の部分などの小領域は、解像度を落とした際に周辺の色で平滑化されてしまい、ヒストグラム上の頻度が小さくなる。このとき、ヒストグラムの頻度のみを参照して代表色を決定すると、文字の色が代表色として残らない場合がありうる。つまり、この場合、量子化時に色が欠落してしまう。

そこで、以上の状況を踏まえ、本発明は、領域の属性を判定することによって、画像を精度よく減色し量子化することを目的とする。

上記課題を解決するために、本発明は以下の構成を有する。入力画像を予め定められたサイズの複数のタイルに分割する分割手段と、前記分割手段で分割された前記複数のタイルそれぞれを低解像度変換して低解像度タイルを得る解像度変換手段と、前記分割手段で分割された前記複数のタイルに含まれる着目タイル内の画素の特徴から、該着目タイルの属性を判定する判定手段と、前記判定手段で判定された前記着目タイルの属性に基づいて、前記着目タイル内の代表色の色数を決定する代表色数決定手段と、前記解像度変換手段により前記着目タイルを低解像度変換して得られた前記低解像度タイル内の画素について、画素の色とその色の画素数との関係を示すヒストグラムを生成する生成手段と、前記生成手段で生成された前記ヒストグラムと前記代表色数決定手段で決定された前記代表色の色数とに基づいて、前記着目タイルを減色する減色手段とを備える。

本発明によれば、画像を精度よく減色することにより、量子化誤りによる画質の劣化を抑制することができる。

第１実施形態に係る画像処理システムのハードウェア構成を示すブロック図。 第１実施形態に係る画像処理装置の機能的構成を示す図。 画像分割処理の具体例を説明する図。 低解像度タイルから生成されるヒストグラムの一例を示す図。 属性判定結果の一例を示す図。 属性ごとに指定できる色数の一覧を示す図。 第２実施形態に係る画像処理装置の機能的構成を示す図。 第３実施形態に係る画像処理装置の機能的構成を示す図。 第３実施形態に係る量子化単位切替部の詳細な処理内容を示すフローチャート。

以下に、図面を参照して、本発明の実施の形態を例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

（第１実施形態）
本発明の第１実施形態に係る画像処理システムのハードウェア構成を図１のブロック図を用いて説明する。画像処理装置１００は、読み取った文書の紙面情報を画像データに変換するスキャナ１０１と、画像処理プログラムを実行するＣＰＵ１０２とを有する。画像処理装置１００は、プログラムを実行する際のワークメモリやデータの一時保存等に利用されるメモリ１０３と、プログラムやデータを格納するハードディスク１０４と、外部装置とデータの入出力を行うためのネットワークＩ／Ｆ１０５とを有する。ＰＣ（パーソナルコンピュータ）１２０は、ＬＡＮ１１０等のネットワークを介して画像処理装置１００と接続され、画像処理装置１００から送信されたデータを受信する。

第１実施形態に係る画像処理装置１００の機能的構成について、図２のブロック図を用いて説明する。本実施形態では、図２で示す各ボックスは、ＣＰＵ１０２で電子ドキュメント生成プログラムを実行することによって実現される処理を示すものでするが、本発明はこれに限定されるものではない。つまり、図２に含まれる処理の一部又は全部を電気回路で実現しても良く、その場合、本発明は、一部又は全部が具体的なハードウェアとしての回路によって構成される。

図２において、画像入力部２０１はスキャナ１０１から画像データを入力するインターフェースである。図３（ａ）は画像入力部２０１から入力された入力画像の一部である。３０１が網点の領域（背景が網点）、３０２は下地の領域（背景が単色）とし、それぞれの領域に文字（Ｂ，Ｄ）が存在する。画像入力部２０１は入力された画像データを分割部２０２に送る。分割部２０２は、送られてきた画像データを予め定められたサイズの複数のタイルに分割する（例えば６４画素×６４画素のサイズのタイルごとに分割する）。分割部２０２は、タイル分割部２０３と、サブタイル分割部２０５とを含む。タイル分割部２０３は、送られてきた画像データを、各々が所定の画像領域に対応する複数のタイル２０４に分割する。図３（ｂ）は、図３（ａ）をタイル分割した例を示す図である。サブタイル分割部２０５は、タイル２０４をさらに小さく分割する（例えば３２画素×３２画素のサイズのサブタイルごとに分割する）。図３（ｃ）は、図３（ｂ）をサブタイルに分割した例を示す図である。

図２の低解像度変換部２０７は、タイル分割部２０３で分割されたタイル２０４の一つ（着目タイル）に対して、低解像度変換処理を施し、低解像度タイル２０８を生成する。例えば、６４画素×６４画素のサイズのタイル２０４を、３２画素×３２画素のサイズの低解像度画像である低解像度タイルに低解像度変換する。本実施形態では、一例として周辺画素の平均値を用いる方法によって低解像度変換を行うが、本発明はこの変換方法に限定されるものではない。図３（ｄ）は、図３（ｂ）で示したタイル２０４それぞれに低解像度処理を施して得られた低解像度タイル２０８それぞれの一例を示す図である。ヒストグラム生成部２０９は、低解像度変換部２０７で生成した低解像度タイル２０８内の色と出現する画素数（頻度）とのヒストグラムを生成する。つまり、着目タイルと同じ領域の画像を低解像度化して得た低解像度タイル内の画素について、画素の色とその色の画素数との関係を示すヒストグラムを生成する。

低解像度タイルから生成されるヒストグラムの一例を示す図４において、図４（ａ）は図３（ｄ）のタイル座標（ｘ，ｙ）＝（０，１）にあたる低解像度タイルから生成したヒストグラムである。図３（ｄ）の低解像度タイル（ｘ，ｙ）＝（０，１）は網点の領域である。よって、網点を構成する色４０１、４０２が出現している。図４（ｂ）は図３（ｄ）のタイル座標（ｘ，ｙ）＝（１，１）にあたる低解像度タイルから生成したヒストグラムである。低解像度タイル（ｘ，ｙ）＝（１，１）には、網点と文字（文字「Ｂ」の一部）とが存在しているため、網点を構成する色情報４０３，４０４及び文字色の色情報４０５がヒストグラム上に現れている。

図４（ｃ）は図３（ｄ）の低解像度タイル（ｘ，ｙ）＝（２，１）から生成したヒストグラムである。低解像度タイル（ｘ，ｙ）＝（２，１）はベタ塗りの下地（単一色）であるため、下地の色情報４０６のみがヒストグラム上に現れている。図４（ｄ）は図３（ｄ）の低解像度タイル（ｘ，ｙ）＝（３，１）にあたるヒストグラムである。低解像度タイル（ｘ，ｙ）＝（３，１）は下地上に文字があるため、下地の色情報４０７と文字の色情報４０８とが存在する。

属性判定部２０１０はサブタイル２０６それぞれの特徴から属性を判定する。サブタイル属性とは、「網点」、「下地」、「網点＋文字」、「下地＋文字」である。これらの判定は網点や文字を判定する公知の方法を用いる。本実施形態では、各サブタイルに対してゾーベルフィルタなどを適用することによりエッジを抽出し、当該抽出したエッジの特徴から属性を判定するが、本発明はこれに限定されるものではない。

エッジの特徴による判定条件は以下のとおりである。
サブタイル内にエッジが分散している −＞ 「網点」
サブタイル内のエッジはごく少ない −＞ 「下地」
サブタイル内のエッジが連続している −＞ 「下地＋文字」
サブタイル内のエッジは分散しかつ連続しているエッジがある −＞ 「網点＋文字」
属性判定部２０１０の判定単位はサブタイル単位である。図３（ｃ）における各サブタイルに対して判定されたサブタイル属性２０１１を図５（ａ）に示す。図５（ａ）において、５０１に含まれるサブタイルの属性は「網点」である。５０２に含まれるサブタイルの属性は「網点＋文字」である。５０３に含まれるサブタイルの属性は「下地」である。５０４に含まれるサブタイルの属性は「下地＋文字」である。減色部２０１２は、ヒストグラム生成部２０９で生成したヒストグラムと、属性判定部２０１０で判定したサブタイル属性２０１１を用い、各サブタイルの代表色を決定し、量子化する。減色部２０１２は、代表色候補選定部２０１３と、代表色数決定部２０１５と、量子化部２０１６とを含む。

代表色候補選定部２０１３では、ヒストグラム生成部２０９で生成したヒストグラムから各タイルにおける代表色の候補となる色を選定する。例えば、本実施形態では、ヒストグラム上において頻度が所定の閾値よりも高い色情報を、代表色候補とする。しかし本発明はこれに限定されるものではなく、ヒストグラムの特徴量から代表色を決定する方法として、他の周知の方法を用いてもよい。

図４（ａ）に示すヒストグラムの場合、２色４０１、４０２を代表色候補として決定する。同じく図４（ｂ）では、代表色候補４０３、４０４、４０５を決定する。さらに、図４（ｃ）では１色４０６を代表色候補と決定し、図４（ｄ）では２色４０７、４０８を代表色候補と決定する。次に代表色数決定部２０１５では、サブタイル属性に基づいてサブタイルを量子化する代表色の色数を決定する。サブタイルの属性ごとに決定される代表色数の一覧を図６に示す。すなわち、サブタイルの属性が「網点」の場合は代表色数を１色、「下地」の場合は１色、「下地＋文字」の場合は２色、「網点＋文字」の場合は２色と決定することになる。

量子化部２０１６は、代表色候補選定部２０１３で選定した代表色候補の中から、代表色数決定部２０１５で決定した色数に基づき代表色をサブタイル毎に決定し、その代表色によって実際に量子化を行う。

図５（ａ）で示したサブタイルの属性において、サブタイルごとに量子化する色数について具体例を挙げて説明する。図３（ｃ）の（ｘ，ｙ）＝（２，２）のサブタイルの属性は図５（ａ）に示したように「網点＋文字」である。そして、当該サブタイルに対応する低解像度タイルは図３（ｄ）の（ｘ，ｙ）＝（１，１）で、生成されるヒストグラムは図４（ｂ）であるので、代表色候補は４０３、４０４、４０５の３色である。サブタイルの属性が「網点＋文字」の場合、図６の色数一覧と照らし合わせると代表色選定数は２色であるので、図３（ｃ）のサブタイル（ｘ，ｙ）＝（２，２）内の各画素を量子化する際に用いる代表色は図４（ｂ）の３色の代表色候補４０３、４０４、４０５のうちいずれか２つとなる。

一方、図３（ｄ）の低解像度タイル（ｘ，ｙ）＝（１，１）に対応する図３（ｃ）のサブタイル（ｘ，ｙ）＝（２，３）の属性は「網点」である。サブタイル属性が「網点」の場合、図６の色数一覧と照らし合わせると代表色選定数は１色であるので、図３（ｃ）のサブタイル（ｘ，ｙ）＝（２，３）を量子化する際に用いる代表色は図４（ｂ）の代表色候補４０３、４０４、４０５のうちいずれか１つとなる。

量子化部２０１６は、選定された代表色候補の中から、各サブタイルに含まれる各画素について実際に量子化する代表色を決定して量子化する。量子化色の決定方法としては、本発明の出願時における周知の方法を用いることができる。たとえば、代表色数が１色の場合、ヒストグラムの頻度最上位の色を量子化色としてもよい。また、量子化対象のサブタイルに含まれる画素の色情報と代表色候補との色差から最適な量子化色を決定するようにしてもよい。

また、網点の領域から求めた代表色候補は、低解像度タイル（低解像度の画像）のヒストグラムにおいて、図４（ａ）の代表色候補４０１，４０２や、図４（ｂ）の代表色候補４０３，４０４のように、複数出現する場合がある。一方、これらの網点領域から求めた代表色候補は、低解像度化した画像から求めたので、類似の色として現れる（ヒストグラム上での色情報のピーク位置が近い）と考えられる。サブタイルの属性が「網点＋文字」の場合は、上述したように量子化する色数は２色である。このとき、図４（ｂ）において、代表色候補４０３，４０４の色情報が近いので、これらのうち、頻度の大きい代表色候補４０３を網点部分に対する量子化色とするとともに、４０５を文字部分の量子化色として決定するようにしてもよい。

以上説明したように、本発明の第１実施形態では、低解像度のタイル単位でヒストグラムを生成し、代表色の候補を選定し、高解像度のサブタイル単位でタイル属性を判定して、量子化する色数を決定し、代表色候補と量子化の色数とに基づいて量子化処理を行う。このように低解像度のタイル単位でヒストグラムを作ることで、処理の高速化を実現でき、スキャンノイズや網点の影響を受けにくくなる。また、代表色の色数を高解像度のサブタイル単位で決定するので、サブタイルに文字の一部などの小領域が含まれている場合であっても、「網点＋文字」または「下地＋文字」の属性として判断される。この属性に基づいて量子化する色数は２色と決定され、文字部分の代表色の欠落を防ぐことが可能になる。

（第２実施形態）
本発明の第２実施形態では、代表色候補選定、タイル属性判定、量子化でタイル単位を合わせておき、先に代表色数を決めた後に量子化に用いる代表色（量子化色）を決定する。これにより、同じタイル属性を有し同じ代表色で塗られるべき複数のタイルに対して、量子化時に異なる代表色を適用することによる量子化結果のムラを防止することができる。

第２実施形態における機能的構成を図７に示す。なお、第１実施形態と同じ構成及び処理については同じ符号を付して説明を省略する。図７では、図２におけるサブタイル分割部２０５が無いため、属性判定部２０１０においては、直接、着目タイル内の画素の特徴から、着目タイル（タイル２０４）の属性を判定し、タイル属性２０１７を導く。

代表色数決定部２０１５は、属性判定部２０１０での判定の結果、導き出されたタイル属性２０１７に応じて、代表色数を選定する。図５（ｂ）の領域５０５に含まれるタイルの属性は「網点」である。領域５０６に含まれるタイルの属性は「網点＋文字」である。領域５０７に含まれるタイルの属性は「下地」である。領域５０８に含まれるタイルの属性は「下地＋文字」である。

図７の量子化部２０１６では、代表色数決定部２０１５が決定した代表色の色数分だけ、ヒストグラムから色を抽出し代表色を決定する。図５（ｂ）で示したタイル属性を参照すると、図３（ｂ）のタイル（ｘ，ｙ）＝（０，１）の属性は「網点」なので、代表色数決定部２０１５は、図６の色数一覧と照らし合わせて代表色数を１色と決定する。

量子化部２０１６では、対応するヒストグラム（図４（ａ））と代表色数とを参照し、着目タイル（例えば（ｘ，ｙ）＝（０，１））を量子化する代表色を選び量子化を実行する。代表色の決定方法はヒストグラムの頻度上位であってもいいし、量子化対象画像の画素の色情報と代表色との色差から決定してもよい。

また、着目タイル（例えば（ｘ，ｙ）＝（１，１））の属性は「網点＋文字」なので、代表色数決定部で色数は２色と決定される。量子化部２０１６では、対応するヒストグラム（図４（ｂ））から２色の代表色を選択して量子化を実行する。代表色の決定方法は、２色選択するので、例えば、ヒストグラムの色情報が十分離れた位置にあって且つヒストグラムの頻度が上位のものを選ぶようにしてもよい。

以上の通り、本実施形態ではヒストグラムを生成するタイルとタイル属性を判定するタイルとを同じサイズとする。代表色決め、属性判定、量子化でタイルの大きさを合わせておき、先に代表色数を決めた後に、ヒストグラムを参照して代表色を決定するので、量子化時の色むらを防止することができる。

（第３実施形態）
網点や下地は画像中に広い面積を占めることが多いのに対し、文字は小さい場合が多い。本発明の第３実施形態では、一度サブタイル単位でタイル属性を判定し、低解像度タイルと対応するサブタイル群の属性の組み合わせによって、代表色の色数を決定し量子化する量子化単位を切り替える。

第３実施形態における機能的構成を示すブロック図を図８に示す。本実施形態では、第１実施形態の構成に加えて、減色部２０１２内に量子化単位切替部２０２０を備える。なお、第１実施形態と同じ構成及び処理については同じ符号を付して説明を省略する。

量子化単位切替部２０２０において行なわれる詳細な処理内容を図９のフローチャートを用いて説明する。Ｓ９０１では、ヒストグラムを生成した低解像度タイルに対応する複数のサブタイルのタイル属性がすべて同一か否かを判定する。すなわち、図８の構成では、タイル２０４（低解像度タイル２０８）に対応する４つのサブタイル２０６の各属性２０１１が全て同一か否か判定する。対応する複数のサブタイルのタイル属性が全て同じであればＳ９０２へそうでなかったらＳ９０３へ遷移する。Ｓ９０２では、タイル単位で代表色決定と量子化を実施する。Ｓ９０３では、サブタイル単位で代表色決定と量子化を実施する。

具体例を挙げて説明すると、図３（ｂ）の（ｘ，ｙ）＝（０，１）の場合、対応する複数のサブタイルは図３（ｃ）の（ｘ，ｙ）＝（０，２），（０，３），（１，２），（１，３）である。そして、図５（ａ）を参照すれば分かるように、各サブタイルの属性はすべて「網点」となっている。よって、代表色数決定と量子化の単位をタイル単位とし、サブタイルは４つとも同じ代表色で塗られることになる。

一方、図３（ｂ）の（ｘ，ｙ）＝（１，１）の場合、対応するサブタイルは図３（ｃ）の（ｘ，ｙ）＝（２，２），（２，３），（３，２），（３，３）となる。属性は（２，２），（３，２）が「網点＋文字」、（２，３），（３，３）が「網点」であり、対応するサブタイルの属性はすべて同じではでない。よって、代表色数決定と量子化の単位はサブタイル単位とし、図３（ｃ）の（２，２），（３，２）の代表色数は２色、（２，３），（３，３）の代表色数は１色となり、サブタイルごとに代表色が決定されて量子化される。

以上の通り、本実施形態では低解像度タイルと対応するサブタイル群の属性の組み合わせによって、代表色の色数を決定し量子化する単位領域を切り替える。画像中に大きな面積を占める下地や網点を色むらの防止と、微小領域の文字部の量子化の両立が可能である。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 入力画像を予め定められたサイズの複数のタイルに分割する分割手段と、
   前記分割手段で分割された前記複数のタイルそれぞれを低解像度変換して低解像度タイルを得る解像度変換手段と、
   前記分割手段で分割された前記複数のタイルに含まれる着目タイル内の画素の特徴から、該着目タイルの属性を判定する判定手段と、
   前記判定手段で判定された前記着目タイルの属性に基づいて、前記着目タイル内の代表色の色数を決定する代表色数決定手段と、
   前記解像度変換手段により前記着目タイルを低解像度変換して得られた前記低解像度タイル内の画素について、画素の色とその色の画素数との関係を示すヒストグラムを生成する生成手段と、
   前記生成手段で生成された前記ヒストグラムと前記代表色数決定手段で決定された前記代表色の色数とに基づいて、前記着目タイルを減色する減色手段と
   を備えることを特徴とする画像処理装置。
2. 前記減色手段は、
   前記生成手段で生成された前記ヒストグラムに基づいて、前記低解像度タイルにおける代表色の候補を選定する代表色候補選定手段と、
   前記代表色数決定手段で決定された前記代表色の色数に基づいて、前記代表色候補選定手段で選定した代表色の候補から代表色を決定し、当該決定した代表色によって前記着目タイルを量子化する量子化手段と
   を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記着目タイルを更にサブタイルに分割するサブタイル分割手段を更に有し、
   前記判定手段は、前記サブタイル分割手段で分割された各サブタイル内の画素の特徴から、各サブタイルの属性を判定し、
   前記代表色数決定手段は、前記判定手段で判定された各サブタイルの属性を用いてサブタイル毎に代表色の色数を決定し、
   前記量子化手段は、前記代表色数決定手段で決定した前記代表色の色数に基づいて、前記代表色候補選定手段で選定した代表色の候補から前記サブタイル毎に代表色を決定し、当該決定したサブタイル毎の代表色によって前記サブタイルを量子化する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記減色手段は、
   前記生成手段によって生成された前記ヒストグラムと、前記代表色数決定手段によって決定された前記代表色の色数とに基づいて、前記着目タイルにおける代表色を決定し、当該決定された前記代表色に基づいて前記着目タイルを量子化する量子化手段
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記減色手段は、
   量子化を行うタイルの大きさを切り替える切替手段をさらに備え、
   前記切替手段は、１つの前記低解像度タイルと同じ領域の画像に対応する複数のサブタイルが全て同一の属性を有していれば量子化の単位領域をタイル単位とし、
   １つの前記低解像度タイルと同じ領域の画像に対応する複数のサブタイルが全て同一の属性でなければ量子化の単位領域をサブタイル単位とする
   ことを特徴とする請求項３に記載の画像処理装置。
6. 分割手段が、入力画像を予め定められたサイズの複数のタイルに分割する分割ステップと、
   解像度変換手段が、前記分割ステップで分割された前記複数のタイルそれぞれを低解像度変換して低解像度タイルを得る解像度変換ステップと、
   判定手段が、前記分割ステップで分割された前記複数のタイルに含まれる着目タイル内の画素の特徴から、該着目タイルの属性を判定する判定ステップと、
   代表色数決定手段が、前記判定ステップで判定された前記着目タイルの属性に基づいて、前記着目タイル内の代表色の色数を決定する代表色数決定ステップと、
   生成手段が、前記解像度変換ステップで前記着目タイルを低解像度変換して得られた前記低解像度タイル内の画素について、画素の色とその色の画素数との関係を示すヒストグラムを生成する生成ステップと、
   減色手段が、前記生成ステップで生成された前記ヒストグラムと前記代表色数決定ステップで決定された前記代表色の色数とに基づいて、前記着目タイルを減色する減色ステップと
   を有することを特徴とする画像処理方法。
7. コンピュータを、
   入力画像を予め定められたサイズの複数のタイルに分割する分割手段と、
   前記分割手段で分割された前記複数のタイルそれぞれを低解像度変換して低解像度タイルを得る解像度変換手段と、
   前記分割手段で分割された前記複数のタイルに含まれる着目タイル内の画素の特徴から、該着目タイルの属性を判定する判定手段と、
   前記判定手段で判定された前記着目タイルの属性に基づいて、前記着目タイル内の代表色の色数を決定する代表色数決定手段と、
   前記解像度変換手段により前記着目タイルを低解像度変換して得られた前記低解像度タイル内の画素について、画素の色とその色の画素数との関係を示すヒストグラムを生成する生成手段と、
   前記生成手段で生成された前記ヒストグラムと前記代表色数決定手段で決定された前記代表色の色数とに基づいて、前記着目タイルを減色する減色手段と
   して機能させるためのプログラム。

Images