JP5049920B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像データから文字や写真等の各要素を抽出する画像処理技術に関する。

画像データから文字や写真等の各要素を抽出する技術として、例えば、特許文献１には、入力画像を複数のブロックに分割し、ブロック単位で色置換を行う技術が開示されている。
国際公開ＷＯ２００６／０６６３２５号公報

ここで、画像を複数のブロックに分割した場合、本来同一の領域であるべき部分が分割後にブロックの境界によって分断されて微小な領域になる場合がある。

しかしながら、特許文献１で開示されている技術では、このような微小領域をノイズと誤判定して除去してしまったり、本来同一の領域であるべき領域を分割してしまったりする。このため、分割精度が悪く、画質の劣化を招いていた。

従って、本発明の目的は、画像データを精度良く分割することにより、分割誤りによる画質の劣化を抑制することにある。

上記課題を解決するため、本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段で入力した画像データの各画素毎に、属性情報を生成する属性情報生成手段と、前記入力手段で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割手段と、前記分割手段で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成手段と、前記生成手段で生成したヒストグラムで得られた着目色を持つ領域の面積が予め設定された第１の閾値よりも大きい場合、着目色の領域を有意な領域として決定する第１の決定手段と、前記生成手段で生成したヒストグラムで得られた着目色を持つ領域の面積が前記第１の閾値以下の場合であって、着目色の領域が着目ブロックの境界に位置し、且つ、前記着目色の領域内の前記境界の画素に対する、前記属性情報生成手段で生成された属性情報が、予め設定された属性を示す場合、前記着目色の領域が有意な領域として決定する第２の決定手段と、前記第１、第２の決定手段のいずれでも、前記着目色の領域が有意な領域として決定されなかった場合、前記着目色の領域を、当該着目色の領域が接する他の色の領域に統合するため、前記着目色の領域内の画素の色を前記他の色に置換する置換手段と、前記第１、第２の決定手段のいずれかで、前記着目色の領域が有意な領域として決定された場合であって、前記着目色の領域と、前記着目ブロックと接する他のブロックで有意と決定された領域との色差が、予め設定された第２の閾値以下の場合、前記着目色の領域と前記他のブロックで有意と決定された領域とを統合する統合手段と、を備える。

また、本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段で入力した画像データの各画素毎に、属性情報を生成する属性情報生成手段と、前記入力手段で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割手段と、前記分割手段で分割したそれぞれのブロックで一定の周期性を有するパターン領域を検出する検出手段と、前記分割手段で分割した着目ブロック内の、前記検出手段で検出された着目するパターン領域の画素数が予め設定された閾値以下である場合、又は、前記着目するパターン領域の画素数が前記予め設定された閾値よりも大きい場合であって、前記着目するパターン領域が前記着目ブロックの境界に位置し、且つ、前記着目するパターン領域内の前記境界の画素に対する、前記属性情報生成手段で生成された属性情報が、予め設定された属性を示す場合、前記着目するパターン領域と、前記着目ブロックと接する他のブロック内のパターン領域とを統合する統合手段と、を備える。

また、本発明の画像処理装置は、画像データをブロック単位で入力する入力手段と、前記入力手段で入力した画像データの各画素毎に生成される属性情報を入力する属性情報入力手段と、前記入力手段で入力した着目ブロック内の第１の着目色領域と、前記着目ブロックと接する他のブロック内の第２の着目色領域との色差が、予め設定された第１の閾値以下である場合、又は、前記色差が予め設定された第１の閾値よりも大きく、且つ、前記第１の着目色領域内の前記他のブロックとの境界と接する画素に対する、前記属性情報入力手段で入力された属性情報が、予め設定された属性を示す場合であって、前記第１の着目色領域と、前記第２の着目色領域との色差が、予め設定された第２の閾値以下の場合、前記第１の着目色領域と前記第２の着目色領域とを統合する統合手段と、を備える。

また、本発明の画像処理方法は、画像データを入力する入力工程と、前記入力工程で入力した画像データの各画素毎に、属性情報を生成する属性情報生成工程と、前記入力工程で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割工程と、前記分割工程で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成工程と、前記生成工程で生成したヒストグラムで得られた着目色を持つ領域の面積が予め設定された第１の閾値よりも大きい場合、着目色の領域を有意な領域として決定する第１の決定工程と、前記生成工程で生成したヒストグラムで得られた着目色を持つ領域の面積が前記第１の閾値以下の場合であって、着目色の領域が着目ブロックの境界に位置し、且つ、前記着目色の領域内の前記境界の画素に対する、前記属性情報生成工程で生成された属性情報が、予め設定された属性を示す場合、前記着目色の領域が有意な領域として決定する第２の決定工程と、前記第１、第２の決定工程のいずれでも、前記着目色の領域が有意な領域として決定されなかった場合、前記着目色の領域を、当該着目色の領域が接する他の色の領域に統合するため、前記着目色の領域内の画素の色を前記他の色に置換する置換工程と、前記第１、第２の決定工程のいずれかで、前記着目色の領域が有意な領域として決定された場合であって、前記着目色の領域と、前記着目ブロックと接する他のブロックで有意と決定された領域との色差が、予め設定された第２の閾値以下の場合、前記着目色の領域と前記他のブロックで有意と決定された領域とを統合する統合工程と、を有する。

また、本発明の画像処理方法は、画像データを入力する入力工程と、前記入力工程で入力した画像データの各画素毎に、属性情報を生成する属性情報生成工程と、前記入力工程で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割工程と、前記分割工程で分割したそれぞれのブロックで一定の周期性を有するパターン領域を検出する検出工程と、前記分割工程で分割した着目ブロック内の、前記検出工程で検出された着目するパターン領域の画素数が予め設定された閾値以下である場合、又は、前記着目するパターン領域の画素数が前記予め設定された閾値よりも大きい場合であって、前記着目するパターン領域が前記着目ブロックの境界に位置し、且つ、前記着目するパターン領域内の前記境界の画素に対する、前記属性情報生成工程で生成された属性情報が、予め設定された属性を示す場合、前記着目するパターン領域と、前記着目ブロックと接する他のブロック内のパターン領域とを統合する統合工程と、を有する。

また、本発明の画像処理方法は、画像データをブロック単位で入力する入力工程と、前記入力工程で入力した画像データの各画素毎に生成される属性情報を入力する属性情報入力工程と、前記入力工程で入力した着目ブロック内の第１の着目色領域と、前記着目ブロックと接する他のブロック内の第２の着目色領域との色差が、予め設定された第１の閾値以下である場合、又は、前記色差が予め設定された第１の閾値よりも大きく、且つ、前記第１の着目色領域内の前記他のブロックとの境界と接する画素に対する、前記属性情報入力工程で入力された属性情報が、予め設定された属性を示す場合であって、前記第１の着目色領域と、前記第２の着目色領域との色差が、予め設定された第２の閾値以下の場合、前記第１の着目色領域と前記第２の着目色領域とを統合する統合工程と、を有する。

本発明によれば、画像データを精度良く分割することにより、分割誤りによる画質の劣化を抑制することができる。

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で以下の実施形態を修正又は変形したものに適用可能である。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るシステムの機能的構成を示すブロック図である。１００は本発明を実現するための画像処理装置である。画像処理装置１００は、読み取った文書の紙面情報を画像データに変換するスキャナ１０１と、画像データに本発明の処理を施すためのプログラムを実行するＣＰＵ１０２とを有する。また、画像処理装置１００は、プログラムを実行する際のワークメモリやデータの一時保存等に利用されるメモリ１０３と、プログラムやデータを格納するハードディスク１０４と、外部装置とデータの入出力を行うためのネットワークＩ／Ｆ１０５とを有する。パーソナルコンピュータ（以下、ＰＣと言う。）１２０は、画像処理装置１００とＬＡＮ１１０等のネットワークで接続され、画像処理装置１００から送信されたデータを受信する。

図２は、第１の実施形態に係る画像処理装置１００の機能的構成を示すブロック図である。なお、ここで示す各処理は、ＣＰＵ１０２で電子ドキュメント生成プログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。

２０１はスキャナ１０１により文書を入力する入力部である。２０２は文書を電子化して画像を生成するスキャン画像処理部である。２０３は画素毎に属性データを生成する画素毎の属性情報生成部である。

画素毎の属性データとは、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施すために原稿画像の特徴を抽出して像域属性を画素毎に示す信号（以下、フラグデータ）を言う。例えば、イメージスキャナ等によって読み取られた画像には、原稿画像中に連続階調のフルカラーの写真領域や、黒一色の文字領域又は新聞印刷のような網点印刷領域等のように、種々の画像領域が混在している。

これらを一律に同一の画像処理手順で処理して出力すると、その出力画像は一般に好ましい画質が得られない場合が多い。そこで、入力部２０１から入力されるカラー画像データを用いて原画像中に含まれる画像データの属性を検出し、この画像データの属性を識別するためのフラグデータを生成する。

なお、具体的な手順は、特開２００４−３５０２４０に開示された技術を用いることができる。例えば、文字属性については以下のように行う。すなわち、画像データをラスタースキャン順に順次着目し、着目画素近傍の一定範囲の画素（例えば、７×７画素領域）についてラプラシアンフィルタを用いたフィルタ処理を行い、着目画素値が閾値よりも大きい場合には、その画素はエッジを構成すると判定される。文字検出用である場合には、文字は主として線から構成されるため、一定方向について比較的低周波に対応したフィルタを用いることにより、文字領域を効率的に検出することができる。

そして、着目画素近傍の一定領域内に、文字のエッジであると判定された画素が一定数以上含まれている場合には、着目画素は文字領域として対応する文字フラグがセットされる。当然のことではあるが、文字属性以外にも網点属性や図形属性等のように、画像処理に応じてあらゆる属性データが生成される。

なお、イメージスキャナの属性データだけでなく、ページ記述言語からＰＤＬコマンドを解釈してプリント画像を生成する際に、このときのコマンドの種別を示す情報を参照してもよい。この場合には、文字領域を構成する画素を識別するためのフラグデータを画素毎に検出することとなる。

いずれにしても、文字属性であると判定された画素を「１」とし、それ以外の画素を「０」として、１ビットを出力する信号である。

図３において、（ａ）は入力された画像データを示す図であり、（ｂ）は図３（ａ）で入力された画像データから生成された属性データを示す図である。また、図４において、（ａ）は図３（ｂ）で生成した属性データをフラグデータで示す図であり、（ｂ）は図４（ａ）で示すフラグデータの変形例を示す図である。

例えば、図３（ａ）に示す画像データが入力された場合には、画像データと同時に、図３（ｂ）に示す画素毎の属性データが生成される。ここで生成された属性データは、図４（ａ）で示すように、黒い部分が「０」、白い部分が「１」を示す情報である。

なお、画素毎の属性データは、本実施形態では、文字領域全体を示す情報としたが、図４（ｂ）で示すように、文字のエッジ部分のみを示す情報であっても構わない。

２１０はカラー画像を色置換し、類似する色領域に分割する類似色領域統合部である。入力される画像には、スキャンノイズやモスキートノイズが付加され、本来同一の色であった領域が微妙に色味が変化する場合がある。この処理では領域の色情報の統計を取得し、類似色の色置換を行う。

類似色領域統合部２１０は、ブロック分割部２１１と、ヒストグラム生成部２１２と、色置換部２１３と、ブロック統合部２１４とを有する。

ブロック分割部２１１は、入力部２０１で入力した画像データを、予め設定されたサイズの複数のブロックに分割する。ヒストグラム生成部２１２は、ブロック分割部２１１で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する。色置換部２１３は、後述する所定の条件に基づいて、着目色の領域を、着目色の領域が接する他の色の領域に統合するため、着目色の領域内の画素の色を他の色に置換する。ブロック統合部２１４は、後述する所定の条件を満たした場合には、着目領域と着目領域が接するブロック内の領域とを統合する。なお、色置換部２１３は、本実施形態では、後述するように、着目色の領域が有意な領域として決定する第１の決定手段及び第２の決定手段としても機能する。

図５において、（ａ）は類似色領域統合部２１０に入力された画像５００を示す図であり、（ｂ）はブロック分割部２１１で画像５００を分割した状態を示す図である。また、図６において、（ａ）は図５（ｂ）で示すブロック５０１の色情報の分布を模式的に示す図であり、（ｂ）は図５（ｂ）で示すブロック５０４の色情報の分布を模式的に示す図である。

ブロックの縦横のサイズは定数とし、本実施形態では、図５（ｂ）で示すように、６つのブロック５０１、５０２、５０３、５０４、５０５、５０６に分割する。また、ヒストグラム生成部２１２では、ブロック内の色情報を公知の技術を用いて抽出する。ヒストグラム生成部２１２は、本実施形態では、色情報とその分布を抽出する。

色置換部２１３では、ブロック内の画素を先に求めた色情報で色置換する。ここで、色置換部２１３の動作手順について、図７を用いて説明する。

図７は、色置換部２１３の動作手順を示す図である。また、図８において、（ａ）はブロック５０１を示す図であり、（ｂ）はブロック５０１のフラグデータの一例を示す図であり、（ｃ）は色置換後の画素領域８００を示す図であり、（ｄ）は色置換後の画像５００を示す図である。

まず、ステップＳ７０１では、ヒストグラム生成部２１２で生成したヒストグラムで得られた着目色を持つ着目領域の面積を算出する。すなわち、前述した分布に基づいて、色情報が類似する領域をグループ化して画素数を算出する。

次に、ステップＳ７０２では、着目領域の面積が予め設定された閾値Ｔｈ１以下（第１の閾値以下）であるか否かを判定する。ステップＳ７０２で着目領域の面積が閾値Ｔｈ１よりも大きいと判定された場合には、ステップＳ７０５に進み、着目色の領域を有意な領域として決定し、色置換処理を行わずにその領域単独の領域とする。

例えば、図５で示すブロック５０１の場合、領域ｖの面積は閾値Ｔｈ１よりも大きいため、ステップＳ７０５に進み、領域ｗ及び領域ｘの面積は閾値Ｔｈ１以下であるため、ステップＳ７０３へ進む。また、ブロック５０４の場合、領域ｙ及び領域ｚの面積はいずれも閾値Ｔｈ１よりも大きいため、ステップＳ７０５に進む。

ここで、ある程度小さな領域は、ノイズとみなして他の領域の色に置換する処理が一般的である。しかし、ブロック内での面積は小さくても、ブロックの境界で分断された領域であり、ノイズではない可能性がある。よって、本実施形態では、ステップＳ７０３以降の処理を追加する。

ステップＳ７０３では、着目領域が、着目ブロックと隣接ブロックとの境界線と接する画素を有するか否かを判定する。なお、境界線と接する画素だけでなく、境界線から一定範囲の画素分内側の領域と定義してもよい。ステップＳ７０３で境界線と接する画素を有すると判定された場合にはステップＳ７０４に進み、ステップＳ７０３で境界線と接する画素を有しないと判定された場合にはステップＳ７０６へ進む。

ここで、図８（ａ）で示す画素領域８００は、本実施形態では、着目するブロック５０１の端とみなす画素領域である。ステップＳ７０３に進んだブロック５０１の領域ｗと領域ｘのうち、領域ｗは画素領域８００に含まれないため、ステップＳ７０６へ進み、領域ｘは画素領域８００に含まれるため、ステップＳ７０４へ進む。

ステップＳ７０４では、画素毎の属性情報生成部２０３で生成したフラグデータを参照して、境界線と接する位置にフラグデータが連続して存在するか否かを判定する。ステップＳ７０４でフラグデータが連続して存在すると判定された場合には、ステップＳ７０５へ進み、ステップＳ７０４でフラグデータが連続して存在しないと判定された場合には、ステップＳ７０６へ進む。ここでは、単にフラグの有無を判定するだけでなく連続性を加味することにより、ノイズと誤認識することを抑制している。

図８（ｂ）で示すように、ブロック５０１の領域ｘに該当する位置にフラグが連続して「１」となっている。よって、ステップＳ７０５の単独領域として扱う処理へ進む。

このようにして、画素領域８００を色置換すると、図８（ｃ）で示すような状態となる。ここで、スキャンノイズとみなされた領域ｗは隣接する領域の色に置換され、分割前には大きな領域であったが、ブロック分割により小さな領域になった領域ｘは単独の領域として色置換処理を行うことなく残存する。そして、ステップＳ７０７で色置換後に残存する領域を出力する。

その結果、画像５００は、図８（ｄ）に示す状態となる。その後、ブロック統合部２１４でブロック単位で色置換した領域を隣接するブロックの類似色領域と統合する。ここで、ブロック統合部２１４の詳細な動作手順について、図９を用いて説明する。

図９は、第１の実施形態に係るブロック統合部２１４の動作手順を示す図である。また、図１０において、（ａ）は着目ブロックと隣接ブロックの色置換後に残存する領域の一例を示す図であり、（ｂ）は色置換後に残存する領域の色情報を模式的な色空間上に示したグラフを示す図である。また、図１１において、（ａ）は着目ブロックと隣接ブロックの色置換後に残存する領域の一例を示す図であり、（ｂ）は図１１（ａ）で示す領域のフラグデータの一例を示す図である。

まず、ステップＳ９０１では、色置換部２１３から出力された着目する領域Ａ（第１の着目色領域）を取得する。すなわち、領域Ａは、第１、第２の決定手段のいずれかで有意な領域として決定された領域である。ステップＳ９０２では、領域Ａを含む着目ブロックに隣接する他のブロックで有意と決定された領域Ｂ［ｎｕｍ］（第２の着目色領域）を取得する。

なお、隣接ブロックは、本実施形態では、処理対象となる着目ブロックの上側及び左側に接するブロックとする。例えば、処理対象となるブロックが図５（ｂ）で示すブロック５０５である場合には、隣接ブロックは、ブロック５０２、５０４となる。

ステップＳ９０３は、先に取得した隣接ブロックのすべての領域に対して、ステップＳ９０４以降の処理を実行させるループ処理指令である。

ステップＳ９０４では、領域Ａと領域Ｂの色情報の色差を求める。なお、色差の求め方は、公知の技術を用いることとし、本実施形態では、一般的な色空間上における互いの色情報の距離を求めることとする。

ステップＳ９０５では、領域Ａと領域Ｂ［ｘｓ］の色情報が類似するか否かを判定する。例えば、ステップＳ９０４で求めた色差が予め定められた閾値Ｔｈ１以下（第２の閾値以下）であるか否かを判定する。ステップＳ９０５で色情報が類似すると判定された場合には、ステップＳ９０９の統合処理へ進み、ステップＳ９０５で色情報が類似しないと判定された場合には、ステップＳ９０６の処理へ進む。

ここで、例えば、図１０（ｂ）で示すように、ブロック５０２の領域ａとブロック５０５の領域ｅは、色情報の明度が近似しており、色差がほとんどない。このため、図１０（ａ）で示すように、領域ａと領域ｅは、色情報が類似するとみなして統合処理へ進むこととなる。一方、ブロック５０２の領域ｂとブロック５０５の領域ｃは、色情報の明度が近似していないため、色情報が類似するとはみなされずにステップＳ９０６の処理へ進む。

ステップＳ９０６では、着目する領域内（第１の着目色領域内）において、着目ブロックと隣接するブロックとの境界線と接する画素を有するか否かを判定する。ステップＳ９０６で境界線と接する画素を有すると判定された場合には、ステップＳ９０７に進み、ステップＳ９０６で境界線と接する画素を有しないと判定された場合には、ステップＳ９１０へ進む。

例えば、図１１（ａ）で示すように、領域ｂは、着目するブロック５０２と着目ブロックに隣接するブロック５０５との境界線１１００と接する画素を有する。よって、ステップＳ９０７へ進む。

ステップＳ９０７では、画素毎の属性情報生成部２０３で領域Ｂ［ｘ］に生成したフラグデータを参照し、境界線と接する位置にフラグデータが連続して存在しているか否かを判定する。

ステップＳ９０７でフラグデータが連続して存在していると判定された場合には、ステップＳ９０８へ進み、ステップＳ９０７でフラグデータが連続して存在していないと判定された場合には、ステップＳ９１０へ進む。ここでは、単にフラグの有無を判定するだけではなく、連続性を加味することでノイズとの切り分けを行う。

図１１（ｂ）は、境界線１１００と接する位置に存在するフラグデータの一例を示している。領域ｂの付近にフラグデータが連続して「１」となっている。よって、ステップＳ９０８へ進む。

ここまでの処理だけでは、領域Ｂ［ｘ］はいずれかの領域の一部分であるが、ブロック分割処理によって小さな領域になり、色置換処理でブロック内に支配的に存在する色情報により色置換結果に影響が出てしまう可能性がある。よって、ステップＳ９０８では、閾値Ｔｈ１を、閾値Ｔｈ１とは異なる閾値であって、閾値Ｔｈ１よりも大きい値を有する閾値Ｔｈ２（第３の閾値）に変更し、類似色の判定を行う。閾値Ｔｈ２が閾値Ｔｈ１よりも大きい値を有するため、より統合処理が行われ易いようになる。

すなわち、ステップＳ９０８では、再度、領域Ａ及び領域Ｂ［ｘ］の色情報が類似するか否かを判定する。例えば、ステップＳ９０４で求めた色差が予め定められた閾値Ｔｈ２以下（第３の閾値以下）であるか否かを判定する。

閾値Ｔｈ２は、例えば図１０（ａ）で示すブロック５０２の領域ｂの場合、図１０（ｂ）で示すグラフにおいて、着目するブロック内で最大の面積を有する領域ａの色情報の明度に関する距離（色差）を閾値Ｔｈ１に領域ａとは反対の向きへ重み付けして算出する。

ステップＳ９０８で色情報が類似すると判定された場合には、ステップＳ９０９へ進み、統合処理を行う。一方、ステップＳ９０８で色情報が類似しないと判定された場合には、ステップＳ９１０へ進み、統合処理を行わないこととする。

図１２は、ブロック統合後の画像５００の状態を示す図である。図１２で示す文字は、図８（ｂ）で示す文字と比べて、ブロックの境界で分割され、色置換された結果が異なる領域が統合されたことがわかる。その後の画像解析部２２０には、図１２で示す文字情報が入力される。

２２０は画像解析部である。画像解析部２２０は、領域分割部２２１と、文字変換部２２３と、写真変換部２２５と、線画変換部２２７と、表変換部２２９と、それらの変換結果を１つにまとめる合成部２２１０とを有する。

領域分割部２２１は、公知の領域分割技術を用いて、文字、写真、線画、表に分割する。領域分割技術の具体例としては、米国特許５６８０４７８号公報（特許文献２）に記載の処理等を用いることができる。

特許文献２では、文書画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態等に基づいて、文字、絵、図、表、枠、線等の特徴的な領域を抽出する技術が開示されている。また、特許文献２以外にも、領域分割に用いる特徴量を入力多値画像から近似色画素塊を抽出する技術、多値画像を二値化して得た黒画素塊に基づいて抽出する技術、又は多値画像から微分エッジ情報等を生成してエッジ内の画素として抽出する技術等がある。本実施形態では、これらのいずれかの技術を用いることとする。

領域分割部２２１で、文字、写真、線画、表に分割された各領域は、それぞれの分類毎の変換処理を行う。例えば、文字変換部２２３では、公知の文字認識技術を用いて各文字領域内の文字認識を行い、文字コードデータを生成する。

次に、文字認識技術の具体例について説明する。まず、文字領域の行方向（すなわち、縦書きであるか、横書きであるか）を判断する。これは、例えば、画像を二値化し、縦横の射影を取得して射影分散の低い方を行方向と判定することができる。

次に、画像をそれぞれの文字画像に分割する。これは、二値画像の行方向への射影を用いて切断すべき行間を検出することで行画像に分割し、さらに、行画像を行と垂直方向への射影を用いて切断すべき文字間を検出することで文字画像に分割すればよい。

そして、それぞれの文字画像に対して特徴を取り、予め全字種分の特徴を保存した辞書から一番特徴が近似するものを検索し、辞書が示す文字コードを各文字の認識結果とする。また、写真変換部２２５では、公知の高解像度変換処理を用いて、高画質ラスタデータを生成する。

線画変換部２２７では、公知のベクトル化技術を用いて、線画の画像データから線画のベクトル描画データを生成する。ベクトル化技術の具体例としては、特許第３０２６５９２号（特許文献３）や特開２００５−３４６１３７号公報（特許文献４）記載の処理等がある。

特許文献３では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態に基づいて、画像データの輪郭を抽出することにより、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術が開示されている。また、特許文献４では、アウトラインベクトルを直線や２次又は３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データを生成する技術が開示されている。

表変換部２２９では、罫線部分を前述した公知のベクトル化技術によってベクトル描画データを生成し、文字部分を前述した公知の文字認識技術によって文字コードデータを生成する。

なお、文字変換部２２３、写真変換部２２５、線画変換部２２７、又は表変換部２２９では、上記以外の変換処理を行ってもよい。例えば、文字変換部２２３では、ベクトル変換を行ってもよいし、高画質ラスタデータ変換を行ってもよい。また、表変換部２２９では、高画質ラスタデータを生成してもよい。

合成部２２１０は、各変換部から生成されたデータを１つに合成する。図１３は、合成部２２１０で合成されたデータの一例を示す図である。

１３００は、合成部２２１０で生成されたデータの全体構成である。ｔｅｘｔ ｏｂｊｅｃｔ１３０１は、領域分割部２２１が文字と判断した領域の変換結果と画像中の位置情報を保持する。同様に、１３０２、１３０３、１３０４には、それぞれ写真、線画、表と判断した領域の変換結果と位置情報を保持する。１３０５は、入力データの書誌情報を有する。例えば、ページ数、ページサイズ、入力機器情報、タイムスタンプ等を保持する。

２０４は、合成データを電子ファイルに変換する電子ファイル変換部である。電子ファイル変換部２０４は、本実施形態では、ＰＣ１２０で再生、編集等が可能な電子ファイルへ変換する。

以上述べた通り、本実施形態によれば、色置換後に残存する領域がブロックの境界に位置する画素であって、それに対応するフラグデータが連続して存在していれば、色置換後に残存する領域を統合することにより色情報を統一する。これにより、同一の色情報を有する領域に対して色置換結果が統一できる。これにより、後処理の文字、写真等の領域分割の精度の劣化を防ぎ、生成する電子ファイルの閲覧性、再利用性が向上する。

なお、属性情報生成部２０３は、本実施形態では、入力部２０１で入力した画像データの各画素毎に、属性情報を生成することとしたが、他の装置で生成された属性情報を本発明に係る画像処理装置に入力する属性情報入力部を備える構成としても構わない。

＜第２の実施形態＞
上述の第１の実施形態では、色置換後に隣接ブロックとの色の統合処理を行う場合を想定して説明したが、本実施形態では、一定の周期性を有するパターンを検出した後に、領域の統合処理を行う場合を想定する点で異なる。なお、第１の実施形態と同様の構成については、同一の符号を付し、説明を省略する。

また、本実施形態では、統合処理対象の画像データは、説明を簡略化するため、モノクロ画像データとするが、ＲＧＢ画像データやＣＭＹＫカラー画像データに適用しても良い。また、画像は、水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとする。

図１４は、第２の実施形態に係る画像処理装置の機能的構成を示すブロック図である。本実施形態に係る画像処理装置は、第１の実施形態の構成（図２参照）と基本的に同じであるが、ヒストグラム生成部２１２と色置換部２１３がパターン検出部１４０１に置き換えられ、画像解析部２２０が符号化部１４０２に置き換えられる。パターン検出部１４０１は、一定の周期性を有するパターンを検出する。

図１５は、一定の周期性を有するパターンの一例を示す図である。パターンを検出する際には、まず、ブロック毎の入力データに対して、二値化処理や擬似多階調二値化処理等の階調処理を行う。次に、階調処理されたデータの各画素について、隣接画素と同じ画素値であるか否か（すなわち、黒画素の連続性）を判定する。黒画素の連続数の大小関係及び周期性によって、一定の周期性を有するパターンの検出が行われる。例えば、図１５のような画像では、黒画素の連続数は常に０であり、一定の周期性を有するため、パターン領域であると判定される。

なお、一定の周期性を有するパターンを検出するには、種々の技術があるため、これに限定されるものではない。例えば、画像データを解像度変換やサブサンプリングして着目画素の入力画素値と処理後の画素値との差分値を算出する。ここで、着目領域がパターン領域である場合には算出した差分値が大きく、着目領域がパターン領域でない場合には算出した差分値が小さくなるという特徴がある。この特徴を用いることにより、着目領域がパターン領域であるか否かを判定することができる。

すなわち、画像データをラスタースキャンで読み込んで、所定の領域（ブロック単位等）に分割されている場合であっても、パターンの検出が可能な方式であればよい。

パターンの検出結果には、処理対象であるブロック内のそれぞれの領域に、領域の位置、領域の占める画素数に加えて、パターン領域であるか、それ以外の領域であるかを示す情報が付与される。

図１６において、（ａ）は入力された画像データを示す図であり、（ｂ）はパターン検出結果の一例を示す図である。すなわち、図１６（ａ）で示す画像データが入力された場合には、ブロック毎にパターンの検出を行い、図１６（ｂ）で示す結果が得られる。

パターンを検出した結果、領域Ｔ、Ｕ、Ｖ、Ｗ、Ｘ、Ｙ、Ｚに分割される。領域Ｔ、Ｖ、Ｘ、Ｙはパターン領域であると判定され、領域情報としてパターン領域であることを示す情報を含む信号（Ｅｐ＝１）を出力する。一方、領域Ｕ、Ｗ、Ｚについては、パターン以外の領域であると判定され、領域情報としてパターン以外の領域であることを示す情報を含む信号（Ｅｐ＝０）を出力する。

パターンの検出結果は、ブロック統合部２１４へ出力される。ブロック統合部２１４は、パターン検出部１４０１によって出力される領域情報を取得する。ここで、ブロック統合部２１４の動作手順について、図１７を用いて説明する。

図１７は、第２の実施形態に係るブロック統合部２１４の動作手順を示す図である。ブロック統合部２１４は、本実施形態では、着目しているブロック内に、パターン領域が存在する場合には処理を実行するが、パターン領域が全く存在しない場合には、統合処理を行わないものとする。

まず、ステップＳ１７００において、着目ブロック内のＥｐ＝１である領域（つまり、パターン領域）の情報（以下、領域情報と言う。）を取得する。次に、ステップＳ１７０１において、着目ブロックに隣接するブロックの領域情報を取得する。

次に、ステップＳ１７０３において、着目ブロックにおいて、パターン領域Ａの占める画素数Ｎが予め定められた閾値Ｔｈ１以下である（Ｎ＜＝Ｔｈ１）か否かを判定する。ステップＳ１７０３で画素数Ｎが予め定められた閾値Ｔｈ１よりも大きい（Ｎ＞Ｔｈ１である）と判定された場合には、ステップＳ１７０６に進む。一方、画素数Ｎが予め定められた閾値Ｔｈ１以下である（Ｎ＜＝Ｔｈ１である）と判定された場合には、ステップＳ１７０７に進む。

ここで、一般的には、ブロック内のパターン領域が占める面積の割合が、ブロックの領域に対して微小である場合には、ノイズである可能性が高い。また、パターン領域が微小であるブロックに対して、周期性を符号化するような符号化方式を適用すると、符号化効率が悪化してしまう。このため、ブロック内にパターン領域が存在していても、その領域の占める面積の割合が微小であれば、そのブロックはパターンを含むブロックではないと判定される。

しかし、パターン領域が、ブロック内での面積は小さいが、ブロックの境界で分断された領域である場合には、同一のパターン領域であるにも関わらず、ブロック毎に別の符号化方式で符号化されてしまうことにより画質の劣化が著しくなる。よって、ステップＳ１７０４以降の処理を設ける。所定の閾値Ｔｈ１は、ブロックの大きさと符号化効率の関係により求めた値でもよいし、予め設定された固定値であってもよい。

ステップＳ１７０４では、着目するパターン領域である領域Ａが、着目ブロックと領域Ｂを含む隣接ブロックとの境界線に接しているか否かを判定する。ステップＳ１７０４で領域Ａが境界線に接していると判定された場合には、ステップＳ１７０５に進む。一方、ステップＳ１７０４で領域Ａが境界線に接していないと判定された場合には、ステップＳ１７０７に進む。

ステップＳ１７０５では、着目するパターン領域内の境界の画素に対する、属性情報生成部２０３で生成された属性情報が、予め設定された属性を示すか否かを判定する。すなわち、本実施形態では、境界線と接する位置にフラグデータが連続して存在するか否かを判定する。なお、フラグデータは、第１の実施形態で生成した画素単位の属性情報を示す。

ステップＳ１７０５でフラグデータが連続して存在すると判定された場合には、ステップＳ１７０６に進む。一方、ステップＳ１７０５でフラグデータが連続して存在しないと判定された場合には、ステップＳ１７０７に進む。

ステップＳ１７０６では、着目するパターン領域である領域Ａと、着目ブロックと接する他のブロック内のパターン領域である領域Ｂ［ｘ］とを統合する。これは、着目するパターン領域の画素数が小さい場合であっても、ブロック境界で分断されたパターン領域の一部であると判断し、隣接するブロックと符号化方式を統一するためである。

ステップＳ１７０７では、領域Ａと領域Ｂ［ｘ］を統合しない。これは、着目するパターン領域は、面積が小さく、独立した領域であるため、ノイズであると判断され、隣接するブロックと符号化方式を統一する必要はないためである。

このような処理をブロック内に存在する全てのパターン領域に対して行う（ステップＳ１７０２）。例えば、図１６（ｂ）の領域Ｖに着目した場合には、まず、ステップＳ１７０３で判定された結果、ブロック内で占める面積が小さいため、ステップＳ１７０４の処理に進む。そして、領域Ｖは、左のブロックとの境界線に接しているため、ステップＳ１７０５の処理に進み、ブロック境界のフラグデータを参照する。その結果、フラグデータが連続して存在するため、ステップＳ１７０６に進み、領域Ｖと左のブロックの領域Ｔとの統合を行う。

ブロック統合部２１４は、統合結果を符号化部１４０２へ出力する。符号化部１４０２は、画像データ及び統合結果を取得し、ブロック毎に符号化を行う。このとき、統合されたブロックに対しては、統合された隣接画素と同じ符号化方式で符号化を行う。

符号化は、パターン領域が存在すると判定されたブロックに対しては、周期性を符号化する方式のような、パターンに適した可逆符号化方式を適用する。一方、パターン以外の領域であると判定された場合には、ＪＰＥＧ等のような自然画の符号化に適した非可逆符号化方式を適用する。

以上述べた通り、本実施形態によれば、パターン領域がブロックの境界に位置する画素であって、それに対応するフラグデータが連続して存在している場合には、パターン領域の統合を行って符号化方式の統一を行う。これにより、同一のパターン領域に対して符号化方式が統一できるため、符号化による画質の劣化を抑制することができる。

＜その他の実施形態＞
なお、本実施形態は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、複合機、ファクシミリ装置等）に適用してもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのコンピュータプログラムのコードを記憶したコンピュータ可読記憶媒体（又は記録媒体）を、システム又は装置に供給してもよい。また、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み込み実行することに適用してもよい。この場合、記憶媒体から読み込まれたプログラムコード自体が前述の実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本実施形態を構成することになる。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み込まれたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

また、本実施形態を上述のコンピュータ可読記憶媒体に適用する場合、その記憶媒体には、前述のフローチャートや機能構成に対応するコンピュータプログラムのコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能的構成を示すブロック図である。 第１の実施形態に係る画像処理装置１００の機能的構成を示すブロック図である。 （ａ）は入力された画像データを示す図であり、（ｂ）は図３（ａ）で入力された画像データから生成された属性データを示す図である。 （ａ）は図３（ｂ）で生成した属性データをフラグデータで示す図であり、（ｂ）は図４（ａ）で示すフラグデータの変形例を示す図である。 （ａ）は類似色領域統合部２１０に入力された画像５００を示す図であり、（ｂ）はブロック分割部２１１で画像５００を分割した状態を示す図である。 （ａ）は図５（ｂ）で示すブロック５０１の色情報の分布を模式的に示す図であり、（ｂ）は図５（ｂ）で示すブロック５０４の色情報の分布を模式的に示す図である。 色置換部２１３の動作手順を示す図である。 （ａ）はブロック５０１を示す図であり、（ｂ）はブロック５０１のフラグデータの一例を示す図であり、（ｃ）は色置換後の画素領域８００を示す図であり、（ｄ）は色置換後の画像５００を示す図である。 第１の実施形態に係るブロック統合部２１４の動作手順を示す図である。 （ａ）は着目ブロックと隣接ブロックの色置換後に残存する領域の一例を示す図であり、（ｂ）は色置換後に残存する領域の色情報を模式的な色空間上に示したグラフを示す図である。 （ａ）は着目ブロックと隣接ブロックの色置換後に残存する領域の一例を示す図であり、（ｂ）は図１１（ａ）で示す領域のフラグデータの一例を示す図である。 ブロック統合後の画像５００の状態を示す図である。 合成部２２１０で合成されたデータの一例を示す図である。 第２の実施形態に係る画像処理装置の機能的構成を示すブロック図である。 一定の周期性を有するパターンの一例を示す図である。 （ａ）は入力された画像データを示す図であり、（ｂ）はパターン検出結果の一例を示す図である。 第２の実施形態に係るブロック統合部２１４の動作手順を示す図である。

Claims (12)

1. 画像データを入力する入力手段と、
   前記入力手段で入力した画像データの各画素毎に、属性情報を生成する属性情報生成手段と、
   前記入力手段で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割手段と、
   前記分割手段で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成手段と、
   前記生成手段で生成したヒストグラムで得られた着目色を持つ領域の面積が予め設定された第１の閾値よりも大きい場合、着目色の領域を有意な領域として決定する第１の決定手段と、
   前記生成手段で生成したヒストグラムで得られた着目色を持つ領域の面積が前記第１の閾値以下の場合であって、着目色の領域が着目ブロックの境界に位置し、且つ、前記着目色の領域内の前記境界の画素に対する、前記属性情報生成手段で生成された属性情報が、予め設定された属性を示す場合、前記着目色の領域が有意な領域として決定する第２の決定手段と、
   前記第１、第２の決定手段のいずれでも、前記着目色の領域が有意な領域として決定されなかった場合、前記着目色の領域を、当該着目色の領域が接する他の色の領域に統合するため、前記着目色の領域内の画素の色を前記他の色に置換する置換手段と、
   前記第１、第２の決定手段のいずれかで、前記着目色の領域が有意な領域として決定された場合であって、前記着目色の領域と、前記着目ブロックと接する他のブロックで有意と決定された領域との色差が、予め設定された第２の閾値以下の場合、前記着目色の領域と前記他のブロックで有意と決定された領域とを統合する統合手段と、
   を備えることを特徴とする画像処理装置。
2. 前記統合手段は、前記色差が前記第２の閾値よりも大きく、且つ、前記着目色の領域内の前記境界の画素に対する、前記属性情報生成手段で生成された属性情報が、予め設定された属性を示す場合であって、前記着目色の領域と、前記着目色の領域が有意な領域として決定された領域との色差が、前記第２の閾値とは異なる第３の閾値以下の場合、前記着目色の領域と前記他のブロックで有意と決定された領域とを統合することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の閾値は、前記第２の閾値よりも大きい値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記属性情報生成手段は、着目画素が、該着目画素を含む領域のエッジに位置するか否かに基づいて、前記属性情報を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記属性情報生成手段は、着目画素が、文字領域に含まれるか否かに基づいて、前記属性情報を生成することを特徴とする請求項１に記載の画像処理装置。
6. 画像データを入力する入力手段と、
   前記入力手段で入力した画像データの各画素毎に、属性情報を生成する属性情報生成手段と、
   前記入力手段で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割手段と、
   前記分割手段で分割したそれぞれのブロックで一定の周期性を有するパターン領域を検出する検出手段と、
   前記分割手段で分割した着目ブロック内の、前記検出手段で検出された着目するパターン領域の画素数が予め設定された閾値以下である場合、又は、
   前記着目するパターン領域の画素数が前記予め設定された閾値よりも大きい場合であって、前記着目するパターン領域が前記着目ブロックの境界に位置し、且つ、前記着目するパターン領域内の前記境界の画素に対する、前記属性情報生成手段で生成された属性情報が、予め設定された属性を示す場合、前記着目するパターン領域と、前記着目ブロックと接する他のブロック内のパターン領域とを統合する統合手段と、
   を備えることを特徴とする画像処理装置。
7. 画像データをブロック単位で入力する入力手段と、
   前記入力手段で入力した画像データの各画素毎に生成される属性情報を入力する属性情報入力手段と、
   前記入力手段で入力した着目ブロック内の第１の着目色領域と、前記着目ブロックと接する他のブロック内の第２の着目色領域との色差が、予め設定された第１の閾値以下である場合、又は、
   前記色差が予め設定された第１の閾値よりも大きく、且つ、前記第１の着目色領域内の前記他のブロックとの境界と接する画素に対する、前記属性情報入力手段で入力された属性情報が、予め設定された属性を示す場合であって、前記第１の着目色領域と、前記第２の着目色領域との色差が、予め設定された第２の閾値以下の場合、前記第１の着目色領域と前記第２の着目色領域とを統合する統合手段と、
   を備えることを特徴とする画像処理装置。
8. 入力手段が、画像データを入力する入力工程と、
   属性情報生成手段が、前記入力工程で入力した画像データの各画素毎に、属性情報を生成する属性情報生成工程と、
   分割手段が、前記入力工程で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割工程と、
   生成手段が、前記分割工程で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成工程と、
   第１の決定手段が、前記生成工程で生成したヒストグラムで得られた着目色を持つ領域の面積が予め設定された第１の閾値よりも大きい場合、着目色の領域を有意な領域として決定する第１の決定工程と、
   第２の決定手段が、前記生成工程で生成したヒストグラムで得られた着目色を持つ領域の面積が前記第１の閾値以下の場合であって、着目色の領域が着目ブロックの境界に位置し、且つ、前記着目色の領域内の前記境界の画素に対する、前記属性情報生成工程で生成された属性情報が、予め設定された属性を示す場合、前記着目色の領域が有意な領域として決定する第２の決定工程と、
   置換手段が、前記第１、第２の決定工程のいずれでも、前記着目色の領域が有意な領域として決定されなかった場合、前記着目色の領域を、当該着目色の領域が接する他の色の領域に統合するため、前記着目色の領域内の画素の色を前記他の色に置換する置換工程と、
   統合手段が、前記第１、第２の決定工程のいずれかで、前記着目色の領域が有意な領域として決定された場合であって、前記着目色の領域と、前記着目ブロックと接する他のブロックで有意と決定された領域との色差が、予め設定された第２の閾値以下の場合、前記着目色の領域と前記他のブロックで有意と決定された領域とを統合する統合工程と
   を有することを特徴とする画像処理方法。
9. 入力手段が、画像データを入力する入力工程と、
   属性情報生成手段が、前記入力工程で入力した画像データの各画素毎に、属性情報を生成する属性情報生成工程と、
   分割手段が、前記入力工程で入力した画像データを、予め設定されたサイズの複数のブロックに分割する分割工程と、
   検出手段が、前記分割工程で分割したそれぞれのブロックで一定の周期性を有するパターン領域を検出する検出工程と、
   統合手段が、前記分割工程で分割した着目ブロック内の、前記検出工程で検出された着目するパターン領域の画素数が予め設定された閾値以下である場合、又は、
   前記着目するパターン領域の画素数が前記予め設定された閾値よりも大きい場合であって、前記着目するパターン領域が前記着目ブロックの境界に位置し、且つ、前記着目するパターン領域内の前記境界の画素に対する、前記属性情報生成工程で生成された属性情報が、予め設定された属性を示す場合、前記着目するパターン領域と、前記着目ブロックと接する他のブロック内のパターン領域とを統合する統合工程と、
   を有することを特徴とする画像処理方法。
10. 入力手段が、画像データをブロック単位で入力する入力工程と、
    属性情報入力手段が、前記入力工程で入力した画像データの各画素毎に生成される属性情報を入力する属性情報入力工程と、
    統合手段が、前記入力工程で入力した着目ブロック内の第１の着目色領域と、前記着目ブロックと接する他のブロック内の第２の着目色領域との色差が、予め設定された第１の閾値以下である場合、又は、
    前記色差が予め設定された第１の閾値よりも大きく、且つ、前記第１の着目色領域内の前記他のブロックとの境界と接する画素に対する、前記属性情報入力工程で入力された属性情報が、予め設定された属性を示す場合であって、前記第１の着目色領域と、前記第２の着目色領域との色差が、予め設定された第２の閾値以下の場合、前記第１の着目色領域と前記第２の着目色領域とを統合する統合工程と、
    を有することを特徴とする画像処理方法。
11. コンピュータが読み込み実行することで、請求項８乃至１０のいずれか１項に記載の各工程をコンピュータに実行させるコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。