JP5407582B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

文字画像や線画などを含んだ多値画像を圧縮することが行われている。
これに関連する技術として、例えば、特許文献１には、文書を、複数のバイナリ前景平面を有する複合ラスターコンテンツフォーマットで画像データに変換するシステム及び方法を提供することを課題とし、画像データを線毎に分析して、類似の色及びエッジ特徴を有する画素を特定し、１つの線上にあるこれらの画素と別の線上の画素とは、両者が類似の特徴を共有する場合にはリンクされ、これらのリンクされた画素同士は領域としてグループ化され、この領域の平均色が計算され、画素が属する領域を特定する画像マップが、領域の最終的なテーブルと共に生成されることが開示されている。

また、例えば、特許文献２には、画像データをベクトル情報に変換する際に、画像データの中の一部の画像データを共通化してベクトル情報に変換することで、変換処理の負荷を減らし、変換後の情報量を少なくする画像処理装置を提供することを課題とし、画像処理装置の切出手段は、画像データから画素の塊を切り出し、前記切出手段によって切り出された画素の塊から同様の画素の塊をまとめて代表の画素の塊を生成し、ベクトル変換手段は、代表画像生成手段によって生成された代表の画素の塊をベクトル情報に変換することが開示されている。

また、例えば、特許文献３には、文字と絵柄との分離精度をより高めて、より適切な画像処理に供することのできる画像処理装置を提供することを課題とし、処理対象となった画像データを構成する各画素を、所定の背景画素条件を満足する背景画素と、前記所定の背景画素条件を満足しない有意画素とに分類し、背景画素又は画像データの端部によって互いに仕切られた、有意画素同士の連結部分を連結画素領域として抽出し、有意画素の各々について、当該有意画素から隣接する有意画素を辿って背景画素に至るまでの距離を生成し、選択された注目領域のサイズに関係するサイズ関係情報を生成し、選択された注目領域に含まれる各有意画素毎の有意画素距離情報、並びにサイズ関係情報に基づいて注目領域を複数のカテゴリのいずれかに分類することが開示されている。

また、例えば、特許文献４には、入力された多値画像を圧縮する画像圧縮装置であって、前記多値画像を２値化する２値化手段と、前記２値化手段で得られた２値画像に基づいて、文字領域の位置を特定する第１領域特定手段と、前記第１領域特定手段で特定された文字領域中の単位文字領域の位置を特定する第２領域特定手段と、前記第２領域特定手段で特定された単位文字領域それぞれの位置情報と前記多値画像とに基づいて、前記単位文字領域それぞれの平均色を算出する平均色算出手段と、色空間における所定エリア毎に設定されたエリアの代表色と前記平均色算出手段で算出された前記単位文字領域それぞれの平均色との距離に基づいて、前記単位文字領域それぞれの代表色として前記エリアの代表色のいずれかを設定する代表色設定手段と、前記多値画像における前記文字領域あるいは前記単位文字領域をその周辺色で穴埋めする穴埋め手段と、前記穴埋め手段で生成された穴埋め多値画像を縮小する縮小手段と、前記縮小手段で縮小された縮小多値画像を圧縮する第１圧縮手段と、前記第１領域特定手段で特定された文字領域に対応する部分２値画像を圧縮する第２圧縮手段と、前記単位文字領域の位置情報と、前記第１圧縮手段で生成された第１圧縮コードと、前記第２圧縮手段で生成された第２圧縮コードと、前記代表色設定手段で設定された単位文字領域の代表色情報とを含む圧縮データを出力する出力手段とを備えることを特徴とする画像圧縮装置が開示されている。

特開２００５−２２８３３１号公報 特許４１２３２９９号公報 特開２００５−１８４４０４号公報 特許第３８７０１４７号公報

本発明は、画像内の画素塊を抽出して文書を生成する場合にあって、画素塊自体の画像と画素塊の内部の画像とによって構成された文書を生成するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、多値画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた多値画像から文字部分の画像である第１の画素塊を抽出する第１の画素塊抽出手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊に包含されており、該第１の画素塊に接しており、前記文字内部の画像である第２の画素塊を抽出する第２の画素塊抽出手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊の色を決定する第１の色決定手段と、前記第２の画素塊抽出手段によって抽出された第２の画素塊の色を決定する第２の色決定手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊が含まれている２値画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって抽出された第２の画素塊が含まれている２値画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成する文書生成手段を具備し、前記第１の色決定手段は、前記多値画像から前記第１の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第１の画素塊の色として決定し、前記第２の色決定手段は、前記多値画像から前記第２の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第２の画素塊の色として決定することを特徴とする画像処理装置である。

請求項２の発明は、前記第１の画素塊抽出手段によって抽出された第１の画素塊を含む画像を生成する画像生成手段をさらに具備し、前記第２の画素塊抽出手段は、前記画像生成手段によって生成された画像から前記第２の画素塊を抽出し、該第２の画素塊を含む画像を生成し、前記文書生成手段は、前記画像生成手段によって生成された画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって生成された画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記画像受付手段によって受け付けられた多値画像から前記第１の画素塊と前記第２の画素塊の領域を該多値画像内の画素に基づいて補間する領域補間手段をさらに具備し、前記文書生成手段は、さらに領域補間手段によって補間された多値画像を用いて文書を生成することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記画像生成手段が生成する画像は２値画像であり、前記文書生成手段は、前記画像生成手段によって生成された２値画像と、前記第２の画素塊抽出手段によって抽出された第２の画素塊を含む２値画像を含めた文書を生成することを特徴とする請求項２又は３に記載の画像処理装置である。

請求項５の発明は、前記文書生成手段は、前記画像生成手段によって生成された画像と前記第２の画素塊抽出手段によって抽出された第２の画素塊を含む画像をベクトルデータに変換して、該ベクトルデータに基づいて文書を生成することを特徴とする請求項２又は３に記載の画像処理装置である。

請求項６の発明は、前記画像生成手段によって生成された画像内の前記第１の画素塊を抽出して、該第１の画素塊毎に画像を生成する画素塊画像生成手段をさらに具備し、前記第２の画素塊抽出手段は、前記画素塊画像生成手段によって生成された第１の画素塊毎の画像から前記第２の画素塊を抽出することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置である。

請求項７の発明は、前記画素塊画像生成手段によって生成された第１の画素塊毎の画像と前記第２の画素塊抽出手段によって抽出された第２の画素塊に基づいて、該第１の画素塊の外側の色を決定する第３の色決定手段と、前記第２の色決定手段によって決定された第２の画素塊の色と前記第３の色決定手段によって決定された第１の画素塊の外側の色との比較結果に基づいて、該第２の画素塊を除去する第２の画素塊除去手段をさらに具備することを特徴とする請求項６に記載の画像処理装置である。

請求項８の発明は、前記第１の画素塊抽出手段によって抽出された第１の画素塊又は前記第２の画素塊抽出手段によって抽出された第２の画素塊を膨張する膨張手段をさらに具備し、前記文書生成手段は、前記膨張手段によって膨張された第１の画素塊又は第２の画素塊に基づいて、文書を生成することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置である。

請求項９の発明は、前記文書生成手段は、前記膨張手段が第１の画素塊又は第２の画素塊のうちいずれか一方の画素塊を膨張させた場合は、文書の再生のときに該膨張させた画像塊を他方の画素塊よりも先に描画するように文書を生成することを特徴とする請求項８に記載の画像処理装置である。

請求項１０の発明は、コンピュータを、多値画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた多値画像から文字部分の画像である第１の画素塊を抽出する第１の画素塊抽出手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊に包含されており、該第１の画素塊に接しており、前記文字内部の画像である第２の画素塊を抽出する第２の画素塊抽出手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊の色を決定する第１の色決定手段と、前記第２の画素塊抽出手段によって抽出された第２の画素塊の色を決定する第２の色決定手段と、前記第１の画素塊抽出手段によって抽出された第１の画素塊が含まれている２値画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって抽出された第２の画素塊が含まれている２値画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成する文書生成手段として機能させ、前記第１の色決定手段は、前記多値画像から前記第１の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第１の画素塊の色として決定し、前記第２の色決定手段は、前記多値画像から前記第２の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第２の画素塊の色として決定することを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像内の画素塊を抽出して文書を生成する場合にあって、画素塊自体の画像と画素塊の内部の画像とによって構成された文書を生成できる。

請求項２の画像処理装置によれば、本構成を有していない場合に比較して、画素塊の内部を抽出する処理の負荷を軽減させることができる。

請求項３の画像処理装置によれば、本構成を有していない場合に比較して、生成する文書の圧縮率を向上させることができる。

請求項４の画像処理装置によれば、本構成を有していない場合に比較して、生成する文書を簡易化させることができる。

請求項５の画像処理装置によれば、ベクトルデータで構成された文書を生成することができる。

請求項６の画像処理装置によれば、画素塊毎に画素塊の内部を抽出することができる。

請求項７の画像処理装置によれば、画素塊の内部に対する処理を不要とする場合を検出することができる。

請求項８、９の画像処理装置によれば、本構成を有していない場合に比較して、生成した文書を再生した場合の画質の劣化を抑制することができる。

請求項１０の画像処理プログラムによれば、画像内の画素塊を抽出して文書を生成する場合にあって、画素塊自体の画像と画素塊の内部の画像とによって構成された文書を生成できる。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 対象画像の例１を示す説明図である。 対象画像の例１から文字部分を抜き出して穴埋め処理をした画像の例を示す説明図である。 対象画像の例２Ａを示す説明図である。 対象画像の例２Ｂを示す説明図である。 対象画像の例２から文字部分を抜き出した例を示す説明図である。 対象画像の例２から文字部分を抜き出して穴埋め処理をした画像の例を示す説明図である。 対象画像の例２内の文字部分と文字内部の例を示す説明図である。 対象画像の例２から文字部分と文字内部を抜き出した例を示す説明図である。 対象画像の例２から文字部分と文字内部を抜き出して穴埋め処理をした画像の例を示す説明図である。 対象画像の例２に対して非可逆圧縮を行い復元した例を示す説明図である。 文字部分と非文字部分の例を示す説明図である。 文字部分をラベリング処理した結果の例を示す説明図である。 文字部分と非文字部分の例を黒白反転処理した例を示す説明図である。 文字部分と非文字部分の例から非文字部分をラベリング処理した結果の例を示す説明図である。 文字部分が２値画像の端に接している場合の例を示す説明図である。 第１の実施の形態による処理例を示すフローチャートである。 ２値画像の周囲に１画素の白画素を付加した例を示す説明図である。 ２値画像の画素値の変更例を示す説明図である。 ２値画像から文字内部を抽出した例を示す説明図である。 第３の実施の形態の構成例についての概念的なモジュール構成図である。 第３の実施の形態による処理例を示すフローチャートである。 一つの文字を抽出した例を示す説明図である。 文字内部を抽出した例を示す説明図である。 第５の実施の形態の構成例についての概念的なモジュール構成図である。 第５の実施の形態による処理例を示すフローチャートである。 第１〜５の実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。 層分けした画像の例を示す説明図である。 従来例を示す説明図である。

まず、本実施の形態を説明する前に、その前提又は本実施の形態を利用することとなる多層構造の符号化方式について説明する。なお、この説明は、本実施の形態を理解を容易にすることを目的とするものである。

本実施の形態が対象とする画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの、文章としての１行から１文字ずつ切り出すように縦又は横方向に射影し、空白地点で切り出した画像領域、又は一定間隔で切り出した画像領域等がある。
なお、１つの画素領域として、１文字の画像となる場合が多い。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。例えば、円や線のような線画であってもよい。以下、「文字」、「線画」、「文字部分」又は「文字部画像」という場合は、特に断りがない限り「画素塊」の意で用いる。

特許文献１、特許文献２に示されるような文書処理装置に用いられている画像圧縮方式がある。
これらは、文字や線画などを含んだ画像をＪＰＥＧ等の変換符号化で圧縮すると、文字や線画部の歪が大きくなるという問題を解消するものである。
これらの画像圧縮方式では、文字や線画を抽出する。そして、抽出した文字や線画の色データを決定する。さらに、その抽出した文字や線画の領域を補間する。つまり、原画像から前述の文字や線画を除去することであり。より具体的な処理として、例えば、原画像から文字や線画を抜き取って、周囲の画素値で穴埋めすることである。
文字や線画は２値データとして、ＭＨ（Ｍｏｄｉｆｉｅｄ Ｈｕｆｆｍａｎ）、ＭＭＲ（Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ ＲＥＡＤ（Ｒｅｌａｔｉｖｅ Ｅｌｅｍｅｎｔ Ａｄｄｒｅｓｓ Ｄｅｓｉｇｎａｔｅ））、ＪＢＩＧ（Ｊｏｉｎｔ Ｂｉ−ｌｅｖｅｌ Ｉｍａｇｅ ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の２値データ圧縮方式で符号化されて、文書の一部を構成する（特許文献１）。又は、文字や線画は、ベクトルデータに変換され、文書の一部を構成する（特許文献２）。
さらに、原画像から前述の文字や線画を除去した後のバックグラウンド画像は、ＪＰＥＧ等の多値画像圧縮方式で符号化されて、文書の一部を構成する。

このような圧縮を行うことにより、高い圧縮率の場合であっても、文字や線画の画像品質を高く保つことが可能となる。なぜなら、エッジ成分の多い文字や線画を抽出し、抽出後の穴を埋めることによって、バックグラウンド画像は原画像よりも滑らかな画像となる。このような滑らかな画像はＪＰＥＧ圧縮方式に適した画像である。そのため、文字や線画を抽出して穴埋めを行うことによって、バックグラウンド画像のＪＰＥＧ圧縮方式による圧縮率と画質を高めることができる。

特許文献１に開示されている技術では、画像から黒の文字や線画を抜き出して２値データを作成する。また、画像から赤の文字や線画を抜き出して２値データを作成する。さらに、画像から、前述の黒や赤の文字や線画を除去した多値画像データを作成する。黒の文字や線画を抜き出して作成した２値データは２値データ圧縮方式で圧縮される。また、この画像の色は黒であるという情報を別途付与する。同様に、赤の文字や線画を抜き出して作成した２値データは２値データ圧縮方式で圧縮される。また、この画像の色は赤であるという情報を別途付与する。さらに、画像から前述の文字や線画を除去した後のバックグラウンド画像は、ＪＰＥＧ等の多値画像圧縮方式で符号化される。
図２８の例に示されるように、赤色で描画された文字（「ＡＢＣ」、赤色文字２８０１）と、黒色で描画された文字（「ＤＥＦ」、黒色文字２８０２）と、非文字線画部（家が描かれたの画像部分、家画像２８０３）からなる画像２８００が存在する場合、赤色文字の「ＡＢＣ」のみを抽出した２値画像２８０５と、黒色文字の「ＤＥＦ」のみを抽出した２値画像２８０６と、残りの部分である多値画像２８０７とに分割し、それぞれの画像を独立に符号化する。また、「ＡＢＣ」を抽出した２値画像２８０５の色が赤であり、「ＤＥＦ」を抽出した２値画像２８０６の色が黒であるという情報を別途付与する。
残りの部分である多値画像２８０７を、バックグラウンド画像と呼ぶ。バックグラウンド画像では、文字部分を抜き出して、抜き出した穴を周囲の画素値で埋めることによって、ＪＰＥＧなどの多値画像圧縮に適した画像とする。赤色文字２８０１（「ＡＢＣ」）や黒色文字２８０２（「ＤＥＦ」）を抜き出して、その文字の周囲の画素値（白色）で埋めることで、文字のようなエッジ成分のない滑らかなバックグラウンド画像を形成している。

特許文献２に記載されている技術では、バックグラウンド画像である多値画像１層と、２値画像のＮ層の構造で圧縮する方式を採用している。つまり、多値画像をバックグラウンド画像として、その上に色情報を持つ２値画像を重ねていくものである。
図２９に示す例での一番下の層であるバックグラウンド画像２９１０（複数色からなる多値画像）に対しては、ＪＰＥＧ等の多値画像形式で圧縮を行う。その他の層（２値画像２９２０〜２９８０）に対しては、２値画像符号化方式で圧縮する。各２値画像符号化層の画像には色情報が付与されているため、復号時にはその色を付与して復号する。そして、この描画の順序を定めてもよい。例えば、これらの層からなる文書を復号して再生する場合、バックグラウンド画像２９１０を最初に描画し、次に、２値画像２９２０、２値画像２９３０、２値画像２９４０、・・・、２値画像２９８０と次々に描画させるように、描画順序を定めて、この描画順序を文書に含めてもよい。

さらに、文字や線画を抽出する技術として、特許文献３に記載されているもの等が提案されている。例えば、画素塊の外接矩形の面積、黒画素密度等を用いて文字、線画とバックグラウンド画像とを区別する。

画像から文字や線画を抽出して、穴埋め処理を行った後の画像をＪＰＥＧ等で圧縮する場合、その圧縮対象の画像は滑らかな画像であることが好都合である。しかし、例えば、後述する状況によっては、文字や線画を抽出して、穴埋め処理を行った後の画像の滑らかさが不足する場合がある。

まず、従来技術でも問題が生じない場合について説明する。
例えば、文字「Ｏ」の画像を例として挙げる。図２は、対象画像の例１を示す説明図である。文字「Ｏ」の外側は灰色とする。また、文字「Ｏ」の文字色は黒とする。さらに、文字「Ｏ」の内部の文字色は外側と同じ灰色とする。
図３は、図２の例に示した対象画像の例１から文字部分を抜き出して穴埋め処理をした画像の例を示す説明図である。文字の内側と外側が同じ色である場合は、図３に例示するように、平らな画像を実現できる。このような平らな画像はＪＰＥＧ画像圧縮方式に適した画像である。

次に、従来技術では、穴埋め処理後の多値画像がＪＰＥＧ画像圧縮方式には適していない場合について説明する。
文字の内部と外部が違う色の場合である。図４は、対象画像の例２Ａを示す説明図である。図４に例示するように、文字「Ｏ」の外側は灰色とする。また、文字「Ｏ」の文字色は黒とする。さらに、文字「Ｏ」の内部の色は外側とは違う濃い灰色とする。
例えば、このような画像が発生する第１のケースとして、文字の外側と内側で異なる色を使うようなデザインの場合がある。
又は、第２のケースとして、文字をスキャナで読み取るときに強調フィルタをかけて文字のエッジを強調する場合がある。つまり、文字を読みやすくするために、このような強調が行われる。図５は、対象画像の例２Ｂを示す説明図である。このような強調フィルタをかける場合、図５に例示するような単なる円（内部は同一色である円）を読み取ったとしても、エッジ強調効果によって、図４に例示したものと同じように周囲が濃い色になってしまう場合がある。

いずれのケースにせよ、図４に例示するようになって、黒部分のみが文字として抽出され、濃い灰色部分（文字内部）はバックグラウンドに残ってしまう場合が発生する。
図６は、対象画像の例２（図４に示した対象画像の例２Ａ又は図５に示した対象画像の例２Ｂをスキャナで読み取った画像であり、エッジ強調がなされた画像、以下、同じ）から文字部分を抜き出した例を示す説明図である。濃い灰色部分（文字の内部）がバックグラウンドに残存すると、黒部分（文字部分）を抽出した結果、図６の例に示す斜線部は文字部分(すなわち穴埋め処理を行う部分)であるため、周囲の画素を用いて、穴埋め処理を行うこととなる。
図７は、対象画像の例２から文字部分（例２Ｂではエッジ強調効果によって黒い色となった部分、以下、同じ）を抜き出して穴埋め処理をした画像の例を示す説明図である。穴埋め処理に用いる周囲の画素には、濃い灰色（文字の内部）と薄い灰色（文字の外側）の濃度の違いがあるため、穴埋め処理を行っても、結局、図３に例示したような平らな画像を実現することはできない。例えば、図６に例示した斜線部を穴埋め処理すると、図７の例のようになり、エッジが残存する。

そこで、本実施の形態では、前述のように、文字の内部と外部で色が異なる場合であっても、圧縮に適した画像を生成して、結果的に画質又は圧縮率を向上させるようにするものである。
本実施の形態は、例えば、図４に例示した黒部分が「文字部分」として抽出されているとき、文字の内部の濃い灰色部分は、バックグラウンドではなく、「文字内部」として別に抽出するものである。
つまり、例えば、特許文献１に示されるような画像圧縮方式に適用する場合には、図４の例のような文字抽出結果では、黒の部分（文字部分）だけが２値画像（第１の画素塊の２値画像）として圧縮されることになる。本実施の形態では、さらに、濃い灰色部分（文字内部）を、別の２値画像（第２の画素塊の２値画像）として抽出する。図８は、対象画像の例２内の文字部分と文字内部の例を示す説明図である。図８（ａ）は文字部分を抽出した２値画像の例を示しており、図８（ｂ）は文字内部を抽出した２値画像の例を示している。
画像圧縮を行う場合、前述の第１の画素塊の２値画像と第２の画素塊の２値画像の両方を２値画像用の圧縮方式で圧縮する。そして、第１の画素塊の２値画像には黒の色情報を付加しておく、さらに、第２の画素塊の２値画像には濃い灰色という色情報を付加しておく。このようにすることで、特許文献１ではバックグラウンドとなっていた文字内部を別の２値画像として分け、その後は特許文献１と同等の圧縮を行うことができる。

次に、この場合の穴埋め処理の結果を説明する。図９は、対象画像の例２から文字部分と文字内部を抜き出した例を示す説明図である。抜き出した穴部分は図９に例示する斜線部（文字部分とその文字内部）となる。
図９に例示した斜線部を周囲の画素を用いて穴埋めすると、図１０に示す例となる。つまり、平らな穴埋め画像を生成している。

さらには、バックグラウンド画像の穴埋め処理を行わない場合にも、適用することができる。
バックグラウンド画像の穴埋め処理を行わない場合、図４に例示したものをそのままＪＰＥＧなどで非可逆圧縮することになる。図１１は、対象画像の例２に対して非可逆圧縮を行い復元した例を示す説明図である。図１１に例示する白い領域はエッジ領域であるため、ＪＰＥＧなどの非可逆圧縮に起因するノイズが発生しやすい領域である。ところが、本実施の形態では図９に例示した斜線部の領域を上書きすることになるため、図１１に例示した白い部分を隠してしまう。

また、特許文献２に示されるような画像圧縮方式にも本実施の形態を適用してもよい。特許文献２に示されるような画像圧縮方式に適用する場合には、図４に例示したような文字抽出結果では、黒の部分（文字部分）がベクトルデータ（第１のベクトルデータ）として圧縮されることになる。本実施の形態では、さらに、濃い灰色部分（文字内部）を、第２のベクトルデータとして抽出する。
画像圧縮を行う場合、前述の第１のベクトルデータと第２のベクトルデータの両方を保持する。第１のベクトルデータには黒の色情報と位置情報を付加しておく。さらに、第２のベクトルデータには濃い灰色という色情報と位置情報を付加しておく。このようにすることで、特許文献２が開示している技術に適用するようにしてもよい。
特許文献２が開示している技術に適用した場合も、特許文献１が開示している技術に適用する場合と同等に、穴埋め処理の結果、図１０に例示したような、平らなバックグラウンド画像を得ることとなる。

次に、「文字部分」及び「文字内部」に関して定義する。
特許文献３等が開示している手法を用いて、対象画像の各画素を文字部分と、非文字部分の２種類に分離することができる。このとき、文字部分の画素を１、非文字部分の画素を０とする２値画像を生成することができる。この２値画像において、画素値が１の場所を「文字部分」とする。
特許文献１に開示されているように、複数の色の２値画像を抽出する場合がある。この場合には、色毎に複数の２値画像が生成される。以下の議論は、個々の２値画像に対して独立に考えればよい。
なお、前述の画素値は一例であって、文字部分が０で非文字部分が１でもよいし、２値画像ではなく、多値画像であってもよい。多値画像の場合に、例えば、文字部分が１２８で、非文字部分が１２８以外等様々なバリエーションがある。いずれにせよ、前述の文字部分が１、非文字部分が０の２値画像に変換できる形式であればよい。
以下、２値画像に対し、便宜的に画素値１を黒画素、画素値０を白画素と呼ぶことにする。文字部分は黒画素、非文字部分は白画素となる。

この２値画像中の黒画素に対して、ラベリング処理を施す。ラベリング処理とは、連結している黒画素には同一のラベル（番号）を与え、連結していない黒画素同士は、違うラベル（番号）を与える処理である。
図１２は、文字部分と非文字部分の例を示す説明図である。図１２の例で、文字部分が黒画素、非文字部分が白画素となっている。図１３は、文字部分をラベリング処理した結果の例を示す説明図である。ラベルＬ１からラベルＬ７のラベルが付与されている。なお、図１３では、単にラベルを示す線が見やすいように、文字部分を薄い灰色で表現しているが、実際には黒画素であることに注意されたい。

次に、非文字部分に対してもラベリング処理を行う。まず、図１２に例示した画像を黒白反転する。図１４は、文字部分と非文字部分の例を黒白反転処理した例を示す説明図である。
この黒白反転画像に対して、ラベリング処理を行う。図１５は、文字部分と非文字部分の例から非文字部分をラベリング処理した結果の例を示す説明図である。ラベルＬ８からラベルＬ１４のラベルが付与されている。なお、図１５では、単にラベルを示す線が見やすいように、非文字部分を薄い灰色で表現しているが、実際には黒画素であることに注意されたい。

以下、各画素連結領域（ラベルが付与された領域）を、単に領域と呼ぶ。ここで示した例では、ラベルＬ１からラベルＬ１４の領域が存在している。
各領域の外周に接している領域の数は１に限定される。なぜなら、外周に接している領域の数が２以上であるとすると、どこかの２×２画素領域中に存在する領域の種類数（つまり、自分自信の領域と接している領域の数）が３以上となってしまう。これは、対象が２値画像であるという前提に反するものとなってしまう。したがって、前述の結論となる。

ここで、非文字部分の各領域（ラベルＬ８からラベルＬ１４）の外周に接する領域を対象とする。前述のように、外周に接する領域は１種類のみである。また、非文字部分の領域に接する領域は、必ず文字部分の領域である。
ある非文字部分の領域（ラベルＰ）の外周に接する文字部分の領域のラベルがＱであるとする。このとき、
「ラベルＰの領域は、ラベルＱの文字部分の文字内部である」
と定義する。
ここで注意しなければいけないのは、ラベルＱの文字部分の文字内部は、ラベルＰのみに限定されない場合がある点である。例えば、図１３の例におけるラベルＬ４の文字部分の文字内部としては、図１５におけるラベルＬ１２とラベルＬ１３の２つがある。

また、複数の領域が組み合わさって一つの文字を形成している場合がある。
例えば、図１３におけるラベルＬ３はラベルＬ２の領域内に包含されているため、ラベルＬ２とラベルＬ３をあわせて一つの文字として認識すべきである。また、ラベルＬ５とラベルＬ６とラベルＬ７もあわせて一つの文字として認識すべきである。このような場合は、ラベルＬ２、ラベルＬ３を１文字として組み合わせてもよい。ここで、ラベルＬ２とラベルＬ３を組み合わせたラベルをラベルＬ２３とする。また、ラベルＬ５、ラベルＬ６、ラベルＬ７を１文字として組み合わせてもよい。ここで、ラベルＬ５、ラベルＬ６、ラベルＬ７を組み合わせたラベルをラベルＬ５６７とする。
この場合、下記のように表現する。
「ラベルＬ１０の領域は、ラベルＬ２３の文字部分の文字内部である」
「ラベルＬ１１の領域は、ラベルＬ２３の文字部分の文字内部である」
「ラベルＬ１４の領域は、ラベルＬ５６７の文字部分の文字内部である」

最後に、ラベルＬ８について説明する。ラベルＬ８の外周は２値画像の外周になっており、ラベルＬ８の外周すべてに接する文字部分の領域は存在しない。このような場合（外周すべてに接する単一の文字部分の領域が存在しない場合）は、文字内部ではないと判断する。
例えば、文字部分が２値画像の外周に接している場合がある。図１６は、文字部分が２値画像の端に接している場合の例を示す説明図である。図１６に示す例のような場合、左上の領域１６０１の外周は、２値画像の外周と、文字部分の両方に接している。このような場合も、「外周すべてに接する単一の文字部分の領域が存在しない場合」に相当するため、文字内部ではないと判断する。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。

第１の実施の形態である画像処理装置は、多値画像内の画素塊を抽出して文書を生成するものであって、図１に示すように、文字抽出モジュール１１０、文字内部抽出モジュール１２０、文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０、出力文書生成処理モジュール１５０を有している。

文字抽出モジュール１１０は、文字内部抽出モジュール１２０、バックグラウンド穴埋め処理モジュール１４０、出力文書生成処理モジュール１５０と接続されている。多値画像を受け付け、その多値画像から文字部分を抽出する。ここで、多値画像は例えば２５６階調のグレイ画像や、ＲＧＢそれぞれ２５６階調のカラー画像等である。したがって、色という場合は、ＲＧＢ等で表現されるカラーのみならずグレイを含む。多値画像にＪＰＥＧなどの圧縮が施されている場合には、復号してから受け付けられる。
文字抽出モジュール１１０において、文字部分が抽出される。例えば、特許文献３に開示されている手法で文字を抽出し、その抽出した文字部分の色を決定する。そして、その抽出された文字部分を含む画像を生成する。例えば、特許文献１に開示されている手法で文字をそれぞれ色の異なるＮ枚（Ｎは文字部分の色数となる）の２値画像に分離して表現する。なお、色の決定は、受け付けた多値画像から、その文字部分が配置されている位置の画素を取り出して、その画素値の平均値等を求めることによって決定する。
そして、Ｎ枚の２値画像を文字内部抽出モジュール１２０、バックグラウンド穴埋め処理モジュール１４０、出力文書生成処理モジュール１５０へ渡す。また、その２値画像の色の情報を出力文書生成処理モジュール１５０へ渡す。

文字内部抽出モジュール１２０は、文字抽出モジュール１１０、文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０と接続されている。文字内部抽出モジュール１２０は、文字抽出モジュール１１０によって抽出された文字部分に包含されており、その文字部分に接している文字内部を抽出する。そして、抽出した文字内部を文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０へ渡す。
文字内部抽出モジュール１２０では、文字抽出モジュール１１０によって生成されたＮ枚の２値画像からそれぞれ独立に文字内部を抽出する処理を行う。
例えば、図１２の例に示すような２値画像を受け付けるとする。ここでは文字部分が１、それ以外が０となる２値画像であるとする。
この２値画像から文字内部を抽出する。抽出する方法として前述したように、文字部分をラベリングし、さらに、受け取った２値画像を反転して、非文字部分をラベリングする。非文字部分のうち、外周がすべて文字部分であるラベルのみを文字内部とする。

また、別の手法を用いるようにしてもよい。図１８は、２値画像の周囲に１画素の白画素を付加した例を示す説明図である。図１８で、文字部分は画素値１で黒画素で示す。非文字部分は画素値０で白画素で示す。
２値画像の周囲１画素を画素値０の領域にする。この画素値０の領域にするとは、２値画像の周囲に画素値０の１画素の領域を付加すること、つまり２値画像のサイズを大きくすることの他に、強制的に２値画像の周囲１画素を画素値０に変更すること（この場合、２値画像のサイズは変更なし）が含まれる。これによって、文字部分が２値画像の端に存在するということはなくなる。

次に、２値画像の端（例えば、左上の画素）に連結している画素値が０の画素を１に変更する。これによって、文字内部ではなく、かつ、非文字部分の領域が除去されることとなる。なお、ここで「連結している」とは、画素値０の連結を示している。図１９は、２値画像の画素値の変更例を示す説明図である。
ここで残った画素値０の領域が文字内部の領域である。画素値を反転する（画素値０を１にし、画素値１を０にする）と図２０に示す例となる。図２０は、２値画像から文字内部を抽出した例を示す説明図である。なお、ここでは文字内部は画素値１の部分である。

文字内部色決定モジュール１３０は、文字内部抽出モジュール１２０、出力文書生成処理モジュール１５０と接続されている。文字内部色決定モジュール１３０は、文字内部抽出モジュール１２０によって抽出された文字内部と対象としている多値画像を受け付けて、その文字内部の色を決定する。
そして、その抽出された文字内部を含む画像を生成する。例えば、特許文献１に開示されている手法で文字内部をそれぞれ色の異なるＭ枚（Ｍは文字内部の色数となる）の２値画像に分離して表現する。なお、色の決定は、受け付けた多値画像から、その文字部分が配置されている位置の画素を取り出して、その画素値の平均値等を求めることによって決定する。なお、色の決定は、受け付けた多値画像から、その文字内部が配置されている位置の画素を取り出して、その画素値の平均値等を求めることによって決定する。
そして、Ｍ枚の２値画像、各々の２値画像の色の情報を出力文書生成処理モジュール１５０へ渡す。

バックグラウンド穴埋め処理モジュール１４０は、文字抽出モジュール１１０、文字内部抽出モジュール１２０、出力文書生成処理モジュール１５０と接続されている。バックグラウンド穴埋め処理モジュール１４０は、受け付けられた多値画像から文字部分と文字内部の領域をその多値画像内の画素に基づいて補間する。例えば、文字部分を構成している画素以外であって、かつ文字内部を構成している画素以外の画素である、いわゆる背景（文字部分の外側に接している部分）にある画素を用いて、文字部分と文字内部の領域を埋める。より詳細には、文字抽出モジュール１１０で生成されたＮ枚の２値画像と、文字内部色決定モジュール１３０で生成されたＭ枚、計（Ｎ＋Ｍ）枚の２値画像を用いて、バックグラウンドの穴埋めを行う。これらの２値画像で画素値１の部分を穴であると捉えて、その穴埋め処理を行う。なお、特許文献１では２値画像の枚数がＮ枚であったのに対して、それをＮ＋Ｍ枚にしたものである。

出力文書生成処理モジュール１５０は、文字抽出モジュール１１０、文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０と接続されている。出力文書生成処理モジュール１５０は、文字抽出モジュール１１０によって抽出された文字部分とその文字部分の色と文字内部抽出モジュール１２０によって抽出された文字内部と文字内部色決定モジュール１３０によって決定されたその文字内部の色に基づいて文書を生成する。また、出力文書生成処理モジュール１５０は、文字抽出モジュール１１０によって生成された２値画像（この２値画像には文字部分の画像が含まれている）とその２値画像の色（その２値画像に含まれている文字部分の色）と文字内部色決定モジュール１３０によって生成された２値画像（この２値画像には文字内部の画像が含まれている）とその２値画像の色（その２値画像に含まれている文字内部の色）に基づいて文書を生成する。また、バックグラウンド穴埋め処理モジュール１４０によって補間された多値画像、Ｎ枚の２値画像、Ｍ枚の２値画像、それぞれの２値画像の色に基づいて、文書を生成してもよい。つまり、バックグラウンド穴埋め処理モジュール１４０によって補間された多値画像をバックグラウンド画像とし、そのバックグラウンド画像、Ｎ枚の２値画像、Ｍ枚の２値画像を一つのフォーマットに埋め込んだ文書を生成する。そして、そのフォーマットには、それぞれの２値画像の色も埋め込まれている。また、生成する文書の形式は、特許文献１に開示されているように、例えばＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）（登録商標）のフォーマットである。
そして、出力文書生成処理モジュール１５０は、生成した文書を出力する。ここで、文書を出力するとは、例えば、文書データベース等の文書記憶装置へ文書を書き込むこと、メモリーカード等の記憶媒体に記憶すること等の他に、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること等も含まれる。

図１７は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ１７０２では、文字抽出モジュール１１０が、対象とする多値画像の受付を行う。
ステップＳ１７０４では、文字抽出モジュール１１０が、その多値画像内の文字部分を抽出し、その文字部分の色の決定を行う。
ステップＳ１７０６では、文字内部抽出モジュール１２０が、ステップＳ１７０４で抽出された文字部分に基づいて、前述したような文字内部の抽出を行う。
ステップＳ１７０８では、文字内部色決定モジュール１３０が、ステップＳ１７０６で抽出された文字内部の色を決定する。
ステップＳ１７１０では、バックグラウンド穴埋め処理モジュール１４０が、文字部分と文字内部の領域に対して、バックグラウンド画像の穴埋め処理を行う。
ステップＳ１７１２では、出力文書生成処理モジュール１５０が、ステップＳ１７１０で穴埋め処理されたバックグラウンド画像、文字部分の２値画像、文字内部の２値画像、それぞれの２値画像の色に基づいて、文書の生成処理を行う。
ステップＳ１７１４では、出力文書生成処理モジュール１５０が、ステップＳ１７１２で生成した文書の出力を行う。
なお、ステップＳ１７１０の処理は省略してもよい。また、ステップＳ１７０８とステップＳ１７１０は順序を逆にしてもよいし、並行して行うようにしてもよい。

次に、第２の実施の形態について説明する。
前述の第１の実施の形態では、文字部分や文字内部を２値画像で表現したが、これらをベクトルデータで表現することもできる。
出力文書生成処理モジュール１５０は、第１の実施の形態と同様に文字抽出モジュール１１０から文字部分の２値画像（例えば、図１８に例示する文字部分の２値画像）と文字内部色決定モジュール１３０から文字内部の２値画像（例えば、図２０に例示する文字内部の２値画像）を受け取る。これらの２値画像を特許文献２に開示されているような手法を用いて、ベクトルデータに変換（ベクトル化）して、そのベクトルデータに基づいて文書を生成する。生成する文書として、例えばＰＤＦで規定されているフォーマットにしたがって記述するようにしてもよい。そのＰＤＦのフォーマットでは、ベクトルデータで記述された閉領域に、文字色を付与することができるため、文字抽出モジュール１１０や文字内部色決定モジュール１３０で決定された色を付与したＰＤＦデータを作成すればよい。
なお、ベクトル化とは、文字部分、文字内部の画像を対象として、直線、円弧、ベジエ曲線、面、塗り潰し等の数式（アルゴリズム等を含む）等の描画情報によってその画像を表現するものである。また、ベクトル化には、アウトライン化を含む。アウトライン化とは、文字部分の輪郭形状をベジエのような曲線等で近似して表す方法である。このような手法の例として、特開２００６−２５３８９２号公報に記載の技術を挙げることができる。

次に、第３の実施の形態について説明する。図２１は、第３の実施の形態の構成例についての概念的なモジュール構成図である。
第３の実施の形態である画像処理装置は、図２１に示すように、文字抽出モジュール２１１０、単一文字抽出モジュール２１２０、文字内部抽出モジュール２１３０、文字内部色決定モジュール２１４０、バックグラウンド穴埋め処理モジュール２１５０、出力文書生成処理モジュール２１６０を有している。
第１の実施の形態や第２の実施の形態では、対象画像の全体を処理したが、個々の文字毎に処理するものである。
文字抽出モジュール２１１０、文字内部抽出モジュール２１３０、文字内部色決定モジュール２１４０、バックグラウンド穴埋め処理モジュール２１５０、出力文書生成処理モジュール２１６０は、それぞれ第１の実施の形態の文字抽出モジュール１１０、文字内部抽出モジュール１２０、文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０、出力文書生成処理モジュール１５０に該当し、これらの第１の実施の形態と同等のものはその説明を省略し、異なるところを主に説明する。

文字抽出モジュール２１１０は、単一文字抽出モジュール２１２０、バックグラウンド穴埋め処理モジュール２１５０、出力文書生成処理モジュール２１６０と接続されており、第１の実施の形態の文字抽出モジュール１１０と同様に、多値画像から文字部分を抽出して、抽出した文字部分を含む２値画像を生成する。そして、生成した２値画像を単一文字抽出モジュール２１２０、バックグラウンド穴埋め処理モジュール２１５０、出力文書生成処理モジュール２１６０へ渡す。
単一文字抽出モジュール２１２０は、文字抽出モジュール２１１０、文字内部抽出モジュール２１３０と接続されている。単一文字抽出モジュール２１２０は、文字抽出モジュール２１１０によって生成された２値画像内の文字部分を抽出して、その文字部分毎に２値画像を生成する。例えば、特許文献２に開示されているような手法を用いて、文字抽出モジュール２１１０によって生成された２値画像から個々の文字を１文字ずつ抽出する。より具体的には、文字部分の連結画素塊を一つの文字として抽出する。又は、外接矩形が重なっている連結画素塊は一つの文字として抽出するようにしてもよい。その抽出した文字部分からなる２値画像を文字内部抽出モジュール２１３０へ渡す。なお、その２値画像の元の多値画像における位置情報も文字内部抽出モジュール２１３０へ渡す。
このようにして、図２３に例示するように、一つの文字部分を抽出した２値画像を生成する。なお、抽出した文字の数だけ２値画像を生成することになる。

文字内部抽出モジュール２１３０は、単一文字抽出モジュール２１２０、文字内部色決定モジュール２１４０、バックグラウンド穴埋め処理モジュール２１５０と接続されている。文字内部抽出モジュール２１３０は、単一文字抽出モジュール２１２０によって一つの文字部分だけを抽出した２値画像を、第１の実施の形態における一枚の２値画像として、第１の実施の形態と同様の処理を行って、文字内部を抽出する。図２３に例示する文字画像を受け取った場合は、図２４に例示する２値画像を文字内部の画像として生成して、この２値画像と位置情報を文字内部色決定モジュール２１４０へ渡す。

文字内部色決定モジュール２１４０は、文字内部抽出モジュール２１３０、出力文書生成処理モジュール２１６０と接続されている。文字内部色決定モジュール２１４０は、文字内部抽出モジュール２１３０から受け取った２値画像の位置情報に基づいて、その２値画像に該当する位置の多値画像を用いて文字内部の色を決定する。
バックグラウンド穴埋め処理モジュール２１５０は、文字抽出モジュール２１１０、文字内部抽出モジュール２１３０、出力文書生成処理モジュール２１６０と接続されている。バックグラウンド穴埋め処理モジュール２１５０は、文字部分と文字内部の２値画像、文字内部の位置情報に基づいて、多値画像から文字と文字内部を除去した場合の穴埋め処理を行う。
出力文書生成処理モジュール２１６０は、文字抽出モジュール２１１０、文字内部色決定モジュール２１４０、バックグラウンド穴埋め処理モジュール２１５０と接続されている。出力文書生成処理モジュール２１６０は、文字内部色決定モジュール２１４０が生成した文字内部毎に色の異なる２値画像を受け取り、同じ色の２値画像を合成して、Ｍ枚の２値画像を生成する。又は、文字内部をその位置情報を用いてベクトルデータに変換して文書の生成処理を行えばよい。

図２２は、第３の実施の形態による処理例を示すフローチャートである。
ステップＳ２２０２では、文字抽出モジュール２１１０が、対象とする多値画像の受付を行う。
ステップＳ２２０４では、文字抽出モジュール２１１０が、その多値画像内の文字部分を抽出し、その文字部分の色の決定を行う。
ステップＳ２２０６では、単一文字抽出モジュール２１２０が、ステップＳ２２０４で抽出された文字部分からさらに単一文字の抽出を行う。
ステップＳ２２０８では、文字内部抽出モジュール２１３０が、ステップＳ２２０６で抽出された文字毎に文字内部の抽出を行う。
ステップＳ２２１０では、文字内部色決定モジュール２１４０が、ステップＳ２２０８で抽出された文字内部の色を決定する。
ステップＳ２２１２では、バックグラウンド穴埋め処理モジュール２１５０が、文字部分と文字内部の領域に対して、バックグラウンド画像の穴埋め処理を行う。
ステップＳ２２１４では、出力文書生成処理モジュール２１６０が、文字毎の文字内部の２値画像を色毎に合成して、ステップＳ２２１２で穴埋め処理されたバックグラウンド画像、文字部分の２値画像、合成した文字内部の２値画像、それぞれの２値画像の色に基づいて、文書の生成処理を行う。
ステップＳ２２１６では、出力文書生成処理モジュール２１６０が、ステップＳ２２１４で生成した文書の出力を行う。
なお、ステップＳ２２１２の処理は省略してもよい。また、ステップＳ２２１０とステップＳ２２１２は順序を逆にしてもよいし、並行して行うようにしてもよい。

次に、第４の実施の形態について説明する。前述の実施の形態では、文字内部の形状をそのまま文書化していたが、第４の実施の形態では、文字内部の形状を膨張させるものである。
ＰＤＦなどの文書の再生において画像を張り合わせる場合、出力ビューアの精度によっては、隣り合っているはずの画素の間に隙間ができてしまう場合がある。また、ベクトル化を行った場合には、そのベクトル化の際の桁落ち等によって文字部分や文字内部の形状が変化してしまうことが起こるため、文字部分と文字内部の間に隙間ができてしまう可能性がある。そこで、第４の実施の形態では、その隙間をなくすために、文字内部を膨張させるようにしたものである。

文字内部抽出モジュール１２０（第３の実施の形態の場合は文字内部抽出モジュール２１３０）で文字内部を抽出した後で、文字内部の２値画像を（例えば１画素）膨張させる。ベクトル化を行う場合は、膨張の後でベクトル化を行う。２値画像を膨張させる既存の方式は種々あるので、その方式を用いればよい。例えば、文字内部の画素値が１の場合に、その画素の上下左右（斜めを含めた８方向であってもよい）の画素も１とすることで膨張を行うようにしてもよい。
そして、出力文書生成処理モジュール１５０（第３の実施の形態の場合は出力文書生成処理モジュール２１６０）において、文書を再生するときに、文字内部の２値画像（又はベクトルデータ）を描画し、その上に文字部分の２値画像（又はベクトルデータ）を描画することになるような文書の生成を行えばよい。

前述で文字内部を膨張させたが、文字部分を膨張させてもよい。文字部分を膨張するときは、多値画像の文字部分を膨張してもよいし、２値画像における文字部分を膨張するようにしてもよい。また、文字部分が太ってしまうことを防ぐために、膨張を行うのは、文字内部の側（つまり、文字内部に接している側）だけを行うようにしてもよい。
そして、その場合は、出力文書生成処理モジュール１５０（第３の実施の形態の場合は出力文書生成処理モジュール２１６０）において、文書を再生するときに、文字部分の２値画像（又はベクトルデータ）を先に描画し、その上に文字内部の２値画像（又はベクトルデータ）を描画することになるような文書の生成を行えばよい。
つまり、文書を再生するときの描画順序として、膨張された画素塊を先として、膨張されていない画素塊を後にするものであり、結果として膨張された画素塊の上に膨張されていない画素塊を上書きすることとなる。

次に、第５の実施の形態について説明する。図２５は、第５の実施の形態の構成例についての概念的なモジュール構成図である。
第５の実施の形態である画像処理装置は、図２５に示すように、文字抽出モジュール２５１０、単一文字抽出モジュール２５２０、文字内部抽出モジュール２５３０、文字外部色決定モジュール２５４０、文字内部色決定モジュール２５５０、文字内部除去処理モジュール２５６０、バックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０を有している。
第３の実施の形態においては、すべての文字内部を文書内に記述している。しかし、必ずしもすべての文字内部を最終的な文書内に記述する必要はない。文字の内部と外部の色が同じ場合は、記述の必要のない文字内部となる。例えば、図２の例に示されたような場合である。
そこで、文字外部の色と、文字内部の色を比較して、その色差が予め定めておいた閾値よりも大であるときのみ文字内部を最終的な出力文書に記述することにする。処理としては、文字外部色と文字内部色の色差が閾値より小である場合、文字内部を除去するものである。

文字抽出モジュール２５１０、単一文字抽出モジュール２５２０、文字内部抽出モジュール２５３０、文字内部色決定モジュール２５５０、バックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０は、それぞれ第３の実施の形態の文字抽出モジュール２１１０、単一文字抽出モジュール２１２０、文字内部抽出モジュール２１３０、文字内部色決定モジュール２１４０、バックグラウンド穴埋め処理モジュール２１５０、出力文書生成処理モジュール２１６０に該当し、これらの第３の実施の形態と同等のものはその説明を省略し、異なるところを主に説明する。
文字抽出モジュール２５１０は、単一文字抽出モジュール２５２０、バックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０と接続されている。
単一文字抽出モジュール２５２０は、文字抽出モジュール２５１０、文字内部抽出モジュール２５３０と接続されている。
文字内部抽出モジュール２５３０は、単一文字抽出モジュール２５２０、文字外部色決定モジュール２５４０、文字内部色決定モジュール２５５０、文字内部除去処理モジュール２５６０と接続されている。

文字外部色決定モジュール２５４０は、文字内部抽出モジュール２５３０、文字内部除去処理モジュール２５６０と接続されている。文字外部色決定モジュール２５４０は、単一文字抽出モジュール２５２０によって生成された文字部分毎の２値画像と文字内部抽出モジュール２５３０によって抽出された文字内部に基づいて、その文字部分の外側の色を決定する。例えば、図２３の例のように抽出された文字部分の外部色を決定する。
文字の外部色を決定する方式としては、種々あり、例えば下記の（１）、（２）のうちのいずれかを利用するようにしてもよい。
（１）単一文字抽出モジュール２５２０による単一の文字部分を抽出するときに、その文字部分をすべて含む矩形を抽出する。文字外部色決定モジュール２５４０は、文字部分と文字内部を除いた部分の矩形内の領域にあたる多値画像内の画素の色の平均値を、文字部分の外部色とする。
（２）文字外部色決定モジュール２５４０は、文字部分を膨張させる。膨張させてできた２値画像から、文字部と文字内部を除去する。除去した結果の領域にあたる多値画像内の画素の色の平均値を、文字部分の外部色とする。

文字内部色決定モジュール２５５０は、文字内部抽出モジュール２５３０、文字内部除去処理モジュール２５６０と接続されている。
文字内部除去処理モジュール２５６０は、文字内部抽出モジュール２５３０、文字外部色決定モジュール２５４０、文字内部色決定モジュール２５５０、バックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０と接続されている。文字内部除去処理モジュール２５６０は、文字内部色決定モジュール２５５０によって決定された文字内部の色と文字外部色決定モジュール２５４０によって決定された文字部分の外側の色との比較結果に基づいて、その文字内部を除去する。「文字内部を除去する」ことによって、出力文書生成処理モジュール２５８０では、その文字内部は用いずに文書を生成することとなり、バックグラウンド穴埋め処理モジュール２５７０では、その文字内部を補間することを要しないこととなる。
例えば、予め定められた閾値と、文字内部の色と文字外部の色との色差を比較する。色差としては、ＲＧＢデータのユークリッド距離、Ｌａｂ色空間のユークリッド距離、ＹＣｂＣｒ色空間のユークリッド距離、その他の計算等、様々なものを利用することができる。
色差が閾値よりも大であるときは、文字内部を第３の実施の形態と同様に、バックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０で利用する。
色差が閾値よりも小であるときは、文字内部を除去する。すなわち、該当する文字内部はバックグラウンド穴埋め処理モジュール２５７０、出力文書生成処理モジュール２５８０では利用しない。
色差が閾値に等しいときは、文字内部を除去するか否かは適切に定めておけばよい。
ここで、文字内部のラベル（連結領域）が複数ある場合は、各ラベル領域毎に文字内部色を決定し、さらに、そのラベル領域を除去するか否かは、各ラベル領域毎に独立に定めればよい。

バックグラウンド穴埋め処理モジュール２５７０は、文字抽出モジュール２５１０、文字内部除去処理モジュール２５６０、出力文書生成処理モジュール２５８０と接続されている。文字内部除去処理モジュール２５６０の結果に基づいて、前述したバックグラウンド画像の穴埋め処理を行う。つまり、文字内部が除去されたところは、文字部分だけの穴埋め処理を行い、文字内部が除去されなかったところは、文字部分と文字内部の穴埋め処理を行う。
出力文書生成処理モジュール２５８０は、文字抽出モジュール２５１０、文字内部除去処理モジュール２５６０、バックグラウンド穴埋め処理モジュール２５７０と接続されている。文字内部除去処理モジュール２５６０の結果に基づいて、前述した文書の生成処理を行う。つまり、文字内部が除去されなかったところは、その文字内部を含めて文書を生成する。結果として、文字内部が除去されたところは、その文字内部は含まないように文書が生成される。

図２６は、第５の実施の形態による処理例を示すフローチャートである。
ステップＳ２６０２では、文字抽出モジュール２５１０が、対象とする多値画像の受付を行う。
ステップＳ２６０４では、文字抽出モジュール２５１０が、その多値画像内の文字部分を抽出し、その文字部分の色の決定を行う。
ステップＳ２６０６では、単一文字抽出モジュール２５２０が、ステップＳ２６０４で抽出された文字部分からさらに単一文字の抽出を行う。
ステップＳ２６０８では、文字内部抽出モジュール２５３０が、ステップＳ２６０６で抽出された文字毎に文字内部の抽出を行う。
ステップＳ２６１０では、文字内部色決定モジュール２５５０が、ステップＳ２６０８で抽出された文字内部の色を決定する。
ステップＳ２６１２では、文字外部色決定モジュール２５４０が、各文字毎の文字外部色の決定を行う。
ステップＳ２６１４では、文字内部除去処理モジュール２５６０が、ステップＳ２６１０で決定された文字内部の色とステップＳ２６１２で決定された文字外部の色とを比較して、文字内部の除去処理を行う。
ステップＳ２６１６では、バックグラウンド穴埋め処理モジュール２５７０が、文字部分と除去されなかった文字内部の領域に対して、バックグラウンドの穴埋め処理を行う。
ステップＳ２６１８では、出力文書生成処理モジュール２５８０が、文字毎の除去されなかった文字内部の２値画像を色毎に合成して、ステップＳ２６１６で穴埋め処理されたバックグラウンド画像、文字部分の２値画像、合成した文字内部の２値画像、それぞれの２値画像の色に基づいて、文書の生成処理を行う。
ステップＳ２６２０では、出力文書生成処理モジュール２５８０が、ステップＳ２６１８で生成した文書の出力を行う。
なお、ステップＳ２６１６の処理は省略してもよい。また、ステップＳ２６１０とステップＳ２６１２は順序を逆にしてもよいし、並行して行うようにしてもよい。

図２７を参照して、前述の実施の形態の画像処理装置のハードウェア構成例について説明する。図２７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２７１７と、プリンタなどのデータ出力部２７１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２７０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字抽出モジュール１１０、文字内部抽出モジュール１２０、文字内部色決定モジュール１３０、バックグラウンド穴埋め処理モジュール１４０、出力文書生成処理モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２７０２は、ＣＰＵ２７０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２７０３は、ＣＰＵ２７０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２７０４により相互に接続されている。

ホストバス２７０４は、ブリッジ２７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２７０６に接続されている。

キーボード２７０８、マウス等のポインティングデバイス２７０９は、操作者により操作される入力デバイスである。ディスプレイ２７１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２７１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２７０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、生成した文書などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ２７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２７１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２７０７、外部バス２７０６、ブリッジ２７０５、及びホストバス２７０４を介して接続されているＲＡＭ２７０３に供給する。リムーバブル記録媒体２７１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート２７１４は、外部接続機器２７１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２７１４は、インタフェース２７０７、及び外部バス２７０６、ブリッジ２７０５、ホストバス２７０４等を介してＣＰＵ２７０１等に接続されている。通信部２７１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部２７１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２７１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２７に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、前述の実施の形態は、図２７に示す構成に限らず、前述の実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、前述の各種の実施の形態を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に適用する、入れ替えする等も含む）、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…文字抽出モジュール
１２０…文字内部抽出モジュール
１３０…文字内部色決定モジュール
１４０…バックグラウンド穴埋め処理モジュール
１５０…出力文書生成処理モジュール
１６０１…領域
２１１０…文字抽出モジュール
２１２０…単一文字抽出モジュール
２１３０…文字内部抽出モジュール
２１４０…文字内部色決定モジュール
２１５０…バックグラウンド穴埋め処理モジュール
２１６０…出力文書生成処理モジュール
２５１０…文字抽出モジュール
２５２０…単一文字抽出モジュール
２５３０…文字内部抽出モジュール
２５４０…文字外部色決定モジュール
２５５０…文字内部色決定モジュール
２５６０…文字内部除去処理モジュール
２５７０…バックグラウンド穴埋め処理モジュール
２５８０…出力文書生成処理モジュール

Claims (10)

1. 多値画像を受け付ける画像受付手段と、
   前記画像受付手段によって受け付けられた多値画像から文字部分の画像である第１の画素塊を抽出する第１の画素塊抽出手段と、
   前記第１の画素塊抽出手段によって抽出された第１の画素塊に包含されており、該第１の画素塊に接しており、前記文字内部の画像である第２の画素塊を抽出する第２の画素塊抽出手段と、
   前記第１の画素塊抽出手段によって抽出された第１の画素塊の色を決定する第１の色決定手段と、
   前記第２の画素塊抽出手段によって抽出された第２の画素塊の色を決定する第２の色決定手段と、
   前記第１の画素塊抽出手段によって抽出された第１の画素塊が含まれている２値画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって抽出された第２の画素塊が含まれている２値画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成する文書生成手段
   を具備し、
   前記第１の色決定手段は、前記多値画像から前記第１の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第１の画素塊の色として決定し、
   前記第２の色決定手段は、前記多値画像から前記第２の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第２の画素塊の色として決定する
   ことを特徴とする画像処理装置。
2. 前記第１の画素塊抽出手段によって抽出された第１の画素塊を含む画像を生成する画像生成手段
   をさらに具備し、
   前記第２の画素塊抽出手段は、前記画像生成手段によって生成された画像から前記第２の画素塊を抽出し、該第２の画素塊を含む画像を生成し、
   前記文書生成手段は、前記画像生成手段によって生成された画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって生成された画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像受付手段によって受け付けられた多値画像から前記第１の画素塊と前記第２の画素塊の領域を該多値画像内の画素に基づいて補間する領域補間手段
   をさらに具備し、
   前記文書生成手段は、さらに領域補間手段によって補間された多値画像を用いて文書を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像生成手段が生成する画像は２値画像であり、
   前記文書生成手段は、前記画像生成手段によって生成された２値画像と、前記第２の画素塊抽出手段によって抽出された第２の画素塊を含む２値画像を含めた文書を生成する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記文書生成手段は、前記画像生成手段によって生成された画像と前記第２の画素塊抽出手段によって抽出された第２の画素塊を含む画像をベクトルデータに変換して、該ベクトルデータに基づいて文書を生成する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記画像生成手段によって生成された画像内の前記第１の画素塊を抽出して、該第１の画素塊毎に画像を生成する画素塊画像生成手段
   をさらに具備し、
   前記第２の画素塊抽出手段は、前記画素塊画像生成手段によって生成された第１の画素塊毎の画像から前記第２の画素塊を抽出する
   ことを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記画素塊画像生成手段によって生成された第１の画素塊毎の画像と前記第２の画素塊抽出手段によって抽出された第２の画素塊に基づいて、該第１の画素塊の外側の色を決定する第３の色決定手段と、
   前記第２の色決定手段によって決定された第２の画素塊の色と前記第３の色決定手段によって決定された第１の画素塊の外側の色との比較結果に基づいて、該第２の画素塊を除去する第２の画素塊除去手段
   をさらに具備することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の画素塊抽出手段によって抽出された第１の画素塊又は前記第２の画素塊抽出手段によって抽出された第２の画素塊を膨張する膨張手段
   をさらに具備し、
   前記文書生成手段は、前記膨張手段によって膨張された第１の画素塊又は第２の画素塊に基づいて、文書を生成する
   ことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記文書生成手段は、前記膨張手段が第１の画素塊又は第２の画素塊のうちいずれか一方の画素塊を膨張させた場合は、文書の再生のときに該膨張させた画像塊を他方の画素塊よりも先に描画するように文書を生成する
   ことを特徴とする請求項８に記載の画像処理装置。
10. コンピュータを、
    多値画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた多値画像から文字部分の画像である第１の画素塊を抽出する第１の画素塊抽出手段と、
    前記第１の画素塊抽出手段によって抽出された第１の画素塊に包含されており、該第１の画素塊に接しており、前記文字内部の画像である第２の画素塊を抽出する第２の画素塊抽出手段と、
    前記第１の画素塊抽出手段によって抽出された第１の画素塊の色を決定する第１の色決定手段と、
    前記第２の画素塊抽出手段によって抽出された第２の画素塊の色を決定する第２の色決定手段と、
    前記第１の画素塊抽出手段によって抽出された第１の画素塊が含まれている２値画像と前記第１の色決定手段によって決定された第１の画素塊の色と前記第２の画素塊抽出手段によって抽出された第２の画素塊が含まれている２値画像と前記第２の色決定手段によって決定された第２の画素塊の色に基づいて文書を生成する文書生成手段
    として機能させ、
    前記第１の色決定手段は、前記多値画像から前記第１の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第１の画素塊の色として決定し、
    前記第２の色決定手段は、前記多値画像から前記第２の画素塊が配置されている位置の画素を取り出し、該取り出した画素値の平均値を第２の画素塊の色として決定する
    ことを特徴とする画像処理プログラム。

Images