JP5846011B2 - 画像処理装置およびプログラム - Google Patents

Description

本発明は、画像中の互いに種類の異なる領域を特定する画像処理に関する。

従来から、画像中の種々のオブジェクト（例えば、テキスト等）のレイアウトを特定する処理が行われている。例えば、画像を２値化し、２値画像から白矩形系列を抽出し、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分離する方法が提案されている（特許文献１）。

特開２００６−０８５６６５号公報

画像の内から分離（抽出）された領域毎に、領域内のオブジェクトの種類（例えば、テキスト、写真、描画等）を判定することには、オブジェクトの種類に応じた画像処理を行うことができる等の種々の利点がある。ところが、画像は、種々のオブジェクトを表し得るので、画像からの領域の抽出に関連して、種々の不具合が生じる場合があった。例えば、１つのオブジェクトを表す領域が２つに分離する場合があった。

本発明の主な利点は、領域内のオブジェクトの種類の判定に、適切な領域を利用することができる技術を提供することである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］
対象画像データによって表される対象画像の内から、エッジ強度の程度を表す特徴値が所定の基準以上である領域である不均一領域と、前記特徴値が前記基準未満である領域である均一領域と、を抽出する抽出部と、
前記抽出された不均一領域の１つである第１不均一領域と、前記抽出された均一領域の１つである第１均一領域であって、前記第１不均一領域によって囲まれ、かつ、内部に不均一領域を含まない前記第１均一領域と、を特定する特定部と、
前記第１均一領域と前記第１不均一領域とを結合することによって、前記第１不均一領域と前記第１均一領域とを含む領域を、第２不均一領域として生成する第１生成部と、
前記第２不均一領域を含む不均一領域毎に、前記不均一領域に含まれるオブジェクトの種類を判定する種類判定部と、
を備える画像処理装置。

この構成によれば、不均一領域に含まれるオブジェクト（テキスト、写真、描画等のオブジェクト）が均一領域を含む場合に、その均一領域を、不均一領域の一部として扱うことができるので、不均一領域内のオブジェクトの種類の判定に、適切な領域を利用することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

計算機２００の構成を示すブロック図である。 画像処理のフローチャートである。 画像処理のフローチャートである。 画像処理の全体の流れを示す概略図である。 抽出部１２０による処理の概略図である。 エッジ強度の算出式を示す説明図である。 隣接条件に基づく包含関係の特定の概略図である。 画素位置条件に基づく包含関係特定処理のフローチャートである。 画素位置条件に基づく特定処理の概略図である。 包含関係の変化の例を示す概略図である。 領域統合の例を示す概略図である。 非ベタ領域の処理例を示す概略図である。 種類判定の条件を示すテーブルである。 分布幅Ｗと色数Ｃとの説明図である。

Ａ．実施例：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、本発明の一実施例としての計算機２００の構成を示すブロック図である。計算機２００は、例えば、パーソナルコンピュータであり、ＣＰＵ２１０と、ＤＲＡＭ等を含む揮発性記憶装置２４０と、フラッシュメモリやハードディスクドライブ等を含む不揮発性記憶装置２９０と、タッチパネルやキーボード等の操作部２７０と、外部装置と通信を行うためのインタフェースである通信部２８０と、を備えている。

計算機２００は、通信部２８０を介して、外部装置（ここでは、スキャナ３００と複合機４００）に、通信可能に接続されている。スキャナ３００は、光学的に対象物（例えば、紙の文書）を読み取ることによってスキャンデータを取得する画像読取装置である。複合機４００は、光学的に対象物を読み取ることによってスキャンデータを取得する画像読取部を備えている。

揮発性記憶装置２４０には、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２４１が設けられている。不揮発性記憶装置２９０は、ドライバプログラム２９１を格納している。

ＣＰＵ２１０は、ドライバプログラム２９１を実行することにより、スキャナドライバ１００として機能する。スキャナドライバ１００は、画像データ取得部１１０と、抽出部１２０と、特定部１３０と、第１生成部１４０と、第２生成部１５０と、領域判定部１６０と、種類判定部１７０と、画像調整部１８０と、を含んでいる。後述するように、スキャナドライバ１００は、対象画像データとしてのスキャンデータを利用して、画像処理を実行する。画像処理の結果、対象画像データによって表される対象画像は、複数の領域に分離され、領域毎に領域内のオブジェクトの種類（属性とも呼ぶ）が判定される。

図２と図３とは、画像処理のフローチャートである。図３は、図２の続きの処理を示している。ステップＳ１００では、画像データ取得部１１０（図１）は、通信部２８０を介して、スキャンデータを、対象画像データとして、取得する。具体的には、画像データ取得部１１０は、スキャナ３００または複合機４００の画像読取部を制御して、スキャンデータを取得する。スキャンデータは、例えば、紙の文書の読み取り結果を表している。また、スキャンデータは、複数の画素毎の色を表すビットマップデータである。

図４は、画像処理の全体の流れを示す概略図である。図４（Ａ）、（Ｂ）、（Ｄ）、（Ｆ）、（Ｇ）に示す画像ＴＩ、ＬＩ１、ＬＩ２、ＬＩ３、ＲＩは、画像処理の後述する５つの段階における処理結果の例を示している。画像処理は、図４（Ａ）〜図４（Ｇ）の順に、進行する。図４（Ａ）の対象画像ＴＩは、スキャンデータによって表される画像の一例である。対象画像ＴＩでは、図示しない複数の画素が、第一方向Ｄ１と、第一方向Ｄ１と直交する第二方向Ｄ２と、に沿って、マトリクス状に配置されている。１つの画素の画素データは、例えば、赤Ｒと緑Ｇと青Ｂとの３つの色成分の階調値（例えば、２５６階調）を表している。

図４（Ａ）の例では、対象画像ＴＩは、背景画像Ｂｇ１と、描画画像Ｏｂ１と、写真画像Ｏｂ２と、文字画像Ｏｂ３と、を表している。ここで、文字画像は、１以上の文字を表す画像である。写真画像は、デジタルカメラによる撮影や動画から静止画を抜き出す等によって得られた画像である。描画画像は、イラスト、表、グラフ、線図、ベクトルグラフィックス、模様等の、描画によって表された画像である。以下、文字画像を、文字オブジェクトとも呼び、写真画像を、写真オブジェクトとも呼び、描画画像を、描画オブジェクトとも呼ぶ。また、文字画像と写真画像と描画画像とを総称して、オブジェクトとも呼ぶ。

対象画像ＴＩ内のオブジェクトＯｂ１〜Ｏｂ３は、スキャンデータを生成するためのスキャン対象（例えば、紙の文書や原稿等）に記録されていたものである。図４（Ａ）の例では、第１オブジェクトＯｂ１は、枠画像Ｏｂ１Ｆと、枠画像Ｏｂ１Ｆに囲まれた棒グラフと、を表している。枠画像Ｏｂ１Ｆの内部には、背景画像Ｂｇ１と同じ色の背景部分Ｏｂ１Ｂと、棒グラフを表す部分と、が配置されている。第２オブジェクトＯｂ２は、写真を表している。第３オブジェクトＯｂ３は、３つの文字（「Ａ」、「Ｂ」、「Ｃ」）を含む文字列を表している。これらのオブジェクトＯｂ１〜Ｏｂ３は、背景画像Ｂｇ１上に配置されている。

図２のステップＳ１０５〜Ｓ１１５では、抽出部１２０（図１）は、対象画像ＴＩを複数の領域に分離する。具体的には、ステップＳ１０５で、抽出部１２０は、対象画像ＴＩ（スキャンデータ）を解析することによって、エッジ画像データを生成する。図５は、抽出部１２０による処理の概略図である。図５（Ａ）は、対象画像ＴＩを示し、図５（Ｂ）は、エッジ画像データの特徴の概略を表すエッジ画像ＥＩを示している。

エッジ画像ＥＩは、対象画像ＴＩ内の各画素位置におけるエッジ強度を表している。エッジ強度は、画像内の位置の変化（隣り合う複数の画素）に対する階調値の変化の大きさを表している。図６は、本実施例におけるエッジ強度の算出式を示している。本実施例では、抽出部１２０は、いわゆるソーベルオペレータ（Sobel operator）を用いて、赤Ｒと緑Ｇと青Ｂとの３つの色成分毎に、エッジ強度Ｓｅを算出する。

図６中の階調値Ｐ（ｘ，ｙ）は、対象画像ＴＩ内の特定の画素位置（ｘ，ｙ）の階調値を表している。第一方向位置ｘは、第一方向Ｄ１の画素位置を示し、第二方向位置ｙは、第二方向Ｄ２の画素位置を示している。図示するように、対象画像ＴＩ内の画素位置（ｘ，ｙ）におけるエッジ強度Ｓｅ（ｘ，ｙ）は、その画素位置（ｘ，ｙ）を中心とし隣り合う３行３列の９つの画素を用いて算出される。図６の算出式の第１項および第２項は、９つの位置の画素の階調値に、対応する係数をそれぞれ乗じた値の和の絶対値である。第１項は、第一方向Ｄ１の階調値の変化の大きさを示し、第２項は、第二方向Ｄ２の階調値の変化の大きさを示している。

図５（Ｂ）のエッジ画像ＥＩは、各画素位置における、赤Ｒのエッジ強度と緑Ｇのエッジ強度と青Ｂのエッジ強度とを平均化して得られるエッジ強度（参考エッジ強度と呼ぶ）を表している。図中では、参考エッジ強度が小さい画素が白で示され、参考エッジ強度が大きい画素が黒で示されている。エッジ画像ＥＩは、対象画像ＴＩのオブジェクトＯｂ１〜Ｏｂ３によって構成されるエッジＥｇＡ１〜ＥｇＡ３を、表している。なお、エッジ画像ＥＩ（参考エッジ強度）は、説明の便宜上、示されており、画像処理には要しない。

図２のステップＳ１０５で、エッジ画像データを生成した後、ステップＳ１１０、Ｓ１１５では、抽出部１２０（図１）は、複数の画素を含む第１ブロックＢＬ毎に、均一領域（ベタ領域とも呼ぶ）と不均一領域（非ベタ領域とも呼ぶ）とを特定する。図５（Ｂ）に示すように、第１ブロックＢＬは、エッジ画像ＥＩ（すなわち、対象画像ＴＩ）上にマトリクス状に配置されている。１つの第１ブロックＢＬは、例えば、ＢＬｎ行×ＢＬｎ列（ＢＬｎは、２以上の整数）の画素ＰＸのブロックである。ＢＬｎの値としては、例えば、１０〜５０の範囲内の値を採用可能である。

ベタ領域とは、領域が有するエッジ強度が所定の基準未満の領域であり、非ベタ領域とは、領域が有するエッジ強度が所定の基準以上の領域である。抽出部１２０は、ステップＳ１１０で、第１ブロックＢＬ毎に、平均エッジ強度（ＥＲａｖｅ、ＥＧａｖｅ、ＥＢａｖｅ）を算出する。平均エッジ強度（ＥＲａｖｅ、ＥＧａｖｅ、ＥＢａｖｅ）は、赤Ｒと緑Ｇと青Ｂとの３つの色成分毎に、算出される。抽出部１２０は、処理対象の第１ブロックＢＬの平均エッジ強度と所定の基準とを比較して、処理対象の第１ブロックＢＬを、ベタブロックおよび非ベタブロックのいずれかに分類する。ベタブロックは、平均エッジ強度が所定の基準より小さいブロックである。非ベタブロックは、平均エッジ強度が所定の基準以上であるブロックである。本実施例では、抽出部１２０は、平均エッジ強度（ＥＲａｖｅ、ＥＧａｖｅ、ＥＢａｖｅ）を、色成分ごとに定められた基準値（ＥＴｒ、ＥＴｇ、ＥＴｂ）と比較する。この結果、抽出部１２０は、ＥＲａｖｅ＜ＥＴｒ、かつ、ＥＧａｖｅ＜ＥＴｇ、かつ、ＥＢａｖｅ＜ＥＴｂが成立する場合には、処理対象の第１ブロックＢＬをベタブロックに分類する。ＥＲａｖｅ≧ＥＴｒ、および、ＥＧａｖｅ≧ＥＴｇ、および、ＥＢａｖｅ≧ＥＴｂのうちの少なくとも一つが成立する場合には、抽出部１２０は、処理対象の第１ブロックＢＬを非ベタブロックに分類する。

図５（Ｃ）の画像ＳＩは、分類の結果を示している。ハッチングが付された第１ブロックＢＬが、非ベタブロックであり、ハッチングのない第１ブロックＢＬが、ベタブロックである。図示するように、連続する（隣り合う）複数の非ベタブロックで構成される３つの領域ＮＡ１〜ＮＡ３が、それぞれ形成されている。これらの領域ＮＡ１〜ＮＡ３の間は、ベタブロックによって隔てられている。第１領域ＮＡ１は、図５（Ａ）の第１オブジェクトＯｂ１に対応する。図示するように、第１領域ＮＡ１の内部には、連続する（隣り合う）複数のベタブロックで構成される２つの領域ＳＡ１、ＳＡ２が形成されている。第１領域ＳＡ１は、枠画像Ｏｂ１Ｆの内部の背景部分Ｏｂ１Ｂ（図５（Ａ））に対応している。第２領域ＳＡ２は、棒グラフの１つの棒Ｏｂ１Ｓ（図５（Ａ））に対応している。棒Ｏｂ１Ｓは、背景画像Ｂｇ１とは色が異なる、おおよそ均一な色の領域である。残りの２つの領域ＮＡ２、ＮＡ３は、２つのオブジェクトＯｂ２、Ｏｂ３に、それぞれ対応する。他のベタブロックは、背景画像Ｂｇ１に対応する。このように、一般的には、非ベタブロックは、各画素の階調値が一様ではないオブジェクトを表し、ベタブロックは、背景、または、各画素の階調値がおおよそ一様なオブジェクトを表している。各画素の階調値がおおよそ一様なオブジェクトは、背景の一種であり得る。

図２のステップＳ１１０で、ベタブロックと非ベタブロックとを特定した後、ステップＳ１１５では、抽出部１２０（図１）は、対象画像ＴＩにおけるベタ領域と非ベタ領域との特定（ラベリング）を行う。具体的には、抽出部１２０は、連続する１以上の非ベタブロックで構成される連続な１つの領域に対応する領域を、１つの非ベタ領域として特定し、連続する１以上のベタブロックで構成される連続な１つの領域に対応する領域を、１つのベタ領域として特定する。このように、連続する１以上の非ベタブロックは、１つの非ベタ領域に組み込まれるので、非ベタ領域は、通常は、ベタ領域に囲まれている。

図５（Ｄ）の第１ラベル画像ＬＩ１は、領域の特定結果を示している。図５（Ｃ）の領域ＮＡ１〜ＮＡ３に対応して、３つの非ベタ領域Ｌ１０１、Ｌ１０４、Ｌ１０５が、特定されている。また、第１０１領域Ｌ１０１内には、２つのベタ領域Ｌ１０２、Ｌ１０３が、特定されている。残りの領域も、ベタ領域Ｌ１００である。抽出部１２０（図１）は、領域Ｌ１００〜Ｌ１０５に、領域を識別するラベル（例えば、０〜５）を割り当てる。例えば、抽出部１２０は、対象画像ＴＩの各画素に、どの領域に含まれるのかを表すラベル（識別子）を割り当てる。なお、第１ラベル画像ＬＩ１は、図４（Ｂ）の第１ラベル画像ＬＩ１と同じである。

以上のように、抽出部１２０は、対象画像ＴＩから、ベタ領域と非ベタ領域とを抽出する。なお、領域に割り当てられた番号（例えば、「第１０１領域Ｌ１０１」の番号「１０１」）は、単に複数の領域を区別するための番号に過ぎず、説明の便宜上、領域の総数とは無関係に割り当てられた番号である。後述する他の領域の番号も、同様に、説明の便宜上、割り当てられた番号であり、領域の総数とは無関係に割り当てられている。

図２のステップＳ１１５で、対象画像ＴＩにおけるベタ領域と非ベタ領域との特定（ラベリング）を行った後の、ステップＳ１２０〜Ｓ１４５では、特定部１３０（図１）は、非ベタ領域と、その非ベタ領域に囲まれたベタ領域と、の組み合わせを、特定する。１つの領域が全周に亘って他の領域に囲まれている場合には、当該他の領域が当該１つの領域を包含している、ということができる。特定部１３０は、ステップＳ１２０で、隣接条件に基づいて包含関係を特定し、続くステップＳ１２５〜Ｓ１４５では、さらに画素位置条件（座標条件とも呼ぶ）に基づいて包含関係を特定する（包含関係を表す包含関係データを生成する）。ステップＳ１５０では、第１生成部１４０は、非ベタ領域がベタ領域を包含する場合に、当該ベタ領域を、当該非ベタ領域に、統合する。このような統合を行う理由については、後述する。

図７は、隣接条件に基づく包含関係の特定（ステップＳ１２０）の概略図である。図中には、第１ラベル画像ＬＩ１が示されている。第１ラベル画像ＬＩ１内には、抽出部（図１）によって抽出された５つの領域Ｌ１００〜Ｌ１０５が、示されている（オブジェクトの図示は省略されている）。特定部１３０は、第１ラベル画像ＬＩ１の複数の画素を、１ラインずつ順番に走査することによって、領域の切り替わりを検出する。本実施例では、特定部１３０は、第一方向Ｄ１に沿って延びる画素ライン（画素行とも呼ぶ）毎に、走査を行う。具体的には、特定部１３０は、第一方向Ｄ１に沿って延びる１本の画素ライン（画素行）の複数の画素を、左方向の端から右方向の端まで、第一方向Ｄ１に沿って１画素ずつ順番に走査する。ここで、図７（Ａ）おける左方向は、第一方向Ｄ１の反対方向を意味し、右方向は、第一方向Ｄ１を意味している。また、特定部１３０は、第二方向Ｄ２に沿って並ぶ複数の画素ライン（画素行）を、上方向の端から下方向の端まで、第二方向Ｄ２に沿って１ラインずつ順番に走査する。ここで、図７（Ａ）おける上方向は、第二方向Ｄ２の反対方向を意味し、下方向は、第二方向Ｄ２を意味している。上述の上下左右の方向は、後述する説明においても、同じである。

特定部１３０は、１本の画素ライン上において、走査順がｎ番目（ｎは１以上の整数）である画素のラベル（領域の識別子）と、走査順がｎ＋１番目である画素のラベルとを比較する。ｎ番目の画素の識別子（第ｎ識別子と呼ぶ）が、ｎ＋１番目の画素の識別子（第ｎ＋１識別子と呼ぶ）と異なる場合には、第ｎ識別子の領域が、第ｎ＋１識別子の領域を、包含している可能性がある。例えば、図７（Ａ）の第１走査位置ＳＰ１においては、第ｎ識別子が、第１００領域Ｌ１００を示し、第ｎ＋１識別子が、第１０１領域Ｌ１０１を示している。図示するように、第１００領域Ｌ１００は、第１０１領域Ｌ１０１を、包含している。

特定部１３０は、第ｎ識別子と第ｎ＋１識別子との間の切り替わりが検出されることが、初めてである場合に、第ｎ識別子の領域が、第ｎ＋１識別子の領域を、包含していると、特定する（以下、包含関係を特定するためのこの条件を、隣接条件と呼ぶ）。１本の画素ライン上では、走査が、対象画像ＴＩの左端から右端へ、進行する。従って、第ｎ識別子と第ｎ＋１識別子との間の切り替わりが初めて検出された場合には、通常は、その切り替わりが検出された走査位置は、第ｎ識別子の領域に包含される第ｎ＋１識別子の領域の左端を示している。例えば、第１走査位置ＳＰ１は、第１００領域Ｌ１００に包含される第１０１領域Ｌ１０１の左端を示している。

図中には、２つの領域の間の切り替わりが最初に検出される他の走査位置ＳＰ２〜ＳＰ５も示されている。これらの走査位置ＳＰ２〜ＳＰ５は、以下の切り替わりを示している。
ａ）第２走査位置ＳＰ２：第１０１領域Ｌ１０１から第１０２領域Ｌ１０２への切り替わり
ｂ）第３走査位置ＳＰ３：第１０１領域Ｌ１０１から第１０３領域Ｌ１０３への切り替わり
ｃ）第４走査位置ＳＰ４：第１０４領域Ｌ１０４から第１００領域Ｌ１００への切り替わり
ｄ）第５走査位置ＳＰ５：第１００領域Ｌ１００から第１０５領域Ｌ１０５への切り替わり

特定部１３０（図１）は、上記の走査位置ＳＰ１〜ＳＰ５に従って、包含関係を特定する。図７（Ｂ）は、特定される包含関係を示している。図中には、複数の領域Ｌ１００〜Ｌ１０５と、２つの領域の間をつなぐ矢印と、が示されている。１つの矢印は、２つの領域の間の包含関係を表している。矢印は、包含される領域から、包含する領域へと、向かっている。矢印に付された符号は、その包含関係の特定に利用された走査位置の符号と同じである。例えば、図７（Ｂ）の例では、第１走査位置ＳＰ１に基づいて、第１００領域Ｌ１００が第１０１領域Ｌ１０１を包含するという包含関係が特定され、そして、第５走査位置ＳＰ５に基づいて、第１００領域Ｌ１００が第１０５領域Ｌ１０５を包含するという包含関係が特定されている。なお、図４（Ｃ）の包含関係は、図７（Ｂ）の包含関係と同じである。

なお、隣接条件のみを利用する場合には、特定部１３０が、誤った包含関係を特定する場合がある。例えば、図７（Ａ）の例では、第１０４領域Ｌ１０４は、対象画像ＴＩの左端の一部を形成し、第１００領域Ｌ１００は、対象画像ＴＩの端の残りの部分を形成している。従って、２つの領域Ｌ１００、Ｌ１０４の間には、包含関係が存在しない（一方が他方を包含するという関係が成立しない）。ところが、特定部１３０は、図７（Ａ）の第４走査位置ＳＰ４に基づいて、第１０４領域Ｌ１０４が第１００領域Ｌ１００を包含する、と特定している（図７（Ｂ））。一般には、対象画像ＴＩの端を形成する複数の領域が抽出された場合に、特定部１３０は、誤った包含関係を特定する可能性がある。このような誤特定を解消するために、特定部１３０（図１）は、後述するステップＳ１４０で、画素位置条件に基づいて、包含関係を再確認する。

図２のステップＳ１２０に続くステップＳ１２５〜Ｓ１４５では、特定部１３０（図１）は、隣接条件に基づいてベタ領域が非ベタ領域に包含されると特定された場合に、画素位置条件に基づいて、その包含関係が正しいか否かを判定する。ステップＳ１２５では、特定部１３０は、１つの未処理のベタ領域を、対象ベタ領域ＳＡａとして、選択する（以下、対象ベタ領域ＳＡａを、単に「ベタ領域ＳＡａ」とも呼ぶ）。

なお、本実施例では、特定部１３０は、ステップＳ１２５では、非ベタ領域を包含するベタ領域を、対象ベタ領域ＳＡａとして選択せずに、内部に非ベタ領域を包含しないベタ領域を、対象ベタ領域ＳＡａとして選択する。この理由については、後述する。

次いで、ステップＳ１３０では、特定部１３０は、隣接条件の下で、ベタ領域ＳＡａが、非ベタ領域に包含されているか否かを判定する。特定部１３０は、上述のステップＳ１２０で特定された包含関係に基づいて、この判定を、行う。ベタ領域ＳＡａが非ベタ領域に包含されていない場合には（Ｓ１３０：Ｎｏ）、特定部１３０は、ステップＳ１５５に、移行する。

隣接条件の下でベタ領域ＳＡａが非ベタ領域に包含されていると特定された場合には（Ｓ１３０：Ｙｅｓ）、次のステップＳ１３５で、特定部１３０（図１）は、ベタ領域ＳＡａを包含する非ベタ領域を、対象非ベタ領域ＮＡａとして、特定する（以下、対象非ベタ領域ＮＡａを、単に「非ベタ領域ＮＡａ」とも呼ぶ）。このとき、特定部１３０は、上述のステップＳ１２０で特定された包含関係に基づいて、非ベタ領域ＮＡａを特定する。次のステップＳ１４０では、特定部１３０は、ベタ領域ＳＡａと非ベタ領域ＮＡａとの間の正しい包含関係を、画素位置条件に基づいて、特定する。

図８は、画素位置条件に基づく包含関係特定処理のフローチャートである。図９は、画素位置条件に基づく特定処理の概略図である。図９（Ａ）は、ベタ領域ＳＡａが、第１０２領域Ｌ１０２（図５（Ｄ））であり、非ベタ領域ＮＡａが、第１０１領域Ｌ１０１である場合を示している。図９（Ｂ）は、ベタ領域ＳＡａが、第１００領域Ｌ１００であり、非ベタ領域ＮＡａが、第１０４領域Ｌ１０４である場合を示している。

図８の最初のステップＳ２００では、特定部１３０（図１）は、ベタ領域ＳＡａに外接する最小矩形ＳＡａＲ（ベタ矩形ＳＡａＲと呼ぶ）を特定する。図９（Ａ）、図９（Ｂ）中には、ベタ領域ＳＡａのベタ矩形ＳＡａＲが示されている。ここで、「領域に外接する最小矩形」は、以下のような矩形である。すなわち、矩形は、第一方向Ｄ１と平行な２本の辺と、第二方向Ｄ２と平行な２本の辺と、で構成されている。そして、矩形の上辺が、領域の上端と接し、矩形の下辺が、領域の下端と接し、矩形の左辺が、領域の左端と接し、矩形の右辺が、領域の右端と接している。

図９（Ａ）の例では、ベタ領域ＳＡａ（第１０２領域Ｌ１０２）の輪郭が矩形ではないので、ベタ矩形ＳＡａＲの輪郭の一部（ここでは、右下部分）は、ベタ領域ＳＡａ（第１０２領域Ｌ１０２）の輪郭の外に配置されている。図９（Ｂ）の例では、ベタ領域ＳＡａ（第１００領域Ｌ１００）の輪郭が矩形であるので、ベタ矩形ＳＡａＲの輪郭は、ベタ領域ＳＡａ（第１００領域Ｌ１００）の輪郭と一致する。

図８のステップＳ２００では、特定部１３０（図１）は、さらに、ベタ矩形ＳＡａＲの対角を形成する２つの画素（隅の画素）の位置を特定する。本実施例では、特定部１３０は、左上隅の画素Ｐｓ０の位置（ｓｘ０，ｓｙ０）と、右下隅の画素Ｐｓ１の位置（ｓｘ１，ｓｙ１）と、を特定する。位置ｓｘ０、ｓｘ１は、第一方向Ｄ１方向の画素位置を示し、位置ｓｙ０、ｓｙ１は、第二方向Ｄ２の画素位置を示している。

次のステップＳ２０５では、特定部１３０は、非ベタ領域ＮＡａに外接する最小矩形ＮＡａＲ（非ベタ矩形ＮＡａＲと呼ぶ）を特定する。そして、特定部１３０は、さらに、非ベタ矩形ＮＡａＲの、左上隅の画素Ｐｎ０の位置（ｎｘ０，ｎｙ０）と、右下隅の画素Ｐｎ１の位置（ｎｘ１，ｎｙ１）と、を特定する。位置ｎｘ０、ｎｘ１は、第一方向Ｄ１方向の画素位置を示し、位置ｎｙ０、ｎｙ１は、第二方向Ｄ２の画素位置を示している。

次のステップＳ２１０では、特定部１３０は、以下の４つの条件Ｂ１〜Ｂ４が満たされるか否かを判定する。なお、４つの条件Ｂ１〜Ｂ４の全体が、画素位置条件の例である。

（第１条件Ｂ１）ｓｘ０＞ｎｘ０
（第２条件Ｂ２）ｓｙ０＞ｎｙ０
（第３条件Ｂ３）ｓｘ１＜ｎｘ１
（第４条件Ｂ４）ｓｙ１＜ｎｙ１

ここで、図面中（例えば、図９（Ａ）中）の右方向は、第一方向Ｄ１であるので、図面中の右方向は、第一方向Ｄ１の画素位置が大きくなる方向である。同様に、図面中（例えば、図９（Ａ）中）の下方向は、第二方向Ｄ２であるので、図面中の下方向は、第二方向Ｄ２の画素位置が大きくなる方向である。従って、条件Ｂ１、Ｂ２は、ベタ矩形ＳＡａＲの左上の画素Ｐｓ０が、非ベタ矩形ＮＡａＲの左上の画素Ｐｎ０よりも、右下に位置していることを示している。条件Ｂ３、Ｂ４は、ベタ矩形ＳＡａＲの右下の画素Ｐｓ１が、非ベタ矩形ＮＡａＲの右下の画素Ｐｎ１よりも、左上に位置していることを示している。

図９（Ａ）に示すように、実際に、非ベタ領域ＮＡａが、ベタ領域ＳＡａを包含する場合には、４つの条件Ｂ１〜Ｂ４の全てが満たされる。一方、図９（Ｂ）に示すように、実際には、非ベタ領域ＮＡａが、ベタ領域ＳＡａを包含していない場合には、４つの条件Ｂ１〜Ｂ４の少なくとも１つが満たされない。図９（Ｂ）の例では、４つの条件Ｂ１〜Ｂ４の全てが、満たされていない。

４つの条件Ｂ１〜Ｂ４の全てが満たされる場合には（図８：Ｓ２１０：Ｙｅｓ）、ステップＳ２１５で、特定部１３０（図１）は、非ベタ領域ＮＡａがベタ領域ＳＡａを包含する、と判定する（第１判定結果）。

４つの条件Ｂ１〜Ｂ４の少なくとも１つが満たされない場合には（図８：Ｓ２１０：Ｎｏ）、ステップＳ２２０で、特定部１３０（図１）は、非ベタ領域ＮＡａがベタ領域ＳＡａを包含していない、と判定する（第２判定結果）。

図８の処理（図２のＳ１４０）が終了後、図２のステップＳ１４５で、特定部１３０（図１）は、最終的な判定を行う。本実施例では、図８の第１判定結果が得られた場合には、特定部１３０は、非ベタ領域ＮＡａがベタ領域ＳＡａを包含する、と判定する（Ｓ１４５：Ｙｅｓ）。例えば、図９（Ａ）のベタ領域ＳＡａと非ベタ領域ＮＡａとの組み合わせに関しては、特定部１３０は、Ｙｅｓと判定する。

図８の第２判定結果が得られた場合には、特定部１３０は、非ベタ領域ＮＡａがベタ領域ＳＡａを包含しない、と判定する（Ｓ１４５：Ｎｏ）。例えば、図９（Ｂ）のベタ領域ＳＡａと非ベタ領域ＮＡａとの組み合わせに関しては、特定部１３０は、Ｎｏと判定する。

このように、本実施例では、非ベタ領域ＮＡａがベタ領域ＳＡａを包含すると最終的に判定されるための条件（包含条件）は、隣接条件（図２：Ｓ１２０、Ｓ１３０）と、画素位置条件（図８：Ｓ２１０）と、の両方が満たされることである。

ステップＳ１４５でＮｏと判定された場合には、特定部１３０は、次のステップＳ１４７で、ベタ領域ＳＡａと非ベタ領域ＮＡａとの包含関係を削除して（包含関係データを更新して）、ステップＳ１５５に移行する。図１０は、包含関係の変化の例を示す概略図である。図１０（Ａ）は、更新前の包含関係を示し（図４（Ｃ）、図７（Ｂ）と同じ）、図１０（Ｂ）は、更新後の包含関係を示している。図１０（Ｂ）では、第１００領域Ｌ１００と第１０４領域Ｌ１０４との間の包含関係が削除されている。図９（Ｂ）で説明したように、ベタ領域ＳＡａが、第１００領域Ｌ１００であり、非ベタ領域ＮＡａが、第１０４領域Ｌ１０４である場合には、特定部１３０は、ステップＳ１４５で、Ｎｏと判定する。従って、第１００領域Ｌ１００と第１０４領域Ｌ１０４との間の包含関係が削除される。

ステップＳ１４５でＹｅｓと判定された場合には、ステップＳ１５０で、第１生成部１４０（図１）は、ベタ領域ＳＡａを、非ベタ領域ＮＡａに、統合する。そして、第１生成部１４０は、ベタ領域ＳＡａに関する情報を、削除する。例えば、第１生成部１４０は、ベタ領域ＳＡａ内の画素に割り当てられたラベルを、非ベタ領域ＮＡａのラベルに、置換する。また、特定部１３０は、ベタ領域ＳＡａに関連する包含関係を削除する（包含関係データを更新する）。

図１１は、領域統合の例を示す概略図である。図１１（Ａ）は、統合前の３つの領域Ｌ１０１、Ｌ１０２、Ｌ１０３を示している。図１１（Ｂ）は、統合後の領域を示している。図示するように、第１生成部１４０（図１）は、第１０２領域Ｌ１０２を、第１０１領域Ｌ１０１に統合し、第１０３領域Ｌ１０３も、第１０１領域Ｌ１０１に統合する。第１生成部１４０は、３つの領域Ｌ１０１、Ｌ１０２、Ｌ１０３を統合することによって、３つの領域Ｌ１０１、Ｌ１０２、Ｌ１０３を含む領域を、１つの領域Ｌ２０１（非ベタ領域）として、生成する。図５（Ａ）〜図５（Ｄ）に示すように、３つの領域Ｌ１０１、Ｌ１０２、Ｌ１０３は、第１オブジェクトＯｂ１を表す領域から、抽出されている。第１生成部１４０（図１）は、１つのオブジェクトＯｂ１から抽出された複数の領域を、統合することができる。

図２のステップＳ１５０が終了後、処理は、ステップＳ１５５に移行する。ステップＳ１５５では、特定部１３０（図１）は、全てのベタ領域に対して、ステップＳ１２５〜Ｓ１５０の処理が終了したか否かを判定する。未処理のベタ領域が残っている場合には（Ｓ１５５：Ｎｏ）、特定部１３０は、ステップＳ１２５に戻る。全てのベタ領域の処理が終了した場合には（Ｓ１５５：Ｙｅｓ）、処理は、図３のステップＳ１５７に移行する。

図４（Ｄ）の第２ラベル画像ＬＩ２は、図２のステップＳ１５５でＹｅｓと判定された段階で特定されている領域を示している。図１１で説明したように、図４（Ｂ）の３つの領域Ｌ１０１、Ｌ１０２、Ｌ１０３が統合されて、１つの領域Ｌ２０１（非ベタ領域）が生成されている。また、図４（Ｂ）の３つの領域Ｌ１００、Ｌ１０４、Ｌ１０５は、他の領域と統合されずに、３つの領域Ｌ２００、Ｌ２０２、Ｌ２０３として、それぞれ維持されている。以下、複数の領域が統合されて生成された領域を「統合領域」とも呼ぶ。

図４（Ｅ）の包含関係は、図２のステップＳ１５５でＹｅｓと判定された段階で特定されている領域の包含関係を示している。図１０（Ｂ）で説明したように、特定部１３０（図１）は、第２００領域Ｌ２００（元の第１００領域Ｌ１００）と第２０２領域Ｌ２０２（元の第１０４領域Ｌ１０４）との間の包含関係を、削除する（図２：Ｓ１４７）。また、図２のステップＳ１５０、図１１（Ｂ）で説明したように、特定部１３０は、統合されたベタ領域Ｌ１０２、Ｌ１０３に関する包含関係を、削除する。この結果、図４（Ｅ）に示すように、第２００領域Ｌ２００が、２つの領域Ｌ２０１、Ｌ２０３を包含する、という包含関係が、特定される。

図３のステップＳ１５７〜Ｓ１７２では、領域判定部１６０（図１）は、図２の処理によって分離された非ベタ領域毎に、非ベタ領域から背景部分を分離する処理を行う。具体的には、ステップＳ１５７で、領域判定部１６０は、１つの未処理の非ベタ領域を、処理対象領域Ｈ（非ベタ領域Ｈとも呼ぶ）として選択する。次いで、ステップＳ１６０では、領域判定部１６０は、処理対象領域Ｈの周囲を囲むベタ領域ＳＡｔの階調値を利用して、処理対象領域Ｈを二値化するための閾値を決定する。

図１２（Ａ）は、非ベタ領域Ｌ２０１（第２０１領域Ｌ２０１）の処理例を示す概略図であり、図１２（Ｂ）は、非ベタ領域Ｌ２０３（第２０３領域Ｌ２０３）の処理例を示す概略図である。図１２（Ａ）には、対象画像ＴＩのうちの第２０１領域Ｌ２０１を含む部分ＴＩａが示され、図１２（Ｂ）には、対象画像ＴＩのうちの第２０３領域Ｌ２０３を含む部分ＴＩｂが示されている。

以下、第２０１領域Ｌ２０１が処理対象領域Ｈである場合について、説明する。領域判定部１６０（図１）は、第２０１領域Ｌ２０１の周囲を囲むベタ領域ＳＡｔを特定する（ここでは、第２００領域Ｌ２００）。領域判定部１６０は、図５（Ｄ）の第２ラベル画像ＬＩ２を解析することによって、第２０１領域Ｌ２０１の周囲を囲むベタ領域ＳＡｔを特定することができる。この代わりに、領域判定部１６０は、図４（Ｅ）の包含関係（包含関係データ）を参照することによって、ベタ領域ＳＡｔを特定してもよい。領域判定部１６０は、特定されたベタ領域ＳＡｔ（Ｌ２００）を代表する色ＣＬｏ１を算出する（以下、第１代表色ＣＬｏ１と呼ぶ）。第１代表色ＣＬｏ１のＲＧＢ毎の階調値Ｒｒ、Ｇｒ、Ｂｒは、ベタ領域ＳＡｔ（Ｌ２００）の全ての画素についての、ＲＧＢ毎の平均階調値である。

通常は、オブジェクトは背景上に配置される。従って、第２０１領域Ｌ２０１の周囲を囲むベタ領域Ｌ２００は、第２０１領域Ｌ２０１内のオブジェクトの背景を表している。すなわち、ベタ領域Ｌ２００の代表色ＣＬｏ１は、第２０１領域Ｌ２０１の背景の色と、同じである。

次に、領域判定部１６０は、第１代表色ＣＬｏ１を利用して、第１閾値群Ｃｔｈｏ１を決定する。本実施例では、第１閾値群Ｃｔｈｏ１は、色成分毎（ＲＧＢ毎）の上限値と下限値とを含んでいる。具体的には、以下の６つの閾値Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２が、第１閾値群Ｃｔｈｏ１として決定される。
赤Ｒの下限値Ｒ１＝Ｒｒ−ｄＶ、赤Ｒの上限値Ｒ２＝Ｒｒ＋ｄＶ
緑Ｇの下限値Ｇ１＝Ｇｒ−ｄＶ、緑Ｇの上限値Ｇ２＝Ｇｒ＋ｄＶ
青Ｂの下限値Ｂ１＝Ｂｒ−ｄＶ、青Ｂの上限値Ｂ２＝Ｂｒ＋ｄＶ
ここで、値ｄＶは、予め決められた値である。これらの値Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２は、第１代表色ＣＬｏ１に近い色の範囲、すなわち、背景の色に近い色の範囲を、定めている。

図３のステップＳ１６０で、閾値を決定した後、ステップＳ１６５では、領域判定部１６０（図１）は、ステップＳ１６０で決定された閾値を利用して、処理対象領域Ｈを二値化する（二値画像データを生成する）。具体的には、処理対象領域Ｈ内の各画素を、１画素毎に、オブジェクト画素と、非オブジェクト画素とに分類する。二値画像データの画素毎の階調値は、オブジェクト画素を表す値（例えば、「１」）と、非オブジェクト画素を表す値（例えば、「ゼロ」）と、のいずれかに設定される。

領域判定部１６０は、処理対象領域Ｈ内（例えば、第２０１領域Ｌ２０１内）の画素Ｐｘｉの色成分毎（ＲＧＢ毎）の階調値Ｒｉ、Ｇｉ、Ｂｉの全てが、上記の閾値群Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２で定められる色範囲内にある場合に、画素Ｐｘｉを非オブジェクト画素に分類する。換言すれば、階調値Ｒｉ、Ｇｉ、Ｂｉは、以下の３つの条件Ｅ１〜Ｅ３を満たしている場合に、画素Ｐｘｉは、非オブジェクト画素に分類される。

（第１条件Ｅ１）Ｒ１（＝Ｒｒ−ｄＶ）＜Ｒｉ＜Ｒ２（＝Ｒｒ＋ｄＶ）
（第２条件Ｅ２）Ｇ１（＝Ｇｒ−ｄＶ）＜Ｇｉ＜Ｇ２（＝Ｇｒ＋ｄＶ）
（第３条件Ｅ３）Ｂ１（＝Ｂｒ−ｄＶ）＜Ｂｉ＜Ｂ２（＝Ｂｒ＋ｄＶ）

この場合には、画素Ｐｘｉの色は、第１代表色ＣＬｏ１（背景の色）に近いので、画素Ｐｘｉは、背景を表している可能性が高い。

一方、領域判定部１６０は、色成分毎の階調値Ｒｉ、Ｇｉ、Ｂｉの少なくとも１つが、上述の色範囲外にある場合には、画素Ｐｘｉをオブジェクト画素に分類する（３つの条件Ｅ１〜Ｅ３の少なくとも１つが満たされない）。この場合には、画素Ｐｘｉの色は、第１代表色ＣＬｏ１（背景の色）から遠いので、画素Ｐｘｉは、背景とは異なる画像（オブジェクト）を表している可能性が高い。

図１２（Ａ）の第１色分布ＣＤ１は、ＲＧＢ色空間における、第２０１領域Ｌ２０１内の画素の色分布例を示している。第１色分布ＣＤ１には、第１閾値群Ｃｔｈｏ１によって定められる色範囲ＢＡ１（すなわち、条件Ｅ１〜Ｅ３の全てが満たされる範囲）が示されている。この色範囲ＢＡ１は、背景の色に近い色の範囲を示している（以下、第１背景色範囲ＢＡ１とも呼ぶ）。図中の１つの色点ＰＸｃは、１つの画素の色を示している。図示された複数の色点ＰＸｃのうちの第１色点群ＣＧｔ１は、棒グラフを表す画素の色の分布を示し、第２色点群ＣＧｂ１は、棒グラフを表す画素の周りの背景を表す画素の色の分布を示している。第１色点群ＣＧｔ１は、第１背景色範囲ＢＡ１の外に分布しているので、それらの色点に対応する複数の画素は、オブジェクト画素（棒グラフを表す複数の画素）に分類される。第２色点群ＣＧｂ１は、第１背景色範囲ＢＡ１の内に分布しているので、それらの色点に対応する複数の画素は、非オブジェクト画素（背景を表す複数の画素）に分類される。

図示するように、第１色点群ＣＧｔ１は、第１０３領域Ｌ１０３の画素の色を表す色点群Ｃ１０３を含んでいる。第１０３領域Ｌ１０３は、棒グラフの一部分（棒Ｏｂ１Ｓ）を表している。従って、棒Ｏｂ１Ｓを表す画素は、オブジェクト画素に分類される。

一方、第２色点群ＣＧｂ１は、第１０２領域Ｌ１０２の画素の色を表す色点群Ｃ１０２を含んでいる。第１０２領域Ｌ１０２は、棒グラフ内の背景部分を表している。従って、棒グラフ内の背景部分を表す画素（第１０２領域Ｌ１０２の画素を含む）は、非オブジェクト画素に分類される。

図１２（Ａ）中の二値部分画像ＢＩａは、二値画像データにおける第２０１領域Ｌ２０１に対応する部分の一例である。図中のハッチングが付された部分は、オブジェクト画素によって構成される領域を示し、ハッチングの無い部分（白い部分）は、非オブジェクト画素によって構成される領域を示している。図示するように、第２０１領域Ｌ２０１内においては、棒グラフを表す画素が、オブジェクト画素に分類され、他の画素（背景を表す画素）が、非オブジェクト画素に分類されている。

以下、処理対象領域Ｈ内の非オブジェクト画素で表される領域を、非オブジェクト領域ＨＳと呼ぶ。また、処理対象領域Ｈ内のオブジェクト画素で表される領域を、オブジェクト領域ＨＮと呼ぶ。

図３のステップＳ１６５で処理対象領域Ｈが二値化された（二値画像データが生成された）後、ステップＳ１７０では、第２生成部１５０（図１）は、二値画像データを利用して、処理対象領域Ｈ内の非オブジェクト領域ＨＳを、ベタ領域ＳＡｔに統合する。

図１２中の画像ＬＩ３ａは、ステップＳ１７０の処理の結果を示している。第２生成部１５０（図１）は、第２０１領域Ｌ２０１内の非オブジェクト領域ＨＳと、第２０１領域Ｌ２０１を囲むベタ領域ＳＡｔ（Ｌ２００）と、を含む領域を、１つのベタ領域Ｌ３００として、生成する。また、第２生成部１５０は、第２０１領域Ｌ２０１から非オブジェクト領域ＨＳを除いた残りの部分を、１つの非ベタ領域Ｌ３０１として特定する。この結果、非ベタ領域Ｌ２０１の内部の背景を表す部分（例えば、枠画像Ｏｂ１Ｆの内部の背景部分Ｏｂ１Ｂを表す部分Ｌ１０２）を、非ベタ領域Ｌ３０１ではなく、ベタ領域Ｌ３００に組み込むことができる。

図３のステップＳ１７０が終了した後、ステップＳ１７２では、領域判定部１６０（図１）は、全ての非ベタ領域に対して、ステップＳ１５７〜Ｓ１７０の処理が終了したか否かを判定する。未処理の非ベタ領域が残っている場合には（Ｓ１７２：Ｎｏ）、領域判定部１６０は、ステップＳ１５７に戻って、未処理の非ベタ領域に対して、ステップＳ１５７〜Ｓ１７０の処理を、上述の第２０１領域Ｌ２０１の処理と同様に、実行する。全ての非ベタ領域の処理が終了した場合には（Ｓ１７２：Ｙｅｓ）、処理は、ステップＳ１７５に移行する。

例えば、第２０３領域Ｌ２０３については、第２生成部１５０（図１）と領域判定部１６０とは、以下のように、処理を行う。図１２（Ｂ）に示すように、領域判定部１６０は、第２０３領域Ｌ２０３の周囲を囲むベタ領域（ここでは、第２００領域Ｌ２００）の代表色ＣＬｏ２（第２代表色ＣＬｏ２と呼ぶ）を算出し、第２閾値群Ｃｔｈｏ２を決定する。図１２（Ｂ）中の第２色分布ＣＤ２は、第２０３領域Ｌ２０３内の画素の色分布を示している。図中の第２背景色範囲ＢＡ２は、第２閾値群Ｃｔｈｏ２によって定められる色の範囲である。図１２（Ｂ）の例では、ベタ領域ＳＡｔ（Ｌ２００）が、図１２（Ａ）のベタ領域ＳＡｔ（Ｌ２００）と同じであるので、第２背景色範囲ＢＡ２（第２閾値群Ｃｔｈｏ２）は、第１背景色範囲ＢＡ１（第１閾値群Ｃｔｈｏ１）と、同じである。ただし、２つのオブジェクトが、互いに色が異なる背景画像上に配置されている場合には、これら２つのオブジェクトのための２つの背景色範囲は、互いに異なり得る。

図中の第１色点群ＣＧｔ２は、文字を表す画素の色の分布を示し、第２色点群ＣＧｂ２は、文字の周りと文字の内側（例えば、「Ｂ」の文字の内側）との背景を表す画素の色の分布を示している。第１色点群ＣＧｔ２は、背景色範囲ＢＡ２の外に分布しているので、それらの色点に対応する複数の画素は、オブジェクト画素（文字を表す複数の画素）に分類される。第２色点群ＣＧｂ２は、背景色範囲ＢＡ２の内に分布しているので、それらの色点に対応する複数の画素は、非オブジェクト画素（背景を表す複数の画素）に分類される。図１２（Ｂ）の二値部分画像ＢＩｂは、分類結果を示している。処理対象領域Ｈ（Ｌ２０３）は、文字を表す画素の領域ＨＮと、背景を表す画素の領域ＨＳと、に分離されている。そして、第２生成部１５０は、二値部分画像ＢＩｂに示す３つの文字の領域ＨＮに対応して、１つの非ベタ領域Ｌ３０３を生成（特定）する（画像ＬＩ３ｂ参照）。文字の領域ＨＮの周囲と内部とに配置された非オブジェクト領域ＨＳについては、非オブジェクト領域ＨＳとベタ領域Ｌ２００とを含む領域が、１つのベタ領域Ｌ３００として、特定される。

なお、第２０２領域Ｌ２０２（図４（Ｄ））については、領域判定部１６０（図１）は、第２０２領域Ｌ２０２を包含するベタ領域を特定することができないので（図４（Ｅ）参照）、ステップＳ１６０〜Ｓ１７０を、スキップする。この代わりに、領域判定部１６０と第２生成部１５０とは、第２０２領域Ｌ２０２の周囲の一部と接する領域（ここでは、ベタ領域Ｌ２００）を利用することによって、ステップＳ１６０〜Ｓ１７０の処理を実行してもよい。

図４（Ｆ）の第３ラベル画像ＬＩ３は、図３のステップＳ１７２でＹｅｓと判定された段階で特定されている領域を示している。図１２（Ａ）で説明したように、第２０１領域Ｌ２０１（図４（Ｄ））内の背景を表す画素は、ベタ領域Ｌ３００に組み込まれている。また、第２０１領域Ｌ２０１内のグラフを表す画素は、非ベタ領域Ｌ３０１として特定されている。さらに、第２０３領域Ｌ２０３（図４（Ｄ））内の背景を表す画素は、ベタ領域Ｌ３００に組み込まれている。また、第２０３領域Ｌ２０３内の文字を表す画素は、非ベタ領域Ｌ３０３として特定されている。さらに、第２０２領域Ｌ２０２（図４（Ｄ））については、第３０２領域Ｌ３０２として、維持されている。

図３のステップＳ１７２でＹｅｓと判定された後には、ステップＳ１７５、Ｓ１８０で、種類判定部１７０（図１）は、領域毎に、オブジェクトの種類（属性とも呼ぶ）を判定する。

図１３は、種類判定の条件を示すテーブルである。種類判定部１７０は、色の分布幅Ｗと色数Ｃと画素密度Ｓとに応じて種類を識別する。図３のステップＳ１７５では、種類判定部１７０は、対象画像ＴＩから抽出された領域毎に、分布幅Ｗと色数Ｃと画素密度Ｓとを算出する。以下、これらのパラメータＷ、Ｃ、Ｓの全体を、特徴パラメータとも呼ぶ。

図１４は、分布幅Ｗと色数Ｃとの説明図である。図中には、輝度のヒストグラムが示されている。この輝度ヒストグラムは、各領域Ｌ３００〜Ｌ３０３の内の１つの判定対象の領域（以下、対象領域Ｋと呼ぶ）内の画素値から算出される輝度のヒストグラムである。本実施例では、各画素の輝度は、各画素の階調値（赤Ｒと緑Ｇと青Ｂの３つの色成分の階調値）から、算出される。算出式としては、例えば、赤Ｒ、緑Ｇ、青Ｂの階調値から、ＹＣｂＣｒ色空間のＹ成分（輝度成分）を算出する算出式が、利用される。算出される輝度は、０〜２５５の整数で表される。対象領域Ｋが非ベタ領域（オブジェクトを含む領域）である場合には、図３のステップＳ１５７〜Ｓ１７２で説明したように、対象領域Ｋからは、背景を表す部分が除かれている（図３、図１２：対象領域Ｋ＝オブジェクト領域ＨＮ＝非ベタ領域Ｈ−非オブジェクト領域ＨＳ）。従って、輝度ヒストグラムは、オブジェクトを表す画素（背景を表す画素を除く）の輝度分布を表している。

色数Ｃは、度数（画素数）が所定の閾値Ｔｈ以上である輝度の幅の累積値である。このような色数Ｃは、度数が閾値Ｔｈ以上である階級（binとも呼ばれる）の総数に、１つの階級の幅を乗じることによって、算出可能である。例えば、図１４のヒストグラムは、閾値Ｔｈを越える３つのピークＰ１、Ｐ２、Ｐ３を示している。色数Ｃは、第１ピークＰ１の閾値Ｔｈを越える部分の幅Ｃ１と、第２ピークＰ２の閾値Ｔｈを越える部分の幅Ｃ２と、第３ピークＰ３の閾値Ｔｈを越える部分の幅Ｃ３と、の和である。一般的に、文字は少ない色で表現されることが多いので、対象領域Ｋが文字画像を表す場合には、色数Ｃは少なくなる。写真画像は、撮影された被写体の種々の色を表すので、対象領域Ｋが写真画像を表す場合には、色数Ｃが多くなる。描画画像は、文字画像と比べて多くの色で表現されることが多いが、写真画像と比べると、利用される色の数は少ないことが多い。従って、対象領域Ｋが描画画像を表す場合には、色数Ｃは、文字画像の色数Ｃよりも多く、写真画像の色数Ｃよりも少ない傾向がある。

分布幅Ｗは、度数（画素数）が所定の閾値Ｔｈ以上である輝度（階級）の最低値と最高値との間の差（幅）である。色数Ｃの説明と同じ理由により、対象領域Ｋが文字画像を表す場合には、分布幅Ｗは小さくなり、対象領域Ｋが写真画像を表す場合には、分布幅Ｗが大きくなる。そして、対象領域Ｋが描画画像を表す場合には、分布幅Ｗは、文字画像の分布幅Ｗよりも大きく、写真画像の分布幅Ｗよりも小さい傾向がある。

画素密度Ｓは、対象領域Ｋに外接する最小矩形内における対象領域Ｋの画素の密度（単位面積当たりの画素数）である。一般的に、文字は、背景上に、背景とは異なる色の細線で、書かれている。また、図３のステップＳ１５７〜Ｓ１７２、図１２で説明したように、対象領域Ｋが非ベタ領域（オブジェクトを含む領域）である場合には、対象領域Ｋから背景を表す部分が既に除かれている。従って、対象領域Ｋが文字を表す場合には、画素密度Ｓが小さくなる。写真画像では、ほとんどの部分が、背景とは異なる色で表されている。従って、対象領域Ｋが写真画像を表す場合には、画素密度Ｓが大きくなる。描画画像は、文字と同様に、背景上に、背景とは異なる色で表現されている。ただし、文字とは異なり、描画画像は、細線に限らず、太線または塗りつぶされた領域を含み得る。従って、対象領域Ｋが描画画像を表す場合には、画素密度Ｓは、文字画像の画素密度Ｓよりも大きく、撮影画像の画素密度Ｓよりも小さい傾向がある。

図１３の判断条件は、以上の特徴を考慮して、構成されている。具体的には、種類判定部１７０（図１）は、以下の３つの判断結果の組み合わせに対応付けられた種類を選択する。
判断１）分布幅Ｗが、所定の分布幅閾値Ｗｔｈ以上であるか否か
判断２）色数Ｃが、所定の色数閾値Ｃｔｈ以上であるか否か
判断３）画素密度Ｓが、所定の画素密度閾値Ｓｔｈ以上であるか否か
例えば、分布幅Ｗが分布幅閾値Ｗｔｈ未満であり、色数Ｃが色数閾値Ｃｔｈ未満であり、画素密度Ｓが画素密度閾値Ｓｔｈ未満である場合には、種類判定部１７０は、対象領域Ｋの種類が「文字画像」であると判断する。

図３のステップＳ１７５では、種類判定部１７０（図１）は、対象領域Ｋ毎に、図１４のようなヒストグラムを生成し、ヒストグラムを解析することによって、分布幅Ｗと色数Ｃとを算出する。また、種類判定部１７０は、対象領域Ｋを解析することによって、画素密度Ｓを算出する。そして、ステップＳ１８０にて、種類判定部１７０は、算出された分布幅Ｗと色数Ｃと画素密度Ｓとを用いて、対象領域Ｋの種類を判定する。種類判定部１７０は、対象画像ＴＩから抽出された全ての領域毎に、画像の種類を判定する。

図４（Ｇ）の画像ＲＩは、オブジェクトの種類の判定結果例を示している。第３００領域Ｌ３００の種類は「描画」と判定され、第３０１領域Ｌ３０１の種類は「描画」と判定され、第３０２領域Ｌ３０２の種類は「写真」と判定され、第３０３領域Ｌ３０３の種類は「文字」と判定されている。なお、種類判定部１７０は、ベタ領域（例えば、第３００領域Ｌ３００）に関しては、特徴パラメータＷ、Ｃ、Ｓを算出せずに、オブジェクトの種類が「描画」であると判定してもよい。すなわち、種類判定部１７０は、少なくとも非ベタ領域毎に、特徴パラメータＷ、Ｃ、Ｓの算出と、特徴パラメータＷ、Ｃ、Ｓを利用した種類判定と、を行うことが好ましい。また、種類判定部１７０は、ベタ領域（例えば、第３００領域Ｌ３００）に関しては、ベタ領域を構成する画素の階調値（色）が白色を示す値であるとき（例えば、ベタ領域の全ての画素の階調値から色成分毎に算出される平均階調値が、白色を表す所定の階調値範囲内にあるとき）に限り、ステップＳ１７５及びステップＳ１８０の処理を省略し、オブジェクトの種類を判定しなくてもよい。

図３のステップＳ１８０で全ての領域の種類が判定された後、ステップＳ１８５では、画像調整部１８０（図１）は、判定結果を利用する画像調整を行う。例えば、画像調整部１８０は、文字画像の領域にシャープネスを強調する処理を行い、写真画像の領域に写真画像が好ましい色で表現されるように予め設定された色調整を行い、描画画像の領域に彩度を高める処理を行う。このように、画像調整部１８０は、対象画像データに対して、オブジェクト種類の判定結果を利用する画像調整を行うことによって、処理済の画像データを生成する。画像調整部１８０は、処理済の画像データを、不揮発性記憶装置２９０に格納する。ユーザは、格納された画像データを、画像の出力（例えば、印刷と表示）等に利用することができる。

なお、本実施例では、第１ブロックＢＬ毎に算出される平均エッジ強度（ＥＲａｖｅ、ＥＧａｖｅ、ＥＢａｖｅ）は、「エッジ強度の程度を表す特徴値」の例である。また、「ＥＲａｖｅ≧ＥＴｒ、および、ＥＧａｖｅ≧ＥＴｇ、および、ＥＢａｖｅ≧ＥＴｂのうちの少なくとも一つが成立する」ことは、「エッジ強度の程度を表す特徴値が所定の基準以上である」ことの例である。

以上のように、本実施例では、抽出部（図１）は、対象画像ＴＩ（図４（Ａ））から、非ベタ領域とベタ領域とを抽出する（例えば、図４（Ｂ）の非ベタ領域Ｌ１０１、Ｌ１０４、Ｌ１０５と、ベタ領域Ｌ１００、Ｌ１０１、Ｌ１０２）。特定部１３０は、非ベタ領域の１つである第１０１領域Ｌ１０１と、第１０１領域Ｌ１０１によって囲まれ、かつ、内部に非ベタ領域を含まないベタ領域Ｌ１０２、Ｌ１０３と、を特定する。第１生成部１４０は、ベタ領域Ｌ１０２、Ｌ１０３と非ベタ領域Ｌ１０１とを統合することによって、ベタ領域Ｌ１０２、Ｌ１０３と非ベタ領域Ｌ１０１とを含む領域を、非ベタ領域Ｌ２０１として生成する（図４（Ｄ））。生成された非ベタ領域Ｌ２０１に対応して、非ベタ領域Ｌ３０１が特定される（図４（Ｆ））。新たに特定された非ベタ領域Ｌ３０１は、元の非ベタ領域Ｌ２０１と同じ第１オブジェクトＯｂ１を含んでいる。種類判定部１７０は、特定された非ベタ領域Ｌ３０１、Ｌ３０２、Ｌ３０３毎に、オブジェクトの種類を判定する（図４（Ｇ））。従って、非ベタ領域Ｌ１０１によって表される第１オブジェクトＯｂ１がベタ領域Ｌ１０３を含む場合に、そのベタ領域Ｌ１０３を非ベタ領域Ｌ２０１（最終的には、非ベタ領域Ｌ３０１）の一部として扱うことができるので、非ベタ領域内のオブジェクトの種類の判定に、適切な領域を利用することができる。仮に、オブジェクト種類の判定に利用される非ベタ領域Ｌ３０１が、オブジェクトの一部を表すベタ領域Ｌ１０３を含まない場合には、種類判定部１７０は、第１オブジェクトＯｂ１の一部を表すベタ領域Ｌ１０３を利用せずに、第１オブジェクトＯｂ１の種類を判定すると、誤判定の可能性がある。例えば、種類判定部１７０は、ベタ領域Ｌ１０３の色と画素数とをカウントしないので、分布幅Ｗと画素密度Ｓとが小さくなり得る。この結果、第１オブジェクトＯｂ１の種類が、誤って「文字」と判定される可能性がある。本実施例では、そのような誤判定の可能性を低減できる。

なお、図１２（Ａ）に示すように、第３０１領域Ｌ３０１は、第２０１領域Ｌ２０１に、修正（非オブジェクト領域ＨＳの削除）を加えることによって、生成されている。図１２（Ｂ）に示すように、第３０３領域Ｌ３０３は、第２０３領域Ｌ２０３に、修正を加えることによって、生成されている。図４（Ｆ）で説明したように、第３０２領域Ｌ３０２は、第２０２領域Ｌ２０２と同じである。従って、非ベタ領域Ｌ３０１〜Ｌ３０３は、修正前の非ベタ領域Ｌ２０１〜Ｌ２０３と、それぞれ同じオブジェクトを含んでいる。この結果、修正後の非ベタ領域Ｌ３０１〜Ｌ３０３毎にオブジェクトの種類を判定する種類判定部１７０は、修正後の非ベタ領域Ｌ３０１〜Ｌ３０３を利用することによって、修正前の非ベタ領域Ｌ２０１〜Ｌ２０３毎にオブジェクトの種類を判定している、ということができる。

また、図４（Ａ）〜図４（Ｆ）に示すように、最終的に特定される非ベタ領域Ｌ３０１は、非ベタ領域Ｌ１０１の画素の少なくとも一部と、ベタ領域Ｌ１０３の画素の少なくとも一部と、の両方を含んでいる。そして、種類判定部１７０（図１）は、非ベタ領域Ｌ３０１の画素を利用して、第１オブジェクトＯｂ１の種類を判定する（図４（Ｇ））。このように、種類判定部１７０は、オブジェクトＯｂ１の一部を表す非ベタ領域Ｌ１０１の画素の階調値と、オブジェクトＯｂ１の一部を表すベタ領域Ｌ１０３の画素の階調値と、の両方を用いて、非ベタ領域Ｌ２０１（最終的には、非ベタ領域Ｌ３０１）に含まれる第１オブジェクトＯｂ１の種類を判定する。従って、種類判定部１７０は、非ベタ領域Ｌ２０１内のオブジェクトの種類の判定に、適切な領域内の画素の値（例えば、階調値）を利用することができる。

また、図４（Ａ）〜図４（Ｇ）、図１２（Ａ）に示すように、非ベタ領域Ｌ２０１が、ベタ領域Ｌ２００によって囲まれる場合には、種類判定部１７０（図１）は、非ベタ領域Ｌ２０１の特定に利用された元の領域の複数の画素（非ベタ領域Ｌ１０１内の複数の画素とベタ領域Ｌ１０２、Ｌ１０３内の複数の画素）のうちの、非ベタ領域Ｌ２０１を囲むベタ領域Ｌ２００の画素の階調値（第１代表色ＣＬｏ１）を含む第１背景色範囲ＢＡ１内の画素（第２色点群ＣＧｂ１の画素）とは異なる画素（第１色点群ＣＧｔ１の画素。すなわち、非ベタ領域Ｌ３０１の画素）を利用して、非ベタ領域Ｌ２０１に含まれる第１オブジェクトＯｂ１の種類を判定する。従って、ベタ領域Ｌ１０２、Ｌ１０３と非ベタ領域Ｌ１０１とによって表される第１オブジェクトＯｂ１内に、背景の一部（例えば、ベタ領域Ｌ１０２）が含まれる場合に、非ベタ領域Ｌ２０１内の第１オブジェクトＯｂ１の種類の判定に、適切な領域（具体的には、背景を表す領域を除いた残りの領域。すなわち、オブジェクトを表す画素の領域）を利用することができる。仮に、種類判定部１７０が、背景を表す領域を含む領域（例えば、非ベタ領域Ｌ２０１の全体）を利用して、第１オブジェクトＯｂ１の種類を判定すると仮定する。この場合には、誤判定の可能性がある。例えば、種類判定部１７０は、背景を表すベタ領域Ｌ１０２の画素数をカウントするので、画素密度Ｓが大きくなり得る。この結果、第１オブジェクトＯｂ１の種類が、誤って「写真」と判定される可能性がある。本実施例では、そのような誤判定の可能性を低減できる。

また、図３、図１２（Ａ）に示すように、領域判定部１６０（図１）は、ベタ領域Ｌ１０２、Ｌ１０３内の複数の画素と非ベタ領域Ｌ１０１内の複数の画素とのうちの第１背景色範囲ＢＡ１内の階調値を示す画素（第２色点群ＣＧｂ１の画素）によって表される領域を、ベタ領域である、と判定する。従って、第１オブジェクトＯｂ１内に背景の一部が含まれる場合に、領域判定部１６０は、その背景の一部を表す領域を、適切に、ベタ領域として判定することができる。

特に、第２生成部１５０は、背景の一部を表す領域（例えば、ベタ領域Ｌ１０２）を、第１オブジェクトＯｂ１を含む非ベタ領域Ｌ２０１の周囲を囲むベタ領域Ｌ２００と統合することによって、それらの領域を含む領域を、ベタ領域Ｌ３００として生成する（図４（Ｆ））。従って、第１オブジェクトＯｂ１内に背景の一部が含まれる場合に、その背景の一部を表す領域（例えば、ベタ領域Ｌ１０２）と、周囲のベタ領域Ｌ２００とを、適切に、同じベタ領域Ｌ３００として利用することができる。

また、図７で説明したように、特定部１３０は、対象画像ＴＩの複数の画素を１ラインずつ順番に走査する。そして、ベタ領域が非ベタ領域によって囲まれていると判定するための包含条件は、上記の走査において、ベタ領域の画素と非ベタ領域の画素とのうちの一方から他方に切り替わる部分（走査位置）を最初に検出したときの切り替わりが、非ベタ領域の画素からベタ領域の画素への切り替わりである、ことを要する（隣接条件）。従って、特定部１３０は、非ベタ領域によって囲まれたベタ領域を、容易に特定することができる。

また、包含条件は、図８、図９で説明したように、非ベタ領域ＮＡａの画素の位置と、ベタ領域ＳＡａの画素の位置と、の間の位置関係が、ベタ領域が全周に亘って非ベタ領域に囲まれていることを示す画素位置条件を、要する。従って、図９（Ｂ）の例のように、ベタ領域ＳＡａの輪郭の一部と、非ベタ領域ＮＡａの輪郭の一部とが、同じライン上を延びる場合であっても、特定部１３０は、ベタ領域ＳＡａが非ベタ領域ＮＡａによって囲まれているか否かを適切に判定できる。

ここで、図８、図９で説明したように、画素位置条件は、ベタ領域ＳＡａに外接するベタ矩形ＳＡａＲの対角を形成する２つの画素Ｐｓ０、Ｐｓ１の位置と、非ベタ領域ＮＡａに外接する非ベタ矩形ＮＡａＲの対角を形成する２つの画素Ｐｎ０、Ｐｎ１の位置と、を用いて、ベタ矩形ＳＡａＲが非ベタ矩形ＮＡａＲの内部に配置されていることを示す条件である。従って、特定部１３０は、ベタ領域ＳＡａに関する２つの画素Ｐｓ０、Ｐｓ１の位置と、非ベタ領域ＮＡａに関する２つの画素Ｐｎ０、Ｐｎ１の位置と、を利用することによって、ベタ領域ＳＡａが非ベタ領域ＮＡａによって囲まれているか否かを適切に判定できる。なお、特定部１３０は、対角を形成する２つの画素の位置を利用する代わりに、ベタ領域ＳＡａ内の全ての画素毎に、ベタ領域ＳＡａ内の画素が非ベタ領域ＮＡａの内部に配置されているか否を判定することによって、最終的にベタ領域ＳＡａが非ベタ領域ＮＡａに囲まれているか否かを判定してもよい。

また、特定部１３０は、隣接条件に基づいて、非ベタ領域と、その非ベタ領域に囲まれたベタ領域と、の組み合わせの候補を特定し、特定された候補のみに対して、画素位置条件に基づく判定を行う。従って、抽出されたベタ領域と抽出された非ベタ領域との全ての組み合わせに関して画素位置条件に基づく判定を行う場合と比べて、処理負担を軽減できる。

また、上記実施例では、図２のステップＳ１２５で説明したように、内部に非ベタ領域（内非ベタ領域と呼ぶ）を包含するベタ領域は、当該ベタ領域を囲む非ベタ領域（外非ベタ領域と呼ぶ）に統合されない。この理由は、当該ベタ領域を外非ベタ領域に統合すると、外非ベタ領域と内非ベタ領域との間を隔てるベタ領域が無くなってしまい、外非ベタ領域と内非ベタ領域とを適切に分離することが出来なくなるからである。

Ｂ．変形例：
（１）画像処理としては、図２、図３、図８に示す処理に限らず、種々の処理を採用可能である。例えば、図３のステップＳ１７０と図１の第２生成部１５０とを省略してもよい。この場合も、種類判定部１７０（図１）は、ステップＳ１７５、Ｓ１８０で、非ベタ領域内のオブジェクト領域（非オブジェクト領域を除いた残りの領域）を利用することによって、種類を判定することが好ましい。

また、図３のステップＳ１５７〜Ｓ１７２の処理を省略してもよい。この場合には、種類判定部１７０（図１）は、図３のステップＳ１７５、Ｓ１８０で、背景を表す部分を含む非ベタ領域の全画素を利用して、種類を判定すればよい。

また、図２のステップＳ１５０で、第１生成部１４０（図１）は、ベタ領域ＳＡａが背景を表す場合には、ベタ領域ＳＡａを非ベタ領域ＮＡａに統合しないこととしてもよい。この場合、領域判定部１６０が、ベタ領域ＳＡａが背景を表すか否かを判定すればよい。領域判定部１６０は、図３のステップＳ１５７〜Ｓ１６５の処理と同様に、非ベタ領域ＮＡａの周囲を囲むベタ領域の階調値を利用することによって、ベタ領域ＳＡａが背景を表すか否かを判定することができる。

また、図７に示す包含関係の特定処理において、走査されるラインの方向は、第一方向Ｄ１ではなく、第二方向Ｄ２であってもよい。また、図２のステップＳ１２０を省略してもよい。この場合、特定部１３０（図１）は、ベタ領域と非ベタ領域との全ての組み合わせに関して、画素位置条件に基づく判定を行えばよい。また、特定部１３０は、包含関係データの生成と更新とを、省略してもよい。例えば、図２のＳ１４７を省略してもよい。

（２）エッジ強度の算出式としては、図５の算出式に限らず、階調値の変化の大きさを表す値を算出可能な他の任意の算出式を採用可能である。例えば、エッジ強度は、第一方向Ｄ１の変化の大きさの二乗と、第二方向Ｄ２の変化の大きさの二乗との合計値であってもよい。また、ソーベルオペレータの代わりに、プレウィットオペレータ（Prewitt operator）、または、ロバーツクロスオペレータ（Roberts Cross operator）など種々のエッジ検出用オペレータを利用可能である。また、エッジ強度は、赤緑青の各色成分に限らず、他の色成分（例えば、輝度）の階調値を用いて算出されてもよい。

（３）抽出部１２０によって領域分離（領域抽出）に利用される「エッジ強度の程度を表す特徴値」としては、エッジ強度の程度を表す任意の値を採用可能である。例えば、色成分毎の平均エッジ強度（ＥＲａｖｅ、ＥＧａｖｅ、ＥＢａｖｅ）のうちの最大値を、特徴値として採用してもよい。また、輝度値を利用して算出されたエッジ強度を、採用してもよい。

また、「エッジ強度の程度を表す特徴値が所定の基準以上である」ことの判定条件としては、「ＥＲａｖｅ≧ＥＴｒ、および、ＥＧａｖｅ≧ＥＴｇ、および、ＥＢａｖｅ≧ＥＴｂのうちの少なくとも一つが成立する」ことに限らず、種々の条件を採用可能である。例えば、特徴値が１つの値によって表される場合には、特徴値が特定の閾値以上であることを、採用可能である。

（４）図５（Ｂ）に示す第１ブロックＢＬの縦の長さ（第二方向Ｄ２の画素数）は、横の長さ（第一方向Ｄ１の画素数）と、異なっていてもよい。また、第１ブロックＢＬの形状としては、矩形に限らず、他の種々の形状を採用可能である。また、１つの第１ブロックＢＬに含まれる画素ＰＸの総数としては、種々の値（例えば、Ｕ個（Ｕは２以上の整数））を採用可能である。

（５）図３のステップＳ１６０で決定される背景色範囲において、色成分毎の幅が互いに異なっていてもよい。また、背景色範囲は、ＲＧＢ色空間において、代表色からの距離（ユークリッド距離）が所定値以下の範囲であってもよい。一般には、背景色範囲としては、代表色を含む種々の範囲を採用可能である。

また、代表色（より一般的には、閾値）は、処理対象領域Ｈの周囲の領域（処理対象領域Ｈの周囲を囲むベタ領域）内の、処理対象領域Ｈに近い一部の領域の階調値を利用して、算出されてもよい。例えば、図１２の第２０１領域Ｌ２０１のための第１代表色ＣＬｏ１は、ベタ領域Ｌ２００内の、第２０１領域Ｌ２０１からの距離が所定値以下の領域Ｌ２００ｃから、算出されてもよい。この代わりに、代表色（閾値）は、処理対象領域Ｈの縁部分の階調値を利用して、算出されてもよい。例えば、図１２の第２０１領域Ｌ２０１のための第１代表色ＣＬｏ１は、第２０１領域Ｌ２０１内の、第２０１領域Ｌ２０１の輪郭からの最短距離が所定値以下の領域Ｌ２０１ｉから、算出されてもよい。また、代表色（閾値）は、処理対象領域Ｈの周囲の領域の階調値と、処理対象領域Ｈの縁部分の階調値と、の両方を利用して、算出されてもよい。いずれの場合も、代表色のＲＧＢ毎の階調値としては、平均値に限らず、種々の値（例えば、ＲＧＢ毎の最頻値、ＲＧＢ毎の中央値等）を採用可能である。

（６）オブジェクトの種類を判定する方法としては、図１３、図１４に示す方法に限らず、他の任意の方法を採用可能である。例えば、種類判定部１７０は、処理対象領域毎に、処理対象領域内の画素の階調値を用いて、処理対象領域に含まれるオブジェクトの種類を判定することができる。階調値を用いる判定方法としては、図１４の実施例のように階調値から算出される輝度値を用いる方法に限らず、種々の方法を採用可能である。例えば、種類判定部１７０は、階調値から算出される色相の分布を用いて、オブジェクトの種類を判定してもよい。例えば、色相分布の幅（色相幅と呼ぶ）が第１閾値よりも小さい場合には「文字」が選択され、色相幅が第２閾値（第１閾値よりも大きい）よりも大きい場合には「写真」が選択され、色相幅が第１閾値と第２閾値との間である場合には「描画」が選択される。また、画素の階調値を用いる方法に限らず、種々の判定方法を採用可能である。例えば、予め準備された文字画像とのパターンマッチングを利用して、種類が文字であるか否かを判定してもよい。また、判定され得る種類としては、３つの種類（「文字」「描画」「写真」）に限らず、それら３つ種類から予め任意に選択された１つまたは２つの種類を採用可能である。また、３つの種類のいずれとも異なる他の種類を採用してもよい。

（７）オブジェクトの種類の判定結果を利用する画像処理（図３のＳ１８５）としては、シャープネス強調処理や色調整処理に限らず、種々の処理を採用可能である。例えば、画像調整部１８０（図１）は、文字の領域を比較的高い圧縮率で圧縮し、他の領域を比較的低い圧縮率で圧縮することによって、いわゆる高圧縮ＰＤＦ（Portable Document Format）データを生成してもよい。また、画像調整部１６０を省略してもよい。この場合には、種類判定部１７０は、領域毎の種類を表す画像データ（例えば、図４（Ｇ）の画像ＲＩを表す画像データ）を、不揮発性記憶装置２９０に格納すればよい。格納された画像データは、種々の画像処理に利用可能である。

（８）計算機２００のスキャナドライバ１００による画像処理機能は、光学的に対象物を読み取ることによって対象物を表す画像データを生成する画像読取部を含む画像処理装置によって実現されてもよい（例えば、複合機４００やスキャナ３００や図示しないデジタルカメラ）。この場合には、画像処理装置は、自身の画像読取部によって生成された画像データを用いて、画像処理（例えば、図２、図３の処理）を行えばよい。

一般的には、画像処理（例えば、図２、図３の処理）を実現する画像処理装置は、計算機２００に限らず、種々の装置であってよい。例えば、プリンタ、デジタルカメラ、スキャナなどの画像関連機器の内部のコンピュータ、汎用のパーソナルコンピュータ、ネットワークに接続されたサーバ等を採用可能である。また、ネットワークを介して互いに通信可能な複数のコンピュータが、画像処理に要する機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（このようなコンピュータシステムを利用する技術は、クラウドコンピューティングとも呼ばれる）。この場合、コンピュータシステムの全体が、特許請求の範囲における画像処理装置に対応する。いずれの場合も、対象画像データを取得する画像データ取得部１１０を、画像処理装置に設けることができる。対象画像データを取得する方法としては、任意の方法を採用可能である。例えば、画像データ取得部１１０は、画像処理装置内の他の要素（例えば、不揮発性記憶装置２９０や画像読取部）から対象画像データを取得してもよく、通信路を介して他の装置（例えば、ＵＳＢメモリやスマートフォン）から、対象画像データを取得してもよい。

（９）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１の処理部１１０〜１８０から任意の選択された一部または全部の処理部の機能を、論理回路を有する専用のハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。また、ソフトウェア（コンピュータプログラム）は、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含んでいる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２００...計算機、２１０...ＣＰＵ、２４０...揮発性記憶装置、２４１...バッファ領域、２７０...操作部、２８０...通信部、２９０...不揮発性記憶装置、２９１...ドライバプログラム、３００...スキャナ、４００...複合機、１００...スキャナドライバ、１１０...画像データ取得部、１２０...抽出部、１３０...特定部、１４０...第１生成部、１５０...第２生成部、１６０...領域判定部、１７０...種類判定部、１８０...画像調整部

Claims (9)

1. 対象画像データによって表される対象画像の内から、エッジ強度の程度を表す特徴値が所定の基準以上である領域である不均一領域と、前記特徴値が前記基準未満である領域である均一領域と、を抽出する抽出部と、
   前記抽出された不均一領域の１つである第１不均一領域と、前記抽出された均一領域の１つである第１均一領域であって、前記第１不均一領域によって囲まれ、かつ、内部に不均一領域を含まない前記第１均一領域と、を特定する特定部と、
   前記第１均一領域と前記第１不均一領域とを結合することによって、前記第１不均一領域と前記第１均一領域とを含む領域を、第２不均一領域として生成する第１生成部と、
   前記第２不均一領域を含む不均一領域毎に、前記不均一領域に含まれるオブジェクトの種類を判定する種類判定部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記種類判定部は、前記第１不均一領域の画素の階調値と、前記第１均一領域の画素の階調値と、の両方を用いて、前記第２不均一領域に含まれるオブジェクトの種類を判定する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記種類判定部は、前記第２不均一領域が、前記抽出された均一領域の１つである第２均一領域によって囲まれる場合に、前記第１均一領域の内の複数の画素と前記第１不均一領域の内の複数の画素とのうちの、前記第２均一領域の画素の階調値を含む特定の階調値範囲内の画素とは異なる画素を利用して、前記第２不均一領域に含まれるオブジェクトの種類を判定する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、さらに、
   前記第１均一領域の内の複数の画素と前記第１不均一領域の内の複数の画素とのうちの前記特定の階調値範囲内の階調値を示す画素によって表される領域である特定階調領域は、均一領域である、と判定する領域判定部を含む、画像処理装置。
5. 請求項４に記載の画像処理装置であって、さらに、
   前記特定階調領域と前記第２均一領域とを統合することによって、前記特定階調領域と前記第２均一領域とを含む領域を、第３均一領域として生成する第２生成部を含む、画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置であって、
   前記特定部は、
   前記対象画像の複数の画素を１ラインずつ順番に走査し、
   所定の条件である包含条件が満たされた場合に、前記第１均一領域が前記第１不均一領域によって囲まれていると判定し、
   前記包含条件は、前記走査において、前記第１均一領域の画素と前記第１不均一領域の画素とのうちの一方から他方に切り替わる部分を最初に検出したときの前記切り替わりが、前記第１不均一領域の画素から前記第１均一領域の画素への切り替わりである、ことを要する、画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記包含条件は、前記第１不均一領域の画素の位置と、前記第１均一領域の画素の位置と、の間の位置関係が、前記第１均一領域が全周に亘って前記第１不均一領域に囲まれていることを示す画素位置条件を、要する、画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記画素位置条件は、前記第１均一領域に外接する第１矩形の対角を形成する２つの画素の位置と、前記第１不均一領域に外接する第２矩形の対角を形成する２つの画素の位置と、を用いて、前記第１矩形が前記第２矩形の内部に配置されていることを示す条件である、画像処理装置。
9. 画像処理をコンピュータに実行させるためのプログラムであって、
   対象画像データによって表される対象画像の内から、エッジ強度の程度を表す特徴値が所定の基準以上である領域である不均一領域と、前記特徴値が前記基準未満である領域である均一領域と、を抽出する機能と、
   前記抽出された不均一領域の１つである第１不均一領域と、前記抽出された均一領域の１つである第１均一領域であって、前記第１不均一領域によって囲まれ、かつ、内部に不均一領域を含まない前記第１均一領域と、を特定する機能と、
   前記第１均一領域と前記第１不均一領域とを結合することによって、前記第１不均一領域と前記第１均一領域とを含む領域を、第２不均一領域として生成する機能と、
   前記第２不均一領域を含む不均一領域毎に、前記不均一領域に含まれるオブジェクトの種類を判定する機能と、
   を、コンピュータに実行させるためのプログラム。

Images