JP4960897B2 - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像データから所定の画素値情報を抽出する画像処理装置等であって、特に、記号領域を排除して図又は写真を形成する画素の画素値情報を再利用可能な態様で抽出する画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

図や写真を含む文書を新規に作成する場合、すでに作成された文書に含まれる写真や図を再利用することができれば便利である。この場合、ユーザは作成されている文書をスキャナで読み取って画像データを生成したり記憶されている画像データを読み出して、ＰＣ（パーソナルコンピュータ）で実現される画像操作ツールなどを利用し、必要な領域をマウスで指定して切り出して、同じＰＣで作成中の新規の文書に貼り付けるという操作を行うことになる。

このような作業では、画像データから候補となる写真や図領域が自動的に切り出されていると、ユーザがＰＣを操作して領域を指定する必要がなく便利であり、かかる要求やＯＣＲ処理の精度向上等のため、図や写真を含む画像データから図や写真を形成する画素の位置（領域）を特定する技術が提案されている（例えば、特許文献１〜５参照。）
特許文献１には、文字の画像データか写真の画像データかを区分する画像判別装置が記載されている。特許文献１記載の画像判別装置は、画像データのエッジを取得し、エッジを画像データの縦方向に射影した投影ヒストグラムを作り、投影ヒストグラムとこれを平滑化して作成した平滑ヒストグラムとの差分を求め、差分が大きい領域を文字領域と判定する。

特許文献２は、写真抽出を行う方法が記載されている。まず、背景色を求め、背景色以外の画素の連結成分を求めて写真領域の候補領域とする。この、背景色以外の画素のうち、同色とみなせる画素をグループ化した候補領域の外接矩形を求め、外接矩形の数及び重なり方から写真領域を決定する。

また、特許文献３には、背景色から写真領域を特定し、写真領域以外からＯＣＲ処理する方法が記載されている。特許文献３では、所定画素数のブロック毎に代表色を求め、代表色をクラスタリングして最大のクラスタを背景色と決定する。そして背景色以外の画素を連結したラン（矩形）を生成し、矩形の形状や大きさ等に応じて文字の領域、罫線、図・写真等の領域を特定する。

また、特許文献４には、背景模様などの小さな構成要素が多数含まれた文書画像から文字を抽出する方法が記載されている。まず、画像データを二値化してその連結成分の外接矩形を求める。そして、外接矩形のサイズのヒストグラムから文字サイズを推定し、外接矩形の密集度などを参考に文字の領域とそれ以外とに分離する。

また、特許文献５には、文字と写真領域を高精度に分離する方法が提案されている。画像縮小変換を施した後に離散的コサイン変換処理を行い、離散的コサイン変換係数から文字と写真を特徴づける係数の統計的性質からブロック毎に文字と写真領域に分離する。
特開２００６−１２８９８７号公報 特開２００４−１１０４３４号公報 特開２００１−２９７３０３号公報 特開２００２−０１５３２３号公報 特開平０６−３３９０１９号公報

しかしながら、特許文献１の方法は、文字の領域と図や写真の画像領域とが既に別々に切り出されていたり、元から別々の画像データ（ファイル）であることを前提としている方法であるため、文字と図や写真とが１つの文書に混在した画像データに対し自動で切り出す方法は開示されていない。

また、特許文献２、３では背景色を決定して、文字領域や写真領域を切り分けるため、背景色の特定が不十分であると画像データから写真領域等の切り出しが適切に実行できない。特許文献２、３では背景色を例えば用紙の色、一色であると想定しているため、背景色が用紙色のみであればそれ以外の部分を抽出できる。しかし、例えば、写真領域毎に異なる背景色が適用されるなど背景色が２色以上ある場合、本来は背景色として特定されるべき領域を抽出することが困難になる。また、背景色にグラデーション（すなわち多色）が施されている場合、写真領域の抽出が不安定になる。

また、特許文献４では文字の抽出はできるが、カラーの画像データでは文字以外の領域が単色とは限らないので、文字以外の領域が二値化で黒画素になるとは限らない。したがって、必ずしも文字以外の領域がひとかたまりとはならず、写真領域や図をひとかたまりの領域として抽出することはできない。

また、特許文献５では高周波成分と低周波成分のバランスで判断しているため、線画の抽出をする際には分布が似ている文字と区別ができない。

本発明は、上記課題に鑑み、画像データから写真や図を形成する画素の画素値情報を抽出する画像処理装置において、背景がグラデーションの場合など２色以上であっても、写真や図を安定して抽出できる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することを目的とする。また、微少な画素のブロック毎又は周波数成分に基づき写真や図と文字を区別するのでなく、文字と線図を切り分けて抽出可能な画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することを目的とする。

上記課題に鑑み、本発明は、カラーの画像データから図又は写真を形成する図写真画素の画素値情報を抽出する画像処理装置であって、画像データの画素値を、画像データ全体の色数よりも少ない複数の色の代表画素値に置き換える画素値置き換え手段と、同じ色の代表画素値が連続した候補領域を特定し、各色別に前記候補領域を抽出する候補領域抽出手段と、前記候補領域毎に記号を形成する画素が含まれる程度を示す特徴量を取得する特徴量取得手段と、前記特徴量に基づき記号が含まれる前記候補領域は前記図写真画素を有さないと判定する特徴量判定手段と、前記図写真画素を有すると判定された前記候補領域であって、一部又は全部が重畳する前記候補領域を統合する統合手段と、を有することを特徴とする。

本発明によれば、画像データの画素値を画素値に応じて複数の代表画素値に置き換え、同じ代表画素値を有する領域毎に文字を含む領域を排除するので、背景色が２色以上あっても図や写真領域を安定して抽出することができる。

また、本発明の一形態において、代表色で置き換える前の画像データからエッジ情報を検出するエッジ検出手段を有し、候補領域抽出手段は、エッジ情報が連続した候補領域を抽出する、ことを特徴とする。

本発明によれば、クラスタ色を多くする必要がなくなるので、計算負荷を大きくすることなく、色数が多い画像やグレー画像から安定して図や写真領域を抽出することができる。

画像データから写真や図を抽出する画像処理装置において、背景がグラデーションの場合など２色以上であっても、写真や図を安定して抽出できる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
〔第１の実施形態〕
図１は、本実施形態の画像処理装置１００のブロック図を示す。画像処理装置１００は画像取得手段１１が取得した画像データから写真や図を形成する画素の画素値情報を再利用可能な単位で抽出する。図や写真とは、文字以外をいい例えば表も含まれる。以下、再利用可能な単位の図、写真及び表を単に図・写真要素という。

本実施形態の画像処理装置１００は、
・背景色を決定することなく、色クラスタリング処理により画像データを数色（例えば４〜数十色）に減色する。
・減色後の画像データから同じクラスタ色の連結領域を抽出する。
・減色後の画像データから所定のクラスタ色の領域とその他の色の領域を、減色後の全てのクラスタ色毎に抽出する
・領域の例えば外接矩形を設定し、その領域の複数の特徴量を取得することで、図又は写真領域を決定する。
・図又は写真領域を統合することで、写真領域や図をひとかたまりの領域として抽出する。

すなわち、クラスタ色ごとに領域を抽出するので、背景色が２色以上あっても図や写真領域を安定して抽出することができる。また、複数の特徴量に基づき図又は写真領域を決定するので、文字と線図を切り分けて抽出することができる。

画像処理装置１００は、例えばスキャナ装置、複写機、ファクシミリ装置、及び、これらの機能を備えたＭＦＰ（Multi Function Printer）、又は、これらの装置と接続されたＰＣ（パーソナルコンピュータ）４０である。

画像取得手段１１は、例えばスキャナ装置、デジタルカメラ等、原稿をデジタルの画像データに変換する装置であるが、画像処理装置１００をＰＣで構成する場合は既に変換された画像データを、ネットワークを介して受信するＮＩＣ（Network Interface Card）としてもよい。

例えば、スキャナ装置の場合、主走査方向に一次元のＣＣＤやＣＭＯＳの光電変換素子を備え、３原色に中心波長を有する光で原稿を露光する露光ランプが１つの露光位置（副走査方向）で３色の光を順に照射し、原稿から反射した光を光電変換素子により光電変換して、光色毎にアナログデータを生成する。アナログデータは、Ａ／Ｄコンバータによりデジタルの画像データに変換され、さらにシェーディング補正、ＭＴＦ補正、ガンマ補正等が施される。１つの画素に光色毎の３つの成分のデジタル値を対応させることでカラーの画像データが得られる。画像データは画像格納手段１２により記憶装置１３に記憶される。

画像処理装置１００は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、設定ファイルやパラメータを記憶するＲＯＭ、画像データやプログラムを記憶する記憶装置１３及びデータを入出力する入出力部、がバスにより接続されたコンピュータを有する。

そして、画像処理装置１００は、ＣＰＵがプログラムを実行するか又はＡＳＩＣ（Application Specific Integrated Circuit）等のロジック回路により実現される画像格納手段１２、色クラスタリング手段１４、連結成分抽出手段１５、特徴量取得手段１６、特徴量判別手段１７、図写真領域統合手段１８を有する。

画像格納手段１２は画像取得手段１１が取得した画像データを記憶装置１３に記憶する。色クラスタリング手段１４は、画素値を量子化してそのうち数が多い画素値に画像データを減色する。連結成分抽出手段１５は、減色後の画像データから同じ色の画素を連結する。特徴量取得手段１６はエッジ強度、文字画素含有率及び文字の外接矩形の形状・大きさから連結された領域の特徴量を取得する。特徴量判別手段１７は、特徴量を閾値で判断し、図又は写真領域か否かを判定する。図写真領域統合手段１８は、図又は写真領域を統合し写真領域や図をひとかたまりの領域として抽出する。また、記憶装置１３は、画像データや図・写真要素、プログラムを記憶する、ハードディスクドライブや半導体メモリなどの記憶手段である。以下、これらの各手段が図・写真要素を抽出する手順を説明する。

＜図・写真要素の抽出手順＞
図２は、図・写真要素を抽出する対象とする画像データ（原画像）の一例を、図３は、画像処理装置１００が図・写真要素を抽出する手順を示すフローチャート図である。

図２の画像データは、例えば、ＲＧＢの各成分がそれぞれ複数ビットある、所定の大きさ（ＶＧＡ、ＳＶＧＡ、ＸＧＡ、ＳＸＧＡ、ＵＸＧＡ等）のカラー画像である。図２の画像データは第１の背景Ｂ１と第２の背景Ｂ２を有し、第２の背景Ｂ２から第１の背景Ｂ１を跨ぐように写真領域２３を有する。また、第１の背景Ｂ１には猫の線図（アイコン）２２と文字２１が描画され、第２の背景にはページ番号１９が描画されている。文字２１、線図２２及びページ番号１９は例えば、黒色１色で、第２の背景Ｂ２は例えばグレーに近い１色で、写真領域２３は例えば１６７７万色である。また、第１の背景Ｂ１は、少なくとも第２の背景Ｂ２と異なる色の一色か、グラデーションがかかっている。なお、本実施形態の画像処理装置１００は、後述するように色クラスタリングにより減色するので、文字２１、線図２２、ページ番号１９及び第２の背景Ｂ２が単色である必要はない。

・Ｓ１０
このフローチャートは、例えば図・写真要素を抽出するよう画像処理装置１００が操作されるとスタートする。操作により画像取得手段１１がセットされた原稿を光学的に読み取り画像データを生成してもよいし、既に記憶装置１３に記憶された画像データを読み出してもよい。

・Ｓ２０
次に、色クラスタリング手段１４は、処理対象の画像データに色クラスタリング処理（減色処理）を施す。ここでは画像データの画素を数色程度のグループに分ける。

図４は色クラスタリングの手順を示すフローチャート図である。
まず、画素値の各成分(ＲＧＢ)を量子化する（Ｓ２１）。例えば、各成分４色に量子化すれば、全体の色数は４×４×４＝６４色に量子化できる。各成分２５６値の場合、０〜６３を３２に、６４〜１２７を９６に、１２８〜１９１を１６０に、１９２〜２５５を２２４に量子化する。なお、カラー画像でなくグレー画像の場合、成分は明度成分だけなので、４色に量子化できる。

次に、画素値ヒストグラムを作る（Ｓ２２）。量子化により各画素の画素値は６４色のいずれかに一致するので、画素毎に、画素値を６４色のいずれかに振り分け、同色の画素が何画素あるかのヒストグラムを作る。

次に、頻度の高い（数の多い）画素値を選び、色数をさらに絞り込む（Ｓ２３）。数の多い画素値から数色程度を選択する。以下、選択したこの数色をクラスタ色と称する。

次に、すべての画素の量子化した画素値が、クラスタ色のうちどれに一番近いかを判定し、最も近いクラスタ色に分類する（Ｓ２４）。色の距離は、クラスタ色のＲＧＢ成分と各画素のRGB成分の差の２乗和または絶対値和を用いるとよい。したがって、各画素の画素値は全て数色のクラスタ色に対応づけられる。

図５は、色クラスタリング処理を施した減色画像の一例を示す。図５は実際にはカラー画像であり、５つのクラスタ色、白、黒、黄、緑、グレーに減色されている。文字２１及び線図２２は、以下では簡単のため黒色とする。また、第２の背景Ｂ２は第２の背景Ｂ２の色に近い例えばグレーのクラスタ色に減色される。また、第１の背景Ｂ１はグレーのグラデーションであったが、減色処理により例えば白のクラスタ色に減色される。また、写真領域２３は、例えば、「月」が黄色のクラスタ色に、「山」が緑色のクラスタ色に、それ以外が黒のクラスタ色に減色されたものとする。

・Ｓ３０、Ｓ４０
図３に戻り、連結成分抽出手段１５は、クラスタ色を１つ選び、このクラスタ色に対応づけられた画素が連結した連結画素を抽出する。この２つの処理をクラスタ色毎に実行する。上記のクラスタ色では、白とそれ以外、黒とそれ以外、黄とそれ以外、緑とそれ以外の、グレートそれ以外の連結画素を抽出する。

図６はクラスタ色の画素とそれ以外の画素を分けて示した例を示す図である。図６（ａ）は黒とそれ以外、図６（ｂ）は白とそれ以外、図６（ｃ）は緑とそれ以外、図６（ｄ）は黄とそれ以外、図６（ｅ）はグレーとそれ以外、に区分した例を示す。なお、白黒表示のため、図６ではクラスタ色を黒で、それ以外の色を白とする二値画像で示している。

例えば、図６（ａ）の黒とそれ以外を分けた画像において、黒画素の連結成分の外接矩形は図７のようになる。クラスタ色毎に求められたこの各外接矩形が図・写真要素の候補領域となる。連結成分抽出手段１５は、それぞれの連結画素の外接矩形を図・写真要素の候補領域とする。文字、数字、アルファベットなどの記号が描画された外接矩形は図・写真要素から除外される。したがって、文字２１が描画された第１の背景Ｂ１及びページ番号１９が配置された第２の背景Ｂ２が、図・写真要素として抽出されることはない。

・Ｓ５０
次に、特徴量取得手段１６は、各候補領域内の特徴量を抽出する。この特徴量は各候補領域が図・写真要素の領域であるか、それとも他の領域であるかを判断するための指標となる。特徴量にはいくつかの指標を用いることができる。例えば、以下のような指標を用いる。

Ａ１．エッジ強度
エッジ強度（隣あう画素の画素値の変化量）は、候補領域内の各画素に対しＳｏｂｅｌなどの空間フィルタを施し、そのフィルタ値から算出することができる。エッジ情報が大きい場合は、文字２１や線図２２である可能性が高い。

例えば、候補領域のフィルタ値を合計して画素数で除算すれば、候補領域の大きさの影響を排除して、所定の閾値と比較することができる。また、所定値以上のエッジ強度を持つ画素数をエッジ強度としてもよい。

Ａ２．文字画素含有率
候補領域毎に文字抽出処理を行い、文字２１を構成する画素が候補領域内にどの程度含まれているかを利用する。図８は文字２１の抽出の手順を示すフローチャート図である。

まず、候補領域から横行を抽出する（Ｓ５１）。行候補の抽出は種々の方法があるが、ここでは黒画素の連結成分を利用する。すでに連結画素の外接矩形が求められているので、この外接矩形が抽出したい行の方向（ここでは横方向）の近傍に連結する外接矩形を抽出する。近傍とは例えば外接矩形の大きさ程度の距離とする。

そして、連結する外接矩形があればそのサイズが似通っているかどうかを調べる。例えば、高さが近く、位置も近い場合にそれらは同一の行を構成するとみなすことができる。この連結処理をすべての外接矩形について吟味すると、横方向の文字行候補を検出できる。

また、横方向の行候補の抽出と同様に、縦方向の文字行候補も抽出する（Ｓ５２）。

横方向と縦方向の文字行候補をそれぞれ抽出したら、横方向と縦方向の文字行候補の中から、位置が重なり合うものがあるか否かを判定し、位置が重なり合うものがある場合、重なり合う横方向の文字行候補と縦方向の文字行候補同士を１本ずつ取り出す（Ｓ５３）。

次いで、１本ずつ取り出した位置が重なり合う文字行候補同士のどちらかが正しい文字行に相当するものと仮定すると、その判定のため、重なり合う文字行候補の行らしさ（行尤度）を重なり合う行それぞれについて計算する（Ｓ５４）。

行らしさの計算方法には様々なものが考えられるが、ここでは以下の方法で行うこととする。

まず、対象文字行の長さ、高さを求め、求めた行の長さ、高さをもとに文字行候補の縦横比（長さ比）を計算する。また、行を構成する連結成分同士の距離（文字間隔）を計算する。さらに、行を構成する連結成分のサイズを考慮するため、連結成分のうち、文字らしいサイズの連結成分数を数える。

以上の縦横比、文字間隔、連結成分数、を特徴量として用い、文字行らしさを表す尤度を計算する。行尤度の計算方法には様々な方法が考えられるが、ここでは、あらかじめ求めておいた各特徴量の典型値との差の絶対値の線型和を行尤度とする。

ついで、得られた重なり合う一対の文字行候補それぞれの尤度をもとに、行らしくないほうを削除する（Ｓ５５）。行尤度は小さいほど文字らしいことを意味するので、縦行と横行の候補のうち、尤度の値が小さいほうを正しい文字行とみなし、他方を削除する。

以上の処理により文字行を抽出することができる。なお、文字行の抽出処理は、例えば特開２００４−０３８５３０号公報に詳しい。

そして、文字行を構成する文字２１の画素数をカウントし、各候補領域の画素数との比率を算出し、その比率を図・写真要素の領域か否かを判定する特徴量とする。文字２１しかない候補領域ではこの比率が大きくなる。

Ａ３．外接矩形サイズ
候補領域の外接矩形が文字２１として適当なサイズかどうかを利用する。文字２１のサイズは、縦横比と縦横の長さがある程度定まっているので、所定範囲の縦横比と長さに含まれる候補領域の数を、図・写真要素の領域か否かを判定する特徴量とする。

・Ｓ６０、Ｓ７０
ついで、ステップＳ６０に戻り、ステップＳ５０で得られた特徴量から候補領域が図・写真要素の候補領域か否かを判定する。特徴量判別手段１７は、例えば、Ａ１〜Ａ３の個々の特徴量を閾値で判断し、すべての条件をクリアした場合に図・写真要素と判定する。または、特徴量の重み付き線型和を作り、これを閾値で判断しても良い。例えば、線形和＝ａ１・Ａ１＋ａ２・Ａ２＋ａ３・Ａ３ として、この線形和と閾値を比較する。ａ１〜ａ３は重みであるが、Ａ１のエッジ情報では線図２２を検出する可能性があるのでａ１を小さくしたり、Ａ３では文字２１と似た線図２２の外接矩形をする可能性があるのでａ３を小さくする。したがって、例えば、ａ１＜ａ３＜ａ２である。

ステップＳ７０の判定により、図６（ａ）に示した第１の背景Ｂ１からは文字２１が、第２の背景Ｂ２からはページ番号１９がそれぞれ検出されるので、第１の背景Ｂ１及び第２の背景Ｂ２は図・写真要素領域でないと判定される。

・Ｓ８０
図・写真要素の領域と判定された場合、特徴量判別手段１７はその図・写真要素の候補領域（以下、図・写真要素領域という）を登録する。図・写真要素領域に対応する減色前の画素値情報を、図・写真要素領域の識別番号に画素位置及び減色前の画素値情報を対応づけて記憶装置１３に記憶しておく。なお、登録する画素値情報は、図写真要素領域の外接矩形の画素値情報でもよいし、図・写真要素に対応する画素の画素値情報だけでもよい。図・写真要素に対応する画素の画素値情報だけとする場合、図写真要素領域の外接矩形のうち最外縁の外接矩形については、図・写真要素に対応する画素の画素値情報だけを取り出すことで対応できる。

・Ｓ９０
ステップＳ３０〜Ｓ８０の処理を全てのクラスタ色に対し行う。

・Ｓ１００
全てのクラスタ色に対し図・写真要素領域が登録されたら、図写真領域統合手段１８は図・写真要素領域を統合する。

・Ｓ１１０
図写真領域統合手段１８は、統合図写真領域を例えば元の画像データのファイル名と対応づけて記憶装置１３に記憶する。

図５に示した画像データでは、線図２２及び写真領域２３があるが、線図２２や写真領域２３は複数の図・写真要素領域で構成されている場合が多い。このため、ひとかたまりで図や写真を抽出するには線図２２や写真領域２３を構成する図・写真要素領域を個別に抽出するのでなく、これらをひとまとめに統合しておくことが好ましい。

図９（ａ）は、複数の図・写真要素領域を矩形で囲んだ画像データを示す。図６（ｂ）に示した白とそれ以外の画素の抽出から、線図２２はいくつかの白の連結成分があることが分かる（例えば、猫の顔、動体、足、しっぽ、耳、等）。したがって、これら１つ１つが図・写真要素領域となる（図９（ｂ）では一部の図・写真要素領域を省略している）。同様に、その他のクラスタ色について図・写真要素領域が検出される。

図９（ａ）では、線図２２に３つの図・写真要素領域２４〜２６を示し、写真領域２３には３つの図・写真要素領域２７〜２９を示した。図・写真要素領域２４〜２６、図・写真要素領域２７〜２９は、それぞれ本来ひとかたまりなので、統合することが好ましい。

統合方法には種々の方法が考えられるが、一部分が重複する図・写真要素領域２４〜２６、２７〜２９を連鎖的に全て抽出し、それらの図・写真要素領域をひとかたまりとして互いに対応づければよい。図９（ａ）に示したように、図・写真要素領域２４〜２６は一部又は全部が重複しているので、図・写真要素領域２４〜２６はひとかたまりに統合され、図・写真要素領域２７〜２９は全部が重複しているので図・写真要素領域２７〜２９はひとかたまりにそれぞれ統合される。図９（ｂ）は図・写真要素領域を統合した画像データを示す。統合された図・写真要素領域を、以下、統合図写真領域という。

なお、ステップＳ５０の特徴量により、図と写真が別々に判別できているのであれば、属性ごとに（図のみ又は写真のみ）統合してもよい。

・Ｓ１１０
画像処理装置１００は、統合図写真領域をそれぞれ個別に出力する。印刷してもよいし、記憶装置１３にＪＰＥＧなど所定のフォーマットで記憶しておいてもよい。したがって、ユーザは統合図写真領域を文書の作成などに利用することができる。

以上のように、本実施形態の画像処理装置１００は、原稿の画像データから図や写真をひとまとめに抽出することができる。クラスタ色に減色処理してクラスタ色毎に図・写真要素領域を抽出するので、背景色が２色以上でも図・写真要素を適格に抽出できる。

かかる効果は、例えば特開２００４−１１０４３４号公報の方法と比較すると分かりやすい。特開２００４−１１０４３４号公報の方法では、背景色を特定するが図６で例えば白を背景色とした場合、図６（ｂ）の「白とそれ以外」の「それ以外」の領域しか抽出できない。すなわち、写真領域２３のみを抽出することができず、第２の背景Ｂ２と写真領域２３を峻別できない。これに対し、本実施形態の画像処理装置１００は、図９（ｂ）に示すように、背景色が２色以上でも写真領域２３のみを適格に抽出できる。

また、図３のステップＳ５０のように複数の特徴量で総合的な判断を行っているので、線画（猫の線画）２２も文字２１と区別して抽出できる。

〔第２の実施形態〕
本実施形態では、２値画像を処理する画像処理装置１００について説明する。２値画像は第１の実施形態の一部を省略するだけで実現できる。２値画像であるので写真領域２３は存在しないとしてよく（存在しても写真として判別することは困難）、文字２１及び線画による線図２２が存在するだけである。

図１０は、本実施形態の本実施形態の画像処理装置１００のブロック図を示す。なお、図１０において図１と同一構成部分には同一の符号を付しその説明は省略する。図１０の画像処理装置１００は、色クラスタリング手段１４を有さない点で図１と異なる。２値画像を対象とするので、これ以上減色する余地がないためである。

図１１は、画像処理装置１００が図・写真要素を抽出する手順を示すフローチャート図である。なお、図１１において図３と同一ステップには同一の符号を付しその説明は省略する。

図１１では、図３のステップＳ３０とＳ４０の代わりに、ステップＳ３１とＳ３２の処理を有する。また、２値しかないのでステップＳ９０で全色に対し処理を繰り返す必要はないため、図３のステップＳ９０の判定は省略される。

・Ｓ３１、Ｓ３２
画素の連結は白画素と他方の画素（ここでは黒画素）に対して行う。この処理により、文字２１と線画２２があれば連結画素として抽出される。

・Ｓ５０
黒画素の連結画素の外接矩形が図・写真要素領域の候補領域となるが、候補領域内の特徴量を求める上で、多値画像に関する特徴量（第１の実施形態ではＡ１．エッジ強度）を求める必要がない。

・Ｓ６０
特徴量の判別も多値画像に関する特徴量以外で判別を行う。第１の実施形態の例ではＡ２.文字画素含有率、Ａ３.外接矩形サイズを用いればよい。したがって、線形和を用いて判別する場合、比較のための閾値も第１の実施形態よりも小さくなる。

これ以外の処理は第１の実施形態と同様である。すなわち、図・写真要素領域を統合することで線図２２がひとかたまりに抽出される。

本実施形態の画像処理装置１００によれば、画像取得手段１１が取得した画像データが２値画像か否かを判定し、２値画像の場合は２値画像に適した処理を施すことで、処理負荷を低減し、多値画像の場合と同様に図や写真を抽出できる。

〔第３の実施形態〕
処理対象の画像データがカラー画像やグレー画像の場合、第１の実施形態の処理を縮小画像に対して行えば、処理時間や実装時のメモリ使用量を削減でき有利である。本実施形態では、文字２１を消去し、縮小画像を作って図や写真を抽出する画像処理装置１００について説明する。

縮小画像を作ることにより、背景や写真部分が相異なる色（画素値）をもつ小さな点で構成される場合に、小さな点が周囲の色と融合して連結成分数が大きく減少することが期待できる。その結果、連結成分の増大を防ぐことができるので処理時間、メモリ使用量を削減できる。また、画像サイズ自体も小さくなるので連結成分数も減少する。

また、図・写真要素の抽出が目的であるので、色クラスタリングの対象画像には文字２１が含まれないことが望ましい。そこで、縮小画像の作成に先立ち、文字画素の位置を特定しておき、原画像から消去しておく。これにより、色クラスタリング時に文字色が混入することが防げるので、色クラスタリングの精度が高まる。

図１２は本実施形態の画像処理装置１００のブロック図を示す。なお、図１２において図１と同一構成部分には同一の符号を付しの説明は省略する。図１２の画像処理装置１００は、縮小画像を生成する縮小画像生成手段３１、文字２１を構成する画素を特定する文字画素特定手段３２及び文字２１を消去する文字消去手段３３を有する。

図１３は、画像処理装置１００が図・写真要素を抽出する手順を示すフローチャート図である。なお、図１３において図３と同一ステップには同一の符号を付しその説明は省略する。図１３では、ステップＳ１１〜Ｓ１３、Ｓ１０１の処理を有する点で図３と異なる。

・Ｓ１１
まず、文字画素特定手段３２は文字画素を特定する。文字画素の特定は、種々の方法があるが例えば、次のように処理する。
Ｓ１１−１：対象の画像データに対して背景色を特定する。背景色は文書全体に広く分布して、文字２１は単一色であることが多いことを考慮すると、最も画素数が多い色を背景色としてよい。背景色が多値である場合は、画素数が多い順に数種の背景色を特定する。

Ｓ１１−２：次に、背景色以外の画素が連結した部分領域を抽出し、部分領域から等色連結成分を抽出する。等色連結成分は、隣接する画素色が色空間上においてある一定の距離内にあれば同色とみてグループ化する操作を繰り返して得られる。こうして、部分領域内の画素はいずれかの連結成分に属することになる。

Ｓ１１−３：等色連結成分の特徴を抽出する。例えば、部分領域を構成する等色連結成分の色の種類の数を求める。この色の種類の数を予め定めてあったしきい値と比較し、しきい値よりも大きければ、当該部分領域を写真領域２３と判定する。しきい値は、実験的に求めておけばよい。

Ｓ１１−４：写真領域以外の部分領域から文字２１を抽出する。文字２１の抽出は、図８のフローチャート図で説明したように、Ａ１〜Ａ３の手法を用いることができる。

・Ｓ１２
次に、文字消去手段３３は元の画像データから文字２１を消去する。消去は、文字画素に隣接した又は周囲の画素の色で文字２１のある画素の画素値をおきかえる。置き換える画素値は背景色であるので、これにより文字画素を背景色とすることができた。

・Ｓ１３
縮小画像生成手段３１は、文字２１が消去された画像データから縮小画像を生成する。例えば、４分の１の縮小画像を生成するのであれば、元の画像データから４×４画素づつ取り出し、４×４画素の平均値を画素値とし、縮小画像の１画素の画素値とする。４画素ごとのダウンサンプリングを行っても良いが、網掛けや細かい点の影響を減じるためには平均値を取ったほうが良い。

・Ｓ２０〜Ｓ１００
以降の処理は第１の実施形態と同様である。すなわち、色クラスタリング、連結成分抽出、は縮小画像に対して行う。これらの処理を縮小画像に行うことで連結成分数を減らすことができる。

ところで、特徴量の抽出は原画像に対して行ったほうが良い場合と、縮小画像に対して行ったほうが良い場合がある。文字画素含有率は文字２１が細かい形状を持つために原画像の方が良い結果を生むことが多い。本実施形態では文字抽出のやり方を特に定めていないので、縮小画像に対して処理を行ったほうが良い場合もありえる。なお、縮小画像のほうが処理時間が短いという効果は特徴量抽出においても同じである。したがって、例えば、Ａ１．エッジ強度については縮小画像に対し行い、Ａ２．文字画素含有率については原画像について行い、Ａ３．外接矩形サイズについては縮小画像に対し行う。

・Ｓ１０１
ステップＳ１００までの処理で縮小画像に対し統合図写真領域がえられるので、統合図写真領域の画素を元の画像データの画素に変換する。すなわち、縮小画像の画素の位置情報（座標値）を元の画像データの座標値に変換する。統合図写真領域は矩形なので、四隅の画素の座標値を変換すればよい。

以上で、元の画像の統合図写真領域を特定することができた。画像処理装置１００は元の画像データから統合図写真領域を抽出して出力する。

本実施形態の画像処理装置１００は、処理対象の画像データを縮小することで、処理時間、メモリ使用量を削減できる。

〔第４の実施形態〕
第１又は第３の実施形態では色クラスタリング処理を実行したが、条件によっては色クラスタリングの処理結果が不安定になる場合がある。たとえば、次のような場合である。
・対象の原稿で使用されている色数が多い場合
クラスタ色が多くなると計算量が増大するのであまり多く取れない。元の色数に比べクラスタ色が少ないと、本来別のクラスタ色に分類すべき色が一緒になり、正しい候補領域を取得できない可能性がある。
・グレー画像の場合
色同士が明度の違いしかなく互いに似た色であるため、別のクラスタ色に分類されるべき領域が１つのクラスタ色にまとまりがちになり、正しい候補領域を取得できない可能性がある。

そこで、本実施形態では、色数が多い画像データやグレー画像から安定して図・写真要素を抽出できる画像処理装置１００について説明する。

例えば、色数が多くても写真はたいていの場合、多くのエッジを含む。エッジがない写真はピントがひどくぼけてしまっている状態で、そのような例は少ないと思われる。また、線画２２の場合は確実にエッジが存在する。そのため、エッジを手がかりにすれば候補領域を抽出しやすくなる。また、エッジの検出と色クラスタリングによる候補領域抽出とを併用すると、候補領域の抽出漏れが減ると考えられる。

そこで、本実施形態の画像処理装置１００は、
・エッジ検出を行い、エッジがある画素の連結画素抽出を行う。
・連結画素を図・写真要素領域に追加する。

これにより、色クラスタリングが不安定な場合でも候補領域の抽出が容易になり、特に図（線画）の抽出を行いやすくできる。

図１４は、本実施形態の画像処理装置１００のブロック図を示す。なお、図１４において図１と同一構成部分には同一の符号を付しその説明は省略する。図１４の画像処理装置１００はエッジを検出するエッジ検出手段３４を有する。エッジ検出手段３４は、画素のＲＧＢの各成分毎にエッジを検出する。

図１５は、本実施形態の原画像の画像データを、図１６は減色画像をそれぞれ示す。本実施形態の画像データは線図２２の上にグレーのハート模様３０を有する。図１５のハート模様３０は、第１の背景Ｂ１と似た色である。このため、第１の実施形態のように色クラスタリングすると、第１の背景Ｂ１と同じクラスタ色に減色され、図１６に示すように減色画像にはハート模様３０が白のクラスタ色にまとめられてしまう。

図１７は、画像処理装置１００が図・写真要素を抽出する手順を示すフローチャート図である。なお、図１７において図３と同一ステップには同一の符号を付しその説明は省略する。

ステップＳ３０とＳ４０により、図６に示したように特定のクラスタ色を持つ連結画素とそれ以外の連結画素を抽出する。これを全クラスタ色に対して繰り返すことで、白とそれ以外、黒とそれ以外、黄とそれ以外、緑とそれ以外及びグレートそれ以外、の連結画素を抽出する。

・Ｓ４２
エッジ検出手段３４は、「元の」画像データからエッジを検出する。エッジ検出は画素ごとに行う。例えば、グレー画像の場合には各画素を中心として以下の空間フィルタを施し、その絶対値があらかじめ定めた値よりも大きい場合に、エッジであると判定する。

−１ −１ −１
−１ ８ −１ …（１）
−１ −１ −１
カラー画像の場合は、ＲＧＢ成分ごとに上述のフィルタを施し、一成分でもあらかじめ定めた値を超えた場合にエッジがあると判定する。

他のやり方として、ＲＧＢ成分ごとに以下の２種類のフィルタを施し、その２乗和があらかじめ定めた値よりも大きい場合にエッジであると判定してもよい。

−１ −１ −１ −１ ０ １
０ ０ ０ −１ ０ １ …（２）
１ １ １ −１ ０ １
このフィルタ（２）は最初に示したフィルタ（１）に比べて細かいノイズに鈍感であるという傾向がある。例えば、背景が細かいドットで構成されている中間色である場合に、各ドットをエッジとして拾いにくいという利点がある。なお、エッジが検出された画素を黒画素とした二値画像が生成される。

図１８は、エッジ画像の一例を示す。ハート模様３０は、色クラスタリングで消失してしまうが、エッジ画像ではハート模様３０が消失することなく検出されている。

・Ｓ４３
連結成分抽出手段１５は、エッジ画像からエッジ画素の連結成分を抽出しその外接矩形を図・写真要素領域として追加する。図１６に示したように、ハート模様３０のグレーは色が白に比較的近いため独立したグループにならず、減色画像から候補領域を抽出すると、ハート模様３０の部分は図・写真要素領域として抽出できないことになる。

しかし、エッジ画像から候補領域を抽出することで、ハート模様３０を図・写真要素領域の候補領域にすることができる。

以降の処理は第１の実施形態と同じである。ステップＳ９１で「全領域を吟味したか」を判定するが、これはクラスタ色の全ての候補領域とエッジ画像の全ての候補領域を吟味したかを判定するものでステップＳ９０と同じである。

図１９（ａ）は、複数の図・写真要素領域を矩形で示した画像データを示す。図１９（ａ）では、ハート模様３０が抽出されていることがわかる。図１９（ｂ）は、図・写真要素領域を統合した画像データを示す。ハート模様３０は他の図・写真要素領域と重複していないので、ハート模様３０のみで統合図写真領域となる。

本実施形態によれば、第１の実施形態の効果に加え、色クラスタリングが適切に行えなかった場合でも、エッジによる候補が抽出されているので、クラスタ色を多くすることなく、色数の多い画像データやグレーの画像データから、図や写真の抽出漏れを低減することができる。

〔第５の実施形態〕
第４の実施形態では、色クラスタリングとエッジの検出の双方を行ったが、色クラスタリングを行わずにエッジ画像のみから図・写真要素の候補領域を抽出することができる。色クラスタリングを行わないので、処理時間を低減することができる。

図２０は本実施形態の画像処理装置１００のブロック図を示す。なお、図２０において図１４と同一構成部分には同一の符号を付しその説明は省略する。図２０の画像処理装置１００は色クラスタリング手段１４を有さない点で異なる。

また、図２１は、画像処理装置１００が図・写真要素を抽出する手順を示すフローチャート図である。なお、図２１において図１７と同一ステップには同一の符号を付しその説明は省略する。図２１では、色クラスタリング（Ｓ２０）、特定のクラスタ色毎の連結画素の抽出（Ｓ３０〜Ｓ４１）を有さない。その他の処理は図１７と同様である。

本実施形態の画像処理装置１００によれば、第４の実施形態の効果に加え、色クラスタリングを行わないことで、処理時間を低減することができる。

〔画像処理装置１００の構成例〕
図２２は、画像処理装置１００の構成図の一例を示す。図２２の画像処理装置１００は、画像取得手段１１を別体に設け、画像取得手段１１とネットワーク又は１対１に接続されたＰＣ４０を有する。ＰＣ４０が次述するハードウェア構成を用いてソフトウェアと協働して第１〜第５の実施形態で説明した処理を実現する。なお、上述したように、例えばＭＦＰが単体で画像処理装置１００を実現してもよい。

図２３は、ＰＣ４０のハードウェア構成図を示す。ＰＣ４０は、ＣＰＵ４０１、作業領域となるメモリ（ＲＡＭ）４０２、ハードディスク（図１の記憶装置１３に相当する）４０３、キーボードやマウスなどの入力装置４０４、ＣＤ−ＲＯＭドライブ４０５、ディスプレイ４０６、などがバスにより接続されて構成されている。

ハードディスク４０３には、ＣＰＵ４０１が実行して、画像格納手段１２、色クラスタリング手段１４，連結成分抽出手段１５、特徴量取得手段１６、特徴量判別手段１７、図写真領域統合手段１８、縮小画像生成手段３１、文字画素特定手段３２、文字消去手段３３及びエッジ検出手段３４を実現するためのプログラム４１が記憶されている。

ＣＰＵ４０１は、ハードディスク４０３からプログラム４１を読み出し実行することで各手段を実現する。実現された各手段により、画像取得手段１１が取得した画像データから統合図写真領域が抽出され、ハードディスク４０３に保存したり、必要に応じてディスプレイ４０６に出力したり、プリンター４０８で印刷される。また、同じＰＣ４０やネットワークで接続された他のＰＣで実行されている別のソフトウェア（アプリケーション）に統合図写真領域を出力してもよい。

なお、プログラム４１は、ＣＤ−ＲＯＭなどの記録媒体４０７に記憶して配布され、記憶媒体４０７からハードディスク４０３にインストールされる。ネットワークを介してサーバからプログラム４１をダウンロードしてもよい。

〔図・写真要素の再利用〕
抽出した統合図写真領域を再利用する実施形態について説明する。抽出した統合図写真領域は、新規の文書作成において再利用することができるので、統合図写真領域を容易に再利用できる画像処理装置１００について説明する。

図２４は、図・写真要素の再利用を考慮した画像処理装置１００のブロック図の一例を示す。画像処理装置１００のハードウェア構成は図２３と同様であって、ＰＣ４０のＣＰＵ４０１がプログラム４１を実行することで、画像データの画像を表示する画像表示手段５１、表示された画像に対するユーザの操作を取得する操作取得手段５２、抽出された統合図写真領域を表示する統合図写真領域表示手段５３、抽出された統合図写真領域を画像データから切り出す統合図写真領域切り出し手段５５、新規に文書を作成する他のアプリケーションと連携する他アプリ連携手段５４、とが実現される。

なお、統合図写真領域抽出手段５０は、第１〜第５の実施形態にて説明した各手段を有し、操作取得手段５２が取得したユーザの操作に応じて、画像データから第１から第５の実施形態を実行し統合図写真領域を抽出する。

したがって、ハードディスク４０３に記憶されるプログラム４１は、統合図写真領域抽出手段５０に加え、画像取得手段１１、画像表示手段５１、操作取得手段５２、統合図写真領域表示手段５３、他アプリ連携手段５４及び統合図写真領域切り出し手段５５、を実現するプログラムである。

以下、画像処理装置１００が提供する統合図写真領域の再利用について、図２５のアプリケーション実行例、及び、図２６のフローチャート図に基づき説明する。まず、ユーザの操作又は画像取得手段１１で画像を入力するとアプリケーションプログラムが自動的に立ち上がる（Ｓ２１０）。なお、ハードディスク４０３に記憶された画像データのファイル名をユーザがマウス等で指定するとリンクされた自動抽出アプリが立ち上がるとしてもよい。

図２５（ａ）は、ディスプレイ４０６に表示されたアプリケーションプログラムのＧＵＩ（Graphical User Interface）を示す。このアプリケーションプログラムを図２５では自動抽出アプリとした。自動抽出アプリは対象となる画像データから自動的に線図２２や写真領域２３を判別し、切り出す機能（統合図写真領域抽出手段５０に相当）を有する。

自動抽出アプリのＧＵＩには、ボタン６１、６２、画像データ表示欄６３、候補欄６４が形成され、画像データ表示欄６３に画像データが表示される。ボタン６１は統合図写真領を抽出するための「自動抽出ボタン」で、ボタン６２は他のアプリケーションと連携するための「他アプリ連携ボタン」である。ボタン６２により連携される他のアプリケーションは自動抽出アプリに予め登録しておいてもよいし、ボタン６２が操作される毎に連携可能なアプリケーションを一覧で表示してもよい。

ついで、画像表示手段５１は画像データを画像データ表示欄６３に表示する（Ｓ２２０）。画像データの表示には２つの手順があり、ユーザがマウスなどのポインティングデバイスなどで自動抽出アプリの「ファイル」欄から画像データのファイルを指定することで、画像データが画像データ表示欄６３に表示される。また、自動抽出アプリを立ち上げる前に、画像データのファイル名をユーザがマウス等で指定した場合、自動抽出アプリが立ち上がると自動的に画像データが画像データ表示欄６３に表示される。

図２５（ａ）に示すように、画像データが画像データ表示欄６３に表示された状態で、マウス等によりボタン６１が選択されると、操作取得手段５２が統合図写真領域を抽出するという操作内容を取得し、統合図写真領域抽出手段５０が第１〜第５の実施形態で説明した方法で統合図写真領域を抽出する（Ｓ２３０）。

統合図写真領域抽出手段５０が統合図写真領域を抽出すると、統合図写真領域表示手段５３が候補欄６４に抽出した統合図写真領域を表示する（Ｓ２４０）。

図２５（ｂ）は画像データと共に統合図写真領域が表示されたＧＵＩの一例を示す。ユーザは、表示された統合図写真領域を視認して、抽出された統合図写真領域のうち再利用したい統合図写真領域をマウスなどで選択できる。

なお、統合図写真領域でない領域のみが抽出された場合、ユーザは画像データ表示欄６３から統合図写真領域を指定する。これにより、統合図写真領域抽出手段５０は、選択された領域にのみに色クラスタリング処理等を施せばよいので、統合図写真領域の抽出が容易なる。また、統合図写真領域の抽出を容易にするため、例えばＡ１〜Ａ３の個々の特徴量の重み付き線型和と閾値で図・写真要素領域を判定する場合、閾値を低くすることが好ましい。閾値を低く調整することで図・写真要素領域の判定を緩和し、図・写真要素領域が抽出しやすくなる。この場合、図・写真要素領域でない領域が抽出されても再利用しなければよいだけなので、実用上の不都合はない。

操作取得手段５２は、候補欄６３に表示した統合図写真領域からユーザが選択した統合図写真領域を検出する（Ｓ２５０）。ユーザが選択した統合図写真領域を検出すると、操作取得手段５２は画像表示手段５１に選択された統合図写真領域を通知する。これにより、選択された統合図写真領域が強調表示され、ユーザは選択された統合図写真領域を確認できるようになる。図２５（ｂ）では選択された統合図写真領域を矩形６５で囲むことで強調表示した。

ついで、ユーザの操作に応じて統合図写真領域切り出し手段５５は、選択された統合図写真領域を画像データから切り出す（Ｓ２６０）。選択した統合図写真領域を他のアプリケーションで再利用するためユーザがボタン６２を操作すると、統合図写真領域切り出し手段５５は、画像データのうち統合図写真領域に対応する領域の画素の画素値を抽出する。これにより、画像データから統合図写真領域が複写されることになる。

ついで、ボタン６２の操作に応じて、他アプリ連携手段５４は連携する所定のアプリケーションに起動を要求する（Ｓ２７０）。所定のアプリケーションは、予め自動抽出アプリと連携するアプリケーションとして自動抽出アプリに登録（関連付け）されており、登録されたアプリケーションが２以上ある場合、例えば連携可能な複数のアプリケーションがポップアップ表示される。なお、自動抽出アプリに連携するアプリケーションが登録されていない場合、他アプリ連携手段５４は例えばＯＳに統合図写真領域に対応したアプリケーションを問い合わせ、かかるアプリケーションを起動させる。本実施形態では、例えば、ワープロのアプリケーションが起動されるものとする。

他のアプリケーションが起動されると、他アプリ連携手段５４は、ワープロのアプリケーションに、切り出された統合図写真領域を転送する（Ｓ２８０）。これにより、ワープロのアプリケーションに処理が移行し、ワープロのアプリケーションは転送された統合図写真領域を所定の位置（例えば、入力行の下）に表示する。

図２５（ｃ）はディスプレイ４０６に表示されたワープロのアプリケーションのＧＵＩを示す。図２５（ｃ）では、ワープロのアプリケーションのＧＵＩに、ユーザが入力したテキスト及び統合図写真領域が表示されている。したがって、ユーザはワープロのアプリケーションで統合図写真領域を再利用することができる。

なお、図２５、２６では他のアプリケーションで統合図写真領域を再利用する際に、１つの画像データから統合図写真領域を抽出したが、予め統合図写真領域を抽出してハードディスク４０３に記憶しておいてもよい。この場合、画像データのファイル名をファイル一覧からユーザがマウスなどで指定しておき、統合図写真領域抽出手段５０に画像データの全ての統合図写真領域の抽出を指示する。自動抽出アプリは起動していても起動していなくてもよい。統合図写真領域抽出手段５０は、抽出した統合図写真領域に重複しないファイル名を付与してハードディスク４０３に記憶していく。したがって、ユーザは、既に抽出された統合図写真領域から所望の統合図写真領域を選択することができる。

以上のように、本実施形態の画像処理装置１００は、統合図写真領域を自動的に抽出でき、さらに、容易に他のアプリケーションで統合図写真領域を再利用することができる。

画像処理装置のブロック図である（第１の実施形態）。 図・写真要素を抽出する対象とする画像データ（原画像）の一例を示す図である。 画像処理装置が図・写真要素を抽出する手順を示すフローチャート図である（第１の実施形態）。 色クラスタリングの手順を示すフローチャート図である。 色クラスタリング処理を施した減色画像の一例を示す図である。 クラスタ色の画素とそれ以外の画素を分けて示した例を示す図である。 黒画素の連結成分の外接矩形の一例を示す図である。 文字の抽出の手順を示すフローチャート図である。 複数の図・写真要素を矩形で囲んだ画像データを示す。 画像処理装置のブロック図である（第２の実施形態）。 画像処理装置が図・写真要素を抽出する手順を示すフローチャート図である（第２の実施形態）。 画像処理装置のブロック図である（第３の実施形態）。 画像処理装置が図・写真要素を抽出する手順を示すフローチャート図である（第３の実施形態）。 画像処理装置のブロック図である（第４の実施形態）。 原画像の画像データを示す図である。 減色画像の示す図である。 画像処理装置が図・写真要素を抽出する手順を示すフローチャート図である（第４の実施形態）。 エッジ画像の一例を示す図である。 複数の図・写真要素領域を矩形で示した画像データを示す図である。 画像処理装置のブロック図である（第５の実施形態）。 画像処理装置が図・写真要素を抽出する手順を示すフローチャート図である（第５の実施形態）。 画像処理装置の構成図の一例を示す図である。 ＰＣのハードウェア構成図の一例である。 図・写真要素の再利用を考慮した画像処理装置のブロック図の一例である。 アプリケーション実行例を説明する図である。 画像処理装置が提供する統合図写真領域の再利用の手順を示すフローチャート図である。

符号の説明

１１ 画像取得手段
１２ 画像格納手段
１３ 記憶装置
１４ 色クラスタリング処理
１５ 連結成分抽出手段
１６ 特徴量取得手段
１７ 特徴量判別手段
１８ 図写真領域統合手段
３１ 縮小画像生成手段
３２ 文字画素特定手段
３３ 文字消去手段
３４ エッジ検出手段
４１ プログラム
５０ 統合図写真領域抽出手段
５１ 画像表示手段
５２ 操作取得手段
５３ 統合図写真領域表示手段
５４ 他アプリ連携手段
５５ 統合図写真領域切り出し手段
１００ 画像処理装置
４０７ 記憶媒体

Claims (15)

1. カラーの画像データから図又は写真を形成する図写真画素の画素値情報を抽出する画像処理装置であって、
   画像データの画素値を、画像データ全体の色数よりも少ない複数の色の代表画素値に置き換える画素値置き換え手段と、
   同じ色の代表画素値が連続した候補領域を特定し、各色別に前記候補領域を抽出する候補領域抽出手段と、
   前記候補領域毎に記号を形成する画素が含まれる程度を示す特徴量を取得する特徴量取得手段と、
   前記特徴量に基づき記号が含まれる前記候補領域は前記図写真画素を有さないと判定する特徴量判定手段と、
   前記図写真画素を有すると判定された前記候補領域であって、一部又は全部が重畳する前記候補領域を統合する統合手段と、
   を有することを特徴とする画像処理装置。
2. 前記代表画素値で置き換える前の画像データからエッジ情報を検出するエッジ検出手段を有し、
   前記候補領域抽出手段は、エッジ情報が連続した領域を前記候補領域とした後、前記画素値置き換え手段が代表画素値に置き換えた画像データから前記候補領域を抽出する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画素値置き換え手段は、画像データの画素値に基づき色クラスタリングする、
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記画像データが１つの画素毎に複数の成分を有するカラー画像の場合、
   前記画素値置き換え手段は、
   前記成分毎に量子化した量子化画素値のヒストグラムを生成し、最も頻度の高い量子化画素値から所定数を前記代表画素値に決定し、量子化前の画素値を、複数の前記代表画素値のうち最も近い前記代表画素値に置き換える、
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記候補領域抽出手段は、
   前記代表画素値に置き換えられた画像データから、同じ前記代表画素値が連続した一連の画素のみを抽出し、全ての前記代表画素値毎にこれを繰り返して前記候補領域を抽出する、
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記特徴量取得手段は、
   前記候補領域毎のエッジ強度情報、前記候補領域の間隔及び所定間隔以下に連続した連続数に基づく記号行程度情報、並びに、前記候補領域毎の外接矩形形状情報、を取得し、
   前記特徴量判定手段は、これらの全てが所定の条件を満たさない場合に、前記候補領域が前記図写真画素を有すると判定する、
   ことを特徴とする請求項１〜５いずれか１項記載の画像処理装置。
7. 画像データを前記代表画素値で置き換える前に、
   前記画像データから記号を形成する記号画素を特定する記号画素特定手段と、
   前記記号画素特定手段により特定された記号画素を、記号画素に隣接した画素の画素値で置き換える記号消去手段、を有し、
   前記画素値置き換え手段は、前記記号消去手段により記号画素が消去された画像データの画素値を画素値に応じて複数の代表画素値に置き換える、
   ことを特徴とする請求項１項記載の画像処理装置。
8. 前記記号画素特定手段は、
   画像データから決定された背景色以外の画素の画素値から等色連結成分を抽出し、等色連結成分の色の数が閾値を超えた場合、等色連結成分を写真領域と推定し、
   写真領域以外の等色連結成分の領域の、エッジ強度情報、等色連結成分の領域の間隔及び所定間隔以下に連続した連続数に基づく記号行程度情報、並びに、等色連結成分の領域の外接矩形形状情報、に基づき記号画素を特定する、
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記記号消去手段が画像データから記号を消去した後に、画像データを縮小する縮小画像生成手段を有し、
   前記画素値置き換え手段は、前記縮小画像生成手段により縮小された画像データの画素値を画素値に応じて複数の代表画素値に置き換える、
   ことを特徴とする請求項７記載の画像処理装置。
10. 前記統合手段により統合された統合図写真領域を表示装置に表示する統合図写真領域表示手段と、
    統合図写真領域を画像データから切り出す統合図写真領域切り出し手段と、
    前記統合図写真領域切り出し手段により切り出された統合図写真領域を、電子文書を生成する生成手段に送出する連携手段と、
    を有することを特徴とする請求項１〜９いずれか１項記載の画像処理装置。
11. 前記画素値置き換え手段は、背景色を特定することなく、画像データの画素値を複数の色の代表画素値に置き換える、
    ことを特徴とする請求項１記載の画像処理装置。
12. 前記画像データは、輝度が連続的に変化するグラデーション領域を含む、ことを特徴とする請求項１記載の画像処理装置。
13. カラーの画像データから図又は写真を形成する図写真画素の画素値情報を抽出する画像処理方法であって、
    画素値置き換え手段が、画像データの画素値を、画像データ全体の色数よりも少ない複数の色の代表画素値に置き換えるステップと、
    候補領域抽出手段が、同じ色の代表画素値が連続した候補領域を特定し、各色別に前記候補領域を抽出するステップと、
    特徴量取得手段が、前記候補領域毎に記号を形成する画素が含まれる程度を示す特徴量を取得するステップと、
    特徴量判定手段が、前記特徴量に基づき記号が含まれる前記候補領域は前記図写真画素を有さないと判定するステップと、
    統合手段が、前記図写真画素を有すると判定された前記候補領域であって、一部又は全部が重畳する前記候補領域を統合するステップと、
    を有することを特徴とする画像処理方法。
14. コンピュータを、
    画像取得手段が取得した画像データを記憶手段に記憶させる画像格納手段と、
    画像データが記憶された記憶手段からカラーの画像データを読み出し、画像データの画素値を画素値に応じて、画像データ全体の色数よりも少ない複数の色の代表画素値に置き換える画素値置き換え手段と、
    同じ色の代表画素値が連続した候補領域を特定し、各色別に前記候補領域を抽出する候補領域抽出手段と、
    前記候補領域毎に記号を形成する画素が含まれる程度を示す特徴量を取得する特徴量取得手段と、
    前記特徴量に基づき記号が含まれる前記候補領域は図又は写真を形成する図写真画素を有さないと判定する特徴量判定手段と、
    前記図写真画素を有すると判定された前記候補領域であって、一部又は全部が重畳する前記候補領域を統合して、図又は写真を形成する図写真画素の画素値情報として記憶手段に記憶する統合手段と、
    として機能させることを特徴とするプログラム、
15. 請求項１４記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images