JP6547386B2

JP6547386B2 - 画像処理装置及び方法

Info

Publication number: JP6547386B2
Application number: JP2015086780A
Authority: JP
Inventors: シエ・シュフゥ; 源何; 俊孫
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-04-24
Filing date: 2015-04-21
Publication date: 2019-07-24
Anticipated expiration: 2035-04-21
Also published as: US9449222B2; JP2015211471A; US20150310302A1; CN105096347A; CN105096347B

Description

本発明は画像処理の技術分野に関し、具体的には、指画像といった対象画像の境界を検出する装置と方法に関する。

ここで本発明に関する背景情報を提供するが、これらが必ずしも従来技術とは限らない。

オーバーヘッド型のスキャンナを用いて文書画像をスキャンする時、又は、構成されたカメラ／スマートフォンを用いて文書を撮影する時、ユーザは指で文書を押さえながらスキャン又は撮影を行うため、ユーザの指がスキャン又は撮影画像に映される場合がある。これがスキャン／撮影された文書画像の外見を損なうことになるため、画像上の指領域を除去する必要がある。指画像を除去するために、通常は二つのステップが必要であり、まず指領域を検出して、次に指領域を除去する。

指の自動検出の問題を画像分割の問題であると見てもよい。一部の肌色分割方法では異なる色表現（例えば、RGB、HSV又はYCbCr）と分類アルゴリズム（例えば、ベイズ分類器と混合ガウスモデル）を利用して肌色領域を分割している。しかし、予め定義された肌色モデルは、異なる環境における色の変化を有効に描き出すことができない。一方、自己適応の肌色モデルは異なる光照射条件における肌色変化をよりよく表現できるため、より優れた分割効果が得られる。しかし、肌色と背景の色が近似する場合、色だけで手の領域を分割することがとても難しくなる。また、背景領域に肌色と類似する画素が現れた場合、構築された肌色モデルの表現がこれらの画素に影響されることがある。

本発明の目的は、指画像といった対象画像の境界の検出精度を高めることにより、画像の中から対象画像を簡単に除去し、処理後に、よりきれいな画像が得られる画像処理装置と画像処理方法を提供することにある。

以下、本発明の一般概要を説明するが、本発明の全範囲又は全特徴を開示するものではない。

本発明の一つの側面は画像処理装置を提供し、当該装置は、対象画像を含む画像を取得する取得手段と、前記画像の色とエッジ特徴に基づいて、一つ又は複数の候補対象画像領域を算出する算出手段と、所定の色モデルに基づいて、前記一つ又は複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択する選択手段と、前記一つ又は複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する確定手段と、前記第1の対象画像領域と前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築する構築手段と、前記自己適応色モデルに基づき、前記第1の対象画像領域と前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出する検出手段とを含む。

本発明のもう一つの側面は画像処理方法を提供し、当該方法は、対象画像を含む画像を取得するステップと、前記画像の色とエッジ特徴に基づいて、一つ又は複数の候補対象画像領域を算出するステップと、所定の色モデルに基づき、前記一つ又は複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択するステップと、前記一つ又は複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定するステップと、前記第1の対象画像領域と前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築するステップと、前記自己適応色モデルに基づき、前記第1の対象画像領域と前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出するステップとを含む。

本発明のもう一つの側面はプログラムを提供し、当該プログラムは、マシンが読み出し可能な命令コードを含み、コンピュータが上記命令コードを読み出して実行する時、前記コンピュータに本発明の画像処理方法を実行させることができる。

本発明のもう一つの側面はマシンが読み出し可能な記憶媒体を提供し、この記憶媒体には本発明のプログラムが記憶されている。

本発明の画像処理装置と方法によれば、エッジと色特徴を利用して、候補指シード領域といった位置候補対象画像領域の位置を測定し、そして、候補指シード領域の中から、予め定義された指色モデルと最も類似する領域を選択する。そして、選択されたシード領域を利用して、その他の候補指シード領域を検証し、一部の無効な指シード領域を取り除く。最後に、残された候補指シード領域のそれぞれに対し自己適応の肌色モデルを構築することで、対応する指領域を抽出する。したがって、本発明の画像処理装置と方法によれば、対象画像の境界の検出精度を高めることが可能となり、画像の中から対象画像を簡単に除去し、処理後に、よりきれいな画像が得られる。

以上の説明は本発明の適用可能な範囲を一層明確にするものである。この概要における説明と特定の例は、発明の概略を示すことが目的であり、本発明の範囲を限定するものではない。

ここで説明する図面は、選択された実施例の概略を示すことが目的であり、全部の実施可能性を示すものではない。また、本発明の範囲はこれによって限定されない。

また、本発明に対しさまざまな修正や代替様態を実施することが容易であるが、その特定の実施例について既に図面で例示しており、又は以下の説明で開示される。ここで、特定の実施例に関する説明は本発明を以上に開示した具体的な様態に制限する意図ではなく、逆に、本発明の趣旨と範囲内のすべての修正やそれに相当するもの、及び代替様態も本発明に含まれることを理解すべきである。また、注意すべきなのは、複数の図面において、同じ符号がそれに対応する同じ部品を示すものである。
本発明の技術案が対象とする画像例を示す概略図である。本発明の実施例に係る画像処理装置のブロック図である。本発明の実施例に係る画像処理装置の応用例の概略図である。本発明の実施例に係る画像処理装置の算出手段のブロック図である。本発明の実施例に係る画像処理装置の応用例の概略図である。本発明の実施例に係る画像処理装置の応用例の概略図である。本発明の実施例に係る画像処理装置の確定手段のブロック図である。本発明のその他の実施例に係る画像処理装置のブロック図である。本発明の実施例に係る画像処理装置の対象画像取得手段のブロック図である。本発明の実施例に係る画像処理装置の応用例の概略図である。本発明の実施例に係る画像処理装置の応用例の概略図である。本発明の実施例に係る画像処理方法のフローチャートである。本発明の実施例に係る画像処理装置と方法を実現可能な汎用パーソナルコンピュータの例示構造のブロック図である。

以下、図面を参照しながら本発明の例をより詳しく説明する。以下の記載は実質的に例示のみであり、本発明とその応用又は用途を限定するものではない。

例示された実施例は、本発明を詳しく説明し、その範囲を当業者に充分伝えるために提供される。本発明の実施例を細部に亘って理解できるよう、特定の部品、装置や方法の例といった特定の細部構造が数多く記載されている。当業者にとって、特定の細部構造に頼らず、例示した実施例をさまざまな異なる様態で実施可能であること、及びこれらの様態も本発明を制限しないことが明らかである。例示した一部の実施例では、周知のプロセス、周知の構造、及び周知の技術に関する詳細説明を省略している。

図1は本発明の技術案が対象とする画像の例を示している。例えば、ヘッドオーバー型のスキャンナを用いて本Bをスキャンする時、ユーザは左手LHと右手RHの指で本の両側を押さえながらスキャンを行う。これにより、図1の左側の（a）が示すような画像が得られる。当該分野の既知の方法を用いてこの得られた画像を校正するができる。例えば、画像の上下境界を抽出したうえ、曲面から平面に変換することで校正後の画像を得ることができる。図1の右側の（b）は校正後の画像の例を示している。図1の右側の（b）が示すように、校正後の本のスキャン画像において、指画像Fが本の両側の境界上に映され、これによって校正後の画像の外観が著しく損なわれている。したがって、校正画像上の指画像Fを除去する必要がある。

指画像Fを除去するために、通常は二つのステップが必要である。まずは指領域を検出し、その次に指領域を除去する。本発明の技術案を用いることで、図1の右側の（b）が示すような指領域を検出する精度を高めることができるため、指領域を簡単に除去し、校正後に、よりきれいな本のスキャン画像が得られる。

図2が示すように、本発明の実施例の画像処理装置200は取得手段210、算出手段220、選択手段230、確定手段240、構築手段250、及び検出手段260を含むことが可能である。

取得手段210は対象画像を含む画像を取得することができる。指はいつも文書のある特定の側から入り込むため、この特定の側に近い領域を考えるだけでよい。例えば、図3が示すように、文書のある特定の側（左側又は右側）に近い一部の画像ブロックを入力画像から切り取ってもよい。画像の左側と右側からそれぞれ切り取った画像ブロックをPLとPRとする。以下は、左側の画像ブロックPLを例に指シード領域の位置検出の流れを説明する。

取得手段210が取得した画像の色とエッジ特徴に基づいて、算出手段220は一つ又は複数の候補対象（指）画像領域を算出することができる。候補指画像領域は候補指シード領域と呼ばれることもあり、その中から最終の指シード領域を得ることができる。

所定の色モデルに基づき、選択手段230は算出手段220が算出した一つ又は複数の候補対象画像領域の中から、所定の色モデルとの最大類似度を有する候補対象画像領域を第1の対象画像領域として選択することができる。当該所定の色モデルは指定された指データに基づいて算出されたものである。ある候補対象画像領域が所定の色モデルとの最大類似度を有する場合、当該候補対象画像領域の特徴が指定された指データ特徴に最も近いことを示しているため、その次に行われる比較処理の参照や基準にしてもよい。ここで、所定の色モデルとの最大類似度が類似度閾値以上であるべきである。言い換えれば、最大類似度が類似度閾値より小さい場合、すべての候補対象画像領域が取り除かれ、取得手段210が取得した画像において対象画像領域が見つからないことになる。

続いて、算出手段220が算出した一つ又は複数の候補対象画像領域の色特徴に基づいて、確定手段240は選択手段230が選択した第1の対象画像領域を用いて、一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する。第1の対象画像領域と第2の対象画像領域はつまり得られた指シード領域である。

次に、構築手段250は、選択手段230が選択した第1の対象画像領域と確定手段240が確定した第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築することができる。

最後に、検出手段260は、構築手段250が構築した自己適応色モデルに基づき、選択手段230が選択した第1の対象画像領域と確定手段240が確定した第2の対象画像領域の中の各領域において、対象画像を含む領域を検出することができる。

本発明の実施例の画像処理装置200では、領域に基づく自己適応肌色モデルを構築している。まず、色とエッジ情報を利用して候補の指シード領域を検出する。次に、これらのシード領域の中から予め定義された肌色モデルと類似する領域を選択する。そして、選択したシード領域に基づいてその他のシード領域を検証することで、無効のシード領域を除去する。最後に、保留された各シード領域に対し、自己適応の肌色モデルを構築することで、対応する指部分を抽出する。これにより、指領域の境界の検出精度を高めることができ、画像の中から指画像を簡単に除去し、処理後に、よりきれいな画像が得られる。

本発明の技術案を十分理解できるよう、以下は図2が示す画像処理装置200の関連構成についてより詳しく説明する。

図4は本発明の実施例の画像処理装置の中の算出手段400のブロック図である。図4が示す算出手段400は図2が示す算出手段220に対応する。

算出手段400はページ色算出手段410、距離算出手段420、色画像算出手段430、エッジ画像算出手段440、統合手段450、及び連結領域解析手段460などを含むことが可能である。

ページ色算出手段410は、取得手段210（図1が示すように）が取得した画像（図5の（a）が示すように）の中の各画素の色に基づいて、ページ色を算出することができる。

特に、文書における指検出問題に関して、基本的に指の色とページの色が異なることを想定している。本発明の技術案では、まずページの色（即ち、背景色）を推測し、次に背景色と異なる色の領域を保留する。ここで、YUVの色空間を利用可能であり、かつ、UとV成分のみを利用し、Y成分を除く。これは、Yは光照射強度を反映し、光照射変化の影響を受けやすいからである。切り取った画像ブロックPLにおいて、画素毎のUとV値が異なるビン（bin）に量化して、対応する2次元ヒストグラムを算出する。当該ヒストグラムにおいて、最大値を有するビンを選択するとともに、ページの色として当該ビンに属する画素の色平均値を算出し、（U_page、V_page）と記す。

ページ色を取得した後、距離算出手段420は画像の中の各画素の色とページ色との間の距離を算出することで距離図を得ることができる。なお、距離算出手段420は以下の式（1）で一つの色距離図Dを算出することができる。

ここで、U_i、jとV_i、jはそれぞれ画素（i、j）のU成分とV成分を示す。

色画像算出手段430は、距離算出手段420によって得られた距離図に基づき、2値画像を算出することができる。

図4が示すように、色画像算出手段430は分類手段431を含むことが好ましい。距離算出手段420によって得られた距離図において、分類手段431は色とページ色の間の距離が第1の距離閾値以上である画素を前景画素に分類し、色とページ色の間の距離が第１の距離閾値より小さい画素を背景画素に分類して、色の2値画像を得ることができる。

具体的に、色画像算出手段430は以下の式（2）に基づいて、距離算出手段420によって得られた距離図Dに対しグローバル閾値法（例えば、Otsu）を適用して、色の2値画像B_color（例えば、図5の（b）が示すように）を得ることができる。

ここで、T₁はグローバル閾値（第1の距離閾値）を示し、「1」が前景画素値を示し、「0」が背景画素値を示す。

また、取得手段210（図1が示すように）が取得した画像に基づき、エッジ画像算出手段440はエッジの2値画像を算出することができる。

図4が示すように、エッジ画像算出手段440が勾配算出手段441と分類手段442を含むことが好ましい。

距離算出手段420によって得られた距離図D又は取得手段210によって得られた画像の色情報又は輝度情報に基づき、勾配算出手段441は画像へ勾配演算子を付けて、勾配画像を得ることができる。勾配画像の算出方法は当該分野で周知されているため、その詳しい説明を省略する。

分類手段442は、勾配算出手段441によって得られた勾配画像において、勾配が勾配閾値以上の画素をエッジ画素に分類し、勾配が勾配閾値より小さい画素を非エッジ画素に分類し、エッジの2値画像B_edgeを得る（図5の（c）が示すように）。

さらに、統合手段450は、色の2値画像B_colorとエッジの2値画像B_edgeを統合することで、統合された2値画像B_fusionを得ることができる（図5の（d）が示すように）。

図4が示すように、統合手段450は分類手段451を含むことが好ましい。当該分類手段451は、前景画素であるとともに非エッジ画素である画素を対象画素に分類し、かつ、背景画素又はエッジ画素である画素を非対象画素に分類することができる。

具体的に、統合手段450は以下の式（3）に基づいて、色の2値画像B_colorとエッジの2値画像B_edgeを統合することで、統合された2値画像B_fusionを得ることができる。

ここで、画像のエッジ情報を利用して、二値画像B_color中のエッジ強度が比較的に大きい前景画素（「1」）を背景画素（「0」）とする。このような処理方法によって、指と文書内容が繋がっている場合でも、エッジの情報を利用して指シード領域とページ内容を分離することができる。

さらに、連結領域解析手段460は、統合手段450によって得られた、統合された2値画像に対し連結成分解析（Connected Component Analysis、CCA）アルゴリズムを実行することで、一つ又は複数の候補対象画像領域として、統合された2値画像の中の一つ又は複数の連結領域を選択することができる。CCAアルゴリズムは当該分野で周知されているため、ここでその詳細説明を省略する。

二値画像B_fusionにおいて、連結領域解析手段460は連結領域（成分）標示付け（Connected Component Labeling）方法を用いることで、前景画素を組み合わせて領域とすることができる。さらに、指がいつも画像ブロックのある特定の側（例えば、PLの左側）から入り込むのであれば、画像ブロックのこの特定の側（例えば、PLの左側）から比較的に遠い連結領域は除去され、処理後の二値画像B_fusion ^revが得られる。

言い換えれば、本発明の好ましい実施例によれば、確定手段240は、一つ又は複数の連結領域の中で画像の所定エッジとの距離が所定距離より大きい連結領域における全ての画素を非対象画素に変換し、候補対象画像領域としないことができる。

さらに、図4が示すように、算出手段400はカウント手段470、変換手段480、及び更新手段490を含むことが可能である。

カウント手段470は、統合手段450によって得られた、統合された2値画像の中の各行に対し、対象画素である画素の合計をカウントすることができる（図5の（e）が示すように）。

次に、変換手段480は、カウント手段470がカウントした合計が合計閾値より小さい一行上の全ての対象画素を非対象画素に変換することができる。

さらに、更新手段490は各連結領域のラベル情報を更新することができる。

具体的に、算出手段470は画像ブロックB_fusion ^revの各行に対し、当該行における前景画素の数{num₁、num₂、…、num_h}（hは画像ブロックの高さを示す）をカウントすることができる。関連する閾値を予め設定してもよい。そして、num_i値が設定した閾値より小さい行を選択したうえ、変換手段480は当該行における前景画素（「1」）を全て背景画素（「0」）に設定することで、新しい二値画像B_fusion ^rev*を得る。二値画像B_fusion ^rev*において、更新手段490は連結領域ラベリングアルゴリズムを再度利用して連結領域を得ることで、各連結領域のラベル情報を更新することができる。

確定手段240は一つ又は複数の連結領域の中の面積が下限面積閾値より小さい又は上限面積閾値より大きい連結領域における全ての画素を非対象画素に変換して、候補対象画像領域としないことが好ましい。これにより、明らかに対象（指）画像ではない連結領域を除去することができ、その後の処理負担を軽減することができる。

ここで、残りの連結領域を候補の指シード領域（例えば、図5の（f）が示すように）とすることができる。候補の指シード領域が全部でK個あって、それぞれR₁、R₂…、R_Kで示されると想定する。

以下は、図6を参照しながら本発明の実施例の画像処理装置200の中の選択手段230が実現する機能について詳しく説明する。以上のように、所定の色モデルに基づき、選択手段230は算出手段220が算出した一つ又は複数の候補対象画像領域（例えば、K個の候補の指シード領域）の中から、所定の色モデルとの最大類似度を有する候補対象画像領域を第1の対象画像領域として選択することができる。

文書画像中に位置する複数の指について、これらが同一人物のものと考えるのは妥当であるため、これらの指が類似する色分布を有すると見なされる。光照射強度及び結像環境が異なるため、指定されたデータを利用して得られた色分布モデルにより、現在の入力画像の色分布を良く表現することができない。ここで、まずは指定された指データに基づいて指色分布モデル（所定の色モデル）を算出してもよい。具体的には、同じようにYUVの色空間を利用し、かつY成分を取り除くことができる。これらの指定された指データにおいて、各指領域R_Label、i（i=1、2、…、M）に対し、以下の式（4）でその正規化された色分布ヒストグラムを算出することができる。

ここで、ｄは色ヒストグラムの次元を示す。したがって、指定（標示付け）データの色分布モデルH_model（{h_model、1、h_model、2、…、h_model、d}）は、以下の式（5）でこのM個の領域の色ヒストグラムの平均値を算出することで得られる。

各候補指シード領域R_seed、i（i=1、2、…、K）に対し、その対応する正規化色ヒストグラムHiを抽出して、以下の式（6）で当該ヒストグラムと指定データの色分布モデルとの類似度を算出することができる。

選択手段230は類似度Sim_i（i=1、2、…、K）の中から最大類似度Sim_maxを選択することができる。Sim_maxが設定された閾値より小さい場合、全ての指シード領域が排除され、入力画像の中から指が検出されない。そうではない場合、類似度Sim_maxに対応する領域R_maxは第1の対象画像領域としてその他のシード領域の有效性の検証に用いられ、その他の可能な候補シード領域を検出する。

続いて、図7を参照しながら本発明の実施例の画像処理装置の中の確定手段700を説明する。図7が示す確定手段700は図2が示す確定手段240に対応する。

図7が示すように、確定手段700は平均色算出手段710、距離算出手段720、分類手段730、比率算出手段740、及び対象画像確定手段750を含むことが可能である。

平均色算出手段710は選択手段230によって得られた第1の対象画像領域の中の画素の平均色値を算出することができる。

続いて、その他の候補対象画像領域の中の一つの領域において、距離算出手段720は各画素の色値と、平均色算出手段710が算出した平均色値との間の距離を算出することができる。

次に、分類手段730は距離算出手段720が算出した色値と平均色値との間の距離が距離閾値以下の画素を対象画素に分類し、色値と平均色値との間の距離が距離閾値より大きい画素を非対象画素に分類することができる。

さらに、比率算出手段740は分類手段730によって分類された対象画素の数が全領域の画素の数に占める比率を算出することができる。

そして、対象画像確定手段750は、比率算出手段740が算出した比率が比率閾値以上の候補対象画像領域を第2の対象画像領域と確定し、比率が比率閾値より小さいその他の候補対象画像領域を非対象画像領域と確定することができる。

具体的に、領域R_maxを利用してその他の領域の有效性を検証する方法は次のとおりである。領域R_max内の画素の色平均値color_avg、及び、当該領域内の画素の色値と、当該色平均値color_avgとの距離を算出することができる。これらの距離値を小さい方から順に並べて、設定されたパーセンテージに基づいて対応する閾値T₂を選択する（例えば、設定されたパーセンテージが95%であって、領域R_max内に含まれる画素数がNum_maxである場合、小さい方から順に配列された後の距離尺度値の中から位置が第（95%*Nummax）個の画素に最も近い距離尺度値を選択して閾値とする）。その他のシード領域R_i（i=1、2、…、K且つi!=max）の中に位置する画素に対し、以下の式（7）で各画素を指画素又は非指画素に分類することができる。

ここで、d（j、color_avg）は領域R_i中の第j個の画素の色と色平均値color_avgの間の距離を示す。当該領域における指画素の比Ratio_iを以下の式（8）で算出する。

当該比の値Ratio_iが設定された閾値T₃より小さい場合、領域R_iを無効と見なして除去する。そうではない場合、当該領域を有効な領域として保留される。

以上の代わりに、領域R_iとR_maxの色ヒストグラムの類似性に基づいて領域R_iの有効性を検証してもよい。具体的に言うと、これらの領域から抽出された正規化色ヒストグラムに基づき、式（6）を用いて、これらと領域R_maxの色ヒストグラムの類似度を算出することができる。当該類似度が設定された閾値より低い場合、当該領域を無効と見なして除去する。そうではない場合、当該領域を有効と見なす。もちろん、この二種類の方法を組み合わせて、領域の有効性を検証してもよい。

続いて、図8を参照しながら本発明のもう一つの実施例の画像処理装置800を説明する。図8の中の点線部分を除き、画像処理装置800のその他の部分は図2が示す画像処理装置200と同じであるため、ここで省略する。

図8が示すように、画像処理装置800はさらに対象画像取得手段810を含むことが可能である。

取得手段210が取得した画像の、算出手段220が算出した一つ又は複数の候補対象画像領域を除くその他の領域の色特徴に基づき、対象画像取得手段810は選択手段230が選択した第1の対象画像領域を用いて、その他の領域の中から第3の対象画像領域を得ることができる。

さらに、構築手段250は第3の対象画像領域に対しさらなる自己適応色モデルを構築することができる。

また、構築手段250が構築したさらなる自己適応色モデルに基づき、検出手段260は第3の対象画像領域において対象画像を含む領域を検出することができる。

以上のように、図8が示す画像処理装置800は候補対象画像領域以外のその他の領域の中からさらに第3の対象画像領域を取得することで、検出漏れを一層低減させ、かつ対象画像領域検出の正確度をさらに高めることができる。

続いて、図9を参照しながら本発明の実施例の画像処理装置の中の対象画像取得手段900を説明する。図9が示す対象画像取得手段900は図8が示す対象画像取得手段810に対応する。

図9が示すように、対象画像取得手段900は平均色算出手段910、距離算出手段920、分類手段930、及び連結領域解析手段940を含むことが可能である。

平均色算出手段910は、選択手段230が選択した第１の対象画像領域の中の画素の平均色値を算出することができる。

続いて、取得手段210が取得した画像の、算出手段220が算出した一つ又は複数の候補対象画像領域を除くその他の領域において、距離算出手段920は各画素の色値と、平均色算出手段910が算出した平均色値との間の距離を算出することができる。

続いて、分類手段930は、距離算出手段920が算出した色値と平均色値の間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と平均色値の間の距離が距離閾値より大きい画素を非対象画素に分類することで、その他の領域二値画像を得ることができる。

続いて、連結領域解析手段940はその他の領域二値画像に対しCCAアルゴリズムを実行することで、その他の領域二値画像の中の連結領域を得て、第3の対象画像領域とすることができる。

具体的に、選択された領域R_maxの色平均値color_avgに基づいて、切り取り画像ブロックPLの中の上記シード領域（R_i、i=1、2、…、K）を除く領域において、以下の式（9）によって、これらの領域の中の画素を前景画素又は背景画素に分類することができる。

ここで、d（i、color_avg）は画素iの色と領域R_maxの平均色color_avgの間の距離を示す。図10が示すように、得られた新しい二値画像において、連結領域ラベリングアルゴリズムを用いて候補連結領域を得るとともに、寸法が過小／過大及び画像のある特定の側の境界から比較的に遠い連結領域を除去する。図10の左側の（a）において、領域BとDは候補対象画像領域を示し、領域A、C、及びEは候補対象画像領域を除くその他の領域を示す。対象画像取得手段810（900）の処理によって、図10の真ん中の（ｂ）が示すように、さらに候補連結領域a、c、及びeが得られる。最後に、例えば、寸法が過小／過大及び画像のある特定の側の境界から比較的に遠い連結領域を除去した後、図10の右側の（c）が示すように、第3の対象画像領域として最終の連結領域aを得ることができる。ここで得た連結領域を上記の保留した領域とともに指シード領域として、指抽出を行うことができる。

図11が示すように、検出した指シード領域に基づき、入力画像から対応する画像ブロックを切り取ることできる。切り取った各画像ブロックに対し、指シード画素に基づいてガウス肌色モデルを構築し、かつ、画像のエッジ画像を算出することができる。そして、肌色モデルとエッジ情報に基づいて、画素を分類することができる。最終的に、後処理操作（例えば、ノイズ除去、連結領域ラベリング、及び膨張操作など）を利用して指領域を抽出することができる。指シード領域の中から指領域を抽出する方法はこの分野で既に存在する従来技術であるため、ここではその詳細を省略する。

以上の通り、本発明では指画像を例に説明を行った。本発明の実施例によれば、二つの段階で自己適応色モデルを利用している。第1の段階では、候補指領域に対し位置検出を行い、そして、第2の段階では、指領域を抽出する。特に、第1の段階において、まず自己適応色モデルが選択され、その後に無効候補領域の除去に用いられ、かつ、その他の可能な指領域の位置を検出する。これによって、指領域の境界を検出する精度を高めて、画像の中から指画像を簡単に除去し、処理後によりきれいな画像が得られる。

以下、図12を参照しながら、本発明の実施例の画像処理方法を説明する。図12が示すように、本発明の実施例の画像処理方法はステップS110からはじまる。ステップS110では、対象画像を含む画像を取得する。

続いて、ステップS120では、画像の色とエッジ特徴に基づいて、一つ又は複数の候補対象画像領域を算出する。

続いて、ステップS130では、所定の色モデルに基づき、一つ又は複数の候補対象画像領域の中から、第1の対象画像領域として、所定の色モデルとの最大類似度を有する候補対象画像領域を選択する。なお、この最大類似度は類似度閾値以上である。

次に、ステップS140では、一つ又は複数の候補対象画像領域の色特徴に基づき、第１の対象画像領域を用いて、一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する。

続いて、ステップS150では、第1の対象画像領域と第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築する。

最後に、ステップS160では、自己適応色モデルに基づき、第1の対象画像領域と第2の対象画像の中の各領域において、対象画像を含む領域を検出する。

本発明の実施例によれば、ステップS120で一つ又は複数の候補対象画像領域を算出する際に、画像の中の各画素の色に基づいてページ色を算出することができる。そして、画像の中の各画素の色とページ色の間の距離を算出することで、距離図が得られる。さらに、距離図に基づいて色の2値画像を算出し、かつ、画像に基づいてエッジの2値画像を算出することができる。続いて、色の2値画像とエッジの2値画像を統合することで統合された２値画像が得られる。最後に、統合された2値画像に対し連結成分解析アルゴリズムを実行して、統合された2値画像の中の一つ又は複数連結領域を得て、一つ又は複数の候補対象画像領域とする。

本発明の実施例によれば、色の2値画像とエッジの2値画像を統合して、統合された2値画像を得る際に、前景画素であるとともに非エッジ画素である画素を対象画素に分類し、かつ、背景画素又はエッジ画素である画素を非対象画素に分類することができる。

本発明の実施例によれば、距離図に基づいて色の2値画像を算出する際に、距離図において、色とページ色の間の距離が第1の距離閾値以上である画素を前景画素に分類し、かつ、色とページ色の間の距離が距離閾値より小さい画素を背景画素に分類することで、色の2値画像を得ることができる。

本発明の実施例によれば、画像に基づいてエッジの2値画像を算出する際に、距離図或いは画像の色情報また輝度情報に基づいて、画像に勾配演算子を付けて、勾配画像を得ることができる。且つ、勾配画像において、勾配が勾配閾値以上の画素をエッジ画素に分類し、勾配が勾配閾値より小さい画素を非エッジ画素に分類し、エッジの2値画像を得ることができる。

本発明の実施例によれば、一つ又は複数の連結領域の中で画像の所定エッジとの距離が所定距離より大きい連結領域における全ての画素を非対象画素に変換して、候補対象画像領域としない。

本発明の実施例によれば、画像の色とエッジ特徴に基づいて一つ又は複数の候補対象画像領域を算出する際に、統合された2値画像の中の各行に対し、対象画素である画素の合計をカウントすることができる。そして、合計が合計閾値より小さい一行上の全ての対象画素を非対象画素に変換することができる。続いて、各連結領域のラベル情報を更新することができる。

本発明の実施例によれば、一つ又は複数の連結領域の中の面積が下限面積閾値より小さい又は上限面積閾値より大きい連結領域における全ての画素を非対象画素に変換して、候補対象画像領域としない。

本発明の実施例によれば、ステップS140で第1の対象画像領域を用いて、その他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する際に、第1の対象画像領域の中の画素の平均色値を算出することができる。そして、その他の候補対象画像領域の中の一つの領域において、各画素の色値と平均色値の間の距離を算出することができる。続いて、色値と平均色値の間の距離が距離閾値以下である画素を対象画素に分類し、かつ、色値と平均色値の間の距離が距離閾値より大きい画素を非対象画素に分類することができる。さらに、対象画素の数が全領域の画素の数に占める比率を算出することができる。さらに、比率が比率閾値以上であるその他の候補対象画像領域の中の一つの領域を第2の対象画像領域と確定し、かつ、比率が比率閾値より小さいその他の候補対象画像領域の中の一つの領域を非対象画像領域と確定することができる。

本発明の実施例によれば、画像における一つ又は複数の候補対象画像領域を除くその他の領域の色特徴に基づき、第1の対象画像領域を用いて、その他の領域の中から第3の対象画像領域が得られる。そして、第3の対象画像領域に対し、さらなる自己適応色モデルを構築することができる。続いて、さらなる自己適応色モデルに基づき、第3の対象画像領域において、対象画像を含む領域を検出することができる。

本発明の実施例によれば、第1の対象画像領域を用いて、その他の領域の中から第3の対象画像領域を得る際に、第1の対象画像領域の中の画素の平均色値を算出することができる。そして、画像における一つ又は複数の候補対象画像領域を除くその他の領域において、各画素の色値と平均色値の間の距離を算出することができる。さらに、色値と平均色値の間の距離が距離閾値以下である画素を対象に画素分類し、かつ、色値と平均色値の間の距離が距離閾値より大きい画素を非対象画素に分類することで、その他の領域二値画像を得ることができる。さらに、その他の領域二値画像に対し連結成分解析アルゴリズムを実行して、その他の領域二値画像の中の連結領域を得て、第3の対象画像領域とすることができる。

本発明の実施例の画像処理方法の上記ステップのさまざまな具体的な実施の形態について、既に詳しく説明しているため、ここで省略する。

本発明の画像処理方法の各操作過程は、各種の装置が読み出し可能な記憶媒体に記憶されて、コンピュータが実行可能なプログラムの様態で実現可能であることは明らかである。

また、本発明の目的を以下の様態でも実現可能である。上記実行可能なプログラムを記憶している記憶媒体を直接又は間接にシステムや装置に提供し、かつ、当該システムや装置の中のコンピュータや中央処理装置（CPU）が上記プログラムを読み出して実行する。この場合、当該システムや装置がプログラムを実行する機能を備えていれば、本発明の実施の形態はプログラムに限定されず、かつ、当該プログラムも任意の形式、例えば、目標プログラム、インタプリターが実行するプログラム又は操作システムに提供されるスクリプトなどであってもよい。

上記の装置が読み出し可能な媒体は、各種のメモリと記憶手段、半導体装置、例えば光、磁気ディスクなどの磁気ディスクユニット、及びその他の情報記憶に適した媒体などを含むが、これらに限定されない。

また、コンピュータをインタネット上の関連ウェブサイトに接続し、かつ本発明によるプログラムをコンピュータにダウンロード及びインストールして実行することでも、本発明の技術案を実現できる。

図13は本発明の実施例の画像処理装置と方法を実現できる汎用パーソナルコンピュータの概略性構造のブロック図である。

図13が示すように、CPU1301は、読み出し専用メモリ(ROM)1302に記憶されているプログラム、又は記憶部1308からランダムアクセスメモリ(RAM)1303にアップロードされたプログラムに基づいて各種の処理を実行する。RAM1303には、必要に応じて、CPU1301が各種の処理などを実行する際に必要なデータも記憶される。CPU1301、ROM1302とRAM1303はバス1304を介して互いに接続する。入力／出力インターフェース1305もバス1304に接続される。

以下の部品は入力／出力インターフェース1305に接続される。入力部1306（キーボード、マウスなどを含む）、出力部1307（例えばブラウン管（CRT）や液晶ディスプレイ（LCD）などのディスプレイ、及びスピーカーなどを含む）、記憶部1308（ハードディスクなどを含む）、通信部1309（例えばＬANカード、モデムなどのネットワークインターフェースカードを含む）。通信部1309は例えばインタネットなどのネットワークを介して通信処理を行う。必要であれば、ドライブ1310が入力／出力インターフェース1305に接続されてもよい。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの脱着可能な媒体1311を必要に応じてドライブ1310に取り付けて、これらから読み出したプログラムを必要に応じて記憶部1308にインストールする。

ソフトウェアで上記の一連の処理を実現する場合、インタネットなどのネットワークや脱着可能な媒体1311などの記憶媒体から、ソフトウェアを構成するプログラムをインストールする。

当業者であれば、このような記憶媒体は、図13が示すようなプログラムを記憶して、装置と分離してユーザにプログラムを提供する脱着可能な媒体1311に限定されないことを理解できる。脱着可能な媒体1311は、例えば、磁気ディスク（フロッピディスク（登録商標））、光ディスク（光ディスク読み出し専用メモリ（CD-ROM）とデジタル汎用ディスク（DVD）を含む）、光磁気ディスク（ミニーディスク（MD）（登録商標）を含む）と半導体メモリを含む。また、記憶媒体はROM1302、記憶部1308に含まれるハードディスクなどであって、その中にプログラムが記憶され、かつ、これらを含む装置と一緒にユーザへ配信されてもよい。

本発明のシステムと方法において、各部品又は各ステップが分解及び／又は再組み合わせ可能であることは明らかである。このような分解及び／又は再組み合わせによる様態は本発明の同等な方案と見なされるべきである。また、上記の一連の処理を実行するステップは当然ながら以上に説明した時間順で実行されるが、必ずしもこの時間順で実行する必要がない。一部のステップを並行又は互いに独立して実行してもよい。

以上、図面を参照しながら本発明の実施例を詳しく説明したが、以上に述べた実施の形態は本発明を解明することのみを目的としており、本発明を制限するものでない。当業者にとって、上記の実施の形態に対し行った各種の修正や変更も本発明の趣旨と範囲を超えないものである。したがって、本発明の範囲は添付の請求の範囲及びそれに相当する概念のみによって限定される。

また、以上の各実施例を含む実施の形態に関し、更に以下の付記を開示する。

（付記1）
対象画像を含む画像を取得する取得手段と、
前記画像の色とエッジ特徴に基づいて、一つ又は複数の候補対象画像領域を算出する算出手段と、
所定の色モデルに基づいて、前記一つ又は複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択する選択手段と、
前記一つ又は複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する確定手段と、
前記第1の対象画像領域と前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築する構築手段と、
前記自己適応色モデルに基づき、前記第1の対象画像領域と前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出する検出手段とを含む画像処理装置である。

（付記2）
前記算出手段は、
前記画像の中の各画素の色に基づいて、ページ色を算出するページ色算出手段と、
前記画像の中の各画素の色と前記ページ色の間の距離を算出して距離図を得る距離算出手段と、
前記距離図に基づいて色の2値画像を算出する色画像算出手段と、
前記画像に基づいてエッジの2値画像を算出するエッジ画像算出手段と、
前記色の2値画像と前記エッジの2値画像を統合して、統合された2値画像を得る統合手段と、
前記統合された2値画像に対し連結成分解析アルゴリズムを実行して、前記一つ又は複数の候補対象画像領域として、前記統合された2値画像の中の一つ又は複数の連結領域を得る連結領域解析手段とを含む、付記1に記載の画像処理装置。

（付記3）
前記統合手段は、
前景画素であるとともに非エッジ画素である画素を対象画素に分類し、かつ、背景画素又はエッジ画素である画素を非対象画素に分類する分類手段を含む、付記2に記載の画像処理装置。

（付記4）
前記色画像算出手段は、
前記距離図において、色と前記ページ色の間の距離が第1の距離閾値以上の画素を前景画素に分類し、かつ、色と前記ページ色の間の距離が前記第1の距離閾値より小さい画素を背景画素に分類して、前記色の2値画像を得る分類手段を含む、付記2に記載の画像処理装置。

（付記5）
前記エッジ画像算出手段は、
前記距離図あるいは前記画像の色情報又は輝度情報に基づき、前記画像に勾配演算子を付けて勾配画像を得る勾配算出手段と、
前記勾配画像において、勾配が勾配閾値以上の画素をエッジ画素に分類し、かつ、勾配が前記勾配閾値より小さい画素を非エッジ画素に分類し、前記エッジの2値画像を得る分類手段とを含む、付記2に記載の画像処理装置。

（付記6）
前記確定手段は、前記一つ又は複数の連結領域における前記画像の所定エッジとの距離が所定距離より大きい連結領域の中の全ての画素を非対象画素に変換し、候補対象画像領域としない、付記2に記載の画像処理装置。

（付記7）
前記算出手段は、さらに、
前記統合された2値画像の中の各行に対し、対象画素である画素の合計をカウントするカウント手段と、
前記合計が合計閾値より小さい一行上の全ての対象画素を非対象画素に変換する変換手段と、
各連結領域のラベル情報を更新する更新手段とを含む、付記2に記載の画像処理装置。

（付記8）
前記確定手段は、前記一つ又は複数の連結領域の中で面積が下限面積閾値より小さい又は上限面積閾値より大きい連結領域における全ての画素を非対象画素に変換し、候補対象画像領域としない、付記2に記載の画像処理装置。

（付記9）
前記確定手段は、
前記第1の対象画像領域の中の画素の平均色値を算出する平均色算出手段と、
前記その他の候補対象画像領域の中の一つの領域において、各画素の色値と前記平均色値の間の距離を算出する距離算出手段と、
色値と前記平均色値の間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値の間の距離が前記距離閾値より大きい画素を非対象画素に分類する分類手段と、
対象画素の数が全領域の画素の数に占める比率を算出する比率算出手段と、
前記比率が比率閾値以上である前記その他の候補対象画像領域の中の前記一つの領域を第2の対象画像領域と確定し、かつ、前記比率が前記比率閾値より小さいその他の候補対象画像領域の中の前記一つの領域を非対象画像領域と確定する対象画像確定手段とを含む、付記1に記載の画像処理装置。

（付記10）
前記画像処理装置は、さらに、
前記画像の前記一つ又は複数の候補対象画像領域を除くその他の領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記その他の領域の中から第3の対象画像領域を得る対象画像取得手段を含み、
前記構築手段は前記第3の対象画像領域に対し、さらなる自己適合色モデルを構築し、且つ、
前記さらなる自己適合色モデルに基づき、前記検出手段は前記第3の対象画像領域において、前記対象画像を含む領域を検出する、付記1に記載の画像処理装置。

（付記11）
前記対象画像取得手段は、
前記第1の対象画像領域の中の画素の平均色値を算出する平均色算出手段と、
前記画像の前記一つ又は複数の候補対象画像領域を除くその他の領域において、各画素の色値と前記平均色値の間の距離を算出する距離算出手段と、
色値と前記平均色値の間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値の間の距離が前記距離閾値より大きい画素を非対象画素に分類して、その他の領域二値画像を得る分類手段と、
前記その他の領域二値画像に対し連結成分解析アルゴリズムを実行して、前記第3の対象画像領域として前記その他の領域二値画像の中の連結領域を得る連結領域解析手段とを含む、付記10記載の画像処理装置。

（付記12）
対象画像を含む画像を取得するステップと、
前記画像の色とエッジ特徴に基づいて、一つ又は複数の候補対象画像領域を算出するステップと、
所定の色モデルに基づき、前記一つ又は複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択するステップと、
前記一つ又は複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定するステップと、
前記第1の対象画像領域と前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築するステップと、
前記自己適応色モデルに基づき、前記第1の対象画像領域と前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出するステップとを含む画像処理方法である。

（付記13）
前記画像の色とエッジ特徴に基づいて一つ又は複数の候補対象画像領域を算出するステップは、
前記画像の中の各画素の色に基づいて、ページ色を算出するステップと、
前記画像の中の各画素の色と前記ページ色の間の距離を算出して距離図を得るステップと、
前記距離図に基づいて色の2値画像を算出するステップと、
前記画像に基づいてエッジの2値画像を算出するステップと、
前記色の2値画像と前記エッジの2値画像を統合して、統合された2値画像を得るステップと、
前記統合された2値画像に対し連結成分解析アルゴリズムを実行して、前記一つ又は複数の候補対象画像領域として前記統合された2値画像の中の一つ又は複数の連結領域を得るステップとを含む、付記12に記載の画像処理方法。

（付記14）
前記画像の色とエッジ特徴に基づいて一つ又は複数の候補対象画像領域を算出するステップはさらに、
前記統合された2値画像の中の各行に対し、対象画素である画素の合計をカウントするステップと、
前記合計が合計閾値より小さい一行上の全ての対象画素を非対象画素に変換するステップと、
各連結領域のラベル情報を更新するステップとを含む、付記13に記載の画像処理方法。

（付記15）
前記一つ又は複数の連結領域の中で面積が下限面積閾値より小さい又は上限面積閾値より大きい連結領域における全ての画素を非対象画素に変換し、候補対象画像領域としない、付記13に記載の画像処理方法。

（付記16）
前記一つ又は複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記一つ又は複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定するステップは、
前記第1の対象画像領域の中の画素の平均色値を算出するステップと、
前記その他の候補対象画像領域の中の一つの領域において、各画素の色値と前記平均色値の間の距離を算出するステップと、
色値と前記平均色値の間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値の間の距離が前記距離閾値より大きい画素を非対象画素に分類するステップと、
対象画素の数が全領域の画素の数に占める比率を算出するステップと、
前記比率が比率閾値以上である前記その他の候補対象画像領域の中の前記一つの領域を第2の対象画像領域と確定し、かつ、前記比率が前記比率閾値より小さいその他の候補対象画像領域の中の前記一つの領域を非対象画像領域と確定するステップとを含む、付記12に記載の画像処理方法。

（付記17）
前記画像処理方法は、さらに、
前記画像の前記一つ又は複数の候補対象画像領域を除くその他の領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記その他の領域の中から第3の対象画像領域を得るステップと、
前記第3の対象画像領域に対し、さらなる自己適合色モデルを構築するステップと、
前記さらなる自己適合色モデルに基づき、前記第3の対象画像領域において、前記対象画像を含む領域を検出するステップとを含む、付記12に記載の画像処理方法。

（付記18）
前記画像の前記一つ又は複数の候補対象画像領域を除くその他の領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記その他の領域の中から第3の対象画像領域を得るステップは、
前記第1の対象画像領域の中の画素の平均色値を算出するステップと、
前記画像の前記一つ又は複数の候補対象画像領域を除くその他の領域において、各画素の色値と前記平均色値の間の距離を算出するステップと、
色値と前記平均色値の間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値の間の距離が前記距離閾値より大きい画素を非対象画素に分類して、その他の領域二値画像を得るステップと、
前記その他の領域二値画像に対し連結成分解析アルゴリズムを実行して、前記第3の対象画像領域として前記その他の領域二値画像の中の連結領域を得るステップとを含む、付記17に記載の画像処理装置。

（付記19）
マシンが読み出し可能な命令コードを含み、前記命令コードをコンピュータが読み出して実行する時、前記コンピュータに付記12〜18の何れか一項に記載の方法を実行させるプログラム。

（付記20）
付記19記載の前記プログラムが記憶し、マシンが読み出し可能な記憶媒体。

210 取得手段
220 算出手段
230 選択手段
240 確定手段
250 構築手段
260 検出手段
410 ページ色算出手段
420、720、920 距離算出手段
430 色画像算出手段
431、451、442、730、930 分類手段
440 エッジ画像算出手段
441 勾配算出手段
450 統合手段
460、940 連結領域解析手段
470 カウント手段
480 変換手段
490 更新手段
710、910 平均色算出手段
740 比率算出手段
750 対象画像確定手段
810 対象画像取得手段
1305 入力／出力インターフェース
1306 入力部
1307 出力部
1308 記憶部
1309 通信部
1310 ドライブ
1311 脱着可能な媒体

Claims

対象画像を含む画像を取得する取得手段と、
前記画像の色及びエッジ特徴に基づいて、複数の候補対象画像領域を算出する算出手段と、
所定の色モデルに基づいて、前記複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択する選択手段と、
前記複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定する確定手段と、
前記第1の対象画像領域及び前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築する構築手段と、
前記自己適応色モデルに基づき、前記第1の対象画像領域及び前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出する検出手段とを含む画像処理装置。
前記算出手段は、
前記画像の中の各画素の色に基づいて、ページ色を算出するページ色算出手段と、
前記画像の中の各画素の色と前記ページ色との間の距離を算出して距離図を得る距離算出手段と、
前記距離図に基づいて、色の2値画像を算出する色画像算出手段と、
前記画像に基づいて、エッジの2値画像を算出するエッジ画像算出手段と、
前記色の2値画像と前記エッジの2値画像とを統合して、統合された2値画像を得る統合手段と、
前記統合された2値画像に対し連結成分解析アルゴリズムを実行して、前記複数の候補対象画像領域として、前記統合された2値画像の中の複数の連結領域を得る連結領域解析手段とを含む、請求項1に記載の画像処理装置。
前記エッジ画像算出手段は、
前記距離図或いは前記画像の色情報又は輝度情報に基づき、前記画像に勾配演算子を付けて勾配画像を得る勾配算出手段と、
前記勾配画像において、勾配が勾配閾値以上の画素をエッジ画素に分類し、且つ、勾配が前記勾配閾値より小さい画素を非エッジ画素に分類して、前記エッジの2値画像を得る分類手段とを含む、請求項2に記載の画像処理装置。
前記確定手段は、前記複数の連結領域の中で前記画像の所定エッジとの距離が所定距離より大きい連結領域における全ての画素を非対象画素に変換し、候補対象画像領域としない、請求項2に記載の画像処理装置。
前記算出手段は、さらに、
前記統合された2値画像の中の各行に対し、対象画素である画素の合計をカウントするカウント手段と、
前記合計が合計閾値より小さい一行上の全ての対象画素を非対象画素に変換する変換手段と、
各連結領域のラベル情報を更新する更新手段とを含む、請求項2に記載の画像処理装置。
前記確定手段は、前記複数の連結領域の中で面積が下限面積閾値より小さい又は上限面積閾値より大きい連結領域における全ての画素を非対象画素に変換し、候補対象画像領域としてない、請求項2に記載の画像処理装置。
前記確定手段は、
前記第1の対象画像領域の中の画素の平均色値を算出する平均色算出手段と、
前記その他の候補対象画像領域の中の一つの領域において、各画素の色値と前記平均色値との間の距離を算出する距離算出手段と、
色値と前記平均色値との間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値との間の距離が前記距離閾値より大きい画素を非対象画素に分類する分類手段と、
対象画素の数が全領域の画素の数に占める比率を算出する比率算出手段と、
前記比率が比率閾値以上である前記その他の候補対象画像領域の中の前記一つの領域を第2の対象画像領域と確定し、かつ、前記比率が前記比率閾値より小さいその他の候補対象画像領域の中の前記一つの領域を非対象画像領域と確定する対象画像確定手段とを含む、請求項1に記載の画像処理装置。
前記画像処理装置は、さらに、
前記画像の前記複数の候補対象画像領域を除くその他の領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記その他の領域の中から第3の対象画像領域を得る対象画像取得手段を含み、
前記構築手段は前記第3の対象画像領域に対し、さらなる自己適合色モデルを構築し、且つ、
前記さらなる自己適合色モデルに基づき、前記検出手段は前記第3の対象画像領域において、前記対象画像を含む領域を検出する、請求項1に記載の画像処理装置。
前記対象画像取得手段は、
前記第1の対象画像領域の中の画素の平均色値を算出する平均色算出手段と、
前記画像の前記複数の候補対象画像領域を除くその他の領域において、各画素の色値と前記平均色値の間の距離を算出する距離算出手段と、
色値と前記平均色値との間の距離が距離閾値以下の画素を対象画素に分類し、かつ、色値と前記平均色値との間の距離が前記距離閾値より大きい画素を非対象画素に分類して、その他の領域二値画像を得る分類手段と、
前記その他の領域二値画像に対し連結成分解析アルゴリズムを実行して、前記第3の対象画像領域として前記その他の領域二値画像の中の連結領域を得る連結領域解析手段とを含む、請求項8に記載の画像処理装置。
対象画像を含む画像を取得するステップと、
前記画像の色及びエッジ特徴に基づいて、複数の候補対象画像領域を算出するステップと、
所定の色モデルに基づき、前記複数の候補対象画像領域の中から、前記所定の色モデルと類似度閾値以上の最大類似度を有する候補対象画像領域を第1の対象画像領域として選択するステップと、
前記複数の候補対象画像領域の色特徴に基づき、前記第1の対象画像領域を用いて、前記複数の候補対象画像領域の中のその他の候補対象画像領域を非対象画像領域又は第2の対象画像領域と確定するステップと、
前記第1の対象画像領域及び前記第2の対象画像領域の中の各領域に対し、それぞれ自己適応色モデルを構築するステップと、
前記自己適応色モデルに基づき、前記第1の対象画像領域及び前記第2の対象画像領域の中の前記各領域において、前記対象画像を含む領域を検出するステップとを含む画像処理方法。