JP4475395B2 - 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 - Google Patents

Description

本発明は、画像の中で、人物の肌領域やその他の記憶色領域などの特定の領域を決定するための画像処理技術に関するものである。

画像から対象となる領域を正確に決定することは、画像が表すシーンの予測や、対象となる色の選択的な色補正などを適用する上で、重要な前処理となる。例えば、人物の肌、空、草などの記憶色の補正を行う上では、記憶色領域を決定する処理が必要不可欠となる。特に、人物の肌領域は、人間が画像を見るときに最も注意を引く部分である。このため、人物領域の抽出や、肌色の抽出に関する多くの手法が提案されている。

画像から人物領域を決定する手法としては、画素の色情報により肌色を抽出する手法と、顔の部位による形状パターンにより、顔領域の位置を決定する手法の、大きく２つに分けられると考えられる。前者の手法は、色相の範囲を定め、指定された範囲内の色を肌色とするものや、画素のヒストグラムから判定するものが多い。後者の手法は、目や口などの部位での当てはめや探索により顔領域の位置を推定するものや、楕円などで顔領域に当てはめを行うものが多い。

例えば、特許文献１、特許文献２に記載されている方法では、画像から作成した色相と彩度の２次元ヒストグラムがベースとなっている。画像中の画素がヒストグラムの山のどれに属するかの判定を行うことによって領域の分割を行い、選択された領域がどのような領域か（顔領域か否か、など）の判断を行っている。また、特許文献３に記載されている方法では、肌色の色相から顔を検出し、楕円で顔を近似することにより、顔の大きさの正規化を行っている。

形状パターンを用いた従来の手法としては、例えば特許文献４には、画像の角度の変化や回転に依存されない基準点を両目の中心とし、基準点からその他の特徴部位を認識することにより顔領域か否かの判別を行う技術が記載されている。また、特許文献５に記載されている方法では、あらかじめモザイク化された顔のテンプレートを用意し、画像中で相関が高い位置を顔領域とするという方法によって顔領域の検出を行っている。

上記の色情報を用いて特定領域を決定する手法は、構成が単純で、高速に実装できることが多いので、実用化には向いている。しかし、実際に色情報のみで記憶色領域を決定するのは困難であり、正確さに欠けるところが多々ある。例えば上記の肌領域を色情報のみで抽出しようとすると、背景に存在する類似の色領域、例えば花や白木の表面、暖色系のライトを浴びた壁クロスなど、人間以外の様々な肌色及びそれに近い色の領域が抽出されてしまう。また、形状パターンを用いて行う手法は、人間の認識能力を忠実に模倣することを目的としたものが多く、認識率は高いものの、膨大な処理時間を要する場合がある。このように、従来の技術では、正確に、しかも高速に特定の領域を抽出することができなかった。

特開平５−１５８１６４号公報 特開平６−６７３２０号公報 特開平１０−２９３８４０号公報 特開平６−３０９４５７号公報 特開平１１−３１２２４３号公報

本発明は、上述した事情に鑑みてなされたもので、画像中の特定の領域を決定する際に、実用化に適した速度で、かつ、正確に、対象領域を決定することができるとともに、対象領域に対して選択的に色補正を行う上で、対象領域の代表色を正確に決定することができる画像処理方法及び画像処理装置を提供することを目的とするものである。また、そのような画像処理方法または画像処理装置の機能をコンピュータにより実現するためのプログラムと、そのプログラムを格納した記憶媒体を提供することを目的とするものである。

本発明は、入力画像から対象領域を決定する画像処理方法及び画像処理装置において、対象領域のテクスチャまたは階調性または周波数的な特徴を表す特徴ベクトルを用いて構成される特徴領域定義を生成しておき、その特徴領域定義を用いて入力画像中の部分領域の特徴量と前記特徴領域定義中の前記特徴ベクトルとの距離である特徴距離から対象領域の特徴を表している特徴領域を特徴領域決定手段で決定し、前記特徴距離による加重と前記特徴領域内の画素を用いた加重平均を行うことにより対象領域を代表する色となる対象領域中心色を対象領域中心色算出手段で算出し、対象領域決定手段は対象領域中心色及びその近傍の色の画素を対象領域の画素とすることを特徴とするものである。

特徴ベクトルは、特徴をよく表すことのできる形に変換しておくとよい。公知の技術によれば、できるだけ少ない次元のベクトルに変換することも可能である。このようにして変換された特徴量を用いて統計処理を行ったり、ニューラルネットワークによって学習させることにより、特徴ベクトルを生成することができる。

また特徴領域決定手段による特徴領域の決定の際には、入力画像中の部分領域の特徴量と特徴ベクトルの距離である特徴距離を用いる。部分領域の特徴量は、特徴ベクトルを生成する際に行った特徴量に変換することにより求める。特徴距離、または、特徴距離による距離加重から、特徴領域を決定することができる。

さらにまた対象領域決定手段において対象領域を決定する際には、指定された色空間内で、対象領域中心色からの距離または対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で対象領域の画素を決定することができる。あるいは、指定された色空間内で、対象領域中心色を含む所定の局所領域に含まれる画素を対象領域の画素とすることができる。あるいは、対象領域中心色を中心とした分布からのマハラノビス距離により、対象領域の画素を決定することができる。

なお、特徴ベクトルとしては、特に対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性の特徴を表すものとすることができる。

また本発明は、入力画像から、対象領域の色を決定する画像処理方法および画像処理装置において、上述のような本発明の画像処理方法あるいは画像処理装置によって算出された対象領域中心色、または、決定された対象領域を用いて算出された色を、対象領域の色とすることを特徴とするものである。

さらに本発明は、入力画像から対象領域を決定する画像処理プログラムにおいて、上述のような画像処理方法をコンピュータに実行させることを特徴とするものである。さらにまた、コンピュータが読取可能な記憶媒体において、これらの画像処理プログラムを格納したことを特徴とするものである。

本発明によれば、対象領域の特徴が定義された特徴領域定義を用いて、対象領域の特徴を表している特徴領域を抽出し、その特徴領域から対象領域中心色を算出し、その対象領域中心色を用いて対象領域を決定する。色調整の前処理として対象領域の抽出を行う場合は、色情報のみによる抽出を行う場合が多いが、従来のように色情報のみで抽出する方法に比べて正確に対象領域及び対象領域の色を決定することができる。

また、従来の形状パターンを用いた方法に比べても高速な処理が可能であり、実用化に適した速度で処理を行うことができる。

このように本発明によれば、画像中の対象領域の決定及び対象領域の色の決定を、実用化に適した速度で、かつ、正確に行うことができるという効果がある。

図１は、本発明の第１の実施の形態を示すブロック図である。図中、１１は特徴領域決定部、１２は特徴領域定義部、１３は対象領域中心色算出部、１４は対象領域決定部である。特徴領域決定部１１は、対象となる領域の特徴が最もよく表れている特徴領域を決定する。このとき、対象領域の特徴が定義された特徴領域定義を用い、対象領域の特徴と類似している入力画像中の部分領域を特徴領域として決定することができる。

図２は、特徴領域定義の一例の説明図、図３は、特徴領域の近さの度合いと特徴距離との関係の一例を示すグラフである。特徴領域定義は、例えば、図２に示すように、特徴ベクトルから構成され、類似の判断は、部分領域の特徴量と特徴ベクトルとの距離である特徴距離により行うことができる。特徴ベクトルが複数ある場合は、部分領域の特徴量と最も近い特徴ベクトルとの距離を特徴距離とすればよい。図３（Ａ）に示すように、特徴距離が小さい場合は、特徴領域と判断し（近さの度合い１）、大きい場合は否（近さの度合い０）と判断すればよい。または、図３（Ｂ）に示すように、特徴距離による加重によって特徴領域への近さの度合いを求めればよい。

なお、特徴領域定義の生成に用いる特徴としては、テクスチャ、または、階調性、または、周波数的な特徴など、あるいはこれらを組み合わせて特徴量とすればよい。例えば対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性を表す特徴を特徴量として用いることができる。また特徴領域定義は、局所的な特徴が、例えば１つの式で表されるなど、定量化されている場合には、その定量化された局所的な特徴を特徴領域定義として用いてもよい。

図１に戻り、特徴領域定義部１２は、対象領域の特徴を表す特徴領域定義を生成する。特徴領域定義は、例えば、１つ以上の特徴ベクトルから構成することができる。対象領域を表す領域のサンプルを用意し、特徴量への変換を行い、それを特徴ベクトルとしてもよい。または、複数のサンプルの特徴量を統計処理したものを、特徴ベクトルとしてもよい。

図４は、特徴ベクトルとしてニューラルネットワークを用いる場合の一例の説明図である。特徴ベクトルとして、ニューラルネットワークを用いることもできる。この場合は、図４に示すように、複数のサンプルから特徴量を抽出し、該特徴量を自己組織的に学習させ、学習後の結合ベクトルを特徴ベクトルとしてもよい。図４では、１個の出力ニューロンに結合している入力ニューロンからの係数の組を、１つの特徴ベクトルとすることができる。出力ニューロンがｎ個あるので、特徴領域定義は、ｎ個の特徴ベクトルを有するものになる。

図５は、多数のサンプルから代表するいくつかの特徴ベクトルを求める場合の一例の説明図である。特徴領域定義に、全サンプルの特徴量を用いてしまうと、多くの特徴ベクトルを持たなければならないことになる。しかしながら、ニューラルネットワークの学習によって、図５に示すように、多くのサンプルを、学習後の特徴ベクトル（結合係数）で代表することができる。図５の境界線は、特徴量空間で、小領域ごとにサンプルを代表する特徴ベクトルの代表範囲を表す。

なお、特徴領域定義は予め生成しておけば、実際に入力画像から対象領域を抽出する際には、この特徴領域定義部１２を設けておかなくてもよい。また、局所的な特徴を定量化できる場合など、特徴領域定義が与えられる場合には、この特徴領域定義部１２を設けずに構成することもできる。

再び図１に戻り、対象領域中心色算出部１３は、特徴領域決定部１１で決定された特徴領域内の画素を用いて、対象領域を代表する色となる対象領域中心色を算出する。具体的には、図３（Ａ）のように決定した特徴領域の画素で平均化を行うか、図３（Ｂ）のように算出される度合いを用いて、入力画像の画素値との加重平均を行うことにより、対象領域中心色を算出することができる。もちろん、この方法に限られるものではない。

対象領域決定部１４は、指定された色空間内で、対象領域中心色算出部１３で算出された対象領域中心色及びその近傍の色の画素を、対象領域の画素として決定する。対象領域中心色の近傍色は、例えば対象領域中心色を含む所定の局所領域、より具体的には、対象領域中心色からの色空間上の距離や、対象領域中心色が存在する色相からの距離などに応じて、所定範囲内の色とすればよい。または、対象領域中心色を中心とした分布からのマハラノビス距離によって求めることができる。

以下、上述の各部の構成について、さらに説明してゆく。特徴領域決定部１１では、上述のように対象となる領域の特徴が最もよく表れている領域を決定する。例えば、対象領域が人物の肌領域である場合は、相当画質が劣化していない限り、例え逆光ぎみであっても、顔ならば顎や頬や額などに、腕ならば光の当たった部分と影になる境界などのように、明度や色度に必ず滑らかな階調が存在する局所的な特徴を有する領域がある。このような対象領域の局所的な特徴を有している領域を特徴領域として決定する。

図６は、局所的な特徴の一例の説明図である。なお、図示の都合上、図６（Ａ）においては輪郭線のみを示しているが、実際には多階調画像やカラー画像である。また図６（Ｂ）、（Ｃ）についてはハッチングを異ならせることによって階調や色の違いを表現している。図６（Ａ）に示す写真画像には、人物と背景が存在するが、例えば同じ肌色の領域は人物以外にも、背景の木の手摺りなどにも存在する。しかし、同じ色の領域であっても、その局所的な特徴は異なる。例えば人物の肌の場合には、図６（Ｂ）に示すようになめらかに階調や色が変化する領域が存在する。しかし木の手摺りでは、局所的な特徴は木目によって変化するパターンとなる。従って、入力画像中に同じ色の領域が複数存在したとしても、上述のような局所的な特徴（質感）を判断することによって、人物とその他の部分とを分離することができる。

このような局所的な特徴が、例えば１つの式で表されるなど、定量化されている場合には、その定量化された局所的な特徴を特徴領域定義とし、特徴領域決定部１１は、入力画像から特徴量を算出して、その特徴がよく表れている領域を特徴領域として決定すればよい。特徴量の定量化が困難で統計的な手法などに頼る場合は、次に説明する特徴領域定義部１２により予め統計的に定義することもできる。

特徴領域定義部１２は、上述のように局所的な特徴を定量化できない場合に設けられ、対象領域の特徴を表す複数のサンプルから局所的な特徴を特徴領域定義として定義する。図７は、人物の肌領域を表現するサンプルの一例の説明図である。例えば、対象領域を人物の肌領域とする場合は、図７に示すような局所的な領域の滑らかな階調特性を表すサンプルを用意すればよい。サンプルは白黒の濃淡情報でもカラーの濃淡情報でもどちらでもよいものとする。なお、図６の場合と同様に図７においても、図示の都合上、濃淡あるいは色の違いをハッチングの違いで表現している。

このようなサンプルからの特徴領域定義は、例えば前述の図４に示すようなニューラルネットワークを用いて生成することができる。図８は、特徴領域定義として用いるニューラルネットワークの一例のより詳細な説明図である。図８では、前述の図４をさらに詳しく説明している。ここではサンプルを９×９画素とした。このカラーサンプルを、例えば図８に示すように明度と色度をもつ色成分Ｙ，Ｃｂ，Ｃｒに分解し、９×９×３次元のベクトルとしてニューラルネットワークの入力とすればよい。これによって、複数のサンプルについて、ニューラルネットワークに自己組織的に学習させることができる。学習したニューラルネットワークの入力と出力のシナプス結合係数は、図５に示すように、与えたサンプルの統計的な性質を獲得する。

図９は、特徴領域画像の具体例の説明図である。図９は、図８のように学習されたニューラルネットワークの結合係数を特徴ベクトルとして、入力画像中の部分領域の特徴量と、特徴ベクトルとの距離を、図３に示す加重関数で加重を算出し、それを特徴領域画像として表したものである。ここで、部分領域の特徴量も、当然ながらＹＣｂＣｒ画素の９×９×３次元の階調パターンである。図９（Ａ）は原画像を、図９（Ｂ）は特徴領域画像を表す。図９（Ｂ）における黒い領域ほど１に近い値となる。ここでは、対象領域を人物の肌領域としているので、１に近いほど、人物の肌に近い領域となる。なお、図示の都合上、図９（Ａ）においては画像中の主要な輪郭線のみを示し、また図９（Ｂ）においては２値で示している。

このようにしてサンプルを学習させたニューラルネットワークの結合係数を特徴ベクトルとし、これらの特徴ベクトルを有する特徴領域定義として、特徴領域決定部１１は入力画像から特徴領域を決定することができる。図９では、もちろん、全領域を調べなくても、あらかじめ色の範囲で限定した領域のみを調べてもよい。

このようにして決定された特徴領域は、図９（Ｂ）に示すように、人物の頬や額などである。従来の色情報のみを用いて対象領域を決定する手法では、背景中の木の柵の部分なども人物の肌領域とともに抽出されていたが、局所的な特徴を用いることによって木の柵の部分はほとんど抽出されなくなっている。

上述のようにして求めた特徴領域は、対象領域の局所的な特徴を有する領域であり、そのまま対象領域とすることはできない。例えば図９（Ｂ）を参照しても分かるように、人物の肌領域を対象領域とする時、人物の頬や額の一部は抽出されたが、肌の大部分は抽出されていない。本発明では、特徴領域から対象領域の中心色を算出し、その中心色及びその近傍の色を有する領域を対象領域として抽出する。

そのために、まず対象領域中心色算出部１３において対象領域中心色を算出する。この対象領域中心色算出部１３では、特徴領域画像を重みマスクとして、入力画像の画素と加重平均をとることによって、対象領域の中心となる色を算出する。上述のように特徴領域の画像は０〜１の範囲で表されている。この特徴領域画像の（ｉ，ｊ）番目の画素値をｐ_ij、入力画像がＲＧＢで表現されているときの（ｉ，ｊ）番目の画素値を（Ｒ_ij，Ｇ_ij，Ｂ_ij）としたとき、対象領域中心色（Ｒ_c 、Ｇ_c 、Ｂ_c ）は、

で算出することができる。なお、ここでは色空間としてＲＧＢ色空間を用いて説明してゆくが、ＲＧＢに限らず、どのような色空間を用いてもよい。また、対象領域中心色の求め方も数式１に限らず、他の方法を用いても良い。

このようにして求めた対象領域中心色を用いて、対象領域決定部１４で対象領域を決定する。図１０は、対象領域として抽出する色範囲の一例の説明図である。対象領域決定部１４は、図１０に示すように、色空間内で対象領域中心色及びその近傍の色を含む所定の色範囲を設定し、その色範囲の色を有する画素を抽出する。これにより、画像の中での対象領域を決定する。図１０では、対象領域中心色（Ｒ_c 、Ｇ_c 、Ｂ_c ）を、（Ｒ_c 、Ｇ_c 、Ｂ_c ）→（Ｙ_c 、Ｃｂ_c 、Ｃｒ_c ）に色空間変換を行い、明度と色度に分離できるＹＣｂＣｒ空間内の点として色範囲を設定している。例えば、図１０のように、点（Ｃｂ_c 、Ｃｒ_c ）を含んだ２次元平面の色度だけの近傍色で対象領域の画素の抽出を行えばよい。または、点（Ｙ_c 、Ｃｂ_c 、Ｃｒ_c ）を含んだ３次元平面の明度と色度の空間で色範囲を設定し、対象領域の画素の抽出を行ってもよい。色範囲の形状は円、楕円など、どのような形状でもよい。

対象領域の決定は、このようにして設定された色範囲内の画素については１，色範囲外の画素は０とする。これによって、２値の対象領域画像を生成することができる。この場合は、対象領域画像の（ｉ，ｊ）番目の画素値をＰ_ijとすると、Ｐ_ij＝０または１となる。

図１１は、対象領域の決定処理の第２の例の説明図である。図１０で説明したように、色範囲を設定して対象領域を決定するほか、例えば図１１に示すように、対象領域中心色からの距離重みにより対象領域を決定してもよい。距離重みは、対象領域中心色からの距離を用いることができる。あるいは、対象領域中心色が存在する色相からの距離重みを用いることもできる。または、その両方の距離重みの積をとることにより、楕円状に値を決定することができる。

例えば、点（Ｃｂ_c 、Ｃｒ_c ）を含んだ２次元平面において、入力画像の（ｉ，ｊ）番目の画素のＣｂＣｒ成分と（Ｃｂ_c 、Ｃｒ_c ）の距離をｄ_ij、点（Ｃｂ_c 、Ｃｒ_c ）を含む色相からの距離をＤ_ijとすれば、対象領域画像の（ｉ，ｊ）番目の画素値Ｐ_ijは、
Ｐ_ij＝ｗ_d（ｄ_ij）・ｗ_l（Ｄ_ij） 数式２
と表すことができる。ここで、ｗ_d 、ｗ_l はそれぞれ、ｄ_ijとＤ_ijの単調減少関数で、距離重みを表す。図１２は、距離重みの一例を示すグラフである。例えば、距離重みは図１２に示すような単調減少関数を用いればよい。これにより、対象領域中心色に近い色は１、遠い色は０になるような０〜１の範囲で対象領域画像の画素値を決定することができる。

図１３は、対象領域の決定処理の第３の例の説明図、図１４は、対象領域の決定処理の第３の例において用いる加重の一例の説明図である。前述の例のように、単純に距離に対する加重を用いてもよいが、図１３に示すように、対象領域中心色を中心とした色分布からのマハラノビス距離に対する加重をとってもよい。この色分布は、特徴領域で決定した画素の色分布そのものでもよいし、または、その周辺を加えてもよい。肌色は分布形状を特定するのが難しい。そのような場合は、マハラノビス距離の加重により、分布からどれだけ離れているかを定量化することができる。これにより、分布形状を考慮した距離加重が行える。加重は、例えば図１４に示すようなものを用いることができる。

図１５は、対象領域画像の一例の説明図である。図１５（Ａ）、（Ｂ）は図９（Ａ）、（Ｂ）と同じものである。図１５（Ｂ）に示した特徴領域画像から対象領域中心色を求め、対象領域を決定すると、例えば図１５（Ｃ）に示すような対象領域画像が得られる。ここでは図示の関係上、２値の画像として対象領域画像の概略を示している。もちろん図１１〜図１４を用いて説明した方法などを適用すれば、０〜１の範囲の値を有する対象領域画像を得ることができる。図１５（Ｃ）に示した結果を参照して分かるように、的確に人物の肌領域を抽出することができる。従来の色情報のみから対象領域を抽出する場合に比べて、精度良く対象領域を抽出することができる。従って、例えば対象領域のみに色補正処理を施す場合でも、他の領域に影響を与えずに、目的とする対象領域について色補正を行うことが可能となる。もちろん、他の用途への利用も可能である。

なお、最終的に対象領域中心色を含む色範囲あるいは対象領域中心色からの距離などによって対象領域の画素を抽出するので、形状パターンを用いて行う手法に比べれば多少のノイズは含まれるものの、本発明では数回の画像のスキャンと演算程度で実行できるため、実用に適した処理時間で対象領域を抽出することができる。

図１６は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。２１は代表色算出部である。この第２の実施の形態では、上述のようにして決定される対象領域を代表する代表色を代表色算出部２１において求める。なお、入力画像から対象領域を決定するまでの処理は上述の第１の実施の形態と同様である。

代表色算出部２１は、対象領域決定部１４で生成された対象領域画像を用いて、入力画像との加重平均を行うなどの処理を施し、代表色を決定する。もちろん、対象領域中心色算出部１３で算出された対象領域中心色を代表色とするなど、他の方法を用いて代表色を決定しても良い。

このようにして決定された代表色は、例えば、その後の入力画像に対する色調整などにおいて用いることができる。また、対象領域画像とともに用い、対象領域のみに対して代表色を用いた色調整を行うこともできる。例えば人物の肌領域について、肌の色を調整するといったことができる。本発明によれば上述のように対象領域を精度良く取得できるので、代表色を用いて色調整を行うことによって、対象領域についてそれぞれの入力画像に合わせた調整が可能となる。代表色及びその周囲の色について選択的に色調整を行う方法としては、例えば特願２００２−２７５８２１号に記載されている方法がある。この方法では、移動元となる代表色を含む部分空間と移動先となる最適目標色を含む部分空間を含むカプセル体を考え、そのカプセル体の中で連続性を維持し、色の逆転が発生しないように、移動元から移動先へ向けた調整を行うことができる。もちろん、色調整以外の用途での利用も可能である。

図１７は、本発明の画像処理装置の機能及び画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、３１はプログラム、３２はコンピュータ、４１は光磁気ディスク、４２は光ディスク、４３は磁気ディスク、４４はメモリ、５１は光磁気ディスク装置、５２は光ディスク装置、５３は磁気ディスク装置である。

上述の各実施の形態で説明した各部の処理について、その一部または全部を、コンピュータにより実行可能なプログラム３１によって実現することが可能である。その場合、そのプログラム３１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク４１，光ディスク４２（ＣＤやＤＶＤなどを含む）、磁気ディスク４３，メモリ４４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム３１を格納しておき、例えばコンピュータ３２の光磁気ディスク装置５１，光ディスク装置５２，磁気ディスク装置５３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム３１を読み出し、本発明の画像処理装置の機能及び画像処理方法を実行することができる。あるいは、あらかじめ記憶媒体をコンピュータ３２に装着しておき、例えばネットワークなどを介してプログラム３１をコンピュータ３２に転送し、記憶媒体にプログラム３１を格納して実行させてもよい。

もちろん、一部の機能についてハードウェアによって構成することもできるし、すべてをハードウェアで構成してもよい。あるいは、他のソフトウェアの一部として組み込むことも可能である。

本発明の第１の実施の形態を示すブロック図である。 特徴領域定義の一例の説明図である。 特徴領域の近さの度合いと特徴距離との関係の一例を示すグラフである。 特徴ベクトルとしてニューラルネットワークを用いる場合の一例の説明図である。 多数のサンプルから代表するいくつかの特徴ベクトルを求める場合の一例の説明図である。 局所的な特徴の一例の説明図である。 人物の肌領域を表現するサンプルの一例の説明図である。 特徴領域定義として用いるニューラルネットワークの一例のより詳細な説明図である。 特徴領域画像の具体例の説明図である。 対象領域として抽出する色範囲の一例の説明図である。 対象領域の決定処理の第２の例の説明図である。 距離重みの一例を示すグラフである。 対象領域の決定処理の第３の例の説明図である。 対象領域の決定処理の第３の例において用いる加重の一例の説明図である。 対象領域画像の一例の説明図である。 本発明の第２の実施の形態を示すブロック図である。 本発明の画像処理装置の機能及び画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。

符号の説明

１１…特徴領域決定部、１２…特徴領域定義部、１３…対象領域中心色算出部、１４…対象領域決定部、２１…代表色算出部、３１…プログラム、３２…コンピュータ、４１…光磁気ディスク、４２…光ディスク、４３…磁気ディスク、４４…メモリ、５１…光磁気ディスク装置、５２…光ディスク装置、５３…磁気ディスク装置。

Claims (24)

1. 入力画像から対象領域を決定する画像処理方法において、前記対象領域のテクスチャまたは階調性または周波数的な特徴を表す特徴ベクトルを用いて構成される特徴領域定義を生成しておき、前記特徴領域定義を用いて前記入力画像中の部分領域の特徴量と前記特徴領域定義中の前記特徴ベクトルとの距離である特徴距離から前記対象領域の特徴を表している特徴領域を決定し、前記特徴距離による加重と前記特徴領域内の画素を用いた加重平均を行うことにより前記対象領域を代表する色となる対象領域中心色を算出し、前記対象領域中心色及びその近傍の色の画素を前記対象領域の画素とすることを特徴とする画像処理方法。
2. 前記特徴ベクトルは、前記対象領域を表すサンプルの特徴量であることを特徴とする請求項１に記載の画像処理方法。
3. 前記特徴ベクトルは、前記対象領域を表すサンプルを含む、複数の領域サンプルの特徴量を、統計的に処理することにより算出されることを特徴とする請求項１に記載の画像処理方法。
4. 前記特徴領域は、前記入力画像中の部分領域の特徴量と、前記特徴領域定義の特徴ベクトルの中で、前記部分領域の特徴量と最も近い特徴ベクトルとの距離を特徴距離として用いて決定されることを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理方法。
5. 前記対象領域の画素は、指定された色空間内で、前記対象領域中心色からの距離または前記対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で決定することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理方法。
6. 前記対象領域の画素は、指定された色空間内で、前記対象領域中心色を含む所定の領域に含まれる画素であることを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理方法。
7. 前記対象領域の画素は、指定された色空間内で、前記対象領域中心色を中心とした色分布からのマハラノビス距離によって決定されることを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理方法。
8. 前記色分布は、指定された色空間内で、前記特徴領域の画素近傍の分布であることを特徴とする請求項７に記載の画像処理方法。
9. 前記特徴ベクトルは、前記対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性の特徴を表すものであることを特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理方法。
10. 入力画像から、対象領域の色を決定する画像処理方法において、請求項１ないし請求項９のいずれか１項に記載の画像処理方法によって算出された対象領域中心色、または、請求項１ないし請求項９のいずれか１項に記載の画像処理方法によって決定された対象領域を用いて算出された色を、対象領域の色とすることを特徴とする画像処理方法。
11. 入力画像から対象領域を決定する画像処理装置において、前記対象領域のテクスチャまたは階調性または周波数的な特徴を表す特徴ベクトルを用いて構成される特徴領域定義を用いて前記入力画像中の部分領域の特徴量と前記特徴領域定義中の前記特徴ベクトルとの距離である特徴距離から前記対象領域の特徴を表している特徴領域を決定する特徴領域決定手段と、前記特徴距離による加重と前記特徴領域内の画素を用いた加重平均を行うことにより前記対象領域を代表する色となる対象領域中心色を算出する対象領域中心色算出手段と、前記対象領域中心色及びその近傍の色の画素を前記対象領域の画素とする対象領域決定手段を備えることを特徴とする画像処理装置。
12. 前記特徴ベクトルは、前記対象領域を表すサンプルの特徴量であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記特徴ベクトルは、前記対象領域を表すサンプルを含む、複数の領域サンプルの特徴量を、統計的に処理することにより算出されることを特徴とする請求項１１に記載の画像処理装置。
14. 前記特徴領域決定手段は、前記入力画像中の部分領域の特徴量と、前記特徴領域定義の特徴ベクトルの中で、前記部分領域の特徴量と最も近い特徴ベクトルとの距離を特徴距離として用いて前記特徴領域を決定することを特徴とする請求項１１ないし請求項１３のいずれか１項に記載の画像処理装置。
15. 前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色からの距離または前記対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で対象領域の画素を決定することを特徴とする請求項１１ないし請求項１４のいずれか１項に記載の画像処理装置。
16. 前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色を含む所定の領域に含まれる画素を対象領域の画素とすることを特徴とする請求項１１ないし請求項１４のいずれか１項に記載の画像処理装置。
17. 前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色を中心とした色分布からのマハラノビス距離によって対象領域の画素を決定することを特徴とする請求項１１ないし請求項１４のいずれか１項に記載の画像処理装置。
18. 前記色分布は、指定された色空間内で、前記特徴領域の画素近傍の分布であることを特徴とする請求項１７に記載の画像処理装置。
19. 前記特徴ベクトルは、前記対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性の特徴を表すものであることを特徴とする請求項１１ないし請求項１８のいずれか１項に記載の画像処理装置。
20. 入力画像から、対象領域の色を決定する画像処理装置において、請求項１ないし請求項９のいずれか１項に記載の画像処理方法あるいは請求項１１ないし請求項１９のいずれか１項に記載の画像処理装置によって算出された対象領域中心色、または、請求項１ないし請求項９のいずれか１項に記載の画像処理方法あるいは請求項１１から請求項１９のいずれか１項に記載の画像処理装置によって決定された対象領域を用いて算出された色を、対象領域の色とする代表色算出手段を備えたことを特徴とする画像処理装置。
21. 入力画像から対象領域を決定する画像処理プログラムにおいて、請求項１ないし請求項９のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
22. 入力画像から対象領域の色を決定する画像処理プログラムにおいて、請求項１０に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
23. 入力画像から対象領域を決定する画像処理プログラムを格納したコンピュータが読取可能な記憶媒体において、請求項１ないし請求項９のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。
24. 入力画像から対象領域の色を決定する画像処理プログラムを格納したコンピュータが読取可能な記憶媒体において、請求項１０に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。

Images