JP4171354B2 - カラー画像処理装置及び方法 - Google Patents
カラー画像処理装置及び方法 Download PDFInfo
- Publication number
- JP4171354B2 JP4171354B2 JP2003171808A JP2003171808A JP4171354B2 JP 4171354 B2 JP4171354 B2 JP 4171354B2 JP 2003171808 A JP2003171808 A JP 2003171808A JP 2003171808 A JP2003171808 A JP 2003171808A JP 4171354 B2 JP4171354 B2 JP 4171354B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- distribution
- image
- dimensional object
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカラー画像の画像処理、特に、色空間における３次元色領域の抽出、変形を利用した画像処理に関するものである。
【０００２】
【従来の技術】
デジタルカラー画像では、色の再現や修整が重要な問題である。そのためのデータ処理には、画像から所望の領域を抽出して、その領域の色調を修整することも含まれる。以下では、カラー画像からの色領域抽出と色調修整の従来の手法について説明する。
【０００３】
色空間において、色は輝度、色相、彩度の３成分からなる。そこで、色は、色相・彩度といった２次元分布として定義する方法がある。この場合、カラー画像のピクセル値を解析して、所定範囲内の色相・彩度をもつ領域を抽出する。
【０００４】
画像からある特定の色領域を抽出するのに、色空間上での３次元物体色分布が利用されている。たとえば、特開平６−１１１０１６号公報に記載された画像処理では、画像の３次元物体色空間上での分布のモデルに基づき、クラスタリング手法を用いて画像の領域分割を行う。ここで、カラー画像の領域分割に際して、物体の反射モデルから推定される色空間上での分布の特徴を、「黒」から「物体色」を通り「白」へと至る曲線としてモデル化し、該曲線を区別するパラメータ空間上へ各画素を写像することにより、同一領域の画素どうしが特定の場所に局在するような分布を得、その空間上でクラスタリングを行う。これにより領域分割がより正確に行える。
【０００５】
抽出した色領域に対する色補正として、色相や彩度を変えるという人為的な補正は可能である。たとえば、特開平９−２８５７８号公報に記載された画像処理装置では、画像データの色空間上での分布特徴に依存した表現に画像を一旦変換し、その分布の特徴を表わす制御点をもとに複数の単体に分割し、画像データを単体で規定される単体内部座標に変換する。これにより、色調修整などの画像処理を少ない演算量で実行できる。また、オペレータは制御点を移動させるだけで、容易に色調を修整できるようになるため、熟練を要することなく、領域選択的な色調修整も簡単にできるようになる。
【０００６】
また、特開平１０−２６９３６０号公報に記載された自然カラー画像からの画像領域抽出法は、二色性反射モデルを基にしている。二色性反射モデルでは、鏡面反射成分を、色空間上の高明度かつ低彩度の位置から低明度かつ高彩度の位置に向かう線分で示し、対象物に吸収された後に拡散される吸収拡散反射による吸収拡散反射成分を、明度の最も小さな点（色空間の原点）から高明度かつ高彩度の位置に向かう線分で示す。ここで、抽出対象のサンプルデータから得られるある領域の現実の反射光分布を用い、サンプルデータを色空間上に変換して、画像上のサンプルを色空間上の色空間分布とする。この色空間分布の高明度側から低明度側または低明度側から高明度側にかけ明度軸にそって、かつ色空間分布の中心近傍を通過するような複数の線分を設け、各線分を中心軸とした色空間上の部分的な分布を各線分に対応する各部分分布とする。そして、自然カラー画像のデータ点を色空間に変換したときその色が部分分布のいずれかに含まれるとき、抽出対象として画像領域を抽出する。
【０００７】
【特許文献１】
特開平６−１１１０１６号公報
【特許文献２】
特開平９−２８４５７８号公報
【特許文献３】
特開平１０−２６９３６０号公報
【０００８】
【発明が解決しようとする課題】
色を色相・彩度といった２次元分布として定義する従来の方法では、色の異なる物体の点を、黒と照明色（たとえば白）を結ぶ線分に対して垂直な平面上に投影した場合、異なる３次元座標の点（すなわち異なる色）が平面上では同じ座標（すなわち同じ色）として認識されてしまうという問題がある。
【０００９】
また、画像からある特定の色領域を抽出するのに、色空間上での３次元物体色分布を利用する手法は有効であるが、正確なモデル化手法は提案されていない。対象画像の色分布解析を行い、これに基づいて分布パラメータを推定しているため、領域の自動抽出が困難である。たとえば特開平６−１１１０１６号公報に記載された画像処理では、黒から物体色を通り白へと通るモデル化について物体色の定義があいまいであり、モデルが一意に決められない。物体色を対象画像ごとに毎回求める必要がある。
【００１０】
抽出した色領域に対して色相や彩度を変えるという手法で人為的な補正は可能である。たとえば、特開平９−２８５７８号公報に記載された手法では、色分布モデルとして個別色分布を内包する個別の立体の外形を変化させることで、色を人為的に補正している。しかし、照明光が明るくなることによる色変化、すなわち色分布の外形を保ったままで内部で入力画像中の画素に対応する色空間内での座標位置が移動するようなケースが考慮されていない。自然な補正として実際に照明光が明るくなったような場合に起きる分布モデル内の分布移動が実現できないため、画像処理が不正確になるとともに、実際の照明変化を反映した画像処理が困難になる。したがって、色補正を実現することは不可能であった。
【００１１】
また、特開平１０−２６９３６０号公報に記載された画像領域抽出方法では、色分布モデルを設定するが、ある色の色空間内での分布モデルが定義されてないため、毎回入力画像から得られる色分布を分析し、分布パラメータを求めることが必要であるという問題がある。
【００１２】
ところで、人の顔の肌の色は、金属、プラスチックなどの物体のように単色からなっているわけではない。顔の部位によって色が異なり、肌色は、複数の色が集まった色の集合である。また、色の集合である肌色は、人によってその色の種類やばらつきが異なる。前述の従来の画像の領域抽出と色調修整の手法は、一般的な画像処理に関するものであるが、このような肌色を対象とした場合、以下のような問題がある。（１）ベースにしている単色のモデル化が色空間上では正確なモデルになっていない。これらの理由により画像処理が不自然になる。また、（２）複数の色を含む物体のモデル化が検討されておらず、色の集合である肌色のモデル化が正確に行えない。また、（３）形状操作に”立体幾何学的な”規則性はあるが、実際の色の分析に基づいていない。これにより、実際に求める画像処理に必要な操作を行うのが困難または不可能である。したがって、複数の色の集合である人の顔などの物体を含んだカラー画像について自然な画像処理が行えることが望まれる。
【００１３】
この発明の目的は、単色の物体、及び複数の色の集合である物体のカラー画像の自然な画像処理を可能にすることである。
【００１４】
【課題を解決するための手段】
本発明に係る第１のカラー画像処理装置は、色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定する３次元物体色領域モデル設定手段と、カラー画像を入力する画像入力手段と、システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を設定するしきい値設定手段と、入力されたカラー画像について、３次元物体色確率分布モデルを用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、照明光の変化による色分布の移動の演算を定義しておき、入力されるカラー画像データと、３次元物体色確率分布モデルとを用い、定義されている上記色移動演算を行うことにより照明光変化を計算する演算手段とからなる。
【００１５】
また、本発明に係る第２のカラー画像処理装置は、システムが定数として持っている、または操作者により入力された確率しきい値を設定するしきい値設定手段と、色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布を設定する２次元物体色確率分布設定手段と、色空間における前記の２次元物体色確率分布、黒及び照明光色を含む３次元物体色確率分布モデルを入力する３次元物体色領域モデル設定手段と、入力されたカラー画像について、３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、色領域出力から色領域形状パラメータを抽出する色領域形状抽出手段と、複数のサンプル画像から抽出した色領域の個々の色分布形状を含む色分布形状パラメータデータベースを記憶するデータベース記憶手段と、色分布形状パラメータデータベースからの色分布形状パラメータの操作者による選択を受け付ける色形状パラメータ選択手段と、入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う色領域形状変形手段とからなる。
【００１６】
【発明の実施の形態】
以下、添付の図面を参照して発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
【００１７】
自然界に存在する物体の色は、現実には全くの単一色ではない。異なる色を含んだ、すなわち、ある色分布を持った物体が多くある。例えば、金属でも場所により組成の違いがあり、単一色で塗られた物体でも色むらがあり、自然界の緑、また、肌色は、緑または肌色として認識される複数の色の集りである。また、照明光中の物体についての色データ測定値は、照明のあたり方によって色空間内で分布を持った領域となる。また、単色であっても測定系の誤差を含んだ分布を持つ。カラー画像データからの物体色抽出と色調修整は、これらの点を考慮しなければならない。
【００１８】
本発明では、色空間内で、ある物体色の色分布をモデル化する際に、輝度値の暗から明への変化に対して、物体色からなる拡散反射成分に加えて照明光色からなる鏡面反射が現れるしきい値に注目する。同じ物体色と認識されるサンプル画像の色分布を測定し、測定データから拡散反射成分に鏡面反射が加わり始めるしきい値（境界輝度値という）を求める。そして、境界輝度値を含む平面（境界輝度値平面）を設定し、この境界輝度値平面上で、同じ物体色と認識される色分布を、境界輝度値を含む２次元物体色確率分布領域として設定する。さらに、色空間内で、２次元物体色確率分布と黒および照明光色とを含み、２次元物体色確率分布の輪郭と黒および照明光色との間を補間して得られる３次元物体色確率分布を設定し、これを３次元物体色確率分布モデルとして定義する。このように、境界輝度値を基に２次元物体色確率分布モデルを定義し、２次元物体色確率分布モデルを基に３次元物体色確率分布モデルを定義することで、正確な物体色領域が定義できる。
【００１９】
画像データが入力されるとき、この３次元物体色確率分布モデルを用いて物体色（たとえば人の顔）の領域を識別する。また、この３次元物体色確率分布モデルの定義を基に画像処理を行える。すなわち、３次元物体色確率分布領域内で、照明光が変化した場合の分布の移動モデルを定義し、これを画像処理として定義する。これを用いて照明光が変化した場合の画像処理を行う。
【００２０】
次に、色領域の抽出についてさらに説明する。物体の色分布を見ると、ＲＧＢ空間では、多くの場合、２色性反射モデルから推測されるように、図１に示すような色分布になる。この色分布の特徴は、ある単一色からなる物体に当てる照明光を暗から明へと変化させていった場合、物体色による色分布（直線）と照明光色による色成分（直線）とがつながることである。すなわち、照明光の強度を増加していくと、最初は物体からの拡散反射成分として物体色が増していくが、ある程度明るくなると、物体色に加えて鏡面反射成分として照明光色が加わる。図１では、照明色は白色としている。図１では、拡散反射成分は、色空間上の明度の最も小さな点（色空間の原点）から境界輝度値の位置Ｈに向かう線分で示され、鏡面反射成分は、高明度かつ低彩度の位置（照明光色）から境界輝度値の位置Ｈに向かう線分で示される。なお、図１は、２つの物体Ａ，Ｂについて色分布が示されている。このように、拡散反射成分と鏡面反射成分とは、いずれもほぼ直線で近似でき、２つの成分のつながる境界での輝度（境界輝度値という）が、色データの解析により求められる。
【００２１】
前述の境界輝度値は、物体色のみからなる領域（拡散反射領域）と物体色に照明光色が加わる領域（鏡面反射領域）との輝度値のしきい値である。この境界輝度値は、物理単位で見た値としてはほぼ一定であるが、計測系で得られるデータとしては、撮像系の性質としてＣＣＤのダイナミックレンジや画像データ処理の内容により変化する。１例として、図２は、ＣＣＤで記録できる領域が少し狭くなった状況を示している。しかし、撮像系の性質や画像データ処理の内容が一定であれば、一度実験的に境界輝度値を求めておけば、以後はその値で近似でき、この値を境界輝度値とする。境界輝度値設定部１０が設定する境界輝度値は、このように調整された値である。
【００２２】
単に色といっても色空間内で１点になるのではなく、実際には照明のあたりかたによって色空間内で分布を持った領域になる。そこで、複数の測定値をもとに色分布と境界輝度値を求めることにより、図３に示すように、この境界輝度値の複数の位置Ｈを含む平面（境界輝度値平面という）が設定でき、この境界輝度値平面上で、物体色と認識される色分布を２次元物体色確率分布領域として設定する。位置Ｈは、輝度値は同じであるが色が異なる点である。また、肌色のような認識色の場合、肌色と認識されるサンプル画像の色分布を測定し、境界輝度値の複数の位置Ｈを含む境界輝度値平面上で、肌色と認識される色分布を２次元物体色確率分布領域として設定する。図３で斜線で示した領域は、ある確率しきい値を用いて得られた、境界輝度値の複数の位置を囲む輪郭内の２次元確率分布領域を示す。
【００２３】
次に、色空間内において物体色が存在する確率（入力画像中の画素の物体色らしさ）として、図４に示すように、２次元物体色確率分布の輪郭を原点（黒）との間及び照明光色（白色光源の場合は白）との間で補間して得られる３次元物体色確率分布モデルを定義する。したがって、３次元物体色確率分布モデルは、境界輝度値平面での２次元物体色確率分布の輪郭、黒及び照明光色とを含む。２次元確率分布領域は、図３に示すように確率しきい値を用いて得られた領域である。図４の例では、３次元物体色確率分布は、２次元物体色確率分布の輪郭と、黒または照明光色との間を直線で補間して求めている。３次元物体色確率分布モデルを用いることで、物体色の分布を正確に求めることが可能となる。
【００２４】
色領域の抽出においては、入力画像データから、この３次元物体色確率分布モデルを用いて、確率しきい値以上の物体色らしさを持つ色（認識色）を物体色領域として抽出する。こうして、画像から物体色領域を抽出する。
【００２５】
人の肌の色のような、人が認識する色（認識色）は、上述の単一色を複数含んでいる。図５に示すように、実験結果より、そのような場合、上述の境界輝度値は、ほぼ１つの平面上に分布することが見出された。したがって、認識色の領域は、上述の実験結果に基いて定義される。すなわち、色空間上での認識色の場合、境界輝度値平面上で同一色として認識される境界輝度値の複数の位置（色グループ）の色分布を、２次元物体色確率分布領域として定義する。たとえば、複数のサンプル画像の色分布を測定し、それらから求められる境界輝度値をすべて含むように２次元物体色グループ確率分布領域を求める。境界輝度値平面は、色空間の原点（黒）と照明色（たとえば白）を結ぶ線に垂直である。次に、単一色の場合（図４）と同様に、この２次元物体色確率分布を原点（黒）との間と、照明光色との間で補間して、色空間内において物体色が存在する確率（入力画像中の画素の物体色らしさ）として３次元物体色確率分布モデルを定義する。
【００２６】
人の顔の肌色の場合、多数の人について実物の顔の色を測定することにより、上述の２次元物体色確率分布が求められ、３次元物体色確率分布が定義される。その他、色サンプルがあるものは、その測定値をもとに３次元物体色確率分布が定義される。これらは一定の色見本が存在するものである。一方、個人的に同一の物体色として主観的に認識する（含める）複数の単一色の集り（たとえば、ある人が青色として認識する色の集合）の色領域を判別したい場合がある。その場合、そのような色を測定し、２次元物体色確率分布を求め、これを基に３次元物体色確率分布を定義できる。これにより、人が認識する色のかたまり（主観的な色）の色領域も認識できる。これにより、人の知覚する色の色空間内での分布を正確に求めることができる。認識色は、このように定義された色である。
【００２７】
一方、単色からなる物体であっても、現実には全くの単色ではなく、異なる色を含んだ、すなわち色分布（色むら）を持った物体が多くある。たとえば、塗料で塗った物体や自然界の緑は、実際には異なる分布を含んでいる。そのような物体は、色のばらつきの影響を受けやすく、２次元物体色確率分布を求めたとしても、実際の物体では、色むらのため、その物体色を持つものと判断されないことがある。そこで、２次元物体色確率分布を求めた後で、必要ならば、操作者が実際の対象の色のばらつき具合を調整して、３次元物体色確率分布を求める。これにより３次元物体色確率分布を調整することにより、現実世界の物体の色空間内での分布を正確に求めることができる。
【００２８】
次に、３次元物体色確率分布を用いた色領域抽出を説明する。画像から物体色領域を抽出するとき、色空間での上述の３次元物体色確率分布を用いて、ある一定値（確率しきい値）以上の物体色らしさを持つ色を物体色領域として画像から抽出する。画像からある色領域を抽出するのに、色空間上での３次元分布を利用する従来の手法は有効であるが、正確なモデル化手法は提案されていなかった。本発明では、光に対する物体の反射モデルを導入することで、色空間内での色分布モデル化を行える。このような色分布モデルは、たとえば顔領域の識別処理などにおいて有用である。
【００２９】
色処理は、こうして抽出された物体色領域に対して行う。物体色に対する色処理演算は、実際の照明変化がもたらす色空間における色分布変化に基づき、拡散反射成分として物体色が増えていき、次に、物体色に鏡面反射成分として照明光色が加わり、最終的に照明光色に変化していく色処理（色分布変化モデル）を、色空間での座標計算として実装する。こうして、色分布モデルを用いた色領域抽出と色分布変化モデルを用いた画像処理とを用いることで、特定の色領域に対する自然な色補正が可能となる。従来は照明光の変化を自然な色補正として行えなかったが、本発明では、照明光変化による色分布変化モデルを考慮した画像処理を行い、この問題を解決できる。
【００３０】
以下の実施形態ではＲＧＢ空間を用いて説明している。しかし、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ＨＳＶ空間においても、境界輝度値平面をそれぞれＬ軸、Ｖ軸に直交するように設定し、その平面上で２次元物体色確率分布を設定することで、同様な作用効果が得られる。
【００３１】
また、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間などの均等色空間を用いた場合、均等色空間の特徴として空間内でのユークリッド距離と知覚尺度とが空間座標によらず等しいため、空間座標によらずに境界輝度値平面上での２次元物体色グループ確率分布領域が設定可能となる。具体的に述べると、均等色空間を用いない場合、境界輝度値平面上の座標位置によって、２次元確率分布領域の形状が異なるが、均等色空間を用いると、境界輝度値平面上の位置によらず、同一の２次元物体色グループ確率分布形状を使える。このため、ある認識色の３次元物体色確率分布モデルがより少ない変数で定義可能となる。
【００３２】
実施形態１．
図６は、実施形態１の画像処理装置を示す。この画像処理装置の構成は、通常のコンピュータと同様である。画像処理装置は、全体を制御するＣＰＵ１００を中心として構成される。ＣＰＵ１００は、バスを介して、プログラムなどを記憶するＲＯＭ１０２と、データなどを記憶するＲＡＭ１０４に接続され、また、フレキシブルディスク（ＦＤ）１０６、ハードデイスク（ＨＤ）１１０、ＣＤ−ＲＯＭ１１４をそれぞれ記録媒体とするフレキシブルディスク装置１０８、ハードデイスク装置１１２、ＣＤ−ＲＯＭ装置１１６に接続される。さらに、ＣＰＵ１１０は、各種画面などを表示するディスプレイ装置１０８や、各種入力、指示操作などを行うための入力手段であるキーボード１２０とマウス１２２、画像を読み取るスキャナ１２４に接続される。さらに、ＵＳＢインタフェース１２６を介して、外部のデジタルカメラ１２８、ビデオカメラ(図示しない）などに接続可能である。ここで、ハードディスク１１０には、オペレーティングシステム・プログラムのほか、後で説明する画像処理プログラムなどのアプリケーションが記憶される。デジタル画像としてのカラー顔画像は、たとえば、スキャナ１２４、デジタルカメラ１２８などから入力される。また、通信装置１３０からネットワークを通して他のコンピュータなどから受け取ってもよい。また、画像処理プログラムは、フレキシブルディスク１０６、ＣＤ−ＲＯＭ１１４などの記録媒体に記憶できる。また、フレキシブルディスク１０６、ＣＤ−ＲＯＭ１１４などの記録媒体に記録された画像処理プログラムが、この画像処理装置にダウンロードできる。この画像処理装置の構成は、以下に説明する他の実施の形態の画像処理装置でも同様であり、以下の実施の形態では説明を省略する。また、以下に説明する画像処理は、プリンタ、デジタルカメラなどにおける画像処理装置においても適用でき、また、携帯電話などにおける画像処理にも採用できる。
【００３３】
図７は、実施の形態１における画像処理装置における色分布設定の機能ブロック図を示す。この画像処理装置では、境界輝度値設定部１０は、色空間において拡散反射成分に鏡面反射成分が加わる境界輝度値を定め、２次元物体色確率分布定義部１２は、境界輝度値をもとに境界輝度値平面上での色確率分布を設定する。２次元物体色確率分布定義部１２は、たとえば、サンプルとなる物体の境界輝度値平面上で占める色領域の重心値を求め、この重心値を元に、２次元物体色確率分布領域（たとえば、楕円領域や正規分布）を定義する。図１において楕円は確率が０である輪郭を表わしている。３次元物体色確率分布定義部１４は、黒と境界輝度値の間と、境界輝度値と照明光色との間で２次元物体色確率分布を補間することで色空間での３次元物体色確率分布を定義する。これにより、境界輝度平面上に２次元物体色確率分布を定義し、次に、この２次元物体色確率分布と黒および照明色とから色空間内で３次元物体色確率分布モデルを定義する。これにより、こうして、色空間における色分布領域が定義される。さらに、単色の物体について、実際の対象の色のばらつき具合を調整するため、色分布調整パラメータ設定部１６を追加する。この色分布調整パラメータ設定部１６は、肌色などの認識色の場合には使用しない。
【００３４】
ある物体のＲＧＢ空間における色分布を分析すると、先に図１により説明したように、物体色からなる拡散反射領域と、照明光色による影響が加わった鏡面反射領域とがつながったアーチ状の分布形状特徴が見られる。境界輝度値設定部１０は、この鏡面反射が起き始める輝度値をしきい値として設定する。
【００３５】
次に、２次元物体色確率分布定義部１２は、境界輝度値平面上で物体色が実際に占める領域を分析することで、図３のような２次元物体色確率分布領域を求める。たとえば、図３の例では、この領域は楕円状である。そして、３次元色確率分布定義部１４は、原点と境界輝度値の間と、境界輝度値と照明光色の間とで、この２次元物体色確率分布領域を補間することで、３次元物体色確率分布を定義する（図４）。たとえば図３のような楕円領域が補間されて３次元確率分布領域が求められた場合、その領域の表面の曲面上で確率がゼロとなる。
【００３６】
色分布調整パラメータ設定部１６は、単色の物体について、実際の対象の色のばらつき具合を調整するために設けられる。操作者は、２次元物体色確率分布定義部２２で求められた２次元物体色確率分布に対して、キーボード３０などで、３次元色確率分布を調整するため、抽出したい現実の物体に合わせた色分布調整パラメータを設定する。これにより、異なる色を含んだ物体について、現実世界の物体の色空間内での分布をより正確に求めることができる。
【００３７】
図８は、ＣＰＵ１００による３次元物体色確率分布を求める処理のフローチャートを示す。まずサンプルカラー画像データの入力を受け取る（Ｓ１０)。次に、あらかじめ求められている境界輝度値を入力し（Ｓ１２）、３次元色空間において境界輝度値を含む平面において、サンプルカラー画像データについて２次元物体色確率分布を求める（Ｓ１４）。次に、２次元物体色確率分布を基に３次元物体色確率分布を求める（Ｓ１６）。たとえば、黒と２次元物体色確率分布の間と、２次元物体色確率分布と照明光色の間とで直線で補間して３次元物体色確率分布を得る。求められた２次元物体色確率分布と３次元物体色確率分布は記憶装置に記憶しておく。
【００３８】
図９は、ＣＰＵ１００による単色の３次元物体色確率分布を求める処理のフローチャートを示す。まずサンプルカラー画像データの入力を受け取る（Ｓ１０)。次に、あらかじめ求められている境界輝度値を入力し（Ｓ１２）、３次元色空間において境界輝度値を含む平面において、サンプルカラー画像データについて２次元物体色確率分布を求める（Ｓ１４）。次に、操作者による色分布調整パラメータの設定を受け取り（Ｓ１５）、それを用いて、２次元物体色確率分布を調整する。次に、調整された２次元物体色確率分布を基に３次元物体色確率分布を求める（Ｓ１６）。求められた２次元物体色確率分布と３次元物体色確率分布は記憶装置に記憶しておく。
【００３９】
図１０は、実施の形態１における画像処理装置の色領域出力の機能ブロック図を示す。２次元物体色確率分布設定部２０は、境界輝度値平面上での２次元色確率分布を設定する。この２次元色確率分布は、すでに求められているものである。色分布調整パラメータ設定部２２は、操作者により入力される色分布調整パラメータを設定する。３次元物体色確率分布設定部２４は、２次元色確率分布と黒及び照明色を含む３次元物体色確率分布を設定する。この３次元色確率分布は、すでに求められているものを用いるか、または、入力される色分布調整パラメータを用いて２次元色確率分布を調整したものである。すでに求められた３次元色確率分布のみを用いる場合は、２次元物体色確率分布設定部２０と色分布調整パラメータ設定部２２は不要である。色領域を抽出するとき、画像入力部２６は、カラー画像を入力し、色空間データ変換部２８は、画像のピクセル値をＲＧＢ色空間で表現する。色領域出力部３０は、３次元物体色確率分布設定部２４からの３次元物体色確率分布を用いて、確率しきい値設定部３２でシステムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を超える色確率を有するピクセルを物体色領域として抽出し、出力する。このように、人が認識する色（複数の色の集まり）の確率分布を定義した認識色の３次元確率分布を用いることで、たとえば、人の肌色などの実際には複数の色を含んだ認識色の領域を、画像から正確に抽出できる。
【００４０】
図１１は、ＣＰＵ１００によるカラー画像データからの物体色領域抽出のフローチャートを示す。すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、ＲＧＢデータから、設定されている３次元物体色確率分布と確率しきい値とを用いて、物体色領域を抽出し、出力する（Ｓ３０）。
【００４１】
図１２は、ＣＰＵ１００によるカラー画像データからの物体色領域抽出のフローチャートを示す。すでに求められている２次元色確率分布を入力し（Ｓ２０)、操作者により入力された色分布調整パラメータを設定する（Ｓ２１）。次に、色分布調整パラメータを用いて調整された２次元色確率分布を調整し、調整された３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、ＲＧＢデータから、設定されている３次元物体色確率分布と確率しきい値とを用いて、物体色領域を抽出し、出力する（Ｓ３０）。
すでに求められている２次元色確率分布と３次元色確率分布を入力する（Ｓ２２、Ｓ２４）。
【００４２】
実施形態２．
実施形態２の画像処理装置では、照明光変化による色分布変形として色処理を行う。図１３の機能ブロック図に示すように、この画像処理装置では、３次元物体色確率分布設定部２４は、境界輝度値平面上での３次元物体色確率分布モデルを設定する。この３次元物体色確率分布モデルはすでに求められている。画像入力部２６はカラー画像を入力し、色空間データ変換部２８は、画像のピクセル値を色空間で表現する。色確率出力部３４は、３次元物体色確率分布設定部２４からの３次元物体色確率分布に基づいて各ピクセルに対する色確率を出力する。色分布移動演算定義部３６は、次に説明するように、照明光の変化による色分布の移動演算を定義している。照明光変化演算部３８は、色分布移動演算定義部３６で定義された色分布移動演算により、色確率出力部３４からの色確率とピクセルの値とを掛け合わせることにより照明光変化を計算する。画像出力部４０は、照明光変化演算部３８による演算結果の画像を出力する。このように、照明光変化による色分布変化に注目し、色分布変化の解析結果に基づいた色分布変形として色処理を実現することで、自然な画像処理が可能である。
【００４３】
色分布移動演算についてさらに詳しく説明する。色分布移動演算定義部３６では、図１４に示したように、黒（原点）から境界輝度値（境界輝度値平面）まで進み、その後照明色に向かう経路に沿った移動を定義する。図１４において、Ｓ０とＳ１は、境界輝度平面で分けられる色空間の原点側と照明光側を表わす。Ａを入力画像中のピクセル、Ａ’を移動後のＡの座標、Ｐｓｋｉｎを点Ａの肌色確率とする。ｓを経路にそっての移動量とすると、移動後のＡすなわちＡ’は、ＡがＳ０に属していれば、
【数１】
ＡがＳ１に属していれば、
【数２】
この色分布移動演算において、移動量ｓを物体色確率Ｐskinを係数として掛けたものをピクセルのＲＧＢ値に適用する。これにより、物体色の領域のみに対し、照明光変化を画像処理として適用できる。ここで、人の肌色など複数の色を含む認識色の３次元物体色確率分布を用いることで、人の肌色など複数の色の集まった物体の物体色領域のみに対して、照明光変化を画像処理として適用することができる。
【００４４】
図１５は、ＣＰＵ１００による実施形態２の色処理のフローチャートを示す。まず、すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値に基づいて各ピクセルに対する色確率を出力する（Ｓ３２）。
【００４５】
次に、照明光変化による色分布変化に注目し、色分布変化の解析結果に基づいた色分布変形として色処理を実現する。すなわち、前もって定義されている色分布移動演算を用いて、色確率とピクセルの値とを掛け合わせることにより照明光変化を計算する（Ｓ３４）。次に、照明光変化演算により得られた画像を出力する（Ｓ３６）。
【００４６】
実施形態３．
撮影装置の特性や照明環境によって同じ物体でも異なる色分布をする。そこで、画像を修整することが一般に行われている。実施形態３の画像処理装置では、色確率分布を用いて特定の色領域の形状パラメータを抽出し、抽出した色領域に対して既存の色分布の形状パラメータを用いた画像処理を行う。したがって、色画像データの修整を物体色分布の形状パラメータを用いて自然かつ容易に行う。
【００４７】
図１６は、実施の形態３における画像処理装置の機能ブロック図を示す。この画像処理装置において、色領域形状抽出部４２は、色領域出力部３０からの色領域出力データから、色領域形状パラメータを抽出する。色分布形状パラメータデータベース４４は、複数のサンプル画像から抽出した色領域の個々の色分布形状を保存している。色形状パラメータ選択部４６は、色分布形状パラメータデータベース４４からのある特定の色分布の、操作者による選択を受け付ける。形状変形処理部４８は、入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う。
【００４８】
図１７は、ＣＰＵ１００による実施の形態３の形状変形処理のフローチャートを示す。まず、また、すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値に基づいて色領域を抽出し、出力する（Ｓ３０）。
【００４９】
次に、画像処理を行う。ここで、色領域出力から、色領域形状パラメータを抽出する（Ｓ３８）。一方、複数のサンプル画像から抽出した色領域の個々の色分布形状を保存した色分布形状パラメータデータベースからのユーザによるある特定の色分布の選択を入力する（Ｓ４０）。次に、入力画像の色領域形状に対して色領域形状パラメータから選択した形状パラメータへの形状変形処理を行う（Ｓ４２）。こうして、色確率分布を用いて特定の色領域の形状パラメータを抽出し、この抽出領域に対して既存の色分布の形状パラメータを用いた画像処理を行う。
【００５０】
自然な色補正は、一つの認識色の中での分布形状の変化と考えられる。このような認識色に対する補正として、例えば入力画像に人の顔画像を用いて画像中の肌色を補正する場合、肌色というのは単色の集まりであるので、この集まりを定義した２次元物体色確率分布を２次元物体色確率分布設定部２２において設定する。この２次元確率分布を補間して作られる３次元物体色確率分布及び確率しきい値を用いて入力画像中から認識色として肌色領域が抽出され、色領域出力部３０から出力される。図１８に示されるように、人の肌色として認識される２次元物体色確率分布は、多くの人の肌色を含んだ広い範囲の確率分布であり、画像中に含まれる個々の肌色は、その中の一部である。色領域形状抽出部４２では、この部分領域の形状抽出を行う。
【００５１】
次に、具体的な例を説明する。色領域形状抽出部４２において、入力画像の色領域出力の形状パラメータセットとして、境界輝度値Ｌｔｈと境界輝度値平面上での形状（たとえば楕円領域）のパラメータx０、y０、a０、b０を出力する。
【数３】
また、色分布形状パラメータデータベース４４には、個々の肌色の色分布形状を用意しておく。ユーザは、色分布形状パラメータデータベース４４の中から、任意の選択された形状パラメータセットとして境界輝度値Ｌth1と境界輝度値平面上での形状パラメータ（たとえば楕円領域パラメータ）x１、y１、a１、b１を選択する。
【数４】
【００５２】
色分布形状パラメータデータベース４４の中から任意の形状パラメータを選択し、形状変形処理部４８で、抽出された境界輝度値及び形状パラメータと選択された境界輝度値及び形状パラメータとから、入力画像の形状パラメータセットから選択された形状パラメータセットへのアフィン変換Ｍを求め、これを色領域に対して施す。たとえば、次のように演算する。
（ａ）ＯＥを中心に−θ０の回転
（ｂ）ｘ方向に−ｘ０の平行移動
（ｃ）ｘ方向にａ１／ａ倍、ｙ方向にｂ１／ｂ倍の拡大
（ｄ）ｘ方向にｘ１の平行移動
（ｅ）ＯＥを中心にθ１の回転
（ｆ）図１９に示すように、Ａをとおり、ＯＥを法線とする平面のＯ側の点では、ＯＥ方向にＯＢ／ＯＡの拡大、または、その平面のＥ側の点では、ＯＥ方向にＥを中心にＥＢ／ＥＡの拡大を行う。これにより、肌色領域の形状変形が容易に行える。
【００５３】
実施形態４．
図２０は、実施の形態４における画像処理装置の機能ブロック図を示す。この画像処理装置では、画像データベース５０は、実施の形態３の色分布形状パラメータデータベースの代わりに、色分布形状パラメータと形状パラメータに対応づけられた実際の画像とを保存している。サンプル提示部５２は、操作者に画像データベース５０中の画像（顔画像）を提示する。画像選択部５４は、提示された画像からの任意の画像の選択を受け付ける。形状変形処理部４８は、操作者に画像のサンプルを選択させ、その選択に応じて、色領域の形状を変化させる画像処理を行う。このように、サンプル画像の中から画像を選択することで、必要な形状パラメータが選択されることで、処理結果の推測が容易であるとともに、操作者の好みにあった画像処理が容易となる。
【００５４】
人の認識する色の１例である肌色の場合、それは単一色の集まりであり、この色の集まりを２次元物体色確率分布として２次元物体色確率分布設定部において設定する。そして、サンプル画像提示部５２で、複数の人の顔画像を提示する。ここで、任意の顔画像を画像選択部５４で操作者が選択することで、選択した顔画像中の肌色に入力画像中の肌色が変化するような画像処理が容易に可能となる。特に、顔は曲面から構成されており、照明との関係で色分布が多様である。したがって、色形状変形パラメータだけではわかりにくい画像処理が、画像を選択することで容易に可能となる。
【００５５】
図２１は、ＣＰＵ１００による実施の形態４の画像処理のフローチャートを示す。まず、すでに求められている３次元色確率分布を設定する（Ｓ２２、Ｓ２４）。次に、カラー画像データを受け取ると（Ｓ２６）、そのデータをＲＧＢデータに変換する（Ｓ２８）。そして、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値を用いて物体色領域を抽出し、出力する（Ｓ３０）。
【００５６】
次に、肌色を変化する画像処理を行う。ここで、色領域出力から、色領域形状パラメータを抽出する（Ｓ３８）。一方、色分布形状パラメータとこの形状パラメータに対応づけられた実際の画像とを保存した画像データベース５０の中の画像（顔画像）をユーザに提示し（Ｓ４４）、提示された画像からユーザによる任意の画像の選択を受け取る（Ｓ４６）。次に、ユーザに選択された画像（たとえば顔画像の肌）のサンプルの色形状パラメータを用いて色領域の形状を変形する（Ｓ４８）。
【００５７】
なお、当業者に容易に理解されるように、上述の種々の実施の形態において説明した各種構成要素は、可能な限り組み合わせることができる。
【００５８】
【発明の効果】
境界輝度値に着目して２次元物体色確率分布を求め、この２次元物体色確率分布を基に３次元物体色確率分布モデルを定義することで、物体色の分布を正確に求めることが可能となる。
境界輝度値に着目した３次元物体色分布モデルを用いることにより、正確な色領域抽出が可能となる。
顔を含むカラー画像において、物体色領域（たとえば肌色領域）の色分布形状を３次元的にとらえて、物体色領域に対して自然な画像処理が可能になる。
【図面の簡単な説明】
【図１】 ＲＧＢ空間での二反射性モデルを示す図
【図２】 ＲＧＢ空間においてＣＣＤで記録できる領域を示す図
【図３】 境界輝度値平面における２次元確率分布領域を示す図
【図４】 ２次元確率分布領域を用いた補間による３次元確率分布領域の設定を示す図
【図５】 認識色の２次元確率分布領域を示す図
【図６】 実施の形態１による画像処理装置のブロック図
【図７】 実施の形態１の画像処理の機能ブロック図
【図８】 実施の形態１における３次元色確率分布設定のフローチャート
【図９】 実施の形態１における３次元色確率分布設定の別の例のフローチャート
【図１０】 実施の形態１の画像処理の機能ブロック図
【図１１】 実施の形態１における色領域抽出のフローチャート
【図１２】 実施の形態１における色領域抽出の別の例のフローチャート
【図１３】 実施の形態２の画像処理のブロック図
【図１４】 照明光の変化の処理を説明するための図
【図１５】 実施の形態２における画像処理のフローチャート
【図１６】 実施の形態３の画像処理のブロック図
【図１７】 実施の形態３における画像処理のフローチャート
【図１８】 複数の単一色からなる物体色を説明するための図
【図１９】 画像データの拡大を説明するための図
【図２０】 実施の形態４の画像処理のブロック図
【図２１】 実施の形態４における画像処理のフローチャート
【符号の説明】
１０ 境界輝度値設定部、 １２ ２次元物体色確率分布生成部、 １４３次元物体色確率分布生成部、 ２４ ３次元物体色確率分布設定部、 ２６ 画像入力部、 ３０ 色領域出力部、 ３２ 確率しきい値設定部、３４ 色確率出力部、 ３８ 色照明変化演算部、 ４４ 色分布形状パラメータデータベース、 ４６ 形状パラメータ選択部、 ４８ 形状変形処理部、 ５０ 画像データベース、 ５２ サンプル画像提示部、 １００ ＣＰＵ、 １０２ ＲＯＭ、 １１０ ハードデイスク、 １１２ ハードデイスク装置、 １１８ ディスプレイ装置。
【発明の属する技術分野】
本発明は、デジタルカラー画像の画像処理、特に、色空間における３次元色領域の抽出、変形を利用した画像処理に関するものである。
【０００２】
【従来の技術】
デジタルカラー画像では、色の再現や修整が重要な問題である。そのためのデータ処理には、画像から所望の領域を抽出して、その領域の色調を修整することも含まれる。以下では、カラー画像からの色領域抽出と色調修整の従来の手法について説明する。
【０００３】
色空間において、色は輝度、色相、彩度の３成分からなる。そこで、色は、色相・彩度といった２次元分布として定義する方法がある。この場合、カラー画像のピクセル値を解析して、所定範囲内の色相・彩度をもつ領域を抽出する。
【０００４】
画像からある特定の色領域を抽出するのに、色空間上での３次元物体色分布が利用されている。たとえば、特開平６−１１１０１６号公報に記載された画像処理では、画像の３次元物体色空間上での分布のモデルに基づき、クラスタリング手法を用いて画像の領域分割を行う。ここで、カラー画像の領域分割に際して、物体の反射モデルから推定される色空間上での分布の特徴を、「黒」から「物体色」を通り「白」へと至る曲線としてモデル化し、該曲線を区別するパラメータ空間上へ各画素を写像することにより、同一領域の画素どうしが特定の場所に局在するような分布を得、その空間上でクラスタリングを行う。これにより領域分割がより正確に行える。
【０００５】
抽出した色領域に対する色補正として、色相や彩度を変えるという人為的な補正は可能である。たとえば、特開平９−２８５７８号公報に記載された画像処理装置では、画像データの色空間上での分布特徴に依存した表現に画像を一旦変換し、その分布の特徴を表わす制御点をもとに複数の単体に分割し、画像データを単体で規定される単体内部座標に変換する。これにより、色調修整などの画像処理を少ない演算量で実行できる。また、オペレータは制御点を移動させるだけで、容易に色調を修整できるようになるため、熟練を要することなく、領域選択的な色調修整も簡単にできるようになる。
【０００６】
また、特開平１０−２６９３６０号公報に記載された自然カラー画像からの画像領域抽出法は、二色性反射モデルを基にしている。二色性反射モデルでは、鏡面反射成分を、色空間上の高明度かつ低彩度の位置から低明度かつ高彩度の位置に向かう線分で示し、対象物に吸収された後に拡散される吸収拡散反射による吸収拡散反射成分を、明度の最も小さな点（色空間の原点）から高明度かつ高彩度の位置に向かう線分で示す。ここで、抽出対象のサンプルデータから得られるある領域の現実の反射光分布を用い、サンプルデータを色空間上に変換して、画像上のサンプルを色空間上の色空間分布とする。この色空間分布の高明度側から低明度側または低明度側から高明度側にかけ明度軸にそって、かつ色空間分布の中心近傍を通過するような複数の線分を設け、各線分を中心軸とした色空間上の部分的な分布を各線分に対応する各部分分布とする。そして、自然カラー画像のデータ点を色空間に変換したときその色が部分分布のいずれかに含まれるとき、抽出対象として画像領域を抽出する。
【０００７】
【特許文献１】
特開平６−１１１０１６号公報
【特許文献２】
特開平９−２８４５７８号公報
【特許文献３】
特開平１０−２６９３６０号公報
【０００８】
【発明が解決しようとする課題】
色を色相・彩度といった２次元分布として定義する従来の方法では、色の異なる物体の点を、黒と照明色（たとえば白）を結ぶ線分に対して垂直な平面上に投影した場合、異なる３次元座標の点（すなわち異なる色）が平面上では同じ座標（すなわち同じ色）として認識されてしまうという問題がある。
【０００９】
また、画像からある特定の色領域を抽出するのに、色空間上での３次元物体色分布を利用する手法は有効であるが、正確なモデル化手法は提案されていない。対象画像の色分布解析を行い、これに基づいて分布パラメータを推定しているため、領域の自動抽出が困難である。たとえば特開平６−１１１０１６号公報に記載された画像処理では、黒から物体色を通り白へと通るモデル化について物体色の定義があいまいであり、モデルが一意に決められない。物体色を対象画像ごとに毎回求める必要がある。
【００１０】
抽出した色領域に対して色相や彩度を変えるという手法で人為的な補正は可能である。たとえば、特開平９−２８５７８号公報に記載された手法では、色分布モデルとして個別色分布を内包する個別の立体の外形を変化させることで、色を人為的に補正している。しかし、照明光が明るくなることによる色変化、すなわち色分布の外形を保ったままで内部で入力画像中の画素に対応する色空間内での座標位置が移動するようなケースが考慮されていない。自然な補正として実際に照明光が明るくなったような場合に起きる分布モデル内の分布移動が実現できないため、画像処理が不正確になるとともに、実際の照明変化を反映した画像処理が困難になる。したがって、色補正を実現することは不可能であった。
【００１１】
また、特開平１０−２６９３６０号公報に記載された画像領域抽出方法では、色分布モデルを設定するが、ある色の色空間内での分布モデルが定義されてないため、毎回入力画像から得られる色分布を分析し、分布パラメータを求めることが必要であるという問題がある。
【００１２】
ところで、人の顔の肌の色は、金属、プラスチックなどの物体のように単色からなっているわけではない。顔の部位によって色が異なり、肌色は、複数の色が集まった色の集合である。また、色の集合である肌色は、人によってその色の種類やばらつきが異なる。前述の従来の画像の領域抽出と色調修整の手法は、一般的な画像処理に関するものであるが、このような肌色を対象とした場合、以下のような問題がある。（１）ベースにしている単色のモデル化が色空間上では正確なモデルになっていない。これらの理由により画像処理が不自然になる。また、（２）複数の色を含む物体のモデル化が検討されておらず、色の集合である肌色のモデル化が正確に行えない。また、（３）形状操作に”立体幾何学的な”規則性はあるが、実際の色の分析に基づいていない。これにより、実際に求める画像処理に必要な操作を行うのが困難または不可能である。したがって、複数の色の集合である人の顔などの物体を含んだカラー画像について自然な画像処理が行えることが望まれる。
【００１３】
この発明の目的は、単色の物体、及び複数の色の集合である物体のカラー画像の自然な画像処理を可能にすることである。
【００１４】
【課題を解決するための手段】
本発明に係る第１のカラー画像処理装置は、色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定する３次元物体色領域モデル設定手段と、カラー画像を入力する画像入力手段と、システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を設定するしきい値設定手段と、入力されたカラー画像について、３次元物体色確率分布モデルを用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、照明光の変化による色分布の移動の演算を定義しておき、入力されるカラー画像データと、３次元物体色確率分布モデルとを用い、定義されている上記色移動演算を行うことにより照明光変化を計算する演算手段とからなる。
【００１５】
また、本発明に係る第２のカラー画像処理装置は、システムが定数として持っている、または操作者により入力された確率しきい値を設定するしきい値設定手段と、色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布を設定する２次元物体色確率分布設定手段と、色空間における前記の２次元物体色確率分布、黒及び照明光色を含む３次元物体色確率分布モデルを入力する３次元物体色領域モデル設定手段と、入力されたカラー画像について、３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、色領域出力から色領域形状パラメータを抽出する色領域形状抽出手段と、複数のサンプル画像から抽出した色領域の個々の色分布形状を含む色分布形状パラメータデータベースを記憶するデータベース記憶手段と、色分布形状パラメータデータベースからの色分布形状パラメータの操作者による選択を受け付ける色形状パラメータ選択手段と、入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う色領域形状変形手段とからなる。
【００１６】
【発明の実施の形態】
以下、添付の図面を参照して発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
【００１７】
自然界に存在する物体の色は、現実には全くの単一色ではない。異なる色を含んだ、すなわち、ある色分布を持った物体が多くある。例えば、金属でも場所により組成の違いがあり、単一色で塗られた物体でも色むらがあり、自然界の緑、また、肌色は、緑または肌色として認識される複数の色の集りである。また、照明光中の物体についての色データ測定値は、照明のあたり方によって色空間内で分布を持った領域となる。また、単色であっても測定系の誤差を含んだ分布を持つ。カラー画像データからの物体色抽出と色調修整は、これらの点を考慮しなければならない。
【００１８】
本発明では、色空間内で、ある物体色の色分布をモデル化する際に、輝度値の暗から明への変化に対して、物体色からなる拡散反射成分に加えて照明光色からなる鏡面反射が現れるしきい値に注目する。同じ物体色と認識されるサンプル画像の色分布を測定し、測定データから拡散反射成分に鏡面反射が加わり始めるしきい値（境界輝度値という）を求める。そして、境界輝度値を含む平面（境界輝度値平面）を設定し、この境界輝度値平面上で、同じ物体色と認識される色分布を、境界輝度値を含む２次元物体色確率分布領域として設定する。さらに、色空間内で、２次元物体色確率分布と黒および照明光色とを含み、２次元物体色確率分布の輪郭と黒および照明光色との間を補間して得られる３次元物体色確率分布を設定し、これを３次元物体色確率分布モデルとして定義する。このように、境界輝度値を基に２次元物体色確率分布モデルを定義し、２次元物体色確率分布モデルを基に３次元物体色確率分布モデルを定義することで、正確な物体色領域が定義できる。
【００１９】
画像データが入力されるとき、この３次元物体色確率分布モデルを用いて物体色（たとえば人の顔）の領域を識別する。また、この３次元物体色確率分布モデルの定義を基に画像処理を行える。すなわち、３次元物体色確率分布領域内で、照明光が変化した場合の分布の移動モデルを定義し、これを画像処理として定義する。これを用いて照明光が変化した場合の画像処理を行う。
【００２０】
次に、色領域の抽出についてさらに説明する。物体の色分布を見ると、ＲＧＢ空間では、多くの場合、２色性反射モデルから推測されるように、図１に示すような色分布になる。この色分布の特徴は、ある単一色からなる物体に当てる照明光を暗から明へと変化させていった場合、物体色による色分布（直線）と照明光色による色成分（直線）とがつながることである。すなわち、照明光の強度を増加していくと、最初は物体からの拡散反射成分として物体色が増していくが、ある程度明るくなると、物体色に加えて鏡面反射成分として照明光色が加わる。図１では、照明色は白色としている。図１では、拡散反射成分は、色空間上の明度の最も小さな点（色空間の原点）から境界輝度値の位置Ｈに向かう線分で示され、鏡面反射成分は、高明度かつ低彩度の位置（照明光色）から境界輝度値の位置Ｈに向かう線分で示される。なお、図１は、２つの物体Ａ，Ｂについて色分布が示されている。このように、拡散反射成分と鏡面反射成分とは、いずれもほぼ直線で近似でき、２つの成分のつながる境界での輝度（境界輝度値という）が、色データの解析により求められる。
【００２１】
前述の境界輝度値は、物体色のみからなる領域（拡散反射領域）と物体色に照明光色が加わる領域（鏡面反射領域）との輝度値のしきい値である。この境界輝度値は、物理単位で見た値としてはほぼ一定であるが、計測系で得られるデータとしては、撮像系の性質としてＣＣＤのダイナミックレンジや画像データ処理の内容により変化する。１例として、図２は、ＣＣＤで記録できる領域が少し狭くなった状況を示している。しかし、撮像系の性質や画像データ処理の内容が一定であれば、一度実験的に境界輝度値を求めておけば、以後はその値で近似でき、この値を境界輝度値とする。境界輝度値設定部１０が設定する境界輝度値は、このように調整された値である。
【００２２】
単に色といっても色空間内で１点になるのではなく、実際には照明のあたりかたによって色空間内で分布を持った領域になる。そこで、複数の測定値をもとに色分布と境界輝度値を求めることにより、図３に示すように、この境界輝度値の複数の位置Ｈを含む平面（境界輝度値平面という）が設定でき、この境界輝度値平面上で、物体色と認識される色分布を２次元物体色確率分布領域として設定する。位置Ｈは、輝度値は同じであるが色が異なる点である。また、肌色のような認識色の場合、肌色と認識されるサンプル画像の色分布を測定し、境界輝度値の複数の位置Ｈを含む境界輝度値平面上で、肌色と認識される色分布を２次元物体色確率分布領域として設定する。図３で斜線で示した領域は、ある確率しきい値を用いて得られた、境界輝度値の複数の位置を囲む輪郭内の２次元確率分布領域を示す。
【００２３】
次に、色空間内において物体色が存在する確率（入力画像中の画素の物体色らしさ）として、図４に示すように、２次元物体色確率分布の輪郭を原点（黒）との間及び照明光色（白色光源の場合は白）との間で補間して得られる３次元物体色確率分布モデルを定義する。したがって、３次元物体色確率分布モデルは、境界輝度値平面での２次元物体色確率分布の輪郭、黒及び照明光色とを含む。２次元確率分布領域は、図３に示すように確率しきい値を用いて得られた領域である。図４の例では、３次元物体色確率分布は、２次元物体色確率分布の輪郭と、黒または照明光色との間を直線で補間して求めている。３次元物体色確率分布モデルを用いることで、物体色の分布を正確に求めることが可能となる。
【００２４】
色領域の抽出においては、入力画像データから、この３次元物体色確率分布モデルを用いて、確率しきい値以上の物体色らしさを持つ色（認識色）を物体色領域として抽出する。こうして、画像から物体色領域を抽出する。
【００２５】
人の肌の色のような、人が認識する色（認識色）は、上述の単一色を複数含んでいる。図５に示すように、実験結果より、そのような場合、上述の境界輝度値は、ほぼ１つの平面上に分布することが見出された。したがって、認識色の領域は、上述の実験結果に基いて定義される。すなわち、色空間上での認識色の場合、境界輝度値平面上で同一色として認識される境界輝度値の複数の位置（色グループ）の色分布を、２次元物体色確率分布領域として定義する。たとえば、複数のサンプル画像の色分布を測定し、それらから求められる境界輝度値をすべて含むように２次元物体色グループ確率分布領域を求める。境界輝度値平面は、色空間の原点（黒）と照明色（たとえば白）を結ぶ線に垂直である。次に、単一色の場合（図４）と同様に、この２次元物体色確率分布を原点（黒）との間と、照明光色との間で補間して、色空間内において物体色が存在する確率（入力画像中の画素の物体色らしさ）として３次元物体色確率分布モデルを定義する。
【００２６】
人の顔の肌色の場合、多数の人について実物の顔の色を測定することにより、上述の２次元物体色確率分布が求められ、３次元物体色確率分布が定義される。その他、色サンプルがあるものは、その測定値をもとに３次元物体色確率分布が定義される。これらは一定の色見本が存在するものである。一方、個人的に同一の物体色として主観的に認識する（含める）複数の単一色の集り（たとえば、ある人が青色として認識する色の集合）の色領域を判別したい場合がある。その場合、そのような色を測定し、２次元物体色確率分布を求め、これを基に３次元物体色確率分布を定義できる。これにより、人が認識する色のかたまり（主観的な色）の色領域も認識できる。これにより、人の知覚する色の色空間内での分布を正確に求めることができる。認識色は、このように定義された色である。
【００２７】
一方、単色からなる物体であっても、現実には全くの単色ではなく、異なる色を含んだ、すなわち色分布（色むら）を持った物体が多くある。たとえば、塗料で塗った物体や自然界の緑は、実際には異なる分布を含んでいる。そのような物体は、色のばらつきの影響を受けやすく、２次元物体色確率分布を求めたとしても、実際の物体では、色むらのため、その物体色を持つものと判断されないことがある。そこで、２次元物体色確率分布を求めた後で、必要ならば、操作者が実際の対象の色のばらつき具合を調整して、３次元物体色確率分布を求める。これにより３次元物体色確率分布を調整することにより、現実世界の物体の色空間内での分布を正確に求めることができる。
【００２８】
次に、３次元物体色確率分布を用いた色領域抽出を説明する。画像から物体色領域を抽出するとき、色空間での上述の３次元物体色確率分布を用いて、ある一定値（確率しきい値）以上の物体色らしさを持つ色を物体色領域として画像から抽出する。画像からある色領域を抽出するのに、色空間上での３次元分布を利用する従来の手法は有効であるが、正確なモデル化手法は提案されていなかった。本発明では、光に対する物体の反射モデルを導入することで、色空間内での色分布モデル化を行える。このような色分布モデルは、たとえば顔領域の識別処理などにおいて有用である。
【００２９】
色処理は、こうして抽出された物体色領域に対して行う。物体色に対する色処理演算は、実際の照明変化がもたらす色空間における色分布変化に基づき、拡散反射成分として物体色が増えていき、次に、物体色に鏡面反射成分として照明光色が加わり、最終的に照明光色に変化していく色処理（色分布変化モデル）を、色空間での座標計算として実装する。こうして、色分布モデルを用いた色領域抽出と色分布変化モデルを用いた画像処理とを用いることで、特定の色領域に対する自然な色補正が可能となる。従来は照明光の変化を自然な色補正として行えなかったが、本発明では、照明光変化による色分布変化モデルを考慮した画像処理を行い、この問題を解決できる。
【００３０】
以下の実施形態ではＲＧＢ空間を用いて説明している。しかし、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ＨＳＶ空間においても、境界輝度値平面をそれぞれＬ軸、Ｖ軸に直交するように設定し、その平面上で２次元物体色確率分布を設定することで、同様な作用効果が得られる。
【００３１】
また、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間などの均等色空間を用いた場合、均等色空間の特徴として空間内でのユークリッド距離と知覚尺度とが空間座標によらず等しいため、空間座標によらずに境界輝度値平面上での２次元物体色グループ確率分布領域が設定可能となる。具体的に述べると、均等色空間を用いない場合、境界輝度値平面上の座標位置によって、２次元確率分布領域の形状が異なるが、均等色空間を用いると、境界輝度値平面上の位置によらず、同一の２次元物体色グループ確率分布形状を使える。このため、ある認識色の３次元物体色確率分布モデルがより少ない変数で定義可能となる。
【００３２】
実施形態１．
図６は、実施形態１の画像処理装置を示す。この画像処理装置の構成は、通常のコンピュータと同様である。画像処理装置は、全体を制御するＣＰＵ１００を中心として構成される。ＣＰＵ１００は、バスを介して、プログラムなどを記憶するＲＯＭ１０２と、データなどを記憶するＲＡＭ１０４に接続され、また、フレキシブルディスク（ＦＤ）１０６、ハードデイスク（ＨＤ）１１０、ＣＤ−ＲＯＭ１１４をそれぞれ記録媒体とするフレキシブルディスク装置１０８、ハードデイスク装置１１２、ＣＤ−ＲＯＭ装置１１６に接続される。さらに、ＣＰＵ１１０は、各種画面などを表示するディスプレイ装置１０８や、各種入力、指示操作などを行うための入力手段であるキーボード１２０とマウス１２２、画像を読み取るスキャナ１２４に接続される。さらに、ＵＳＢインタフェース１２６を介して、外部のデジタルカメラ１２８、ビデオカメラ(図示しない）などに接続可能である。ここで、ハードディスク１１０には、オペレーティングシステム・プログラムのほか、後で説明する画像処理プログラムなどのアプリケーションが記憶される。デジタル画像としてのカラー顔画像は、たとえば、スキャナ１２４、デジタルカメラ１２８などから入力される。また、通信装置１３０からネットワークを通して他のコンピュータなどから受け取ってもよい。また、画像処理プログラムは、フレキシブルディスク１０６、ＣＤ−ＲＯＭ１１４などの記録媒体に記憶できる。また、フレキシブルディスク１０６、ＣＤ−ＲＯＭ１１４などの記録媒体に記録された画像処理プログラムが、この画像処理装置にダウンロードできる。この画像処理装置の構成は、以下に説明する他の実施の形態の画像処理装置でも同様であり、以下の実施の形態では説明を省略する。また、以下に説明する画像処理は、プリンタ、デジタルカメラなどにおける画像処理装置においても適用でき、また、携帯電話などにおける画像処理にも採用できる。
【００３３】
図７は、実施の形態１における画像処理装置における色分布設定の機能ブロック図を示す。この画像処理装置では、境界輝度値設定部１０は、色空間において拡散反射成分に鏡面反射成分が加わる境界輝度値を定め、２次元物体色確率分布定義部１２は、境界輝度値をもとに境界輝度値平面上での色確率分布を設定する。２次元物体色確率分布定義部１２は、たとえば、サンプルとなる物体の境界輝度値平面上で占める色領域の重心値を求め、この重心値を元に、２次元物体色確率分布領域（たとえば、楕円領域や正規分布）を定義する。図１において楕円は確率が０である輪郭を表わしている。３次元物体色確率分布定義部１４は、黒と境界輝度値の間と、境界輝度値と照明光色との間で２次元物体色確率分布を補間することで色空間での３次元物体色確率分布を定義する。これにより、境界輝度平面上に２次元物体色確率分布を定義し、次に、この２次元物体色確率分布と黒および照明色とから色空間内で３次元物体色確率分布モデルを定義する。これにより、こうして、色空間における色分布領域が定義される。さらに、単色の物体について、実際の対象の色のばらつき具合を調整するため、色分布調整パラメータ設定部１６を追加する。この色分布調整パラメータ設定部１６は、肌色などの認識色の場合には使用しない。
【００３４】
ある物体のＲＧＢ空間における色分布を分析すると、先に図１により説明したように、物体色からなる拡散反射領域と、照明光色による影響が加わった鏡面反射領域とがつながったアーチ状の分布形状特徴が見られる。境界輝度値設定部１０は、この鏡面反射が起き始める輝度値をしきい値として設定する。
【００３５】
次に、２次元物体色確率分布定義部１２は、境界輝度値平面上で物体色が実際に占める領域を分析することで、図３のような２次元物体色確率分布領域を求める。たとえば、図３の例では、この領域は楕円状である。そして、３次元色確率分布定義部１４は、原点と境界輝度値の間と、境界輝度値と照明光色の間とで、この２次元物体色確率分布領域を補間することで、３次元物体色確率分布を定義する（図４）。たとえば図３のような楕円領域が補間されて３次元確率分布領域が求められた場合、その領域の表面の曲面上で確率がゼロとなる。
【００３６】
色分布調整パラメータ設定部１６は、単色の物体について、実際の対象の色のばらつき具合を調整するために設けられる。操作者は、２次元物体色確率分布定義部２２で求められた２次元物体色確率分布に対して、キーボード３０などで、３次元色確率分布を調整するため、抽出したい現実の物体に合わせた色分布調整パラメータを設定する。これにより、異なる色を含んだ物体について、現実世界の物体の色空間内での分布をより正確に求めることができる。
【００３７】
図８は、ＣＰＵ１００による３次元物体色確率分布を求める処理のフローチャートを示す。まずサンプルカラー画像データの入力を受け取る（Ｓ１０)。次に、あらかじめ求められている境界輝度値を入力し（Ｓ１２）、３次元色空間において境界輝度値を含む平面において、サンプルカラー画像データについて２次元物体色確率分布を求める（Ｓ１４）。次に、２次元物体色確率分布を基に３次元物体色確率分布を求める（Ｓ１６）。たとえば、黒と２次元物体色確率分布の間と、２次元物体色確率分布と照明光色の間とで直線で補間して３次元物体色確率分布を得る。求められた２次元物体色確率分布と３次元物体色確率分布は記憶装置に記憶しておく。
【００３８】
図９は、ＣＰＵ１００による単色の３次元物体色確率分布を求める処理のフローチャートを示す。まずサンプルカラー画像データの入力を受け取る（Ｓ１０)。次に、あらかじめ求められている境界輝度値を入力し（Ｓ１２）、３次元色空間において境界輝度値を含む平面において、サンプルカラー画像データについて２次元物体色確率分布を求める（Ｓ１４）。次に、操作者による色分布調整パラメータの設定を受け取り（Ｓ１５）、それを用いて、２次元物体色確率分布を調整する。次に、調整された２次元物体色確率分布を基に３次元物体色確率分布を求める（Ｓ１６）。求められた２次元物体色確率分布と３次元物体色確率分布は記憶装置に記憶しておく。
【００３９】
図１０は、実施の形態１における画像処理装置の色領域出力の機能ブロック図を示す。２次元物体色確率分布設定部２０は、境界輝度値平面上での２次元色確率分布を設定する。この２次元色確率分布は、すでに求められているものである。色分布調整パラメータ設定部２２は、操作者により入力される色分布調整パラメータを設定する。３次元物体色確率分布設定部２４は、２次元色確率分布と黒及び照明色を含む３次元物体色確率分布を設定する。この３次元色確率分布は、すでに求められているものを用いるか、または、入力される色分布調整パラメータを用いて２次元色確率分布を調整したものである。すでに求められた３次元色確率分布のみを用いる場合は、２次元物体色確率分布設定部２０と色分布調整パラメータ設定部２２は不要である。色領域を抽出するとき、画像入力部２６は、カラー画像を入力し、色空間データ変換部２８は、画像のピクセル値をＲＧＢ色空間で表現する。色領域出力部３０は、３次元物体色確率分布設定部２４からの３次元物体色確率分布を用いて、確率しきい値設定部３２でシステムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を超える色確率を有するピクセルを物体色領域として抽出し、出力する。このように、人が認識する色（複数の色の集まり）の確率分布を定義した認識色の３次元確率分布を用いることで、たとえば、人の肌色などの実際には複数の色を含んだ認識色の領域を、画像から正確に抽出できる。
【００４０】
図１１は、ＣＰＵ１００によるカラー画像データからの物体色領域抽出のフローチャートを示す。すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、ＲＧＢデータから、設定されている３次元物体色確率分布と確率しきい値とを用いて、物体色領域を抽出し、出力する（Ｓ３０）。
【００４１】
図１２は、ＣＰＵ１００によるカラー画像データからの物体色領域抽出のフローチャートを示す。すでに求められている２次元色確率分布を入力し（Ｓ２０)、操作者により入力された色分布調整パラメータを設定する（Ｓ２１）。次に、色分布調整パラメータを用いて調整された２次元色確率分布を調整し、調整された３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、ＲＧＢデータから、設定されている３次元物体色確率分布と確率しきい値とを用いて、物体色領域を抽出し、出力する（Ｓ３０）。
すでに求められている２次元色確率分布と３次元色確率分布を入力する（Ｓ２２、Ｓ２４）。
【００４２】
実施形態２．
実施形態２の画像処理装置では、照明光変化による色分布変形として色処理を行う。図１３の機能ブロック図に示すように、この画像処理装置では、３次元物体色確率分布設定部２４は、境界輝度値平面上での３次元物体色確率分布モデルを設定する。この３次元物体色確率分布モデルはすでに求められている。画像入力部２６はカラー画像を入力し、色空間データ変換部２８は、画像のピクセル値を色空間で表現する。色確率出力部３４は、３次元物体色確率分布設定部２４からの３次元物体色確率分布に基づいて各ピクセルに対する色確率を出力する。色分布移動演算定義部３６は、次に説明するように、照明光の変化による色分布の移動演算を定義している。照明光変化演算部３８は、色分布移動演算定義部３６で定義された色分布移動演算により、色確率出力部３４からの色確率とピクセルの値とを掛け合わせることにより照明光変化を計算する。画像出力部４０は、照明光変化演算部３８による演算結果の画像を出力する。このように、照明光変化による色分布変化に注目し、色分布変化の解析結果に基づいた色分布変形として色処理を実現することで、自然な画像処理が可能である。
【００４３】
色分布移動演算についてさらに詳しく説明する。色分布移動演算定義部３６では、図１４に示したように、黒（原点）から境界輝度値（境界輝度値平面）まで進み、その後照明色に向かう経路に沿った移動を定義する。図１４において、Ｓ０とＳ１は、境界輝度平面で分けられる色空間の原点側と照明光側を表わす。Ａを入力画像中のピクセル、Ａ’を移動後のＡの座標、Ｐｓｋｉｎを点Ａの肌色確率とする。ｓを経路にそっての移動量とすると、移動後のＡすなわちＡ’は、ＡがＳ０に属していれば、
【数１】
【数２】
【００４４】
図１５は、ＣＰＵ１００による実施形態２の色処理のフローチャートを示す。まず、すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値に基づいて各ピクセルに対する色確率を出力する（Ｓ３２）。
【００４５】
次に、照明光変化による色分布変化に注目し、色分布変化の解析結果に基づいた色分布変形として色処理を実現する。すなわち、前もって定義されている色分布移動演算を用いて、色確率とピクセルの値とを掛け合わせることにより照明光変化を計算する（Ｓ３４）。次に、照明光変化演算により得られた画像を出力する（Ｓ３６）。
【００４６】
実施形態３．
撮影装置の特性や照明環境によって同じ物体でも異なる色分布をする。そこで、画像を修整することが一般に行われている。実施形態３の画像処理装置では、色確率分布を用いて特定の色領域の形状パラメータを抽出し、抽出した色領域に対して既存の色分布の形状パラメータを用いた画像処理を行う。したがって、色画像データの修整を物体色分布の形状パラメータを用いて自然かつ容易に行う。
【００４７】
図１６は、実施の形態３における画像処理装置の機能ブロック図を示す。この画像処理装置において、色領域形状抽出部４２は、色領域出力部３０からの色領域出力データから、色領域形状パラメータを抽出する。色分布形状パラメータデータベース４４は、複数のサンプル画像から抽出した色領域の個々の色分布形状を保存している。色形状パラメータ選択部４６は、色分布形状パラメータデータベース４４からのある特定の色分布の、操作者による選択を受け付ける。形状変形処理部４８は、入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う。
【００４８】
図１７は、ＣＰＵ１００による実施の形態３の形状変形処理のフローチャートを示す。まず、また、すでに求められている３次元色確率分布を設定する（Ｓ２２）。次に、カラー画像データを受け取ると（Ｓ２４）、そのデータをＲＧＢデータに変換する（Ｓ２６）。そして、システムが持つデフォルトの確率しきい値を変更する必要が有れば、操作者による確率しきい値を入力し（Ｓ２８）、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値に基づいて色領域を抽出し、出力する（Ｓ３０）。
【００４９】
次に、画像処理を行う。ここで、色領域出力から、色領域形状パラメータを抽出する（Ｓ３８）。一方、複数のサンプル画像から抽出した色領域の個々の色分布形状を保存した色分布形状パラメータデータベースからのユーザによるある特定の色分布の選択を入力する（Ｓ４０）。次に、入力画像の色領域形状に対して色領域形状パラメータから選択した形状パラメータへの形状変形処理を行う（Ｓ４２）。こうして、色確率分布を用いて特定の色領域の形状パラメータを抽出し、この抽出領域に対して既存の色分布の形状パラメータを用いた画像処理を行う。
【００５０】
自然な色補正は、一つの認識色の中での分布形状の変化と考えられる。このような認識色に対する補正として、例えば入力画像に人の顔画像を用いて画像中の肌色を補正する場合、肌色というのは単色の集まりであるので、この集まりを定義した２次元物体色確率分布を２次元物体色確率分布設定部２２において設定する。この２次元確率分布を補間して作られる３次元物体色確率分布及び確率しきい値を用いて入力画像中から認識色として肌色領域が抽出され、色領域出力部３０から出力される。図１８に示されるように、人の肌色として認識される２次元物体色確率分布は、多くの人の肌色を含んだ広い範囲の確率分布であり、画像中に含まれる個々の肌色は、その中の一部である。色領域形状抽出部４２では、この部分領域の形状抽出を行う。
【００５１】
次に、具体的な例を説明する。色領域形状抽出部４２において、入力画像の色領域出力の形状パラメータセットとして、境界輝度値Ｌｔｈと境界輝度値平面上での形状（たとえば楕円領域）のパラメータx０、y０、a０、b０を出力する。
【数３】
【数４】
色分布形状パラメータデータベース４４の中から任意の形状パラメータを選択し、形状変形処理部４８で、抽出された境界輝度値及び形状パラメータと選択された境界輝度値及び形状パラメータとから、入力画像の形状パラメータセットから選択された形状パラメータセットへのアフィン変換Ｍを求め、これを色領域に対して施す。たとえば、次のように演算する。
（ａ）ＯＥを中心に−θ０の回転
（ｂ）ｘ方向に−ｘ０の平行移動
（ｃ）ｘ方向にａ１／ａ倍、ｙ方向にｂ１／ｂ倍の拡大
（ｄ）ｘ方向にｘ１の平行移動
（ｅ）ＯＥを中心にθ１の回転
（ｆ）図１９に示すように、Ａをとおり、ＯＥを法線とする平面のＯ側の点では、ＯＥ方向にＯＢ／ＯＡの拡大、または、その平面のＥ側の点では、ＯＥ方向にＥを中心にＥＢ／ＥＡの拡大を行う。これにより、肌色領域の形状変形が容易に行える。
【００５３】
実施形態４．
図２０は、実施の形態４における画像処理装置の機能ブロック図を示す。この画像処理装置では、画像データベース５０は、実施の形態３の色分布形状パラメータデータベースの代わりに、色分布形状パラメータと形状パラメータに対応づけられた実際の画像とを保存している。サンプル提示部５２は、操作者に画像データベース５０中の画像（顔画像）を提示する。画像選択部５４は、提示された画像からの任意の画像の選択を受け付ける。形状変形処理部４８は、操作者に画像のサンプルを選択させ、その選択に応じて、色領域の形状を変化させる画像処理を行う。このように、サンプル画像の中から画像を選択することで、必要な形状パラメータが選択されることで、処理結果の推測が容易であるとともに、操作者の好みにあった画像処理が容易となる。
【００５４】
人の認識する色の１例である肌色の場合、それは単一色の集まりであり、この色の集まりを２次元物体色確率分布として２次元物体色確率分布設定部において設定する。そして、サンプル画像提示部５２で、複数の人の顔画像を提示する。ここで、任意の顔画像を画像選択部５４で操作者が選択することで、選択した顔画像中の肌色に入力画像中の肌色が変化するような画像処理が容易に可能となる。特に、顔は曲面から構成されており、照明との関係で色分布が多様である。したがって、色形状変形パラメータだけではわかりにくい画像処理が、画像を選択することで容易に可能となる。
【００５５】
図２１は、ＣＰＵ１００による実施の形態４の画像処理のフローチャートを示す。まず、すでに求められている３次元色確率分布を設定する（Ｓ２２、Ｓ２４）。次に、カラー画像データを受け取ると（Ｓ２６）、そのデータをＲＧＢデータに変換する（Ｓ２８）。そして、そのＲＧＢデータから、３次元物体色確率分布と確率しきい値を用いて物体色領域を抽出し、出力する（Ｓ３０）。
【００５６】
次に、肌色を変化する画像処理を行う。ここで、色領域出力から、色領域形状パラメータを抽出する（Ｓ３８）。一方、色分布形状パラメータとこの形状パラメータに対応づけられた実際の画像とを保存した画像データベース５０の中の画像（顔画像）をユーザに提示し（Ｓ４４）、提示された画像からユーザによる任意の画像の選択を受け取る（Ｓ４６）。次に、ユーザに選択された画像（たとえば顔画像の肌）のサンプルの色形状パラメータを用いて色領域の形状を変形する（Ｓ４８）。
【００５７】
なお、当業者に容易に理解されるように、上述の種々の実施の形態において説明した各種構成要素は、可能な限り組み合わせることができる。
【００５８】
【発明の効果】
境界輝度値に着目して２次元物体色確率分布を求め、この２次元物体色確率分布を基に３次元物体色確率分布モデルを定義することで、物体色の分布を正確に求めることが可能となる。
境界輝度値に着目した３次元物体色分布モデルを用いることにより、正確な色領域抽出が可能となる。
顔を含むカラー画像において、物体色領域（たとえば肌色領域）の色分布形状を３次元的にとらえて、物体色領域に対して自然な画像処理が可能になる。
【図面の簡単な説明】
【図１】 ＲＧＢ空間での二反射性モデルを示す図
【図２】 ＲＧＢ空間においてＣＣＤで記録できる領域を示す図
【図３】 境界輝度値平面における２次元確率分布領域を示す図
【図４】 ２次元確率分布領域を用いた補間による３次元確率分布領域の設定を示す図
【図５】 認識色の２次元確率分布領域を示す図
【図６】 実施の形態１による画像処理装置のブロック図
【図７】 実施の形態１の画像処理の機能ブロック図
【図８】 実施の形態１における３次元色確率分布設定のフローチャート
【図９】 実施の形態１における３次元色確率分布設定の別の例のフローチャート
【図１０】 実施の形態１の画像処理の機能ブロック図
【図１１】 実施の形態１における色領域抽出のフローチャート
【図１２】 実施の形態１における色領域抽出の別の例のフローチャート
【図１３】 実施の形態２の画像処理のブロック図
【図１４】 照明光の変化の処理を説明するための図
【図１５】 実施の形態２における画像処理のフローチャート
【図１６】 実施の形態３の画像処理のブロック図
【図１７】 実施の形態３における画像処理のフローチャート
【図１８】 複数の単一色からなる物体色を説明するための図
【図１９】 画像データの拡大を説明するための図
【図２０】 実施の形態４の画像処理のブロック図
【図２１】 実施の形態４における画像処理のフローチャート
【符号の説明】
１０ 境界輝度値設定部、 １２ ２次元物体色確率分布生成部、 １４３次元物体色確率分布生成部、 ２４ ３次元物体色確率分布設定部、 ２６ 画像入力部、 ３０ 色領域出力部、 ３２ 確率しきい値設定部、３４ 色確率出力部、 ３８ 色照明変化演算部、 ４４ 色分布形状パラメータデータベース、 ４６ 形状パラメータ選択部、 ４８ 形状変形処理部、 ５０ 画像データベース、 ５２ サンプル画像提示部、 １００ ＣＰＵ、 １０２ ＲＯＭ、 １１０ ハードデイスク、 １１２ ハードデイスク装置、 １１８ ディスプレイ装置。
Claims (7)
- 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定する３次元物体色領域モデル設定手段と、
カラー画像を入力する画像入力手段と、
システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を設定するしきい値設定手段と、
入力されたカラー画像について、３次元物体色確率分布モデルを用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、
照明光の変化による色分布の移動の演算を定義しておき、入力されるカラー画像データと、３次元物体色確率分布モデルとを用い、定義されている上記色分布移動演算を行うことにより照明光変化を計算する演算手段と
からなることを特徴とするカラー画像処理装置。 - 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められた２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定する３次元物体色領域モデル設定手段と、
カラー画像を入力する画像入力手段と、
システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を設定するしきい値設定手段と、
入力されたカラー画像について、３次元物体色確率分布モデルを用いて確率しきい値以上の領域を色領域として出力する色領域出力手段と、
色領域出力から色領域形状パラメータを抽出する色領域形状抽出手段と、
複数のサンプル画像から抽出した色領域の個々の色分布形状を含む色分布形状パラメータデータベースを記憶するデータベース記憶手段と、
色分布形状パラメータデータベースからの色分布形状パラメータの操作者による選択を受け付ける色形状パラメータ選択手段と、
入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う色領域形状変形手段と
からなることを特徴とするカラー画像処理装置。 - 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められている２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定し、
操作者により入力された確率しきい値を設定し、
入力されたカラー画像に対して、設定された３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力し、
照明光の変化による色分布の移動の演算を定義しておき、入力されるカラー画像データと、３次元物体色確率分布モデルとを用い、定義されている上記色分布移動演算を行うことにより照明光変化を演算する
ことを特徴とするカラー画像処理方法。 - 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基に求められている２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定し、
操作者により入力された確率しきい値を設定し、
入力されたカラー画像に対して、設定された３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力し、
色領域出力から色領域形状パラメータを抽出し、
複数のサンプル画像から抽出した色領域の個々の色分布形状を含む色分布形状パラメータデータベースを記憶し、
色分布形状パラメータデータベースからの色分布形状パラメータの操作者による選択を受け付け、
入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行う
ことを特徴とするカラー画像処理方法。 - さらに、
色分布形状パラメータと色分布形状パラメータに対応づけられた実際の画像とを含む画像データベースを記憶し、
画像データベース中の画像サンプルをユーザに提示し、
提示された画像からの操作者による任意の画像の選択を受け付け、
入力画像の色領域形状に対して、選択された画像の色分布形状パラメータへの形状変形処理を行う
ことを特徴とする請求項１または２に記載されたカラー画像処理方法。 - 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基にあらかじめ求められている２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定するステップと、
システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を入力するステップと、
入力されたカラー画像に対して、設定された３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力するステップと
照明光の変化による色分布の移動の演算を定義しておき、入力されるカラー画像データと、３次元物体色確率分布モデルとを用い、定義されている上記色分布移動演算を行うことにより照明光変化を演算することにより照明光変化を計算するステップと
からなり、コンピュータにより実行されるプログラム。 - 色空間において輝度を増加したときに物体の色分布において拡散反射成分に鏡面反射成分が加わる境界輝度値を含む平面上で、境界輝度値を有する色分布を基にあらかじめ求められている２次元物体色確率分布と、黒及び照明光色とを含む３次元物体色確率分布モデルを設定するステップと、
システムが持つデフォルトの確率しきい値、または操作者により入力された確率しきい値を入力するステップと、
入力されたカラー画像に対して、設定された３次元物体色確率分布を用いて確率しきい値以上の領域を色領域として出力するステップと
色領域出力から色領域形状パラメータを抽出するステップと、
複数のサンプル画像から抽出した色領域の個々の色分布形状を含む色分布形状パラメータデータベースを記憶するステップと、
色分布形状パラメータデータベースからの色分布形状パラメータの操作者による選択を受け付けるステップと、
入力画像の色領域形状に対して、選択された色分布形状パラメータへの形状変形処理を行うステップと
からなり、コンピュータにより実行されるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003171808A JP4171354B2 (ja) | 2003-06-17 | 2003-06-17 | カラー画像処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003171808A JP4171354B2 (ja) | 2003-06-17 | 2003-06-17 | カラー画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005010900A JP2005010900A (ja) | 2005-01-13 |
| JP4171354B2 true JP4171354B2 (ja) | 2008-10-22 |
Family
ID=34096149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003171808A Expired - Fee Related JP4171354B2 (ja) | 2003-06-17 | 2003-06-17 | カラー画像処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4171354B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1842153B1 (en) * | 2005-01-27 | 2012-08-01 | Tandent Vision Science, Inc. | Differentiation of illumination and reflection boundaries |
| JP4499599B2 (ja) * | 2005-04-01 | 2010-07-07 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
| KR101348601B1 (ko) | 2008-01-31 | 2014-01-16 | 삼성전자주식회사 | 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법 |
| JP6423625B2 (ja) | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2003
- 2003-06-17 JP JP2003171808A patent/JP4171354B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005010900A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10133171B2 (en) | Augmenting physical appearance using illumination | |
| JP5432714B2 (ja) | 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体 | |
| TWI431549B (zh) | Image processing apparatus and method and computer program product | |
| JP5867390B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
| US9922443B2 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| JP4999731B2 (ja) | 顔画像処理装置 | |
| JPH11296659A (ja) | 画像処理装置 | |
| EP2720190A1 (en) | Image processing device, image processing method, and control program | |
| JP2004265406A (ja) | バッチモードで処理されるポートレート画像を向上する方法及びシステム | |
| KR20050022306A (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| JP5914688B2 (ja) | デジタル画像に関する色解析 | |
| JP3432816B2 (ja) | 頭部領域抽出装置およびリアルタイム表情追跡装置 | |
| TW202103484A (zh) | 具改善之影像擷取之用於外用劑之產生的系統及方法 | |
| JP2004030007A (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
| JP2005071344A (ja) | 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体 | |
| JPWO2006057314A1 (ja) | 画像処理装置および画像処理方法 | |
| JP4171354B2 (ja) | カラー画像処理装置及び方法 | |
| JP6776004B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN117115358A (zh) | 数字人自动建模方法及装置 | |
| JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP5419777B2 (ja) | 顔画像合成装置 | |
| JP2005346474A (ja) | 画像処理方法及び装置及びプログラム及び記憶媒体 | |
| JP5051671B2 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |