JP3979122B2

JP3979122B2 - 画像処理装置および画像処理方法

Info

Publication number: JP3979122B2
Application number: JP2002049147A
Authority: JP
Inventors: 信佐々木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-02-26
Filing date: 2002-02-26
Publication date: 2007-09-19
Anticipated expiration: 2022-02-26
Also published as: JP2003248824A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理に関し、特に画像中から対象物体の領域を推定するための技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等により得られるデジタル自然画像から、対象となる物体の領域を推定する処理は、シーンの判別や特定領域に対する色補正処理など、幅広い応用が可能である。特に、色補正処理では、推定された領域に対して、色や輝度の補正を行うことにより、補正をする必要のない領域をそのままの状態に保つことができる。これにより、例えば、画像全体に補正処理を施すことにより、もともと明るかった領域の色がとんでしまうことなどを防ぐことができる。このように対象物体の領域推定は、自動色補正処理や自動画質調整の前処理としても有用な技術である。しかしながら、自然画像からの対象物体領域推定は、現在も困難な技術課題として挙げられている。
【０００３】
対象物体領域の特定として、特に人物の顔領域の特定に関する技術はこれまで数多く発表されており、需要も多い。中でもパターン照合や特定の形への当てはめによるものが多く、例えば、特開平１１−３１２２４３号公報には、高周波成分を保存しつつ行ったモザイク化による変換とあらかじめ用意されたテンプレートとの相関により、画像中から顔領域の抽出を行う手法が開示されている。また、特開平１０−２９３８４０号公報には、肌色の色相を検出した後、楕円の長軸と短軸の比を利用した当てはめを行うことにより顔領域の近似を行い、顔領域を正規化する手法が開示されている。その他にも特開平６−３０９４５７号公報には、回転により変動されない点として両目の中心値の探索を行った後に、あらかじめ顔輪郭を学習したニューラルネットワークにより顔画像であるか否かの判定を行う手法などがある。
【０００４】
また、顔領域以外でも、汎用的に物体領域を特定する手法として、特開平１１−３２８４２０号公報に記載のように、あらかじめ対象物体領域がもつ特徴をニューラルネットワークにより学習させ、任意領域との適合度からエネルギー関数を定義し、エネルギー関数が減少するように領域変更を行い、収束したときの領域を切出すことにより対象物体の領域を特定する方法などがある。
【０００５】
【発明が解決しようとする課題】
このように従来技術では、テンプレートまたは特定の形への当てはめや、あらかじめ学習したニューラルネットワークによって、対象物体の候補となる領域を特定する構成をとるものが多い。このような手法では、対象物体の大きさが未知である場合には、処理過程で大きさを変えて再度適合度処理を行ったり、あるいは数多くの種類のテンプレートを用意して適用したりする必要があり、それだけ多くの照合処理時間を要することになる。
【０００６】
また、ニューラルネットワークを用いてあらかじめ学習する場合には、学習時間に注意しなければならない。一般に、顔画像認識等の高度な認識をさせるには、ニューラルネットワークの学習が収束するのに長時間を要する。
【０００７】
また、ニューラルネットワークを用いた領域推定の性能は、学習に用いたサンプルの質や数に依存するため、高い推定性能を得ようとするには良質のサンプルをかなりの数だけ用意する必要があった。同様に、テンプレートを用いる手法の推定性能も、用いるテンプレートの質や数に依存し、高い推定性能を得るには良質なテンプレートを用いる必要がある。
【０００８】
さらに、上記のような手法では、対象物体がもつ特徴の個体差に対する対応が不十分で、物体の候補領域を柔軟に推定することは困難である。また上記の手法では、対象物体の種類に応じてテンプレートをいくつも用意しなければならず、また、特定の形への当てはめでは適用範囲に限界がある。このように、テンプレート照合や当てはめによるシステムは拡張性に乏しく、シーンに含まれる様々な領域を特定する手法としては不十分である。
【０００９】
【課題を解決するための手段】
本発明は、個体差を持つ物体に対しても柔軟に領域推定を行うことができ、膨大な数のテンプレート照合演算や特定の形への当てはめを必要とすることなく、対象物体の領域を特定することができる画像処理方法及び装置を提供することを目的とする。
【００１０】
この目的を達成するため本発明は、デジタル画像から、対象物体の領域を推定するために、所定の各方位ごとに、当該方位の輪郭成分を抽出するフィルタを前記デジタル画像に適用することより当該方位に対応する方位成分画像を生成し、前記デジタル画像の各画素の色と前記対象物体の代表色との距離を示す色成分距離画像を生成し、生成された前記各方位に対応する方位成分画像に基づき、前記デジタル画像のうち前記対象物体の領域の輪郭が持つ方位特性を備えた画像部分を求め、それら画像部分を示した特性強調画像を生成し、前記特性強調画像に基づき、前記デジタル画像における前記対象物体の領域を推定する。ここで、特性強調画像の生成では、前記各方位に対応する方位成分画像と前記色成分距離画像との間で画素ごとに積をとることで、それら各方位に対応する合成画像をそれぞれ生成し、これら各方位に対応する合成画像を前記対象物体の輪郭が持つ方位特性に応じた重み付けで重み付け加算することにより前記特性強調画像を生成する。
【００１１】
【発明の実施の形態】
図１は本発明の実施の形態を示す機能ブロック図である。
【００１２】
この装置は、色成分変換部１１、色成分距離画像生成部１３、方位成分画像生成部１４、合成画像生成部１５、特性強調画像生成部１７、領域推定画像生成部１８を備える。この装置は、典型的には、コンピュータシステムを基盤とし、それら各構成要素の機能、処理内容（詳細な内容については後述）を記述したプログラムをそのコンピュータシステムに実行させることにより実現される。
【００１３】
この実施形態では、一例として、入力される入力画像１００はRGB（赤、緑、青）画像とする。
【００１４】
色成分変換部１１は、入力画像のRGB成分から輝度情報と色差（色度とも呼ばれる）情報が獲得できる成分への変換を行う。人間の視覚は、輝度情報の方が色情報よりも敏感であることが知られており、後の処理である方位成分の抽出では、輝度情報を用いて処理を行うことにより、人間の視覚に適合した特徴抽出を効率的に実行可能としている。画像の各画素を輝度情報と色情報をもつ色成分を表す色空間として、輝度をY、青からの色差をCb、赤からの色差をCrとしたYCbCr空間がある。ここではRGB成分からYCbCr成分への変換行列を用いて、例えば次式にしたがって色成分変換を行う。
【００１５】
【数１】

ここではYCbCr色空間に変換したが、これ以外にも、変換行列が存在し、色相等の色情報と輝度とに分離できる色空間を用いることができる。
【００１６】
上記のように、色成分変換としては輝度情報と色情報（色差）とを抽出できるものが好適であるが、このようなもの以外の色成分変換でも原理的には同様の処理が実現可能である。例えば、色相・彩度・明度からなるHSV成分などに変換したり、場合によってはRGBのまま処理することも考えられる。RGB色空間で処理する場合、RGB値を単純平均してグレースケール値を求め、これを輝度情報に準じたものとして利用することもできる。なお、入力画像１００の色空間表現のまま以降の処理を行う場合は、色成分変換部１１は設けなくてよい。
【００１７】
色成分距離画像生成部１３は、図４に示すように、入力画像１００の色成分変換部１１による変換結果のうちの色差成分（Cb,Cr）から、色成分距離画像１０５を生成する。色成分距離画像１０５は、大略的に言えば、推定すべき対象物体の代表色１２に対する、入力画像１００の各画素の色の違いの程度を表す画像である。ここでは、色の違いを色差成分（Cb,Cr）の距離で求める。
【００１８】
ここで代表色とは、対象物体の呈する代表的な色のことである。この対象物体代表色１２の情報は、本装置の記憶部にあらかじめ登録されているものとする。ここで、対象物体の代表色が明確に一つに決められるものである場合は、その１つの代表色の色情報（Cb,Cr）が登録される。この代表色情報は、色差Cb,Crをそれぞれの軸とする２次元色差空間の１つの点を示す。以下ではこの１つの代表色を示す点を代表点と呼ぶ。対象物体として色について差を持つ個体が複数ある場合には、それらを代表する代表色情報（Cb,Cr）を複数個登録してもよい。登録する代表色情報は、実際に対象物体を撮影して得た画像から抽出したものでもよいし、ユーザが指定してもよい。例えば前者の場合、対象物体として人の顔の領域を推定する場合、実際に人を撮影したデジタル画像を複数用意してそれらを画像処理ソフトウエアで表示し、それら各画像中で人の顔領域をユーザに指定してもらい、その領域の色情報を抽出して登録すればよい。後者の場合は、例えば画像処理ソフトウエアにて色成分を徐々に変えていったときの色彩の変化をグラデーションとして表示し、その中でユーザに対象物体の色を指定してもらい、その色の成分値を求めて登録すればよい。
【００１９】
色成分距離画像生成部１３にて色成分距離画像１０５を生成する場合、入力画像１００の各画素の色と、対象物体の色の代表色（代表点）との距離を求める必要がある。図２にこの色成分距離の求め方を例示する。ここでの色成分距離は、色差CbとCrからなる色差空間での距離である。代表点（代表色）が１点しかない場合、入力画像１００の１つの画素についての色成分距離としては、図２（ａ）に示すように、色差空間において、その画素の色が示す点からその代表点までのユークリッド距離を用いればよい。代表色が複数登録されているケースでは、図２（ｂ）に示すように、色差空間中でのそれら代表色を表す代表点群から色相直線を推定し、この色相直線から当該画素の色を表す点までの距離を色成分距離とすればよい。ここで色相直線は例えば回帰分析により推定することができる。また、これら２つの方法以外にも、色差空間において、注目する画素の色を示す点と複数の代表点との統計的な距離を色成分距離として用いることも可能である。統計的な距離としては、例えばマハラノビス距離がある。
【００２０】
色成分距離としては、上記のように様々な定義のものを用いることができるが、その中でも色相直線からの距離は、代表点１点からの距離と比べた場合、対象物体の明るさに影響を受けにくいと言う点で優れている。このため、通常の場合から逆光条件まで等、広範囲にわたる照明条件での対象物体の領域推定を行う場合には、色相直線からの距離を色成分距離として用いることが好適である。
【００２１】
なお、以上では色成分距離として色差空間（Cb,Cr）での距離を用いたが、他の色空間、例えばYCbCr色空間やRGB空間など、での距離を同様の方法で求め、色成分距離として用いることもできる。ただし、輝度情報を分離した色差情報に基づいて色成分距離を求める方が、照明の明るさの違いによる対象物体の輝度の違いの影響が色成分距離に影響しにくくなるので、照明環境ごとに代表色を用意するなどの繁雑さがより少なくなって便利である。
【００２２】
このようにして入力画像の各画素についての色成分距離が算出されると、次にそれら各画素の色成分距離に対して、図３で示されるような単調関数を適用することで、その色成分距離に対する強調処理を施す。図３では、横軸ｄは色成分距離を、縦軸ｗはその強調結果の値（重み値）を表す。ここで用いる単調関数は、色成分距離が小さい（すなわち代表色に近い色）ほど大きい値になる（すなわち強調する）ように変換する関数である。各画素の色成分距離を、この単調関数によって変換した結果が、この色成分距離画像生成部１３の出力である色成分距離画像１０５となる。
【００２３】
方位成分画像生成部１４では、色成分変換部１１で得られたYCbCr画像のうち、輝度を表すY成分からなる輝度画像を用いて、画像中の方位成分の抽出が行われる。ここで、方位成分とは、画像中で特定の方位を持つ形状（例えば輪郭形状）の部分であり、例えば、図５に示すような方位選択性をもつフィルタにより抽出される。このフィルタは、図５（ａ）に３次元的に示すように、DOG（Difference Of two Gaussian）関数を変形したものである。数式で表すと、フィルタを構成する２次元の位置を（ｘ，ｙ）としたとき、このフィルタは以下に示すＨ（ｘ，ｙ）で表される。
【００２４】
【数２】

ここで、σ_x,eは輝度成分に対する反応の興奮性の分散を、σ_x,iは反応の抑制性の分散を、σ_yは特定方位への分散を表す。図５（ｂ）は（２）式のフィルタ特性を２次元的に表示したものであり、Ｈ（ｘ，ｙ）の値をグレー階調で示している。ここで更に、以下の式のＨφ（ｘ，ｙ）で表されるように回転角φを指定し、方位選択性をもたせることにより、図５（ｃ）で示される特定の方位に反応するフィルタを得ることができる。
【００２５】
【数３】

図５（ｃ）では、０°、４５°、９０°、１３５°の順に４つの方位についてのフィルタを例示したが、これに限るものではなく、何方位でも用いることが可能である。このようなフィルタを輝度画像に対して適用することで、輝度画像中から、そのフィルタに応じた方位の形状を持つ部分が強調され、残りの部分が抑圧された画像が得られる。
【００２６】
次に図６を参照して、方位成分画像生成部１４における方位成分の抽出過程を説明する。この例では、図５（ｃ）に例示した回転角４５°刻みの４方位のフィルタを用いた。これにより、入力画像１００のY（輝度）画像から、０°方向の方位成分画像１１０ａ、４５°方向の方位成分画像１１０ｂ、９０°方向の方位成分画像１１０ｃ、１３５°方向の方位成分画像１１０ｄが得られる。なお、図１では、これをより一般化し、異なるＮ個の方位について方位成分画像１１０−１〜１１０−Ｎを生成するものとして示している。
【００２７】
なお、以上では、YCbCr色空間の輝度成分Yを用いて方位成分画像を生成したが、この代わりに、元のRGB画像のR,G,Bの各値を画素ごとに単純平均して求めたグレースケール画像を用いて、同様の方法で方位成分画像を生成することも出来る。
【００２８】
このようにして色成分距離画像と、異なるＮ個の方位についての方位成分画像が求められると、次に合成画像生成部１５が、それらをもとにＮ個の合成画像１２０−１〜１２０−Ｎを生成する。
【００２９】
図６のように０度、４５度、９０度、１３５度の４方位の方位成分画像１１０ａ〜ｄを生成した場合、この合成画像生成部１５では、図７に示すようにそれら各方位成分画像１１０ａ〜ｄごとに、色成分距離画像生成部１３で生成された色成分距離画像１０５との合成処理を行う。この合成処理では、方位成分画像１１０ａ〜ｄの各々と色成分距離画像１０５との間で画素ごと積をとる。その積が、合成画像１２０ａ〜ｄにおける当該画素の値となる。
【００３０】
この合成処理により、各方位成分画像１１０ａ〜ｄにおいて、対象物体に近い色成分を持った領域の方位成分ほど強調され、対象物体の領域と異なる色成分をもった領域の方位成分ほど抑制された合成画像１２０ａ〜ｄが得られる。
【００３１】
特性強調画像生成部１７は、これら各方位に対応するＮ個の合成画像１２０−１〜１２０−Ｎから、特性強調画像を生成する。ここで生成する特性強調画像は、画像において対象物体の形状特徴を持ち、かつ対象物体の代表色に近い色を持った部分を強調した画像である。例えば、人間の顔は円乃至楕円に近い輪郭形状を持っており、立木は鉛直方向に真っ直ぐ延びた輪郭を持っている。したがって、例えば人の顔の画像領域は、あらゆる方位の輪郭成分を均等に近い割合で持っており、立木の画像領域は、鉛直方向の輪郭成分の割合が顕著に高いということが言える。そこで、特性強調画像生成部１７は、各合成画像１２０−１〜１２０−Ｎの情報から、そのような輪郭形状の特徴を備えた部分を求める。
【００３２】
図８は、特性強調画像生成部１７の処理内容を説明するための図である。この例は、図４及び図７の例に対応しており、シーン画から人物の顔領域を推定する場合における特性強調画像生成処理の一例を示す。この処理では、入力画像１００中から選んだ注目画素ｘ（ｉ，ｊ）（ｉ，ｊは整数）について、その注目画素ｐを基準点とする演算領域１２５を設定する。図では、注目画素ｘを中心とする所定半径の略円形の領域を演算領域１２５として設定している。そして、０度、４５度、９０度、１３５度の各方位に対応する合成画像１２０ａ〜ｄの各々について、当該画像におけるその演算領域１２５の範囲の各画素の値の平均値を求める。０度、４５度、９０度、１３５度の各合成画像についての、注目画素ｘを基準とした演算領域１２５内の画素値の平均値をそれぞれ⁰ｐ_ij，⁴⁵ｐ_ij，⁹⁰ｐ_ij，¹³⁵ｐ_ijと表す。ここで一例として人の顔の領域を推定する場合、次式で規定される反応特性値Ｅ₁を計算する。
【００３３】
【数４】

この反応特性値Ｅ₁は、上記４方位の平均値⁰ｐ_ij，⁴⁵ｐ_ij，⁹⁰ｐ_ij，¹³⁵ｐ_ij がすべて高いときに大きい値となる。すなわち、入力画像１００が、上記４方位の全ての方位成分（人の顔の代表色のもの）を含めば、（４）式の値Ｅ₁も大きくなり、特定の方位のみを含む場合は（４）式の値は小さくなる。これは、人の顔があらゆる方位の輪郭成分をほぼ均等に近い形で含んでいるという性質に基づく。特性強調画像生成部１７は、注目画素ｘを例えばラスタ走査順序等に従って順に替えていき、各画素ごとに反応特性値Ｅ₁を求めていく。
【００３４】
基本的には、この反応特性値Ｅ₁を各画素の値とする画像を特性強調画像とすることができるが、本実施形態では対象物体の領域が更に強調できる演算処理を行う。この演算処理は、エントロピーの考え方を利用したものである。
【００３５】
よく知られるように、確率統計の分野では、ある試行においてＫ通りの事象が起こりうる場合に、事象ｋ（ｋ＝１，２，・・・，Ｋ）の起こる確率をＰ_kとすると、その確率の曖昧さを表す値として、次の式で表されるエントロピー値がある。
【００３６】
【数５】

この（５）式の値が大きいほど、どの事象が生じるかあいまいであり、逆に（５）式の値が小さいほど特定の事象しか生じないことを意味する。本実施形態では、上述した各合成画像の演算領域１２５内の画素値の平均から、このエントロピー値に近い性質を持つ第２の特性値Ｅ₂を求める。ここで、エントロピーは、起こりうる各事象の確率値の和が全事象の確率「１」になる場合に意味を持つのに対し、各合成画像の演算領域１２５の画素値の平均は必ずしもこの条件を満足しないので、第２の特性値Ｅ₂を求める際には、それら各平均の値がその条件を満足するように正規化する。
【００３７】
例えば図８の例に示す４つの方位の合成画像１２０ａ〜ｄから特性強調画像を生成する場合、それら各合成画像１２０ａ〜ｄの演算領域１２５の画素値の平均⁰ｐ_ij，⁴⁵ｐ_ij，⁹⁰ｐ_ij，¹³⁵ｐ_ijを、次式を満足するように正規化する。
【００３８】
【数６】

そして、このように正規化した⁰ｐ_ij，⁴⁵ｐ_ij，⁹⁰ｐ_ij，¹³⁵ｐ_ijから、次式に従って特性値Ｅ₂を算出する。
【００３９】
【数７】

（７）式から分かるように、第２の特性値Ｅ₂はエントロピー値の定義に従っており、入力画像の演算領域１２５中に含まれる輪郭成分の方位に偏りが少ないほど、大きい値となる。すなわち特性値Ｅ₂は、図９（ｃ）に示すように、演算領域内に一方向に延びる直線的な輪郭しかない場合は小さい値となるのに対し、閉曲線に近くなるほど多方向の輪郭成分を含むので大きい値となる。このように特性値Ｅ₂は、図９（ａ）、図９（ｂ）に示すように、閉じた輪郭３００を含む領域ほど大きくなると言う性質を持っているので、画像の閉包性を示す評価値として用いることができる。また別の観点では、この特性値Ｅ₂は、演算領域内の輪郭成分の方向に偏りがないほど大きい値になるので、等方性を示す評価値と捉えることもできる。
【００４０】
スナップ写真等では、人の顔の領域は閉領域となっている場合が一般的である。このように、入力画像中で対象物体の領域が閉領域となっていると想定される場合には、閉包性の特性値Ｅ₂を導入することで、対象物体の領域をよりよく推定することができる。なぜなら、閉包性の特性値Ｅ₂を求める際に演算領域１２５内の画素値の平均ｐを正規化しているので、特性値Ｅ₂は合成画像中の画像領域の明るさの影響を受けにくいからである。仮に演算領域１２５内の画素値の平均を正規化せずに用いて特性値を求めた場合、演算領域１２５内に含まれる輪郭が閉じていない場合でも、画素値が大きければその特性値は大きい値となるが、上記の特性値Ｅ₂では画素値が大きさ（すなわち明るさ）の影響が正規化により低減されているので、画素値の大小よりも輪郭の閉包度合いがより直接的に特性値Ｅ₂に反映される。
【００４１】
このように（７）式で定義される特性値Ｅ₂が閉包性又は等方性を示す評価値と捉えることができるのに対し、（４）式で定義される特性値Ｅ₁は、演算領域１２５に含まれる輪郭が、その方位について対象物体の輪郭の特徴を備えているほど大きい値になるので、方位性を表す評価値と捉えることができる。このことは、（４）式を一般化した次式を見ると更に明らかになる。
【００４２】
【数８】

この（８）式は、図８に示すように４つの方位についての合成画像を用いる場合のものであり、⁰ｗ，⁴⁵ｗ，⁹⁰ｗ，¹³⁵ｗはそれら各方位に与える重みである。例えば、入力画像中から立木の画像領域を推定しようとする場合は、方位９０度の重み⁹⁰ｗを大きい値とし、他の方位の重みを小さい値とすればよい。これにより、９０度方向の輪郭（ただし木の色に近いもの）を多く含む演算領域ほど、方位性特性値Ｅが大きくなる。また、人の顔と同様肌色だが特定の方位性が強い腕や足の領域を推定する場合にも、１つの方向に大きい重みを与え、（８）式により方位性に関する特性値Ｅ₁を計算すればよい。
【００４３】
なお、（４）式は、この（８）式において、全ての方位についての重みｗを均等にしたものに相当し、これは人の顔を表す画像の領域が比較的円形に近い輪郭を持っているという性質に基づくものである。また、都市風景画像などからビル等の建築物の画像領域を推定しようとする場合には、（８）式において、垂直方向と水平方向の重みｗを大きくすればよい。
【００４４】
特性強調画像生成部１７は、画像の各画素（ｉ，ｊ）について演算領域１２５を設定し、その演算領域１２５において方位性についての特性値Ｅ₁と閉包性についての特性値Ｅ₂を計算する。そして、特性値Ｅ₁と特性値Ｅ₂の積Ｅ₃を求め、これを当該画素（ｉ，ｊ）の値（図８の画素１３２）とすることで、特性強調画像１３０を生成する。特性強調画像１３０では、対象物体の色及び輪郭形状特性に近い輪郭部分が画素値の高い領域１３４となり、それ以外の部分は画素値の低い領域１３６となる。図８の例は、人の顔領域を推定しようとするものなので、顔の輪郭に近いほぼ円形の領域が高い画素値となっており、この他に顔と同系統の色を持つ腕の部分などが高い画素値となっている。
【００４５】
なお、上記（４）式や（７）式、（８）式に従った特性強調画像の生成手順は、対象物体形状特性１６の情報として、本実施形態の装置にあらかじめ登録されている。本装置で取り扱う対象物体が複数ある場合は、対象物体ごとに適切な特性強調画像生成手順が登録されている。
【００４６】
図１０は、それぞれ人物の顔の大きさが異なる３つの入力画像１００Ａ，Ｂ，Ｃから、それぞれどのような特性強調画像１３０Ａ，Ｂ，Ｃが求められるかを説明するための図である。入力画像１００Ａは顔領域が演算領域１２５よりも大きい場合、入力画像１００Ｃは顔領域が演算領域１２５の大きさよりも小さい場合の例をそれぞれ表し、入力画像Ｂはその中間の場合の例である。この図から分かるように、対象となる顔領域が演算領域１２５に比して大きい入力画像１００Ａ，Ｂでは、高画素値となる領域１３４ａ，ｂが顔領域の輪郭に沿ったリング状の形状を呈するが、顔領域が演算領域１２５に比して小さい入力画像１００Ｃでは、高画素値となる領域１３４ｃは中実な形状となる。
【００４７】
このように特性強調画像生成部１７の処理により、対象物体の代表色に近く、かつ対象物体の輪郭が持つ形状的な性質を強く持った部分が強調された特性強調画像１３０が生成される。以上に説明した処理内容から明らかなように、この強調処理は対象物体の大きさによらず適用できるので、対象物体の大きさが未知である画像に対しても、柔軟に対応して強調処理を行うことができる。
【００４８】
なお、図１０等で挙げた例は、一般に画像において比較的コンパクトで閉じた領域となる場合の多い人の顔を推定する場合であったので、方位性の特性値Ｅ₁に加え閉包性の特性値Ｅ₂を用いて特性強調画像１３０を形成した。これに対し、立木や高層ビルが画面一杯に写っている画像では、それら立木等の領域は画面の上下にわたって長く分布することが一般的であり、コンパクトに閉じているとは言い難い。このような場合は、閉包性の特性値Ｅ₂を用いずに方位性の特性値Ｅ₁のみを用いて特性強調画像を生成すればよい。
【００４９】
このようにして生成された特性強調画像１３０に対し、領域推定画像生成部１８は、図１１に示すように平滑化処理を施す。特性強調画像１３０は、前述の生成手順から分かるように、対象物体の輪郭近傍が高い画素値となるが、実際に推定したい領域には輪郭だけでなくその内部も含まれる。そこで、領域推定画像生成部１８により平滑化処理を行うことで、リング状ではなく輪郭内部まで連結した領域を生成することができる。
【００５０】
図１１の例では、特性強調画像１３０では、高い画素値の領域１３４はリング状であるが、平滑化処理により生成された領域推定画像１４０では、そのリングの内部まで高い画素値となっている（領域推定画像１４０では、白に近いほど画素値が高い）。
【００５１】
この平滑化処理は、例えば、以下の式で表されるGauss関数によって行うことができる。
【００５２】
【数９】

この（９）式のGauss関数の一例を図１２（ａ）、図１２（ｂ）に図示した。図１２（ａ）は、座標（ｘ，ｙ）に対応する関数値Ｇ（ｘ，ｙ）を高さとして三次元的に示したものであり、図１２（ｂ）は、関数値Ｇ（ｘ，ｙ）をグレースケールで示したものである。ここで、σは興奮性の分散を表し、平滑化の強度を決定するものである。対象物体の領域が特定の方位の輪郭成分を多く含む場合は、パラメータを適切に設定することにより、（３）式に示したフィルタ（このフィルタも平滑化作用を持つ）で平滑化を行うこともできる。
【００５３】
このようにして生成された領域推定画像１４０の各画素の値は、その画素が対象物体である度合いを示しているものと捉えることができる。
【００５４】
なお、領域推定画像生成部１８では、このような平滑化処理に加え、更に領域強調処理を行うこともできる。この領域強調処理は、例えば図１３（ａ）に示すような単調増加な関数を用いることによって行うことができる。また、図１３（ｂ）に示すようなステップ関数を用いることにより２値化（強調の極限と捉えることができる）を行うこともできる。図１３（ａ）、（ｂ）はいずれも、横軸が平滑化結果の画像の画素値、縦軸がその画素値を強調した値を示す。また、２値化の場合、図１３（ｂ）のような関数を使う代わりに、例えば判別分析法などで閾値を求めて２値化しても良いし、予め設定された閾値をもとに行ってもよい。
【００５５】
図１４は、特性強調画像１３０に対し平滑化を加え、更に図１３（ａ）の領域強調関数によって強調することで、領域強調画像１４０を生成する過程を表している。特性強調画像１３０では、同じ肌色の領域であっても、顔領域輪郭部分はリング状となり、しかも高い画素値となるのに対し、顔輪郭と形状が異なる腕などの部分の画素値は周囲よりも高いが顔輪郭部分よりは低い。このため、強調処理により顔領域の部分は画素値がより高くなるのに対し、腕などの部分は画素値が低くなり、結果として顔領域が強く強調された領域推定画像１４０が得られる。
【００５６】
このように本実施形態によれば、入力画像の各画素が対象物体を表す度合いを示す領域推定画像１４０を生成することができる。この領域推定画像１４０を用いて、もとの入力画像をマスクすれば、入力画像の中から対象物体である可能性の高い領域を抽出することができる。
【００５７】
例えば逆光条件で撮影した人物の顔を明るく補正しようとした場合、上記の手法で求めた領域推定画像１４０で元の入力画像１００をマスクすることで顔画像の領域を抽出し、この領域内の各画素の輝度を上昇させればよい。この方法によれば、背景部分（対象物体以外の部分）についてはほとんど輝度補正なされないため、背景部分の色とびを惹起することなく、対象物体の領域に対して輝度補正を行うことができる。
【００５８】
なお、ここでは顔領域に対して選択的に輝度補正を施す場合を例にとったが、この手法は人物の顔以外の対象物体にも適用可能である。また対象物体の領域に対して施す画像処理が輝度補正以外の場合に（例えば色補正など）も適用可能である。
【００５９】
以上説明した各実施形態では、画像中の対象物体のサイズにかかわりなく、その対象物体の領域を抽出したり、その領域に対して選択的に画像処理を施したりすることができる。したがって、テンプレート照合などに比べて処理が高速化できる。またテンプレートマッチングでは、多種類の対象物体の場合、テンプレートが多数必要になるが、本実施形態の方式では多種類の対象物体に対して、例えば（８）式の重みｗを替えるなどといった軽微な変更で対応できる。
【００６０】
また、以上の例では、方位成分画像生成部１４においてDOG関数を変形したフィルタ（図５参照）を用いたが、この代わりに単なるエッジ検出フィルタを用いてもよい。
【００６１】
また、以上の例では、複数の方位成分画像１１０−１〜１１０−Ｎを色成分距離画像１０５とそれぞれ合成して複数の合成画像１２０−１〜１２０−Ｎを生成した後、それら複数の合成画像１２０−１〜１２０−Ｎから特性強調画像１３０を生成するという手順であったが、本発明の範囲内で別の手順も可能である。例えば、合成画像１２０−１〜１２０−Ｎから特性強調画像１３０を生成する処理と同様の処理により、複数の方位成分画像１１０−１〜１１０−Ｎから１つの方位特性強調画像を形成し、この方位特性強調画像を色成分距離画像１０５と合成することで特性強調画像１４０に近い性質を持つ画像を得ることもできる。
【図面の簡単な説明】
【図１】実施形態の画像処理装置の構成を示すブロック図である。
【図２】色成分距離を説明するための図である。
【図３】色成分距離を強調する関数の一例を示す図である。
【図４】色成分距離画像生成部の処理を説明するための図である。
【図５】方位選択性を持つフィルタを説明するための図である。
【図６】方位成分画像生成部の処理を説明するための図である。
【図７】色成分距離画像と方位成分画像との合成処理を説明するための図である。
【図８】特性強調演算を説明するための図である。
【図９】閉包性に関する特性値を説明するための図である。
【図１０】入力画像中の対象物体領域と演算領域との大小関係の、特性強調画像に対する影響を説明するための図である。
【図１１】領域推定画像生成部の処理を説明するための図である。
【図１２】平滑化に用いるGauss関数の一例を示す図である。
【図１３】領域強調に用いられる関数の例を示す図である。
【図１４】領域強調処理を含む場合の、領域推定画像生成部の処理を説明するための図である。
【符号の説明】
１１色成分変換部、１２対象物体代表色、１３色成分距離画像生成部、１４方位成分画像生成部、１５合成画像生成部、１６対象物形状特性、１７特性強調画像生成部、１８領域推定画像生成部。

Claims

デジタル画像から、対象物体の領域を推定する画像処理装置であって、
所定の各方位ごとに、当該方位の輪郭成分を抽出するフィルタを前記デジタル画像に適用することにより当該方位に対応する方位成分画像を生成する方位成分画像生成部と、
前記デジタル画像の各画素の色と前記対象物体の代表色との距離を示す色成分距離画像を生成する色成分距離画像生成部と、
前記方位成分画像生成部で生成された前記各方位に対応する方位成分画像に基づき、前記デジタル画像のうち前記対象物体の領域の輪郭が持つ方位特性を備えた画像部分を求め、それら画像部分を示した特性強調画像を生成する特性強調画像生成部と、
前記特性強調画像に基づき、前記デジタル画像における前記対象物体の領域を推定する領域推定部と、
を備え、
前記特性強調画像生成部は、前記各方位に対応する方位成分画像と前記色成分距離画像との間で画素ごとに積をとることで、それら各方位に対応する合成画像をそれぞれ生成し、これら各方位に対応する合成画像を前記対象物体の輪郭が持つ方位特性に応じた重み付けで重み付け加算することにより前記特性強調画像を生成する、
ことを特徴とする画像処理装置。
請求項１記載の画像処理装置であって、
前記領域推定部にて推定された前記デジタル画像における前記対象物体の領域に対して、選択的に所定の画像処理を施すことを特徴とする画像処理装置。
請求項１記載の画像処理装置であって、
前記方位成分画像生成部は、前記デジタル画像の輝度成分に対して前記フィルタを適用することで前記方位成分画像を生成することを特徴とする画像処理装置。
請求項１記載の画像処理装置であって、
前記色成分距離画像生成部は、所定の色空間における前記デジタル画像の各画素の色と前記対象物体の代表色との距離に基づき前記色成分距離画像を生成することを特徴とする画像処理装置。
請求項４記載の画像処理装置であって、
前記色成分距離画像生成部は、前記対象物体の複数の代表色から規定される色相に対する、前記デジタル画像の各画素の色の距離に基づき前記色成分距離画像を生成することを特徴とする画像処理装置。
請求項４記載の画像処理装置であって、
前記色成分距離画像生成部は、前記所定の色空間において、前記対象物体の複数の代表色が表す点群に対する、前記デジタル画像の画素の色が示す点のマハラノビス距離に基づき前記色成分距離画像を生成することを特徴とする画像処理装置。
請求項１記載の画像処理装置であって、
前記特性強調画像生成部は、前記特性強調画像の各画素ごとに、その画素に対応する演算領域を前記各合成画像にそれぞれ設定し、それら各合成画像の前記演算領域内の各画素の値に基づき、前記特性強調画像の当該画素の値を算出することを特徴とする画像処理装置。
請求項７記載の画像処理装置であって、
前記特性強調画像生成部は、前記各方位についての前記合成画像の前記演算領域内の各画素の値を、前記対象物体の領域の輪郭が持つ方位特性に従って重み付け合成し、この重み付け合成により得られる方位性特性値に基づき、前記演算領域に対応する前記特性強調画像の画素の値を計算することを特徴とする画像処理装置。
請求項８記載の画像処理装置であって、
前記特性強調画像生成部は、前記各方位についての前記合成画像の前記演算領域内の各画素の値に対してエントロピー演算を行うことにより閉包性特性値を計算し、この閉包性特性値と前記方位性特性値とに基づき、前記演算領域に対応する前記特性強調画像の画素の値を計算することを特徴とする画像処理装置。
請求項１記載の画像処理装置であって、
前記領域推定部は、前記特徴強調画像に対して平滑化処理を施すことにより領域推定画像を生成することを特徴とする画像処理装置。
デジタル画像から、対象物体の領域を推定する画像処理方法であって、
所定の各方位ごとに、当該方位の輪郭成分を抽出するフィルタを前記デジタル画像に適用することより当該方位に対応する方位成分画像を生成するステップと、
前記デジタル画像の各画素の色と前記対象物体の代表色との距離を示す色成分距離画像を生成するステップと、
生成された前記各方位に対応する方位成分画像に基づき、前記デジタル画像のうち前記対象物体の領域の輪郭が持つ方位特性を備えた画像部分を求め、それら画像部分を示した特性強調画像を生成するステップと、
前記特性強調画像に基づき、前記デジタル画像における前記対象物体の領域を推定するするステップと、
を含み、前記特性強調画像を生成するステップでは、前記各方位に対応する方位成分画像と前記色成分距離画像との間で画素ごとに積をとることで、それら各方位に対応する合成画像をそれぞれ生成し、これら各方位に対応する合成画像を前記対象物体の輪郭が持つ方位特性に応じた重み付けで重み付け加算することにより前記特性強調画像を生成する、ことを特徴とする方法。
請求項１１記載の画像処理方法であって、
前記推定された前記デジタル画像における前記対象物体の領域に対して、選択的に所定の画像処理を施すことを特徴とする画像処理方法。
請求項１１記載の画像処理方法であって、
前記方位成分画像は、前記デジタル画像の輝度成分に対して前記フィルタを適用することで生成されることを特徴とする画像処理方法。
請求項１１記載の画像処理方法であって、
所定の色空間における前記デジタル画像の各画素の色と前記対象物体の代表色との距離に基づき前記色成分距離画像を生成することを特徴とする画像処理方法。
請求項１４記載の画像処理方法であって、
前記対象物体の複数の代表色から規定される色相に対する、前記デジタル画像の各画素の色の距離に基づき前記色成分距離画像を生成することを特徴とする画像処理方法。
請求項１４記載の画像処理方法であって、
前記所定の色空間において、前記対象物体の複数の代表色が表す点群に対する、前記デジタル画像の画素の色が示す点のマハラノビス距離に基づき前記色成分距離画像を生成することを特徴とする画像処理方法。
請求項１１記載の画像処理方法であって、
前記特性強調画像の各画素ごとに、その画素に対応する演算領域を前記各合成画像にそれぞれ設定し、それら各合成画像の前記演算領域内の各画素の値に基づき、前記特性強調画像の当該画素の値を算出することを特徴とする画像処理方法。
請求項１７記載の画像処理方法であって、
前記各方位についての前記合成画像の前記演算領域内の各画素の値を、前記対象物体の領域の輪郭が持つ方位特性に従って重み付け合成し、この重み付け合成により得られる方位性特性値に基づき、前記演算領域に対応する前記特性強調画像の画素の値を計算することを特徴とする画像処理方法。
請求項１８記載の画像処理方法であって、
前記各方位についての前記合成画像の前記演算領域内の各画素の値に対してエントロピー演算を行うことにより閉包性特性値を計算し、この閉包性特性値と前記方位性特性値とに基づき、前記演算領域に対応する前記特性強調画像の画素の値を計算することを特徴とする画像処理方法。
コンピュータを、デジタル画像から、対象物体の領域を推定する画像処理装置として機能させるためのプログラムであって、前記プログラムは、前記コンピュータを、
所定の各方位ごとに、当該方位の輪郭成分を抽出するフィルタを前記デジタル画像に適用することにより当該方位に対応する方位成分画像を生成する方位成分画像生成部、
前記デジタル画像の各画素の色と前記対象物体の代表色との距離を示す色成分距離画像を生成する色成分距離画像生成部、
前記方位成分画像生成部で生成された前記各方位に対応する方位成分画像に基づき、前記デジタル画像のうち前記対象物体の領域の輪郭が持つ方位特性を備えた画像部分を求め、それら画像部分を示した特性強調画像を生成する特性強調画像生成部、
前記特性強調画像に基づき、前記デジタル画像における前記対象物体の領域を推定する領域推定部、
として機能させると共に、前記特性強調画像生成部は、前記各方位に対応する方位成分画像と前記色成分距離画像との間で画素ごとに積をとることで、それら各方位に対応する合成画像をそれぞれ生成し、これら各方位に対応する合成画像を前記対象物体の輪郭が持つ方位特性に応じた重み付けで重み付け加算することにより前記特性強調画像を生成する、ことを特徴とするプログラム。