JP3561985B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3561985B2 JP3561985B2 JP29346794A JP29346794A JP3561985B2 JP 3561985 B2 JP3561985 B2 JP 3561985B2 JP 29346794 A JP29346794 A JP 29346794A JP 29346794 A JP29346794 A JP 29346794A JP 3561985 B2 JP3561985 B2 JP 3561985B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- skin
- luminance
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Description
【産業上の利用分野】
本発明は、人物画像の肌領域を検出する機能を備える画像処理装置に関するものであり、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置に用いて好適な画像処理装置に関するものである。
【0002】
【従来の技術】
一般に、画像処理装置では、画像の内容を解析し認識するために対象物が抽出される。その手法として、例えば、エッジを検出することにより対象物の輪郭線を求める方法、画像を明るさの一様な部分領域に分割し対象物の占める領域を抽出する方法等がある。
【0003】
また、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置では、上記画像処理装置により抽出した対象物に対して輪郭強調や階調変換等の処理が施される。これにより、画像の鮮鋭度やコントラスト感を向上させている。
【0004】
ここで、上述のような画像処理装置で人物画像を処理する場合、上記画像処理装置の肌領域検出処理部では、人物の肌の領域(以下、肌領域と言う。)が検出される。上記肌領域を検出するために、上記肌領域検出処理部では、例えば、画素毎の色情報により肌領域を抽出する方法、或は、色情報から抽出した肌色画素を画像上における位置の連結性に着目して領域分割し各領域の特徴を解析することにより肌領域を抽出する方法等が用いられている。
【0005】
【発明が解決しようとする課題】
しかし、画素毎の色情報により肌領域を抽出する方法では、画像中の肌色の領域が全て肌領域と見なされてしまうため、多くの誤検出が生じてしまっていた。或は、領域分割により肌領域を抽出する方法では、領域分割処理と各領域の特徴解析処理に多くの計算時間が必要であったため、リアルタイム処理には不向きであった。
【0006】
また、画像の鮮鋭度やコントラスト感を向上させるために、抽出した対象物に対して輪郭強調処理、或は、階調変換処理が施されるが、肌領域、特に、人物の顔の領域(以下、顔領域と言う。)に対しても輪郭強調処理、或は、階調変換処理が施されていた。このため、例えば、顔領域まで強調されてしまい、望ましくない結果をもたらすといった問題があった。
【0007】
そこで、本発明は、上述の如き従来の実情に鑑みてなされたものであり、次のような目的を有するものである。
【0008】
即ち、本発明の目的は、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる画像処理装置を提供することにある。
【0011】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、入力された人物画像データをデジタル化した輝度データと色差データに変換し、デジタル化された輝度データと色差データから肌領域を検出する肌領域検出手段を備える画像処理装置であって、上記肌領域検出手段は、上記輝度データと色差データを輝度データと色相データとクロマデータの3属性データに変換する変換手段と、上記変換手段により得られた輝度データから肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成する垂直輝度変化検出手段と、上記変換手段により得られた3属性データから肌色画素を抽出する肌色画素抽出手段と、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段と、上記肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する顔領域判定手段とを備えることを特徴とする画像処理装置。
【0012】
また、本発明に係る画像処理装置は、上記肌色画素分布生成手段は、人物画像の各水平位置毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムである肌色画素分布を生成することを特徴とする。
【0024】
【作用】
本発明に係る画像処理装置において、肌領域検出手段では、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの3属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた3属性データから肌色画素抽出手段により肌色画素を抽出する。そして、顔領域判定手段は、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する。
【0037】
【実施例】
以下、本発明の一実施例について図面を参照しながら説明する。
【0038】
まず、本発明の第1の実施例に係る画像処理装置について説明する。
【0039】
例えば、上記画像処理装置は、入力された画像データから人物の肌の領域(以下、肌領域と言う。)を検出する肌領域検出手段1を備えており、上記肌領域検出手段1は、図1に示すように、入力された画像データを色の3属性データに変換する座標変換器11と、上記座標変換器11により得られた3属性データから肌色画素の空間的な肌色画素分布をメモリ13上に生成するヒストグラム生成器12と、上記メモリ13と、上記メモリ13上に生成された肌色画素分布から人物の顔の領域(以下、顔領域と言う。)を判定する顔領域判定器14とを備えている。
【0040】
まず、図2に示すように、画像Pを水平方向に走査して得られたアナログの輝度信号Yaと色差信号Ua,Vaが、アナログ/デジタル変換器(以下、A/D変換器と言う。)101によりデジタル変換され、デジタル変換された輝度信号Ydと色差信号Ud,Vdが顔領域検出手段1に入力される。
【0041】
以下、上記顔領域検出手段1について具体的に説明する。
【0042】
座標変換器11は、上記A/D変換器101によりデジタル変換された輝度信号Ydと色差信号Ud,Vdを色の3属性データである輝度データY、色相データH、及び、クロマデータCに変換する。色の3属性データの定義には様々なものが存在するが、例えば、輝度信号Ydと色差信号Ud,Vdから数1に示す演算により輝度データY、色相データH、及び、クロマデータCを求める。
【0043】
【数1】
【0044】
ヒストグラム生成器12は、図3に示すように、画像Pの各水平位置i毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムSHをメモリ13上に生成する。
【0045】
即ち、上記座標変換器11で得られた輝度データY、色相データH、及び、クロマデータCに対して、肌色の範囲を定義するために予め設定された輝度定数Ymin,Ymaxと、色相定数Hmin,Hmaxと、クロマ定数Cmin,Cmaxを持って、
Ymin<Y<Ymax
Hmin<H<Hmax
Cmin<C<Cmax
なる肌色の条件を満足するか否かを判定する。例えば、上記輝度データY、色相データH、及び、クロマデータCに対応する画像P上の位置を画素S(i,j)で示すと、上記画素S(i,j)が上記肌色の条件を満たし、肌色であると判定された場合には、メモリ13上にある肌色画素ヒストグラムSHのi番目の値SH[i]に1を加算する(SH[i]=SH[i]+1)。このような処理を各水平位置毎に行うことにより、垂直方向に並ぶ肌色画素の数が累積されて、メモリ13上に肌色画素ヒストグラムSH[i]が生成される。
【0046】
顔領域判定器14は、上記ヒストグラム生成器12によりメモリ13上に1枚の画像Pの肌色画素ヒストグラムSH[i]が生成された時点で、肌色画素ヒストグラムSH[i]を解析して、上記図3に示した画像Pの人物Mの顔領域Fを検出する。
【0047】
即ち、図4に示すように、まず、肌色画素ヒストグラムSH[i]で最も度数の大きい水平位置iを検出し、これを最大値imaxとする。
【0048】
次に、上記最大値imaxを中心に前後両方向に向かって最初に現れる極小点im,ipを検出する。
【0049】
次に、上記最大値imaxを中心に前後両方向に向かって、上記最大値imax番目の度数SH[imax]のα%の度数に対応する最初の点iαm,iαpを検出する。ここで、上記“α”は、肌領域の幅を定義するための、0≦α≦1.0を満たす定数である。但し、上記点iαmが、im≦iαm≦imaxの範囲に存在しなかった場合、或は、上記点iαpが、imax≦iαp≦ipの範囲に存在しなかった場合には、各々、iαm=im、iαp=ipとする。
【0050】
このようにして検出された極小点im,ip、及び、点iαm,iαpが、縦横の長さの比の下限のしきい値Tasp1と、上限のしきい値Tasp2、及び、画素数の下限のしきい値Tnumを持って、数2に示す顔領域の条件式を満たすか否かを判定する。
【0051】
【数2】
【0052】
上記数2に示した条件式を満たした場合には、極小点im,ipに挟まれた領域Smpを顔領域Fと見なし、極小点im,ipを顔領域の情報として出力する。或は、上記数2に示した条件式を満たさなかった場合には、SH[k]=0(im<k<ip)として、上述した解析処理を繰り返す。
【0053】
尚、定数α、各しきい値Tasp1,Tasp2,Tnumは、予め設定されているものとする。
【0054】
上述のような構成をした肌領域検出手段1の動作を説明する。
【0055】
A/D変換器101によりデジタル変換された画像Pの輝度信号Ydと色差信号Ud,Vdは、座標変換器11に入力される。
【0056】
上記座標変換器11は、入力された輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCをヒストグラム生成器12に供給する。上記ヒストグラム生成器12は、上記座標変換器11からの輝度データY、色相データH、及び、クロマデータCが肌色の条件を満足するか否かを判定することによりメモリ13上に肌色画素ヒストグラムSH[i]を生成する。
【0057】
顔領域判定器14は、上記ヒストグラム生成器12によりメモリ13上に生成された画像1枚分の肌色画素ヒストグラムSH[i]から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、顔領域の情報im,ipを出力する。
【0058】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムSH[i]を生成し、上記肌色画素ヒストグラムSH[i]に基づいて肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域の判定を行っているため、人物の肌領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【0059】
次に、本発明の第2の実施例に係る画像処理装置について説明する。
【0060】
上記画像処理装置は、上述した第1の実施例に係る画像処理装置の肌領域検出手段1と同じ構成の肌領域検出手段1を備えているが、本実施例における肌領域検出手段1のヒストグラム生成器12は、図5に示すように、水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]とをメモリ13上に生成する。
【0061】
即ち、画像P上の位置S(i,j)が肌色であると判定された場合には、メモリ13上にある水平方向の肌色画素ヒストグラムSHのi番目の値SH[i]に1を加算する(SH[i]=SH[i]+1)と共に、垂直方向の肌色画素ヒストグラムSVのj番目の値SV[j]に1を加算する(SV[j]=SV[j]+1)。
【0062】
このようにして、メモリ13上に水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]が生成され、顔領域判定器14は、上記水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]に基づいて、上述した第1の実施例と同様にして解析を行い、各方向における顔領域の情報im,ip、及び、jm,jpを出力する。
【0063】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムSH[i]の他に垂直方向の肌色画素ヒストグラムSV[j]も生成するため、人物の肌領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【0064】
次に、本発明の第3の実施例に係る画像処理装置について説明する。
【0065】
上記画像処理装置は、図6に示すように、上述した第1、及び、第2の実施例の肌領域検出手段1の構成に加えて、肌領域における垂直方向の輝度変化を検出する垂直輝度変化検出器21を有する肌領域検出手段2を備えている。
【0066】
尚、上記図1に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0067】
即ち、上記垂直輝度変化検出器21は、座標変換器11により変換された輝度データY、色相データH、及び、クロマデータCのうち上記輝度データYの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムDH[i]をメモリ13上に生成する。また、上記輝度データYの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムDV[j]もメモリ13上に生成する。
【0068】
例えば、画像上の任意の位置(i,j)における輝度データYの垂直方向の微分値vijは、微分計算の定数djを持って、
vij=|2Y(i,j)−Y(i,j−dj)−Y(i,j+dj)|
なる演算により求められる。この演算式は、垂直方向の2次微分値の絶対値を表している。
【0069】
従って、メモリ13上にある水平方向の微分ヒストグラムDHのi番目の値DH[i]に微分値vijを加算する(DH[i]=DH[i]+vij)。また、垂直方向の肌色画素ヒストグラムDVのj番目の値DV[j]に微分値vijを加算する(DV[j]=DV[j]+vij)。
【0070】
このようにして、メモリ13上に水平方向の微分ヒストグラムDH[i]と垂直方向の微分ヒストグラムDV[j]が生成される。
【0071】
一方、ヒストグラム生成器12は、例えば、上述した第2の実施例と同様にして、水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]をメモリ13上に生成する。
【0072】
顔領域判定器14は、水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]を基にして、上記第2の実施例と同様に顔領域の情報im,ip、及び、jm,jpを求める。ここで、上記顔領域判定器14は、さらに、水平方向の微分ヒストグラムDH[i]と垂直方向の微分ヒストグラムDV[j]を基に、数3、或は、数4に示す演算を行う。
【0073】
【数3】
【0074】
【数4】
【0075】
上記数3、或は、図4で示した演算により得られた値dが、予め設定されたしきい値Tdev以上であった場合には、検出した顔領域の情報im,ip、及び、jm,jpを出力し、上記値dがしきい値Tdev以下であった場合には、SH[k]=0(im<k<ip)として解析処理を繰り返す。
【0076】
上述のような構成をした肌領域検出手段2の動作を説明する。
【0077】
A/D変換器101によりデジタル変換された画像Pの輝度信号Ydと色差信号Ud,Vdは、座標変換器11に入力される。
【0078】
上記座標変換器11は、入力された輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCをヒストグラム生成器12に供給すると共に輝度データYを垂直輝度変化検出器21に供給する。
【0079】
上記ヒストグラム生成器12は、上記座標変換器11からの輝度データY、色相データH、及び、クロマデータCが肌色の条件を満足するか否かを判定することによりメモリ13上に水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]を生成する。
【0080】
一方、上記垂直輝度変化検出器21は、上記座標変換器11からの輝度データYの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムDH[i]と、上記輝度データYの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムDV[j]をメモリ13上に生成する。顔領域判定器14は、上記ヒストグラム生成器12によりメモリ13上に生成された肌色画素ヒストグラムSH[i]と肌色画素ヒストグラムSV[j]から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、上記垂直輝度変化検出器21によりメモリ13上に生成された微分ヒストグラムDH[i]と微分ヒストグラムDV[j]に基づいて、顔領域の情報im,ip,jm,jpを出力する。
【0081】
上述のような垂直方向の輝度変化の分布に基づいた顔領域の情報im,ipとjm,jpの検出は、人物の顔には目、口等の水平方向のエッジが含まれていることに基づくものであるが、垂直方向の輝度変化の分布に基づいて顔領域の判定を行うことにより、例えば、壁のような輝度変化の少ない一様な領域の誤検出を回避することができる。従って、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【0082】
尚、本実施例では、上記ヒストグラム生成器12は、水平方向の肌色画素ヒストグラムSH[i]と垂直方向の肌色画素ヒストグラムSV[j]をメモリ13上に生成することとしたが、上述した第1の実施例と同様に、水平方向の肌色画素ヒストグラムSH[i]のみをメモリ13上に生成することとしてもよい。
【0083】
次に、本発明の第4の実施例に係る画像処理装置について説明する。
【0084】
上記画像処理装置は、図7に示すように、上述した第3の実施例の肌領域検出手段2の構成に加えて、輝度データY、色相データH、クロマデータC、及び、垂直方向の輝度変化vijをブロック単位に平均化するブロック内特徴量算出器31を有する肌領域検出手段3を備えている。
【0085】
尚、上記図1、及び、上記図6に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0086】
即ち、上記ブロック内特徴量算出器31は、図8に示すように、座標変換器11により変換された画像Pの輝度データY、色相データH、及び、クロマデータCを、例えば、ブロックBの大きさを表す定数mi,mjを持って、水平方向の画素数(2mi+1)、垂直方向の画素数(2mj+1)で示される大きさのブロックBに分割する。従って、各ブロック内の画素数Mは、
M=(2mi+1)(2mj+1)
で表すことができる。
【0087】
そして、画素数Mを持って、数5、数6、数7に示す演算により、各ブロック毎の輝度データYの平均値Yave、色相データHの平均値Have、及び、クロマデータの平均値Caveを求める。
【0088】
【数5】
【0089】
【数6】
【0090】
【数7】
【0091】
従って、上述のようにして算出された値Yave、Have、Cave、vibjbmaxが各ブロックの代表値としてヒストグラム生成器12に供給される。上記ストグラム生成器12は、上記図8に示すように、メモリ13上にある水平方向の肌色ブロックヒストグラムSHのi番目のブロックSH[ib]に1を加算する(SH[ib]=SH[ib]+1)と共に、垂直方向の肌色ブロックヒストグラムSVのj番目のブロックSV[jb]に1を加算する(SV[jb]=SV[jb]+1)。このようにして、メモリ13上には、ブロック単位の水平方向の肌色ブロックヒストグラムSV[ib]と垂直方向の肌色ブロックヒストグラムSV[jb]が生成される。
【0092】
また、上記ブロック内特徴量算出器31は、垂直輝度変化検出器21により得られた垂直方向の微分値vijに対しては、ブロック内の最大値vibjbmaxを数8に示す演算により求める。
【0093】
【数8】
【0094】
従って、上記最大値vibjbmaxも各ブロックの代表値としてメモリ13に出力されることとなり、メモリ13上にある水平方向の微分ヒストグラムDHのi番目のブロックDH[ib]に微分値vibjbが加算され(DH[ib]=DH[ib]+vibjb)、また、垂直方向の肌色画素ヒストグラムDVのj番目のブロックDV[jb]に微分値vibjbが加算される(DV[jb]=DV[jb]+vibjb)。このようにして、メモリ13上には、ブロック単位の水平方向の微分ヒストグラムDH[ib]と垂直方向の微分ヒストグラムDV[jb]も生成される。
【0095】
顔領域判定器14は、メモリ13上に生成されたブロック単位の肌色ブロックヒストグラムSV[ib]、肌色ブロックヒストグラムSV[jb]、微分ヒストグラムDH[ib]、及び、微分ヒストグラムDV[jb]を、上述した第2の実施例と同様にして、肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域であるか否かを判定する。そして、顔領域と判定された肌色ブロックのブロック番号ibm,ibp,jbm,jbpの中心位置im,ip,jm,jpを
im=ibm(2mi+1)+mi
ip=ibp(2mi+1)+mi
jm=jbm(2mj+1)+mj
jp=jbp(2mj+1)+mj
なる演算で求め、求めた中心位置im,ip,jm,jpを顔領域の境界を示す座標とし、顔領域の情報として出力する。
【0096】
上述のような構成をした肌領域検出手段3の動作を説明する。
【0097】
A/D変換器101によりデジタル変換された画像Pの輝度信号Ydと色差信号Ud,Vdは、座標変換器11に入力される。
【0098】
上記座標変換器11は、入力された輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCをブロック内特徴量算出器31に供給すると共に輝度データYを垂直輝度変化検出器21に供給する。
【0099】
上記垂直輝度変化検出器21は、上記座標変換器11からの輝度データYの垂直方向の微分値vijを求め、求めた微分値vijを上記ブロック内特徴量算出器31に供給する。
【0100】
上記ブロック内特徴量算出器31は、上記座標変換器11からの輝度データY、色相データH、及び、クロマデータCをブロックに分割し、各ブロック毎の輝度データYの平均値Yave、色相データHの平均値Have、及び、クロマデータの平均値Caveを求め、求めた色相データHの平均値Have、及び、クロマデータの平均値Caveをヒストグラム生成器12に供給する。
【0101】
上記ヒストグラム生成器12は、上記座標変換器11からの輝度データY、色相データH、及び、クロマデータCの平均値Yave,Have,Caveが肌色の条件を満足するか否かを判定することによりメモリ13上に水平方向の肌色ブロックヒストグラムSH[i]と垂直方向の肌色ブロックヒストグラムSV[j]を生成する。
【0102】
また、上記ブロック内特徴量算出器31は、上記垂直輝度変化検出器21からの微分値vijに対しては、ブロック内の最大値vibjbmaxを求め、求めたブロック内の最大値vibjbmaxをメモリ13に出力する。これにより、メモリ13上には、ブロック単位の水平方向の微分ヒストグラムDH[ib]と垂直方向の微分ヒストグラムDV[jb]も生成される。
【0103】
顔領域判定器14は、メモリ13上に生成されたブロック単位の肌色ブロックヒストグラムSH[ib]と肌色ブロックヒストグラムSV[jb]から肌色が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、メモリ13上に生成されたブロック単位の微分ヒストグラムDH[ib]と微分ヒストグラムDV[jb]に基づいて、顔領域の情報im,ip,jm,jpを出力する。
【0104】
上述のように、本実施例では、画像をブロックに分割し、ブロック内の平均色の分布に基づいて肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域を検出しているため、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【0105】
尚、本実施例では、上記ヒストグラム生成器12は、水平方向の肌色ブロックヒストグラムSH[ib]と垂直方向の肌色ブロックヒストグラムSV[jb]をメモリ13上に生成することとしたが、水平方向の肌色ブロックヒストグラムSH[ib]のみをメモリ13上に生成することとしてもよい。
【0106】
また、本実施例では、垂直輝度変化検出器21を設けることとしたが、上記垂直輝度変化検出器21を設けずに、例えば、上記図1に示した肌領域検出手段1の構成において、座標変換器11の後段にブロック内特徴量算出器31を備えることとしてもよい。この場合、水平方向の肌色ブロックヒストグラムSH[ib]と垂直方向の肌色ブロックヒストグラムSV[jb]、或は、水平方向の肌色ブロックヒストグラムSH[ib]のみから顔領域を検出することとなる。
【0107】
次に、本発明の第5の実施例に係る画像処理装置について説明する。
【0108】
上記画像処理装置は、上述した第3の実施例に係る画像処理装置の肌領域検出手段2を適用したものであり、例えば、図9に示すように、上記図6に示した肌領域検出手段2と、上記肌領域検出手段2により得られた顔領域の情報に基づいた制御により輪郭強調処理を行う輪郭強調器4と、上記輪郭強調器4から出力されるデータと入力データとの同期をとるための遅延器5と、A/D変換器101と、デジタル/アナログ変換器(以下、D/A変換器と言う。)102とを備えている。
【0109】
尚、上記図6に示した肌領域検出手段2と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0110】
上記肌領域検出手段2には、A/D変換器101によりデジタル変換された輝度信号Ydと色差信号Ud,Vdが入力され、上記肌領域検出手段2は、上述したように、入力された輝度信号Ydと色差信号Ud,Vdから顔領域を検出する。そして、検出した顔領域の情報im,ip,jm,jp、即ち、顔領域の境界の座標を示す4つの座標を輪郭強調器4に供給する。
【0111】
ここで、上記肌領域検出手段2において、入力された輝度信号Ydと色差信号Ud,Vdに対応する画素が肌色であると判定された場合、上記肌領域検出手段2のヒストグラム生成器12は、肌色を検出したか否かを示す肌色検出信号cntl1を輪郭強調器4に供給する。
【0112】
また、上記輪郭強調器4には、A/D変換器101によりデジタル変換された輝度信号Ydが入力される。上記輪郭強調器4は、入力された輝度信号Ydに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Yd dをD/A変換器102に供給する。
【0113】
この時、肌領域検出手段2から顔領域の情報im,ip,jm,jpが供給されると共に肌色検出信号cntl1が供給され、且つ、入力された輝度信号Ydに対応する画素が上記顔領域の情報im,ip,jm,jpで示される領域内に存在した場合、上記輪郭強調器4は、上記輝度信号Ydに輪郭強調処理を施す際に、その強調の度合を小さくする。
【0114】
具体的に説明すると、まず、輪郭強調器4に肌領域検出手段2から供給される顔領域の情報im,ip,jm,jpは、現在入力中の画像よりも時間的に画像1枚分過去の画像から得られたものである。これに対して、輪郭強調器4に肌領域検出手段2から供給される肌色検出信号cntl1は、現在入力中の画像の各画素の色に関する情報である。即ち、上記輪郭強調器4は、過去の画像から得られた顔領域の情報と、現在入力中の画像の画素単位の色情報により強調の程度を調整するものである。
【0115】
例えば、上記輪郭強調器4は、図10に示すように、係数算出器41と、係数平滑化器42と、強調信号生成器43と、加算器45とを備えており、原信号に2次微分を加算する従来の輪郭強調器を適用したものである。
【0116】
上記係数算出器41には、上記肌領域検出手段2からの顔領域の情報im,ip,jm,jpと肌色検出信号cntl1が供給される。上記係数算出器41は、これらの情報から画像上の位置(i,j)に対応する係数cijを求める。
【0117】
即ち、現在の処理対象となっている画像上での位置(i,j)が顔領域に含まれている場合(im<i<ip、jm<j<jp)には「1」を、顔領域に含まれていない場合には「0」を出力値とする関数f0(i,j)と、肌色検出信号cntl1が現在の画素が肌色であることを示している場合(cntl1=1)には「1」、肌色でないことを示している場合(cntl1=0)には「0」を出力値とする関数f1(cntl1)を持って、顔領域の情報im,ip,jm,jp、及び、肌色検出信号cntl1から画像上の位置(i,j)に対応する係数cijを、
cij=1−f0(i,j)f1(cntl1)
なる演算により求める。
【0118】
従って、係数cijは、現在の処理対象となっている画像上での位置(i,j)が顔領域に含まれ、且つ、その色が肌色である場合のみ「0」となり、それ以外の場合は「1」となる。
【0119】
このようにして求められた係数cijは、係数平滑化器42に供給される。上記係数平滑化器42は、関数f0(i,j)と関数f1(cntl1)の不連続性を緩和するために、係数cijの近傍における平均値cd ijを求める。
【0120】
即ち、近傍系内の画素数Nは、平均値cd ijを求める近傍系の大きさを表す定数ni,njと、近傍系を構成する水平方向の画素数(2ni+1)、及び、垂直方向の画素数(2nj+1)を持って、
N=(2ni+1)(2nj+1)
と表せる。
【0121】
従って、上記係数平滑化器42は、係数cijの近傍における平均値cd ijを、上記近傍系内の画素数Nを持って、数9に示す演算により求める。
【0122】
【数9】
【0123】
そして、上記係数平滑化器42は、求めた係数cijの近傍における平均値cd ijを平滑化補正係数cd ijとして強調信号生成器43に供給する。
【0124】
上記強調信号生成器43には、上記係数平滑化器42から平滑化補正係数cd ijが供給されると共に、A/D変換器101によりデジタル変換された輝度信号Ydが供給される。
【0125】
上記強調信号生成器43は、上記A/D変換器101からの輝度信号Ydの2次微分値に上記係数平滑化器42からの平滑化補正係数cd ij乗じることにより、強調信号dYを生成する。
【0126】
即ち、平滑化補正係数cd ijに対応する輝度信号Ydを輝度信号Yd(i,j)で示すと、上記強調信号dYは、定数diを持って、
dY=cd ij(2Yd(i,j)−Yd(i+di,j)−Yd(i−di,j))
なる演算により求められる。この時、入力データの同期をとるために適当な遅延が施される。そして、上記強調信号生成器43は、生成した強調信号dYを加算器45に供給する。
【0127】
上記加算器45には、上記強調信号生成器43から強調信号dYが供給されると共に、上記A/D変換器101からの輝度信号Ydが供給される。
【0128】
上記加算器45は、上記強調信号生成器43からの強調信号dYと上記A/D変換器101からの平滑化補正係数cd ijに対応する輝度信号Yd(i,j)とを加算し、加算結果を輪郭強調処理を施した輝度信号Yd dとして出力する。
【0129】
即ち、現在の処理対象となっている画像上での位置(i,j)の輝度信号Yd(i,j)に輪郭強調処理を施した輝度信号Yd d(i,j)は、
Yd d(i,j)=Yd(i,j)+dY
なる演算により求められる。
【0130】
上述のように、輪郭強調器4は、肌領域検出手段2からの顔領域の情報im,ip,jm,jpと肌色検出信号cntl1により強調の程度を画素毎に制御し、入力された輝度信号Ydに輪郭強調処理を施す。そして、輪郭強調処理を施した輝度信号Yd dをD/A変換器102に供給する。ここで、上述した輪郭強調処理においては、入力データの同期をとるために、適当な遅延が施される。
【0131】
一方、遅延器5には、A/D変換器101によりデジタル変換された色差信号Ud,Vdが入力される。上記遅延器5は、入力された色差信号Ud,Vdを遅延して、上記輪郭強調器4により輪郭強調処理が施された輝度信号Yd dとの同期をとる。上記遅延器5により遅延された色差信号Ud,Vdは、D/A変換器102に供給される。
【0132】
従って、上記D/A変換器102は、上記輪郭強調器4により輪郭強調処理が施された輝度信号Yd dと、上記遅延器5により上記輝度信号Yd dと同期がとられた色差信号Ud,Vdをアナログ変換し、輝度信号Yd a、色差信号Ua,Vaとして出力する。
【0133】
上述のような構成をした画像処理装置の動作を説明する。
【0134】
A/D変換器101は、入力された輝度信号Yaと色差信号Ua,Vaをデジタル変換し、デジタル変換した輝度信号Ydと色差信号Ud,Vdを肌領域検出手段2に供給すると共に、上記輝度信号Ydを輪郭強調器4に供給し、上記色差信号Ud,Vdを遅延器5に供給する。
【0135】
上記肌領域検出手段2は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdから肌領域を検出し、検出結果を示す肌色検出信号cntl1を輪郭強調器4に供給する。また、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報im,ip,jm,jpを輪郭強調器4に供給する。
【0136】
上記輪郭強調器4は、上記A/D変換器101からの輝度信号Ydに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。
【0137】
この時、上記肌領域検出手段2からの顔領域の情報im,ip,jm,jpで示される領域に、現在の処理対象となっている輝度信号Ydに対応する画素が含まれており、且つ、上記肌領域検出手段2からの肌色検出信号cntl1が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器4は、強調の度合を小さくして上記輝度信号Ydに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。
【0138】
遅延器5は、上記A/D変換器101からの色差信号Ua,Vaを遅延して上記輪郭強調器4で輪郭強調処理が施された輝度信号Yd aとの同期をとり、遅延した色差信号Ua,VaをD/A変換器102に供給する。
【0139】
上記D/A変換器102は、上記輪郭強調器4からの輝度信号Yd dと、上記遅延器5からの色差信号Ud,Vdをアナログ変換し、輝度信号Ya d、色差信号Ua,Vaとして出力する。
【0140】
上述のように、本実施例では、上記図6に示した肌領域検出手段2を適用し、上記肌領域検出手段2により得られた過去の画像に対する顔領域の情報と、現在入力中の画像の画素単位の肌色検出信号により、強調の度合を調整して輪郭強調処理を行っているため、人物の顔の領域を強調することなく他の領域を強調することができる。従って、画像の鮮鋭度を向上させることができる。
【0141】
次に、本発明の第6の実施例に係る画像処理装置について説明する。
【0142】
上記画像処理装置は、図11に示すように、上述した第5の実施例に係る画像処理装置の構成に加えて、A/D変換器101によりデジタル変換された輝度信号Ydと色差信号Ud,Vdを記憶する画像メモリ6と、上記画像メモリ6に記憶された輝度信号Ydと色差信号Ud,Vdを色の3属性データに変換する座標変換器7と、上記座標変換器7により変換された3属性データが肌色の条件を満たしているか否かを検出する肌色画素検出器8とを備えている。
【0143】
また、上記画像処理装置では、肌領域検出手段2からは肌色検出信号cntl1は出力されず、上記肌色画素検出器8から肌色検出信号cntl1が輪郭強調器4に対して出力されることとなる。さらに、上記輪郭強調器4には、画像メモリ6に記憶された輝度信号Ydが供給され、遅延器5にも、画像メモリ6に記憶された色差信号Ud,Vdが供給されることとなる。
【0144】
尚、上記図9に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0145】
即ち、本実施例では、画像メモリ6を用いて、入力された輝度信号Ydと色差信号Ud,Vdに、肌領域検出手段2で顔領域の情報im,ip,jm,jpを検出するのに要する時間に対応した遅延量、例えば、1画素分の遅延量を与える。上記画像メモリ6により遅延された輝度信号Ydと色差信号Ud,Vdは、座標変換器7に供給されると共に、上記輝度信号Ydは、輪郭強調器4に供給され、上記色差信号Ud,Vdは遅延器5に供給される。
【0146】
上記座標変換器7は、上記画像メモリ6からの輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCを肌色画素検出器8に供給する。 上記肌色画素検出器8は、上記座標変換器7からの輝度データY、色相データH、及び、クロマデータCが肌色の条件、即ち、ヒストグラム生成器12において肌領域を検出する際に用いた上述したような条件
Ymin<Y<Ymax
Hmin<H<Hmax
Cmin<C<Cmax
を満たすか否かを判定する。従って、その判定結果が肌色検出信号cntl1として輪郭強調器4に供給されることとなる。
【0147】
一方、肌領域検出手段2により検出された顔領域の情報im,ip,jm,jpは、輪郭強調器4に供給される。
【0148】
上述のような構成をした画像処理装置の動作を説明する。
【0149】
A/D変換器101は、入力された輝度信号Yaと色差信号Ua,Vaをデジタル変換し、デジタル変換した輝度信号Ydと色差信号Ud,Vdを肌領域検出手段2に供給すると共に、画像メモリ6に供給する。
【0150】
上記画像メモリ6は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdに1画素分の遅延量を与え、遅延量を与えた輝度信号Ydと色差信号Ud,Vdを座標変換器7に供給する。また、上記画像メモリ6は、上記輝度信号Ydを輪郭強調器4に供給し、上記色差信号Ud,Vdを遅延器5に供給する。
【0151】
上記座標変換器7は、上記画像メモリ6からの輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCを肌色画素検出器8に供給する。 上記肌色画素検出器8は、上記座標変換器7からの輝度データY、色相データH、及び、クロマデータCが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号cntl1として輪郭強調器4に供給する。
【0152】
一方、肌領域検出手段2は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報im,ip,jm,jpを輪郭強調器4に供給する。 上記輪郭強調器4は、上記画像メモリ6からの輝度信号Ydに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。
【0153】
この時、上記肌領域検出手段2からの顔領域の情報im,ip,jm,jpで示される領域に、現在の処理対象となっている輝度信号Ydに対応する画素が含まれており、且つ、上記肌領域検出手段2からの肌色検出信号cntl1が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器4は、強調の度合を小さくして上記輝度信号Ydに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。
【0154】
また、上記遅延器5は、上記画像メモリ6からの色差信号Ua,Vaを遅延して上記輪郭強調器4で輪郭強調処理が施された輝度信号Yd aとの同期をとり、遅延した色差信号Ua,VaをD/A変換器102に供給する。
【0155】
上記D/A変換器102は、上記輪郭強調器4からの輝度信号Yd dと、上記遅延器5からの色差信号Ud,Vdをアナログ変換し、輝度信号Ya d、色差信号Ua,Vaとして出力する。
【0156】
上述のように、上記肌領域検出手段2で得られる顔領域の情報im,ip,jm,jpは、輪郭強調器4で実際に輪郭強調処理を施す画像から求められたものである。従って、より正確な顔領域の位置を輪郭強調処理に反映させることができるため、画像の鮮鋭度をより向上させることができる。
【0157】
次に、本発明の第7の実施例に係る画像処理装置について説明する。
【0158】
上記画像処理装置は、図12に示すように、上述した第7の実施例に係る画像処理装置の構成に加えて、A/D変換器101によりデジタル変換された輝度信号Ydと色差信号Ud,Vdからシーンの変わり目を検出するシーンチェンジ検出器9と、上記シーンチェンジ検出器9の検出結果に基づいて肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpに対して時間的平滑化処理を施す顔領域平滑化器10とを備えている。
【0159】
また、上記画像処理装置では、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpは、顔領域平滑化器10を介して輪郭強調器4に供給される。さらに、上記画像処理装置では、画像メモリ6における遅延量は、肌領域検出手段2で顔領域の情報を検出するのに要する時間の2倍の遅延量とし、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpと輪郭強調器4で輪郭強調処理が施される画像とを完全に対応させている。
【0160】
尚、上記図11に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0161】
即ち、シーンチェンジ検出器9は、入力された輝度信号Ydと色差信号Ud,Vdに対応する画像と、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpに対応する画像の間でシーンチェンジが発生したか否かを検出する。
【0162】
具体的に説明すると、例えば、上記肌領域検出手段2で顔領域の情報を検出するのに要する時間が1画像分である場合、上記シーンチェンジ検出器9は、輪郭強調器4で輪郭強調処理が施される画像と、それよりも時間的に1画像分前に入力されている画像の間でシーンチェンジが発生したか否かを検出する。
【0163】
このようなシーンチェンジの検出は、従来用いられている検出方法を適用することができる。
【0164】
従って、上記シーンチェンジ検出器9の検出結果は、制御信号cntl2として顔領域平滑化器10に供給される。
【0165】
上記顔領域平滑化器10は、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpの空間的な位置を時間的に平滑化して顔領域の情報id m,id p,jd m,jd pとして輪郭強調器4に供給する。
【0166】
例えば、時間的平滑化処理として、時刻nの画像から算出された顔領域境界座標ln(=im,ip,jm,jp)と、時刻nの画像に対する輪郭強調処理に用いられる境界座標ld n(=id m,id p,jd m,jd p)と、現在時刻に得られた境界座標の寄与率pとを持って、
ld n=pln+(1−p)ld n−1
なる再帰的フィルタリングを用いる。
【0167】
この時、上記シーンチェンジ検出器9からの制御信号cntl2がシーンチェンジ発生を示している場合、上記顔領域平滑化器10は、上述のような時間的平滑化処理を行わず、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpをそのまま輪郭強調器4に供給する。
【0168】
上述のような構成をした画像処理装置の動作を説明する。
【0169】
A/D変換器101は、入力された輝度信号Yaと色差信号Ua,Vaをデジタル変換し、デジタル変換した輝度信号Ydと色差信号Ud,Vdを肌領域検出手段2、画像メモリ6、及び、シーンチェンジ検出器9に各々供給する。
【0170】
上記画像メモリ6は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdに1画素分の遅延量を与え、遅延量を与えた輝度信号Ydと色差信号Ud,Vdを座標変換器7に供給する。また、上記画像メモリ6は、上記輝度信号Ydを輪郭強調器4に供給し、上記色差信号Ud,Vdを遅延器5に供給する。
【0171】
上記座標変換器7は、上記画像メモリ6からの輝度信号Ydと色差信号Ud,Vdを輝度データY、色相データH、及び、クロマデータCに変換し、変換した輝度データY、色相データH、及び、クロマデータCを肌色画素検出器8に供給する。
【0172】
上記肌色画素検出器8は、上記座標変換器7からの輝度データY、色相データH、及び、クロマデータCが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号cntl1として輪郭強調器4に供給する。
【0173】
一方、肌領域検出手段2は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報im,ip,jm,jpを顔領域平滑化器10に供給する。
【0174】
また、シーンチェンジ検出器9は、上記A/D変換器101からの輝度信号Ydと色差信号Ud,Vdに対応する画像と、上記肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpに対応する画像の間でシーンチェンジが発生したか否かを検出し、検出結果を制御信号cntl2として顔領域平滑化器10に供給する。
【0175】
上記顔領域平滑化器10は、上記シーンチェンジ検出器9からの制御信号cntl2に基づいて、上記肌領域検出手段2からの顔領域の情報im,ip,jm,jpの空間的な位置を時間的に平滑化し、平滑化した顔領域の情報id m,id p,jd m,jd pを輪郭強調器4に供給する。
【0176】
上記輪郭強調器4は、上記画像メモリ6からの輝度信号Ydに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。この時、上記顔領域平滑化器10からの顔領域の情報id m,id p,jd m,jd pで示される領域に、現在の処理対象となっている輝度信号Ydに対応する画素が含まれており、且つ、上記肌領域検出手段2からの肌色検出信号cntl1が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器4は、強調の度合を小さくして上記輝度信号Ydに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Yd aをD/A変換器102に供給する。
【0177】
また、上記遅延器5は、上記画像メモリ6からの色差信号Ua,Vaを遅延して上記輪郭強調器4で輪郭強調処理が施された輝度信号Yd aとの同期をとり、遅延した色差信号Ua,VaをD/A変換器102に供給する。
【0178】
上記D/A変換器102は、上記輪郭強調器4からの輝度信号Yd dと、上記遅延器5からの色差信号Ud,Vdをアナログ変換し、輝度信号Ya d、色差信号Ua,Vaとして出力する。
【0179】
上述のように、本実施例では、同一シーンであった場合には、肌領域検出手段2により得られた顔領域の情報im,ip,jm,jpに対して時間的平滑化処理を施さないため、同一シーンにおける顔領域の時間的変動を緩和することができる。従って、画像の鮮鋭度を向上させることができる
尚、上述の実施例では、上述した第7の実施例に係る画像処理装置の構成にシーンチェンジ検出器9と顔領域平滑化器10を付加することとしたが、上述した第5の実施例に係る画像処理装置の構成にシーンチェンジ検出器9と顔領域平滑化器10を付加することとしてもよい。
【0180】
次に、本発明の第8の実施例に係る画像処理装置について説明する。
【0181】
上記画像処理装置は、上述した第5の実施例に係る画像処理装置の輪郭強調器4を階調変換器に置き換えたものである。
【0182】
上記階調変換器は、図13に示すように、係数算出器41と、係数平滑化器42と、レベル変換器403と、重み付き加算器404とを備えている。
【0183】
尚、上記図10に示した輪郭強調器と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【0184】
上記係数算出器41と係数平滑化器42は、上述した輪郭強調器4に設けられているものと同じものであり、上記輪郭強調器4の場合と同様にして、平滑化補正係数cd ijを算出し、算出した平滑化補正係数cd ijをレベル変換器403に供給する。
【0185】
上記レベル変換器403は、入力された輝度信号Ydに対して階調変換処理を施し、階調変換処理を施した輝度信号Yceを生成する。
【0186】
上記階調変換は、変換関数gを持って
Yce=g(Yd)
で示され、変換関数gは、例えば、図14に示すように、非線形の単調増加関数である。また、その形状は変換すべき画像の性質に依存する。このようにして画像から変換関数gを構成する方法は、従来用いられている方法を適用することができる。
【0187】
上記レベル変換器403により階調変換処理が施された輝度信号Yceは、重み付き加算器404に供給される。上記重み付き加算器404には、上記レベル変換器403から輝度信号Yceが供給されると共に、入力された輝度信号Ydが供給される。また、係数平滑化器42により得られた平滑化補正係数cd ijが、上記レベル変換器403を介して上記重み付き加算器404に供給される。
【0188】
上記重み付き加算器404は、入力された輝度信号Ydと、上記レベル変換器403からの輝度信号Yceの重み付き加算を行う。この時に用いる重みは、係数平滑化器42により得られた平滑化補正係数cd ijを用いる。
【0189】
即ち、入力された輝度信号Ydに対して階調変換処理が施された輝度信号Yd dは、
Yd d=(1−cd ij)Yd+cd ijYce
なる演算により求められる。
【0190】
これは、現在の画素が顔領域内に位置し、且つ、肌色であった場合、即ち、平滑化補正係数cd ijが小さい場合には、入力された輝度信号Ydの重みが大きくなり、それ以外の場合には、レベル変換器403により階調変換処理が施された輝度信号Yceの重みが大きくなることを示している。
【0191】
上述のように、本実施例では、入力中の画像の画素単位の肌色検出信号cntl1に基づいた平滑化補正係数cd ijにより、重み調整して階調変調処理を行っているため、人物の顔領域を階調変換することなく他の領域を階調変換することにより、画像のコントラスト感を向上させることができる。
【0192】
尚、上述した実施例では、上述した第5の実施例に係る画像処理装置の輪郭強調器4を階調変換器に置き換えるものとしたが、上述した第6の実施例に係る画像処理装置の輪郭強調器4を階調変換器に置き換えるものとしてもよい。この場合、肌領域検出手段2により得られる顔領域の情報im,ip,jm,jpは、実際に階調変換処理を行う画像から算出されたものであるため、より正確に顔領域の位置を階調変換処理に反映させることができる。従って、画像のコントラスト感をさらに向上させることができる。
【0193】
また、上述した第7の実施例に係る画像処理装置の輪郭強調器4を階調変換器に置き換えるものとしてもよい。この場合、同一シーンにおける顔領域の時間的変動を緩和することができるため、画像のコントラスト感をさらに向上させることができる。
【0194】
尚、上述した第5〜第8の実施例では、第3の実施例に係る画像処理装置の肌領域検出手段を適用するものとしたが、第1、第2、及び、第4の実施例に係る画像処理装置の肌領域検出手段を適用するものとしてもよい。
【0195】
【発明の効果】
以上のように、本発明に係る画像処理装置では、肌領域検出手段において、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの3属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた3属性データから肌色画素抽出手段により肌色画素を抽出し、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから、顔領域判定手段により人物画像の顔領域を判定する。これにより、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図2】画像の走査方向を表した図である。
【図3】水平方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図4】上記肌色画素ヒストグラムの解析処理を説明するための図である。
【図5】水平方向及び垂直方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図6】本発明の第3の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図7】本発明の第4の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図8】水平方向及び垂直方向の肌色ブロックヒストグラムの生成処理を説明するための図である。
【図9】本発明の第5の実施例に係る画像処理装置の構成を示すブロック図である。
【図10】上記画像処理装置の輪郭強調器の構成を示すブロック図である。
【図11】本発明の第6の実施例に係る画像処理装置の構成を示すブロック図である。
【図12】本発明の第7の実施例に係る画像処理装置の構成を示すブロック図である。
【図13】上記画像処理装置の階調変換器の構成を示すブロック図である。
【図14】階調変換関数を示す図である。
【符号の説明】
1,2,3 肌領域検出手段
4 輪郭強調器
5 遅延器
6 画像メモリ
7 座標変換器
8 肌色画素検出器
9 シーンチェンジ検出器
10 顔領域平滑化器
11 座標変換器
12 ヒストグラム生成器
13 メモリ
14 顔領域判定器
21 垂直輝度変化検出器
31 ブロック内特徴量算出器
Claims (1)
- 入力された人物画像データをデジタル化した輝度データと色差データに変換し、デジタル化された輝度データと色差データから肌領域を検出する肌領域検出手段を備える画像処理装置であって、
上記肌領域検出手段は、上記輝度データと色差データを輝度データと色相データとクロマデータの3属性データに変換する変換手段と、
上記変換手段により得られた輝度データから肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成する垂直輝度変化検出手段と、
上記変換手段により得られた3属性データから肌色画素を抽出する肌色画素抽出手段と、
上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段と、
上記肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する顔領域判定手段とを備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29346794A JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29346794A JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004073278A Division JP4049116B2 (ja) | 2004-03-15 | 2004-03-15 | 画像処理装置 |
JP2004073279A Division JP2004266842A (ja) | 2004-03-15 | 2004-03-15 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08153197A JPH08153197A (ja) | 1996-06-11 |
JP3561985B2 true JP3561985B2 (ja) | 2004-09-08 |
Family
ID=17795130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29346794A Expired - Fee Related JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3561985B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6148092A (en) * | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
KR100327485B1 (ko) * | 1999-03-17 | 2002-03-13 | 윤종용 | 칼라 이미지로 부터의 얼굴 검출 장치 및 그 방법 |
KR100478697B1 (ko) * | 2002-03-13 | 2005-03-24 | (주) 네오시스트 | 영상 구현 장치 및 그의 운용 방법 |
JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
JP3873917B2 (ja) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP3873918B2 (ja) * | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20040208363A1 (en) * | 2003-04-21 | 2004-10-21 | Berge Thomas G. | White balancing an image |
CN101124612B (zh) | 2005-02-17 | 2012-06-20 | 富士通株式会社 | 图像处理方法、图像处理系统、以及图像处理装置 |
JP2006259900A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
JP4329821B2 (ja) | 2007-01-31 | 2009-09-09 | ブラザー工業株式会社 | 顔検出装置、顔検出方法および顔検出プログラム |
JP5067224B2 (ja) * | 2008-03-24 | 2012-11-07 | セイコーエプソン株式会社 | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置 |
JP5178441B2 (ja) | 2008-10-14 | 2013-04-10 | 三洋電機株式会社 | 電子カメラ |
JP5355308B2 (ja) * | 2009-09-01 | 2013-11-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US8315443B2 (en) * | 2010-04-22 | 2012-11-20 | Qualcomm Incorporated | Viewpoint detector based on skin color area and face area |
KR102656330B1 (ko) | 2011-05-27 | 2024-04-12 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 |
JP2012257022A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5745370B2 (ja) * | 2011-09-07 | 2015-07-08 | 日本放送協会 | 特定領域抽出装置及び特定領域抽出プログラム |
US9024961B2 (en) | 2011-12-19 | 2015-05-05 | Dolby Laboratories Licensing Corporation | Color grading apparatus and methods |
US10498932B2 (en) * | 2014-12-08 | 2019-12-03 | Sharp Kabushiki Kaisha | Video processing device |
WO2016117475A1 (ja) * | 2015-01-19 | 2016-07-28 | シャープ株式会社 | 映像処理装置 |
CN114468973B (zh) * | 2022-01-21 | 2023-08-11 | 广州视域光学科技股份有限公司 | 一种智能视力检测系统 |
-
1994
- 1994-11-28 JP JP29346794A patent/JP3561985B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
US9495578B2 (en) | 2006-08-04 | 2016-11-15 | Sony Corporation | Face detection device, imaging apparatus and face detection method |
US10037455B2 (en) | 2006-08-04 | 2018-07-31 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
Also Published As
Publication number | Publication date |
---|---|
JPH08153197A (ja) | 1996-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3561985B2 (ja) | 画像処理装置 | |
JP3221291B2 (ja) | 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法 | |
US9569827B2 (en) | Image processing apparatus and method, and program | |
KR101518722B1 (ko) | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 | |
JP4858609B2 (ja) | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム | |
JP4169188B2 (ja) | 画像処理方法 | |
JP2000050109A (ja) | ノイズを除去するための非線形イメ―ジフィルタ | |
JP2006197584A (ja) | 画像のrgb情報を利用したブラック/ホワイト拡張システム | |
US7106346B2 (en) | Signal processing apparatus and method, recording medium, and program | |
CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
CN112001853A (zh) | 图像处理设备、图像处理方法、摄像设备和存储介质 | |
Srinivasan et al. | Adaptive contrast enhancement using local region stretching | |
CN111583357A (zh) | 一种基于matlab系统的物体运动图像捕捉合成方法 | |
JP2002522830A (ja) | 色フレームイメージシーケンスで移動体を検出する装置及び方法 | |
EP4091130A1 (en) | Variable clipping level calculation method for clahe algorithm | |
JP4049116B2 (ja) | 画像処理装置 | |
JP2000348173A (ja) | 唇抽出方法 | |
JPH1098695A (ja) | 画像情報変換装置および方法並びに積和演算装置 | |
JP2000348189A (ja) | 画像処理装置 | |
JP2003234901A (ja) | 画像処理装置及び画像処理方法 | |
JP2004266842A (ja) | 画像処理装置 | |
JP7427398B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JP4708866B2 (ja) | ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム | |
JP2005285071A (ja) | 画像処理装置 | |
JP2017229058A (ja) | 画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |