JP3561985B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3561985B2 JP3561985B2 JP29346794A JP29346794A JP3561985B2 JP 3561985 B2 JP3561985 B2 JP 3561985B2 JP 29346794 A JP29346794 A JP 29346794A JP 29346794 A JP29346794 A JP 29346794A JP 3561985 B2 JP3561985 B2 JP 3561985B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- skin
- luminance
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、人物画像の肌領域を検出する機能を備える画像処理装置に関するものであり、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置に用いて好適な画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、画像処理装置では、画像の内容を解析し認識するために対象物が抽出される。その手法として、例えば、エッジを検出することにより対象物の輪郭線を求める方法、画像を明るさの一様な部分領域に分割し対象物の占める領域を抽出する方法等がある。
【０００３】
また、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置では、上記画像処理装置により抽出した対象物に対して輪郭強調や階調変換等の処理が施される。これにより、画像の鮮鋭度やコントラスト感を向上させている。
【０００４】
ここで、上述のような画像処理装置で人物画像を処理する場合、上記画像処理装置の肌領域検出処理部では、人物の肌の領域（以下、肌領域と言う。）が検出される。上記肌領域を検出するために、上記肌領域検出処理部では、例えば、画素毎の色情報により肌領域を抽出する方法、或は、色情報から抽出した肌色画素を画像上における位置の連結性に着目して領域分割し各領域の特徴を解析することにより肌領域を抽出する方法等が用いられている。
【０００５】
【発明が解決しようとする課題】
しかし、画素毎の色情報により肌領域を抽出する方法では、画像中の肌色の領域が全て肌領域と見なされてしまうため、多くの誤検出が生じてしまっていた。或は、領域分割により肌領域を抽出する方法では、領域分割処理と各領域の特徴解析処理に多くの計算時間が必要であったため、リアルタイム処理には不向きであった。
【０００６】
また、画像の鮮鋭度やコントラスト感を向上させるために、抽出した対象物に対して輪郭強調処理、或は、階調変換処理が施されるが、肌領域、特に、人物の顔の領域（以下、顔領域と言う。）に対しても輪郭強調処理、或は、階調変換処理が施されていた。このため、例えば、顔領域まで強調されてしまい、望ましくない結果をもたらすといった問題があった。
【０００７】
そこで、本発明は、上述の如き従来の実情に鑑みてなされたものであり、次のような目的を有するものである。
【０００８】
即ち、本発明の目的は、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、入力された人物画像データをデジタル化した輝度データと色差データに変換し、デジタル化された輝度データと色差データから肌領域を検出する肌領域検出手段を備える画像処理装置であって、上記肌領域検出手段は、上記輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換する変換手段と、上記変換手段により得られた輝度データから肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成する垂直輝度変化検出手段と、上記変換手段により得られた３属性データから肌色画素を抽出する肌色画素抽出手段と、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段と、上記肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する顔領域判定手段とを備えることを特徴とする画像処理装置。
【００１２】
また、本発明に係る画像処理装置は、上記肌色画素分布生成手段は、人物画像の各水平位置毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムである肌色画素分布を生成することを特徴とする。
【００２４】
【作用】
本発明に係る画像処理装置において、肌領域検出手段では、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた３属性データから肌色画素抽出手段により肌色画素を抽出する。そして、顔領域判定手段は、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する。
【００３７】
【実施例】
以下、本発明の一実施例について図面を参照しながら説明する。
【００３８】
まず、本発明の第１の実施例に係る画像処理装置について説明する。
【００３９】
例えば、上記画像処理装置は、入力された画像データから人物の肌の領域（以下、肌領域と言う。）を検出する肌領域検出手段１を備えており、上記肌領域検出手段１は、図１に示すように、入力された画像データを色の３属性データに変換する座標変換器１１と、上記座標変換器１１により得られた３属性データから肌色画素の空間的な肌色画素分布をメモリ１３上に生成するヒストグラム生成器１２と、上記メモリ１３と、上記メモリ１３上に生成された肌色画素分布から人物の顔の領域（以下、顔領域と言う。）を判定する顔領域判定器１４とを備えている。
【００４０】
まず、図２に示すように、画像Ｐを水平方向に走査して得られたアナログの輝度信号Ｙａと色差信号Ｕａ，Ｖａが、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器と言う。）１０１によりデジタル変換され、デジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄが顔領域検出手段１に入力される。
【００４１】
以下、上記顔領域検出手段１について具体的に説明する。
【００４２】
座標変換器１１は、上記Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを色の３属性データである輝度データＹ、色相データＨ、及び、クロマデータＣに変換する。色の３属性データの定義には様々なものが存在するが、例えば、輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから数１に示す演算により輝度データＹ、色相データＨ、及び、クロマデータＣを求める。
【００４３】
【数１】
【００４４】
ヒストグラム生成器１２は、図３に示すように、画像Ｐの各水平位置ｉ毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムＳＨをメモリ１３上に生成する。
【００４５】
即ち、上記座標変換器１１で得られた輝度データＹ、色相データＨ、及び、クロマデータＣに対して、肌色の範囲を定義するために予め設定された輝度定数Ｙｍｉｎ，Ｙｍａｘと、色相定数Ｈｍｉｎ，Ｈｍａｘと、クロマ定数Ｃｍｉｎ，Ｃｍａｘを持って、
Ｙｍｉｎ＜Ｙ＜Ｙｍａｘ
Ｈｍｉｎ＜Ｈ＜Ｈｍａｘ
Ｃｍｉｎ＜Ｃ＜Ｃｍａｘ
なる肌色の条件を満足するか否かを判定する。例えば、上記輝度データＹ、色相データＨ、及び、クロマデータＣに対応する画像Ｐ上の位置を画素Ｓ（ｉ，ｊ）で示すと、上記画素Ｓ（ｉ，ｊ）が上記肌色の条件を満たし、肌色であると判定された場合には、メモリ１３上にある肌色画素ヒストグラムＳＨのｉ番目の値ＳＨ［ｉ］に１を加算する（ＳＨ［ｉ］＝ＳＨ［ｉ］＋１）。このような処理を各水平位置毎に行うことにより、垂直方向に並ぶ肌色画素の数が累積されて、メモリ１３上に肌色画素ヒストグラムＳＨ［ｉ］が生成される。
【００４６】
顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に１枚の画像Ｐの肌色画素ヒストグラムＳＨ［ｉ］が生成された時点で、肌色画素ヒストグラムＳＨ［ｉ］を解析して、上記図３に示した画像Ｐの人物Ｍの顔領域Ｆを検出する。
【００４７】
即ち、図４に示すように、まず、肌色画素ヒストグラムＳＨ［ｉ］で最も度数の大きい水平位置ｉを検出し、これを最大値ｉｍａｘとする。
【００４８】
次に、上記最大値ｉｍａｘを中心に前後両方向に向かって最初に現れる極小点ｉｍ，ｉｐを検出する。
【００４９】
次に、上記最大値ｉｍａｘを中心に前後両方向に向かって、上記最大値ｉｍａｘ番目の度数ＳＨ［ｉｍａｘ］のα％の度数に対応する最初の点ｉαｍ，ｉαｐを検出する。ここで、上記“α”は、肌領域の幅を定義するための、０≦α≦１．０を満たす定数である。但し、上記点ｉαｍが、ｉｍ≦ｉαｍ≦ｉｍａｘの範囲に存在しなかった場合、或は、上記点ｉαｐが、ｉｍａｘ≦ｉαｐ≦ｉｐの範囲に存在しなかった場合には、各々、ｉαｍ＝ｉｍ、ｉαｐ＝ｉｐとする。
【００５０】
このようにして検出された極小点ｉｍ，ｉｐ、及び、点ｉαｍ，ｉαｐが、縦横の長さの比の下限のしきい値Ｔａｓｐ１と、上限のしきい値Ｔａｓｐ２、及び、画素数の下限のしきい値Ｔｎｕｍを持って、数２に示す顔領域の条件式を満たすか否かを判定する。
【００５１】
【数２】
【００５２】
上記数２に示した条件式を満たした場合には、極小点ｉｍ，ｉｐに挟まれた領域Ｓｍｐを顔領域Ｆと見なし、極小点ｉｍ，ｉｐを顔領域の情報として出力する。或は、上記数２に示した条件式を満たさなかった場合には、ＳＨ［ｋ］＝０（ｉｍ＜ｋ＜ｉｐ）として、上述した解析処理を繰り返す。
【００５３】
尚、定数α、各しきい値Ｔａｓｐ１，Ｔａｓｐ２，Ｔｎｕｍは、予め設定されているものとする。
【００５４】
上述のような構成をした肌領域検出手段１の動作を説明する。
【００５５】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００５６】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをヒストグラム生成器１２に供給する。上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満足するか否かを判定することによりメモリ１３上に肌色画素ヒストグラムＳＨ［ｉ］を生成する。
【００５７】
顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に生成された画像１枚分の肌色画素ヒストグラムＳＨ［ｉ］から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、顔領域の情報ｉｍ，ｉｐを出力する。
【００５８】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムＳＨ［ｉ］を生成し、上記肌色画素ヒストグラムＳＨ［ｉ］に基づいて肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域の判定を行っているため、人物の肌領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【００５９】
次に、本発明の第２の実施例に係る画像処理装置について説明する。
【００６０】
上記画像処理装置は、上述した第１の実施例に係る画像処理装置の肌領域検出手段１と同じ構成の肌領域検出手段１を備えているが、本実施例における肌領域検出手段１のヒストグラム生成器１２は、図５に示すように、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］とをメモリ１３上に生成する。
【００６１】
即ち、画像Ｐ上の位置Ｓ（ｉ，ｊ）が肌色であると判定された場合には、メモリ１３上にある水平方向の肌色画素ヒストグラムＳＨのｉ番目の値ＳＨ［ｉ］に１を加算する（ＳＨ［ｉ］＝ＳＨ［ｉ］＋１）と共に、垂直方向の肌色画素ヒストグラムＳＶのｊ番目の値ＳＶ［ｊ］に１を加算する（ＳＶ［ｊ］＝ＳＶ［ｊ］＋１）。
【００６２】
このようにして、メモリ１３上に水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］が生成され、顔領域判定器１４は、上記水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］に基づいて、上述した第１の実施例と同様にして解析を行い、各方向における顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを出力する。
【００６３】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムＳＨ［ｉ］の他に垂直方向の肌色画素ヒストグラムＳＶ［ｊ］も生成するため、人物の肌領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【００６４】
次に、本発明の第３の実施例に係る画像処理装置について説明する。
【００６５】
上記画像処理装置は、図６に示すように、上述した第１、及び、第２の実施例の肌領域検出手段１の構成に加えて、肌領域における垂直方向の輝度変化を検出する垂直輝度変化検出器２１を有する肌領域検出手段２を備えている。
【００６６】
尚、上記図１に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【００６７】
即ち、上記垂直輝度変化検出器２１は、座標変換器１１により変換された輝度データＹ、色相データＨ、及び、クロマデータＣのうち上記輝度データＹの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムＤＨ［ｉ］をメモリ１３上に生成する。また、上記輝度データＹの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムＤＶ［ｊ］もメモリ１３上に生成する。
【００６８】
例えば、画像上の任意の位置（ｉ，ｊ）における輝度データＹの垂直方向の微分値ｖｉｊは、微分計算の定数ｄｊを持って、
ｖｉｊ＝｜２Ｙ（ｉ，ｊ）−Ｙ（ｉ，ｊ−ｄｊ）−Ｙ（ｉ，ｊ＋ｄｊ）｜
なる演算により求められる。この演算式は、垂直方向の２次微分値の絶対値を表している。
【００６９】
従って、メモリ１３上にある水平方向の微分ヒストグラムＤＨのｉ番目の値ＤＨ［ｉ］に微分値ｖｉｊを加算する（ＤＨ［ｉ］＝ＤＨ［ｉ］＋ｖｉｊ）。また、垂直方向の肌色画素ヒストグラムＤＶのｊ番目の値ＤＶ［ｊ］に微分値ｖｉｊを加算する（ＤＶ［ｊ］＝ＤＶ［ｊ］＋ｖｉｊ）。
【００７０】
このようにして、メモリ１３上に水平方向の微分ヒストグラムＤＨ［ｉ］と垂直方向の微分ヒストグラムＤＶ［ｊ］が生成される。
【００７１】
一方、ヒストグラム生成器１２は、例えば、上述した第２の実施例と同様にして、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］をメモリ１３上に生成する。
【００７２】
顔領域判定器１４は、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］を基にして、上記第２の実施例と同様に顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを求める。ここで、上記顔領域判定器１４は、さらに、水平方向の微分ヒストグラムＤＨ［ｉ］と垂直方向の微分ヒストグラムＤＶ［ｊ］を基に、数３、或は、数４に示す演算を行う。
【００７３】
【数３】
【００７４】
【数４】
【００７５】
上記数３、或は、図４で示した演算により得られた値ｄが、予め設定されたしきい値Ｔｄｅｖ以上であった場合には、検出した顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを出力し、上記値ｄがしきい値Ｔｄｅｖ以下であった場合には、ＳＨ［ｋ］＝０（ｉｍ＜ｋ＜ｉｐ）として解析処理を繰り返す。
【００７６】
上述のような構成をした肌領域検出手段２の動作を説明する。
【００７７】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００７８】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをヒストグラム生成器１２に供給すると共に輝度データＹを垂直輝度変化検出器２１に供給する。
【００７９】
上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満足するか否かを判定することによりメモリ１３上に水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］を生成する。
【００８０】
一方、上記垂直輝度変化検出器２１は、上記座標変換器１１からの輝度データＹの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムＤＨ［ｉ］と、上記輝度データＹの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムＤＶ［ｊ］をメモリ１３上に生成する。顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に生成された肌色画素ヒストグラムＳＨ［ｉ］と肌色画素ヒストグラムＳＶ［ｊ］から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、上記垂直輝度変化検出器２１によりメモリ１３上に生成された微分ヒストグラムＤＨ［ｉ］と微分ヒストグラムＤＶ［ｊ］に基づいて、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを出力する。
【００８１】
上述のような垂直方向の輝度変化の分布に基づいた顔領域の情報ｉｍ，ｉｐとｊｍ，ｊｐの検出は、人物の顔には目、口等の水平方向のエッジが含まれていることに基づくものであるが、垂直方向の輝度変化の分布に基づいて顔領域の判定を行うことにより、例えば、壁のような輝度変化の少ない一様な領域の誤検出を回避することができる。従って、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【００８２】
尚、本実施例では、上記ヒストグラム生成器１２は、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］をメモリ１３上に生成することとしたが、上述した第１の実施例と同様に、水平方向の肌色画素ヒストグラムＳＨ［ｉ］のみをメモリ１３上に生成することとしてもよい。
【００８３】
次に、本発明の第４の実施例に係る画像処理装置について説明する。
【００８４】
上記画像処理装置は、図７に示すように、上述した第３の実施例の肌領域検出手段２の構成に加えて、輝度データＹ、色相データＨ、クロマデータＣ、及び、垂直方向の輝度変化ｖｉｊをブロック単位に平均化するブロック内特徴量算出器３１を有する肌領域検出手段３を備えている。
【００８５】
尚、上記図１、及び、上記図６に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【００８６】
即ち、上記ブロック内特徴量算出器３１は、図８に示すように、座標変換器１１により変換された画像Ｐの輝度データＹ、色相データＨ、及び、クロマデータＣを、例えば、ブロックＢの大きさを表す定数ｍｉ，ｍｊを持って、水平方向の画素数（２ｍｉ＋１）、垂直方向の画素数（２ｍｊ＋１）で示される大きさのブロックＢに分割する。従って、各ブロック内の画素数Ｍは、
Ｍ＝（２ｍｉ＋１）（２ｍｊ＋１）
で表すことができる。
【００８７】
そして、画素数Ｍを持って、数５、数６、数７に示す演算により、各ブロック毎の輝度データＹの平均値Ｙａｖｅ、色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅを求める。
【００８８】
【数５】
【００８９】
【数６】
【００９０】
【数７】
【００９１】
従って、上述のようにして算出された値Ｙａｖｅ、Ｈａｖｅ、Ｃａｖｅ、ｖｉｂｊｂｍａｘが各ブロックの代表値としてヒストグラム生成器１２に供給される。上記ストグラム生成器１２は、上記図８に示すように、メモリ１３上にある水平方向の肌色ブロックヒストグラムＳＨのｉ番目のブロックＳＨ［ｉｂ］に１を加算する（ＳＨ［ｉｂ］＝ＳＨ［ｉｂ］＋１）と共に、垂直方向の肌色ブロックヒストグラムＳＶのｊ番目のブロックＳＶ［ｊｂ］に１を加算する（ＳＶ［ｊｂ］＝ＳＶ［ｊｂ］＋１）。このようにして、メモリ１３上には、ブロック単位の水平方向の肌色ブロックヒストグラムＳＶ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］が生成される。
【００９２】
また、上記ブロック内特徴量算出器３１は、垂直輝度変化検出器２１により得られた垂直方向の微分値ｖｉｊに対しては、ブロック内の最大値ｖｉｂｊｂｍａｘを数８に示す演算により求める。
【００９３】
【数８】
【００９４】
従って、上記最大値ｖｉｂｊｂｍａｘも各ブロックの代表値としてメモリ１３に出力されることとなり、メモリ１３上にある水平方向の微分ヒストグラムＤＨのｉ番目のブロックＤＨ［ｉｂ］に微分値ｖｉｂｊｂが加算され（ＤＨ［ｉｂ］＝ＤＨ［ｉｂ］＋ｖｉｂｊｂ）、また、垂直方向の肌色画素ヒストグラムＤＶのｊ番目のブロックＤＶ［ｊｂ］に微分値ｖｉｂｊｂが加算される（ＤＶ［ｊｂ］＝ＤＶ［ｊｂ］＋ｖｉｂｊｂ）。このようにして、メモリ１３上には、ブロック単位の水平方向の微分ヒストグラムＤＨ［ｉｂ］と垂直方向の微分ヒストグラムＤＶ［ｊｂ］も生成される。
【００９５】
顔領域判定器１４は、メモリ１３上に生成されたブロック単位の肌色ブロックヒストグラムＳＶ［ｉｂ］、肌色ブロックヒストグラムＳＶ［ｊｂ］、微分ヒストグラムＤＨ［ｉｂ］、及び、微分ヒストグラムＤＶ［ｊｂ］を、上述した第２の実施例と同様にして、肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域であるか否かを判定する。そして、顔領域と判定された肌色ブロックのブロック番号ｉｂｍ，ｉｂｐ，ｊｂｍ，ｊｂｐの中心位置ｉｍ，ｉｐ，ｊｍ，ｊｐを
ｉｍ＝ｉｂｍ（２ｍｉ＋１）＋ｍｉ
ｉｐ＝ｉｂｐ（２ｍｉ＋１）＋ｍｉ
ｊｍ＝ｊｂｍ（２ｍｊ＋１）＋ｍｊ
ｊｐ＝ｊｂｐ（２ｍｊ＋１）＋ｍｊ
なる演算で求め、求めた中心位置ｉｍ，ｉｐ，ｊｍ，ｊｐを顔領域の境界を示す座標とし、顔領域の情報として出力する。
【００９６】
上述のような構成をした肌領域検出手段３の動作を説明する。
【００９７】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００９８】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをブロック内特徴量算出器３１に供給すると共に輝度データＹを垂直輝度変化検出器２１に供給する。
【００９９】
上記垂直輝度変化検出器２１は、上記座標変換器１１からの輝度データＹの垂直方向の微分値ｖｉｊを求め、求めた微分値ｖｉｊを上記ブロック内特徴量算出器３１に供給する。
【０１００】
上記ブロック内特徴量算出器３１は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣをブロックに分割し、各ブロック毎の輝度データＹの平均値Ｙａｖｅ、色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅを求め、求めた色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅをヒストグラム生成器１２に供給する。
【０１０１】
上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣの平均値Ｙａｖｅ，Ｈａｖｅ，Ｃａｖｅが肌色の条件を満足するか否かを判定することによりメモリ１３上に水平方向の肌色ブロックヒストグラムＳＨ［ｉ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊ］を生成する。
【０１０２】
また、上記ブロック内特徴量算出器３１は、上記垂直輝度変化検出器２１からの微分値ｖｉｊに対しては、ブロック内の最大値ｖｉｂｊｂｍａｘを求め、求めたブロック内の最大値ｖｉｂｊｂｍａｘをメモリ１３に出力する。これにより、メモリ１３上には、ブロック単位の水平方向の微分ヒストグラムＤＨ［ｉｂ］と垂直方向の微分ヒストグラムＤＶ［ｊｂ］も生成される。
【０１０３】
顔領域判定器１４は、メモリ１３上に生成されたブロック単位の肌色ブロックヒストグラムＳＨ［ｉｂ］と肌色ブロックヒストグラムＳＶ［ｊｂ］から肌色が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、メモリ１３上に生成されたブロック単位の微分ヒストグラムＤＨ［ｉｂ］と微分ヒストグラムＤＶ［ｊｂ］に基づいて、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを出力する。
【０１０４】
上述のように、本実施例では、画像をブロックに分割し、ブロック内の平均色の分布に基づいて肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域を検出しているため、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【０１０５】
尚、本実施例では、上記ヒストグラム生成器１２は、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］をメモリ１３上に生成することとしたが、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］のみをメモリ１３上に生成することとしてもよい。
【０１０６】
また、本実施例では、垂直輝度変化検出器２１を設けることとしたが、上記垂直輝度変化検出器２１を設けずに、例えば、上記図１に示した肌領域検出手段１の構成において、座標変換器１１の後段にブロック内特徴量算出器３１を備えることとしてもよい。この場合、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］、或は、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］のみから顔領域を検出することとなる。
【０１０７】
次に、本発明の第５の実施例に係る画像処理装置について説明する。
【０１０８】
上記画像処理装置は、上述した第３の実施例に係る画像処理装置の肌領域検出手段２を適用したものであり、例えば、図９に示すように、上記図６に示した肌領域検出手段２と、上記肌領域検出手段２により得られた顔領域の情報に基づいた制御により輪郭強調処理を行う輪郭強調器４と、上記輪郭強調器４から出力されるデータと入力データとの同期をとるための遅延器５と、Ａ／Ｄ変換器１０１と、デジタル／アナログ変換器（以下、Ｄ／Ａ変換器と言う。）１０２とを備えている。
【０１０９】
尚、上記図６に示した肌領域検出手段２と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１１０】
上記肌領域検出手段２には、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄが入力され、上記肌領域検出手段２は、上述したように、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから顔領域を検出する。そして、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐ、即ち、顔領域の境界の座標を示す４つの座標を輪郭強調器４に供給する。
【０１１１】
ここで、上記肌領域検出手段２において、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画素が肌色であると判定された場合、上記肌領域検出手段２のヒストグラム生成器１２は、肌色を検出したか否かを示す肌色検出信号ｃｎｔｌ１を輪郭強調器４に供給する。
【０１１２】
また、上記輪郭強調器４には、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄが入力される。上記輪郭強調器４は、入力された輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ｄをＤ／Ａ変換器１０２に供給する。
【０１１３】
この時、肌領域検出手段２から顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐが供給されると共に肌色検出信号ｃｎｔｌ１が供給され、且つ、入力された輝度信号Ｙｄに対応する画素が上記顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域内に存在した場合、上記輪郭強調器４は、上記輝度信号Ｙｄに輪郭強調処理を施す際に、その強調の度合を小さくする。
【０１１４】
具体的に説明すると、まず、輪郭強調器４に肌領域検出手段２から供給される顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、現在入力中の画像よりも時間的に画像１枚分過去の画像から得られたものである。これに対して、輪郭強調器４に肌領域検出手段２から供給される肌色検出信号ｃｎｔｌ１は、現在入力中の画像の各画素の色に関する情報である。即ち、上記輪郭強調器４は、過去の画像から得られた顔領域の情報と、現在入力中の画像の画素単位の色情報により強調の程度を調整するものである。
【０１１５】
例えば、上記輪郭強調器４は、図１０に示すように、係数算出器４１と、係数平滑化器４２と、強調信号生成器４３と、加算器４５とを備えており、原信号に２次微分を加算する従来の輪郭強調器を適用したものである。
【０１１６】
上記係数算出器４１には、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと肌色検出信号ｃｎｔｌ１が供給される。上記係数算出器４１は、これらの情報から画像上の位置（ｉ，ｊ）に対応する係数ｃｉｊを求める。
【０１１７】
即ち、現在の処理対象となっている画像上での位置（ｉ，ｊ）が顔領域に含まれている場合（ｉｍ＜ｉ＜ｉｐ、ｊｍ＜ｊ＜ｊｐ）には「１」を、顔領域に含まれていない場合には「０」を出力値とする関数ｆ０（ｉ，ｊ）と、肌色検出信号ｃｎｔｌ１が現在の画素が肌色であることを示している場合（ｃｎｔｌ１＝１）には「１」、肌色でないことを示している場合（ｃｎｔｌ１＝０）には「０」を出力値とする関数ｆ１（ｃｎｔｌ１）を持って、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐ、及び、肌色検出信号ｃｎｔｌ１から画像上の位置（ｉ，ｊ）に対応する係数ｃｉｊを、
ｃｉｊ＝１−ｆ０（ｉ，ｊ）ｆ１（ｃｎｔｌ１）
なる演算により求める。
【０１１８】
従って、係数ｃｉｊは、現在の処理対象となっている画像上での位置（ｉ，ｊ）が顔領域に含まれ、且つ、その色が肌色である場合のみ「０」となり、それ以外の場合は「１」となる。
【０１１９】
このようにして求められた係数ｃｉｊは、係数平滑化器４２に供給される。上記係数平滑化器４２は、関数ｆ０（ｉ，ｊ）と関数ｆ１（ｃｎｔｌ１）の不連続性を緩和するために、係数ｃｉｊの近傍における平均値ｃｄ ｉｊを求める。
【０１２０】
即ち、近傍系内の画素数Ｎは、平均値ｃｄ ｉｊを求める近傍系の大きさを表す定数ｎｉ，ｎｊと、近傍系を構成する水平方向の画素数（２ｎｉ＋１）、及び、垂直方向の画素数（２ｎｊ＋１）を持って、
Ｎ＝（２ｎｉ＋１）（２ｎｊ＋１）
と表せる。
【０１２１】
従って、上記係数平滑化器４２は、係数ｃｉｊの近傍における平均値ｃｄ ｉｊを、上記近傍系内の画素数Ｎを持って、数９に示す演算により求める。
【０１２２】
【数９】
【０１２３】
そして、上記係数平滑化器４２は、求めた係数ｃｉｊの近傍における平均値ｃｄ ｉｊを平滑化補正係数ｃｄ ｉｊとして強調信号生成器４３に供給する。
【０１２４】
上記強調信号生成器４３には、上記係数平滑化器４２から平滑化補正係数ｃｄ ｉｊが供給されると共に、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄが供給される。
【０１２５】
上記強調信号生成器４３は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄの２次微分値に上記係数平滑化器４２からの平滑化補正係数ｃｄ ｉｊ乗じることにより、強調信号ｄＹを生成する。
【０１２６】
即ち、平滑化補正係数ｃｄ ｉｊに対応する輝度信号Ｙｄを輝度信号Ｙｄ（ｉ，ｊ）で示すと、上記強調信号ｄＹは、定数ｄｉを持って、
ｄＹ＝ｃｄ ｉｊ（２Ｙｄ（ｉ，ｊ）−Ｙｄ（ｉ＋ｄｉ，ｊ）−Ｙｄ（ｉ−ｄｉ，ｊ））
なる演算により求められる。この時、入力データの同期をとるために適当な遅延が施される。そして、上記強調信号生成器４３は、生成した強調信号ｄＹを加算器４５に供給する。
【０１２７】
上記加算器４５には、上記強調信号生成器４３から強調信号ｄＹが供給されると共に、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄが供給される。
【０１２８】
上記加算器４５は、上記強調信号生成器４３からの強調信号ｄＹと上記Ａ／Ｄ変換器１０１からの平滑化補正係数ｃｄ ｉｊに対応する輝度信号Ｙｄ（ｉ，ｊ）とを加算し、加算結果を輪郭強調処理を施した輝度信号Ｙｄ ｄとして出力する。
【０１２９】
即ち、現在の処理対象となっている画像上での位置（ｉ，ｊ）の輝度信号Ｙｄ（ｉ，ｊ）に輪郭強調処理を施した輝度信号Ｙｄ ｄ（ｉ，ｊ）は、
Ｙｄ ｄ（ｉ，ｊ）＝Ｙｄ（ｉ，ｊ）＋ｄＹ
なる演算により求められる。
【０１３０】
上述のように、輪郭強調器４は、肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと肌色検出信号ｃｎｔｌ１により強調の程度を画素毎に制御し、入力された輝度信号Ｙｄに輪郭強調処理を施す。そして、輪郭強調処理を施した輝度信号Ｙｄ ｄをＤ／Ａ変換器１０２に供給する。ここで、上述した輪郭強調処理においては、入力データの同期をとるために、適当な遅延が施される。
【０１３１】
一方、遅延器５には、Ａ／Ｄ変換器１０１によりデジタル変換された色差信号Ｕｄ，Ｖｄが入力される。上記遅延器５は、入力された色差信号Ｕｄ，Ｖｄを遅延して、上記輪郭強調器４により輪郭強調処理が施された輝度信号Ｙｄ ｄとの同期をとる。上記遅延器５により遅延された色差信号Ｕｄ，Ｖｄは、Ｄ／Ａ変換器１０２に供給される。
【０１３２】
従って、上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４により輪郭強調処理が施された輝度信号Ｙｄ ｄと、上記遅延器５により上記輝度信号Ｙｄ ｄと同期がとられた色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙｄ ａ、色差信号Ｕａ，Ｖａとして出力する。
【０１３３】
上述のような構成をした画像処理装置の動作を説明する。
【０１３４】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２に供給すると共に、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１３５】
上記肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出結果を示す肌色検出信号ｃｎｔｌ１を輪郭強調器４に供給する。また、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを輪郭強調器４に供給する。
【０１３６】
上記輪郭強調器４は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１３７】
この時、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１３８】
遅延器５は、上記Ａ／Ｄ変換器１０１からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１３９】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１４０】
上述のように、本実施例では、上記図６に示した肌領域検出手段２を適用し、上記肌領域検出手段２により得られた過去の画像に対する顔領域の情報と、現在入力中の画像の画素単位の肌色検出信号により、強調の度合を調整して輪郭強調処理を行っているため、人物の顔の領域を強調することなく他の領域を強調することができる。従って、画像の鮮鋭度を向上させることができる。
【０１４１】
次に、本発明の第６の実施例に係る画像処理装置について説明する。
【０１４２】
上記画像処理装置は、図１１に示すように、上述した第５の実施例に係る画像処理装置の構成に加えて、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを記憶する画像メモリ６と、上記画像メモリ６に記憶された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを色の３属性データに変換する座標変換器７と、上記座標変換器７により変換された３属性データが肌色の条件を満たしているか否かを検出する肌色画素検出器８とを備えている。
【０１４３】
また、上記画像処理装置では、肌領域検出手段２からは肌色検出信号ｃｎｔｌ１は出力されず、上記肌色画素検出器８から肌色検出信号ｃｎｔｌ１が輪郭強調器４に対して出力されることとなる。さらに、上記輪郭強調器４には、画像メモリ６に記憶された輝度信号Ｙｄが供給され、遅延器５にも、画像メモリ６に記憶された色差信号Ｕｄ，Ｖｄが供給されることとなる。
【０１４４】
尚、上記図９に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１４５】
即ち、本実施例では、画像メモリ６を用いて、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに、肌領域検出手段２で顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを検出するのに要する時間に対応した遅延量、例えば、１画素分の遅延量を与える。上記画像メモリ６により遅延された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器７に供給されると共に、上記輝度信号Ｙｄは、輪郭強調器４に供給され、上記色差信号Ｕｄ，Ｖｄは遅延器５に供給される。
【０１４６】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。 上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件、即ち、ヒストグラム生成器１２において肌領域を検出する際に用いた上述したような条件
Ｙｍｉｎ＜Ｙ＜Ｙｍａｘ
Ｈｍｉｎ＜Ｈ＜Ｈｍａｘ
Ｃｍｉｎ＜Ｃ＜Ｃｍａｘ
を満たすか否かを判定する。従って、その判定結果が肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給されることとなる。
【０１４７】
一方、肌領域検出手段２により検出された顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、輪郭強調器４に供給される。
【０１４８】
上述のような構成をした画像処理装置の動作を説明する。
【０１４９】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２に供給すると共に、画像メモリ６に供給する。
【０１５０】
上記画像メモリ６は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに１画素分の遅延量を与え、遅延量を与えた輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを座標変換器７に供給する。また、上記画像メモリ６は、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１５１】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。 上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給する。
【０１５２】
一方、肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを輪郭強調器４に供給する。 上記輪郭強調器４は、上記画像メモリ６からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１５３】
この時、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１５４】
また、上記遅延器５は、上記画像メモリ６からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１５５】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１５６】
上述のように、上記肌領域検出手段２で得られる顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、輪郭強調器４で実際に輪郭強調処理を施す画像から求められたものである。従って、より正確な顔領域の位置を輪郭強調処理に反映させることができるため、画像の鮮鋭度をより向上させることができる。
【０１５７】
次に、本発明の第７の実施例に係る画像処理装置について説明する。
【０１５８】
上記画像処理装置は、図１２に示すように、上述した第７の実施例に係る画像処理装置の構成に加えて、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄからシーンの変わり目を検出するシーンチェンジ検出器９と、上記シーンチェンジ検出器９の検出結果に基づいて肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対して時間的平滑化処理を施す顔領域平滑化器１０とを備えている。
【０１５９】
また、上記画像処理装置では、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、顔領域平滑化器１０を介して輪郭強調器４に供給される。さらに、上記画像処理装置では、画像メモリ６における遅延量は、肌領域検出手段２で顔領域の情報を検出するのに要する時間の２倍の遅延量とし、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと輪郭強調器４で輪郭強調処理が施される画像とを完全に対応させている。
【０１６０】
尚、上記図１１に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１６１】
即ち、シーンチェンジ検出器９は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画像と、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対応する画像の間でシーンチェンジが発生したか否かを検出する。
【０１６２】
具体的に説明すると、例えば、上記肌領域検出手段２で顔領域の情報を検出するのに要する時間が１画像分である場合、上記シーンチェンジ検出器９は、輪郭強調器４で輪郭強調処理が施される画像と、それよりも時間的に１画像分前に入力されている画像の間でシーンチェンジが発生したか否かを検出する。
【０１６３】
このようなシーンチェンジの検出は、従来用いられている検出方法を適用することができる。
【０１６４】
従って、上記シーンチェンジ検出器９の検出結果は、制御信号ｃｎｔｌ２として顔領域平滑化器１０に供給される。
【０１６５】
上記顔領域平滑化器１０は、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐの空間的な位置を時間的に平滑化して顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐとして輪郭強調器４に供給する。
【０１６６】
例えば、時間的平滑化処理として、時刻ｎの画像から算出された顔領域境界座標ｌｎ（＝ｉｍ，ｉｐ，ｊｍ，ｊｐ）と、時刻ｎの画像に対する輪郭強調処理に用いられる境界座標ｌｄ ｎ（＝ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐ）と、現在時刻に得られた境界座標の寄与率ｐとを持って、
ｌｄ ｎ＝ｐｌｎ＋（１−ｐ）ｌｄ ｎ−１
なる再帰的フィルタリングを用いる。
【０１６７】
この時、上記シーンチェンジ検出器９からの制御信号ｃｎｔｌ２がシーンチェンジ発生を示している場合、上記顔領域平滑化器１０は、上述のような時間的平滑化処理を行わず、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐをそのまま輪郭強調器４に供給する。
【０１６８】
上述のような構成をした画像処理装置の動作を説明する。
【０１６９】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２、画像メモリ６、及び、シーンチェンジ検出器９に各々供給する。
【０１７０】
上記画像メモリ６は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに１画素分の遅延量を与え、遅延量を与えた輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを座標変換器７に供給する。また、上記画像メモリ６は、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１７１】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。
【０１７２】
上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給する。
【０１７３】
一方、肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを顔領域平滑化器１０に供給する。
【０１７４】
また、シーンチェンジ検出器９は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画像と、上記肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対応する画像の間でシーンチェンジが発生したか否かを検出し、検出結果を制御信号ｃｎｔｌ２として顔領域平滑化器１０に供給する。
【０１７５】
上記顔領域平滑化器１０は、上記シーンチェンジ検出器９からの制御信号ｃｎｔｌ２に基づいて、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐの空間的な位置を時間的に平滑化し、平滑化した顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐを輪郭強調器４に供給する。
【０１７６】
上記輪郭強調器４は、上記画像メモリ６からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。この時、上記顔領域平滑化器１０からの顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１７７】
また、上記遅延器５は、上記画像メモリ６からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１７８】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１７９】
上述のように、本実施例では、同一シーンであった場合には、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対して時間的平滑化処理を施さないため、同一シーンにおける顔領域の時間的変動を緩和することができる。従って、画像の鮮鋭度を向上させることができる
尚、上述の実施例では、上述した第７の実施例に係る画像処理装置の構成にシーンチェンジ検出器９と顔領域平滑化器１０を付加することとしたが、上述した第５の実施例に係る画像処理装置の構成にシーンチェンジ検出器９と顔領域平滑化器１０を付加することとしてもよい。
【０１８０】
次に、本発明の第８の実施例に係る画像処理装置について説明する。
【０１８１】
上記画像処理装置は、上述した第５の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えたものである。
【０１８２】
上記階調変換器は、図１３に示すように、係数算出器４１と、係数平滑化器４２と、レベル変換器４０３と、重み付き加算器４０４とを備えている。
【０１８３】
尚、上記図１０に示した輪郭強調器と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１８４】
上記係数算出器４１と係数平滑化器４２は、上述した輪郭強調器４に設けられているものと同じものであり、上記輪郭強調器４の場合と同様にして、平滑化補正係数ｃｄ ｉｊを算出し、算出した平滑化補正係数ｃｄ ｉｊをレベル変換器４０３に供給する。
【０１８５】
上記レベル変換器４０３は、入力された輝度信号Ｙｄに対して階調変換処理を施し、階調変換処理を施した輝度信号Ｙｃｅを生成する。
【０１８６】
上記階調変換は、変換関数ｇを持って
Ｙｃｅ＝ｇ（Ｙｄ）
で示され、変換関数ｇは、例えば、図１４に示すように、非線形の単調増加関数である。また、その形状は変換すべき画像の性質に依存する。このようにして画像から変換関数ｇを構成する方法は、従来用いられている方法を適用することができる。
【０１８７】
上記レベル変換器４０３により階調変換処理が施された輝度信号Ｙｃｅは、重み付き加算器４０４に供給される。上記重み付き加算器４０４には、上記レベル変換器４０３から輝度信号Ｙｃｅが供給されると共に、入力された輝度信号Ｙｄが供給される。また、係数平滑化器４２により得られた平滑化補正係数ｃｄ ｉｊが、上記レベル変換器４０３を介して上記重み付き加算器４０４に供給される。
【０１８８】
上記重み付き加算器４０４は、入力された輝度信号Ｙｄと、上記レベル変換器４０３からの輝度信号Ｙｃｅの重み付き加算を行う。この時に用いる重みは、係数平滑化器４２により得られた平滑化補正係数ｃｄ ｉｊを用いる。
【０１８９】
即ち、入力された輝度信号Ｙｄに対して階調変換処理が施された輝度信号Ｙｄ ｄは、
Ｙｄ ｄ＝（１−ｃｄ ｉｊ）Ｙｄ＋ｃｄ ｉｊＹｃｅ
なる演算により求められる。
【０１９０】
これは、現在の画素が顔領域内に位置し、且つ、肌色であった場合、即ち、平滑化補正係数ｃｄ ｉｊが小さい場合には、入力された輝度信号Ｙｄの重みが大きくなり、それ以外の場合には、レベル変換器４０３により階調変換処理が施された輝度信号Ｙｃｅの重みが大きくなることを示している。
【０１９１】
上述のように、本実施例では、入力中の画像の画素単位の肌色検出信号ｃｎｔｌ１に基づいた平滑化補正係数ｃｄ ｉｊにより、重み調整して階調変調処理を行っているため、人物の顔領域を階調変換することなく他の領域を階調変換することにより、画像のコントラスト感を向上させることができる。
【０１９２】
尚、上述した実施例では、上述した第５の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしたが、上述した第６の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしてもよい。この場合、肌領域検出手段２により得られる顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、実際に階調変換処理を行う画像から算出されたものであるため、より正確に顔領域の位置を階調変換処理に反映させることができる。従って、画像のコントラスト感をさらに向上させることができる。
【０１９３】
また、上述した第７の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしてもよい。この場合、同一シーンにおける顔領域の時間的変動を緩和することができるため、画像のコントラスト感をさらに向上させることができる。
【０１９４】
尚、上述した第５〜第８の実施例では、第３の実施例に係る画像処理装置の肌領域検出手段を適用するものとしたが、第１、第２、及び、第４の実施例に係る画像処理装置の肌領域検出手段を適用するものとしてもよい。
【０１９５】
【発明の効果】
以上のように、本発明に係る画像処理装置では、肌領域検出手段において、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた３属性データから肌色画素抽出手段により肌色画素を抽出し、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから、顔領域判定手段により人物画像の顔領域を判定する。これにより、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図２】画像の走査方向を表した図である。
【図３】水平方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図４】上記肌色画素ヒストグラムの解析処理を説明するための図である。
【図５】水平方向及び垂直方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図６】本発明の第３の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図７】本発明の第４の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図８】水平方向及び垂直方向の肌色ブロックヒストグラムの生成処理を説明するための図である。
【図９】本発明の第５の実施例に係る画像処理装置の構成を示すブロック図である。
【図１０】上記画像処理装置の輪郭強調器の構成を示すブロック図である。
【図１１】本発明の第６の実施例に係る画像処理装置の構成を示すブロック図である。
【図１２】本発明の第７の実施例に係る画像処理装置の構成を示すブロック図である。
【図１３】上記画像処理装置の階調変換器の構成を示すブロック図である。
【図１４】階調変換関数を示す図である。
【符号の説明】
１，２，３ 肌領域検出手段
４ 輪郭強調器
５ 遅延器
６ 画像メモリ
７ 座標変換器
８ 肌色画素検出器
９ シーンチェンジ検出器
１０ 顔領域平滑化器
１１ 座標変換器
１２ ヒストグラム生成器
１３ メモリ
１４ 顔領域判定器
２１ 垂直輝度変化検出器
３１ ブロック内特徴量算出器
【産業上の利用分野】
本発明は、人物画像の肌領域を検出する機能を備える画像処理装置に関するものであり、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置に用いて好適な画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、画像処理装置では、画像の内容を解析し認識するために対象物が抽出される。その手法として、例えば、エッジを検出することにより対象物の輪郭線を求める方法、画像を明るさの一様な部分領域に分割し対象物の占める領域を抽出する方法等がある。
【０００３】
また、テレビジョンやビデオカメラ、ビデオプリンタ等の自然画像を再現する装置では、上記画像処理装置により抽出した対象物に対して輪郭強調や階調変換等の処理が施される。これにより、画像の鮮鋭度やコントラスト感を向上させている。
【０００４】
ここで、上述のような画像処理装置で人物画像を処理する場合、上記画像処理装置の肌領域検出処理部では、人物の肌の領域（以下、肌領域と言う。）が検出される。上記肌領域を検出するために、上記肌領域検出処理部では、例えば、画素毎の色情報により肌領域を抽出する方法、或は、色情報から抽出した肌色画素を画像上における位置の連結性に着目して領域分割し各領域の特徴を解析することにより肌領域を抽出する方法等が用いられている。
【０００５】
【発明が解決しようとする課題】
しかし、画素毎の色情報により肌領域を抽出する方法では、画像中の肌色の領域が全て肌領域と見なされてしまうため、多くの誤検出が生じてしまっていた。或は、領域分割により肌領域を抽出する方法では、領域分割処理と各領域の特徴解析処理に多くの計算時間が必要であったため、リアルタイム処理には不向きであった。
【０００６】
また、画像の鮮鋭度やコントラスト感を向上させるために、抽出した対象物に対して輪郭強調処理、或は、階調変換処理が施されるが、肌領域、特に、人物の顔の領域（以下、顔領域と言う。）に対しても輪郭強調処理、或は、階調変換処理が施されていた。このため、例えば、顔領域まで強調されてしまい、望ましくない結果をもたらすといった問題があった。
【０００７】
そこで、本発明は、上述の如き従来の実情に鑑みてなされたものであり、次のような目的を有するものである。
【０００８】
即ち、本発明の目的は、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、入力された人物画像データをデジタル化した輝度データと色差データに変換し、デジタル化された輝度データと色差データから肌領域を検出する肌領域検出手段を備える画像処理装置であって、上記肌領域検出手段は、上記輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換する変換手段と、上記変換手段により得られた輝度データから肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成する垂直輝度変化検出手段と、上記変換手段により得られた３属性データから肌色画素を抽出する肌色画素抽出手段と、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段と、上記肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する顔領域判定手段とを備えることを特徴とする画像処理装置。
【００１２】
また、本発明に係る画像処理装置は、上記肌色画素分布生成手段は、人物画像の各水平位置毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムである肌色画素分布を生成することを特徴とする。
【００２４】
【作用】
本発明に係る画像処理装置において、肌領域検出手段では、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた３属性データから肌色画素抽出手段により肌色画素を抽出する。そして、顔領域判定手段は、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する。
【００３７】
【実施例】
以下、本発明の一実施例について図面を参照しながら説明する。
【００３８】
まず、本発明の第１の実施例に係る画像処理装置について説明する。
【００３９】
例えば、上記画像処理装置は、入力された画像データから人物の肌の領域（以下、肌領域と言う。）を検出する肌領域検出手段１を備えており、上記肌領域検出手段１は、図１に示すように、入力された画像データを色の３属性データに変換する座標変換器１１と、上記座標変換器１１により得られた３属性データから肌色画素の空間的な肌色画素分布をメモリ１３上に生成するヒストグラム生成器１２と、上記メモリ１３と、上記メモリ１３上に生成された肌色画素分布から人物の顔の領域（以下、顔領域と言う。）を判定する顔領域判定器１４とを備えている。
【００４０】
まず、図２に示すように、画像Ｐを水平方向に走査して得られたアナログの輝度信号Ｙａと色差信号Ｕａ，Ｖａが、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器と言う。）１０１によりデジタル変換され、デジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄが顔領域検出手段１に入力される。
【００４１】
以下、上記顔領域検出手段１について具体的に説明する。
【００４２】
座標変換器１１は、上記Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを色の３属性データである輝度データＹ、色相データＨ、及び、クロマデータＣに変換する。色の３属性データの定義には様々なものが存在するが、例えば、輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから数１に示す演算により輝度データＹ、色相データＨ、及び、クロマデータＣを求める。
【００４３】
【数１】
ヒストグラム生成器１２は、図３に示すように、画像Ｐの各水平位置ｉ毎に垂直方向に並ぶ肌色画素の数を累積した水平方向の肌色画素ヒストグラムＳＨをメモリ１３上に生成する。
【００４５】
即ち、上記座標変換器１１で得られた輝度データＹ、色相データＨ、及び、クロマデータＣに対して、肌色の範囲を定義するために予め設定された輝度定数Ｙｍｉｎ，Ｙｍａｘと、色相定数Ｈｍｉｎ，Ｈｍａｘと、クロマ定数Ｃｍｉｎ，Ｃｍａｘを持って、
Ｙｍｉｎ＜Ｙ＜Ｙｍａｘ
Ｈｍｉｎ＜Ｈ＜Ｈｍａｘ
Ｃｍｉｎ＜Ｃ＜Ｃｍａｘ
なる肌色の条件を満足するか否かを判定する。例えば、上記輝度データＹ、色相データＨ、及び、クロマデータＣに対応する画像Ｐ上の位置を画素Ｓ（ｉ，ｊ）で示すと、上記画素Ｓ（ｉ，ｊ）が上記肌色の条件を満たし、肌色であると判定された場合には、メモリ１３上にある肌色画素ヒストグラムＳＨのｉ番目の値ＳＨ［ｉ］に１を加算する（ＳＨ［ｉ］＝ＳＨ［ｉ］＋１）。このような処理を各水平位置毎に行うことにより、垂直方向に並ぶ肌色画素の数が累積されて、メモリ１３上に肌色画素ヒストグラムＳＨ［ｉ］が生成される。
【００４６】
顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に１枚の画像Ｐの肌色画素ヒストグラムＳＨ［ｉ］が生成された時点で、肌色画素ヒストグラムＳＨ［ｉ］を解析して、上記図３に示した画像Ｐの人物Ｍの顔領域Ｆを検出する。
【００４７】
即ち、図４に示すように、まず、肌色画素ヒストグラムＳＨ［ｉ］で最も度数の大きい水平位置ｉを検出し、これを最大値ｉｍａｘとする。
【００４８】
次に、上記最大値ｉｍａｘを中心に前後両方向に向かって最初に現れる極小点ｉｍ，ｉｐを検出する。
【００４９】
次に、上記最大値ｉｍａｘを中心に前後両方向に向かって、上記最大値ｉｍａｘ番目の度数ＳＨ［ｉｍａｘ］のα％の度数に対応する最初の点ｉαｍ，ｉαｐを検出する。ここで、上記“α”は、肌領域の幅を定義するための、０≦α≦１．０を満たす定数である。但し、上記点ｉαｍが、ｉｍ≦ｉαｍ≦ｉｍａｘの範囲に存在しなかった場合、或は、上記点ｉαｐが、ｉｍａｘ≦ｉαｐ≦ｉｐの範囲に存在しなかった場合には、各々、ｉαｍ＝ｉｍ、ｉαｐ＝ｉｐとする。
【００５０】
このようにして検出された極小点ｉｍ，ｉｐ、及び、点ｉαｍ，ｉαｐが、縦横の長さの比の下限のしきい値Ｔａｓｐ１と、上限のしきい値Ｔａｓｐ２、及び、画素数の下限のしきい値Ｔｎｕｍを持って、数２に示す顔領域の条件式を満たすか否かを判定する。
【００５１】
【数２】
上記数２に示した条件式を満たした場合には、極小点ｉｍ，ｉｐに挟まれた領域Ｓｍｐを顔領域Ｆと見なし、極小点ｉｍ，ｉｐを顔領域の情報として出力する。或は、上記数２に示した条件式を満たさなかった場合には、ＳＨ［ｋ］＝０（ｉｍ＜ｋ＜ｉｐ）として、上述した解析処理を繰り返す。
【００５３】
尚、定数α、各しきい値Ｔａｓｐ１，Ｔａｓｐ２，Ｔｎｕｍは、予め設定されているものとする。
【００５４】
上述のような構成をした肌領域検出手段１の動作を説明する。
【００５５】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００５６】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをヒストグラム生成器１２に供給する。上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満足するか否かを判定することによりメモリ１３上に肌色画素ヒストグラムＳＨ［ｉ］を生成する。
【００５７】
顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に生成された画像１枚分の肌色画素ヒストグラムＳＨ［ｉ］から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、顔領域の情報ｉｍ，ｉｐを出力する。
【００５８】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムＳＨ［ｉ］を生成し、上記肌色画素ヒストグラムＳＨ［ｉ］に基づいて肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域の判定を行っているため、人物の肌領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【００５９】
次に、本発明の第２の実施例に係る画像処理装置について説明する。
【００６０】
上記画像処理装置は、上述した第１の実施例に係る画像処理装置の肌領域検出手段１と同じ構成の肌領域検出手段１を備えているが、本実施例における肌領域検出手段１のヒストグラム生成器１２は、図５に示すように、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］とをメモリ１３上に生成する。
【００６１】
即ち、画像Ｐ上の位置Ｓ（ｉ，ｊ）が肌色であると判定された場合には、メモリ１３上にある水平方向の肌色画素ヒストグラムＳＨのｉ番目の値ＳＨ［ｉ］に１を加算する（ＳＨ［ｉ］＝ＳＨ［ｉ］＋１）と共に、垂直方向の肌色画素ヒストグラムＳＶのｊ番目の値ＳＶ［ｊ］に１を加算する（ＳＶ［ｊ］＝ＳＶ［ｊ］＋１）。
【００６２】
このようにして、メモリ１３上に水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］が生成され、顔領域判定器１４は、上記水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］に基づいて、上述した第１の実施例と同様にして解析を行い、各方向における顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを出力する。
【００６３】
上述のように、本実施例では、水平方向の肌色画素ヒストグラムＳＨ［ｉ］の他に垂直方向の肌色画素ヒストグラムＳＶ［ｊ］も生成するため、人物の肌領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【００６４】
次に、本発明の第３の実施例に係る画像処理装置について説明する。
【００６５】
上記画像処理装置は、図６に示すように、上述した第１、及び、第２の実施例の肌領域検出手段１の構成に加えて、肌領域における垂直方向の輝度変化を検出する垂直輝度変化検出器２１を有する肌領域検出手段２を備えている。
【００６６】
尚、上記図１に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【００６７】
即ち、上記垂直輝度変化検出器２１は、座標変換器１１により変換された輝度データＹ、色相データＨ、及び、クロマデータＣのうち上記輝度データＹの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムＤＨ［ｉ］をメモリ１３上に生成する。また、上記輝度データＹの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムＤＶ［ｊ］もメモリ１３上に生成する。
【００６８】
例えば、画像上の任意の位置（ｉ，ｊ）における輝度データＹの垂直方向の微分値ｖｉｊは、微分計算の定数ｄｊを持って、
ｖｉｊ＝｜２Ｙ（ｉ，ｊ）−Ｙ（ｉ，ｊ−ｄｊ）−Ｙ（ｉ，ｊ＋ｄｊ）｜
なる演算により求められる。この演算式は、垂直方向の２次微分値の絶対値を表している。
【００６９】
従って、メモリ１３上にある水平方向の微分ヒストグラムＤＨのｉ番目の値ＤＨ［ｉ］に微分値ｖｉｊを加算する（ＤＨ［ｉ］＝ＤＨ［ｉ］＋ｖｉｊ）。また、垂直方向の肌色画素ヒストグラムＤＶのｊ番目の値ＤＶ［ｊ］に微分値ｖｉｊを加算する（ＤＶ［ｊ］＝ＤＶ［ｊ］＋ｖｉｊ）。
【００７０】
このようにして、メモリ１３上に水平方向の微分ヒストグラムＤＨ［ｉ］と垂直方向の微分ヒストグラムＤＶ［ｊ］が生成される。
【００７１】
一方、ヒストグラム生成器１２は、例えば、上述した第２の実施例と同様にして、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］をメモリ１３上に生成する。
【００７２】
顔領域判定器１４は、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］を基にして、上記第２の実施例と同様に顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを求める。ここで、上記顔領域判定器１４は、さらに、水平方向の微分ヒストグラムＤＨ［ｉ］と垂直方向の微分ヒストグラムＤＶ［ｊ］を基に、数３、或は、数４に示す演算を行う。
【００７３】
【数３】
【数４】
上記数３、或は、図４で示した演算により得られた値ｄが、予め設定されたしきい値Ｔｄｅｖ以上であった場合には、検出した顔領域の情報ｉｍ，ｉｐ、及び、ｊｍ，ｊｐを出力し、上記値ｄがしきい値Ｔｄｅｖ以下であった場合には、ＳＨ［ｋ］＝０（ｉｍ＜ｋ＜ｉｐ）として解析処理を繰り返す。
【００７６】
上述のような構成をした肌領域検出手段２の動作を説明する。
【００７７】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００７８】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをヒストグラム生成器１２に供給すると共に輝度データＹを垂直輝度変化検出器２１に供給する。
【００７９】
上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満足するか否かを判定することによりメモリ１３上に水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］を生成する。
【００８０】
一方、上記垂直輝度変化検出器２１は、上記座標変換器１１からの輝度データＹの垂直方向の微分値を水平方向の各位置毎に累積した水平方向の微分ヒストグラムＤＨ［ｉ］と、上記輝度データＹの垂直方向の微分値を垂直方向の各位置毎に累積した垂直方向の微分ヒストグラムＤＶ［ｊ］をメモリ１３上に生成する。顔領域判定器１４は、上記ヒストグラム生成器１２によりメモリ１３上に生成された肌色画素ヒストグラムＳＨ［ｉ］と肌色画素ヒストグラムＳＶ［ｊ］から肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、上記垂直輝度変化検出器２１によりメモリ１３上に生成された微分ヒストグラムＤＨ［ｉ］と微分ヒストグラムＤＶ［ｊ］に基づいて、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを出力する。
【００８１】
上述のような垂直方向の輝度変化の分布に基づいた顔領域の情報ｉｍ，ｉｐとｊｍ，ｊｐの検出は、人物の顔には目、口等の水平方向のエッジが含まれていることに基づくものであるが、垂直方向の輝度変化の分布に基づいて顔領域の判定を行うことにより、例えば、壁のような輝度変化の少ない一様な領域の誤検出を回避することができる。従って、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【００８２】
尚、本実施例では、上記ヒストグラム生成器１２は、水平方向の肌色画素ヒストグラムＳＨ［ｉ］と垂直方向の肌色画素ヒストグラムＳＶ［ｊ］をメモリ１３上に生成することとしたが、上述した第１の実施例と同様に、水平方向の肌色画素ヒストグラムＳＨ［ｉ］のみをメモリ１３上に生成することとしてもよい。
【００８３】
次に、本発明の第４の実施例に係る画像処理装置について説明する。
【００８４】
上記画像処理装置は、図７に示すように、上述した第３の実施例の肌領域検出手段２の構成に加えて、輝度データＹ、色相データＨ、クロマデータＣ、及び、垂直方向の輝度変化ｖｉｊをブロック単位に平均化するブロック内特徴量算出器３１を有する肌領域検出手段３を備えている。
【００８５】
尚、上記図１、及び、上記図６に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【００８６】
即ち、上記ブロック内特徴量算出器３１は、図８に示すように、座標変換器１１により変換された画像Ｐの輝度データＹ、色相データＨ、及び、クロマデータＣを、例えば、ブロックＢの大きさを表す定数ｍｉ，ｍｊを持って、水平方向の画素数（２ｍｉ＋１）、垂直方向の画素数（２ｍｊ＋１）で示される大きさのブロックＢに分割する。従って、各ブロック内の画素数Ｍは、
Ｍ＝（２ｍｉ＋１）（２ｍｊ＋１）
で表すことができる。
【００８７】
そして、画素数Ｍを持って、数５、数６、数７に示す演算により、各ブロック毎の輝度データＹの平均値Ｙａｖｅ、色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅを求める。
【００８８】
【数５】
【数６】
【数７】
従って、上述のようにして算出された値Ｙａｖｅ、Ｈａｖｅ、Ｃａｖｅ、ｖｉｂｊｂｍａｘが各ブロックの代表値としてヒストグラム生成器１２に供給される。上記ストグラム生成器１２は、上記図８に示すように、メモリ１３上にある水平方向の肌色ブロックヒストグラムＳＨのｉ番目のブロックＳＨ［ｉｂ］に１を加算する（ＳＨ［ｉｂ］＝ＳＨ［ｉｂ］＋１）と共に、垂直方向の肌色ブロックヒストグラムＳＶのｊ番目のブロックＳＶ［ｊｂ］に１を加算する（ＳＶ［ｊｂ］＝ＳＶ［ｊｂ］＋１）。このようにして、メモリ１３上には、ブロック単位の水平方向の肌色ブロックヒストグラムＳＶ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］が生成される。
【００９２】
また、上記ブロック内特徴量算出器３１は、垂直輝度変化検出器２１により得られた垂直方向の微分値ｖｉｊに対しては、ブロック内の最大値ｖｉｂｊｂｍａｘを数８に示す演算により求める。
【００９３】
【数８】
従って、上記最大値ｖｉｂｊｂｍａｘも各ブロックの代表値としてメモリ１３に出力されることとなり、メモリ１３上にある水平方向の微分ヒストグラムＤＨのｉ番目のブロックＤＨ［ｉｂ］に微分値ｖｉｂｊｂが加算され（ＤＨ［ｉｂ］＝ＤＨ［ｉｂ］＋ｖｉｂｊｂ）、また、垂直方向の肌色画素ヒストグラムＤＶのｊ番目のブロックＤＶ［ｊｂ］に微分値ｖｉｂｊｂが加算される（ＤＶ［ｊｂ］＝ＤＶ［ｊｂ］＋ｖｉｂｊｂ）。このようにして、メモリ１３上には、ブロック単位の水平方向の微分ヒストグラムＤＨ［ｉｂ］と垂直方向の微分ヒストグラムＤＶ［ｊｂ］も生成される。
【００９５】
顔領域判定器１４は、メモリ１３上に生成されたブロック単位の肌色ブロックヒストグラムＳＶ［ｉｂ］、肌色ブロックヒストグラムＳＶ［ｊｂ］、微分ヒストグラムＤＨ［ｉｂ］、及び、微分ヒストグラムＤＶ［ｊｂ］を、上述した第２の実施例と同様にして、肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域であるか否かを判定する。そして、顔領域と判定された肌色ブロックのブロック番号ｉｂｍ，ｉｂｐ，ｊｂｍ，ｊｂｐの中心位置ｉｍ，ｉｐ，ｊｍ，ｊｐを
ｉｍ＝ｉｂｍ（２ｍｉ＋１）＋ｍｉ
ｉｐ＝ｉｂｐ（２ｍｉ＋１）＋ｍｉ
ｊｍ＝ｊｂｍ（２ｍｊ＋１）＋ｍｊ
ｊｐ＝ｊｂｐ（２ｍｊ＋１）＋ｍｊ
なる演算で求め、求めた中心位置ｉｍ，ｉｐ，ｊｍ，ｊｐを顔領域の境界を示す座標とし、顔領域の情報として出力する。
【００９６】
上述のような構成をした肌領域検出手段３の動作を説明する。
【００９７】
Ａ／Ｄ変換器１０１によりデジタル変換された画像Ｐの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器１１に入力される。
【００９８】
上記座標変換器１１は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣをブロック内特徴量算出器３１に供給すると共に輝度データＹを垂直輝度変化検出器２１に供給する。
【００９９】
上記垂直輝度変化検出器２１は、上記座標変換器１１からの輝度データＹの垂直方向の微分値ｖｉｊを求め、求めた微分値ｖｉｊを上記ブロック内特徴量算出器３１に供給する。
【０１００】
上記ブロック内特徴量算出器３１は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣをブロックに分割し、各ブロック毎の輝度データＹの平均値Ｙａｖｅ、色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅを求め、求めた色相データＨの平均値Ｈａｖｅ、及び、クロマデータの平均値Ｃａｖｅをヒストグラム生成器１２に供給する。
【０１０１】
上記ヒストグラム生成器１２は、上記座標変換器１１からの輝度データＹ、色相データＨ、及び、クロマデータＣの平均値Ｙａｖｅ，Ｈａｖｅ，Ｃａｖｅが肌色の条件を満足するか否かを判定することによりメモリ１３上に水平方向の肌色ブロックヒストグラムＳＨ［ｉ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊ］を生成する。
【０１０２】
また、上記ブロック内特徴量算出器３１は、上記垂直輝度変化検出器２１からの微分値ｖｉｊに対しては、ブロック内の最大値ｖｉｂｊｂｍａｘを求め、求めたブロック内の最大値ｖｉｂｊｂｍａｘをメモリ１３に出力する。これにより、メモリ１３上には、ブロック単位の水平方向の微分ヒストグラムＤＨ［ｉｂ］と垂直方向の微分ヒストグラムＤＶ［ｊｂ］も生成される。
【０１０３】
顔領域判定器１４は、メモリ１３上に生成されたブロック単位の肌色ブロックヒストグラムＳＨ［ｉｂ］と肌色ブロックヒストグラムＳＶ［ｊｂ］から肌色が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて顔領域か否かを判定する。そして、判定の結果が顔領域であった場合には、メモリ１３上に生成されたブロック単位の微分ヒストグラムＤＨ［ｉｂ］と微分ヒストグラムＤＶ［ｊｂ］に基づいて、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを出力する。
【０１０４】
上述のように、本実施例では、画像をブロックに分割し、ブロック内の平均色の分布に基づいて肌色ブロックを検出し、検出した肌色ブロックの大きさ、縦横の長さの比に基づいて顔領域を検出しているため、人物の肌色領域の解析、及び、人物の顔領域の検出を高速に且つ正確に行うことができる。
【０１０５】
尚、本実施例では、上記ヒストグラム生成器１２は、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］をメモリ１３上に生成することとしたが、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］のみをメモリ１３上に生成することとしてもよい。
【０１０６】
また、本実施例では、垂直輝度変化検出器２１を設けることとしたが、上記垂直輝度変化検出器２１を設けずに、例えば、上記図１に示した肌領域検出手段１の構成において、座標変換器１１の後段にブロック内特徴量算出器３１を備えることとしてもよい。この場合、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］と垂直方向の肌色ブロックヒストグラムＳＶ［ｊｂ］、或は、水平方向の肌色ブロックヒストグラムＳＨ［ｉｂ］のみから顔領域を検出することとなる。
【０１０７】
次に、本発明の第５の実施例に係る画像処理装置について説明する。
【０１０８】
上記画像処理装置は、上述した第３の実施例に係る画像処理装置の肌領域検出手段２を適用したものであり、例えば、図９に示すように、上記図６に示した肌領域検出手段２と、上記肌領域検出手段２により得られた顔領域の情報に基づいた制御により輪郭強調処理を行う輪郭強調器４と、上記輪郭強調器４から出力されるデータと入力データとの同期をとるための遅延器５と、Ａ／Ｄ変換器１０１と、デジタル／アナログ変換器（以下、Ｄ／Ａ変換器と言う。）１０２とを備えている。
【０１０９】
尚、上記図６に示した肌領域検出手段２と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１１０】
上記肌領域検出手段２には、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄが入力され、上記肌領域検出手段２は、上述したように、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから顔領域を検出する。そして、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐ、即ち、顔領域の境界の座標を示す４つの座標を輪郭強調器４に供給する。
【０１１１】
ここで、上記肌領域検出手段２において、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画素が肌色であると判定された場合、上記肌領域検出手段２のヒストグラム生成器１２は、肌色を検出したか否かを示す肌色検出信号ｃｎｔｌ１を輪郭強調器４に供給する。
【０１１２】
また、上記輪郭強調器４には、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄが入力される。上記輪郭強調器４は、入力された輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ｄをＤ／Ａ変換器１０２に供給する。
【０１１３】
この時、肌領域検出手段２から顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐが供給されると共に肌色検出信号ｃｎｔｌ１が供給され、且つ、入力された輝度信号Ｙｄに対応する画素が上記顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域内に存在した場合、上記輪郭強調器４は、上記輝度信号Ｙｄに輪郭強調処理を施す際に、その強調の度合を小さくする。
【０１１４】
具体的に説明すると、まず、輪郭強調器４に肌領域検出手段２から供給される顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、現在入力中の画像よりも時間的に画像１枚分過去の画像から得られたものである。これに対して、輪郭強調器４に肌領域検出手段２から供給される肌色検出信号ｃｎｔｌ１は、現在入力中の画像の各画素の色に関する情報である。即ち、上記輪郭強調器４は、過去の画像から得られた顔領域の情報と、現在入力中の画像の画素単位の色情報により強調の程度を調整するものである。
【０１１５】
例えば、上記輪郭強調器４は、図１０に示すように、係数算出器４１と、係数平滑化器４２と、強調信号生成器４３と、加算器４５とを備えており、原信号に２次微分を加算する従来の輪郭強調器を適用したものである。
【０１１６】
上記係数算出器４１には、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと肌色検出信号ｃｎｔｌ１が供給される。上記係数算出器４１は、これらの情報から画像上の位置（ｉ，ｊ）に対応する係数ｃｉｊを求める。
【０１１７】
即ち、現在の処理対象となっている画像上での位置（ｉ，ｊ）が顔領域に含まれている場合（ｉｍ＜ｉ＜ｉｐ、ｊｍ＜ｊ＜ｊｐ）には「１」を、顔領域に含まれていない場合には「０」を出力値とする関数ｆ０（ｉ，ｊ）と、肌色検出信号ｃｎｔｌ１が現在の画素が肌色であることを示している場合（ｃｎｔｌ１＝１）には「１」、肌色でないことを示している場合（ｃｎｔｌ１＝０）には「０」を出力値とする関数ｆ１（ｃｎｔｌ１）を持って、顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐ、及び、肌色検出信号ｃｎｔｌ１から画像上の位置（ｉ，ｊ）に対応する係数ｃｉｊを、
ｃｉｊ＝１−ｆ０（ｉ，ｊ）ｆ１（ｃｎｔｌ１）
なる演算により求める。
【０１１８】
従って、係数ｃｉｊは、現在の処理対象となっている画像上での位置（ｉ，ｊ）が顔領域に含まれ、且つ、その色が肌色である場合のみ「０」となり、それ以外の場合は「１」となる。
【０１１９】
このようにして求められた係数ｃｉｊは、係数平滑化器４２に供給される。上記係数平滑化器４２は、関数ｆ０（ｉ，ｊ）と関数ｆ１（ｃｎｔｌ１）の不連続性を緩和するために、係数ｃｉｊの近傍における平均値ｃｄ ｉｊを求める。
【０１２０】
即ち、近傍系内の画素数Ｎは、平均値ｃｄ ｉｊを求める近傍系の大きさを表す定数ｎｉ，ｎｊと、近傍系を構成する水平方向の画素数（２ｎｉ＋１）、及び、垂直方向の画素数（２ｎｊ＋１）を持って、
Ｎ＝（２ｎｉ＋１）（２ｎｊ＋１）
と表せる。
【０１２１】
従って、上記係数平滑化器４２は、係数ｃｉｊの近傍における平均値ｃｄ ｉｊを、上記近傍系内の画素数Ｎを持って、数９に示す演算により求める。
【０１２２】
【数９】
そして、上記係数平滑化器４２は、求めた係数ｃｉｊの近傍における平均値ｃｄ ｉｊを平滑化補正係数ｃｄ ｉｊとして強調信号生成器４３に供給する。
【０１２４】
上記強調信号生成器４３には、上記係数平滑化器４２から平滑化補正係数ｃｄ ｉｊが供給されると共に、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄが供給される。
【０１２５】
上記強調信号生成器４３は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄの２次微分値に上記係数平滑化器４２からの平滑化補正係数ｃｄ ｉｊ乗じることにより、強調信号ｄＹを生成する。
【０１２６】
即ち、平滑化補正係数ｃｄ ｉｊに対応する輝度信号Ｙｄを輝度信号Ｙｄ（ｉ，ｊ）で示すと、上記強調信号ｄＹは、定数ｄｉを持って、
ｄＹ＝ｃｄ ｉｊ（２Ｙｄ（ｉ，ｊ）−Ｙｄ（ｉ＋ｄｉ，ｊ）−Ｙｄ（ｉ−ｄｉ，ｊ））
なる演算により求められる。この時、入力データの同期をとるために適当な遅延が施される。そして、上記強調信号生成器４３は、生成した強調信号ｄＹを加算器４５に供給する。
【０１２７】
上記加算器４５には、上記強調信号生成器４３から強調信号ｄＹが供給されると共に、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄが供給される。
【０１２８】
上記加算器４５は、上記強調信号生成器４３からの強調信号ｄＹと上記Ａ／Ｄ変換器１０１からの平滑化補正係数ｃｄ ｉｊに対応する輝度信号Ｙｄ（ｉ，ｊ）とを加算し、加算結果を輪郭強調処理を施した輝度信号Ｙｄ ｄとして出力する。
【０１２９】
即ち、現在の処理対象となっている画像上での位置（ｉ，ｊ）の輝度信号Ｙｄ（ｉ，ｊ）に輪郭強調処理を施した輝度信号Ｙｄ ｄ（ｉ，ｊ）は、
Ｙｄ ｄ（ｉ，ｊ）＝Ｙｄ（ｉ，ｊ）＋ｄＹ
なる演算により求められる。
【０１３０】
上述のように、輪郭強調器４は、肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと肌色検出信号ｃｎｔｌ１により強調の程度を画素毎に制御し、入力された輝度信号Ｙｄに輪郭強調処理を施す。そして、輪郭強調処理を施した輝度信号Ｙｄ ｄをＤ／Ａ変換器１０２に供給する。ここで、上述した輪郭強調処理においては、入力データの同期をとるために、適当な遅延が施される。
【０１３１】
一方、遅延器５には、Ａ／Ｄ変換器１０１によりデジタル変換された色差信号Ｕｄ，Ｖｄが入力される。上記遅延器５は、入力された色差信号Ｕｄ，Ｖｄを遅延して、上記輪郭強調器４により輪郭強調処理が施された輝度信号Ｙｄ ｄとの同期をとる。上記遅延器５により遅延された色差信号Ｕｄ，Ｖｄは、Ｄ／Ａ変換器１０２に供給される。
【０１３２】
従って、上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４により輪郭強調処理が施された輝度信号Ｙｄ ｄと、上記遅延器５により上記輝度信号Ｙｄ ｄと同期がとられた色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙｄ ａ、色差信号Ｕａ，Ｖａとして出力する。
【０１３３】
上述のような構成をした画像処理装置の動作を説明する。
【０１３４】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２に供給すると共に、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１３５】
上記肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出結果を示す肌色検出信号ｃｎｔｌ１を輪郭強調器４に供給する。また、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを輪郭強調器４に供給する。
【０１３６】
上記輪郭強調器４は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１３７】
この時、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１３８】
遅延器５は、上記Ａ／Ｄ変換器１０１からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１３９】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１４０】
上述のように、本実施例では、上記図６に示した肌領域検出手段２を適用し、上記肌領域検出手段２により得られた過去の画像に対する顔領域の情報と、現在入力中の画像の画素単位の肌色検出信号により、強調の度合を調整して輪郭強調処理を行っているため、人物の顔の領域を強調することなく他の領域を強調することができる。従って、画像の鮮鋭度を向上させることができる。
【０１４１】
次に、本発明の第６の実施例に係る画像処理装置について説明する。
【０１４２】
上記画像処理装置は、図１１に示すように、上述した第５の実施例に係る画像処理装置の構成に加えて、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを記憶する画像メモリ６と、上記画像メモリ６に記憶された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを色の３属性データに変換する座標変換器７と、上記座標変換器７により変換された３属性データが肌色の条件を満たしているか否かを検出する肌色画素検出器８とを備えている。
【０１４３】
また、上記画像処理装置では、肌領域検出手段２からは肌色検出信号ｃｎｔｌ１は出力されず、上記肌色画素検出器８から肌色検出信号ｃｎｔｌ１が輪郭強調器４に対して出力されることとなる。さらに、上記輪郭強調器４には、画像メモリ６に記憶された輝度信号Ｙｄが供給され、遅延器５にも、画像メモリ６に記憶された色差信号Ｕｄ，Ｖｄが供給されることとなる。
【０１４４】
尚、上記図９に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１４５】
即ち、本実施例では、画像メモリ６を用いて、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに、肌領域検出手段２で顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを検出するのに要する時間に対応した遅延量、例えば、１画素分の遅延量を与える。上記画像メモリ６により遅延された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄは、座標変換器７に供給されると共に、上記輝度信号Ｙｄは、輪郭強調器４に供給され、上記色差信号Ｕｄ，Ｖｄは遅延器５に供給される。
【０１４６】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。 上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件、即ち、ヒストグラム生成器１２において肌領域を検出する際に用いた上述したような条件
Ｙｍｉｎ＜Ｙ＜Ｙｍａｘ
Ｈｍｉｎ＜Ｈ＜Ｈｍａｘ
Ｃｍｉｎ＜Ｃ＜Ｃｍａｘ
を満たすか否かを判定する。従って、その判定結果が肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給されることとなる。
【０１４７】
一方、肌領域検出手段２により検出された顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、輪郭強調器４に供給される。
【０１４８】
上述のような構成をした画像処理装置の動作を説明する。
【０１４９】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２に供給すると共に、画像メモリ６に供給する。
【０１５０】
上記画像メモリ６は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに１画素分の遅延量を与え、遅延量を与えた輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを座標変換器７に供給する。また、上記画像メモリ６は、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１５１】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。 上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給する。
【０１５２】
一方、肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを輪郭強調器４に供給する。 上記輪郭強調器４は、上記画像メモリ６からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１５３】
この時、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１５４】
また、上記遅延器５は、上記画像メモリ６からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１５５】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１５６】
上述のように、上記肌領域検出手段２で得られる顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、輪郭強調器４で実際に輪郭強調処理を施す画像から求められたものである。従って、より正確な顔領域の位置を輪郭強調処理に反映させることができるため、画像の鮮鋭度をより向上させることができる。
【０１５７】
次に、本発明の第７の実施例に係る画像処理装置について説明する。
【０１５８】
上記画像処理装置は、図１２に示すように、上述した第７の実施例に係る画像処理装置の構成に加えて、Ａ／Ｄ変換器１０１によりデジタル変換された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄからシーンの変わり目を検出するシーンチェンジ検出器９と、上記シーンチェンジ検出器９の検出結果に基づいて肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対して時間的平滑化処理を施す顔領域平滑化器１０とを備えている。
【０１５９】
また、上記画像処理装置では、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、顔領域平滑化器１０を介して輪郭強調器４に供給される。さらに、上記画像処理装置では、画像メモリ６における遅延量は、肌領域検出手段２で顔領域の情報を検出するのに要する時間の２倍の遅延量とし、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐと輪郭強調器４で輪郭強調処理が施される画像とを完全に対応させている。
【０１６０】
尚、上記図１１に示した画像処理装置と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１６１】
即ち、シーンチェンジ検出器９は、入力された輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画像と、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対応する画像の間でシーンチェンジが発生したか否かを検出する。
【０１６２】
具体的に説明すると、例えば、上記肌領域検出手段２で顔領域の情報を検出するのに要する時間が１画像分である場合、上記シーンチェンジ検出器９は、輪郭強調器４で輪郭強調処理が施される画像と、それよりも時間的に１画像分前に入力されている画像の間でシーンチェンジが発生したか否かを検出する。
【０１６３】
このようなシーンチェンジの検出は、従来用いられている検出方法を適用することができる。
【０１６４】
従って、上記シーンチェンジ検出器９の検出結果は、制御信号ｃｎｔｌ２として顔領域平滑化器１０に供給される。
【０１６５】
上記顔領域平滑化器１０は、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐの空間的な位置を時間的に平滑化して顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐとして輪郭強調器４に供給する。
【０１６６】
例えば、時間的平滑化処理として、時刻ｎの画像から算出された顔領域境界座標ｌｎ（＝ｉｍ，ｉｐ，ｊｍ，ｊｐ）と、時刻ｎの画像に対する輪郭強調処理に用いられる境界座標ｌｄ ｎ（＝ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐ）と、現在時刻に得られた境界座標の寄与率ｐとを持って、
ｌｄ ｎ＝ｐｌｎ＋（１−ｐ）ｌｄ ｎ−１
なる再帰的フィルタリングを用いる。
【０１６７】
この時、上記シーンチェンジ検出器９からの制御信号ｃｎｔｌ２がシーンチェンジ発生を示している場合、上記顔領域平滑化器１０は、上述のような時間的平滑化処理を行わず、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐをそのまま輪郭強調器４に供給する。
【０１６８】
上述のような構成をした画像処理装置の動作を説明する。
【０１６９】
Ａ／Ｄ変換器１０１は、入力された輝度信号Ｙａと色差信号Ｕａ，Ｖａをデジタル変換し、デジタル変換した輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを肌領域検出手段２、画像メモリ６、及び、シーンチェンジ検出器９に各々供給する。
【０１７０】
上記画像メモリ６は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに１画素分の遅延量を与え、遅延量を与えた輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを座標変換器７に供給する。また、上記画像メモリ６は、上記輝度信号Ｙｄを輪郭強調器４に供給し、上記色差信号Ｕｄ，Ｖｄを遅延器５に供給する。
【０１７１】
上記座標変換器７は、上記画像メモリ６からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄを輝度データＹ、色相データＨ、及び、クロマデータＣに変換し、変換した輝度データＹ、色相データＨ、及び、クロマデータＣを肌色画素検出器８に供給する。
【０１７２】
上記肌色画素検出器８は、上記座標変換器７からの輝度データＹ、色相データＨ、及び、クロマデータＣが肌色の条件を満たしているか否かの判定を行い、判定結果を肌色検出信号ｃｎｔｌ１として輪郭強調器４に供給する。
【０１７３】
一方、肌領域検出手段２は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄから肌領域を検出し、検出した肌領域を解析することにより顔領域を検出し、検出した顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐを顔領域平滑化器１０に供給する。
【０１７４】
また、シーンチェンジ検出器９は、上記Ａ／Ｄ変換器１０１からの輝度信号Ｙｄと色差信号Ｕｄ，Ｖｄに対応する画像と、上記肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対応する画像の間でシーンチェンジが発生したか否かを検出し、検出結果を制御信号ｃｎｔｌ２として顔領域平滑化器１０に供給する。
【０１７５】
上記顔領域平滑化器１０は、上記シーンチェンジ検出器９からの制御信号ｃｎｔｌ２に基づいて、上記肌領域検出手段２からの顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐの空間的な位置を時間的に平滑化し、平滑化した顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐを輪郭強調器４に供給する。
【０１７６】
上記輪郭強調器４は、上記画像メモリ６からの輝度信号Ｙｄに輪郭強調処理を施して、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。この時、上記顔領域平滑化器１０からの顔領域の情報ｉｄ ｍ，ｉｄ ｐ，ｊｄ ｍ，ｊｄ ｐで示される領域に、現在の処理対象となっている輝度信号Ｙｄに対応する画素が含まれており、且つ、上記肌領域検出手段２からの肌色検出信号ｃｎｔｌ１が現在の処理対象となっている画素は肌色であることを示している場合、上記輪郭強調器４は、強調の度合を小さくして上記輝度信号Ｙｄに輪郭強調処理を施し、輪郭強調処理を施した輝度信号Ｙｄ ａをＤ／Ａ変換器１０２に供給する。
【０１７７】
また、上記遅延器５は、上記画像メモリ６からの色差信号Ｕａ，Ｖａを遅延して上記輪郭強調器４で輪郭強調処理が施された輝度信号Ｙｄ ａとの同期をとり、遅延した色差信号Ｕａ，ＶａをＤ／Ａ変換器１０２に供給する。
【０１７８】
上記Ｄ／Ａ変換器１０２は、上記輪郭強調器４からの輝度信号Ｙｄ ｄと、上記遅延器５からの色差信号Ｕｄ，Ｖｄをアナログ変換し、輝度信号Ｙａ ｄ、色差信号Ｕａ，Ｖａとして出力する。
【０１７９】
上述のように、本実施例では、同一シーンであった場合には、肌領域検出手段２により得られた顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐに対して時間的平滑化処理を施さないため、同一シーンにおける顔領域の時間的変動を緩和することができる。従って、画像の鮮鋭度を向上させることができる
尚、上述の実施例では、上述した第７の実施例に係る画像処理装置の構成にシーンチェンジ検出器９と顔領域平滑化器１０を付加することとしたが、上述した第５の実施例に係る画像処理装置の構成にシーンチェンジ検出器９と顔領域平滑化器１０を付加することとしてもよい。
【０１８０】
次に、本発明の第８の実施例に係る画像処理装置について説明する。
【０１８１】
上記画像処理装置は、上述した第５の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えたものである。
【０１８２】
上記階調変換器は、図１３に示すように、係数算出器４１と、係数平滑化器４２と、レベル変換器４０３と、重み付き加算器４０４とを備えている。
【０１８３】
尚、上記図１０に示した輪郭強調器と同じ動作を示す箇所には同一の符号を付し、その詳細な説明を省略する。
【０１８４】
上記係数算出器４１と係数平滑化器４２は、上述した輪郭強調器４に設けられているものと同じものであり、上記輪郭強調器４の場合と同様にして、平滑化補正係数ｃｄ ｉｊを算出し、算出した平滑化補正係数ｃｄ ｉｊをレベル変換器４０３に供給する。
【０１８５】
上記レベル変換器４０３は、入力された輝度信号Ｙｄに対して階調変換処理を施し、階調変換処理を施した輝度信号Ｙｃｅを生成する。
【０１８６】
上記階調変換は、変換関数ｇを持って
Ｙｃｅ＝ｇ（Ｙｄ）
で示され、変換関数ｇは、例えば、図１４に示すように、非線形の単調増加関数である。また、その形状は変換すべき画像の性質に依存する。このようにして画像から変換関数ｇを構成する方法は、従来用いられている方法を適用することができる。
【０１８７】
上記レベル変換器４０３により階調変換処理が施された輝度信号Ｙｃｅは、重み付き加算器４０４に供給される。上記重み付き加算器４０４には、上記レベル変換器４０３から輝度信号Ｙｃｅが供給されると共に、入力された輝度信号Ｙｄが供給される。また、係数平滑化器４２により得られた平滑化補正係数ｃｄ ｉｊが、上記レベル変換器４０３を介して上記重み付き加算器４０４に供給される。
【０１８８】
上記重み付き加算器４０４は、入力された輝度信号Ｙｄと、上記レベル変換器４０３からの輝度信号Ｙｃｅの重み付き加算を行う。この時に用いる重みは、係数平滑化器４２により得られた平滑化補正係数ｃｄ ｉｊを用いる。
【０１８９】
即ち、入力された輝度信号Ｙｄに対して階調変換処理が施された輝度信号Ｙｄ ｄは、
Ｙｄ ｄ＝（１−ｃｄ ｉｊ）Ｙｄ＋ｃｄ ｉｊＹｃｅ
なる演算により求められる。
【０１９０】
これは、現在の画素が顔領域内に位置し、且つ、肌色であった場合、即ち、平滑化補正係数ｃｄ ｉｊが小さい場合には、入力された輝度信号Ｙｄの重みが大きくなり、それ以外の場合には、レベル変換器４０３により階調変換処理が施された輝度信号Ｙｃｅの重みが大きくなることを示している。
【０１９１】
上述のように、本実施例では、入力中の画像の画素単位の肌色検出信号ｃｎｔｌ１に基づいた平滑化補正係数ｃｄ ｉｊにより、重み調整して階調変調処理を行っているため、人物の顔領域を階調変換することなく他の領域を階調変換することにより、画像のコントラスト感を向上させることができる。
【０１９２】
尚、上述した実施例では、上述した第５の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしたが、上述した第６の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしてもよい。この場合、肌領域検出手段２により得られる顔領域の情報ｉｍ，ｉｐ，ｊｍ，ｊｐは、実際に階調変換処理を行う画像から算出されたものであるため、より正確に顔領域の位置を階調変換処理に反映させることができる。従って、画像のコントラスト感をさらに向上させることができる。
【０１９３】
また、上述した第７の実施例に係る画像処理装置の輪郭強調器４を階調変換器に置き換えるものとしてもよい。この場合、同一シーンにおける顔領域の時間的変動を緩和することができるため、画像のコントラスト感をさらに向上させることができる。
【０１９４】
尚、上述した第５〜第８の実施例では、第３の実施例に係る画像処理装置の肌領域検出手段を適用するものとしたが、第１、第２、及び、第４の実施例に係る画像処理装置の肌領域検出手段を適用するものとしてもよい。
【０１９５】
【発明の効果】
以上のように、本発明に係る画像処理装置では、肌領域検出手段において、デジタル化された人物画像データを変換手段により輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換し、上記変換手段により得られた輝度データから垂直輝度変化検出手段により肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成するとともに、上記変換手段により得られた３属性データから肌色画素抽出手段により肌色画素を抽出し、上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから、顔領域判定手段により人物画像の顔領域を判定する。これにより、人物の肌色領域の解析、及び、人物の顔領域の検出をより正確に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図２】画像の走査方向を表した図である。
【図３】水平方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図４】上記肌色画素ヒストグラムの解析処理を説明するための図である。
【図５】水平方向及び垂直方向の肌色画素ヒストグラムの生成処理を説明するための図である。
【図６】本発明の第３の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図７】本発明の第４の実施例に係る画像処理装置の肌領域検出手段の構成を示すブロック図である。
【図８】水平方向及び垂直方向の肌色ブロックヒストグラムの生成処理を説明するための図である。
【図９】本発明の第５の実施例に係る画像処理装置の構成を示すブロック図である。
【図１０】上記画像処理装置の輪郭強調器の構成を示すブロック図である。
【図１１】本発明の第６の実施例に係る画像処理装置の構成を示すブロック図である。
【図１２】本発明の第７の実施例に係る画像処理装置の構成を示すブロック図である。
【図１３】上記画像処理装置の階調変換器の構成を示すブロック図である。
【図１４】階調変換関数を示す図である。
【符号の説明】
１，２，３ 肌領域検出手段
４ 輪郭強調器
５ 遅延器
６ 画像メモリ
７ 座標変換器
８ 肌色画素検出器
９ シーンチェンジ検出器
１０ 顔領域平滑化器
１１ 座標変換器
１２ ヒストグラム生成器
１３ メモリ
１４ 顔領域判定器
２１ 垂直輝度変化検出器
３１ ブロック内特徴量算出器
Claims (1)
- 入力された人物画像データをデジタル化した輝度データと色差データに変換し、デジタル化された輝度データと色差データから肌領域を検出する肌領域検出手段を備える画像処理装置であって、
上記肌領域検出手段は、上記輝度データと色差データを輝度データと色相データとクロマデータの３属性データに変換する変換手段と、
上記変換手段により得られた輝度データから肌色領域における垂直方向の輝度変化を検出して前記垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布を生成する垂直輝度変化検出手段と、
上記変換手段により得られた３属性データから肌色画素を抽出する肌色画素抽出手段と、
上記肌色画素抽出手段により抽出された肌色画素の空間的な肌色画素分布を生成する肌色画素分布生成手段と、
上記肌色画素分布生成手段により生成された肌色画素分布と、上記垂直輝度変化検出手段により生成された垂直方向の輝度変化の水平方向の各位置ごとの累積分布及び垂直方向の各位置ごとの累積分布とから人物画像の顔領域を判定する顔領域判定手段とを備えることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29346794A JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29346794A JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004073278A Division JP4049116B2 (ja) | 2004-03-15 | 2004-03-15 | 画像処理装置 |
| JP2004073279A Division JP2004266842A (ja) | 2004-03-15 | 2004-03-15 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08153197A JPH08153197A (ja) | 1996-06-11 |
| JP3561985B2 true JP3561985B2 (ja) | 2004-09-08 |
Family
ID=17795130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29346794A Expired - Fee Related JP3561985B2 (ja) | 1994-11-28 | 1994-11-28 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3561985B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6148092A (en) * | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
| KR100327485B1 (ko) * | 1999-03-17 | 2002-03-13 | 윤종용 | 칼라 이미지로 부터의 얼굴 검출 장치 및 그 방법 |
| KR100478697B1 (ko) * | 2002-03-13 | 2005-03-24 | (주) 네오시스트 | 영상 구현 장치 및 그의 운용 방법 |
| JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
| JP3873917B2 (ja) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP3873918B2 (ja) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US20040208363A1 (en) * | 2003-04-21 | 2004-10-21 | Berge Thomas G. | White balancing an image |
| WO2006087791A1 (ja) | 2005-02-17 | 2006-08-24 | Fujitsu Limited | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
| JP2006259900A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| JP4329821B2 (ja) | 2007-01-31 | 2009-09-09 | ブラザー工業株式会社 | 顔検出装置、顔検出方法および顔検出プログラム |
| JP5067224B2 (ja) * | 2008-03-24 | 2012-11-07 | セイコーエプソン株式会社 | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置 |
| JP5178441B2 (ja) | 2008-10-14 | 2013-04-10 | 三洋電機株式会社 | 電子カメラ |
| JP5355308B2 (ja) * | 2009-09-01 | 2013-11-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US8315443B2 (en) * | 2010-04-22 | 2012-11-20 | Qualcomm Incorporated | Viewpoint detector based on skin color area and face area |
| KR102602528B1 (ko) * | 2011-05-27 | 2023-11-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 |
| JP2012257022A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP5745370B2 (ja) * | 2011-09-07 | 2015-07-08 | 日本放送協会 | 特定領域抽出装置及び特定領域抽出プログラム |
| US9024961B2 (en) | 2011-12-19 | 2015-05-05 | Dolby Laboratories Licensing Corporation | Color grading apparatus and methods |
| US10498932B2 (en) * | 2014-12-08 | 2019-12-03 | Sharp Kabushiki Kaisha | Video processing device |
| US10264192B2 (en) * | 2015-01-19 | 2019-04-16 | Sharp Kabushiki Kaisha | Video processing device |
| CN114468973B (zh) * | 2022-01-21 | 2023-08-11 | 广州视域光学科技股份有限公司 | 一种智能视力检测系统 |
-
1994
- 1994-11-28 JP JP29346794A patent/JP3561985B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US9495578B2 (en) | 2006-08-04 | 2016-11-15 | Sony Corporation | Face detection device, imaging apparatus and face detection method |
| US10037455B2 (en) | 2006-08-04 | 2018-07-31 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08153197A (ja) | 1996-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3561985B2 (ja) | 画像処理装置 | |
| JP3221291B2 (ja) | 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法 | |
| US9569827B2 (en) | Image processing apparatus and method, and program | |
| KR101518722B1 (ko) | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 | |
| JP4858609B2 (ja) | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム | |
| JP4169188B2 (ja) | 画像処理方法 | |
| JP2000050109A (ja) | ノイズを除去するための非線形イメ―ジフィルタ | |
| JP2006197584A (ja) | 画像のｒｇｂ情報を利用したブラック／ホワイト拡張システム | |
| US7106346B2 (en) | Signal processing apparatus and method, recording medium, and program | |
| CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
| CN112001853A (zh) | 图像处理设备、图像处理方法、摄像设备和存储介质 | |
| Srinivasan et al. | Adaptive contrast enhancement using local region stretching | |
| CN111583357A (zh) | 一种基于matlab系统的物体运动图像捕捉合成方法 | |
| JP2002522830A (ja) | 色フレームイメージシーケンスで移動体を検出する装置及び方法 | |
| WO2022046016A1 (en) | Variable clipping level calculation method for clahe algorithm | |
| JP4049116B2 (ja) | 画像処理装置 | |
| JP2000348173A (ja) | 唇抽出方法 | |
| JPH1098695A (ja) | 画像情報変換装置および方法並びに積和演算装置 | |
| JP2000348189A (ja) | 画像処理装置 | |
| JP2003234901A (ja) | 画像処理装置及び画像処理方法 | |
| JP2004266842A (ja) | 画像処理装置 | |
| JP7427398B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| JP4708866B2 (ja) | ルックアップテーブル作成装置および方法，ならびにルックアップテーブル作成プログラム | |
| JP2005285071A (ja) | 画像処理装置 | |
| JP2017229058A (ja) | 画像処理装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |