JP4448304B2 - 顔検知装置 - Google Patents

Description

本発明は、画像中に顔が映っていることを、画像処理により検知する顔検知装置に関する。

従来、画像中に顔が映っていることを、画像処理により検知する技術として特許文献１が知られている。この技術では、画像から顔の特徴部分（例えば目や鼻）を検出し、各特徴部分の検出度合いから画像中における顔の有無を判定する。

しかし、特許文献１記載の技術では、顔の特徴部分を検出するために、顔の各部分が精細に映っている必要があり、高精細なカメラを必要とし、撮影画角を狭くする必要があった。
更に、特徴部分を抽出する画像処理には多くの計算量が必要となるため、リアルタイム処理には不向きであった。
そのため、このような技術を組み込んだ製品は非常に高価となり、また、処理効率が悪いという問題を抱えていた。

そこで、画像中に顔が映っていることを、効率的に検知する技術として特許文献２が開示されている。特許文献２記載の技術は、撮影された画像において肌色画素が密集する領域を肌領域として検出し、検出した肌領域の大きさ、縦横の長さの比に基づいて当該肌領域が人物の顔領域か否か判定する。

特許第２６４８０５４号公報 特開平８−１５３１９７号公報

しかしながら、特許文献２記載の技術では、肌色画素の密集度合いに基づき顔領域を判定するために、人物の手を含む領域と人物の顔を含む領域とを区別することが困難であった。このため、人物の手を含む領域を誤って顔領域と判定してしまうというおそれがあり、判定精度が低いという問題があった。

また、特許文献２記載の技術では、単に顔領域の有無を判定することしかできず、顔領域中の画像が正常なる顔の画像であるか否かを判定することができなかった。
すなわち、手で顔を覆って人相を隠しているような場合であっても、肌色画素の密集度合いに基づき顔領域が存在すると判定して、顔領域の情報として出力する。そのため、出力される情報には、人相を判別できる情報と判別できない情報とが混在してしまうという問題があった。
また、撮影された画像中に、覆面などで人相を隠している顔が含まれている場合に、このような不審な行為を検知することができない上に、画像中に顔領域が存在することをも判定できず、何らの情報も出力できないという問題があった。

本発明は、人物の手と人物の顔を誤って抽出することがなく、正常なる顔の画像と不審な画像とを判別でき、画像中から顔の有無を効率よく高精度に検知することが可能な顔検知装置を得ることを目的とする。

本発明は、上記目的を達成するためになされたものである。本発明の顔検知装置は、撮影された画像が人相の判別でき得る顔の画像を含んでいるか否かを判定する顔検知装置であって、顔の画像を入力する画像入力部と、前記画像入力部より入力された画像の肌色画素の分布特徴に基づき顔らしさ度合を算出する顔検出手段と、前記画像入力部より入力された画像のエッジ強度の分布特徴に基づき手らしさ度合を算出する手検出手段と、前記顔らしさ度合及び手らしさ度合に基づき人相の判別でき得る顔画像の有無を判定する判定部とを具備することを特徴としている。

また、好ましくは、前記エッジ強度の分布特徴は、横エッジ強度の重心座標及び縦エッジ強度と横エッジ強度との相関値に基づく値とする。

本発明によれば、手や覆面などで顔が隠されている場合であっても、撮影された画像が人相の判別でき得る顔の画像であるか否かを高速に判定できる顔検知装置を得ることができる。

以下、本発明の顔検知装置をインターホン装置（以下インターホンと称す）に適用した例について説明する。
図１を用いて、顔検知装置を備えるインターホンの横成を説明する。
インターホンは、玄関近辺の屋外に設置されたインターホン子機１５０と、屋内に設置されたインターホン親機１００により構成される。インターホン子機１５０とインターホン親機１００は通信線１４０にて接続される。

インターホン子機１５０の横成を説明する。
制御部１６０は、ＣＰＵなどにより構成され、各部の動作や信号の流れを制御する。制御部１６０には、画像入力部１５２、マイク１５４、スピーカ１５６、呼び出し釦１５８、通信部１６２が接続される。

画像入力部１５２は、ＣＣＤカメラ、増幅器、Ａ／Ｄ変換器などで構成される。画像入力部１５２は、訪問者の顔画像を含む画像を撮像し、入力された映像をデジタル化し、画像データ（以下、入力画像データと称する）として出力する。
マイク１５４は、訪問者の音声を集音して音声信号として出力する。
スピーカ１５６は、インターホン親機１００から送信された音声信号を訪問者に報知する。

呼び出し釦１５８は、訪問者が操作（押し下げ）することにより起動信号を出力する。
通信部１６２は、インターホン親機１００へ、画像信号、音声信号、起動信号を送信し、インターホン親機１００から、音声信号を受信する。

図２に、インターホン子機１５０の外観を示す。
正面に、画像入力部１５２、マイク１５４、スピーカ１５６、呼び出し釦１５８が配置される。更に、画像入力部１５２の近傍に穿設孔が設けられ、この穿設孔の内部にＬＥＤ６０４が配置される。
ＬＥＤ６０４は穿設孔内部に配置されるため、画像入力部１５２と対面する箇所からのみ認識することができる。 このＬＥＤ６０４を認識できる箇所に訪問者が位置することにより、画像入力部１５２に、訪問者を正面から撮像した画像が入力されることになる。

図１に戻り、インターホン親機１００の構成を説明する。
制御部１２４は、ＣＰＵ、マイコン、ＤＳＰなどのプロセッサ及びＳＲＡＭ、ＤＲＡＭなどのメモリなどを用いて構成され、各処理部の動作及び、各信号の流れを制御する。

制御部１２４には、楕円領域抽出部１０２、環境評価値算出部１０４、包含判定部１０６、特徴画像生成部１０８、特徴量抽出部１１０、距離算出部１１２、画像記憶部１１４、テンプレート記憶部１１６、信頼度判定部１１８、顔判定部１２０、動き領域抽出部１２６が接続される。
これら各部は、画像入力部１５２からの入力画像データに基づき画像中に正常なる顔の画像が含まれるか否かを判定する。
なお、本実施形態において、正常なる顔とは、顔表面を手などで覆って人相を隠したり、顔が画角外へ隠れたりしていない画像のことであり、人物を特定でき得る画像のことである。

また、制御部１２４には、更に、記憶部１３６、スピーカ１３２、表示部１３０、通話部１３４、通信部１３８が接続される。

記憶部１３６は、音声ガイダンスや呼び出し音といった音データを記憶する。
スピーカ１３２は、インターホン子機１５０から入力される起動信号に基づき発生された呼び出し音を鳴動させる。記憶部１３６に記憶された音データを再生することで、複数種類の呼び出し音を鳴動させることができる。
表示部１３０は、画像入力部１５２から送られてきた画像を可視化して利用者に提示する手段であり、液晶モニタあるいはＣＲＴなどで構成される。
通話部１３４は送受話器であり、インターホン子機１５０のマイク１５４、スピーカ１５６を介して、訪問者との通話を可能とする。

インターホン親機１００の応対者（家人）は、呼び出し音が出力されると、表示画像を参照し、訪問者に応対するか否かを判断する。応対をする場合は、送受話器としての通話部１３４を使用して、訪問者と通話をする。本実施形態では、入力画像データ中の顔画像の有無、または顔画像の状態に応じ呼び出し音の種類を変更することにより、応対者の利便性を向上させている。

図１に示したインターホンの各部の詳細な動作を説明する。
特徴画像生成部１０８は、入力画像データの輝度情報を用い輝度エッジ画像として縦エッジ画像及び横エッジ画像を生成し、また、色情報を用いて肌色度合い画像を生成し出力する。（以下、これらの画像を総称して特徴画像データと呼ぶ）
輝度情報から計算したエッジは、輝度値の明るい部分と暗い部分の境界を示す。輝度エッジ画像とは、入力された画像における画素毎に、明るさの境界であるかどうかを周辺の画素との比較によりその度合い（明るさの変化度合い＝エッジ強度）を計算し、全画素についての計算結果を画像として示したものである。

境界の明るさの差が大きい場合（境界である場合）には、輝度エッジ画像の画素の値（＝エッジ強度）が大きくなり、差が小さい場合（境界でない場合）には、輝度エッジ画像の画素の値は小さくなる。
通常、この明るさの境界に方向（どちらの方向に明るくなっているか）を持たせることが多い。一般的には、縦方向と横方向に分けて上記の計算を行う。左から右（または右から左）にどの程度明るさが変化しているかを計算した結果を縦エッジ画像といい、上から下（または下から上）にどの程度明るさが変化しているかを計算した結果を横エッジ画像という。

一般的に、下記のような３×３のＰｒｅｗｉｔｔフィルタを用いてそのエッジ強度を算出する。
−１ ０ ＋１ −１ −１ −１
−１ ０ ＋１ ０ ０ ０
−１ ０ ＋１ ＋１ ＋１ ＋１
縦エッジ計算用フィルタ 横エッジ計算用フィルタ

この他にもガウシアンフィルタを用いたエッジ抽出手法なども知られている。
肌色度合い画像は、画像中の各画素において肌色らしさを計算した結果を画像として示すものであり、肌色度合いが強いほど、その画素値を高くする。例えば、肌色らしさは次のようにして計算する。

入力画像がＲＧＢ表色系（各ＲＧＢの値は０〜２５５）の場合では、下記のような公知の式により各画素をＨＳＶ表色系に変換（各ＨＳＶの値は０〜２５５）すると、その色相（Ｈ）成分が３０付近にある場合に肌色であることが知られている。

したがって、（２５５−２×｜Ｈ−３０｜）の絶対値をその肌色度合いの計算値としても良いし、
２０≦Ｈ≦４０の場合：肌色度合い＝２５５
それ以外の場合：肌色度合い＝（２５５−２×｜Ｈ−３０｜）の絶対値
等のようにしてもよい。
以下に、ＲＧＢからＨＳＶへの変換式（式１）〜（式３）を示す。

画像記憶部１１４は、画像入力部１５２が出力する入力画像データ、動き領域抽出部１２６が生成する背景画像及び、特徴画像生成部１０８が生成する特徴画像データを記憶する。
動き領域抽出部１２６は、画像記憶部１１４から入力画像と背景画像を読み出し、背景差分法によって人物などの動きのある領域を抽出し、抽出結果を出力する。

また、動き領域抽出部１２６は、抽出した動き領域の面積を予め定めたしきい値と比較し、動き領域の面積がしきい値より小さい場合はその旨を出力する。この出力により、入力画像内に人物が存在しないという判断がなされる。また、動き領域抽出部１２６は、入力画像と背景画像とを加重平均して新たな背景画像を生成し、この新たな背景画像で画像記憶部１１４に記憶されている背景画像を更新する。

環境評価値算出部１０４は、入力画像を基に、順光、逆光、日陰、夕暮れ、夜間などといった環境評価値を出力する。本例では、環境評価値として、輝度値の分布に基づき逆光度合いｅ１、暗闇度合いｅ２、低照度度合いｅ３の３つの値を算出する。

まず、環境評価値算出部１０４は、入力画像中の所定領域から動き領域抽出部１２６が抽出した動き領域を除いた領域を、環境評価領域として切り出す。環境変動として最も重要である日照が適切に反映され、かつ、影などの影響を受けにくいように、前記所定領域を空に相当する領域に設定するのが望ましく、例えば入力画像の上部４分の１などとする。動き領域を除くことは、環境評価値算出の精度を向上させる。

次に、環境評価値算出部１０４は、前記環境評価領域において輝度が所定の値以上となる画素の割合を求めることで逆光度合いｅ１を算出する。同様に、環境評価値算出部１０４は、前記環境評価領域において輝度が所定の値以下となる画素が占める割合を求めることで暗闇度合いｅ２を算出する。

また、環境評価値算出部１０４は、画像のノイズの多さに基づき、低照度度合いｅ３を算出する。低照度状態では、カメラの自動感度調整が働いた結果感度が高くなり、信号を増幅する。このため、低照度状態で撮像した画像はノイズが多くなる。そこで、撮像された画像からノイズ成分を抽出し、ノイズの多さを評価することで低照度度合いｅ３とする。

楕円領域抽出部１０２は、画像記憶部１１４に記憶された縦エッジ画像および横エッジ画像から楕円形状の特徴を有する領域を抽出し、抽出した楕円領域の個数、各位置、各大きさを出力する。頭部の輪郭形状は略楕円形状であることから、ここで抽出する楕円領域は頭部候補領域を意味する。楕円領域抽出部１０２が抽出する楕円領域の数は、０個であっても１個であっても複数個であっても良い。

ただし、動き領域抽出部１２６によって一定以上の面積の動き領域が抽出されたにもかかわらず、楕円領域抽出部１０２が抽出した楕円の数が０個の場合は異常であるとの判断がなされる。
前記抽出処理は例えば、楕円形状の参照パターンを用いて前記エッジ画像内を探索することで実現可能である。

この場合、エッジ画像内に参照パターンと同じ大きさの候補領域を設定して、参照パターンと該候補領域の類似度を計算するという処理を、候補領域を移動させながら行い、計算された類似度が予め定めたしきい値より大きい場合に、処理対象となった候補領域を楕円領域とする。

ここで探索する範囲は、動き領域抽出部１２６が柚出した動き領域に限定する。こうすることで、計算量を少なくすることができる上に背景に含まれる楕円形状を誤って抽出することがなくなる。なお、前記抽出処理はＨｏｕｇｈ変換で実現することもできる。

図３に示すように、抽出された楕円領域２００には外接矩形が設定され、この外接矩形を頭部候補領域２０２とする。これは、楕円領域よりも矩形領域の方がＣＰＵなどの処理に適しており、処理を高速化できる利点があるという知見に基づくものである。

特徴量抽出部１１０では、楕円領域抽出部１０２から入力される各頭部候補領域２０２の画像を分析し、顔検知のために後述する特徴量を算出し出力する。
まず、頭部候補領域２０２（図３）の中央部に顔候補領域２０４を設定する。顔候補領域２０４は、頭部候補領域２０２を示す矩形領域を予め定めた比率でＸ方向、Ｙ方向に縮小した矩形領域などとする。

頭部候補領域２０２から顔候補領域２０４を切り出す際に、上下左右の一部分を切り捨てるが、左右で切り捨てる部分の幅Ｘ１と、頭部候補領域２０２の横幅Ｘ０との比、上側で切り捨てる部分の高さＹ１と頭部候補領域２０２の高さＹ０の比、下側で切り捨てる部分の高さＹ２と頭部候補領域２０２の高さＹ０の比は、それぞれあらかじめ決めておけば良く、例えばＸ１／Ｘ０＝０．０５，Ｙ１／Ｙ０＝０．２，Ｙ２／Ｙ０＝０．１などとすれば良い。

次に、特徴量抽出部１１０は、頭部候補領域２０２と顔候補領域２０４の縦エッジ強度、横エッジ強度、輝度、肌色度合いを用いて、平均値、標準偏差などの統計量に基づいて画像の特徴量を計算し、これらの特徴量を要素とする特徴ベクトルＣを出力する。
特徴ベクトルＣは例えば、以下に示すような１６種類の特徴量により構成される。

Ｃ＝〔ｃ１，ｃ２，…，ｃ１６〕 （式４）
ｃ１ ：頭部候補領域２０２内の縦エッジ強度の平均値
ｃ２ ：頭部候補領域２０２内の横エッジ強度の平均値
ｃ３ ：頭部候補領域２０２内の輝度の平均値
ｃ４ ：頭部候補領域２０２内の輝度の標準偏差
ｃ５ ：頭部候補領域２０２内の肌色度合いの平均値
ｃ６ ：頭部候補領域２０２内の横エッジ強度の平均値と縦エッジ強度の平均値の比
ｃ７ ：頭部候補領域２０２内の肌色度合いが所定値以上である画素数と全画素数の比
ｃ８ ：頭部候補領域２０２内の肌色度合いが所定値以上である画素数が所定値以上存在する横ライン数と全横ライン数の比
ｃ９ ：頭部候補領域２０２内の横エッジ強度が頭部候補領域２０２内の横エッジ強度の平均値より大きい画素数と全画素数の比
ｃ１０：顔候補領域２０４内の縦エッジ強度の平均値
ｃ１１：顔候補領域２０４内の横エッジ強度の平均値
ｃ１２：顔候補領域２０４内の輝度の平均値
ｃ１３：顔候補領域２０４内の輝度の標準偏差
ｃ１４：顔候補領域２０４内の肌色度合いの平均値
ｃ１５：顔候補領域２０４内の肌色度合いの平均値と頭部候補領域２０２内の肌色度合いの平均値の比
ｃ１６：顔候補領域２０４内の輝度の標準偏差と頭部候補領域２０２内の輝度の標準偏差の比

テンプレート記憶部１１６は、顔検知の基準となるテンプレートを記憶する記憶手段である。
図４に、テンプレートの作成方法を示す。
テンプレートは順光、逆光、日陰、夕暮れ、夜間などの想定される代表的な撮影環境ごとに用意し、各テンプレートは、前述の特徴ベクトルＣと同じ大きさの平均ベクトルＡ（ｊ）と標準偏差ベクトルＳ（ｊ）とからなる。ただし、ｊは前記環境を識別する変数である。
Ａ（ｊ）＝〔ａ１（ｊ），ａ２（ｊ），…，ａ１６（ｊ）〕 （式５）
Ｓ（ｊ）＝〔ｓ１（ｊ），ｓ２（ｊ），…，ｓ１６（ｊ）〕 （式６）

テンプレートは、顔（正常なる顔）が映っている領域の画像特徴としてあらかじめ作成して記憶しておく。各環境下ごとに、多数収集した頭部領域サンプルから前述の特徴ベクトルＣを算出し、これら特徴ベクトルの各要素の平均値から平均ベクトルＡ（ｊ）を、各要素の標準偏差から標準偏差ベクトルＳ（ｊ）を作成する。

また、テンプレート記憶部１１６は、テンプレートごとに環境評価値Ｅ１（ｊ），Ｅ２（ｊ），Ｅ３（ｊ）、重みベクトルＷ（ｊ）をも記憶する。環境評価値は、輝度値の分布に基づき環境ｊを表現するパラメータであり、Ｅ１（ｊ）は逆光度合い、Ｅ２（ｊ）は暗闇度合い、Ｅ３（ｊ）は低照度度合いである。順光、逆光、日陰、夕暮れ、夜間などの代表的な環境下で、前述のｅ１，ｅ２，ｅ３と同様の計算方法で計算しておく。

顔検知に用いる特徴量は、撮影環境によって顔検知に適したものと適さないものとがあり、これらが特徴ベクトルＣに混在しているため、各テンプレートと共に記憶されている重みベクトルＷ（ｊ）によって各特徴量の重みを変えることにより、特徴量を環境に応じた最適な配分で顔判定に用いる必要がある。

テンプレート作成時には、前述のように、前記各環境下で顔を撮影した頭部領域サンプルを多数用意し、前記平均ベクトルＡ（ｊ）と標準偏差ベクトルＳ（ｊ）を算出する。また、このとき、同じ環境で顔（正常なる顔）以外の部位を頭部領域サンプルと見立てた画像を多数用意し、これら画像と前記頭部領域サンプルとの差異に基づき、各環境下で顔（正常なる顔）と顔以外のサンプルとを最適に区別できるように重みベクトルＷ（ｊ）を設定しておく。

重みベクトルＷ（ｊ）は、Ａ（ｊ）やＳ（ｊ）と同じ大きさのベクトルであり、後述の距離計算によって得られる距離値の分布が顔検知に適したものとなるように設定しておく。
Ｗ（ｊ）＝〔ｗ１（ｊ），ｗ２（ｊ），…，ｗ１６（ｊ）〕 （式７）

一例として順光の環境では顔の肌色が正しく撮影されるので、特徴ベクトルＣのうち肌色に関わる特徴量ｃ５（ｊ），ｃ７（ｊ），ｃ８（ｊ），ｃ１４（ｊ），ｃ１５（ｊ）の係数として重みベクトルｗ（ｊ）はｗ５（ｊ）、ｗ７（ｊ）、ｗ８（ｊ）、ｗ１４（ｊ）、ｗ１５（ｊ）が相対的に大きな値をとる。一方、逆光や夜間の環境では、顔に当る光が弱いため、色が正しく再現されず、肌色を正しく撮影できない場合が多いので、肌色に関わる特徴量の係数は相対的に小さな値となり、特徴ベクトルＣのうちエッジに関わる特徴量の係数ｗ１（ｊ）、ｗ２（ｊ）、ｗ６（ｊ）、ｗ９（ｊ）、ｗ１０（ｊ）、ｗ１１（ｊ）が相対的に大きな値となる。

距離算出部１１２は、頭部候補領域毎に環境評価値算出部１０４、特徴量抽出部１１０で算出した特徴量とテンプレート記憶部１１６に記憶されているテンプレートとを比較して顔検知のための距離値Ｄを計算し出力する。距離値Ｄは頭部候補領域とテンプレートとの差異を表す尺度である。
すなわち、距離値Ｄは頭部候補領域内に正常なる顔が存在する場合に小さな値となり、正常なる顔が存在しない場合に大きな値となる。

テンプレート記憶部１１６から読み出すテンプレートには、図４に示すように、ｃ１からｃ１６の各特徴量に対応する平均値ａ１からａ１６と、標準偏差ｓ１からｓ１６と重み係数ｗ１からｗ１６とが含まれている。距離算出部１１２は、ｃ１からｃ１６の各特徴量を、ａ１からａ１６、ｓ１からｓ１６で規定される変換関数ｆによって変換し、変換結果のｗ１からｗ１６による重み付け和として、次式によって距離値Ｄを計算する。この距離値Ｄは環境ｊ毎に算出される。

Ｄ（ｊ）＝ｗ１（ｊ）・ｆ（ｃ１，ａ１（ｊ），ｓ１（ｊ））
＋ｗ２（ｊ）・ｆ（ｃ２，ａ２（ｊ），ｓ２（ｊ））＋…
＋ｗ１６（ｊ）・ｆ（ｃ１６，ａ１６（ｊ），ｓ１６（ｊ）） （式８）

図５は、ｃ１に関する変換の様子を示すものである。このときの変換関数ｆ（ｃ，ａ１，ｓ１）は、図５に示すようにテンプレート作成に用いた多数のサンプルによるｃ１の分布を適切に表現し、かつ、ｃ１がａ１と等しい場合に０を算出し、ｃ１とａ１との差が大きいほど１に近い値を算出するような非線形変換関数として構成する。前記分布はガウス分布とする。ｃ２からｃ１６に関する変換処理もｃ１と同様である。

次に、距離算出部１１２は、特徴量以外の情報を基にして、前記距離値を補正する以下の処理を行う。ここでは距離値に対して補正値となるペナルティを与える三つの処理を説明する。
第一の処理は、環境評価値を基に行う処理である。入力画像について環境評価値算出部１０４で算出した環境評価値ｅ１，ｅ２，ｅ３と環境ｊ毎にテンプレート記憶部１１６に記憶された環境評価値Ｅ１（ｊ），Ｅ２（ｊ），Ｅ３（ｊ）との差が大きいほど大きな値のペナルティを算出するような関数ｇ１を定義しておき、前記距離値Ｄにｇ１（ｅ１，ｅ２，ｅ３，Ｅ１，Ｅ２，Ｅ３）を加算する。関数ｇ１は例えば（式９）に示す数式で表される。

（式８）による距離値Ｄは、正常なる顔が存在しない頭部候補領域であっても、入力画像の撮像環境と異なる環境で作成したテンプレートに対して、小さな値となる場合がある。例えば、頭部候補領域が、明るい環境で撮影した黒い覆面をかぶった頭部である場合に、頭部候補領域の輝度値が低いことから夜間の環境で作成したテンプレートとの距離値Ｄが小さくなる。このような場合でも、ｇ１による環境のペナルティを与えることで、撮影環境である明るい環境を表す環境評価値と、テンプレート作成時の環境である暗い環境を表す環境評価値との違いによって距離値Ｄを大きくすることができ、黒い覆面をかぶった頭部を正常なる顔として検出しないようにすることができる。

第二の処理は、頭部候補領域に人物の手にあたる画像が含まれているか否かを判定する処理である。手の特徴量は顔の特徴量と似ているために、楕円形状に類する形状で手が映っている場合や顔を手で隠している場合に、正常なる顔の画像でないにも拘らずテンプレートとの距離値Ｄが小さくなる場合がある。そのため、この第二の処理によって頭部候補領域と手との類似度を算出し、この類似度が高い場合に出力されるペナルティｇｈ１、ｇｈ２、ｇｈ３を定義しておき、前記距離値Ｄにｇｈ１、ｇｈ２、ｇｈ３を加算する。

頭部候補領域と手との類似度は、横向きの手、縦向きの手、斜め向きの手についてそれぞれ求められる。そして、この類似度が所定しきい値以上となる場合に、横向きの手が存在するペナルティｇｈ１、縦向きの手が存在するペナルティｇｈ２、斜め向きの手が存在するペナルティｇｈ３が各々出力される。この、ペナルティｇｈ１〜ｇｈ３は各々距離値Ｄに加算される。
なお、ペナルティｇｈ１〜ｇｈ３の値は、何れか一つでも距離値Ｄに加算されると加算後の距離値Ｄが正常なる顔と判定されない大きな値として設定されることが好ましいが、複数のペナルティが加算されることにより距離値Ｄが正常なる顔と判定されないような値に設定されてもよい。

この処理によって、手が映っている領域や顔を手で隠している場合等に、頭部候補領域内の手を検出してｇｈ１〜ｇｈ３によるペナルティを与えて距離値Ｄを大きくすることができ、手が含まれる頭部候補領域を正常なる顔として検出しないようにすることができる。

以下、まず、横向きの手が存在するペナルティｇｈ１を出力する処理を図６を参照して説明する。
手の画像は、手の甲・手のひら側に比べ指側に多くのエッジが抽出される。そのため、図６（ｂ），（ｃ）に示すように、頭部候補領域２０２に手が横向きに写っている場合、横エッジ画像中において手の指側は横エッジが多く、手の甲・手のひらの側は横エッジが少なくなる。したがって、横エッジの重心は指側に位置することとなる。
また同様に、頭部候補領域２０２に手が横向きに写っている場合、手の甲・手のひら側に比較して、指側では指の間が暗い線で映るために相対的に指側の平均輝度値が低くなる。そのため、輝度の重心は手の甲・手のひら側によることになる。
一方で、図６（ａ）に示すように、頭部候補領域２０２に顔が写っている場合、この顔の画像が正常なる顔のものであれば、横エッジの重心及び輝度重心は、X座標に関してはほぼ中央付近に位置するため、差異が小さい。また、顔に横から光が当たっている場合、光の当たっている側のエッジ強度が強くなり、輝度重心、横エッジ重心ともに近接する位置となるため差異は小さい。
したがって、頭部候補領域２０２中に横向きの手があるか否かは、頭部候補領域２０２の横エッジ強度の重心と輝度の重心とのＸ座標の差に基づき判別することができる。

各画素（ｘ，ｙ）の横エッジ強度ＸＥ（ｘ，ｙ）に基づく横エッジ強度の重心のＸ座標ＧＸＥｘ、及び、各画素（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）に基づく輝度の重心のＸ座標ＧＩｘは、例えば次の（式１０）（式１１）にて算出できる。

そして、横エッジ強度の重心のＸ座標ＧＸＥｘと輝度の重心のＸ座標ＧＩｘとの差が所定のしきい値以上となる場合に、頭部候補領域内に横向きの手が存在すると判定して、距離値Ｄに横向きの手が存在するペナルティｇｈ１を加算する。

なお、上述の処理において、輝度重心に代えて、肌色度合いの重心を用いて判別を行ってもよい。顔や手の画像は肌色度合いが略均一であるため、肌色度合の重心となるＸ座標は、顔の略中心、手の略中心に位置する。また、横エッジ強度の重心のＸ座標ＧＸＥｘは、上述したように横向きの手においては指先側に位置し、顔の画像では略中心に位置する。
したがって、肌色度合の重心のＸ座標と、横エッジ強度の重心のＸ座標ＧＸＥｘとの差に注目することによって、上述の輝度の重心のＸ座標ＧＩｘを用いた処理と同様にして、横向きの手の有無を判別することができる。

次に、縦向きの手が存在するペナルティｇｈ２を出力する処理を図７を参照して説明する。
頭部候補領域２０２内の肌色画素にて、横エッジ強度の平均（ＸＥＡｖｅ）と、縦エッジ強度の平均（ＹＥＡｖｅ）に基づき、これらエッジ強度の平均の比（ＸＥＡｖｅ／ＹＥＡｖｅ）を求めた場合、頭部候補領域２０２内の画像が正常なる顔であればエッジ強度の平均の比（ＸＥＡｖｅ／ＹＥＡｖｅ）は１以上の値として得られる。
これは、図７に示すように、顔の構成パーツは、特に肌色領域内において、縦エッジよりも横エッジの方が多く抽出され（図７（ａ）参照）、縦向きの手では横エッジよりも縦エッジの方が多く抽出される（図７（ｂ）、（ｃ）参照）という知見に基づいている。
そこで、この処理では、肌色領域内エッジ強度の平均の比（ＸＥＡｖｅ／ＹＥＡｖｅ）に基づき縦向きの手の有無を判定する。すなわち、エッジ強度平均の比（ＸＥＡｖｅ／ＹＥＡｖｅ）が所定しきい値以下の場合、頭部候補領域２０２内に縦向きの手が存在すると判定して、距離値Ｄに縦向きの手が存在するペナルティｇｈ２を加算する。
なお、この判定に用いるしきい値は、例えば１．０などに設定することが好ましい。

次に、斜め向きの手が存在するペナルティｇｈ３を出力する処理を図８を参照して説明する。
一般に、斜めのエッジ成分が多いと、縦エッジ画像と横エッジ画像の相関は高くなる。したがって、図８（ｂ），（ｃ）に示すように、頭部候補領域２０２内に斜め向きの手が存在する場合、縦エッジ画像と横エッジ画像の相関は高くなる。他方、図８（ａ）に示すように、顔の画像は斜めのエッジ成分が少ないため相関は高くなりにくい。そこで、この処理では、頭部候補領域の縦エッジ強度画像と横エッジ強度画像の正規化相関ＺＮに基づき斜め向きの手の有無を判定する。

縦エッジ強度画像と横エッジ強度画像の正規化相関ＺＮは、画素（ｘ，ｙ）の横エッジ強度ＸＥｄｇｅ（ｘ，ｙ）、画素（ｘ，ｙ）の縦エッジ強度ＹＥｄｇｅ（ｘ，ｙ）、横エッジ強度平均ＸＥｄｇｅＡｖｅ、縦エッジ強度平均ＹＥｄｇｅＡｖｅに基づき（式１２）により算出できる。

そして、（式１２）にて算出された正規化相関ＺＮが所定のしきい値以上であれば、頭部候補領域２０２内に斜め向きの手が存在すると判定して、距離値Ｄに斜め向きの手が存在するペナルティｇｈ３を加算する。

なお、本実施形態では上記のような処理により、頭部候補領域内に手が含まれているか否かを検出する例について説明したが、これに限定されるものではない。
例えば、頭部候補領域の縦エッジ画像及び横エッジ画像のエッジ画素に細線化処理を施して、各々細線化する前と後のエッジ画素数の比を求めて、このエッジ画像の比に基づき手の有無を判定する構成としてもよい。これは、顔の画像は太い直線成分は多いが長い直線成分が少なく、手の画像は長い直線成分は多いが太い直線成分が少ないという知見に基づくものである。
すなわち、顔の画像は細線化前後でエッジ画素の数が大きく変化し、手の画像を含んでいる場合は細線化前後でエッジ画素の数が変化する割合が少ない。
この場合、しきい値処理にて細線化前のエッジ画素の数が略固定値となるようにしておくことが好ましく、また、長い直線成分を強調して検出できるように横長（例えばＰｒｅｗｉｔｔフィルタを７×３に拡張したもの）及び縦長（例えばＰｒｅｗｉｔｔフィルタを３×７に拡張したもの）のエッジフィルターを用いて横エッジ画像及び縦エッジ画像を生成することが好ましい。

次に、距離算出部１１２が行う第三の処理について図９を参照して説明する。
この第三の処理は、頭部候補領域２０２に含まれる画像が、覆面等の不審な画像であるか否かを判定する処理である。この第三の処理により、画像入力部１５２付近の撮影環境によって、仮に、前述の特徴ベクトルＣによる判定精度が低くなるような場合があっても、特に注意すべき不審な画像の有無を判定して距離値Ｄを補正する。そのため、この第三の処理によって頭部候補領域２０２と特定の不審な画像との類似度を算出し、この類似度が高い場合に出力される不審な画像のペナルティｇｄ１、ｇｄ２を定義しておき、前記距離値Ｄにｇｄ１、ｇｄ２を加算する。本実施形態では、不審な画像として、特に、サングラスとマスクを装着している顔の画像（以下サングラス＋マスク画像と称す）、目出し帽を被っている顔の画像（以下、目出し帽画像と称す）について判定する。

この第三の処理では、頭部候補領域２０２とサングラス＋マスク画像との類似度、頭部候補領域２０２と目出し帽画像との類似度をそれぞれ求める。そして、この類似度が所定しきい値以上となる場合に、サングラスとマスクが存在するペナルティｇｄ１、目出し帽が存在するペナルティｇｄ２が各々出力される。この、ペナルティｇｄ１、ｇｄ２は各々距離値Ｄに加算される。
なお、ペナルティｇｄ１、ｇｄ２の値は、何れか一つでも距離値Ｄに加算されると加算後の距離値Ｄが正常なる顔と判定されない大きな値として設定されることが好ましいが、複数のペナルティが加算されることにより距離値Ｄが顔と判定されないような値に設定されてもよい。

以下、まず、サングラスとマスクが存在するペナルティｇｄ１を出力する処理を説明する。
サングラス＋マスク画像（図９（ｂ）参照）は、正常なる顔の画像（図９（ａ））に比べて、上方に暗い画素が集中するため縦方向の輝度重心が中心より低い位置となる。また、横方向に見たライン毎の輝度値の分散は小さいのに対し縦方向に見たライン毎の輝度値の分散は大きい。さらに、サングラスの部分により輝度値が極端に低いという性質がある。

そこで、この処理では、サングラスとマスクを装着した顔を判別するために、頭部候補領域２０２内の輝度重心のＹ座標ＧＩｙと、頭部候補領域２０２内のＸ方向の標準偏差とＹ方向の標準偏差の比ＳＤｘｙと、頭部候補領域２０２内の特に輝度値が低い画素の割合ＤＰとを算出する。ここで、例えば、頭部候補領域２０２内において、輝度値が前記特徴量ｃ３の値以下の画素数ＮＦと輝度値が（ｃ３−ｃ４）の値以下の画素数ＮＳとの比をＤＰとする。そして、輝度重心のＹ座標ＧＩｙが頭部候補領域２０２の中心より下方にあり、更に、Ｘ方向の標準偏差とＹ方向の標準偏差の比ＳＤｘｙが所定しきい値より小さく、更に、輝度値の低い画素の割合ＤＰがしきい値以上となる場合に、頭部候補領域２０２内の画像はサングラスとマスクを装着した顔の画像であると判定して、ペナルティｇｄ１を距離値Ｄに加算する。

次に、目出し帽が存在するペナルティｇｄ２を出力する処理を説明する。
目出し帽画像（図９（ｃ）参照）は、正常なる顔の画像（図９（ａ））に比べて、特定の色彩が多く含まれるという性質がある。そこで、この処理では、頭部候補領域２０２内の各画素を彩度Sで判定して目出し帽の判定を行う。なお、彩度Ｓは（式２）によって算出する。

頭部候補領域２０２内で、輝度及び彩度Ｓがしきい値より小さい画素の割合を算出し、この割合が所定の値を超える場合に、頭部候補領域２０２内の画像は暗色の目出し帽であると判定して、目出し帽が存在するペナルティｇｄ２を距離値Ｄに加算する。なお、このとき、頭部候補領域２０２全体の彩度Ｓの平均値がしきい値よりも低い場合は、照明の影響で正常なる顔の彩度Ｓが低くなっている可能性もあるので、このペナルティ加算処理は適応しない。
また、頭部候補領域２０２内で、彩度Ｓがしきい値より大きい画素の割合を算出し、この割合が所定の値を超える場合に、目出し帽だと判定し、頭部候補領域２０２内の画像は赤や青等の原色の色合いを持つ目出し帽であると判定して、目出し帽が存在するペナルティｇｄ２を距離値Ｄに加算する。

前述のように、テンプレート記憶部１１６には、代表的な環境ごとにテンプレートが記憶されている。距離算出部１１２は記憶されている全てのテンプレートに対して上記処理を行って距離値Ｄを算出し、これらの距離値Ｄの最小値Ｄ´を頭部候補領域２０２とテンプレートとの距離値Ｄ´として出力する。

包含判定部１０６は、重複した位置に複数の頭部候補領域２０２が設定されているか否かを判定する。
楕円領域抽出部１０２による、楕円領域（頭部候補領域）２００の抽出処理は、前述したように輝度エッジ画像から楕円形状の領域を抽出するが、このとき、図１０（ａ）に示すように、重複した位置に複数の楕円領域２００ａ，２００ｂを抽出する場合がある。
この場合、重複した位置に、他の頭部候補領域を包含する頭部候補領域２０２ａ（以下、包含頭部候補領域と称す）と、包含される頭部候補領域２０２ｂ（以下、被包含頭部候補領域と称す）とが設定されることとなる。頭部候補領域の包含関係は、例えば、各頭部候補領域の左下及び右上の座標を検出することで判別できる。

このとき、互いに包含関係にある頭部候補領域２０２ａ，２０２ｂにおいて、包含頭部候補領域２０２ａの距離値Ｄが被包含頭部候補領域２０２ｂの距離値Ｄよりも大きい場合、包含頭部候補領域２０２ａは正常なる顔でないと判定されていても、被包含頭部候補領域２０２ｂは正常なる顔であると判定されることがある。
例えば、目出し帽を被っている顔の画像（図１０（ｂ）参照）などにおいては、頭部の外接領域となる包含頭部候補領域２０２ａと、目出し帽の目の周りや口周りの領域となる被包含頭部候補領域２０２ｂとが設定される場合がある。この場合、包含頭部候補領域２０２ａは、前述の距離算出部１１２の処理によって正常なる顔ではないと判定されていても、被包含頭部候補領域２０２ｂが、その特徴量によっては正常なる顔であると判定される可能性がある。

そこで、包含判定部１０６は、互いに包含関係にある頭部候補領域２０２ａ，２０２ｂにおいて、包含頭部候補領域２０２ａの距離値Ｄが被包含頭部候補領域２０２ｂの距離値Ｄよりも大きく、かつ、包含頭部候補領域２０２ａの距離値Ｄに不審な画像のペナルティｇｄ１又はｇｄ２が加算されている場合に、このペナルティｇｄ１又はｇｄ２を被包含頭部候補領域２０２ｂの距離値Ｄに加算する。

顔判定部１２０は、距離算出部１１２で頭部候補領域ごとに計算された距離値Ｄの最小値Ｄ´を予め定めたしきい値と比較し、前記距離値Ｄ´が前記しきい値より小さかった場合に、入力画像中に正常なる顔が存在すると判定する。
顔判定部１２０は、存在の有無と前記最小の距離値を算出した頭部候補領域の位置と大きさを特定する情報とを出力する。

信頼度判定部１１８は、顔判定部１２０の顔判定結果が信頼できるものであるかを検証して、その度合いを表す信頼度を出力する。具体的には、頭部領域候補と輝線ノイズとの画像上の位置関係から信頼度を算出する。信頼できる場合は信頼度１、信頼できない場合は信頼度０と表す。
まず、信頼度判定部１１８は、画像記憶部１１４から縦エッジ画像を読み出して輝線ノイズとなるスミアやブルーミングの有無を検出する。

スミアとは、ＣＣＤ撮像素子を使用して撮像する際に、画像中に例えば太陽など、特に明るい光源が映っている場合に、その上下に明るい直線が発生する現象である。この現象は、極端に強い光があたることによってＣＣＤ撮像素子の電荷があふれだし、ＣＣＤの電荷転送方向である縦方向に輝度が飽和した明るい画素が直線上にあらわれるものである。また、このようなときには、光源の周囲に大きく円形状、又は放射状に白く光る領域が発生することもあり、この現象はブルーミングと呼ばれる。

スミアやブルーミングが発生している領域では、本来映っている被写体像を塗りつぶしているため、顔領域にスミアやブルーミングが影響している場合には、正しく顔検知ができない可能性が高い。そこで、本例では、スミアやブルーミングの影響で顔判定が正しくできない状態を検知した場合に信頼度０を出力する。
ここでは、説明の為にスミアが縦方向に生じるものとして説明しているが、ＣＣＤ撮像素子を例えば９０度傾けて設置すればスミアは横方向に生じることになる。この場合、信頼度判定部１１８は画像記憶部１１４から横エッジ画像を読み出してスミアを検出すればよい。

信頼度判定部１１８は、画像記億部１１４の輝度値画像と、縦エッジ画像を用いてスミアを検知する。画面内で一つの縦のラインに注目すると、縦エッジ強度が第１のしきい値を超えた画素が、縦方向に第２のしきい値以上ある場合に、このラインはスミアエッジ候補となる。次に、このラインで縦エッジ強度が第１のしきい値を超えた画素の数と、左右両隣の画素の輝度がいずれも第３のしきい値を超えた画素の数を合算し、この値が第４のしきい値以上であれば、このラインをスミアエッジと判断する。ただし、第２のしきい値＜第４のしきい値であり、スミアが生じていても周囲が明るい場合は縦エッジが検出されない場合もあるため、上記のような２段階の判定を行う。

以上の処理でスミアエッジが検知されるが、スミアが発生していれば、スミアの左右両端に同じようにスミアエッジが検出されるので、同様な処理を継続し、スミアエッジが２本検出された時点でスミアが検出されたものとする。
また、ここでは、スミア検出に、各ラインで縦方向にエッジ強度の高い画素を数える手法を説明したが、例えばＨｏｕｇｈ変換により縦エッジ強度の強い直線を検出するなどの手法を用いることも可能である。

前記処理によりスミアが検出された場合、信頼度判定部１１８は、頭部候補領域とスミアとの位置関係を基に信頼度を求める。このときに顔判判定部１２０で顔が含まれると判定された頭部候補領域の有無によって、信頼度の算出の仕方は異なる。顔が存在すると判定した場合は、顔の含まれる頭部候補領域とスミアとの画像上の距離が所定値以下であれば信頼度を０とする。顔が含まれると判定された頭部候補領域が存在しない場合であっても、スミアとの画像上の距離が所定値以下の頭部候補領域が１つでも存在すれば信頼度を０とする。それ以外の場合は信頼度を１とする。

顔判定部１２０において、正常なる顔が存在しないと判定したが信頼度が０である場合、スミアやブルーミングの影響により顔判定が正しく行われなかったことが考えられるため、実際には正常なる顔が存在している可能性がある。このことを考慮して信頼度０の場合顔判定結果を顔が存在するという結果に書き換えて出力する。

記憶部１３６は、音声ガイダンス、呼び出し音といった音データを記憶する。これらの音データは、必要に応じて読み出され、スピーカ１３２で再生され、また、インターホン子機１５０のスピーカ１５６で再生される。呼び出し音の音データは、少なくとも、通常の呼び出し音、異常を意味する呼び出し音、判定不能を意味する呼び出し音などがあらかじめ用意される。

以下、顔検知装置を備えるインターホンの動作についてフローチャートを用いて説明するが、その前に、本例の概略の動作を説明する。
本例は、頭部候補領域として画像中から楕円領域を抽出し、この楕円領域を画像処理して、正常なる顔の存在を判定することにより、異なる出力を行うものである。

楕円領域２００の外接矩形領域を頭部候補領域２０２とし、頭部候補領域の内側に顔候補領域２０４として別途矩形領域を設定し、これら２つの候補領域内を画像処理して複数の種類の特徴量を算出し、これらの特徴量を要素とする特徴ベクトルＣと予め記憶しているテンプレートとを比較する。

また、テンプレートを作成した際の撮影環境を表す環境評価値を各テンプレートに対応付けて保持し、該環境評価値と入力画像の環境評価値との差によって重み付け距離Ｄを補正することでテンプレート作成時の撮影環境との違いを吸収する。
環境評価値のうち、逆光度合いと暗闇度合いの算出では、画面の上部からある一定の割合の領域中で、かつ背景差分法で求められた領域内において算出することを特徴とする。

また、頭部候補領域内の画像が人物の手を含んでいるか否かを判定し、手が映っている領域や顔を手で隠している状態を検知して距離Ｄを補正することにより誤判定を防止する。

さらに、頭部候補領域内の画像が覆面等の不審な画像であるか否かを判定して、注意すべき不審な画像であった場合は距離Ｄを補正する。これにより、画像入力部１５２付近の撮影環境によって、仮に、前述の特徴ベクトルＣによる判定精度が低くなるような状況であっても、不審な画像の有無を精度よく判定できる。

また、複数の頭部候補領域が互いに包含関係をなす場合であっても、不審な顔の一部分を抽出して正常なる顔の存在を誤判定することを防止する。
そして、最も距離が小さくなるテンプレートとの距離値Ｄに基づき顔検知判定を行う。

また、画像にスミアが発生していることを検出し、スミア検出結果と、顔検知結果と、頭部候補楕円領域とスミアの画像上での位置関係とから、顔検知結果の信頼度を判定し、顔検知結果に信頼度を考慮した出力を生成する。したがって、スミアの影響により顔検知に失敗しても、利用者に確認を促すことを可能とする

図１１のフローチャートを用いて、顔検知装置を備えるインターホンの動作を説明する。
呼び出し釦１５８が操作されるまでの間、呼び出し釦１５８の操作を監視する（Ｓ７００）。同時に、一定時間間隔で背景画像の更新を行う。この間の動作は次のようなものである。

画像入力部１５２により生成された入力画像データが、通信線１４０を介してインターホン親機１００に送られる。特徴画像生成部１０８は、送られてきた入力画像からエッジ画像を生成する。動き領域抽出部１０２が、該エッジ画像を用いて背景画像の更新を行う。

呼び出し釦１５８が操作される（Ｓ７００―Ｙｅｓ）と、起動信号が通信線１４０を介してインターホン親機１００の制御部１２４に送られる。このときに、画像入力部１５２が出力する入力画像データが画像記憶部１１４に記憶され、以下に示す顔検知処理と応答動作が実行される。

まず、特徴画像生成部１０８が、画像記憶部１１４に記憶された入力画像データを読み出して、縦エッジ画像と横エッジ画像を生成する。そして、動き領域抽出部１２６が、前記エッジ画像と画像記憶部１１４から背景画像とを用いて背景差分法によって動き領域を抽出する（Ｓ７０２）。

このときに抽出された動き領域が、予め定められたしきい値以上であるか否かが判定される（Ｓ７０４）。ここでしきい値より小さい場合（Ｓ７０４−Ｎｏ）、制御部１２４は入力画像中に人物画像が存在しないものと判断する。また、この場合は、親機１００のスピーカ１５６は無音のまま（Ｓ７３２）で、家人に、応答を要求したり戸外の状況を確認させる作業が発生しないようにする。
なお、この人物不在と判定された場合、家人の好みによって、所定の呼び出し音を鳴動するよう設定しても良い。

このとき、インターホン親機１００の制御部１２４は記憶部１３６から「ＬＥＤが見える位置で操作してください」という音声データを読み出して、該音声データを通信線１４０を介してインターホン子機１５０に送る。
インターホン子機１５０の制御部１６０では、送られてきた音声データをスピーカ１５６によって再生する。この動作により、いたずらなどを行う者に対する牽制をする。

Ｓ７０４で動き領域がしきい値以上の場合（Ｓ７０４−Ｙｅｓ）、楕円領域抽出部１０２は、エッジ画像中の動き領域から楕円領域を抽出して頭部候補領域を設定する（Ｓ７０６）。このとき、楕円領域抽出部１０２は頭部候補領域に通し番号を与える。

次に、頭部候補領域数が０であるか否かが判定される（Ｓ７０８）。頭部候補領域数が０の場合（Ｓ７０８−Ｎｏ）、制御部１２４は、記憶部１３６から異常を意味する呼び出し音の音データを読み出して、スピーカ１３２で再生し、表示部１３０に入力画像を表示する（Ｓ７３８）。
ここでの動作は、呼び出し釦１５８が操作され、人物程度の面積を持つ領域が抽出されたにもかかわらず、頭部領域候補（楕円領域）が存在しないという異常を検出したことを家人に知らせることを意味する。

更に、インターホン子機１５０において、Ｓ７３２と同様に、「ＬＥＤが見える位置で操作してください」という音声データをスピーカ１５６に再生する。
Ｓ７０８で、頭部候補領域が存在する場合（Ｓ７０８−Ｙｅｓ）、処理はＳ７１０へと進む。

環境評価値算出部１０４は、画像記憶部１１４から入力画像データを読み出し、入力画像中の背景領域上方部分を用いて、暗闇度合いと逆光度合いを算出し、また前述の処理によって低照度度合いを計算する（Ｓ７１０）。

特徴量抽出部１１０は、画像記憶部１１４に記憶された頭部候補領域の縦エッジ画像、横エッジ画像、肌色度合い画像を読み出して、前述のｃ１からｃ１６の特徴量を計算する。
距離算出部１１２は、前記特徴量に基づき、頭部候補領域とテンプレート記憶部１１６に記憶されている複数のテンプレートとを比較して各テンプレート毎に距離値Ｄを算出する（Ｓ７１２）。

次に、距離算出部１１２は、距離値Ｄに対応するテンプレートと前記環境評価値とに基づき、環境のペナルティｇ１を距離値Ｄに加算する（Ｓ７１４）。

次に、距離算出部１１２は、頭部候補領域に手が含まれるか否かを判定して、手のペナルティｇｈ１、ｇｈ２、ｇｈ３を距離値Ｄに加算する（Ｓ７１６）。

次に、距離算出部１１２は、頭部候補領域に特に注意すべき不審な画像が含まれるか否かを判定して、不審な画像のペナルティｇｄ１、ｇｄ２を距離値Ｄに加算する（Ｓ７１８）。

距離算出部１１２は、テンプレート記憶部１１６に記憶されている複数のテンプレートごとにＳ７１２〜Ｓ７１８の処理を行い距離値Ｄを算出する。そして、全てのテンプレートに対する処理を終えるとＳ７２０へと進む。

ここで、Ｓ７０６において設定された全ての頭部候補領域に対して距離値Ｄの算出処理が終了したか否かを判定する（Ｓ７２０）。全ての頭部候補領域に対して処理が終了していない場合、再びＳ７１２へ処理を戻し、新たな頭部候補領域に対して処理を行う（Ｓ７２０−Ｎｏ）。
他方、全ての頭部候補領域に対して距離値Ｄの算出処理が終了した場合（Ｓ７２０−Ｙｅｓ）、Ｓ７２２へと進む。

Ｓ７２２では、各頭部候補領域の包含関係が判定される。包含判定部１０６は、各頭部候補領域の包含関係が判定して、包含頭部候補領域の距離値Ｄに不審な画像のペナルティｇｄ１又はｇｄ２が加算されている場合は、該当する被包含頭部候補領域の距離値Ｄに不審な画像のペナルティｇｄ１又はｇｄ２を加算する（Ｓ７２２）。
これにより、複数の頭部候補領域が互いに包含関係をなす場合であっても、不審な顔の一部分を抽出し、誤って正常なる顔の存在を判定してしまうことを防止する。

顔判定部１２０は、算出した距離値Ｄの最小値Ｄ´を予め定めたしきい値Ｔと比較し、画像中に顔が存在するか否かを判定する（Ｓ７２４）。ここで、Ｄ´＜Ｔであれば、入力画像中の距離値Ｄ´を算出した頭部候補領域内に正常なる顔が存在すると判定する（Ｓ７２６−Ｙｅｓ）。

正常なる顔が存在すると判定された場合（Ｓ７２６−Ｙｅｓ）及び存在しないと判定された場合（Ｓ７２６−Ｎｏ）、いずれも、信頼度判定部１１８は、画像記憶部１１４に記憶された入力画像データと縦エッジ画像とを読み出し、スミアの存在の有無とその画像中に占める位置を検出し、顔判定結果と頭部候補領域の位置情報を合わせて信頼度を算出する（Ｓ７２８）。

顔判定結果と信頼度判定結果が算出されると、制御部１２４は、これらの結果に基づいた以下のような動作を行う。
正常なる顔が存在し信頼度が１であるか否かが判定される（Ｓ７３０）。正常なる顔が存在し信頼度が１である場合（Ｓ７３０−Ｙｅｓ）、制御部１２４は、記憶部１３６から通常の呼び出し音の音データを読み出してスピーカ１３２で再生すると共に、表示部１３０に入力画像データを表示する（Ｓ７３６）。

顔が存在せず信頼度が１である場合（Ｓ７３１−Ｙｅｓ）、制御部１２４は、前述の頭部候補領域が存在しない場合と同様にして、スピーカ１３２で異常を意味する呼び出し音の音データを再生し、表示部１３０に入力画像データを表示し、インターホン子磯１５０のスピーカ１５６で「ＬＥＤが見える位置で操作してください」という音声データを再生する（Ｓ７３８）。この動作は、動き領域及び頭部候補領域が抽出されたにも拘らず正常なる顔が検出できないという判定結果に基づくものであり、顔を隠蔽するなどした不審者の来訪の可能性を家人に知らせることを意味する。
なお、この場合、家人の好みによって、異常の場合に呼び出し音が鳴動しないように設定してもよい。

信頼度が０である場合は（Ｓ７３０−Ｎｏ、Ｓ７３１−Ｎｏ）、制御部１２４は、記憶部１３６から通常の呼び出し音の音デー夕を読み出してスピーカ１３２で再生すると共に、表示部１３０に入力画像データを表示する（Ｓ７３６）。この動作は、顔の検出漏れを防ぐためのものである。スミアやブルーミングの影響で実際には正常なる顔が存在するにもかかわらず顔が存在しないと判定され出力されてしまうような不具合を防止する。
なお、この場合、家人の好みによって、呼び出し音を通常のものと区別して、特定の判定不能呼び出し音が鳴動するようにしてもよい。また、表示部１３０に判定不能である旨を表示するようにしても良い。

また、本実施形態では、複数の代表的な撮影環境毎に特徴量と環境評価値とを用意しておく例について説明したが、照明点灯時や日中など、ある特定の一つの撮影環境のときのみ顔画像の存在を判定したい場合等においては、特定の撮影環境における特徴量と環境評価値のみを用意しておく構成としてもよい。これにより、特定の撮影環境と異なる環境時には顔画像が存在すると判定されることがない。

また、本実施形態では、頭部候補領域が存在しない場合と正常なる顔が判定されなかった場合とで同じ出力形態（図１１中Ｓ７３８）として説明したが、算出した距離値Ｄの最小値Ｄ´に、手が存在するペナルティｇｈ１、ｇｈ２、ｇｈ３、又は不審な画像のペナルティｇｄ１、ｇｄ２が加算されていた場合は、スピーカ１３２より特殊な呼び出し音を出力して警戒を促すようにしてもよい。

さらに、本実施形態では、本発明の顔検知装置をインターホンに組み込んだ例について説明したが、これは、限定されるものではなく、例えば、銀行ＡＴＭの監視用システムとして用いてもよい。この場合、利用者の顔を撮影できるよう画像入力部をＡＴＭ機近傍に設置して、利用者の顔が正常なる顔であるか否かを判定し、遠隔の監視センタなどに判定結果を送信する。

以上説明した実施形態の効果を列挙すると以下のようになる。
従来装置のように、目、口、耳などといった顔の部位ではなく、頭部候補領域と該頭部候補領域内に設定した顔候補領域との各領域の統計量を特徴量として用いて顔検知を行うので、高精細なカメラや高性能のプロセッサを必要とせず、安価に装置を構成することができる。これにより、手や覆面などで顔が隠されている場合であっても、頭部領域の有無及び正常なる顔の画像であるか否かを高速に検知できる。

また、抽出された頭部候補領域内に手が含まれているか否かを判定することができ、顔を手で隠しているような場合であっても、正常なる顔か否かを精度よく判別することができる。
さらに、特に注意すべき不審な画像については、個別にその存在を判定することができ、正常なる顔の画像と不審な画像とを高精度に判別できるため、利用者に警戒を促すことができる。
これにより、顔検知結果に基づいて出力を変化させることによって、不審人物の有無を確認することが可能とある。

また、複数の頭部候補領域が互いに包含関係をなす場合であっても、不審な顔の一部分を抽出し、誤って正常なる顔の存在を判定してしまうことを防止でき、判定精度を向上させることができる。

また、想定される代表的な撮影環境ごとに特徴量を用意するので、最も近い特徴量を用いて顔検知を行うことができると共に、環境を表す評価値そのものの違いを考慮して顔検知を行うので、環境変化に強い顔検知が可能である。
さらに、信頼度を算出し、顔検知結果と信頼度とから出力を生成するので、スミアやブルーミングの影響によって顔検知が正しく行われなかった場合にも、利用者に確認を促すことが可能となる。

本発明を適用した顔検知機能を有するインターホン装置の概略の構成を表す図である。 図１のインターホン子機の外観を示す図である。 図１の楕円領域抽出部１０２が行う処理を示す図である。 図１の装置で使用されるテンプレートの作成方法を示す図である。 本発明における特徴ベクトルの変換方法を示す図である。 横向きの手の判別処理を示す図である。 縦向きの手の判別処理を示す図である。 斜め向きの手の判別処理を示す図である。 不審な画像の例を示す図である。 重複して設定される頭部候補領域を示す図である。 図１のインターホン装置の動作を示すフローチャートである。

符号の説明

１００…インターホン親機
１０２…楕円領域抽出部
１０４…環境評価値算出部
１０６…包含判定部
１０８…特徴画像生成部
１１０…特徴量抽出部
１１２…距離算出部
１１４…画像記憶部
１１６…テンプレート記憶部
１１８…信頼度判定部
１２０…顔判定部
Ｉ２４…制御部
１２６…動き領域抽出部
１３０…表示部
１３２…スピーカ
１３４…通話部
１３６…記憶部
１３８…通信部
１４０…通信線
１５０…インターホン子機
１５２…画像入力部
１５４…マイク
１５６…スピーカ
１５８…呼び出し釦
１６０…制御部
１６２…通信部
２００…楕円領域
２０２…頭部候補領域
２０４…顔候補領域
６０４…ＬＥＤ

Claims (2)

1. 撮影された画像が人相の判別でき得る顔の画像を含んでいるか否かを判定する顔検知装置であって、
   顔の画像を入力する画像入力部と、
   前記画像入力部より入力された画像の肌色画素の分布特徴に基づき顔らしさ度合を算出する顔検出手段と、
   前記画像入力部より入力された画像のエッジ強度の分布特徴に基づき手らしさ度合を算出する手検出手段と、
   前記顔らしさ度合及び手らしさ度合に基づき人相の判別でき得る顔画像の有無を判定する判定部と、を具備することを特徴とした顔検知装置。
2. 前記エッジ強度の分布特徴は、横エッジ強度の重心座標及び縦エッジ強度画像と横エッジ強度画像との相関値に基づく値である請求項１
   記載の顔検知装置。