JPH11306325A

JPH11306325A - 対象物検出装置及び対象物検出方法

Info

Publication number: JPH11306325A
Application number: JP11477298A
Authority: JP
Inventors: Takuya Haketa; 卓哉羽毛田
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 1998-04-24
Filing date: 1998-04-24
Publication date: 1999-11-05

Abstract

(57)【要約】【課題】処理が比較的簡単で、しかも、被識別対象物を
正確に検出する。【解決手段】画像入力部１から取り込んだ顔画像を含む
入力画像に対して、照合領域位置指定部２５により領域
モデルを当て嵌める被照合局所領域の位置を指定する。
そして、指定した被照合局所領域毎に輝度正規化部２６
により輝度正規化を行い、さらに、画像処理部２７によ
りエッジ検出等の画像処理を行う。そして、判定要素取
得部２８により被照合局所領域の正規化され、画像処理
された画像に対して顔の領域モデルを当て嵌めて領域モ
デル内の各判定要素取得領域の特徴量を抽出し、マハラ
ノビス距離判定部２９にて抽出した特徴量に基づいて各
被照合局所領域毎にマハラノビス距離を算出し、この算
出結果により顔の検出を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔や物品など、被
識別対象物の検出を行う対象物検出装置及び対象物検出
方法に関する。

【０００２】

【従来の技術】ある画像中から被識別対象物の位置等を
検出する方法としてテンプレートマッチングが知られて
いる。これは、被識別対象物をそのままテンプレート画
像として用意し、画像全体にわたって順次被照合局所領
域を指定し、被照合局所領域の局所画像とテンプレート
画像との相関値を算出し、相関の高い位置を被識別対象
物が存在する位置と判定する方法である。例えば、特開
平６−１８７４５０号公報では、ファクトリー・オート
メーション装置において、プリント基板上のマークを検
出して位置合わせするために、マークの画像をテンプレ
ート画像として用意し、撮影した画像全体にわたってテ
ンプレートマッチングを行い、マークの位置を検出する
方法を採用している。

【０００３】また、テンプレートマッチング法を利用し
て入力画像から顔画像を検出するものとしては、例え
ば、特開平９−２５１５３４号公報や特開平９−４４６
７６号公報が知られている。特開平９−２５１５３４号
公報のものは、入力画像から顔画像領域を抽出するため
に、予め登録されている標準顔画像（テンプレート）を
全画面にわたって移動させつつ相関値を計算し、最も高
い相関値を有する領域を顔領域として抽出するものであ
る。また、特開平９−４４６７６号公報のものは、目を
濃淡情報で表したテンプレート画像で顔画像を含む画像
を走査し、対象領域の濃淡情報とテンプレート画像の濃
淡情報との相関演算を行い、類似度の高い領域を目の候
補として抽出する。同様に、鼻を濃淡情報で表したテン
プレート画像で顔画像を含む画像を走査して鼻の候補を
抽出し、口を濃淡情報で表したテンプレート画像で顔画
像を含む画像を走査して口の候補を抽出する。そして、
抽出が終了すると、顔領域の抽出を行うが、この時、
目、鼻、口の候補の組み合わせについて、予め用意され
ている目、鼻、口の位置関係と比較検証して画像の中か
ら顔画像を抽出するというものである。

【０００４】さらに、顔画像の色情報を利用したものと
しては、例えば、特開平９−５０５２８号公報が知られ
ている。これは、入力画像のＲＧＢ値から肌色領域を抽
出し、この領域に対して自動的にモザイクサイズを決定
し、その候補領域をモザイク化し、人物顔辞書と比較し
て人物顔の有無を判定し人物顔の切り出しを行うという
ものである。

【０００５】

【発明が解決しようとする課題】ところで、顔は個人毎
に鼻や目の位置、大きさが様々であり、また、人物の顔
の検出の適用場所は工場内のファクトリ・オートメーシ
ョン装置と違い背景が複雑で、かつ外光環境の変動も大
きい場合が多い。また、人物はカメラの前で動きがある
ため、人物の前後位置の多少のずれによっても顔サイズ
は変わり、また、顔の傾きのばらつきも生じる。

【０００６】このようなことから、特開平６−１８７４
５０号公報や特開平９−２５１５３４号公報のようなテ
ンプレートマッチング法を利用するものでは、人物の顔
を顔全体のテンプレート画像としてそのまま用いること
になるため、テンプレート画像に柔軟性がなく、検出率
がそれ程高くならないという問題があった。すなわち、
個人差等を考慮していないので、ある人は検出できるが
別の人は検出できないというような事態が生じる。

【０００７】また、特開平９−４４６７６号公報のよう
な個々の部品を抽出するような方法では、個々の部品毎
に抽出方法を変えたり、候補領域の位置関係を検証した
りなど手順が複雑であり、安定した検出が難しい問題が
あり、特に、背景が複雑な場合においては部品候補の数
が大量になる可能性があり、その位置関係を検証するこ
とが困難になるという問題があった。さらに、特開平９
−５０５２８号公報のような肌色領域を抽出する色情報
を用いて予め候補領域を絞り込むような方法では、照明
条件の影響を受けやすく安定した検出が困難になる問題
があった。

【０００８】そこで、請求項１乃至１０記載の発明は、
処理が比較的簡単で、被識別対象物を正確に検出するこ
とができる対象物検出装置を提供する。また、請求項３
及び４記載の発明は、さらに、光源等の環境変動の影響
をあまり受けずに被識別対象物の検出ができ、被識別対
象物をより正確に検出することができる対象物検出装置
を提供する。また、請求項１１記載の発明は、処理が比
較的簡単で、被識別対象物を正確に検出することができ
る対象物検出方法を提供する。

【０００９】

【課題を解決するための手段】請求項１記載の発明は、
画像を入力する画像入力手段と、検出する被識別対象物
画像の特徴的な領域に対応して複数の判定要素取得領域
を設定した領域モデルを記憶した記憶手段と、画像入力
手段により入力した入力画像、又は予め画像入力手段に
より入力し画像処理を施した画像に対して記憶手段に記
憶した領域モデルを当て嵌める被照合局所領域位置を順
次指定する位置指定手段と、この位置指定手段にて指定
した位置に領域モデルを順次当て嵌める毎に、この領域
モデルの各判定要素取得領域から判定要素を取得する判
定要素取得手段と、この判定要素取得手段が取得した各
判定要素取得領域の判定要素に基づいてマハラノビス距
離計算を行い、被照合局所領域の画像が被識別対象物画
像か否かの判定を行うマハラノビス距離判定手段とから
なり、判定手段の判定結果により被識別対象物の検出を
行う装置にある。

【００１０】請求項２記載の発明は、画像を入力する画
像入力手段と、検出する顔画像の目、鼻、口等の特徴的
な領域に対応して複数の判定要素取得領域を設定した領
域モデルを記憶した記憶手段と、画像入力手段により入
力した入力画像、又は予め画像入力手段により入力し画
像処理を施した画像に対して記憶手段に記憶した領域モ
デルを当て嵌める被照合局所領域位置を順次指定する位
置指定手段と、この位置指定手段にて指定した位置に領
域モデルを順次当て嵌める毎に、この領域モデルの各判
定要素取得領域から判定要素を取得する判定要素取得手
段と、この判定要素取得手段が取得した各判定要素取得
領域の判定要素に基づいてマハラノビス距離計算を行
い、被照合局所領域の画像が被識別対象物画像か否かの
判定を行うマハラノビス距離判定手段とからなり、判定
手段の判定結果により顔の検出を行う装置にある。

【００１１】請求項３記載の発明は、画像を入力する画
像入力手段と、検出する被識別対象物画像の特徴的な領
域に対応して複数の判定要素取得領域を設定した領域モ
デルを記憶した記憶手段と、画像入力手段により入力し
た入力画像、又は予め画像入力手段により入力し画像処
理を施した画像に対して記憶手段に記憶した領域モデル
を当て嵌める被照合局所領域位置を順次指定する位置指
定手段と、この位置指定手段が被照合局所領域の位置指
定する毎にこの被照合局所領域に対して一定分散強調処
理による輝度正規化を行う輝度正規化手段と、この輝度
正規化手段にて輝度正規化した被照合局所領域に領域モ
デルを当て嵌め、この領域モデルの各判定要素取得領域
から判定要素を取得する判定要素取得手段と、この判定
要素取得手段が取得した各判定要素取得領域の判定要素
に基づいてマハラノビス距離計算を行い、被照合局所領
域の画像が被識別対象物画像か否かの判定を行うマハラ
ノビス距離判定手段とからなり、判定手段の判定結果に
より被識別対象物の検出を行う装置にある。

【００１２】請求項４記載の発明は、画像を入力する画
像入力手段と、検出する顔画像の目、鼻、口等の特徴的
な領域に対応して複数の判定要素取得領域を設定した領
域モデルを記憶した記憶手段と、画像入力手段により入
力した入力画像、又は予め画像入力手段により入力し画
像処理を施した画像に対して記憶手段に記憶した領域モ
デルを当て嵌める被照合局所領域位置を順次指定する位
置指定手段と、この位置指定手段が被照合局所領域の位
置指定する毎にこの被照合局所領域に対して一定分散強
調処理による輝度正規化を行う輝度正規化手段と、この
輝度正規化手段にて輝度正規化した被照合局所領域に領
域モデルを当て嵌め、この領域モデルの各判定要素取得
領域から判定要素を取得する判定要素取得手段と、この
判定要素取得手段が取得した各判定要素取得領域の判定
要素に基づいてマハラノビス距離計算を行い、被照合局
所領域の画像が被識別対象物画像か否かの判定を行うマ
ハラノビス距離判定手段とからなり、判定手段の判定結
果により顔の検出を行う装置にある。

【００１３】請求項５記載の発明は、請求項１乃至４の
いずれか１記載の対象物検出装置において、判定要素取
得手段は、判定要素として特徴量を取得することにあ
る。

【００１４】請求項６記載の発明は、請求項１乃至４の
いずれか１記載の対象物検出装置において、判定要素取
得手段は、テンプレート画像を利用して判定要素を取得
することにある。

【００１５】請求項７記載の発明は、請求項２又は４記
載の対象物検出装置において、判定要素取得手段は、
目、鼻、口等に対応する判定要素取得領域の少なくとも
１つに対し輝度の低い画素を利用して判定要素を取得す
ることにある。

【００１６】請求項８記載の発明は、請求項２又は４記
載の対象物検出装置において、判定要素取得手段は、
目、鼻、口等に対応する判定要素取得領域の少なくとも
１つに対し輪郭抽出画像を利用して判定要素を取得する
ことにある。

【００１７】請求項９記載の発明は、請求項５記載の対
象物検出装置において、判定要素取得手段は、目、鼻、
口等に対応する判定要素取得領域の少なくとも１つに対
し領域の輝度平均又は輝度分散値を利用して特徴量を取
得することにある。

【００１８】請求項１０記載の発明は、請求項２又は４
記載の対象物検出装置において、判定要素取得手段は、
目、鼻、口、頬等に対応する判定要素取得領域の少なく
とも１つに対しテンプレート画像を利用して判定要素を
取得することにある。

【００１９】請求項１１記載の発明は、入力した入力画
像、又は入力画像に画像処理を施した画像に対して、検
出する被識別対象物の特徴的な領域に対応して複数の判
定要素取得領域を設定した領域モデルを順次被照合局所
領域位置を指定しながら当て嵌め、領域モデルを当て嵌
める毎にこの領域モデルの各判定要素取得領域から判定
要素を取得し、この取得した判定要素に基づいてマハラ
ノビス距離計算を行って被照合局所領域の画像が被識別
対象物画像か否かの判定を行い、この判定結果により被
識別対象物の検出を行う方法にある。

【００２０】

【発明の実施の形態】本発明の実施の形態を図面を参照
して説明する。（第１の実施の形態）なお、この実施の形態は被識別対
象物検出として顔検出を例にした場合について述べる。

【００２１】図１は対象物検出装置の全体構成を示すブ
ロック図で、この装置は人物の顔を含む画像を入力する
画像入力手段としての画像入力部１と、この画像入力部
１が入力した画像情報から顔画像を検出する位置検出部
２とで構成している。

【００２２】前記画像入力部１は、図２に示すように、
人物の顔を撮影し、顔を含むデジタル濃淡画像情報を出
力するＣＣＤカメラ１１と、このＣＣＤカメラ１１から
のデジタル濃淡画像情報を取込む画像入力ボード１２
と、この画像入力ボード１２が取込んだデジタル濃淡画
像情報を記憶する画像メモリ１３とで構成している。な
お、入力する画像はカラー画像でもよい。

【００２３】前記位置検出部２は、図３に示すように、
モデル生成部２１と、記憶手段とてのモデル記憶部２２
と、計算式算出部２３と、計算式記憶部２４と、位置指
定手段としての照合領域位置指定部２５と、輝度正規化
手段としての輝度正規化部２６と、画像処理部２７と、
判定要素取得手段としての判定要素取得部２８と、マハ
ラノビス距離判定手段としてのマハラノビス距離判定部
２９とで構成している。

【００２４】前記モデル生成部２１は、図４に示すよう
に、顔画像の目、鼻、口、頬などの特徴的な領域に対応
して複数の判定要素取得領域を設定した領域モデルを生
成するようになっている。図４の(a) の領域モデルは、
特徴的な領域を目、鼻、口、頬の領域とし、目に対する
判定要素取得領域４１，４２、鼻に対する判定要素取得
領域４３、口に対する判定要素取得領域４４、残りの頬
に対する判定要素取得領域４５を設定したものである。
図４の(b) の領域モデルは、特徴的な領域を目、口、頬
の領域とし、目に対する判定要素取得領域４１，４２、
口に対する判定要素取得領域４４、頬に対する判定要素
取得領域４５を設定したものである。

【００２５】図４の(c) の領域モデルは、特徴的な領域
を目、頬の領域とし、目に対する判定要素取得領域４
１，４２、頬に対する判定要素取得領域４５を設定した
ものである。図４の(d) の領域モデルは、特徴的な領域
を目、鼻、頬の領域とし、目に対する判定要素取得領域
４１，４２、鼻に対する判定要素取得領域４３、頬に対
する判定要素取得領域４５を設定したものである。

【００２６】図４の(e) の領域モデルは、特徴的な領域
を目、鼻、口、頬の領域とし、左右の目を１つに設定し
た判定要素取得領域４６、鼻に対する判定要素取得領域
４３、口に対する判定要素取得領域４４、頬に対する判
定要素取得領域４５を設定したものである。図４の(f)
の領域モデルは、特徴的な領域を目、鼻、口、頬、髪の
領域とし、目に対する判定要素取得領域４１，４２、鼻
に対する判定要素取得領域４３、口に対する判定要素取
得領域４４、頬に対する判定要素取得領域４５、髪に対
する判定要素取得領域４７を設定したものである。これ
らの領域モデルはウィンドウモデルと呼ばれるものであ
る。

【００２７】また、図５に示す領域モデルはマスクモデ
ルと呼ばれるもので、各領域をマスクで表現するように
なっている。数値１及び２は目に対する判定要素取得領
域であり、数値３は鼻に対する判定要素取得領域であ
り、数値４は口に対する判定要素取得領域であり、数値
５は頬に対する判定要素取得領域である。なお、数値０
の部分は除外する領域である。このようなマスク表現に
より、より詳細な領域モデルを生成することができる。

【００２８】このような領域モデルを使用すれば、図６
に示すような、サイズの違った人についても、多少顔を
傾けた人についても、眼鏡をかけた人についても１つの
領域モデルＭである程度顔の検出が可能になる。勿論、
領域モデルを複数種、複数サイズ用意してもよい。例え
ば、図７の(a) 及び(c) に示すように鼻及び口の領域の
配置が異なる領域モデルＭ11、Ｍ21を用意するとともに
図７の(b) 及び(d) に示すように各領域モデルＭ11、Ｍ
21に対してそれぞれサイズの異なる領域モデルＭ12、Ｍ
22を用意する。なお、領域モデルとして、真正面の顔の
みでなく、傾いた顔や左右上下を向いた顔の領域モデル
を用意してもよい。

【００２９】このような領域モデルを用意することで顔
のサイズの違いや個人差に対してより幅広く対処するこ
とができる。なお、領域モデルの各判定要素取得領域の
大きさを少し大きめにすれば個人差を十分に吸収できる
ので多くの人の顔に対処することが可能になり、従っ
て、必ずしも多種類の領域モデルを用意する必要はな
い。

【００３０】前記モデル記憶部２２は、前記モデル生成
部２１が生成した領域モデルを記憶する。なお、計算機
プログラム上では顔の領域モデルをメモリに記憶すると
いう形を取らなくてもパラメータとして領域モデル内の
各判定要素取得領域を指定することは可能であり、この
ような場合もプログラムとして記憶していると見なす。

【００３１】領域モデルがウィンドウモデルの場合は、
領域モデルの左上を原点として、各判定要素取得領域を
形成する矩形の左上と右下の頂点座標又は各判定要素取
得領域を形成する矩形の左上の頂点座標とその領域の
幅、高さ等を記憶する。また、マスクモデルの場合は、
各判定要素取得領域の代表値をそのままの形式で記憶す
る。このように、領域モデルがウィンドウモデルの場合
は座標を記憶すればよく、また、領域モデルがマスクモ
デルの場合は例えばＣ言語を利用すれば配列でマスク値
をそのまま記憶すればよい。

【００３２】顔の領域モデルのうち、頬の判定要素取得
領域についてはテンプレート画像との類似度を利用して
判定要素の取得を行う。このように判定要素として特徴
量のみでなくテンプレート画像の類似度との併用も効果
的である。勿論、テンプレート画像との距離でもよい。
すなわち、人物の顔は、目、鼻、口の領域を取り除く
と、略平坦となるので頬の領域にテンプレート画像を適
用することは適切である。例えば、図８の(a) に示すよ
うに、マスク表現した顔の領域モデル５１における頬の
判定要素取得領域をテンプレート画像５２に置き換え
る。このテンプレート画像は図８の(b) に示すような構
成になっている。なお、数値１の領域は右目の判定要素
取得領域５３であり、数値２の領域は左目の判定要素取
得領域５４であり、数値３の領域は鼻の判定要素取得領
域５５であり、数値４の領域は口の判定要素取得領域５
６である。このテンプレート画像５２は、実際の顔画像
から作成してもよいが、頬を誰でもほぼ平面と考え、単
に類似度を計算するのであれば、テンプレート画像は輝
度値1,1,1,1,1,1,…の画像で十分である。頬の判定要素
取得領域はこのような類似度を利用するが、この頬の判
定要素取得領域に対して同時に判定要素として特徴量も
利用する。

【００３３】前記照合領域位置指定部２５は、図９に示
すように、入力画像ＩＧに対して、この画像全体にわた
り被照合局所領域Ｐの位置を順次指定する。画像検出は
どこに存在するかわからない顔の検出が目的となるの
で、このように画像全体にわたって被照合局所領域Ｐの
位置を順次指定することになる。このとき、被照合局所
領域Ｐ同士は一部が重なる場合が一般である。

【００３４】そして、被照合局所領域Ｐの位置が指定さ
れる毎に前記輝度正規化部２６はその被照合局所領域Ｐ
の輝度正規化を行う。次に、画像処理をしなければ得ら
れないような特徴量の抽出を行う場合は、前記画像処理
部２７にて被照合局所領域Ｐ毎に画像処理を行う。な
お、予め入力画像全体を画像処理した画像を生成してお
き、被照合局所領域Ｐをこの画像処理された画像全体に
わたって位置を順次指定して移動させてもよい。

【００３５】次に、前記判定要素取得部２８は前記モデ
ル記憶部２２に記憶した顔の領域モデルを被照合局所領
域毎に当て嵌めて特徴量の検出を行う。図１０に示すよ
うに領域モデルＭを被照合局所領域に当て嵌めつつ位置
を移動させ、顔上に存在する被照合局所領域に領域モデ
ルＭが位置すると顔画像の検出が行われる。

【００３６】図１１は装置が顔画像検出を行う前に行う
前処理を示す流れ図で、ここでは学習用顔画像を入力
し、この入力した学習用顔画像に対して特徴量、類似度
等の判定要素を抽出し、これを用意した全ての学習用顔
画像に対して行った後に、抽出した判定要素に基づいて
マハラノビス距離計算式を求める。

【００３７】このような前処理を行うことで、装置が顔
検出を行うときには、図１２に示すように、画像入力部
１による画像入力、この入力画像に対して照合領域の位
置指定、輝度正規化処理、領域モデルの当て嵌め、特
徴、類似度等の抽出、マハラノビス距離の算出を順次行
い、これを各被照合局所領域毎に繰返し、最終的にマハ
ラノビス距離の算出結果から顔の検出を行うことにな
る。

【００３８】前記計算式算出部２３は、これは前処理に
おけるマハラノビス距離計算式の算出に相当する。先
ず、計算式の算出のためには領域モデルの各領域のどん
な特徴量等の判定要素を利用するかを決定しておく必要
があり、これらの特徴量を学習用顔画像から計測するこ
とで計算式を算出する。

【００３９】先ず、顔の領域モデルから取得される特徴
量、すなわち、判定要素を定義する。ここでＰ(i) を位
置ｉにおける輝度値、Ｅ(i) を微分オペレータ等により
エッジ抽出処理を施した画像の位置ｉの輝度値とする。
ここでのエッジ抽出等は画像処理により行う。学習用顔
画像についても画像処理等を行ってこれらの特徴量を予
め取得しておく。基本的には各領域の低輝度特徴量とエ
ッジ特徴量を利用する。また、頬の領域については平均
輝度とテンプレート画像との類似度を利用する。なお、
低輝度特徴量とは、ある設定した輝度閾値よりも低い画
素の数やある設定した輝度閾値よりも低い画素の輝度値
合計などである。また、エッジ特徴量とは、微分オペレ
ータ等を用いて画像処理し、その画像のある輝度閾値よ
りも高い画素の数や単に画像処理した画像の輝度値合計
などである。

【００４０】例えば、次式で表現される特徴量を用い
る。なお、利用する顔の領域モデルは図４の(a) に示す
モデルとする。また、領域モデル内の右目の判定要素取
得領域４１をＲＥ、左目の判定要素取得領域４２をＬ
Ｅ、鼻の判定要素取得領域４３をＮ、口の判定要素取得
領域４４をＭ、残りの頬の判定要素取得領域４５をＣと
する。

【００４１】右目の判定要素取得領域ＲＥの低輝度特徴
量は、

【数１】

【００４２】右目の判定要素取得領域ＲＥのエッジ特徴
量は、

【数２】

【００４３】左目の判定要素取得領域ＬＥの低輝度特徴
量は、

【数３】

【００４４】左目の判定要素取得領域ＬＥのエッジ特徴
量は、

【数４】

【００４５】鼻の判定要素取得領域Ｎの低輝度特徴量
は、

【数５】

【００４６】鼻の判定要素取得領域Ｎのエッジ特徴量
は、

【数６】

【００４７】口の判定要素取得領域Ｍの低輝度特徴量
は、

【数７】

【００４８】口の判定要素取得領域Ｍのエッジ特徴量
は、

【数８】

【００４９】頬の判定要素取得領域Ｃの平均輝度は、

【数９】

【００５０】頬領域平面プレートｆと頬領域ｇとの類似
度は、

【数１０】

【００５１】となる。

【００５２】また、頬の領域は輝度値の分散が小さいと
いう特徴があるので、

【数１１】

【００５３】などの輝度値分散特徴量を利用することも
有効である。

【００５４】そして、様々な学習用顔画像に領域モデル
を当て嵌めて特徴量、類似度を各判定要素取得領域より
計測しておく。このとき、学習用顔画像個々に輝度正規
化と画像処理を行った上で計測する。例えば、５０人の
学習用顔画像を計測し、メモリに記憶した内容を図１３
に示す。この内容は、ある一定の大きさの顔画像から実
際に計測した実値である。頬の領域に対してはテンプレ
ートを適用しているので類似度が計測される。

【００５５】一般に定義される全変量から、あるいは複
数の変量から、１つのマハラノビス距離を算出するため
の計算式の算出例を示す。この算出は多変量解析の分野
で一般に定義されるマハラノビス距離の算出方法であ
る。

【００５６】一般に、ｘ1 ，ｘ2 ，ｘ3 ，……ｘn 種の
変量のマハラノビス距離はこれらの変量、変量同士の分
散共分散行列を

【数１２】

【００５７】として、

【数１３】

【００５８】で求めることができるので、図１３の各判
定要素（変量）の計算結果から分散共分散行列とその逆
行列を求めることで下記の計算式を算出することができ
る。

【００５９】

【数１４】

【００６０】なお、全変量から１つのマハラノビス距離
Ｄを求めるのではなく、数個の変量から１つのマハラノ
ビス距離Ｄを求めて他の判定要素と併用してもよい。例
えば、頬の部分のテンプレート画像との類似度Ｃ-sはマ
ハラノビス距離の計算に利用せず、その他の特徴量によ
るマハラノビス距離Ｄと頬領域のテンプレートとの類似
度Ｃ-sを併用し、例えばマハラノビス距離Ｄが閾値１以
下で類似度Ｃ-sが閾値２以上ならば顔といったような判
定を行う。また、数個ずつの変量にグループ化してそれ
ぞれマハラノビス距離Ｄを求めてもよい。例えば、［数
１］〜［数５］の各式により求めたRE-d〜N-d により１
つのマハラノビス距離Ｄ１を求め、［数６］〜［数１
０］の格式により求めた N-e〜C-s によりもう１つのマ
ハラノビス距離Ｄ２を求め、例えばＤ１が閾値１以下で
かつＤ２が閾値２以下であれば顔といったような判定を
行う。

【００６１】また、マハラノビス距離の計算式のもう１
つの算出方法について述べる。図１３に示すように、各
判定要素毎に平均と標準偏差を求めておく。１判定要素
（変量）の場合のマハラノビス距離Ｄは、

【数１５】

【００６２】で求めることができるので、各変量RE-d〜
C-s の変量個々のマハラノビス距離Ｄ_RE-d〜Ｄ_C-sの計
算式は下記の［数１６］式となる。

【００６３】

【数１６】

【００６４】また、それらを総合した距離Ｄの計算式を
下記の［数１７］式のように定義する。但し、個々の変
量の距離はマハラノビス距離であるが、総距離Ｄはマハ
ラノビス距離の定義はない。この総距離Ｄは個々の変量
を標準化した場合の、中心０，０，０，…からのユーク
リッド距離に等しいものであるが、個々にはマハラノビ
ス距離を利用している。実際の検出段階においても行列
計算を必要としないため計算時間の短縮を図ることがで
きる。

【００６５】

【数１７】

【００６６】このようにして１変量個々にマハラノビス
距離計算を行う準備ができたが、必ずしも全変量につい
て個別のマハラノビス距離の計算式を求める必要はな
い。例えば、Ｄ_RE-d〜Ｄ_C-aまでは個々にマハラノビス
距離を求め、Ｃ-sについては類似度の平均値等をそのま
ま判定に用いてもよい。例えば、Ｄ_RE-d〜Ｄ_C-aまでの
マハラノビス距離の総距離Ｄが××以下で頬の領域の類
似度Ｃ-sが○○以上ならば顔であるといった判定の可能
である。その他、RE-d〜N-d まてで１つのマハラノビス
距離Ｄ１を求め、残りのものについては個々にマハラノ
ビス距離を求めるというような組合わせも可能である。

【００６７】こうして求めたマハラノビス距離Ｄの計算
式を前記計算式記憶部２４に記憶する。この時記憶する
計算式は数１４式か［数１６］式、［数１７］式のいず
れかの方式によるものでよい。以上が図１１に示す実際
の検出を行う前の前処理となるが、前記モデル生成部２
１や計算式算出部２３は必ずしも本装置に組込む必要は
なく、領域モデルや計算式を外部から取り込んでもよ
い。

【００６８】次に図１２に示す実際の検出処理について
述べる。画像入力部１から顔画像と複雑な背景からなる
画像を入力し画像メモリ１３に記憶する。なお、入力画
像において検出する顔のサイズは背景に比べて比較的小
さい。すなわち、多くの複雑な背景を含んでいる。ま
た、撮影される環境は問わないが一般には室内の蛍光灯
下であることが多い。

【００６９】入力画像サイズが大きい場合には計算に要
する時間も長くなるのでサイズの縮小を行う。但し、必
ずしも縮小する必要はない。サイズを縮小する場合は、
入力画像をある一定の大きさのブロックでモザイク化
し、各モザイクの輝度値を代表値として縮小画像を生成
する。なお、前述した学習用顔画像のサイズ及び学習用
顔画像からの特徴量の計測もこのサイズの縮小を考慮し
て行っておく。

【００７０】前記照合領域位置指定部２５は、図９に示
すように入力画像全体にわたって被照合局所領域Ｐの位
置を順次指定する。そして、指定された個々の被照合局
所領域Ｐに対して輝度正規化部２６により輝度正規化処
理を毎回行う。輝度正規化処理として、例えば一定分散
強調処理を行う。この方法は局所画像のコントラストを
改善し見やすくする方法として知られている。この方法
はある対象物のコントラストをどんな撮影環境において
も局所的に一定にするので画像検出に特に効果的であ
る。一定分散強調は被照合局所領域毎に次のような計算
式により輝度の正規化を行う。

【００７１】先ず、局所平均画像を下記計算式により求
める。

【数１８】

【００７２】次に下記計算式により局所領域の平均を０
にするように各画素を変換する。

【００７３】

【数１９】

【００７４】次に下記計算式により局所分散値を求め
る。

【００７５】

【数２０】

【００７６】そして、最後に下記計算式により、局所領
域内の各画素における変換画素ｅ(x,y) を求める。結果
的に領域の局所分散は一定になる。

【００７７】

【数２１】

【００７８】この被照合局所領域Ｐのサイズは顔の領域
モデルと同じ大きさに設定する。このような処理により
平均０、分散１の局所画像が作成されるが、このままで
は画像処理には都合が悪いので、例えば、標準偏差２σ
の範囲を０〜２５０、平均１２５の画像として変換す
る。被照合局所領域Ｐをこのような方法で輝度変換した
入力画像例を図１４に示す。

【００７９】図１４の(a) は入力画像を示し、図１４の
(b) 、(c) 、(d) はそれぞれ被照合局所領域Ｐを順次指
定して輝度正規化を施した状態を示している。実際には
画像全体にわたり照合領域が指定されて輝度の正規化が
行われることになる。被照合局所領域Ｐは照合領域の大
きさよりも移動量を小さく設定すればお互い一部が重な
ることもある。被照合局所領域Ｐを数画素ずつ移動させ
るとすれば、照合領域の指定回数及び輝度正規化回数は
１入力画像について数千回〜数万回行われることもあ
る。

【００８０】しかし、このように被照合局所領域毎に対
象物中心の輝度正規化を行わなければ、人物の顔のよう
に様々な環境に存在する被識別対象物の特徴量等の判定
要素が一定にならない。このため、安定した顔の位置検
出が困難になる。背景を含めた形の正規化では被識別対
象物のコントラスト等の正確な改善は望めない。特に背
景に対し被識別対象物のサイズが小さい場合、この傾向
は顕著になる。撮影条件が変わっても被照合局所領域毎
に輝度正規化を行うことで安定した顔の検出が可能にな
る。但し、照明環境が安定しているような場合は輝度正
規化は必ずしも必要ではない。

【００８１】前記画像処理部２７は、エッジ特徴量のよ
うに画像処理しなければ抽出できないような特徴量を利
用する場合に画像処理を行う。この画像処理は正規化さ
れた被照合局所領域について毎回行う。例えば、微分オ
ペレータを利用して正規化された被照合局所領域からエ
ッジ特徴を表す局所画像を生成する。これで例えば人物
の目、鼻、口等の輪郭の特徴が抽出される。勿論、被照
合局所領域が顔以外であれば別の輪郭が抽出されること
になる。

【００８２】前記判定要素取得部２８は、被照合局所領
域の正規化された濃淡画像及びエッジ画像に対し顔の領
域モデルを当て嵌めて領域モデル内の各判定要素取得領
域の特徴量及び類似度を抽出する。

【００８３】前記マハラノビス距離判定部２９は、抽出
された判定要素から各被照合領域毎にマハラノビス距離
の計算を行い、距離の小さい位置を顔として判定する。
判定要素である特徴量と類似度を抽出した結果とそのと
きに［数１６］式及び［数１７］式を利用して各領域の
マハラノビス距離を計算した結果及び［数１４］式を利
用してマハラノビス距離を計算した結果を図１５に示
す。これらの値はメモリに記憶される。

【００８４】図１５の計算結果は、図１６に示す５つの
位置Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、Ｔ5の結果を代表例とし
て示している。図１５において、メモリＭＥ1 は各位置
Ｔ1〜Ｔ5 で抽出された各判定要素取得領域の特徴量を
示し、メモリＭＥ2 は各位置Ｔ1 〜Ｔ5 で抽出された各
判定要素取得領域の特徴量から［数１６］式により求め
た各取得領域個々のマハラノビス距離と［数１７］式に
より求めたその総距離Ｄを示し、メモリＭＥ3 は各位置
Ｔ1 〜Ｔ5 で抽出された各判定要素取得領域の特徴量か
ら［数１４］式により求めた各位置における１つのマハ
ラノビス距離を示している。なお、ここでは５つの位置
について述べたが、実際には入力画像全体に対して数千
から数万箇所の被照合局所領域を指定するので、計算量
は膨大となる。

【００８５】メモリＭＥ2 に示す［数１７］式で求めた
マハラノビス距離の総距離Ｄから見ると、位置Ｔ3 にお
ける総距離Ｄが「３．３３０」と最も小さく、例えば、
閾値を４．０とすればこの位置Ｔ3 において顔を検出す
ることになる。この検出位置に円を書き込めば図１７に
示すようになる。また、メモリＭＥ3 に示す［数１４］
式で求めた１つのマハラノビス距離Ｄから見ると、位置
Ｔ3 における距離Ｄが「３．７２０」と最も小さく、例
えば、閾値を４．０とすればこの位置Ｔ3 において顔を
検出することになる。

【００８６】なお、実際の装置では［数１４］式か［数
１６］式、［数１７］式のうちのいずれか一方の計算方
法を用いればよい。また、幾つかの特徴量同士をまとめ
た１つのマハラノビス距離とテンプレートとの類似度の
併用や幾つかの変量同士をまとめてグループを作りそれ
ぞれの距離を幾つか定義してもよい。

【００８７】このように、被識別対象物である顔を、
目、鼻、口、頬等の特徴的な判定要素取得領域に分けて
表現した顔の領域モデルを作成し、各判定要素取得領域
の位置関係を維持したこの領域モデルを入力画像あるい
は入力画像を画像処理した画像に当て嵌める位置を指定
し、その位置における領域モデル内の各判定要素取得領
域の特徴量を計測し、その計測した特徴量に基づいてマ
ハラノビス距離を計算して各被照合局所領域が顔か否か
の判定を行っているので、判定要素の次元の削減、即
ち、計算量の削減ができて処理が比較的簡単で、顔を正
確に検出することができる。

【００８８】また、領域モデルを当て嵌める各被照合局
所領域毎に一定分散強調処理による輝度正規化を行って
いるので、判定要素を一定にでき、光源等の環境変動の
影響をあまり受けずに顔の検出ができ、顔をより正確に
検出することができる。また、輝度正規化を行った被照
合局所領域に対してエッジ特徴を表す局所画像を生成す
る画像処理を行ってから被照合局所領域に当て嵌めた領
域モデル内の各判定要素取得領域の特徴量を計測して顔
か否かの判定を行うので、目、鼻、口等の輪郭の特徴を
より確実に抽出することができ、この点においても確実
な顔の検出ができる。

【００８９】なお、この実施の形態においては入力画像
の画像全体に対して、領域モデルを当て嵌める位置を順
次指定して特徴量を抽出し顔検出を行うようにしたが必
ずしもこれに限定するものではなく、図１８に示すよう
に、予め背景が既知の場合には、画像全体からその既知
の部分５７を取り除いて候補領域５８を生成し、その候
補領域５８に対し、前述した実施の形態と同様に領域モ
デルを当て嵌める位置を順次指定して特徴量を抽出し顔
検出を行ってもよい。このようにすれば特徴量の抽出処
理がより迅速になる。

【００９０】ここで１変量マハラノビス距離の総距離に
よる判別（但し、標準化したデータの平均値とのユーク
リッド距離に等しい。）とファジーメンバーシップ関数
との関係について述べる。例えば、［数１６］式におけ
る変量RE-dに対するマハラノビス距離Ｄ_RE-dをファジー
メンバーシップ関数として表せば出力の最大値は１．０
ではないが、図１９に示すようになる。すなわち、変量
RE-d＝２２を中心として、２つの一次関数、ｙ＝−RE-d
／８＋２２／８及びｙ＝RE-d／８−２２／８で表すこと
ができる。ここでは出力が小さいほど右目らしいという
ことになる。この他にも例えば定数からＤ_RE-dの式を引
いた式を作るなどして逆に出力が大きいほど右目らしい
という関数を作ることも可能である。このように、個々
の特徴量に対するマハラノビス距離の式をそのまま、あ
るいは変形してファジーメンバーシップ関数として表現
することもでき、この場合もマハラノビス距離を利用し
たことになる。

【００９１】（第２の実施の形態）この実施の形態は、
被識別対象物検出として顔以外の物品検出に適用した例
について述べる。具体的には、シーンの中から一方通行
の道路標識の検出例について述べる。カラー画像を用い
て色特徴を利用してもよいが、ここでは濃淡画像のみを
利用する。対象は正面、水平に配置されたシーン画像中
の一方通行の標識とする。

【００９２】領域モデルとして、図２０に示すような２
つの領域６１，６２からなる領域モデル６０を使用す
る。矢印部の領域６１をＡ１、その他の領域６２をＡ２
とする。次に各領域Ａ１、Ａ２において利用する特徴量
を決定する。一般に、一方通行の標識においては領域Ａ
１の輝度はその他の領域Ａ２に比べて高く、また、領域
Ａ１、Ａ２ともに輝度の分散値は非常に小さい。

【００９３】そこで、２つの領域Ａ１、Ａ２とも特徴量
として平均輝度と輝度分散値を利用するとして、それぞ
れA1-a、A1-v、A2-a、A2-vとする。そして、様々な一方
通行の道路標識のサンプル画像からそれぞれの特徴量を
計測し、図２１に示すような計測値を得る。そして、こ
れらの結果から、マハラノビス距離Ｄの計算式は、

【数２２】

【００９４】となる。

【００９５】これは、一般に定義されるマハラノビス距
離の定義に乗っ取っている。実際の検出においては、先
ず、標識６５を含む図２２のようなシーンの画像を入力
し、シーン画像上を領域モデル６０を順次移動させ、そ
の都度領域モデル６０を当て嵌め、各領域Ａ１、Ａ２の
平均輝度や輝度分散値を計測し、毎回［数２２］式に基
づいて各位置におけるマハラノビス距離Ｄを求め、この
距離Ｄが閾値以下の場所には道路標識６５があると判断
する。なお、領域モデル６０を移動させるとき、その都
度その箇所において輝度正規化を行った方がより正確な
検出が可能になる。

【００９６】このように、被識別対象物である標識６５
をその標識画像の特徴的な判定要素取得領域Ａ１、Ａ２
に分けて表現した顔の領域モデル６０を作成し、各判定
要素取得領域の位置関係を維持したこの領域モデル６０
をシーン画像上に当て嵌める位置を指定しつつ領域モデ
ル内の各判定要素取得領域の特徴量を計測し、この計測
した特徴量に基づいてマハラノビス距離を算出して標識
か否かの判定を行っているので、この実施の形態におい
ても前述した第１の実施の形態と同様の作用効果が得ら
れるものである。

【００９７】

【発明の効果】請求項１乃至１０記載の発明によれば、
処理が比較的簡単で、被識別対象物を正確に検出するこ
とができる対象物検出装置を提供できる。また、請求項
３及び４記載の発明は、さらに、光源等の環境変動の影
響をあまり受けずに被識別対象物の検出ができ、被識別
対象物をより正確に検出することができる対象物検出装
置を提供できる。また、請求項１１記載の発明は、処理
が比較的簡単で、被識別対象物を正確に検出することが
できる対象物検出方法を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す全体構成のブ
ロック図。

【図２】同実施の形態における画像入力部の構成を示す
ブロック図。

【図３】同実施の形態における画像検出部の構成を示す
ブロック図。

【図４】同実施の形態において使用可能なウィンドウモ
デル型の領域モデルの例を示す図。

【図５】同実施の形態において使用可能なマスクモデル
型の領域モデルの例を示す図。

【図６】同実施の形態において領域モデルを顔に当て嵌
める各種例を示す図。

【図７】同実施の形態における領域モデルの複数種、複
数サイズの例を示す図。

【図８】同実施の形態においてマスク表現した顔の領域
モデルにおける頬の判定要素取得領域へのテンプレート
画像の利用を示す図。

【図９】同実施の形態における被照合局所領域の指定例
を示す図。

【図１０】同実施の形態において領域モデルを顔の上に
当て嵌めた状態を示す図。

【図１１】同実施の形態における前処理を示す流れ図。

【図１２】同実施の形態における顔画像位置検出処理を
示す流れ図。

【図１３】同実施の形態において学習用顔画像から抽出
した各領域の特徴量の計測例を示す図。

【図１４】同実施の形態において入力画像及び一定分散
強調処理を行った被照合局所領域の各例を比較して示す
図。

【図１５】同実施の形態における入力画像の各位置にお
ける特徴量の計測値とマハラノビス距離の計算結果の例
を示す図。

【図１６】同実施の形態における入力画像に対する位置
指定例を示す図。

【図１７】同実施の形態における顔の位置検出結果例を
示す図。

【図１８】同実施の形態において入力画像に対して領域
モデルを当て嵌める場合の他の例を示す図。

【図１９】同実施の形態においてマハラノビス距離をフ
ァジーメンバーシップ関数に適用したときのファジーメ
ンバーシップ関数例を示す図。

【図２０】本発明の第２の実施の形態における領域モデ
ルの例を示す図。

【図２１】同実施の形態においてサンプル画像から抽出
した各領域の特徴量の例を示す図。

【図２２】同実施の形態におけるシーン画像例を示す
図。

【符号の説明】

１…画像入力部２…画像検出部２２…モデル記憶部２４…計算式記憶部２５…照合領域位置指定部２８…判定要素取得部２９…マハラノビス距離判定部

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、検出す
る被識別対象物画像の特徴的な領域に対応して複数の判
定要素取得領域を設定した領域モデルを記憶した記憶手
段と、前記画像入力手段により入力した入力画像、又は
予め前記画像入力手段により入力し画像処理を施した画
像に対して前記記憶手段に記憶した領域モデルを当て嵌
める被照合局所領域位置を順次指定する位置指定手段
と、この位置指定手段にて指定した位置に領域モデルを
順次当て嵌める毎に、この領域モデルの各判定要素取得
領域から判定要素を取得する判定要素取得手段と、この
判定要素取得手段が取得した各判定要素取得領域の判定
要素に基づいてマハラノビス距離計算を行い、被照合局
所領域の画像が被識別対象物画像か否かの判定を行うマ
ハラノビス距離判定手段とからなり、前記判定手段の判
定結果により被識別対象物の検出を行うことを特徴とす
る対象物検出装置。
【請求項２】画像を入力する画像入力手段と、検出す
る顔画像の目、鼻、口等の特徴的な領域に対応して複数
の判定要素取得領域を設定した領域モデルを記憶した記
憶手段と、前記画像入力手段により入力した入力画像、
又は予め前記画像入力手段により入力し画像処理を施し
た画像に対して前記記憶手段に記憶した領域モデルを当
て嵌める被照合局所領域位置を順次指定する位置指定手
段と、この位置指定手段にて指定した位置に領域モデル
を順次当て嵌める毎に、この領域モデルの各判定要素取
得領域から判定要素を取得する判定要素取得手段と、こ
の判定要素取得手段が取得した各判定要素取得領域の判
定要素に基づいてマハラノビス距離計算を行い、被照合
局所領域の画像が被識別対象物画像か否かの判定を行う
マハラノビス距離判定手段とからなり、前記判定手段の
判定結果により顔の検出を行うことを特徴とする対象物
検出装置。
【請求項３】画像を入力する画像入力手段と、検出す
る被識別対象物画像の特徴的な領域に対応して複数の判
定要素取得領域を設定した領域モデルを記憶した記憶手
段と、前記画像入力手段により入力した入力画像、又は
予め前記画像入力手段により入力し画像処理を施した画
像に対して前記記憶手段に記憶した領域モデルを当て嵌
める被照合局所領域位置を順次指定する位置指定手段
と、この位置指定手段が被照合局所領域の位置指定する
毎にこの被照合局所領域に対して一定分散強調処理によ
る輝度正規化を行う輝度正規化手段と、この輝度正規化
手段にて輝度正規化した被照合局所領域に領域モデルを
当て嵌め、この領域モデルの各判定要素取得領域から判
定要素を取得する判定要素取得手段と、この判定要素取
得手段が取得した各判定要素取得領域の判定要素に基づ
いてマハラノビス距離計算を行い、被照合局所領域の画
像が被識別対象物画像か否かの判定を行うマハラノビス
距離判定手段とからなり、前記判定手段の判定結果によ
り被識別対象物の検出を行うことを特徴とする対象物検
出装置。
【請求項４】画像を入力する画像入力手段と、検出す
る顔画像の目、鼻、口等の特徴的な領域に対応して複数
の判定要素取得領域を設定した領域モデルを記憶した記
憶手段と、前記画像入力手段により入力した入力画像、
又は予め前記画像入力手段により入力し画像処理を施し
た画像に対して前記記憶手段に記憶した領域モデルを当
て嵌める被照合局所領域位置を順次指定する位置指定手
段と、この位置指定手段が被照合局所領域の位置指定す
る毎にこの被照合局所領域に対して一定分散強調処理に
よる輝度正規化を行う輝度正規化手段と、この輝度正規
化手段にて輝度正規化した被照合局所領域に領域モデル
を当て嵌め、この領域モデルの各判定要素取得領域から
判定要素を取得する判定要素取得手段と、この判定要素
取得手段が取得した各判定要素取得領域の判定要素に基
づいてマハラノビス距離計算を行い、被照合局所領域の
画像が被識別対象物画像か否かの判定を行うマハラノビ
ス距離判定手段とからなり、前記判定手段の判定結果に
より顔の検出を行うことを特徴とする対象物検出装置。
【請求項５】判定要素取得手段は、判定要素として特
徴量を取得することを特徴する請求項１乃至４のいずれ
か１記載の対象物検出装置。
【請求項６】判定要素取得手段は、テンプレート画像
を利用して判定要素を取得することを特徴する請求項１
乃至４のいずれか１記載の対象物検出装置。
【請求項７】判定要素取得手段は、目、鼻、口等に対
応する判定要素取得領域の少なくとも１つに対し輝度の
低い画素を利用して判定要素を取得することを特徴する
請求項２又は４記載の対象物検出装置。
【請求項８】判定要素取得手段は、目、鼻、口等に対
応する判定要素取得領域の少なくとも１つに対し輪郭抽
出画像を利用して判定要素を取得する請求項２又は４記
載の対象物検出装置。
【請求項９】判定要素取得手段は、目、鼻、口等に対
応する判定要素取得領域の少なくとも１つに対し領域の
輝度平均又は輝度分散値を利用して特徴量を取得するこ
とを特徴する請求項５記載の対象物検出装置。
【請求項１０】判定要素取得手段は、目、鼻、口、頬
等に対応する判定要素取得領域の少なくとも１つに対し
テンプレート画像を利用して判定要素を取得することを
特徴する請求項２又は４記載の対象物検出装置。
【請求項１１】入力した入力画像、又は入力画像に画
像処理を施した画像に対して、検出する被識別対象物の
特徴的な領域に対応して複数の判定要素取得領域を設定
した領域モデルを順次被照合局所領域位置を指定しなが
ら当て嵌め、領域モデルを当て嵌める毎にこの領域モデ
ルの各判定要素取得領域から判定要素を取得し、この取
得した判定要素に基づいてマハラノビス距離計算を行っ
て被照合局所領域の画像が被識別対象物画像か否かの判
定を行い、この判定結果により被識別対象物の検出を行
うことを特徴とする対象物検出方法。