JPH1185988A - 顔画像認識システム - Google Patents
顔画像認識システムInfo
- Publication number
- JPH1185988A JPH1185988A JP9239307A JP23930797A JPH1185988A JP H1185988 A JPH1185988 A JP H1185988A JP 9239307 A JP9239307 A JP 9239307A JP 23930797 A JP23930797 A JP 23930797A JP H1185988 A JPH1185988 A JP H1185988A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- image information
- image
- information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 認識しようとする画像に含まれる認識対象の
位置が学習時と比べてずれている場合、認識対象の一部
が隠れている場合、背景ノイズが存在する場合、複数の
認識対象が存在する場合などにも対応できる顔画像識別
システムを提供すること。 【解決手段】 入力処理部が取り込んだ顔画像情報を、
モデル画像格納部に格納されているモデル画像と照合し
て顔画像の認識を行う際に、認識処理部において、従来
法の欠点を克服したEigen-Window法に基づく画像認識手
法を適用した処理を行う。
位置が学習時と比べてずれている場合、認識対象の一部
が隠れている場合、背景ノイズが存在する場合、複数の
認識対象が存在する場合などにも対応できる顔画像識別
システムを提供すること。 【解決手段】 入力処理部が取り込んだ顔画像情報を、
モデル画像格納部に格納されているモデル画像と照合し
て顔画像の認識を行う際に、認識処理部において、従来
法の欠点を克服したEigen-Window法に基づく画像認識手
法を適用した処理を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、人物の顔画像情報
を変換した情報をデータベースに蓄積しておき、認識時
には、入力された顔画像情報に所定の変換を施した後
に、前記データベースに記憶された情報と照合すること
により、顔画像を認識する顔画像認識システムに関す
る。
を変換した情報をデータベースに蓄積しておき、認識時
には、入力された顔画像情報に所定の変換を施した後
に、前記データベースに記憶された情報と照合すること
により、顔画像を認識する顔画像認識システムに関す
る。
【０００２】
【従来の技術】顔が表す情報をコンピュータで読み取る
ことができるようになれば、人間と機械との自然なイン
ターフェースの実現に役立つとの期待から、近年、コン
ピュータで顔画像を認識しようとする試みが活発に行わ
れている。また、顔画像に基づく個人識別についても、
コンピュータでこれを代替、支援できるようになれば、
犯罪捜査などのための顔画像データベース認識システム
や、セキュリティのためのアクセスコントロールシステ
ムなどへの応用が期待できる。このように、顔画像認識
技術は、マンマシンインターフェースの高度化に際して
の重要な課題の一つであり、今後ますますその重要性を
増していくものと予想される。
ことができるようになれば、人間と機械との自然なイン
ターフェースの実現に役立つとの期待から、近年、コン
ピュータで顔画像を認識しようとする試みが活発に行わ
れている。また、顔画像に基づく個人識別についても、
コンピュータでこれを代替、支援できるようになれば、
犯罪捜査などのための顔画像データベース認識システム
や、セキュリティのためのアクセスコントロールシステ
ムなどへの応用が期待できる。このように、顔画像認識
技術は、マンマシンインターフェースの高度化に際して
の重要な課題の一つであり、今後ますますその重要性を
増していくものと予想される。
【０００３】コンピュータによる顔画像認識において
は、顔の姿勢や、撮影位置の照明に代表される撮影条件
などに伴い、見え方が変化する入力画像のパタンに対し
て、例えば、その人物の氏名の如く、識別結果の情報を
安定に出力することが求められる。
は、顔の姿勢や、撮影位置の照明に代表される撮影条件
などに伴い、見え方が変化する入力画像のパタンに対し
て、例えば、その人物の氏名の如く、識別結果の情報を
安定に出力することが求められる。
【０００４】このような問題に対して、画像中の顔が正
面を向いているという前提のもとに、入力画像中から目
や口などの部品（以下、「顔部品」という。）を正確に
抽出し、これら顔部品の形状や配置における個人性をも
とにして識別を行おうとする、顔部品ベースの手法があ
る。
面を向いているという前提のもとに、入力画像中から目
や口などの部品（以下、「顔部品」という。）を正確に
抽出し、これら顔部品の形状や配置における個人性をも
とにして識別を行おうとする、顔部品ベースの手法があ
る。
【０００５】しかし、この顔部品ベースの手法では、そ
もそも現実の環境で撮影された顔画像から、顔部品の線
図的な形状やその位置などを正確に抽出すること自体大
変困難な問題であり、さらに構造的に類似した個人の微
妙な顔パタンの差異を線図的な形状だけで記述すること
にも限界がある。
もそも現実の環境で撮影された顔画像から、顔部品の線
図的な形状やその位置などを正確に抽出すること自体大
変困難な問題であり、さらに構造的に類似した個人の微
妙な顔パタンの差異を線図的な形状だけで記述すること
にも限界がある。
【０００６】そこで、最近になって注目を集めているア
プローチとして、顔画像のパタンを各画素における濃淡
値の二次元配列として表現し、そのマッチングによって
識別を行おうとするパタン整合の手法が提案されてい
る。この手法の代表的なものとしては、高次元の画像デ
ータを圧縮した固有空間と呼ばれる低次元空間上でパタ
ン照合を行う固有空間法（例えば、Hiroshi Murase and
Shree K.Nayer, "Visual Learnig and Recognition of
3-D Objects from Appearance", InternationalJourna
l of Computer Vision, Vol.14, No.1, pp.5-24 (1995)
に開示されている）等がある。
プローチとして、顔画像のパタンを各画素における濃淡
値の二次元配列として表現し、そのマッチングによって
識別を行おうとするパタン整合の手法が提案されてい
る。この手法の代表的なものとしては、高次元の画像デ
ータを圧縮した固有空間と呼ばれる低次元空間上でパタ
ン照合を行う固有空間法（例えば、Hiroshi Murase and
Shree K.Nayer, "Visual Learnig and Recognition of
3-D Objects from Appearance", InternationalJourna
l of Computer Vision, Vol.14, No.1, pp.5-24 (1995)
に開示されている）等がある。
【０００７】この固有空間法に基づく顔画像認識システ
ム（例えば、特開平５−２０４４２号公報に開示されて
いる。）は、ほぼ一定の照明条件のもとで撮影され、か
つ正確な位置合わせ、および顔サイズの正規化処理が既
に施されている正面顔の識別に対して、有効であること
が示されている。
ム（例えば、特開平５−２０４４２号公報に開示されて
いる。）は、ほぼ一定の照明条件のもとで撮影され、か
つ正確な位置合わせ、および顔サイズの正規化処理が既
に施されている正面顔の識別に対して、有効であること
が示されている。
【０００８】
【発明が解決しようとする課題】しかしながら、上記従
来の固有空間法においては、入力画像中の顔パタンの正
確な位置決めと正規化処理を必要とするという点からも
分かるように、画像中に含まれる顔パターンの画像内で
の位置ずれや、隠れ、背景ノイズなどに対して影響を受
けやすいという問題点を有していた。
来の固有空間法においては、入力画像中の顔パタンの正
確な位置決めと正規化処理を必要とするという点からも
分かるように、画像中に含まれる顔パターンの画像内で
の位置ずれや、隠れ、背景ノイズなどに対して影響を受
けやすいという問題点を有していた。
【０００９】また、上記従来の固有空間法を用いた顔画
像認識システムでは、正面を向いている顔画像であり、
かつ顔パタンの正確な位置決めと正規化が行われている
という制約条件の下では良好な結果を示すものの、現実
的な環境で撮影した場合に起こることが予想される、顔
の位置や姿勢（あるいは観測の視点）、照明条件、背景
条件、時間経過などによる見え方の変化に対してロバス
トな顔画像認識を実現することに関しては、依然未解決
の問題として残されている。
像認識システムでは、正面を向いている顔画像であり、
かつ顔パタンの正確な位置決めと正規化が行われている
という制約条件の下では良好な結果を示すものの、現実
的な環境で撮影した場合に起こることが予想される、顔
の位置や姿勢（あるいは観測の視点）、照明条件、背景
条件、時間経過などによる見え方の変化に対してロバス
トな顔画像認識を実現することに関しては、依然未解決
の問題として残されている。
【００１０】本発明は、認識しようとする画像に含まれ
る認識対象の位置が学習時と比べてずれている場合、認
識対象の一部が隠れている場合、背景ノイズが存在する
場合、複数の認識対象が存在する場合などにも対応でき
る顔画像識別システムを提供することを目的とする。
る認識対象の位置が学習時と比べてずれている場合、認
識対象の一部が隠れている場合、背景ノイズが存在する
場合、複数の認識対象が存在する場合などにも対応でき
る顔画像識別システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】前記目的を達成するた
め、本発明の顔画像認識システムは、顔画像情報を取り
込む顔画像情報入力手段と、前記顔画像情報入力手段が
取り込んだ顔画像情報を変換する顔画像情報変換手段
と、前記顔画像情報変換手段により変換された情報を記
憶するモデル画像記憶手段と、前記顔画像情報変換手段
により変換された情報と、前記モデル画像記憶手段に記
憶されている情報とを照合する照合手段とを備える顔画
像認識システムにおいて、前記顔画像情報変換手段は、
前記顔画像情報入力手段が取り込んだ顔画像情報から特
徴的な小領域を選択し、選択された各小領域に含まれる
情報を固有空間に投影した点集合に変換することを特徴
とする。
め、本発明の顔画像認識システムは、顔画像情報を取り
込む顔画像情報入力手段と、前記顔画像情報入力手段が
取り込んだ顔画像情報を変換する顔画像情報変換手段
と、前記顔画像情報変換手段により変換された情報を記
憶するモデル画像記憶手段と、前記顔画像情報変換手段
により変換された情報と、前記モデル画像記憶手段に記
憶されている情報とを照合する照合手段とを備える顔画
像認識システムにおいて、前記顔画像情報変換手段は、
前記顔画像情報入力手段が取り込んだ顔画像情報から特
徴的な小領域を選択し、選択された各小領域に含まれる
情報を固有空間に投影した点集合に変換することを特徴
とする。
【００１２】また、前記モデル画像記憶手段は、人物の
顔を複数の視点から撮影した複数の顔画像情報につい
て、それぞれ前記顔画像情報変換手段により変換した情
報を記憶するのが好ましい。当該情報を記憶しておき、
入力された認識対象の顔画像と照合することにより、認
識対象の顔画像が正面から撮影されたものでない場合で
も、顔画像の認識を行うことが可能となるからである。
顔を複数の視点から撮影した複数の顔画像情報につい
て、それぞれ前記顔画像情報変換手段により変換した情
報を記憶するのが好ましい。当該情報を記憶しておき、
入力された認識対象の顔画像と照合することにより、認
識対象の顔画像が正面から撮影されたものでない場合で
も、顔画像の認識を行うことが可能となるからである。
【００１３】また、前記モデル画像記憶手段は、複数の
人物について、前記変換した情報を記憶することが好ま
しい。当該情報を記憶しておき、入力された認識対象の
顔画像と照合することにより、認識対象である人物を特
定することが可能となるからである。
人物について、前記変換した情報を記憶することが好ま
しい。当該情報を記憶しておき、入力された認識対象の
顔画像と照合することにより、認識対象である人物を特
定することが可能となるからである。
【００１４】また、前記顔画像情報入力手段として、ビ
デオカメラを用いることができる。この場合には、容易
に認識対象である顔画像を撮影して、本発明の顔画像認
識システムに取り込むことができる。
デオカメラを用いることができる。この場合には、容易
に認識対象である顔画像を撮影して、本発明の顔画像認
識システムに取り込むことができる。
【００１５】また、前記顔画像情報入力手段として、イ
メージスキャナを用いることもできる。この場合には、
既に撮影されている顔画像の認識を行うことが可能とな
る。また、前記顔画像情報入力手段として、外部記憶装
置を用いることもできる。近年、デジタルカメラのよう
に、顔画像情報をデジタル情報として処理する装置も多
く用いられるようになっており、前記顔画像情報入力手
段として、外部記憶装置を用いることにより、デジタル
化された情報についても、本発明の顔画像認識システム
に取り込むことが可能となる。
メージスキャナを用いることもできる。この場合には、
既に撮影されている顔画像の認識を行うことが可能とな
る。また、前記顔画像情報入力手段として、外部記憶装
置を用いることもできる。近年、デジタルカメラのよう
に、顔画像情報をデジタル情報として処理する装置も多
く用いられるようになっており、前記顔画像情報入力手
段として、外部記憶装置を用いることにより、デジタル
化された情報についても、本発明の顔画像認識システム
に取り込むことが可能となる。
【００１６】前記顔画像情報変換手段はさらに、顔画像
情報から人間の顔の部分に該当する情報を抽出する抽出
手段を有し、前記顔画像情報入力手段がとり込んだ顔画
像情報から特徴的な小領域を選択する際に、前記抽出手
段により抽出された情報から前記小領域を選択するのが
好ましい。顔画像情報の処理においては、一般に取り扱
うべき情報量が多く、処理に時間がかかる場合が多い
が、前記抽出手段を備えることにより、処理量の軽減を
図ることができるからである。
情報から人間の顔の部分に該当する情報を抽出する抽出
手段を有し、前記顔画像情報入力手段がとり込んだ顔画
像情報から特徴的な小領域を選択する際に、前記抽出手
段により抽出された情報から前記小領域を選択するのが
好ましい。顔画像情報の処理においては、一般に取り扱
うべき情報量が多く、処理に時間がかかる場合が多い
が、前記抽出手段を備えることにより、処理量の軽減を
図ることができるからである。
【００１７】また、前記顔画像情報変換手段は、前記特
徴的な小領域を選択した後、当該選択された小領域の画
素値を要素とする窓画像ベクトルに対して、明るさの正
規化処理を施すことが好ましい。かかる処理を行うこと
により、撮影時の照明の条件等による明るさの変化に対
してもロバストな認識を行うことが可能となるからであ
る。
徴的な小領域を選択した後、当該選択された小領域の画
素値を要素とする窓画像ベクトルに対して、明るさの正
規化処理を施すことが好ましい。かかる処理を行うこと
により、撮影時の照明の条件等による明るさの変化に対
してもロバストな認識を行うことが可能となるからであ
る。
【００１８】以上のように、本発明の顔画像認識システ
ムを用いることにより、認識しようとする画像に含まれ
る認識対象の位置が学習時と比べてずれている場合、認
識対象の一部が隠れている場合、背景ノイズが存在する
場合、複数の認識対象が存在する場合などにも対応でき
る顔画像識別システムを提供することができる。
ムを用いることにより、認識しようとする画像に含まれ
る認識対象の位置が学習時と比べてずれている場合、認
識対象の一部が隠れている場合、背景ノイズが存在する
場合、複数の認識対象が存在する場合などにも対応でき
る顔画像識別システムを提供することができる。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
て、図面を参照しながら説明する。
【００２０】図１は、本発明の顔画像認識システムの全
体構成を示すブロック図である。同図に示されるよう
に、本発明の顔画像認識システムは、顔画像情報入力手
段としての画像入力部１０１、顔画像情報変換手段、及
び照合手段としての制御部１０２、モデル画像記憶手段
としてのモデル画像格納部１０３、出力部１０４を備え
ている。
体構成を示すブロック図である。同図に示されるよう
に、本発明の顔画像認識システムは、顔画像情報入力手
段としての画像入力部１０１、顔画像情報変換手段、及
び照合手段としての制御部１０２、モデル画像記憶手段
としてのモデル画像格納部１０３、出力部１０４を備え
ている。
【００２１】画像入力部１０１としては、例えばビデオ
カメラ、イメージスキャナ等が用いられ、画像入力部１
０１を介して、学習画像及び認識対象画像となる顔画像
情報が入力される。また、画像入力部１０１としては、
補助記憶装置を接続して使用することも可能である。
カメラ、イメージスキャナ等が用いられ、画像入力部１
０１を介して、学習画像及び認識対象画像となる顔画像
情報が入力される。また、画像入力部１０１としては、
補助記憶装置を接続して使用することも可能である。
【００２２】制御部１０２は、入力処理部１０２１、認
識処理部１０２２、表示処理部１０２３を備える。入力
処理部１０２１は、画像入力部１０１からの入力を受け
付ける。
識処理部１０２２、表示処理部１０２３を備える。入力
処理部１０２１は、画像入力部１０１からの入力を受け
付ける。
【００２３】認識処理部１０２２は、後述する学習フェ
ーズでは、入力処理部１０２１が受け付けた画像情報か
ら特徴データを抽出し、モデル画像情報として、モデル
画像格納部１０３に格納する。また、認識処理部１０２
２は、後述する認識フェーズでは、入力処理部１０２１
が受け付けた認識対象の顔画像情報から特徴データを抽
出し、学習フェーズでモデル画像格納部１０３に格納さ
れた情報と照合することにより顔画像の認識を行い、認
識の結果を表示処理部１０２３に送る。特徴データの抽
出処理については、後に詳細に説明する。
ーズでは、入力処理部１０２１が受け付けた画像情報か
ら特徴データを抽出し、モデル画像情報として、モデル
画像格納部１０３に格納する。また、認識処理部１０２
２は、後述する認識フェーズでは、入力処理部１０２１
が受け付けた認識対象の顔画像情報から特徴データを抽
出し、学習フェーズでモデル画像格納部１０３に格納さ
れた情報と照合することにより顔画像の認識を行い、認
識の結果を表示処理部１０２３に送る。特徴データの抽
出処理については、後に詳細に説明する。
【００２４】表示処理部１０２３は、認識処理部１０２
２による認識の結果を出力部１０４に出力する。
２による認識の結果を出力部１０４に出力する。
【００２５】モデル画像格納部１０３には、前記認識処
理部１０２２により生成されたモデル画像情報が格納さ
れる。
理部１０２２により生成されたモデル画像情報が格納さ
れる。
【００２６】出力部１０４には、顔画像の認識結果等が
出力される。
出力される。
【００２７】ここで、本発明に係る顔画像認識システム
で用いるEigen-Window法の一般的な概念について説明す
る。Eigen-Window法は、上記従来の固有空間法を改良し
たものであり、固有空間法が、認識対象が含まれる画像
全体を一つのモデルとして扱うのに対して、画像中の認
識対象を特徴的な小領域（以下、「窓画像」という。）
に分割し、これらの集合で認識対象をモデル化する手法
である。Eigen-Window法を用いる三次元物体の認識で
は、認識対象を部分的な要素の集合として捉えることに
より、固有空間法では実現できなかった、画像中に含ま
れる認識対象の位置ずれや隠れ、背景ノイズ、画像中に
認識対象が複数存在する場合などに対応した認識が可能
となる。
で用いるEigen-Window法の一般的な概念について説明す
る。Eigen-Window法は、上記従来の固有空間法を改良し
たものであり、固有空間法が、認識対象が含まれる画像
全体を一つのモデルとして扱うのに対して、画像中の認
識対象を特徴的な小領域（以下、「窓画像」という。）
に分割し、これらの集合で認識対象をモデル化する手法
である。Eigen-Window法を用いる三次元物体の認識で
は、認識対象を部分的な要素の集合として捉えることに
より、固有空間法では実現できなかった、画像中に含ま
れる認識対象の位置ずれや隠れ、背景ノイズ、画像中に
認識対象が複数存在する場合などに対応した認識が可能
となる。
【００２８】以下、Eigen-Window法に基づく一般的な三
次元物体の認識の処理過程について説明する。
次元物体の認識の処理過程について説明する。
【００２９】Eigen-Window法の処理過程は、入力画像か
らモデル画像情報を生成する学習フェーズ、学習フェー
ズで作成されたモデル画像情報と認識対象画像とを照合
することにより、認識対象画像の認識を行う認識フェー
ズの2つのフェーズから構成される。
らモデル画像情報を生成する学習フェーズ、学習フェー
ズで作成されたモデル画像情報と認識対象画像とを照合
することにより、認識対象画像の認識を行う認識フェー
ズの2つのフェーズから構成される。
【００３０】図２は、学習フェーズにおける処理過程の
概略を示す図である。同図に示されるように、学習フェ
ーズでは、まず、一つの認識対象を多視点から撮影した
一連の学習画像（Ｍ枚）を取り込み、まず、エッジ強度
に基づく窓選択を行う。
概略を示す図である。同図に示されるように、学習フェ
ーズでは、まず、一つの認識対象を多視点から撮影した
一連の学習画像（Ｍ枚）を取り込み、まず、エッジ強度
に基づく窓選択を行う。
【００３１】エッジ強度に基づく窓選択とは、画素の濃
淡値を基にエッジ強度を計算し、ある閾値以上のエッジ
強度を持つ画素を中心とするＮ画素×Ｎ画素の矩形小領
域を窓画像として選択する処理である。
淡値を基にエッジ強度を計算し、ある閾値以上のエッジ
強度を持つ画素を中心とするＮ画素×Ｎ画素の矩形小領
域を窓画像として選択する処理である。
【００３２】図３は、窓選択について説明するための図
である。学習画像からＩ個の窓画像が選択されたとする
と、以下の説明では、ｍ枚目の学習画像から選択された
ｉ番目の窓画像をＺm iと表すことにする。
である。学習画像からＩ個の窓画像が選択されたとする
と、以下の説明では、ｍ枚目の学習画像から選択された
ｉ番目の窓画像をＺm iと表すことにする。
【００３３】エッジ強度に基づく窓選択処理が終了する
と、ｍ枚目の学習画像に含まれるｉ番目の窓画像の濃淡
値を要素とする列ベクトルｚm iから構成される、下記
（数１）に示される行列Ｚm に対して、下記（数２）に
示す共分散行列Ｑを計算する。
と、ｍ枚目の学習画像に含まれるｉ番目の窓画像の濃淡
値を要素とする列ベクトルｚm iから構成される、下記
（数１）に示される行列Ｚm に対して、下記（数２）に
示す共分散行列Ｑを計算する。
【００３４】
【数１】
【００３５】
【数２】
【００３６】ここで、ｃは選択された全ての窓画像の平
均濃淡値ベクトルを表す。この行列Ｑの固有ベクトルｅ
i を対応する固有値λi の順にソートし、ある閾値以上
の固有値を持つ固有ベクトルを基に、窓画像が持つ元々
の次元Ｎ2 に対して十分小さな次元ｋで構成される固有
空間への変換行列Ｒを構成する。変換行列Ｒは、具体的
には下記の（数３）で表される。
均濃淡値ベクトルを表す。この行列Ｑの固有ベクトルｅ
i を対応する固有値λi の順にソートし、ある閾値以上
の固有値を持つ固有ベクトルを基に、窓画像が持つ元々
の次元Ｎ2 に対して十分小さな次元ｋで構成される固有
空間への変換行列Ｒを構成する。変換行列Ｒは、具体的
には下記の（数３）で表される。
【００３７】
【数３】
【００３８】変換行列Ｒによって張られるｋ次元固有空
間へ、学習窓画像Ｚm を投影し、対応する点群行列Ｇm
を導く（これら一連の変換処理をKarhunen-Loeve展開、
以下、略して「ＫＬ展開」という。）。点群行列Ｇm
は、具体的には、下記の（数４）で表される。
間へ、学習窓画像Ｚm を投影し、対応する点群行列Ｇm
を導く（これら一連の変換処理をKarhunen-Loeve展開、
以下、略して「ＫＬ展開」という。）。点群行列Ｇm
は、具体的には、下記の（数４）で表される。
【００３９】
【数４】
【００４０】導かれた点群行列Ｇm （以下、Ｇm を、
「学習窓画像対応点」という。）を表す情報が、モデル
画像格納部１０３に格納され、学習フェーズが終了す
る。図４は、ｋ＝３の場合の固有空間における学習窓画
像対応点Ｇm の様子を表す図である。
「学習窓画像対応点」という。）を表す情報が、モデル
画像格納部１０３に格納され、学習フェーズが終了す
る。図４は、ｋ＝３の場合の固有空間における学習窓画
像対応点Ｇm の様子を表す図である。
【００４１】次に、認識フェーズにおける処理について
説明する。図５は、認識フェーズにおける処理内容の概
要を示す図である。同図に示されるように、認識フェー
ズにおいては、認識対象となる画像の入力を受けて、入
力された認識対象画像に対して、学習フェーズと同様
に、エッジ強度に基づく窓選択およびＫＬ展開を行う。
認識フェーズにおけるＫＬ展開では、選択された入力窓
画像行列Ｚinに対応する固有空間上の点群行列Ｇinが求
められる。Ｇinは、具体的には、下記の（数５）によっ
て表される（以下、Ｇinを、「入力窓画像対応点」とい
う）。これは、認識対象画像に関して上記（数４）と同
様の内容を表すものである。
説明する。図５は、認識フェーズにおける処理内容の概
要を示す図である。同図に示されるように、認識フェー
ズにおいては、認識対象となる画像の入力を受けて、入
力された認識対象画像に対して、学習フェーズと同様
に、エッジ強度に基づく窓選択およびＫＬ展開を行う。
認識フェーズにおけるＫＬ展開では、選択された入力窓
画像行列Ｚinに対応する固有空間上の点群行列Ｇinが求
められる。Ｇinは、具体的には、下記の（数５）によっ
て表される（以下、Ｇinを、「入力窓画像対応点」とい
う）。これは、認識対象画像に関して上記（数４）と同
様の内容を表すものである。
【００４２】
【数５】
【００４３】上記の処理において得られた入力窓画像対
応点Ｇinに含まれる各入力窓画像対応点ｇin i につい
て、学習フェーズでモデル画像格納部１０３に格納され
たＧmを表す情報との照合処理を行うことによって、識
別対象画像が示す物体の特定、および当該物体の姿勢の
特定が行われる。
応点Ｇinに含まれる各入力窓画像対応点ｇin i につい
て、学習フェーズでモデル画像格納部１０３に格納され
たＧmを表す情報との照合処理を行うことによって、識
別対象画像が示す物体の特定、および当該物体の姿勢の
特定が行われる。
【００４４】以下、認識フェーズにおける照合処理の内
容について説明する。照合処理は、最近傍点の探索と、
投票とからなる。
容について説明する。照合処理は、最近傍点の探索と、
投票とからなる。
【００４５】最近傍点の探索処理においては、固有空間
上のベクトル距離を評価基準として、各入力窓画像対応
点ｇin i に対して、対応点群行列Ｇm の中から最小距離
を示す学習窓画像対応点ｇm jを探索し、各入力窓画像ｚ
in i に見えが最も類似する学習窓画像ｚm jを求める。図
６は、この際の固有空間の様子を具体的に示す図であ
る。同図において、ｉ番目の入力窓画像対応点ｇin i に
対しては、学習窓画像対応点の一つｇm jとが、最も類似
することを示している。この場合には、学習窓画像対応
点ｇm jに対応する学習窓画像ｚm jが、入力窓画像ｚin i
に見えが最も類似する学習窓画像として求められる。
上のベクトル距離を評価基準として、各入力窓画像対応
点ｇin i に対して、対応点群行列Ｇm の中から最小距離
を示す学習窓画像対応点ｇm jを探索し、各入力窓画像ｚ
in i に見えが最も類似する学習窓画像ｚm jを求める。図
６は、この際の固有空間の様子を具体的に示す図であ
る。同図において、ｉ番目の入力窓画像対応点ｇin i に
対しては、学習窓画像対応点の一つｇm jとが、最も類似
することを示している。この場合には、学習窓画像対応
点ｇm jに対応する学習窓画像ｚm jが、入力窓画像ｚin i
に見えが最も類似する学習窓画像として求められる。
【００４６】投票処理とは、各入力窓画像ｚin i に対し
て、上記で求められた最も類似する学習窓画像ｚm jとの
画像内相対位置Δｘ（ｚin i ，ｚm j）を基に、ｍ枚目の
学習画像に対応する投票空間に投票する処理である。上
記画像内相対位置は、具体的には、下記の（数６）によ
り求められる。
て、上記で求められた最も類似する学習窓画像ｚm jとの
画像内相対位置Δｘ（ｚin i ，ｚm j）を基に、ｍ枚目の
学習画像に対応する投票空間に投票する処理である。上
記画像内相対位置は、具体的には、下記の（数６）によ
り求められる。
【００４７】
【数６】
【００４８】上記（数６）において、ｐ[]は、全体画像
中の窓画像位置を算出する演算式である。投票が終了す
ると、ｍ枚の各学習画像に対応するＭ個の投票空間上に
おける得票数のピーク位置を検出することにより、入力
画像中に含まれる対象に最も類似する学習画像を特定す
ることができる。図７は、投票空間の様子を具体的に示
す図である。ここで、得票数のピーク位置が複数検出さ
れた場合には、モデル画像に合致する認識対象が複数存
在するものと認識することができる。
中の窓画像位置を算出する演算式である。投票が終了す
ると、ｍ枚の各学習画像に対応するＭ個の投票空間上に
おける得票数のピーク位置を検出することにより、入力
画像中に含まれる対象に最も類似する学習画像を特定す
ることができる。図７は、投票空間の様子を具体的に示
す図である。ここで、得票数のピーク位置が複数検出さ
れた場合には、モデル画像に合致する認識対象が複数存
在するものと認識することができる。
【００４９】特定された学習画像に基づいて、入力画像
中に含まれる認識対象の物体の種類、位置、姿勢等を推
定することが可能となる。
中に含まれる認識対象の物体の種類、位置、姿勢等を推
定することが可能となる。
【００５０】次に、以上に説明したような概念に基づく
処理により実現されるEigen-Window法の手法を、顔画像
認識システムに適用する方法について説明する。
処理により実現されるEigen-Window法の手法を、顔画像
認識システムに適用する方法について説明する。
【００５１】本発明に係る顔画像認識システムでは、上
記に説明したようなEigen-Window法を実現するための種
々の計算を、認識処理部１０２２が行うが、認識対象画
像が人間の顔画像であることから、種々の改良を行って
いる。
記に説明したようなEigen-Window法を実現するための種
々の計算を、認識処理部１０２２が行うが、認識対象画
像が人間の顔画像であることから、種々の改良を行って
いる。
【００５２】まず、改良点の一つとして、学習フェーズ
に先立って初期設定処理を行うこととしている。初期設
定処理とは、本実施の形態の顔画像認識システムに対し
て、顔画像の肌色を認識させることにより、より顔画像
の認識精度を高めるとともに、認識処理の効率を向上さ
せるべく行う処理である。
に先立って初期設定処理を行うこととしている。初期設
定処理とは、本実施の形態の顔画像認識システムに対し
て、顔画像の肌色を認識させることにより、より顔画像
の認識精度を高めるとともに、認識処理の効率を向上さ
せるべく行う処理である。
【００５３】図８は、初期設定処理における認識処理部
１０２２の処理内容を示すフローチャートである。同図
に示されるように、認識処理部１０２２は、まず、入力
部１０１を介してサンプル画像読み取り処理を行う（Ｓ
８０１）。図９は、サンプル画像の一例を示す図であ
る。サンプル画像とは、肌色を含む画像であり、図９に
示されるように、画像の中で肌色の部分には、指定領域
として、利用者によってあらかじめマークが付けられて
いる。認識処理部１０２２は、当該マークが付けられて
いる肌色に相当する画素に対して、ＨＳＩ変換を行う
（Ｓ８０２）。
１０２２の処理内容を示すフローチャートである。同図
に示されるように、認識処理部１０２２は、まず、入力
部１０１を介してサンプル画像読み取り処理を行う（Ｓ
８０１）。図９は、サンプル画像の一例を示す図であ
る。サンプル画像とは、肌色を含む画像であり、図９に
示されるように、画像の中で肌色の部分には、指定領域
として、利用者によってあらかじめマークが付けられて
いる。認識処理部１０２２は、当該マークが付けられて
いる肌色に相当する画素に対して、ＨＳＩ変換を行う
（Ｓ８０２）。
【００５４】ＨＳＩ変換とは、各画素にＲｅｄ、Ｇｒｅ
ｅｎ、Ｂｌｕｅの値（通常、各２５６段階）が記述され
たＲＧＢ画像を、Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏ
ｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度）の三属性で表
されたＨＳＩ画像に変換する処理である。上記ＨＳＩの
三属性は、照明条件の変化などに起因する明るさの変化
に対して変動を受け難いという特性を有するため、明る
さの変化に対してロバストな顔画像の認識を行うことが
可能となる。
ｅｎ、Ｂｌｕｅの値（通常、各２５６段階）が記述され
たＲＧＢ画像を、Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏ
ｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度）の三属性で表
されたＨＳＩ画像に変換する処理である。上記ＨＳＩの
三属性は、照明条件の変化などに起因する明るさの変化
に対して変動を受け難いという特性を有するため、明る
さの変化に対してロバストな顔画像の認識を行うことが
可能となる。
【００５５】さらに、認識処理部１０２２は、肌色領域
の抽出を行う（Ｓ８０３）。
の抽出を行う（Ｓ８０３）。
【００５６】肌色領域の抽出とは、前述の如くＨＳＩ変
換された肌色部分の画像の持つＨＳＩ値を基に、各画素
をＨＳＩ空間上の点としてプロットし、これらの点が適
切に含まれるように、以下の（数７）に示すような肌色
領域のパラメータＨｍｉｎ、Ｈｍａｘ、Ｓｍｉｎ、Ｓｍ
ａｘ、Ｉｍｉｎ、Ｉｍａｘを決定する処理である。
換された肌色部分の画像の持つＨＳＩ値を基に、各画素
をＨＳＩ空間上の点としてプロットし、これらの点が適
切に含まれるように、以下の（数７）に示すような肌色
領域のパラメータＨｍｉｎ、Ｈｍａｘ、Ｓｍｉｎ、Ｓｍ
ａｘ、Ｉｍｉｎ、Ｉｍａｘを決定する処理である。
【００５７】
【数７】
【００５８】図１０は、上記ＨＳＩ空間における肌色領
域の抽出について、具体的に説明するための図である。
同図に示される直方体の部分が、ＨＳＩ空間における肌
色領域である。
域の抽出について、具体的に説明するための図である。
同図に示される直方体の部分が、ＨＳＩ空間における肌
色領域である。
【００５９】以上のような初期設定処理を終了した本実
施の形態の顔画像認識システムによる、学習フェーズと
認識フェーズにおける認識処理部１０２２の処理内容に
ついて、以下に図面を参照しながら説明する。
施の形態の顔画像認識システムによる、学習フェーズと
認識フェーズにおける認識処理部１０２２の処理内容に
ついて、以下に図面を参照しながら説明する。
【００６０】図１１は、学習フェーズにおける認識処理
部１０２２の処理内容を示すフローチャートである。同
図に示される如く、本発明に係る顔画像認識システムで
は、最初に説明したEigen-Window法に基づくエッジ強度
に基づく窓選択に先立って、肌色情報に基づく窓選択を
行う（Ｓ１１０１）。認識対象が人間の顔画像であるこ
とに基づくEigen-Window法の改良点の一つである。
部１０２２の処理内容を示すフローチャートである。同
図に示される如く、本発明に係る顔画像認識システムで
は、最初に説明したEigen-Window法に基づくエッジ強度
に基づく窓選択に先立って、肌色情報に基づく窓選択を
行う（Ｓ１１０１）。認識対象が人間の顔画像であるこ
とに基づくEigen-Window法の改良点の一つである。
【００６１】肌色情報に基づく窓選択とは、初期設定処
理において、本実施の形態の顔画像認識システムに認知
された肌色情報に基づき、学習画像において肌色に相当
する領域のみから窓選択を行う処理である。このような
処理を行うことにより、エッジ強度に基づく窓選択等、
その後の処理の効率を向上させることが可能となる。
理において、本実施の形態の顔画像認識システムに認知
された肌色情報に基づき、学習画像において肌色に相当
する領域のみから窓選択を行う処理である。このような
処理を行うことにより、エッジ強度に基づく窓選択等、
その後の処理の効率を向上させることが可能となる。
【００６２】図１２は、肌色情報に基づく窓選択の詳細
な処理内容を示すフローチャートである。同図に示され
るように、肌色情報に基づく窓選択においては、まず、
各学習画像にＨＳＩ変換を施し、変換された各画素のＨ
ＳＩ値を基に、人間の顔の肌色に相当する領域を抽出す
る（Ｓ１２０１）。
な処理内容を示すフローチャートである。同図に示され
るように、肌色情報に基づく窓選択においては、まず、
各学習画像にＨＳＩ変換を施し、変換された各画素のＨ
ＳＩ値を基に、人間の顔の肌色に相当する領域を抽出す
る（Ｓ１２０１）。
【００６３】上述の如く、初期設定処理において肌色領
域に該当するＨＳＩ値の範囲が抽出されているので、こ
こでは、当該肌色領域に該当するＨｕｅ値ｈを示す画素
のみを選択することになる。
域に該当するＨＳＩ値の範囲が抽出されているので、こ
こでは、当該肌色領域に該当するＨｕｅ値ｈを示す画素
のみを選択することになる。
【００６４】次に、一致度マップの生成を行う（Ｓ１２
０２）。一致度マップとは、上記ステップＳ１２０１に
て選択された画素のＨＳＩ値について、前記初期設定処
理にて選択された肌色領域内における位置から計算され
る一致度の値を画像上の画素位置に書き込んだものであ
る。一致度の計算は、具体的には以下のようにして行
う。即ち、例えば、肌色領域の直方体の中心に近い位置
にプロットされた点に対しては高い一致度を割り当て、
直方体の側面に近い位置にプロットされた点に対しては
低い一致度を与える。なお、肌色領域の外部に位置する
点に対しては一致度０を割り当てる。図１３（ａ）は、
一致度マップの内容を具体的に表した図である。
０２）。一致度マップとは、上記ステップＳ１２０１に
て選択された画素のＨＳＩ値について、前記初期設定処
理にて選択された肌色領域内における位置から計算され
る一致度の値を画像上の画素位置に書き込んだものであ
る。一致度の計算は、具体的には以下のようにして行
う。即ち、例えば、肌色領域の直方体の中心に近い位置
にプロットされた点に対しては高い一致度を割り当て、
直方体の側面に近い位置にプロットされた点に対しては
低い一致度を与える。なお、肌色領域の外部に位置する
点に対しては一致度０を割り当てる。図１３（ａ）は、
一致度マップの内容を具体的に表した図である。
【００６５】さらに、この一致度マップに対して、閾値
処理を行い、あらかじめ設定された閾値よりも高い一致
度を示す画素を窓画像候補点として選択する（Ｓ１２０
３）。図１３（ｂ）に、選択された窓画像候補点の内容
を具体的に示す。
処理を行い、あらかじめ設定された閾値よりも高い一致
度を示す画素を窓画像候補点として選択する（Ｓ１２０
３）。図１３（ｂ）に、選択された窓画像候補点の内容
を具体的に示す。
【００６６】上記、肌色情報に基づく窓選択を終了する
と、図１１のフローチャートに戻って、エッジ強度に基
づく窓選択を行う（Ｓ１１０２）。エッジ強度に基づく
窓選択については、上記Eigen-Window法の説明において
既に説明しているので、ここでの詳細な説明は省略する
が、本実施の形態の顔画像認識システムにおいては、上
記肌色情報に基づく窓選択の処理にて選択された肌色を
示す画素に対してのみ、画像の濃淡値を基にエッジ強度
が計算され、窓選択が行われることになる。
と、図１１のフローチャートに戻って、エッジ強度に基
づく窓選択を行う（Ｓ１１０２）。エッジ強度に基づく
窓選択については、上記Eigen-Window法の説明において
既に説明しているので、ここでの詳細な説明は省略する
が、本実施の形態の顔画像認識システムにおいては、上
記肌色情報に基づく窓選択の処理にて選択された肌色を
示す画素に対してのみ、画像の濃淡値を基にエッジ強度
が計算され、窓選択が行われることになる。
【００６７】次に、本実施の形態の窓画像認識システム
では、明るさの正規化処理を行う（Ｓ１１０３）。これ
は、顔画像の撮影時に起こりうる照明及び環境の変化等
に起因する対象の見えの変化に対して、ある程度ロバス
トな認識を可能にするためにEigen-Window法を改良した
点の一つである。
では、明るさの正規化処理を行う（Ｓ１１０３）。これ
は、顔画像の撮影時に起こりうる照明及び環境の変化等
に起因する対象の見えの変化に対して、ある程度ロバス
トな認識を可能にするためにEigen-Window法を改良した
点の一つである。
【００６８】図１４は、明るさの正規化処理の詳細な処
理内容を示すフローチャートである。同図に示されるよ
うに、明るさの正規化処理においては、まず、窓画像と
して選択されたＲＧＢ値に対してＧｒａｙ−Ｓｃａｌｅ
変換を施し、一つのＧｒａｙ−Ｓｃａｌｅ値（通常、２
５６段階の濃淡値である。）で表現されたＧｒａｙ−Ｓ
ｃａｌｅ窓画像に変換する（Ｓ１４０１）。
理内容を示すフローチャートである。同図に示されるよ
うに、明るさの正規化処理においては、まず、窓画像と
して選択されたＲＧＢ値に対してＧｒａｙ−Ｓｃａｌｅ
変換を施し、一つのＧｒａｙ−Ｓｃａｌｅ値（通常、２
５６段階の濃淡値である。）で表現されたＧｒａｙ−Ｓ
ｃａｌｅ窓画像に変換する（Ｓ１４０１）。
【００６９】次に、この窓画像の各画素のＧｒａｙ−Ｓ
ｃａｌｅ値ｚ１、ｚ２、・・・、ｚＮ（Ｎは窓画像の全
画素数）を要素とする窓画像ベクトルＺを生成し（Ｓ１
４０２）、このベクトルの各要素ｚi の２乗和のルート
（以下、この値をベクトルの「ノルム」という。）を計
算する（Ｓ１４０３）。以下、窓画像ベクトルＺのノル
ムの値を‖Ｚ‖で表す。
ｃａｌｅ値ｚ１、ｚ２、・・・、ｚＮ（Ｎは窓画像の全
画素数）を要素とする窓画像ベクトルＺを生成し（Ｓ１
４０２）、このベクトルの各要素ｚi の２乗和のルート
（以下、この値をベクトルの「ノルム」という。）を計
算する（Ｓ１４０３）。以下、窓画像ベクトルＺのノル
ムの値を‖Ｚ‖で表す。
【００７０】さらに、窓画像ベクトルＺをこのノルムの
値‖Ｚ‖で除算することにより、明るさの正規化処理を
行い、その結果得られた正規化窓画像ベクトルＺ´を、
明るさの正規化処理の結果として出力する（Ｓ１４０
４）。
値‖Ｚ‖で除算することにより、明るさの正規化処理を
行い、その結果得られた正規化窓画像ベクトルＺ´を、
明るさの正規化処理の結果として出力する（Ｓ１４０
４）。
【００７１】出力された正規化窓画像ベクトルＺ´につ
いて、ＫＬ展開を行うことによって（Ｓ１１０５）、学
習窓画像対応点の情報がモデル画像格納部１０３に格納
されるが（Ｓ１１０６）、ＫＬ展開については、Eigen-
Window法に関する説明のところで詳述しているので、こ
こでの詳細な説明は省略する。
いて、ＫＬ展開を行うことによって（Ｓ１１０５）、学
習窓画像対応点の情報がモデル画像格納部１０３に格納
されるが（Ｓ１１０６）、ＫＬ展開については、Eigen-
Window法に関する説明のところで詳述しているので、こ
こでの詳細な説明は省略する。
【００７２】尚、ＫＬ展開を行うためには、準備された
全ての学習画像を読み込んでおく必要があるので、ＫＬ
展開を行う前に、学習画像をすべて読み込むようにして
いる（Ｓ１１０４）。
全ての学習画像を読み込んでおく必要があるので、ＫＬ
展開を行う前に、学習画像をすべて読み込むようにして
いる（Ｓ１１０４）。
【００７３】次に、準備された全ての学習画像をＫＬ展
開し、その結果をモデル画像格納部１０３に格納する
と、学習フェーズが終了する。
開し、その結果をモデル画像格納部１０３に格納する
と、学習フェーズが終了する。
【００７４】次に、モデル画像格納部１０３に格納され
た学習窓画像対応点の情報を用いて、認識対象画像を認
識する認識フェーズにおける、本実施の形態の顔画像認
識システムの処理内容について説明する。
た学習窓画像対応点の情報を用いて、認識対象画像を認
識する認識フェーズにおける、本実施の形態の顔画像認
識システムの処理内容について説明する。
【００７５】図１５は、認識フェーズにおける認識処理
部１０２２の処理内容を示すフローチャートである。同
図に示される如く、認識フェーズでは、認識対象となる
顔画像情報について、学習フェーズと同様に、肌色情報
に基づく窓選択（Ｓ１５０１）、エッジ強度に基づく窓
選択（Ｓ１５０２）、明るさの正規化（Ｓ１５０３）を
行う。それぞれの処理の内容については、学習フェーズ
で説明した内容と同一であるので、ここでの詳しい説明
は省略する。
部１０２２の処理内容を示すフローチャートである。同
図に示される如く、認識フェーズでは、認識対象となる
顔画像情報について、学習フェーズと同様に、肌色情報
に基づく窓選択（Ｓ１５０１）、エッジ強度に基づく窓
選択（Ｓ１５０２）、明るさの正規化（Ｓ１５０３）を
行う。それぞれの処理の内容については、学習フェーズ
で説明した内容と同一であるので、ここでの詳しい説明
は省略する。
【００７６】認識フェーズでは、明るさの正規化を行っ
た後、ＫＬ展開（Ｓ１５０４）、最近傍点の探索（Ｓ１
５０５）、及び投票処理（Ｓ１５０６）を行う。
た後、ＫＬ展開（Ｓ１５０４）、最近傍点の探索（Ｓ１
５０５）、及び投票処理（Ｓ１５０６）を行う。
【００７７】この部分の処理内容については、最初にEi
gen-Window法について説明したところで詳述しているの
で、ここでの説明は省略する。
gen-Window法について説明したところで詳述しているの
で、ここでの説明は省略する。
【００７８】以上のような、認識フェーズの処理を行う
ことにより、入力された顔画像に対応する人物の名前、
姿勢等を特定することができる。
ことにより、入力された顔画像に対応する人物の名前、
姿勢等を特定することができる。
【００７９】
【実施例】図１６に、本発明の一実施例における顔画像
認識システムの構成を示す。
認識システムの構成を示す。
【００８０】同図に示されるように、本実施例において
は、本発明の顔画像認識システムは、床に固定された椅
子１６０１、椅子の角度を計測するためのゲージ１６０
２、顔画像撮影用カメラ１６０３、および認識処理を行
うコンピュータ１６０４などから構成されている。
は、本発明の顔画像認識システムは、床に固定された椅
子１６０１、椅子の角度を計測するためのゲージ１６０
２、顔画像撮影用カメラ１６０３、および認識処理を行
うコンピュータ１６０４などから構成されている。
【００８１】学習した範囲内の任意の角度を向く椅子に
腰掛けた人物の顔画像をカメラから取り込み、この入力
された顔画像と、あらかじめ学習画像から作成したモデ
ルとの照合を行うことにより、顔の識別と姿勢同定を行
うことができる。
腰掛けた人物の顔画像をカメラから取り込み、この入力
された顔画像と、あらかじめ学習画像から作成したモデ
ルとの照合を行うことにより、顔の識別と姿勢同定を行
うことができる。
【００８２】まず、学習フェーズでは、学習画像とし
て、５人の人物を撮影用カメラから１２５０ｍｍ離れた
椅子に座らせて、０度（右真横）から１８０度（左真
横）まで３０度おきに撮影した計３５枚の画像を用い
た。図１７は、本実施例において使用した学習画像を示
す図である。
て、５人の人物を撮影用カメラから１２５０ｍｍ離れた
椅子に座らせて、０度（右真横）から１８０度（左真
横）まで３０度おきに撮影した計３５枚の画像を用い
た。図１７は、本実施例において使用した学習画像を示
す図である。
【００８３】撮影時には特別な照明は使用せず、室内灯
のみの環境下で行った。
のみの環境下で行った。
【００８４】取得した画像のサイズは１２０×１６０画
素であり、そのＲＧＢ値を濃淡値画像に変換した後、エ
ッジ強度に基づく窓画像（Ｎ＝１０）選択を行い、ｋ＝
１０次元の固有空間上へ投影した。
素であり、そのＲＧＢ値を濃淡値画像に変換した後、エ
ッジ強度に基づく窓画像（Ｎ＝１０）選択を行い、ｋ＝
１０次元の固有空間上へ投影した。
【００８５】この時の３５枚の学習画像に対する総窓画
像数は３４８５個であった。
像数は３４８５個であった。
【００８６】次に認識フェーズでは、以下に示す三つの
場合のそれぞれに対して、５人の人物を０度から１８０
度まで１５度おきに撮影し、これら計１９５枚の画像
（学習画像と同サイズ）を評価用の入力画像（認識対象
画像）として用いた。図１８に、本実施例の認識フェー
ズで使用した入力画像を示す。
場合のそれぞれに対して、５人の人物を０度から１８０
度まで１５度おきに撮影し、これら計１９５枚の画像
（学習画像と同サイズ）を評価用の入力画像（認識対象
画像）として用いた。図１８に、本実施例の認識フェー
ズで使用した入力画像を示す。
【００８７】第１の実施例として、カメラ設置位置を１
２０ｍｍ移動し、相対的に画像中の顔位置を移動させた
画像を入力した場合（６５枚）、第２の実施例として、
被撮影者が口元を手で覆い隠した画像を入力した場合
（６５枚）、及び第３の実施例として、学習画像と異な
る複雑な背景を含む画像を入力した場合（６５枚）のそ
れぞれについての、実施の結果を図１９および図２０に
示す。
２０ｍｍ移動し、相対的に画像中の顔位置を移動させた
画像を入力した場合（６５枚）、第２の実施例として、
被撮影者が口元を手で覆い隠した画像を入力した場合
（６５枚）、及び第３の実施例として、学習画像と異な
る複雑な背景を含む画像を入力した場合（６５枚）のそ
れぞれについての、実施の結果を図１９および図２０に
示す。
【００８８】図１９に示された数字は、顔の姿勢に関わ
らず、入力画像中に含まれる人物を正しく特定できた場
合を正解とした個人識別率を表している。また、図２０
に示された数字は、顔の姿及び入力画像中に含まれる人
物を正しく特定できた場合を正解とした個人識別／姿勢
特定率を表している。
らず、入力画像中に含まれる人物を正しく特定できた場
合を正解とした個人識別率を表している。また、図２０
に示された数字は、顔の姿及び入力画像中に含まれる人
物を正しく特定できた場合を正解とした個人識別／姿勢
特定率を表している。
【００８９】尚、いずれの場合も、比較のため、固有空
間法を用いた場合の個人識別率を下段に示している。
間法を用いた場合の個人識別率を下段に示している。
【００９０】このように、本発明のに係る顔画像認識シ
ステムは、従来の固有空間法に基づく同様のシステムと
比較して、対象の位置ずれ、隠れ、背景ノイズが存在す
る場合においても、識別率が向上することが確認され
た。
ステムは、従来の固有空間法に基づく同様のシステムと
比較して、対象の位置ずれ、隠れ、背景ノイズが存在す
る場合においても、識別率が向上することが確認され
た。
【００９１】
【発明の効果】以上に説明したように、本発明に係る顔
画像認識システムは、従来の固有空間法が有していた、
位置ずれに弱い等の欠点を克服したEigen-Window法に基
づく顔画像認識手法を用いるため、認識対象画像が対象
の位置ずれや隠れ、背景ノイズを含む場合、また複数の
顔が画像内に存在する場合などにも対応することが可能
な顔画像認識システムを実現することができるという効
果を奏する。
画像認識システムは、従来の固有空間法が有していた、
位置ずれに弱い等の欠点を克服したEigen-Window法に基
づく顔画像認識手法を用いるため、認識対象画像が対象
の位置ずれや隠れ、背景ノイズを含む場合、また複数の
顔が画像内に存在する場合などにも対応することが可能
な顔画像認識システムを実現することができるという効
果を奏する。
【００９２】また、ＨＳＩ変換した後のＨｕｅ値を用い
て、顔に相当する肌色領域に対してのみから窓画像を選
択するため、顔の部分以外の部分に位置する窓画像に対
する処理を極力排除でき、結果的に、外乱を含む画像に
対しても認識率を向上させるとともに、認識フェーズに
おける処理速度を向上させることができるという効果が
ある。
て、顔に相当する肌色領域に対してのみから窓画像を選
択するため、顔の部分以外の部分に位置する窓画像に対
する処理を極力排除でき、結果的に、外乱を含む画像に
対しても認識率を向上させるとともに、認識フェーズに
おける処理速度を向上させることができるという効果が
ある。
【００９３】さらに、各窓画像ごとに明るさの正規化処
理を施すため、画像全体の明るさが均一に変動した場合
だけでなく、影などにより局所的に明るさが変動する場
合においても、安定な顔画像認識が可能になるという効
果がある。
理を施すため、画像全体の明るさが均一に変動した場合
だけでなく、影などにより局所的に明るさが変動する場
合においても、安定な顔画像認識が可能になるという効
果がある。
【図１】 本発明の一実施の形態に係る顔画像認識シス
テムの全体構成を示すブロック図である。
テムの全体構成を示すブロック図である。
【図２】 Eigen-Window法の学習フェーズにおける処理
過程の概略を示す図である。
過程の概略を示す図である。
【図３】 窓選択について説明するための図である。
【図４】 学習窓画像対応点の様子を表す図である。
【図５】 Eigen-Window法の認識フェーズにおける処理
過程の概略を示す図である。
過程の概略を示す図である。
【図６】 最近傍点の探索処理における固有空間の様子
を具体的に示す図である。
を具体的に示す図である。
【図７】 投票空間の様子を具体的に示す図である。
【図８】 初期設定処理における認識処理部の処理内容
を示すフローチャートである。
を示すフローチャートである。
【図９】 初期設定処理において用いられるサンプル画
像の一例を示す図である。
像の一例を示す図である。
【図１０】 ＨＳＩ空間における肌色領域の抽出につい
て、具体的に説明するための図である。
て、具体的に説明するための図である。
【図１１】 学習フェーズにおける認識処理部の処理内
容を示すフローチャートである。
容を示すフローチャートである。
【図１２】 肌色情報に基づく窓選択の詳細な処理内容
を示すフローチャートである。
を示すフローチャートである。
【図１３】（ａ） 一致度マップの内容を具体的に説明
するための図である。 （ｂ） 選択された窓画像候補点の内容を具体的に示す
図である。
するための図である。 （ｂ） 選択された窓画像候補点の内容を具体的に示す
図である。
【図１４】 明るさの正規化処理の詳細な処理内容を示
すフローチャートである。
すフローチャートである。
【図１５】 認識フェーズにおける認識処理部の処理内
容を示すフローチャートである。
容を示すフローチャートである。
【図１６】 本発明の一実施例における顔画像認識シス
テムの構成を示す図である。
テムの構成を示す図である。
【図１７】 本実施例の学習フェーズにおいて使用した
学習画像を示す図である。
学習画像を示す図である。
【図１８】 本実施例の認識フェーズにおいて使用した
入力画像を示す図である。
入力画像を示す図である。
【図１９】 本実施例において、顔の姿勢に関わらず、
入力画像中に含まれる人物を正しく特定できた場合を正
解とした個人識別率を表す図である。
入力画像中に含まれる人物を正しく特定できた場合を正
解とした個人識別率を表す図である。
【図２０】 本実施例において、顔の姿及び入力画像中
に含まれる人物を正しく特定できた場合を正解とした個
人識別／姿勢特定率を表す図である。
に含まれる人物を正しく特定できた場合を正解とした個
人識別／姿勢特定率を表す図である。
１０１ 入力部 １０２ 制御部 １０２１ 入力処理部 １０２２ 認識処理部 １０２３ 表示処理部 １０３ モデル画像格納部 １０４ 出力部
Claims (5)
- 【請求項１】 顔画像情報を取り込む顔画像情報入力手
段と、前記顔画像情報入力手段が取り込んだ顔画像情報
を変換する顔画像情報変換手段と、前記顔画像情報変換
手段により変換された情報を記憶するモデル画像記憶手
段と、前記顔画像情報変換手段により変換された情報
と、前記モデル画像記憶手段に記憶されている情報とを
照合する照合手段とを備える顔画像認識システムにおい
て、前記顔画像情報変換手段は、前記顔画像情報入力手
段が取り込んだ顔画像情報から特徴的な小領域を選択
し、選択された各小領域に含まれる情報を固有空間に投
影した点集合に変換することを特徴とする顔画像認識シ
ステム。 - 【請求項２】 前記モデル画像記憶手段は、人物の顔を
複数の視点から撮影した複数の顔画像情報について、そ
れぞれ前記顔画像情報変換手段により変換した情報を記
憶する請求項１記載の顔画像認識システム。 - 【請求項３】 前記モデル画像記憶手段は、複数の人物
について、前記変換した情報を記憶する請求項２記載の
顔画像認識システム。 - 【請求項４】 前記顔画像情報変換手段はさらに、顔画
像情報から人間の顔の部分に該当する情報を抽出する抽
出手段を有し、前記顔画像情報入力手段がとり込んだ顔
画像情報から特徴的な小領域を選択する際に、前記抽出
手段により抽出された情報から前記小領域を選択する請
求項１記載の顔画像認識システム。 - 【請求項５】 前記顔画像情報変換手段は、前記特徴的
な小領域を選択した後、当該選択された小領域の画素値
を要素とする窓画像ベクトルに対して、明るさの正規化
処理を施す請求項１又は４記載の顔画像認識システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23930797A JP3577908B2 (ja) | 1997-09-04 | 1997-09-04 | 顔画像認識システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23930797A JP3577908B2 (ja) | 1997-09-04 | 1997-09-04 | 顔画像認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1185988A true JPH1185988A (ja) | 1999-03-30 |
| JP3577908B2 JP3577908B2 (ja) | 2004-10-20 |
Family
ID=17042777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23930797A Expired - Fee Related JP3577908B2 (ja) | 1997-09-04 | 1997-09-04 | 顔画像認識システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577908B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339477A (ja) * | 1999-04-29 | 2000-12-08 | Mitsubishi Electric Inf Technol Center Europ Bv | 物体を表現する方法、物体を探索する方法、並びに物体を表現又は探索する装置、コンピュータプログラム、コンピュータシステム、及びコンピュータ読取り可能な記憶媒体 |
| JP2004164651A (ja) * | 2003-11-25 | 2004-06-10 | Hitachi Ltd | 個人認証装置 |
| US6888955B2 (en) | 2000-04-25 | 2005-05-03 | Fujitsu Limited | Picture recognition apparatus and method |
| WO2006014097A1 (fr) * | 2004-08-04 | 2006-02-09 | Daulet Kulenov | Procede de determination automatique de la conformite d'une image normalisee numerisee electronique avec une image d'un visage |
| JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US7671977B2 (en) | 2000-09-20 | 2010-03-02 | Hitachi, Ltd. | Personal identification system |
| US8027522B2 (en) | 2002-02-27 | 2011-09-27 | Nec Corporation | Image recognition system and recognition method thereof and program |
| US8384885B2 (en) | 2000-09-20 | 2013-02-26 | Hitachi, Ltd. | Personal identification system |
| US8401308B2 (en) | 2006-06-19 | 2013-03-19 | Sony Corporation | Information processing device, information processing method, and program |
| JP2013168171A (ja) * | 2013-04-24 | 2013-08-29 | Hitachi Ltd | 生体画像撮影装置 |
| JP2017033372A (ja) * | 2015-08-04 | 2017-02-09 | 日本放送協会 | 人物認識装置及びそのプログラム |
| KR20180125756A (ko) * | 2017-05-16 | 2018-11-26 | 전주대학교 산학협력단 | 감정인식 인터페이스 장치 |
-
1997
- 1997-09-04 JP JP23930797A patent/JP3577908B2/ja not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002543526A (ja) * | 1999-04-29 | 2002-12-17 | ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ | 形状を利用してオブジェクトを表現しかつ検索する方法と装置 |
| JP2000339477A (ja) * | 1999-04-29 | 2000-12-08 | Mitsubishi Electric Inf Technol Center Europ Bv | 物体を表現する方法、物体を探索する方法、並びに物体を表現又は探索する装置、コンピュータプログラム、コンピュータシステム、及びコンピュータ読取り可能な記憶媒体 |
| JP2010055651A (ja) * | 1999-04-29 | 2010-03-11 | Mitsubishi Electric R&D Centre Europe Bv | 形状を利用してオブジェクトを表現しかつ検索する方法と装置 |
| US7769248B2 (en) | 1999-04-29 | 2010-08-03 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for representing and searching for an object using shape |
| US7877414B2 (en) | 1999-04-29 | 2011-01-25 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for representing and searching for an object using shape |
| JP2011096286A (ja) * | 1999-04-29 | 2011-05-12 | Mitsubishi Electric R&D Centre Europe Bv | 画像または画像シーケンス内のオブジェクトを検索する方法と装置 |
| US6888955B2 (en) | 2000-04-25 | 2005-05-03 | Fujitsu Limited | Picture recognition apparatus and method |
| US8149393B2 (en) | 2000-09-20 | 2012-04-03 | Hitachi, Ltd. | Personal identification system |
| US8767195B2 (en) | 2000-09-20 | 2014-07-01 | Hitachi, Ltd. | Personal identification system |
| US8384885B2 (en) | 2000-09-20 | 2013-02-26 | Hitachi, Ltd. | Personal identification system |
| US7671977B2 (en) | 2000-09-20 | 2010-03-02 | Hitachi, Ltd. | Personal identification system |
| US7864306B2 (en) | 2000-09-20 | 2011-01-04 | Hitachi, Ltd. | Personal identification system |
| JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| US8027522B2 (en) | 2002-02-27 | 2011-09-27 | Nec Corporation | Image recognition system and recognition method thereof and program |
| JP2004164651A (ja) * | 2003-11-25 | 2004-06-10 | Hitachi Ltd | 個人認証装置 |
| WO2006014097A1 (fr) * | 2004-08-04 | 2006-02-09 | Daulet Kulenov | Procede de determination automatique de la conformite d'une image normalisee numerisee electronique avec une image d'un visage |
| US8401308B2 (en) | 2006-06-19 | 2013-03-19 | Sony Corporation | Information processing device, information processing method, and program |
| JP2013168171A (ja) * | 2013-04-24 | 2013-08-29 | Hitachi Ltd | 生体画像撮影装置 |
| JP2017033372A (ja) * | 2015-08-04 | 2017-02-09 | 日本放送協会 | 人物認識装置及びそのプログラム |
| KR20180125756A (ko) * | 2017-05-16 | 2018-11-26 | 전주대학교 산학협력단 | 감정인식 인터페이스 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3577908B2 (ja) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7876931B2 (en) | Face recognition system and method | |
| Colombo et al. | 3D face detection using curvature analysis | |
| Bronstein et al. | Three-dimensional face recognition | |
| US6404900B1 (en) | Method for robust human face tracking in presence of multiple persons | |
| US6181805B1 (en) | Object image detecting method and system | |
| JP4860472B2 (ja) | 画像認識 | |
| KR0158038B1 (ko) | 개인식별장치 | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| EP1223540A2 (en) | Method and apparatus for collating object | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| KR20120069922A (ko) | 얼굴 인식 장치 및 그 방법 | |
| WO1999006940A9 (en) | A method and apparatus for personnel detection and tracking | |
| KR20160066380A (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
| JPWO2005027048A1 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JPWO2008018398A1 (ja) | オブジェクト領域抽出装置 | |
| EP1495437B1 (en) | Robust face registration via multiple face prototypes synthesis | |
| JP4803214B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| JP2000322577A (ja) | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 | |
| JPH07302327A (ja) | 物体画像検出方法及び検出装置 | |
| JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| JP2003263639A (ja) | 顔画像認識装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |