JPH103548A - 顔画像認識装置 - Google Patents
顔画像認識装置Info
- Publication number
- JPH103548A JPH103548A JP17725696A JP17725696A JPH103548A JP H103548 A JPH103548 A JP H103548A JP 17725696 A JP17725696 A JP 17725696A JP 17725696 A JP17725696 A JP 17725696A JP H103548 A JPH103548 A JP H103548A
- Authority
- JP
- Japan
- Prior art keywords
- model
- face
- vector
- feature
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 入力顔画像がデータベースに登録しているど
のモデル顔の人物のものかを認識する顔画像認識装置を
提供する。 【解決手段】 入力顔にマッチするモデル顔を段階的に
絞り込むために、第１のモデル限定手段４及び第２のモ
デル限定手段８と、第１のモデル選択手段７及び第２の
モデル選択手段９と、モデル毎に最適な固有空間を計算
・保持する固有空間保持手段５とを有する。そして、第
一段階のモデル選択（第１のモデル選択手段）によって
入力画像にマッチする尤もらしいモデルの候補を絞りこ
み、続いて、その中から第二段階の選択によって第一段
階とは異った特徴抽出を用いて最終的な認識を行なう。
これにより、登録モデル画像数の大きい大規模なシステ
ムに於いても正答率の低下を招かない。
のモデル顔の人物のものかを認識する顔画像認識装置を
提供する。 【解決手段】 入力顔にマッチするモデル顔を段階的に
絞り込むために、第１のモデル限定手段４及び第２のモ
デル限定手段８と、第１のモデル選択手段７及び第２の
モデル選択手段９と、モデル毎に最適な固有空間を計算
・保持する固有空間保持手段５とを有する。そして、第
一段階のモデル選択（第１のモデル選択手段）によって
入力画像にマッチする尤もらしいモデルの候補を絞りこ
み、続いて、その中から第二段階の選択によって第一段
階とは異った特徴抽出を用いて最終的な認識を行なう。
これにより、登録モデル画像数の大きい大規模なシステ
ムに於いても正答率の低下を招かない。
Description
【０００１】
【発明の属する技術分野】本発明は人物顔を用いたＩＤ
システム、免許証・パスポート携帯者の認証、マンマシ
ンインターフェースやセキュリティーのためのユーザ同
定、あるいは、低ビットレート画像通信のための情報圧
縮に用いられる顔画像認識装置に関し、特に第一段階の
モデル選択（第１のモデル選択手段）によって入力画像
にマッチする尤もらしいモデルの候補を絞りこみ、続い
て、その中から第二段階の選択によって第一段階とは異
った特徴抽出を用いて最終的な認識を行なう顔画像認識
装置に関するものである。
システム、免許証・パスポート携帯者の認証、マンマシ
ンインターフェースやセキュリティーのためのユーザ同
定、あるいは、低ビットレート画像通信のための情報圧
縮に用いられる顔画像認識装置に関し、特に第一段階の
モデル選択（第１のモデル選択手段）によって入力画像
にマッチする尤もらしいモデルの候補を絞りこみ、続い
て、その中から第二段階の選択によって第一段階とは異
った特徴抽出を用いて最終的な認識を行なう顔画像認識
装置に関するものである。
【０００２】
【従来の技術】画像データは（例えば 縦 M X 横 N 画
素の濃淡画像）は、各画素を一つの独立した座標軸とし
て扱い、その座標の値をその画素の濃淡値として表現す
れば、M X N 次元のベクトルで完全に表現できる（例え
ば、100 X 100 ならば 10000次元）。
素の濃淡画像）は、各画素を一つの独立した座標軸とし
て扱い、その座標の値をその画素の濃淡値として表現す
れば、M X N 次元のベクトルで完全に表現できる（例え
ば、100 X 100 ならば 10000次元）。
【０００３】従って、もし L (L > 10000) 枚の入力画
像が互いに無相関であれば、この L枚の画像情報を表現
するには 10000次元の空間が必要となる。ところが、最
近の研究によって、人物顔の場合は非常に少ない次元の
空間でほとんどの顔を表現することができることが知ら
れるようになった。
像が互いに無相関であれば、この L枚の画像情報を表現
するには 10000次元の空間が必要となる。ところが、最
近の研究によって、人物顔の場合は非常に少ない次元の
空間でほとんどの顔を表現することができることが知ら
れるようになった。
【０００４】これは、一般の画像の場合に比べて、人物
の顔が互いにかなり似ている（目、鼻、口などを共通に
有し、かつおおよそよく似た位置関係を有するなど）と
いう事実に由来する。例えば、文献 「M.Kirby and L.S
irovich "Application of the Karhunen-Loeve procedu
re for the characterization of human faces" IEEETr
ans. on Pattern Analysis and Machine Intelligence,
vol.12,no.1 1990」にはこれらに関する議論が詳しく述
べられている。
の顔が互いにかなり似ている（目、鼻、口などを共通に
有し、かつおおよそよく似た位置関係を有するなど）と
いう事実に由来する。例えば、文献 「M.Kirby and L.S
irovich "Application of the Karhunen-Loeve procedu
re for the characterization of human faces" IEEETr
ans. on Pattern Analysis and Machine Intelligence,
vol.12,no.1 1990」にはこれらに関する議論が詳しく述
べられている。
【０００５】顔画像の認識方式として良く知られたＫＬ
展開方式は、この顔画像一般の性質に着目し、ＫＬ展開
を用いて顔画像から特徴を抽出し認識する方式で文献
「Matthew A.Turk and Alex P.Pentland "Face Recogni
tion Using Eigenfaces" CVPR'91 (Proc. IEEE Conf. o
n Computer Vision and Pattern Recognition 1991)」
に詳しく述べられている。
展開方式は、この顔画像一般の性質に着目し、ＫＬ展開
を用いて顔画像から特徴を抽出し認識する方式で文献
「Matthew A.Turk and Alex P.Pentland "Face Recogni
tion Using Eigenfaces" CVPR'91 (Proc. IEEE Conf. o
n Computer Vision and Pattern Recognition 1991)」
に詳しく述べられている。
【０００６】入出力に多少の違いはあれ、顔画像の認識
とは、モデルとなる顔画像を予めデータベースに登録し
ておき、入力画像がどのモデルデータの人物のものが最
も良く類似しているかを認定するものであると定義でき
る。
とは、モデルとなる顔画像を予めデータベースに登録し
ておき、入力画像がどのモデルデータの人物のものが最
も良く類似しているかを認定するものであると定義でき
る。
【０００７】ＫＬ展開法をこの観点で見ると、上に述べ
たことに基づいて入力顔画像 I 及び、モデル画像 M を
以下の数式７に示す通り、P個の基底ベクトル Ei (i=
1...P)の線形結合で近似し、近似データ間で照合をとる
ものである。
たことに基づいて入力顔画像 I 及び、モデル画像 M を
以下の数式７に示す通り、P個の基底ベクトル Ei (i=
1...P)の線形結合で近似し、近似データ間で照合をとる
ものである。
【数７】
【０００８】ＫＬ法は、この基底ベクトルとして、W 個
の教示顔画像データから得られる共分散行列の固有値の
大きいものからP 個（例えば100個程度）のものに対応
する固有ベクトルを用いる。
の教示顔画像データから得られる共分散行列の固有値の
大きいものからP 個（例えば100個程度）のものに対応
する固有ベクトルを用いる。
【０００９】この表現法を用いれば、画像の情報内容の
損失を最小限に抑えながら、画像の表現空間をM X N (=
10000)次元からP(=100)次元程度に縮小できるので、従
来画像圧縮などに有効な技術として知られておりＫＬ展
開と呼ばれる。このＫＬ展開にはその情報圧縮に関わる
性質以外の特徴抽出の効果として、その基底ベクトルに
よって張られる空間（これを固有顔空間と呼ぶ）では、
「射影された教示データが最もよく分離される、即ち、
区別しやすくなる」という特性を有している。
損失を最小限に抑えながら、画像の表現空間をM X N (=
10000)次元からP(=100)次元程度に縮小できるので、従
来画像圧縮などに有効な技術として知られておりＫＬ展
開と呼ばれる。このＫＬ展開にはその情報圧縮に関わる
性質以外の特徴抽出の効果として、その基底ベクトルに
よって張られる空間（これを固有顔空間と呼ぶ）では、
「射影された教示データが最もよく分離される、即ち、
区別しやすくなる」という特性を有している。
【００１０】実際、前掲の文献でMatthew A.Turk and A
lex P.Pentlandにより提案されたものでは教示データの
人物集合と登録データの人物集合は同一であり、教示デ
ータに用いられた人物の顔を新たに撮影して入力画像と
する実験でかなり良好な認識結果が得られている。
lex P.Pentlandにより提案されたものでは教示データの
人物集合と登録データの人物集合は同一であり、教示デ
ータに用いられた人物の顔を新たに撮影して入力画像と
する実験でかなり良好な認識結果が得られている。
【００１１】図２は前掲の文献でMatthew A.Turk and A
lex P.Pentlandにより提案された従来の顔画像認識装置
の構成を示すものであり、以下にその顔画像認識装置の
動作を説明する。
lex P.Pentlandにより提案された従来の顔画像認識装置
の構成を示すものであり、以下にその顔画像認識装置の
動作を説明する。
【００１２】図２において、ＫＬ展開ユニット21は、第
１の特徴抽出手段及び第２の特徴抽出手段を兼ね、まず
ＫＬ展開法を用いて、モデル画像メモリ22に記憶されて
いる各モデル画像から特徴抽出を行ない、特徴ベクトル
をモデル特徴ベクトルメモリ23に記憶する。以上はオフ
ラインのプロセスで行なわれる。
１の特徴抽出手段及び第２の特徴抽出手段を兼ね、まず
ＫＬ展開法を用いて、モデル画像メモリ22に記憶されて
いる各モデル画像から特徴抽出を行ない、特徴ベクトル
をモデル特徴ベクトルメモリ23に記憶する。以上はオフ
ラインのプロセスで行なわれる。
【００１３】オンラインでは、カメラから取り込まれ対
象画像メモリ24に保持された入力画像がＫＬ展開ユニッ
ト21に転送され、モデル顔画像と同様に特徴ベクトルが
抽出される。
象画像メモリ24に保持された入力画像がＫＬ展開ユニッ
ト21に転送され、モデル顔画像と同様に特徴ベクトルが
抽出される。
【００１４】次に、モデル選択ユニット25がこの入力対
象顔の特徴ベクトルに最も類似した特徴ベクトルを有す
るモデルをモデル特徴ベクトルメモリ23の内容と照合す
ることで見い出す。すなわち、図示されていない固有空
間メモリに記憶されている基底ベクトル（基底ベクトル
として、ＫＬ法は、W 個の教示顔画像データから得られ
る共分散行列の固有値の大きいものからP 個（例えば10
0個程度）のものに対応する固有ベクトルを用いること
については上述した。）を用いて、各モデル顔ベクトル
及び、入力対象顔ベクトルを固有空間に射影し（特徴抽
出し）、固有空間での座標を得て、類似度の評価を行な
うことによって、顔画像認識の出力を得る。この際の類
似度の評価には以下の数式１０を用い、これを最小にす
るものを検出する。
象顔の特徴ベクトルに最も類似した特徴ベクトルを有す
るモデルをモデル特徴ベクトルメモリ23の内容と照合す
ることで見い出す。すなわち、図示されていない固有空
間メモリに記憶されている基底ベクトル（基底ベクトル
として、ＫＬ法は、W 個の教示顔画像データから得られ
る共分散行列の固有値の大きいものからP 個（例えば10
0個程度）のものに対応する固有ベクトルを用いること
については上述した。）を用いて、各モデル顔ベクトル
及び、入力対象顔ベクトルを固有空間に射影し（特徴抽
出し）、固有空間での座標を得て、類似度の評価を行な
うことによって、顔画像認識の出力を得る。この際の類
似度の評価には以下の数式１０を用い、これを最小にす
るものを検出する。
【数１０】
【００１５】
【発明が解決しようとする課題】しかし、前掲の文献で
Matthew A.Turk and Alex P.Pentlandにより提案された
従来の方法には以下のような理由で実現できるシステム
規模が小さいという問題があった。すなわち、教示デー
タの人物をモデルデータのそれと一致させることでＫＬ
展開のメリットを最大限発揮させるという方針をとる
と、たとえ教示データ数を増やしたとしても得られる有
効な固有ベクトルの数には、先に述べたような理由で上
限があるため、モデルデータ（登録人物）の数を増加さ
せていくと固有顔空間での特徴ベクトルの分布は過密に
なってゆき、その結果認識能力が低下する。従って、登
録できる（即ち認識できる）人物の数には限界があり、
大規模なシステムは実現できないという問題があった。
Matthew A.Turk and Alex P.Pentlandにより提案された
従来の方法には以下のような理由で実現できるシステム
規模が小さいという問題があった。すなわち、教示デー
タの人物をモデルデータのそれと一致させることでＫＬ
展開のメリットを最大限発揮させるという方針をとる
と、たとえ教示データ数を増やしたとしても得られる有
効な固有ベクトルの数には、先に述べたような理由で上
限があるため、モデルデータ（登録人物）の数を増加さ
せていくと固有顔空間での特徴ベクトルの分布は過密に
なってゆき、その結果認識能力が低下する。従って、登
録できる（即ち認識できる）人物の数には限界があり、
大規模なシステムは実現できないという問題があった。
【００１６】
【課題を解決するための手段】前記の問題を解決するた
め本発明では、入力顔と照合すべきモデル顔のセットを
段階的に絞りこんでいくための構成をとる。すなわち、
たとえデータベースの規模が大きくなったとしても、各
段階で照合すべきモデル顔のセットを正解を漏らすこと
なく限定できれば、問題はデータベースが小規模な場合
と類似するため認識率にさほど影響を与えない。
め本発明では、入力顔と照合すべきモデル顔のセットを
段階的に絞りこんでいくための構成をとる。すなわち、
たとえデータベースの規模が大きくなったとしても、各
段階で照合すべきモデル顔のセットを正解を漏らすこと
なく限定できれば、問題はデータベースが小規模な場合
と類似するため認識率にさほど影響を与えない。
【００１７】そのため、本発明では各モデル顔画像おの
おのに対して、その抽出された特徴ベクトルとの変動
が、ある一定の条件を満足する特徴ベクトルを有するモ
デルの集合を取り出す第１、及び第２のモデル限定手段
と、各モデル顔画像おのおのに対して、第１のモデル限
定手段が選んだモデルの集合に対し数式１で定義される
散在性評価行列の固有値の最大のものからＮ番目までの
ものとそれに対応する固有ベクトルを計算し、これを各
モデル毎に保持するモデル固有空間保持手段と、第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、第１のモデル選択手段が、第一段階の候補として
選択したモデル顔ベクトル M に対して前記モデル固有
空間保持手段に保持されているＮ個の固有ベクトルEj
(j=1..N) によって張られる空間に数式２に従って射影
して得られる点 m の、同一の空間に同一の手順に従っ
て射影された対象顔ベクトル I の点 i からの変動が最
小のモデル顔ベクトルを選択する第２のモデル選択手段
とを有するようにしたものである。
おのに対して、その抽出された特徴ベクトルとの変動
が、ある一定の条件を満足する特徴ベクトルを有するモ
デルの集合を取り出す第１、及び第２のモデル限定手段
と、各モデル顔画像おのおのに対して、第１のモデル限
定手段が選んだモデルの集合に対し数式１で定義される
散在性評価行列の固有値の最大のものからＮ番目までの
ものとそれに対応する固有ベクトルを計算し、これを各
モデル毎に保持するモデル固有空間保持手段と、第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、第１のモデル選択手段が、第一段階の候補として
選択したモデル顔ベクトル M に対して前記モデル固有
空間保持手段に保持されているＮ個の固有ベクトルEj
(j=1..N) によって張られる空間に数式２に従って射影
して得られる点 m の、同一の空間に同一の手順に従っ
て射影された対象顔ベクトル I の点 i からの変動が最
小のモデル顔ベクトルを選択する第２のモデル選択手段
とを有するようにしたものである。
【００１８】
【発明の実施の形態】本発明の請求項１記載の発明は、
モデル顔画像（モデル顔ベクトルとも呼ぶ）を入力する
モデル顔画像入力手段と、モデル顔画像から特徴を抽出
する第１の特徴抽出手段と、前記モデル顔画像から入力
された顔画像から前記第１の特徴抽出手段を用いて特徴
抽出した結果を保持する第１のモデル特徴ベクトル保持
手段と、各モデル顔画像おのおのに対してその特徴ベク
トルとの変動が、ある一定の条件を満足する特徴ベクト
ルを有するモデルの集合を取り出す第１、及び第２のモ
デル限定手段と、各モデル顔画像毎に、前記第１のモデ
ル限定手段が限定したモデル顔の集合に対して数式１で
定義される散在性評価行列の固有値の最大のものからＮ
番目までのものとそれに対応する固有ベクトルを計算
し、これを各モデル毎に保持するモデル固有空間保持手
段と、認識すべき対象顔画像（対象顔ベクトルとも呼
ぶ）を入力する対象顔画像入力手段と、顔画像から特徴
を抽出する第２の特徴抽出手段と、前記対象画像入力手
段から入力された対象顔画像から前記第２の特徴抽出手
段によって抽出された特徴ベクトルを保持する第１の対
象画像特徴ベクトル保持手段と、前記モデル顔画像入力
手段から入力されたおのおののモデル顔画像から前記第
２の特徴抽出手段によって抽出された特徴ベクトルを保
持する第２のモデル特徴ベクトル保持手段と、前記第１
の対象画像特徴ベクトル保持手段に保持された特徴ベク
トルに対して、第２のモデル特徴ベクトル保持手段に保
持されたモデル特徴ベクトルの中で対象画像特徴ベクト
ルからの変動が最も小さいものを見いだす第１のモデル
選択手段と、前記第１のモデル選択手段が選択したモデ
ル顔ベクトルに対して前記第２のモデル限定手段によっ
て限定されたモデル顔ベクトル M の中で、前記モデル
固有空間保持手段に保持されているＮ個の固有ベクトル
Ej (j=1..N) によって張られる空間に数式２に従って射
影して得られる点 m の、同一の固有空間に同じく前記
数式２に従って射影された対象顔ベクトル I の点 i か
らの変動が最小のモデル顔ベクトルを選択する第２のモ
デル選択手段を具備することを特徴とする顔画像認識装
置としたものである。
モデル顔画像（モデル顔ベクトルとも呼ぶ）を入力する
モデル顔画像入力手段と、モデル顔画像から特徴を抽出
する第１の特徴抽出手段と、前記モデル顔画像から入力
された顔画像から前記第１の特徴抽出手段を用いて特徴
抽出した結果を保持する第１のモデル特徴ベクトル保持
手段と、各モデル顔画像おのおのに対してその特徴ベク
トルとの変動が、ある一定の条件を満足する特徴ベクト
ルを有するモデルの集合を取り出す第１、及び第２のモ
デル限定手段と、各モデル顔画像毎に、前記第１のモデ
ル限定手段が限定したモデル顔の集合に対して数式１で
定義される散在性評価行列の固有値の最大のものからＮ
番目までのものとそれに対応する固有ベクトルを計算
し、これを各モデル毎に保持するモデル固有空間保持手
段と、認識すべき対象顔画像（対象顔ベクトルとも呼
ぶ）を入力する対象顔画像入力手段と、顔画像から特徴
を抽出する第２の特徴抽出手段と、前記対象画像入力手
段から入力された対象顔画像から前記第２の特徴抽出手
段によって抽出された特徴ベクトルを保持する第１の対
象画像特徴ベクトル保持手段と、前記モデル顔画像入力
手段から入力されたおのおののモデル顔画像から前記第
２の特徴抽出手段によって抽出された特徴ベクトルを保
持する第２のモデル特徴ベクトル保持手段と、前記第１
の対象画像特徴ベクトル保持手段に保持された特徴ベク
トルに対して、第２のモデル特徴ベクトル保持手段に保
持されたモデル特徴ベクトルの中で対象画像特徴ベクト
ルからの変動が最も小さいものを見いだす第１のモデル
選択手段と、前記第１のモデル選択手段が選択したモデ
ル顔ベクトルに対して前記第２のモデル限定手段によっ
て限定されたモデル顔ベクトル M の中で、前記モデル
固有空間保持手段に保持されているＮ個の固有ベクトル
Ej (j=1..N) によって張られる空間に数式２に従って射
影して得られる点 m の、同一の固有空間に同じく前記
数式２に従って射影された対象顔ベクトル I の点 i か
らの変動が最小のモデル顔ベクトルを選択する第２のモ
デル選択手段を具備することを特徴とする顔画像認識装
置としたものである。
【００１９】そして、その動作は、まずモデル顔画像入
力手段から認識すべきモデル顔画像（モデル顔ベクト
ル）をデータベースに入力すると、第１の特徴抽出手段
が画像から特徴を抽出し第１のモデル特徴ベクトル保持
手段にその結果（特徴データ）を保持する。
力手段から認識すべきモデル顔画像（モデル顔ベクト
ル）をデータベースに入力すると、第１の特徴抽出手段
が画像から特徴を抽出し第１のモデル特徴ベクトル保持
手段にその結果（特徴データ）を保持する。
【００２０】この特徴抽出結果を使って、第１及び第２
のモデル限定手段が各モデル顔おのおのに対して特徴ベ
クトルの変動（異なり方）がある一定の条件を満足する
他のモデルの集合を取り出す。
のモデル限定手段が各モデル顔おのおのに対して特徴ベ
クトルの変動（異なり方）がある一定の条件を満足する
他のモデルの集合を取り出す。
【００２１】第１のモデル限定手段は後出の各モデル毎
に保持する固有空間の計算に用いるモデルを限定すると
いう役割を担い、また、第２のモデル限定手段は入力デ
ータ（対象顔ベクトル）に対して照合の対象とすべきモ
デル顔ベクトルの集合を限定するという役割を担う。
に保持する固有空間の計算に用いるモデルを限定すると
いう役割を担い、また、第２のモデル限定手段は入力デ
ータ（対象顔ベクトル）に対して照合の対象とすべきモ
デル顔ベクトルの集合を限定するという役割を担う。
【００２２】固有空間保持手段は、各モデル毎に第１の
モデル限定手段が限定したモデルの集合に対して次式１
モデル限定手段が限定したモデルの集合に対して次式１
【数１】 で定義される散在性評価行列の固有値の最大のものから
Ｎ番目までのものとそれに対応する固有ベクトルを計算
し、これを各モデル毎に保持する。以上の処理はオフラ
インで行なわれる。
Ｎ番目までのものとそれに対応する固有ベクトルを計算
し、これを各モデル毎に保持する。以上の処理はオフラ
インで行なわれる。
【００２３】固有空間保持手段に保持される固有ベクト
ル及び、固有値は顔画像の認識のオンラインプロセスに
おいて入力画像からの特徴抽出のために用いられる。
ル及び、固有値は顔画像の認識のオンラインプロセスに
おいて入力画像からの特徴抽出のために用いられる。
【００２４】認識すべき対象画像は対象顔画像入力手段
から入力されると、第２の特徴抽出手段によって特徴抽
出が行なわれ第１の対象画像特徴ベクトル保持手段に特
徴量が保持される。モデル顔画像入力手段から入力され
たモデル顔画像に対しても同じく第２の特徴抽出手段に
よってそれぞれ特徴抽出が行なわれ特徴量が第２のモデ
ル特徴ベクトル保持手段に保持される（この処理はオフ
ラインで行なわれる）。
から入力されると、第２の特徴抽出手段によって特徴抽
出が行なわれ第１の対象画像特徴ベクトル保持手段に特
徴量が保持される。モデル顔画像入力手段から入力され
たモデル顔画像に対しても同じく第２の特徴抽出手段に
よってそれぞれ特徴抽出が行なわれ特徴量が第２のモデ
ル特徴ベクトル保持手段に保持される（この処理はオフ
ラインで行なわれる）。
【００２５】続いて、対象画像から抽出され第１の対象
画像特徴ベクトル保持手段に保持された特徴ベクトルに
最もよく類似した（第２のモデル特徴ベクトル保持手段
に保持されている）特徴ベクトルを持つモデル Mp が第
１のモデル選択手段によって選出される。このモデル M
p は第２の特徴抽出手段が行なった特徴抽出の観点から
見れば入力対象画像に最も類似したモデルである。
画像特徴ベクトル保持手段に保持された特徴ベクトルに
最もよく類似した（第２のモデル特徴ベクトル保持手段
に保持されている）特徴ベクトルを持つモデル Mp が第
１のモデル選択手段によって選出される。このモデル M
p は第２の特徴抽出手段が行なった特徴抽出の観点から
見れば入力対象画像に最も類似したモデルである。
【００２６】先に述べたように第２のモデル限定手段は
各モデル毎に、ある一定の条件を満足する他のモデルの
集合を選出している。これは、入力画像が第１のモデル
選択手段によってあるモデルに類似していると判定した
場合に、そのモデル顔ベクトルに類似した（ある一定の
条件の満足する）モデルの集合に最終的な顔認識のため
のマッチングの範囲を限定するために行なうものであ
る。
各モデル毎に、ある一定の条件を満足する他のモデルの
集合を選出している。これは、入力画像が第１のモデル
選択手段によってあるモデルに類似していると判定した
場合に、そのモデル顔ベクトルに類似した（ある一定の
条件の満足する）モデルの集合に最終的な顔認識のため
のマッチングの範囲を限定するために行なうものであ
る。
【００２７】この候補として絞られたモデルの集合{M}
の中で、Mp に対して固有空間保持手段に保持されてい
る N 個の固有ベクトル Ej (j=1..N)によって張られる
空間に次式２
の中で、Mp に対して固有空間保持手段に保持されてい
る N 個の固有ベクトル Ej (j=1..N)によって張られる
空間に次式２
【数２】 に従って射影して得られる点 m の、同じ固有空間に同
じく前記数式２に従って射影された対象画像ベクトル I
の点 i との類似度が最も大きいモデルを第２のモデル
選択手段が選択し、これを認識結果とする。
じく前記数式２に従って射影された対象画像ベクトル I
の点 i との類似度が最も大きいモデルを第２のモデル
選択手段が選択し、これを認識結果とする。
【００２８】固有空間保持手段が各モデル毎に固有空間
を保持するのは、そのモデルの（抽出された特徴ベクト
ルの類似度の意味での）近傍において近傍に含まれる個
々のモデルを最もよく区別する能力のある、そのモデル
の近傍に固有な空間を保持するためである。これは、Ｋ
Ｌ展開方式が教示画像全体を平均的な意味で最もよく区
別（分離）する空間を用いるのと対照的である。
を保持するのは、そのモデルの（抽出された特徴ベクト
ルの類似度の意味での）近傍において近傍に含まれる個
々のモデルを最もよく区別する能力のある、そのモデル
の近傍に固有な空間を保持するためである。これは、Ｋ
Ｌ展開方式が教示画像全体を平均的な意味で最もよく区
別（分離）する空間を用いるのと対照的である。
【００２９】本発明の請求項２記載の発明は、第２のモ
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式３
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式３
【数３】 に従って計算される変動が最小のモデル顔ベクトルを選
択するものである。
択するものである。
【００３０】本発明の請求項３記載の発明は、第２のモ
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式４
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式４
【数４】 に従って計算される変動が最小のモデル顔ベクトルを選
択するものである。
択するものである。
【００３１】本発明の請求項４記載の発明は、第２のモ
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式５
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式５
【数５】 に従って計算される変動が最小のモデル顔ベクトルを選
択するものである。
択するものである。
【００３２】本発明の請求項５記載の発明は、第２のモ
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式６
デル選択手段が、請求項１記載の第２のモデル限定手段
によって限定されたモデル顔ベクトルの中で、請求項１
記載のモデル固有空間保持手段に保持されているＮ個の
固有ベクトルEj (j=1..N) によって張られる空間に前記
数式２に従って射影して得られる点 m の、同一の固有
空間に同じく前記数式２に従って射影された対象顔ベク
トル I の点 i からの次式６
【数６】 に従って計算される変動が最小のモデル顔ベクトルを選
択するものである。
択するものである。
【００３３】以下、本発明の実施の形態を第１図を用い
て説明する。図１において、ＫＬ展開ユニット１は、第
１の特徴抽出手段及び第２の特徴抽出手段を兼ねる。Ｋ
Ｌ展開のための教示画像にはモデル画像の全セットを用
いる。
て説明する。図１において、ＫＬ展開ユニット１は、第
１の特徴抽出手段及び第２の特徴抽出手段を兼ねる。Ｋ
Ｌ展開のための教示画像にはモデル画像の全セットを用
いる。
【００３４】先ず、ＫＬ展開法（前掲のMatthew A.Turk
and Alex P.Pentlandによる文献参照）を用いて、モデ
ル画像メモリ２に記憶されている各モデル画像から特徴
抽出が行なわれ特徴ベクトルがモデル特徴ベクトルメモ
リ３に記憶される。このそれぞれのモデルに対して第１
のモデル近傍限定ユニット４が次式８
and Alex P.Pentlandによる文献参照）を用いて、モデ
ル画像メモリ２に記憶されている各モデル画像から特徴
抽出が行なわれ特徴ベクトルがモデル特徴ベクトルメモ
リ３に記憶される。このそれぞれのモデルに対して第１
のモデル近傍限定ユニット４が次式８
【数８】 に示された演算方法に従って、近傍に属するモデルを限
定する。このそれぞれのモデルに対して限定された近傍
モデルセットは、固有空間生成ユニット５で以下に示す
手順によりモデル M 毎に構成される固有空間の計算に
用いられる。
定する。このそれぞれのモデルに対して限定された近傍
モデルセットは、固有空間生成ユニット５で以下に示す
手順によりモデル M 毎に構成される固有空間の計算に
用いられる。
【００３５】先ず、前記数式１に従って散在性評価行列
が計算され、この行列の固有値のうち最大のものから N
番目までに相当する固有値とその固有ベクトルが求め
られ、これらの情報がモデル毎に固有空間生成ユニット
５内の固有空間メモリに記憶される。以上はオフライン
のプロセスで行なわれる。
が計算され、この行列の固有値のうち最大のものから N
番目までに相当する固有値とその固有ベクトルが求め
られ、これらの情報がモデル毎に固有空間生成ユニット
５内の固有空間メモリに記憶される。以上はオフライン
のプロセスで行なわれる。
【００３６】オンラインでは、カメラから取り込まれ対
象画像メモリ６に保持された入力画像がＫＬ展開ユニッ
ト１に転送され、モデル画像と同様に特徴ベクトルが抽
出される。
象画像メモリ６に保持された入力画像がＫＬ展開ユニッ
ト１に転送され、モデル画像と同様に特徴ベクトルが抽
出される。
【００３７】次に、第１のモデル選択ユニット７がこの
対象顔の特徴ベクトルに最も類似した特徴ベクトルを有
するモデルをモデル特徴ベクトルメモリ３の内容と照合
することで見い出す。この際の類似度の評価にはマハラ
ノビス距離と呼ばれる以下の数式９を用い、これを最小
にするものを検出する。
対象顔の特徴ベクトルに最も類似した特徴ベクトルを有
するモデルをモデル特徴ベクトルメモリ３の内容と照合
することで見い出す。この際の類似度の評価にはマハラ
ノビス距離と呼ばれる以下の数式９を用い、これを最小
にするものを検出する。
【数９】
【００３８】ここで選択されたモデルを Mp とし、Mp
に対して第２のモデル近傍限定ユニット８が限定して保
持しているモデルのセットを{MNp}とする。第２のモデ
ル選択ユニット９は、Mp に対して固有空間メモリに記
憶されている基底ベクトルを用いて、{MNp} に含まれる
各モデル顔ベクトル M 及び、入力対象顔ベクトル I を
前記数式２に従って固有空間に射影し（特徴抽出し）、
固有空間での座標 m, i を得る。最後にこのモデルの座
標集合{m}のうち、前記数式３（評価式）を最小にする
するものを有するモデル M_opt を検出し、これを顔画
像認識の出力とする。
に対して第２のモデル近傍限定ユニット８が限定して保
持しているモデルのセットを{MNp}とする。第２のモデ
ル選択ユニット９は、Mp に対して固有空間メモリに記
憶されている基底ベクトルを用いて、{MNp} に含まれる
各モデル顔ベクトル M 及び、入力対象顔ベクトル I を
前記数式２に従って固有空間に射影し（特徴抽出し）、
固有空間での座標 m, i を得る。最後にこのモデルの座
標集合{m}のうち、前記数式３（評価式）を最小にする
するものを有するモデル M_opt を検出し、これを顔画
像認識の出力とする。
【００３９】
【発明の効果】以上のように本発明によれば、第一段階
のモデル選択（第１のモデル選択手段）によって入力画
像にマッチする尤もらしいモデルの候補を絞りこみ、続
いて、その中から第二段階の選択によって第一段階とは
異った特徴抽出を用いて最終的な認識を行なうものであ
る。従って、第一段階の絞りこみによる正解の漏れがな
ければ、登録するモデルの数が増加したとしても対象を
絞り込めるので従来法のような認識率の低下はおこらな
い。
のモデル選択（第１のモデル選択手段）によって入力画
像にマッチする尤もらしいモデルの候補を絞りこみ、続
いて、その中から第二段階の選択によって第一段階とは
異った特徴抽出を用いて最終的な認識を行なうものであ
る。従って、第一段階の絞りこみによる正解の漏れがな
ければ、登録するモデルの数が増加したとしても対象を
絞り込めるので従来法のような認識率の低下はおこらな
い。
【００４０】第一段階のプロセスをさらに細かい連続し
た段階的絞りのプロセスに分解すれば、以上の効果は極
めて莫大なモデルデータに対しても対応できる。
た段階的絞りのプロセスに分解すれば、以上の効果は極
めて莫大なモデルデータに対しても対応できる。
【００４１】さらに、モデルのおのおのに対して、その
近傍に含まれる（すなわち類似した）顔画像を最適に分
離する固有空間を保持し、この空間内での距離を用いて
認識を実現するので、極めて正答率の高い認識結果が得
られる。
近傍に含まれる（すなわち類似した）顔画像を最適に分
離する固有空間を保持し、この空間内での距離を用いて
認識を実現するので、極めて正答率の高い認識結果が得
られる。
【００４２】以上のことから、本発明の顔画像認識装置
を用いれば、登録モデル画像数の大きい大規模なシステ
ムに対しても正答率を低下させることなく顔画像の認識
が実現でき、その効果は非常に大きい。
を用いれば、登録モデル画像数の大きい大規模なシステ
ムに対しても正答率を低下させることなく顔画像の認識
が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明による顔画像認識装置の構成を示す図、
【図２】従来の顔画像認識装置の構成を示す図である。
１、21 ＫＬ展開ユニット ２、22 モデル画像メモリ ３、23 モデル特徴ベクトルメモリ ４ 第１のモデル近傍限定ユニット ５ 固有空間生成ユニット ６、24 対象画像メモリ ７ 第１のモデル選択ユニット ８ 第２のモデル近傍限定ユニット ９ 第２のモデル選択ユニット 25 モデル選択ユニット
Claims (5)
- 【請求項１】 モデル顔画像（モデル顔ベクトルとも呼
ぶ）を入力するモデル顔画像入力手段と、モデル顔画像
から特徴を抽出する第１の特徴抽出手段と、前記モデル
顔画像から入力された顔画像から前記第１の特徴抽出手
段を用いて特徴抽出した結果を保持する第１のモデル特
徴ベクトル保持手段と、各モデル顔画像おのおのに対し
てその特徴ベクトルとの変動が、ある一定の条件を満足
する特徴ベクトルを有するモデルの集合を取り出す第
１、及び第２のモデル限定手段と、各モデル顔画像毎
に、前記第１のモデル限定手段が限定したモデル顔の集
合に対して次式１ 【数１】 で定義される散在性評価行列の固有値の最大のものから
Ｎ番目までのものとそれに対応する固有ベクトルを計算
し、これを各モデル毎に保持するモデル固有空間保持手
段と、認識すべき対象顔画像（対象顔ベクトルとも呼
ぶ）を入力する対象顔画像入力手段と、顔画像から特徴
を抽出する第２の特徴抽出手段と、前記対象画像入力手
段から入力された対象顔画像から前記第２の特徴抽出手
段によって抽出された特徴ベクトルを保持する第１の対
象画像特徴ベクトル保持手段と、前記モデル顔画像入力
手段から入力されたおのおののモデル顔画像から前記第
２の特徴抽出手段によって抽出された特徴ベクトルを保
持する第２のモデル特徴ベクトル保持手段と、前記第１
の対象画像特徴ベクトル保持手段に保持された特徴ベク
トルに対して、第２のモデル特徴ベクトル保持手段に保
持されたモデル特徴ベクトルの中で対象画像特徴ベクト
ルからの変動が最も小さいものを見いだす第１のモデル
選択手段と、前記第１のモデル選択手段が選択したモデ
ル顔ベクトルに対して前記第２のモデル限定手段によっ
て限定されたモデル顔ベクトル M の中で、前記モデル
固有空間保持手段に保持されているＮ個の固有ベクトル
Ej (j=1..N) によって張られる空間に次式２ 【数２】 に従って射影して得られる点 m の、同一の固有空間に
同じく前記数式２に従って射影された対象顔ベクトル I
の点 i からの変動が最小のモデル顔ベクトルを選択す
る第２のモデル選択手段を具備することを特徴とする顔
画像認識装置。 - 【請求項２】 前記第２のモデル選択手段は前記第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、前記モデル固有空間保持手段に保持されているＮ
個の固有ベクトルEj (j=1..N) によって張られる空間に
前記数式２に従って射影して得られる点 m の、同一の
固有空間に同じく前記数式２に従って射影された対象顔
ベクトル I の点 i からの次式３ 【数３】 に従って計算される変動が最小のモデル顔ベクトルを選
択する請求項１記載の顔画像認識装置。 - 【請求項３】 前記第２のモデル選択手段は前記第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、前記モデル固有空間保持手段に保持されているＮ
個の固有ベクトルEj (j=1..N) によって張られる空間に
前記数式２に従って射影して得られる点 m の、同一の
固有空間に同じく前記数式２に従って射影された対象顔
ベクトル I の点 i からの次式４ 【数４】 に従って計算される変動が最小のモデル顔ベクトルを選
択する請求項１記載の顔画像認識装置。 - 【請求項４】 前記第２のモデル選択手段は前記第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、前記モデル固有空間保持手段に保持されているＮ
個の固有ベクトルEj (j=1..N) によって張られる空間に
前記数式２に従って射影して得られる点 m の、同一の
固有空間に同じく前記数式２に従って射影された対象顔
ベクトル I の点 i からの次式５ 【数５】 に従って計算される変動が最小のモデル顔ベクトルを選
択する請求項１記載の顔画像認識装置。 - 【請求項５】 前記第２のモデル選択手段は前記第２の
モデル限定手段によって限定されたモデル顔ベクトルの
中で、前記モデル固有空間保持手段に保持されているＮ
個の固有ベクトルEj (j=1..N) によって張られる空間に
前記数式２に従って射影して得られる点 m の、同一の
固有空間に同じく前記数式２に従って射影された対象顔
ベクトル I の点 i からの次式６ 【数６】 に従って計算される変動が最小のモデル顔ベクトルを選
択する請求項１記載の顔画像認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17725696A JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
| US08/764,546 US5901244A (en) | 1996-06-18 | 1996-12-12 | Feature extraction system and face image recognition system |
| US09/290,256 US6430307B1 (en) | 1996-06-18 | 1999-04-13 | Feature extraction system and face image recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17725696A JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH103548A true JPH103548A (ja) | 1998-01-06 |
| JP3841482B2 JP3841482B2 (ja) | 2006-11-01 |
Family
ID=16027902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17725696A Expired - Fee Related JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3841482B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006033257A1 (ja) * | 2004-09-24 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
| JP2007052733A (ja) * | 2005-08-19 | 2007-03-01 | Glory Ltd | 顔画像判定装置および顔画像判定方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593598B (zh) * | 2013-11-25 | 2016-09-21 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
-
1996
- 1996-06-18 JP JP17725696A patent/JP3841482B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006033257A1 (ja) * | 2004-09-24 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
| JP2007052733A (ja) * | 2005-08-19 | 2007-03-01 | Glory Ltd | 顔画像判定装置および顔画像判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3841482B2 (ja) | 2006-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7031499B2 (en) | Object recognition system | |
| Sung et al. | Example-based learning for view-based human face detection | |
| Jesorsky et al. | Robust face detection using the hausdorff distance | |
| Khan et al. | A comparative analysis of gender classification techniques | |
| JP2004005622A (ja) | 顔要素に基づく顔記述子を用いた顔認識方法及びその装置 | |
| Ouanan et al. | Facial landmark localization: Past, present and future | |
| KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| KR101195539B1 (ko) | 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 | |
| US20060056667A1 (en) | Identifying faces from multiple images acquired from widely separated viewpoints | |
| Zhang et al. | A novel face recognition system using hybrid neural and dual eigenspaces methods | |
| JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JPH1185988A (ja) | 顔画像認識システム | |
| CN110378414B (zh) | 基于进化策略的多模态生物特征融合的身份识别方法 | |
| Kang et al. | A comparison of face verification algorithms using appearance models. | |
| JP4222558B2 (ja) | 画像認識装置 | |
| Gottumukkal et al. | Real time face detection from color video stream based on PCA method | |
| JP3841482B2 (ja) | 顔画像認識装置 | |
| KR100493169B1 (ko) | 성분 기반 얼굴 서술자를 이용한 얼굴 인식 방법 및 장치 | |
| Praseeda Lekshmi et al. | Analysis of facial expressions from video images using PCA | |
| Pande et al. | Parallel processing for multi face detection and recognition | |
| Singh et al. | A comparative study of various face recognition algorithms (feature based, eigen based, line based, neural network approaches) | |
| Sehad et al. | Face recognition under varying views | |
| Borade et al. | Comparative study of principal component analysis and independent component analysis | |
| JP4068888B2 (ja) | アイリス推定装置およびアイリス照合装置 | |
| Beverina et al. | Tracking based face identification: a way to manage occlusions, and illumination, posture and expression changes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060808 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |