JP3841482B2 - 顔画像認識装置 - Google Patents
顔画像認識装置 Download PDFInfo
- Publication number
- JP3841482B2 JP3841482B2 JP17725696A JP17725696A JP3841482B2 JP 3841482 B2 JP3841482 B2 JP 3841482B2 JP 17725696 A JP17725696 A JP 17725696A JP 17725696 A JP17725696 A JP 17725696A JP 3841482 B2 JP3841482 B2 JP 3841482B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- face image
- feature vector
- eigenspace
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は人物顔を用いたＩＤシステム、免許証・パスポート携帯者の認証、マンマシンインターフェースやセキュリティーのためのユーザ同定、あるいは、低ビットレート画像通信のための情報圧縮に用いられる顔画像認識装置に関し、特に第一段階のモデル選択（第１のモデル選択手段）によって入力画像にマッチする尤もらしいモデルの候補を絞りこみ、続いて、その中から第二段階の選択によって第一段階とは異った特徴抽出を用いて最終的な認識を行なう顔画像認識装置に関するものである。
【０００２】
【従来の技術】
画像データは（例えば 縦 M X 横 N 画素の濃淡画像）は、各画素を一つの独立した座標軸として扱い、その座標の値をその画素の濃淡値として表現すれば、M X N 次元のベクトルで完全に表現できる（例えば、100 X 100 ならば 10000 次元）。
【０００３】
従って、もし L (L > 10000) 枚の入力画像が互いに無相関であれば、この L 枚の画像情報を表現するには 10000次元の空間が必要となる。ところが、最近の研究によって、人物顔の場合は非常に少ない次元の空間でほとんどの顔を表現することができることが知られるようになった。
【０００４】
これは、一般の画像の場合に比べて、人物の顔が互いにかなり似ている（目、鼻、口などを共通に有し、かつおおよそよく似た位置関係を有するなど）という事実に由来する。例えば、文献 「M.Kirby and L.Sirovich "Application of the Karhunen-Loeve procedure for the characterization of human faces" IEEE Trans. on Pattern Analysis and Machine Intelligence,vol.12,no.1 1990」にはこれらに関する議論が詳しく述べられている。
【０００５】
顔画像の認識方式として良く知られたＫＬ展開方式は、この顔画像一般の性質に着目し、ＫＬ展開を用いて顔画像から特徴を抽出し認識する方式で文献「Matthew A.Turk and Alex P.Pentland "Face Recognition Using Eigenfaces" CVPR '91 (Proc. IEEE Conf. on Computer Vision and Pattern Recognition 1991)」に詳しく述べられている。
【０００６】
入出力に多少の違いはあれ、顔画像の認識とは、モデルとなる顔画像を予めデータベースに登録しておき、入力画像がどのモデルデータの人物のものが最も良く類似しているかを認定するものであると定義できる。
【０００７】
ＫＬ展開法をこの観点で見ると、上に述べたことに基づいて入力顔画像 I 及び、モデル画像 M を以下の数式７に示す通り、P個の基底ベクトル Ei (i=1...P)の線形結合で近似し、近似データ間で照合をとるものである。
【数７】
【０００８】
ＫＬ法は、この基底ベクトルとして、W 個の教示顔画像データから得られる共分散行列の固有値の大きいものからP 個（例えば100個程度）のものに対応する固有ベクトルを用いる。
【０００９】
この表現法を用いれば、画像の情報内容の損失を最小限に抑えながら、画像の表現空間をM X N (=10000)次元からP(=100)次元程度に縮小できるので、従来画像圧縮などに有効な技術として知られておりＫＬ展開と呼ばれる。このＫＬ展開にはその情報圧縮に関わる性質以外の特徴抽出の効果として、その基底ベクトルによって張られる空間（これを固有顔空間と呼ぶ）では、「射影された教示データが最もよく分離される、即ち、区別しやすくなる」という特性を有している。
【００１０】
実際、前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案されたものでは教示データの人物集合と登録データの人物集合は同一であり、教示データに用いられた人物の顔を新たに撮影して入力画像とする実験でかなり良好な認識結果が得られている。
【００１１】
図２は前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案された従来の顔画像認識装置の構成を示すものであり、以下にその顔画像認識装置の動作を説明する。
【００１２】
図２において、ＫＬ展開ユニット21は、第１の特徴抽出手段及び第２の特徴抽出手段を兼ね、まずＫＬ展開法を用いて、モデル画像メモリ22に記憶されている各モデル画像から特徴抽出を行ない、特徴ベクトルをモデル特徴ベクトルメモリ23に記憶する。以上はオフラインのプロセスで行なわれる。
【００１３】
オンラインでは、カメラから取り込まれ対象画像メモリ24に保持された入力画像がＫＬ展開ユニット21に転送され、モデル顔画像と同様に特徴ベクトルが抽出される。
【００１４】
次に、モデル選択ユニット25がこの入力対象顔の特徴ベクトルに最も類似した特徴ベクトルを有するモデルをモデル特徴ベクトルメモリ23の内容と照合することで見い出す。すなわち、図示されていない固有空間メモリに記憶されている基底ベクトル（基底ベクトルとして、ＫＬ法は、W 個の教示顔画像データから得られる共分散行列の固有値の大きいものからP 個（例えば100個程度）のものに対応する固有ベクトルを用いることについては上述した。）を用いて、各モデル顔ベクトル及び、入力対象顔ベクトルを固有空間に射影し（特徴抽出し）、固有空間での座標を得て、類似度の評価を行なうことによって、顔画像認識の出力を得る。この際の類似度の評価には以下の数式１０を用い、これを最小にするものを検出する。
【数１０】
【００１５】
【発明が解決しようとする課題】
しかし、前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案された従来の方法には以下のような理由で実現できるシステム規模が小さいという問題があった。
すなわち、教示データの人物をモデルデータのそれと一致させることでＫＬ展開のメリットを最大限発揮させるという方針をとると、たとえ教示データ数を増やしたとしても得られる有効な固有ベクトルの数には、先に述べたような理由で上限があるため、モデルデータ（登録人物）の数を増加させていくと固有顔空間での特徴ベクトルの分布は過密になってゆき、その結果認識能力が低下する。従って、登録できる（即ち認識できる）人物の数には限界があり、大規模なシステムは実現できないという問題があった。
【００１６】
【課題を解決するための手段】
前記の問題を解決するため本発明では、入力顔と照合すべきモデル顔のセットを段階的に絞りこんでいくための構成をとる。すなわち、たとえデータベースの規模が大きくなったとしても、各段階で照合すべきモデル顔のセットを正解を漏らすことなく限定できれば、問題はデータベースが小規模な場合と類似するため認識率にさほど影響を与えない。
【００１７】
そのため、本発明では各モデル顔画像おのおのに対して、その抽出された特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出す第１、及び第２のモデル限定手段と、各モデル顔画像おのおのに対して、第１のモデル限定手段が選んだモデルの集合に対し数式１で定義される散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持するモデル固有空間保持手段と、第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、第１のモデル選択手段が、第一段階の候補として選択したモデル顔ベクトル M に対して前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に数式２に従って射影して得られる点 m の、同一の空間に同一の手順に従って射影された対象顔ベクトル I の点 i からの変動が最小のモデル顔ベクトルを選択する第２のモデル選択手段とを有するようにしたものである。
【００１８】
【発明の実施の形態】
本発明の請求項１記載の発明は、モデル顔画像（モデル顔ベクトルとも呼ぶ）を入力するモデル顔画像入力手段と、モデル顔画像から特徴を抽出する第１の特徴抽出手段と、前記モデル顔画像から入力された顔画像から前記第１の特徴抽出手段を用いて特徴抽出した結果を保持する第１のモデル特徴ベクトル保持手段と、各モデル顔画像おのおのに対してその特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出す第１、及び第２のモデル限定手段と、各モデル顔画像毎に、前記第１のモデル限定手段が限定したモデル顔の集合に対して数式１で定義される散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持するモデル固有空間保持手段と、認識すべき対象顔画像（対象顔ベクトルとも呼ぶ）を入力する対象顔画像入力手段と、顔画像から特徴を抽出する第２の特徴抽出手段と、前記対象画像入力手段から入力された対象顔画像から前記第２の特徴抽出手段によって抽出された特徴ベクトルを保持する第１の対象画像特徴ベクトル保持手段と、前記モデル顔画像入力手段から入力されたおのおののモデル顔画像から前記第２の特徴抽出手段によって抽出された特徴ベクトルを保持する第２のモデル特徴ベクトル保持手段と、前記第１の対象画像特徴ベクトル保持手段に保持された特徴ベクトルに対して、第２のモデル特徴ベクトル保持手段に保持されたモデル特徴ベクトルの中で対象画像特徴ベクトルからの変動が最も小さいものを見いだす第１のモデル選択手段と、前記第１のモデル選択手段が選択したモデル顔ベクトルに対して前記第２のモデル限定手段によって限定されたモデル顔ベクトル M の中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの変動が最小のモデル顔ベクトルを選択する第２のモデル選択手段を具備することを特徴とする顔画像認識装置としたものである。
【００１９】
そして、その動作は、まずモデル顔画像入力手段から認識すべきモデル顔画像（モデル顔ベクトル）をデータベースに入力すると、第１の特徴抽出手段が画像から特徴を抽出し第１のモデル特徴ベクトル保持手段にその結果（特徴データ）を保持する。
【００２０】
この特徴抽出結果を使って、第１及び第２のモデル限定手段が各モデル顔おのおのに対して特徴ベクトルの変動（異なり方）がある一定の条件を満足する他のモデルの集合を取り出す。
【００２１】
第１のモデル限定手段は後出の各モデル毎に保持する固有空間の計算に用いるモデルを限定するという役割を担い、また、第２のモデル限定手段は入力データ（対象顔ベクトル）に対して照合の対象とすべきモデル顔ベクトルの集合を限定するという役割を担う。
【００２２】
固有空間保持手段は、各モデル毎に第１のモデル限定手段が限定したモデルの集合に対して次式１
【数１】
で定義される散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持する。以上の処理はオフラインで行なわれる。
【００２３】
固有空間保持手段に保持される固有ベクトル及び、固有値は顔画像の認識のオンラインプロセスにおいて入力画像からの特徴抽出のために用いられる。
【００２４】
認識すべき対象画像は対象顔画像入力手段から入力されると、第２の特徴抽出手段によって特徴抽出が行なわれ第１の対象画像特徴ベクトル保持手段に特徴量が保持される。モデル顔画像入力手段から入力されたモデル顔画像に対しても同じく第２の特徴抽出手段によってそれぞれ特徴抽出が行なわれ特徴量が第２のモデル特徴ベクトル保持手段に保持される（この処理はオフラインで行なわれる）。
【００２５】
続いて、対象画像から抽出され第１の対象画像特徴ベクトル保持手段に保持された特徴ベクトルに最もよく類似した（第２のモデル特徴ベクトル保持手段に保持されている）特徴ベクトルを持つモデル Mp が第１のモデル選択手段によって選出される。このモデル Mp は第２の特徴抽出手段が行なった特徴抽出の観点から見れば入力対象画像に最も類似したモデルである。
【００２６】
先に述べたように第２のモデル限定手段は各モデル毎に、ある一定の条件を満足する他のモデルの集合を選出している。これは、入力画像が第１のモデル選択手段によってあるモデルに類似していると判定した場合に、そのモデル顔ベクトルに類似した（ある一定の条件の満足する）モデルの集合に最終的な顔認識のためのマッチングの範囲を限定するために行なうものである。
【００２７】
この候補として絞られたモデルの集合{M} の中で、Mp に対して固有空間保持手段に保持されている N 個の固有ベクトル Ej (j=1..N)によって張られる空間に次式２
【数２】
に従って射影して得られる点 m の、同じ固有空間に同じく前記数式２に従って射影された対象画像ベクトル I の点 i との類似度が最も大きいモデルを第２のモデル選択手段が選択し、これを認識結果とする。
【００２８】
固有空間保持手段が各モデル毎に固有空間を保持するのは、そのモデルの（抽出された特徴ベクトルの類似度の意味での）近傍において近傍に含まれる個々のモデルを最もよく区別する能力のある、そのモデルの近傍に固有な空間を保持するためである。これは、ＫＬ展開方式が教示画像全体を平均的な意味で最もよく区別（分離）する空間を用いるのと対照的である。
【００２９】
本発明の請求項２記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式３
【数３】
に従って計算される変動が最小のモデル顔ベクトルを選択するものである。
【００３０】
本発明の請求項３記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式４
【数４】
に従って計算される変動が最小のモデル顔ベクトルを選択するものである。
【００３１】
本発明の請求項４記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式５
【数５】
に従って計算される変動が最小のモデル顔ベクトルを選択するものである。
【００３２】
本発明の請求項５記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式６
【数６】
に従って計算される変動が最小のモデル顔ベクトルを選択するものである。
【００３３】
以下、本発明の実施の形態を第１図を用いて説明する。
図１において、ＫＬ展開ユニット１は、第１の特徴抽出手段及び第２の特徴抽出手段を兼ねる。ＫＬ展開のための教示画像にはモデル画像の全セットを用いる。
【００３４】
先ず、ＫＬ展開法（前掲のMatthew A.Turk and Alex P.Pentlandによる文献参照）を用いて、モデル画像メモリ２に記憶されている各モデル画像から特徴抽出が行なわれ特徴ベクトルがモデル特徴ベクトルメモリ３に記憶される。このそれぞれのモデルに対して第１のモデル近傍限定ユニット４が次式８
【数８】
に示された演算方法に従って、近傍に属するモデルを限定する。このそれぞれのモデルに対して限定された近傍モデルセットは、固有空間生成ユニット５で以下に示す手順によりモデル M 毎に構成される固有空間の計算に用いられる。
【００３５】
先ず、前記数式１に従って散在性評価行列が計算され、この行列の固有値のうち最大のものから N 番目までに相当する固有値とその固有ベクトルが求められ、これらの情報がモデル毎に固有空間生成ユニット５内の固有空間メモリに記憶される。以上はオフラインのプロセスで行なわれる。
【００３６】
オンラインでは、カメラから取り込まれ対象画像メモリ６に保持された入力画像がＫＬ展開ユニット１に転送され、モデル画像と同様に特徴ベクトルが抽出される。
【００３７】
次に、第１のモデル選択ユニット７がこの対象顔の特徴ベクトルに最も類似した特徴ベクトルを有するモデルをモデル特徴ベクトルメモリ３の内容と照合することで見い出す。この際の類似度の評価にはマハラノビス距離と呼ばれる以下の数式９を用い、これを最小にするものを検出する。
【数９】
【００３８】
ここで選択されたモデルを Mp とし、Mp に対して第２のモデル近傍限定ユニット８が限定して保持しているモデルのセットを{MNp}とする。
第２のモデル選択ユニット９は、Mp に対して固有空間メモリに記憶されている基底ベクトルを用いて、{MNp} に含まれる各モデル顔ベクトル M 及び、入力対象顔ベクトル I を前記数式２に従って固有空間に射影し（特徴抽出し）、固有空間での座標 m, i を得る。最後にこのモデルの座標集合{m}のうち、前記数式３（評価式）を最小にするするものを有するモデル M_opt を検出し、これを顔画像認識の出力とする。
【００３９】
【発明の効果】
以上のように本発明によれば、第一段階のモデル選択（第１のモデル選択手段）によって入力画像にマッチする尤もらしいモデルの候補を絞りこみ、続いて、その中から第二段階の選択によって第一段階とは異った特徴抽出を用いて最終的な認識を行なうものである。従って、第一段階の絞りこみによる正解の漏れがなければ、登録するモデルの数が増加したとしても対象を絞り込めるので従来法のような認識率の低下はおこらない。
【００４０】
第一段階のプロセスをさらに細かい連続した段階的絞りのプロセスに分解すれば、以上の効果は極めて莫大なモデルデータに対しても対応できる。
【００４１】
さらに、モデルのおのおのに対して、その近傍に含まれる（すなわち類似した）顔画像を最適に分離する固有空間を保持し、この空間内での距離を用いて認識を実現するので、極めて正答率の高い認識結果が得られる。
【００４２】
以上のことから、本発明の顔画像認識装置を用いれば、登録モデル画像数の大きい大規模なシステムに対しても正答率を低下させることなく顔画像の認識が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明による顔画像認識装置の構成を示す図、
【図２】従来の顔画像認識装置の構成を示す図である。
【符号の説明】
１、21 ＫＬ展開ユニット
２、22 モデル画像メモリ
３、23 モデル特徴ベクトルメモリ
４ 第１のモデル近傍限定ユニット
５ 固有空間生成ユニット
６、24 対象画像メモリ
７ 第１のモデル選択ユニット
８ 第２のモデル近傍限定ユニット
９ 第２のモデル選択ユニット
25 モデル選択ユニット
【発明の属する技術分野】
本発明は人物顔を用いたＩＤシステム、免許証・パスポート携帯者の認証、マンマシンインターフェースやセキュリティーのためのユーザ同定、あるいは、低ビットレート画像通信のための情報圧縮に用いられる顔画像認識装置に関し、特に第一段階のモデル選択（第１のモデル選択手段）によって入力画像にマッチする尤もらしいモデルの候補を絞りこみ、続いて、その中から第二段階の選択によって第一段階とは異った特徴抽出を用いて最終的な認識を行なう顔画像認識装置に関するものである。
【０００２】
【従来の技術】
画像データは（例えば 縦 M X 横 N 画素の濃淡画像）は、各画素を一つの独立した座標軸として扱い、その座標の値をその画素の濃淡値として表現すれば、M X N 次元のベクトルで完全に表現できる（例えば、100 X 100 ならば 10000 次元）。
【０００３】
従って、もし L (L > 10000) 枚の入力画像が互いに無相関であれば、この L 枚の画像情報を表現するには 10000次元の空間が必要となる。ところが、最近の研究によって、人物顔の場合は非常に少ない次元の空間でほとんどの顔を表現することができることが知られるようになった。
【０００４】
これは、一般の画像の場合に比べて、人物の顔が互いにかなり似ている（目、鼻、口などを共通に有し、かつおおよそよく似た位置関係を有するなど）という事実に由来する。例えば、文献 「M.Kirby and L.Sirovich "Application of the Karhunen-Loeve procedure for the characterization of human faces" IEEE Trans. on Pattern Analysis and Machine Intelligence,vol.12,no.1 1990」にはこれらに関する議論が詳しく述べられている。
【０００５】
顔画像の認識方式として良く知られたＫＬ展開方式は、この顔画像一般の性質に着目し、ＫＬ展開を用いて顔画像から特徴を抽出し認識する方式で文献「Matthew A.Turk and Alex P.Pentland "Face Recognition Using Eigenfaces" CVPR '91 (Proc. IEEE Conf. on Computer Vision and Pattern Recognition 1991)」に詳しく述べられている。
【０００６】
入出力に多少の違いはあれ、顔画像の認識とは、モデルとなる顔画像を予めデータベースに登録しておき、入力画像がどのモデルデータの人物のものが最も良く類似しているかを認定するものであると定義できる。
【０００７】
ＫＬ展開法をこの観点で見ると、上に述べたことに基づいて入力顔画像 I 及び、モデル画像 M を以下の数式７に示す通り、P個の基底ベクトル Ei (i=1...P)の線形結合で近似し、近似データ間で照合をとるものである。
【数７】
ＫＬ法は、この基底ベクトルとして、W 個の教示顔画像データから得られる共分散行列の固有値の大きいものからP 個（例えば100個程度）のものに対応する固有ベクトルを用いる。
【０００９】
この表現法を用いれば、画像の情報内容の損失を最小限に抑えながら、画像の表現空間をM X N (=10000)次元からP(=100)次元程度に縮小できるので、従来画像圧縮などに有効な技術として知られておりＫＬ展開と呼ばれる。このＫＬ展開にはその情報圧縮に関わる性質以外の特徴抽出の効果として、その基底ベクトルによって張られる空間（これを固有顔空間と呼ぶ）では、「射影された教示データが最もよく分離される、即ち、区別しやすくなる」という特性を有している。
【００１０】
実際、前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案されたものでは教示データの人物集合と登録データの人物集合は同一であり、教示データに用いられた人物の顔を新たに撮影して入力画像とする実験でかなり良好な認識結果が得られている。
【００１１】
図２は前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案された従来の顔画像認識装置の構成を示すものであり、以下にその顔画像認識装置の動作を説明する。
【００１２】
図２において、ＫＬ展開ユニット21は、第１の特徴抽出手段及び第２の特徴抽出手段を兼ね、まずＫＬ展開法を用いて、モデル画像メモリ22に記憶されている各モデル画像から特徴抽出を行ない、特徴ベクトルをモデル特徴ベクトルメモリ23に記憶する。以上はオフラインのプロセスで行なわれる。
【００１３】
オンラインでは、カメラから取り込まれ対象画像メモリ24に保持された入力画像がＫＬ展開ユニット21に転送され、モデル顔画像と同様に特徴ベクトルが抽出される。
【００１４】
次に、モデル選択ユニット25がこの入力対象顔の特徴ベクトルに最も類似した特徴ベクトルを有するモデルをモデル特徴ベクトルメモリ23の内容と照合することで見い出す。すなわち、図示されていない固有空間メモリに記憶されている基底ベクトル（基底ベクトルとして、ＫＬ法は、W 個の教示顔画像データから得られる共分散行列の固有値の大きいものからP 個（例えば100個程度）のものに対応する固有ベクトルを用いることについては上述した。）を用いて、各モデル顔ベクトル及び、入力対象顔ベクトルを固有空間に射影し（特徴抽出し）、固有空間での座標を得て、類似度の評価を行なうことによって、顔画像認識の出力を得る。この際の類似度の評価には以下の数式１０を用い、これを最小にするものを検出する。
【数１０】
【発明が解決しようとする課題】
しかし、前掲の文献でMatthew A.Turk and Alex P.Pentlandにより提案された従来の方法には以下のような理由で実現できるシステム規模が小さいという問題があった。
すなわち、教示データの人物をモデルデータのそれと一致させることでＫＬ展開のメリットを最大限発揮させるという方針をとると、たとえ教示データ数を増やしたとしても得られる有効な固有ベクトルの数には、先に述べたような理由で上限があるため、モデルデータ（登録人物）の数を増加させていくと固有顔空間での特徴ベクトルの分布は過密になってゆき、その結果認識能力が低下する。従って、登録できる（即ち認識できる）人物の数には限界があり、大規模なシステムは実現できないという問題があった。
【００１６】
【課題を解決するための手段】
前記の問題を解決するため本発明では、入力顔と照合すべきモデル顔のセットを段階的に絞りこんでいくための構成をとる。すなわち、たとえデータベースの規模が大きくなったとしても、各段階で照合すべきモデル顔のセットを正解を漏らすことなく限定できれば、問題はデータベースが小規模な場合と類似するため認識率にさほど影響を与えない。
【００１７】
そのため、本発明では各モデル顔画像おのおのに対して、その抽出された特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出す第１、及び第２のモデル限定手段と、各モデル顔画像おのおのに対して、第１のモデル限定手段が選んだモデルの集合に対し数式１で定義される散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持するモデル固有空間保持手段と、第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、第１のモデル選択手段が、第一段階の候補として選択したモデル顔ベクトル M に対して前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に数式２に従って射影して得られる点 m の、同一の空間に同一の手順に従って射影された対象顔ベクトル I の点 i からの変動が最小のモデル顔ベクトルを選択する第２のモデル選択手段とを有するようにしたものである。
【００１８】
【発明の実施の形態】
本発明の請求項１記載の発明は、モデル顔画像（モデル顔ベクトルとも呼ぶ）を入力するモデル顔画像入力手段と、モデル顔画像から特徴を抽出する第１の特徴抽出手段と、前記モデル顔画像から入力された顔画像から前記第１の特徴抽出手段を用いて特徴抽出した結果を保持する第１のモデル特徴ベクトル保持手段と、各モデル顔画像おのおのに対してその特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出す第１、及び第２のモデル限定手段と、各モデル顔画像毎に、前記第１のモデル限定手段が限定したモデル顔の集合に対して数式１で定義される散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持するモデル固有空間保持手段と、認識すべき対象顔画像（対象顔ベクトルとも呼ぶ）を入力する対象顔画像入力手段と、顔画像から特徴を抽出する第２の特徴抽出手段と、前記対象画像入力手段から入力された対象顔画像から前記第２の特徴抽出手段によって抽出された特徴ベクトルを保持する第１の対象画像特徴ベクトル保持手段と、前記モデル顔画像入力手段から入力されたおのおののモデル顔画像から前記第２の特徴抽出手段によって抽出された特徴ベクトルを保持する第２のモデル特徴ベクトル保持手段と、前記第１の対象画像特徴ベクトル保持手段に保持された特徴ベクトルに対して、第２のモデル特徴ベクトル保持手段に保持されたモデル特徴ベクトルの中で対象画像特徴ベクトルからの変動が最も小さいものを見いだす第１のモデル選択手段と、前記第１のモデル選択手段が選択したモデル顔ベクトルに対して前記第２のモデル限定手段によって限定されたモデル顔ベクトル M の中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの変動が最小のモデル顔ベクトルを選択する第２のモデル選択手段を具備することを特徴とする顔画像認識装置としたものである。
【００１９】
そして、その動作は、まずモデル顔画像入力手段から認識すべきモデル顔画像（モデル顔ベクトル）をデータベースに入力すると、第１の特徴抽出手段が画像から特徴を抽出し第１のモデル特徴ベクトル保持手段にその結果（特徴データ）を保持する。
【００２０】
この特徴抽出結果を使って、第１及び第２のモデル限定手段が各モデル顔おのおのに対して特徴ベクトルの変動（異なり方）がある一定の条件を満足する他のモデルの集合を取り出す。
【００２１】
第１のモデル限定手段は後出の各モデル毎に保持する固有空間の計算に用いるモデルを限定するという役割を担い、また、第２のモデル限定手段は入力データ（対象顔ベクトル）に対して照合の対象とすべきモデル顔ベクトルの集合を限定するという役割を担う。
【００２２】
固有空間保持手段は、各モデル毎に第１のモデル限定手段が限定したモデルの集合に対して次式１
【数１】
【００２３】
固有空間保持手段に保持される固有ベクトル及び、固有値は顔画像の認識のオンラインプロセスにおいて入力画像からの特徴抽出のために用いられる。
【００２４】
認識すべき対象画像は対象顔画像入力手段から入力されると、第２の特徴抽出手段によって特徴抽出が行なわれ第１の対象画像特徴ベクトル保持手段に特徴量が保持される。モデル顔画像入力手段から入力されたモデル顔画像に対しても同じく第２の特徴抽出手段によってそれぞれ特徴抽出が行なわれ特徴量が第２のモデル特徴ベクトル保持手段に保持される（この処理はオフラインで行なわれる）。
【００２５】
続いて、対象画像から抽出され第１の対象画像特徴ベクトル保持手段に保持された特徴ベクトルに最もよく類似した（第２のモデル特徴ベクトル保持手段に保持されている）特徴ベクトルを持つモデル Mp が第１のモデル選択手段によって選出される。このモデル Mp は第２の特徴抽出手段が行なった特徴抽出の観点から見れば入力対象画像に最も類似したモデルである。
【００２６】
先に述べたように第２のモデル限定手段は各モデル毎に、ある一定の条件を満足する他のモデルの集合を選出している。これは、入力画像が第１のモデル選択手段によってあるモデルに類似していると判定した場合に、そのモデル顔ベクトルに類似した（ある一定の条件の満足する）モデルの集合に最終的な顔認識のためのマッチングの範囲を限定するために行なうものである。
【００２７】
この候補として絞られたモデルの集合{M} の中で、Mp に対して固有空間保持手段に保持されている N 個の固有ベクトル Ej (j=1..N)によって張られる空間に次式２
【数２】
【００２８】
固有空間保持手段が各モデル毎に固有空間を保持するのは、そのモデルの（抽出された特徴ベクトルの類似度の意味での）近傍において近傍に含まれる個々のモデルを最もよく区別する能力のある、そのモデルの近傍に固有な空間を保持するためである。これは、ＫＬ展開方式が教示画像全体を平均的な意味で最もよく区別（分離）する空間を用いるのと対照的である。
【００２９】
本発明の請求項２記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式３
【数３】
【００３０】
本発明の請求項３記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式４
【数４】
【００３１】
本発明の請求項４記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式５
【数５】
【００３２】
本発明の請求項５記載の発明は、第２のモデル選択手段が、請求項１記載の第２のモデル限定手段によって限定されたモデル顔ベクトルの中で、請求項１記載のモデル固有空間保持手段に保持されているＮ個の固有ベクトルEj (j=1..N) によって張られる空間に前記数式２に従って射影して得られる点 m の、同一の固有空間に同じく前記数式２に従って射影された対象顔ベクトル I の点 i からの次式６
【数６】
【００３３】
以下、本発明の実施の形態を第１図を用いて説明する。
図１において、ＫＬ展開ユニット１は、第１の特徴抽出手段及び第２の特徴抽出手段を兼ねる。ＫＬ展開のための教示画像にはモデル画像の全セットを用いる。
【００３４】
先ず、ＫＬ展開法（前掲のMatthew A.Turk and Alex P.Pentlandによる文献参照）を用いて、モデル画像メモリ２に記憶されている各モデル画像から特徴抽出が行なわれ特徴ベクトルがモデル特徴ベクトルメモリ３に記憶される。このそれぞれのモデルに対して第１のモデル近傍限定ユニット４が次式８
【数８】
【００３５】
先ず、前記数式１に従って散在性評価行列が計算され、この行列の固有値のうち最大のものから N 番目までに相当する固有値とその固有ベクトルが求められ、これらの情報がモデル毎に固有空間生成ユニット５内の固有空間メモリに記憶される。以上はオフラインのプロセスで行なわれる。
【００３６】
オンラインでは、カメラから取り込まれ対象画像メモリ６に保持された入力画像がＫＬ展開ユニット１に転送され、モデル画像と同様に特徴ベクトルが抽出される。
【００３７】
次に、第１のモデル選択ユニット７がこの対象顔の特徴ベクトルに最も類似した特徴ベクトルを有するモデルをモデル特徴ベクトルメモリ３の内容と照合することで見い出す。この際の類似度の評価にはマハラノビス距離と呼ばれる以下の数式９を用い、これを最小にするものを検出する。
【数９】
ここで選択されたモデルを Mp とし、Mp に対して第２のモデル近傍限定ユニット８が限定して保持しているモデルのセットを{MNp}とする。
第２のモデル選択ユニット９は、Mp に対して固有空間メモリに記憶されている基底ベクトルを用いて、{MNp} に含まれる各モデル顔ベクトル M 及び、入力対象顔ベクトル I を前記数式２に従って固有空間に射影し（特徴抽出し）、固有空間での座標 m, i を得る。最後にこのモデルの座標集合{m}のうち、前記数式３（評価式）を最小にするするものを有するモデル M_opt を検出し、これを顔画像認識の出力とする。
【００３９】
【発明の効果】
以上のように本発明によれば、第一段階のモデル選択（第１のモデル選択手段）によって入力画像にマッチする尤もらしいモデルの候補を絞りこみ、続いて、その中から第二段階の選択によって第一段階とは異った特徴抽出を用いて最終的な認識を行なうものである。従って、第一段階の絞りこみによる正解の漏れがなければ、登録するモデルの数が増加したとしても対象を絞り込めるので従来法のような認識率の低下はおこらない。
【００４０】
第一段階のプロセスをさらに細かい連続した段階的絞りのプロセスに分解すれば、以上の効果は極めて莫大なモデルデータに対しても対応できる。
【００４１】
さらに、モデルのおのおのに対して、その近傍に含まれる（すなわち類似した）顔画像を最適に分離する固有空間を保持し、この空間内での距離を用いて認識を実現するので、極めて正答率の高い認識結果が得られる。
【００４２】
以上のことから、本発明の顔画像認識装置を用いれば、登録モデル画像数の大きい大規模なシステムに対しても正答率を低下させることなく顔画像の認識が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明による顔画像認識装置の構成を示す図、
【図２】従来の顔画像認識装置の構成を示す図である。
【符号の説明】
１、21 ＫＬ展開ユニット
２、22 モデル画像メモリ
３、23 モデル特徴ベクトルメモリ
４ 第１のモデル近傍限定ユニット
５ 固有空間生成ユニット
６、24 対象画像メモリ
７ 第１のモデル選択ユニット
８ 第２のモデル近傍限定ユニット
９ 第２のモデル選択ユニット
25 モデル選択ユニット
Claims (5)
- モデル顔画像から特徴ベクトルを抽出し、保持するモデル特徴ベクトル抽出・保持手段と、前記各モデル顔画像おのおのに対して特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出すモデル限定を施し、各モデル顔画像毎に限定したモデル顔画像の集合に対して、散在性評価行列の固有値の最大のものからＮ番目までのものとそれに対応する固有ベクトルを計算し、これを各モデル毎に保持するモデル固有空間保持手段と、認識すべき対象顔画像を入力する対象顔画像入力手段と、前記対象顔画像から特徴ベクトルを抽出する対象顔画像特徴抽出手段と、前記対象顔画像の特徴ベクトルに対して、前記モデル顔画像の特徴ベクトルの中で前記対象顔画像の特徴ベクトルに最も類似したモデル顔画像の特徴ベクトルを見いだす第１のモデル選択手段と、前記第１のモデル選択手段が選択したモデル顔画像の特徴ベクトルに対して特徴ベクトルとの変動が、ある一定の条件を満足する特徴ベクトルを有するモデルの集合を取り出すモデル限定を施すモデル限定手段と、前記モデル限定手段によって限定されたモデル顔画像の特徴ベクトルＭの中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルＥｊ（ｊ＝１．．Ｎ）によって張られる空間に射影して得られる点ｍの、同一の固有空間に射影された対象顔ベクトルＩの点ｉからの変動が最小のモデル顔画像の特徴ベクトルを選択し、選択した最小のモデル顔画像の特徴ベクトルに基づいてモデルを検出する第２のモデル選択手段とを具備することを特徴とする顔画像認識装置。
- 前記第２のモデル選択手段は、前記モデル限定手段によって限定されたモデル顔画像の特徴ベクトルの中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルＥｊ（ｊ＝１．．Ｎ）によって張られる空間に射影して得られる点ｍの、同一の固有空間に射影された対象顔画像特徴ベクトルＩの点ｉからの次式３
- 前記第２のモデル選択手段は、前記モデル限定手段によって限定されたモデル顔画像の特徴ベクトルの中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルＥｊ（ｊ＝１．．Ｎ）によって張られる空間に射影して得られる点ｍの、同一の固有空間に射影された対象顔画像特徴ベクトルＩの点ｉからの次式４
- 前記第２のモデル選択手段は、前記モデル限定手段によって限定されたモデル顔画像の特徴ベクトルの中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルＥｊ（ｊ＝１．．Ｎ）によって張られる空間に射影して得られる点ｍの、同一の固有空間に射影された対象顔画像特徴ベクトルＩの点ｉからの次式５
- 前記第２のモデル選択手段は、前記モデル限定手段によって限定されたモデル顔画像の特徴ベクトルの中で、前記モデル固有空間保持手段に保持されているＮ個の固有ベクトルＥｊ（ｊ＝１．．Ｎ）によって張られる空間に射影して得られる点ｍの、同一の固有空間に射影された対象顔画像特徴ベクトルＩの点ｉからの次式６
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17725696A JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
| US08/764,546 US5901244A (en) | 1996-06-18 | 1996-12-12 | Feature extraction system and face image recognition system |
| US09/290,256 US6430307B1 (en) | 1996-06-18 | 1999-04-13 | Feature extraction system and face image recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17725696A JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH103548A JPH103548A (ja) | 1998-01-06 |
| JP3841482B2 true JP3841482B2 (ja) | 2006-11-01 |
Family
ID=16027902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17725696A Expired - Fee Related JP3841482B2 (ja) | 1996-06-18 | 1996-06-18 | 顔画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3841482B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593598A (zh) * | 2013-11-25 | 2014-02-19 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006033257A1 (ja) * | 2004-09-24 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
| JP2007052733A (ja) * | 2005-08-19 | 2007-03-01 | Glory Ltd | 顔画像判定装置および顔画像判定方法 |
-
1996
- 1996-06-18 JP JP17725696A patent/JP3841482B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593598A (zh) * | 2013-11-25 | 2014-02-19 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
| CN103593598B (zh) * | 2013-11-25 | 2016-09-21 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH103548A (ja) | 1998-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Narzillo et al. | Peculiarities of face detection and recognition | |
| Kumar et al. | Real time face recognition using adaboost improved fast PCA algorithm | |
| EP1766555B1 (en) | Single image based multi-biometric system and method | |
| US7031499B2 (en) | Object recognition system | |
| CN105550657B (zh) | 基于关键点的改进sift人脸特征提取方法 | |
| Khan et al. | A comparative analysis of gender classification techniques | |
| KR101464446B1 (ko) | 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치 | |
| JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
| Anila et al. | Simple and fast face detection system based on edges | |
| JP7151875B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| Bagherian et al. | Facial feature extraction for face recognition: a review | |
| Mayer et al. | Adjusted pixel features for robust facial component classification | |
| KR101195539B1 (ko) | 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 | |
| Bouhabba et al. | Support vector machine for face emotion detection on real time basis | |
| JPH1185988A (ja) | 顔画像認識システム | |
| Gottumukkal et al. | Real time face detection from color video stream based on PCA method | |
| JP3841482B2 (ja) | 顔画像認識装置 | |
| Dwivedi et al. | A new hybrid approach on face detection and recognition | |
| Ismail et al. | Review of existing algorithms for face detection and recognition | |
| Ismaila et al. | A study of features extraction algorithms for human face recognition | |
| Saxena et al. | A Review on LBPH (Local Binary Patterns Histograms) based Enhanced Technique For Multiple Face Detection | |
| Pande et al. | Parallel processing for multi face detection and recognition | |
| Shukla et al. | Comparison of Face Recognition algorithms & its subsequent impact on side face | |
| Ren et al. | Real-time head pose estimation on mobile platforms | |
| Jain et al. | Face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060808 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |