JP3322208B2 - パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 - Google Patents
パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置Info
- Publication number
- JP3322208B2 JP3322208B2 JP07014398A JP7014398A JP3322208B2 JP 3322208 B2 JP3322208 B2 JP 3322208B2 JP 07014398 A JP07014398 A JP 07014398A JP 7014398 A JP7014398 A JP 7014398A JP 3322208 B2 JP3322208 B2 JP 3322208B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- matrix
- perturbation
- feature extraction
- covariance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像や音声等の認
識を行うパターン認識方法及びパターン認識装置並びに
パターン照合方法及びパターン照合装置に関する。
識を行うパターン認識方法及びパターン認識装置並びに
パターン照合方法及びパターン照合装置に関する。
【０００２】
【従来の技術】パターン認識（例えば顔画像認識や音声
認識）の技術分野において、従来技術の評価の高い方法
は、データベースに登録されたモデル集合から計算され
る２次の統計量（共分散）をもとにパターンの分布、即
ち、上述したデータ空間内にパターンの集合が占める部
分を推定し、これをもとに、パターンからの特徴抽出を
行なうものである。
認識）の技術分野において、従来技術の評価の高い方法
は、データベースに登録されたモデル集合から計算され
る２次の統計量（共分散）をもとにパターンの分布、即
ち、上述したデータ空間内にパターンの集合が占める部
分を推定し、これをもとに、パターンからの特徴抽出を
行なうものである。
【０００３】例えば、よく知られたＫＬ展開方法は、Ｋ
Ｌ展開によって特徴抽出を行なうもので文献（M. Turk,
A. Pentland,''Eigenfaces for recognition'',Journa
l ofCognitive Neuroscience, vol. 3, No. 1, 1991.）
に詳しく述べられており、他の方法もこれに準じたもの
が多い。
Ｌ展開によって特徴抽出を行なうもので文献（M. Turk,
A. Pentland,''Eigenfaces for recognition'',Journa
l ofCognitive Neuroscience, vol. 3, No. 1, 1991.）
に詳しく述べられており、他の方法もこれに準じたもの
が多い。
【０００４】ＫＬ法では、２つのパターンＡ、Ｂを（数
１）に示す通り、P個の基底ベクトル E_i (i=1...P) の
線形結合で近似し、近似データ間で照合をとるものであ
る。
１）に示す通り、P個の基底ベクトル E_i (i=1...P) の
線形結合で近似し、近似データ間で照合をとるものであ
る。
【０００５】
【数１】
【０００６】ＫＬ法は、この基底ベクトルとして、Ｗ個
の教示パターンデータから得られる共分散行列の固有値
の大きいものからＰ個（例えば100個程度）のものに対
応する固有ベクトルを用いる。その基底ベクトルによっ
て空間を構成すれば、 （１）射影された教示データが最もよく分離される、即
ち、区別しやすくなる。 （２）パターンに含まれるノイズ等、不規則に現れる成
分（変動）をとり除くことができるという利点を有する
と考えられている。
の教示パターンデータから得られる共分散行列の固有値
の大きいものからＰ個（例えば100個程度）のものに対
応する固有ベクトルを用いる。その基底ベクトルによっ
て空間を構成すれば、 （１）射影された教示データが最もよく分離される、即
ち、区別しやすくなる。 （２）パターンに含まれるノイズ等、不規則に現れる成
分（変動）をとり除くことができるという利点を有する
と考えられている。
【０００７】このＫＬ法において注意すべき点は、パタ
ーン標本集合から計算される分布のパラメタの推定精度
が十分高いことを仮定している点である。実際、例えば
顔画像認識において、比較する２つのパターンセットの
統計的性質が変動しなければ非常に精度の高い認識率を
達成されることが実験的にも確認されている。
ーン標本集合から計算される分布のパラメタの推定精度
が十分高いことを仮定している点である。実際、例えば
顔画像認識において、比較する２つのパターンセットの
統計的性質が変動しなければ非常に精度の高い認識率を
達成されることが実験的にも確認されている。
【０００８】
【発明が解決しようとする課題】しかし、以上のような
従来法における仮定は、データ獲得のプロセスが大きく
異なる場合など、現実には成立しないことがしばしばあ
る。例えば画像認識において比較する２つの画像の撮影
時の照明条件変化は、２種類のパターンセットの間に大
きな統計的性質の変化をもたらし、その結果、画像認識
の十分な精度が得られないという課題が知られている。
従来法における仮定は、データ獲得のプロセスが大きく
異なる場合など、現実には成立しないことがしばしばあ
る。例えば画像認識において比較する２つの画像の撮影
時の照明条件変化は、２種類のパターンセットの間に大
きな統計的性質の変化をもたらし、その結果、画像認識
の十分な精度が得られないという課題が知られている。
【０００９】このような問題の根本原因は、従来法が、
比較する２種類のパターンセットが、共通の分布（統計
的パラメタ）から引かれたものであると仮定している点
にある。実際はパターンが２つ以上のかなり異なった分
布に由来する場合はこの前提ではうまく扱えないのは当
然である。
比較する２種類のパターンセットが、共通の分布（統計
的パラメタ）から引かれたものであると仮定している点
にある。実際はパターンが２つ以上のかなり異なった分
布に由来する場合はこの前提ではうまく扱えないのは当
然である。
【００１０】本発明は、このようなパターンセットの分
布の違いを取り除くような特徴抽出を施すことで上記課
題を解決することを目的とする。
布の違いを取り除くような特徴抽出を施すことで上記課
題を解決することを目的とする。
【００１１】
【課題を解決するための手段】上記課題を解決するため
に、本発明では、パターンの分布そのものを記述する統
計量に加えて、一方から他方の変化を捉えた統計量も予
め学習させ利用する。そのため、本発明では、パターン
そのものの共分散行列C_sを推定するパターン共分散推
定手段と、２つのセットでの対応する個々のパターンの
変動情報を予め学習させその共分散行列 C_p を推定す
る摂動共分散推定手段と、２つの共分散行列 C_s、C_p
を同時に対角化するアフィン変換行列Ｈを計算する同時
対角化行列計算手段と、同時対角化後に対角成分の振幅
調整を行なう行列Ｌを計算する再振幅変換行列計算手段
と、これらの合成変換として特徴抽出行列Ｆを計算する
特徴抽出行列計算手段とを備える。
に、本発明では、パターンの分布そのものを記述する統
計量に加えて、一方から他方の変化を捉えた統計量も予
め学習させ利用する。そのため、本発明では、パターン
そのものの共分散行列C_sを推定するパターン共分散推
定手段と、２つのセットでの対応する個々のパターンの
変動情報を予め学習させその共分散行列 C_p を推定す
る摂動共分散推定手段と、２つの共分散行列 C_s、C_p
を同時に対角化するアフィン変換行列Ｈを計算する同時
対角化行列計算手段と、同時対角化後に対角成分の振幅
調整を行なう行列Ｌを計算する再振幅変換行列計算手段
と、これらの合成変換として特徴抽出行列Ｆを計算する
特徴抽出行列計算手段とを備える。
【００１２】これにより、高精度なパターン認識装置が
得られる。
得られる。
【００１３】
【発明の実施の形態】本発明の請求項１に記載の発明
は、異なるプロセスで獲得したパターンａとｂの集合で
ある教示用パターンセットＡ１とＢ１から、計算される
統計量を基にしたパターンの分布とパターンセットＡ１
とＢ１の対応する個々のパターンの摂動から計算される
統計量を基にした摂動の分布とを求め、パターンの分布
とパターンの摂動の分布の交わりの体積を最小化する特
徴抽出行列Ｆを求めて、教示用パターンセットＢ１のそ
れぞれのパターンｂ１に対して、前記特徴抽出行列Ｆを
用いて特徴量ｆｂ１を計算し、これら特徴量ｆｂ１の集
合である参照データベースＦｂ１と前記特徴抽出行列Ｆ
を予め保存しておき、入力されたパターンａ２から前記
特徴抽出行列Ｆを用いて特徴量ｆａ２を抽出し、前記参
照データベースＦｂ１の特徴量の集合の中から前記入力
されたパターンの特徴量ｆａ２に最も類似した特徴量ｆ
ｂ１の要素を認識結果とするパターン認識方法におい
て、特徴抽出行列Ｆは、異なるプロセスで獲得したパタ
ーンａとｂの集合である教示用パターンセットＡ１とＢ
１を獲得し、教示用パターンセットＡ１及びセットＢ１
のパターンセットから、パターン標本空間の共分散行列
C_sを推定する工程と、パターンセットＡ１とパターン
セットＢ１の間で対応するパターンの摂動を計算する工
程と、前記計算されたパターンの摂動から共分散行列 C
_pを推定する工程と、前記２つの共分散行列 C_s, C_p
を同時に対角化し、それぞれ新たに行列D_s, D_p を生
成するための同時対角化行列Ｈを計算する工程と、前記
対角化された共分散行列 D_s, D_pの対角成分を２つの
共分散が表現する分布の交わりが最小化するように変換
する再振幅変換行列Ｌを計算する工程と、前記行列Ｈと
前記行列Ｌの積から特徴抽出行列Ｆを計算することを特
徴とするもので、パターンと摂動がそれぞれ占める空間
は特徴抽出変換によって、分布の軸を全て共有し、パタ
ーンの分布とその摂動の分布はあたかも直交したかのよ
うな状態になり、その交わりの体積が最小化されること
により、もとのパターンの空間に入り込んだ摂動（変
動）成分が効果的に取り除かれために、高精度なパター
ン認識を可能にするという作用を有する。
は、異なるプロセスで獲得したパターンａとｂの集合で
ある教示用パターンセットＡ１とＢ１から、計算される
統計量を基にしたパターンの分布とパターンセットＡ１
とＢ１の対応する個々のパターンの摂動から計算される
統計量を基にした摂動の分布とを求め、パターンの分布
とパターンの摂動の分布の交わりの体積を最小化する特
徴抽出行列Ｆを求めて、教示用パターンセットＢ１のそ
れぞれのパターンｂ１に対して、前記特徴抽出行列Ｆを
用いて特徴量ｆｂ１を計算し、これら特徴量ｆｂ１の集
合である参照データベースＦｂ１と前記特徴抽出行列Ｆ
を予め保存しておき、入力されたパターンａ２から前記
特徴抽出行列Ｆを用いて特徴量ｆａ２を抽出し、前記参
照データベースＦｂ１の特徴量の集合の中から前記入力
されたパターンの特徴量ｆａ２に最も類似した特徴量ｆ
ｂ１の要素を認識結果とするパターン認識方法におい
て、特徴抽出行列Ｆは、異なるプロセスで獲得したパタ
ーンａとｂの集合である教示用パターンセットＡ１とＢ
１を獲得し、教示用パターンセットＡ１及びセットＢ１
のパターンセットから、パターン標本空間の共分散行列
C_sを推定する工程と、パターンセットＡ１とパターン
セットＢ１の間で対応するパターンの摂動を計算する工
程と、前記計算されたパターンの摂動から共分散行列 C
_pを推定する工程と、前記２つの共分散行列 C_s, C_p
を同時に対角化し、それぞれ新たに行列D_s, D_p を生
成するための同時対角化行列Ｈを計算する工程と、前記
対角化された共分散行列 D_s, D_pの対角成分を２つの
共分散が表現する分布の交わりが最小化するように変換
する再振幅変換行列Ｌを計算する工程と、前記行列Ｈと
前記行列Ｌの積から特徴抽出行列Ｆを計算することを特
徴とするもので、パターンと摂動がそれぞれ占める空間
は特徴抽出変換によって、分布の軸を全て共有し、パタ
ーンの分布とその摂動の分布はあたかも直交したかのよ
うな状態になり、その交わりの体積が最小化されること
により、もとのパターンの空間に入り込んだ摂動（変
動）成分が効果的に取り除かれために、高精度なパター
ン認識を可能にするという作用を有する。
【００１４】
【００１５】請求項２に記載の発明は、異なるプロセス
で獲得したパターンａとｂの集合である教示用パターン
セットＡ１及びセットＢ１のパターンセットから、計算
される統計量を基にしたパターンの分布とパターンセッ
トＡ１とＢ１の対応する個々のパターンの摂動から計算
される統計量を基にした摂動の分布とを求め、パターン
の分布とパターンの摂動の分布の交わりの体積を最小化
する特徴抽出行列Ｆを予め求めておき、異なるプロセス
で獲得した入力された入力パターンａ、ｂから前記特徴
抽出行列Ｆを用いてそれぞれ特徴量ｆａ、ｆｂを計算
し、特徴量ｆａとｆｂの類似度から２つのパターンａと
パターンｂが同一のものであるかどうかを判定するパタ
ーン照合方法において、特徴抽出行列Ｆは、異なるプロ
セスで獲得したパターンａとｂの集合である教示用パタ
ーンセットＡ１とＢ１を獲得し、教示用パターンセット
Ａ１及びセットＢ１のパターンセットから、パターン標
本空間の共分散行列 C_sを推定する工程と、パターンセ
ットＡ１とパターンセットＢ１の間で対応するパターン
の摂動を計算する工程と、前記計算されたパターンの摂
動から共分散行列 C_pを推定する工程と、前記２つの共
分散行列 C_s, C_pを同時に対角化し、それぞれ新たに
行列D_s, D_p を生成するための同時対角化行列Ｈを計
算する工程と、前記対角化された共分散行列 D_s, D_p
の対角成分を２つの共分散が表現する分布の交わりが最
小化するように変換する再振幅変換行列Ｌを計算する工
程と、前記行列Ｈと前記行列Ｌから特徴抽出行列Ｆを計
算することを特徴とするもので、パターンと摂動がそれ
ぞれ占める空間は特徴抽出変換によって、分布の軸を全
て共有し、パターンの分布とその摂動の分布はあたかも
直交したかのような状態になり、その交わりの体積が最
小化されることにより、もとのパターンの空間に入り込
んだ摂動（変動）成分が効果的に取り除かれために、高
精度なパターン照合を可能にするという作用を有する。
で獲得したパターンａとｂの集合である教示用パターン
セットＡ１及びセットＢ１のパターンセットから、計算
される統計量を基にしたパターンの分布とパターンセッ
トＡ１とＢ１の対応する個々のパターンの摂動から計算
される統計量を基にした摂動の分布とを求め、パターン
の分布とパターンの摂動の分布の交わりの体積を最小化
する特徴抽出行列Ｆを予め求めておき、異なるプロセス
で獲得した入力された入力パターンａ、ｂから前記特徴
抽出行列Ｆを用いてそれぞれ特徴量ｆａ、ｆｂを計算
し、特徴量ｆａとｆｂの類似度から２つのパターンａと
パターンｂが同一のものであるかどうかを判定するパタ
ーン照合方法において、特徴抽出行列Ｆは、異なるプロ
セスで獲得したパターンａとｂの集合である教示用パタ
ーンセットＡ１とＢ１を獲得し、教示用パターンセット
Ａ１及びセットＢ１のパターンセットから、パターン標
本空間の共分散行列 C_sを推定する工程と、パターンセ
ットＡ１とパターンセットＢ１の間で対応するパターン
の摂動を計算する工程と、前記計算されたパターンの摂
動から共分散行列 C_pを推定する工程と、前記２つの共
分散行列 C_s, C_pを同時に対角化し、それぞれ新たに
行列D_s, D_p を生成するための同時対角化行列Ｈを計
算する工程と、前記対角化された共分散行列 D_s, D_p
の対角成分を２つの共分散が表現する分布の交わりが最
小化するように変換する再振幅変換行列Ｌを計算する工
程と、前記行列Ｈと前記行列Ｌから特徴抽出行列Ｆを計
算することを特徴とするもので、パターンと摂動がそれ
ぞれ占める空間は特徴抽出変換によって、分布の軸を全
て共有し、パターンの分布とその摂動の分布はあたかも
直交したかのような状態になり、その交わりの体積が最
小化されることにより、もとのパターンの空間に入り込
んだ摂動（変動）成分が効果的に取り除かれために、高
精度なパターン照合を可能にするという作用を有する。
【００１６】
【００１７】請求項３に記載の発明は、異なるプロセス
で獲得したパターンａとｂの集合であるパターンセット
Ａ１とＢ１を獲得するパターン入力手段と、前記獲得し
たパターン標本集合から計算される統計量を基にしたパ
ターンの分布とパターンセットＡ１とＢ１の対応する個
々のパターンの摂動から計算される統計量を基にした摂
動の分布とを求め、パターンの分布とパターンの摂動の
分布の交わりの体積を最小化する特徴抽出行列Ｆを求め
て、教示用パターンセットＢ１のそれぞれのパターンｂ
１に対して、特徴抽出行列Ｆを用いて特徴量ｆｂ１を計
算し、これら特徴量ｆｂ１の集合である参照データベー
スＦｂ１と前記特徴抽出行列Ｆを予め保存する特徴抽出
手段と、パターン入力手段から入力されたパターンａ２
から前記特徴抽出行列Ｆを用いて特徴量ｆａ２を抽出
し、前記参照データベースＦｂ１の特徴量の集合の中か
ら前記入力されたパターンの特徴量ｆａ２に最も類似し
た特徴量ｆｂ１の要素を認識結果として出力する最適マ
ッチ決定手段とを具備するパターン認識装置において、
特徴抽出手段は、入力された教示用パターンセットＡ１
及びセットＢ１のパターンセットから、パターン標本空
間の共分散行列 C_sを推定するパターン共分散推定手段
と、パターンセットＡ１とパターンセットＢ１の間で対
応するパターンの摂動を計算する摂動パターン計算手段
と、前記摂動パターン計算手段によって計算された摂動
パターンの共分散行列 C_p を推定する摂動共分散推定
手段と２つの共分散行列 C_s, C_pを同時に対角化し、
それぞれ新たに行列D_s, D_pを生成するための同時対角
化行列Ｈを計算する同時対角化行列計算手段と、前記同
時対角化行列計算手段によって計算された行列Ｈによっ
てC_s, C_pからそれぞれ生成されたD_s, D_pから再振幅
変換行列Ｌを計算する再振幅変換行列計算手段と、前記
同時対角化行列計算手段からの対角化された共分散行列
D_s, D_pの対角成分を２つの共分散が表現する分布の
交わりが最小化するように変換する特徴抽出行列Ｆを計
算する特徴抽出行列計算手段とを具備するもので、パタ
ーンと摂動がそれぞれ占める空間は特徴抽出変換によっ
て、分布の軸を全て共有し、パターンの分布とその摂動
の分布はあたかも直交したかのような状態になり、その
交わりの体積が最小化されることにより、もとのパター
ンの空間に入り込んだ摂動（変動）成分が効果的に取り
除かれために、高精度なパターン照合を可能にするとい
う作用を有する。
で獲得したパターンａとｂの集合であるパターンセット
Ａ１とＢ１を獲得するパターン入力手段と、前記獲得し
たパターン標本集合から計算される統計量を基にしたパ
ターンの分布とパターンセットＡ１とＢ１の対応する個
々のパターンの摂動から計算される統計量を基にした摂
動の分布とを求め、パターンの分布とパターンの摂動の
分布の交わりの体積を最小化する特徴抽出行列Ｆを求め
て、教示用パターンセットＢ１のそれぞれのパターンｂ
１に対して、特徴抽出行列Ｆを用いて特徴量ｆｂ１を計
算し、これら特徴量ｆｂ１の集合である参照データベー
スＦｂ１と前記特徴抽出行列Ｆを予め保存する特徴抽出
手段と、パターン入力手段から入力されたパターンａ２
から前記特徴抽出行列Ｆを用いて特徴量ｆａ２を抽出
し、前記参照データベースＦｂ１の特徴量の集合の中か
ら前記入力されたパターンの特徴量ｆａ２に最も類似し
た特徴量ｆｂ１の要素を認識結果として出力する最適マ
ッチ決定手段とを具備するパターン認識装置において、
特徴抽出手段は、入力された教示用パターンセットＡ１
及びセットＢ１のパターンセットから、パターン標本空
間の共分散行列 C_sを推定するパターン共分散推定手段
と、パターンセットＡ１とパターンセットＢ１の間で対
応するパターンの摂動を計算する摂動パターン計算手段
と、前記摂動パターン計算手段によって計算された摂動
パターンの共分散行列 C_p を推定する摂動共分散推定
手段と２つの共分散行列 C_s, C_pを同時に対角化し、
それぞれ新たに行列D_s, D_pを生成するための同時対角
化行列Ｈを計算する同時対角化行列計算手段と、前記同
時対角化行列計算手段によって計算された行列Ｈによっ
てC_s, C_pからそれぞれ生成されたD_s, D_pから再振幅
変換行列Ｌを計算する再振幅変換行列計算手段と、前記
同時対角化行列計算手段からの対角化された共分散行列
D_s, D_pの対角成分を２つの共分散が表現する分布の
交わりが最小化するように変換する特徴抽出行列Ｆを計
算する特徴抽出行列計算手段とを具備するもので、パタ
ーンと摂動がそれぞれ占める空間は特徴抽出変換によっ
て、分布の軸を全て共有し、パターンの分布とその摂動
の分布はあたかも直交したかのような状態になり、その
交わりの体積が最小化されることにより、もとのパター
ンの空間に入り込んだ摂動（変動）成分が効果的に取り
除かれために、高精度なパターン照合を可能にするとい
う作用を有する。
【００１８】
【００１９】請求項４に記載の発明は、異なるプロセス
で獲得したパターンａとｂの集合であるパターンセット
Ａ１とＢ１を獲得するパターン入力手段と、前記獲得し
たパターン標本集合から計算される統計量を基にしたパ
ターンの分布とパターンセットＡ１とＢ１の対応する個
々のパターンの摂動から計算される統計量を基にした摂
動の分布とを求め、パターンの分布とパターンの摂動の
分布の交わりの体積を最小化する特徴抽出行列Ｆを求め
予め保存する特徴抽出行列手段と、パターン入力手段か
ら入力された入力パターンａ、ｂから前記特徴抽出行列
Ｆを用いてそれぞれ特徴量ｆａ、ｆｂを計算する特徴抽
出手段と、特徴量ｆａとｆｂの類似度から２つのパター
ンａとパターンｂが同一のものであるかどうかを判定す
る同一性判定手段を具備するパターン照合装置におい
て、特徴抽出行列手段は、入力された教示用パターンセ
ットＡ１及びセットＢ１のパターンセットから、パター
ン標本空間の共分散行列 C_s を推定するパターン共分
散推定手段と、パターンセットＡ１とパターンセットＢ
１の間で対応するパターンの摂動を計算する摂動パター
ン計算手段と、前記摂動パターン計算手段によって計算
された摂動パターンの共分散行列 C_p を推定する摂動
共分散推定手段と２つの共分散行列 C_s, C_pを同時に
対角化し、それぞれ新たに行列D_s, D_p を生成するた
めの同時対角化行列Ｈを計算する同時対角化行列計算手
段と、前記同時対角化行列計算手段からの対角化された
共分散行列 D_s, D_pの対角成分を２つの共分散が表現
する分布の交わりが最小化するように変換する再振幅変
換行列Ｌを計算する再振幅変換行列計算手段と、前記同
時対角化行列計算手段が出力した行列Ｈと前記再振幅変
換行列計算手段が出力した行列Ｌから特徴抽出行列Ｆを
計算する特徴抽出行列計算手段と具備するもので、する
もので、パターンと摂動がそれぞれ占める空間は特徴抽
出変換によって、分布の軸を全て共有し、パターンの分
布とその摂動の分布はあたかも直交したかのような状態
になり、その交わりの体積が最小化されることにより、
もとのパターンの空間に入り込んだ摂動（変動）成分が
効果的に取り除かれために、高精度なパターン照合を可
能にするという作用を有する。
で獲得したパターンａとｂの集合であるパターンセット
Ａ１とＢ１を獲得するパターン入力手段と、前記獲得し
たパターン標本集合から計算される統計量を基にしたパ
ターンの分布とパターンセットＡ１とＢ１の対応する個
々のパターンの摂動から計算される統計量を基にした摂
動の分布とを求め、パターンの分布とパターンの摂動の
分布の交わりの体積を最小化する特徴抽出行列Ｆを求め
予め保存する特徴抽出行列手段と、パターン入力手段か
ら入力された入力パターンａ、ｂから前記特徴抽出行列
Ｆを用いてそれぞれ特徴量ｆａ、ｆｂを計算する特徴抽
出手段と、特徴量ｆａとｆｂの類似度から２つのパター
ンａとパターンｂが同一のものであるかどうかを判定す
る同一性判定手段を具備するパターン照合装置におい
て、特徴抽出行列手段は、入力された教示用パターンセ
ットＡ１及びセットＢ１のパターンセットから、パター
ン標本空間の共分散行列 C_s を推定するパターン共分
散推定手段と、パターンセットＡ１とパターンセットＢ
１の間で対応するパターンの摂動を計算する摂動パター
ン計算手段と、前記摂動パターン計算手段によって計算
された摂動パターンの共分散行列 C_p を推定する摂動
共分散推定手段と２つの共分散行列 C_s, C_pを同時に
対角化し、それぞれ新たに行列D_s, D_p を生成するた
めの同時対角化行列Ｈを計算する同時対角化行列計算手
段と、前記同時対角化行列計算手段からの対角化された
共分散行列 D_s, D_pの対角成分を２つの共分散が表現
する分布の交わりが最小化するように変換する再振幅変
換行列Ｌを計算する再振幅変換行列計算手段と、前記同
時対角化行列計算手段が出力した行列Ｈと前記再振幅変
換行列計算手段が出力した行列Ｌから特徴抽出行列Ｆを
計算する特徴抽出行列計算手段と具備するもので、する
もので、パターンと摂動がそれぞれ占める空間は特徴抽
出変換によって、分布の軸を全て共有し、パターンの分
布とその摂動の分布はあたかも直交したかのような状態
になり、その交わりの体積が最小化されることにより、
もとのパターンの空間に入り込んだ摂動（変動）成分が
効果的に取り除かれために、高精度なパターン照合を可
能にするという作用を有する。
【００２０】
【００２１】
【００２２】
【００２３】以下、本発明の実施の形態について、図面
を用いて説明する。 （実施の形態１）図１に、本発明の実施の形態１におけ
るパターン認識装置を身分証照合に適用した顔画像認識
装置のブロック構成図を示し説明する。図１は、顔画像
認識装置をコンピュータシステムで実現したものであ
る。図１において、１は人物の顔画像（パターンＡ）を
直接撮影するためのビデオカメラ、２は身分証の顔写真
（パターンＢ）から顔画像を取り込むためのイメージス
キャナ、３、４はビデオカメラ１およびイメージスキャ
ナ２からの画像信号を記憶する画像メモリＡ、Ｂ、５は
プログラムの格納やワーク用のメモリ、６はＣＰＵ、
７、８はそれぞれＡ、Ｂの画像パターンや、特徴抽出の
実行によって計算された特徴パターンを記憶するパター
ンメモリＡ、Ｂ、９はシステムコンソールとしてのキー
ボード＆ディスプレイ、１０は画像パターン情報など大
規模なデータを保存するための２次記憶装置（光磁気デ
ィスクなど）、１１は参照画像データベース、１２〜１
６は外部機器とのデータのやり取りを行うインタフェー
ス（Ｉ／Ｆ）、１７はシステムバス、１８は認識結果を
出力する出力端子、１９は特徴抽出行列メモリ、２０は
コンピュータシステムで構成されている。
を用いて説明する。 （実施の形態１）図１に、本発明の実施の形態１におけ
るパターン認識装置を身分証照合に適用した顔画像認識
装置のブロック構成図を示し説明する。図１は、顔画像
認識装置をコンピュータシステムで実現したものであ
る。図１において、１は人物の顔画像（パターンＡ）を
直接撮影するためのビデオカメラ、２は身分証の顔写真
（パターンＢ）から顔画像を取り込むためのイメージス
キャナ、３、４はビデオカメラ１およびイメージスキャ
ナ２からの画像信号を記憶する画像メモリＡ、Ｂ、５は
プログラムの格納やワーク用のメモリ、６はＣＰＵ、
７、８はそれぞれＡ、Ｂの画像パターンや、特徴抽出の
実行によって計算された特徴パターンを記憶するパター
ンメモリＡ、Ｂ、９はシステムコンソールとしてのキー
ボード＆ディスプレイ、１０は画像パターン情報など大
規模なデータを保存するための２次記憶装置（光磁気デ
ィスクなど）、１１は参照画像データベース、１２〜１
６は外部機器とのデータのやり取りを行うインタフェー
ス（Ｉ／Ｆ）、１７はシステムバス、１８は認識結果を
出力する出力端子、１９は特徴抽出行列メモリ、２０は
コンピュータシステムで構成されている。
【００２４】顔画像認識装置は、予め多くの人の身分証
がイメージスキャナ等により顔画像をデータベースに登
録し、ビデオカメラで撮像した顔画像がデータベースに
登録されているか、あるいは登録された身分証のどれに
一番類似しているかを認識するもので、その処理は、特
徴抽出行列Ｆの計算と、参照画像データベースＦＢ１の
構築を行うオフライン処理と、入力された顔画像が参照
画像データベースＦＢ１に登録済みの人物かどうかの判
定と、登録済みであればその最も類似したものをデータ
ベースのエントリから選ぶオンライン処理とに大別され
る。
がイメージスキャナ等により顔画像をデータベースに登
録し、ビデオカメラで撮像した顔画像がデータベースに
登録されているか、あるいは登録された身分証のどれに
一番類似しているかを認識するもので、その処理は、特
徴抽出行列Ｆの計算と、参照画像データベースＦＢ１の
構築を行うオフライン処理と、入力された顔画像が参照
画像データベースＦＢ１に登録済みの人物かどうかの判
定と、登録済みであればその最も類似したものをデータ
ベースのエントリから選ぶオンライン処理とに大別され
る。
【００２５】まず、最初にオフライン処理について、図
２のオフライン処理動作フローを用いて説明する。オフ
ライン処理の目的は、特徴抽出行列Ｆの計算と、参照画
像データベースＦＢ１の構築にある。
２のオフライン処理動作フローを用いて説明する。オフ
ライン処理の目的は、特徴抽出行列Ｆの計算と、参照画
像データベースＦＢ１の構築にある。
【００２６】まず、ビデオカメラ１から得られた人物顔
の画像信号がＩ／Ｆ１２を介してデジタル変換された画
像メモリＡ３に蓄積される。並行して、当人の身分証顔
写真からイメージスキャナ２によって身分証の顔画像が
獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積され
る（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必
要な十分な教示画像の数が得られる例えば１５０００人
分程度収集する。
の画像信号がＩ／Ｆ１２を介してデジタル変換された画
像メモリＡ３に蓄積される。並行して、当人の身分証顔
写真からイメージスキャナ２によって身分証の顔画像が
獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積され
る（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必
要な十分な教示画像の数が得られる例えば１５０００人
分程度収集する。
【００２７】画像メモリに一旦蓄えられた教示画像は、
ビデオカメラからの多数の顔画像はセットＡ１（顔画
像）として、イメージスキャナからの多数の身分証の顔
画像はセットＢ１（身分証写真）として、例えば顔画像
データは１次元のデータ列としたパターンＡとパターン
Ｂに変換してパターンメモリＡとパターンメモリＢに保
持する（Ｓ１１）。
ビデオカメラからの多数の顔画像はセットＡ１（顔画
像）として、イメージスキャナからの多数の身分証の顔
画像はセットＢ１（身分証写真）として、例えば顔画像
データは１次元のデータ列としたパターンＡとパターン
Ｂに変換してパターンメモリＡとパターンメモリＢに保
持する（Ｓ１１）。
【００２８】特徴抽出行列Ｆは、以下のステップ１２
（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算され
る。
（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算され
る。
【００２９】顔パターンの標本空間共分散C_sが、パタ
ーンセットの一方例えばパターンＢ１（身分証写真）を
用いて（数２）に従って計算される。なお、パターンＡ
１（顔画像）のパターンセットＡとパターンＢ１（身分
証写真）とから（数３）によって、顔パターンの標本空
間共分散を計算してもよい（Ｓ１２）。
ーンセットの一方例えばパターンＢ１（身分証写真）を
用いて（数２）に従って計算される。なお、パターンＡ
１（顔画像）のパターンセットＡとパターンＢ１（身分
証写真）とから（数３）によって、顔パターンの標本空
間共分散を計算してもよい（Ｓ１２）。
【００３０】
【数２】
【００３１】
【数３】
【００３２】パターンセットＡ、Ｂの間の摂動｛Ｐ｝が
（数４）に従って計算され、この結果から（数５）に従
って摂動の共分散 C_p が計算される（Ｓ１３）。
（数４）に従って計算され、この結果から（数５）に従
って摂動の共分散 C_p が計算される（Ｓ１３）。
【００３３】
【数４】
【００３４】
【数５】
【００３５】続いて、２つの共分散 C_s と C_p から
（数６）にしたがって同時対角化行列Ｈを計算し、これ
を用いてC_s, C_pを（数７）に示すようにそれぞれ 対
角行列D_s, D_pに変換する（Ｓ１４）。
（数６）にしたがって同時対角化行列Ｈを計算し、これ
を用いてC_s, C_pを（数７）に示すようにそれぞれ 対
角行列D_s, D_pに変換する（Ｓ１４）。
【００３６】
【数６】
【００３７】
【数７】
【００３８】変換生成された共分散D_s, D_pから（数
８）に従って再振幅変換行列Ｌが計算される（Ｓ１
５）。
８）に従って再振幅変換行列Ｌが計算される（Ｓ１
５）。
【００３９】
【数８】
【００４０】最後に、（数９）に示すように、行列Ｈと
Ｌの合成変換として特徴抽出行列Ｆ計算し、特徴抽出行
列メモリ１９に記憶する（Ｓ１６）。
Ｌの合成変換として特徴抽出行列Ｆ計算し、特徴抽出行
列メモリ１９に記憶する（Ｓ１６）。
【００４１】
【数９】
【００４２】続いて、参照画像データベースＦＢ１構築
のために、教示画像入力の場合と同様に身分証顔画像を
イメージスキャナから取り込み、そのおのおののパター
ンｂ１に対して特徴抽出行列Ｆを用いて（数１０）に従
って特徴ベクトルｆｂ１を計算し、参照画像データベー
スＦＢ１に登録する（Ｓ１７）。
のために、教示画像入力の場合と同様に身分証顔画像を
イメージスキャナから取り込み、そのおのおののパター
ンｂ１に対して特徴抽出行列Ｆを用いて（数１０）に従
って特徴ベクトルｆｂ１を計算し、参照画像データベー
スＦＢ１に登録する（Ｓ１７）。
【００４３】
【数１０】
【００４４】なお、ステップ１５（Ｓ１５）の再振幅変
換行列 L は、（数１１）で計算して求めても良い。
換行列 L は、（数１１）で計算して求めても良い。
【００４５】
【数１１】
【００４６】以上がオフラインで実行されるプロセスで
ある。次に、オンライン処理について、オンライン処理
の動作フローを図３に示し説明する。オンライン処理の
目的は、入力された顔画像が参照画像データベースＦＢ
１に登録済みの人物かどうかの判定と、登録済みであれ
ばその最も類似したものをデータベースのエントリから
選ぶことである。
ある。次に、オンライン処理について、オンライン処理
の動作フローを図３に示し説明する。オンライン処理の
目的は、入力された顔画像が参照画像データベースＦＢ
１に登録済みの人物かどうかの判定と、登録済みであれ
ばその最も類似したものをデータベースのエントリから
選ぶことである。
【００４７】ビデオカメラ１から直接取り込まれた顔画
像は、画像メモリＡ７に記憶され、パターンａ２に変換
してパターンメモリＡに転送する（Ｓ３０）。
像は、画像メモリＡ７に記憶され、パターンａ２に変換
してパターンメモリＡに転送する（Ｓ３０）。
【００４８】パタンメモリＡからのパターンａ２は、オ
フライン時に求めた特徴抽出行列メモリ１９からの特徴
抽出行列Ｆを用いて（数１２）に従って特徴ベクトルｆ
ａ２の計算をする（Ｓ３１）。
フライン時に求めた特徴抽出行列メモリ１９からの特徴
抽出行列Ｆを用いて（数１２）に従って特徴ベクトルｆ
ａ２の計算をする（Ｓ３１）。
【００４９】
【数１２】
【００５０】次は、最適マッチ処理で、特徴ベクトルｆ
ａ２に最も類似した特徴ベクトルを参照画像データベー
スＦＢ１から選びだし、最も類似度の高いものを認識結
果として、１つ以上を出力端子１８に出力するものであ
る（Ｓ３３）。
ａ２に最も類似した特徴ベクトルを参照画像データベー
スＦＢ１から選びだし、最も類似度の高いものを認識結
果として、１つ以上を出力端子１８に出力するものであ
る（Ｓ３３）。
【００５１】ここで、特徴抽出手段の処理の効果は以下
のように説明される。特徴抽出行列 F は（数９）に示
されるように、同時対角化行列Ｈと再振幅変換行列Ｌの
積に分解される。（数７）より明らかなように、行列Ｈ
を用いた同時対角化によって生成されたパターン共分散
C_sと摂動共分散C_pは固有ベクトルを共有する。これに
引き続いて、行列Ｌを用いて共分散行列の対角成分をさ
らに変換すれば、パターンと摂動の共分散は、固有ベク
トルを共通に持ち、かつ、対応する固有値（分散）の大
きさを逆順にすることができる。
のように説明される。特徴抽出行列 F は（数９）に示
されるように、同時対角化行列Ｈと再振幅変換行列Ｌの
積に分解される。（数７）より明らかなように、行列Ｈ
を用いた同時対角化によって生成されたパターン共分散
C_sと摂動共分散C_pは固有ベクトルを共有する。これに
引き続いて、行列Ｌを用いて共分散行列の対角成分をさ
らに変換すれば、パターンと摂動の共分散は、固有ベク
トルを共通に持ち、かつ、対応する固有値（分散）の大
きさを逆順にすることができる。
【００５２】即ち、前者の固有値を降順に x1 > x2 > x
3 ...> xn （全て非負）とすると後者の対応する軸の固
有値は降順に yn > yn-1 > .. > y1 となる。ここで、
共分散行列の固有値は対応する固有ベクトルの方向での
分散、即ち、分布の広がり（の２乗）を示すものであ
る。パターンと摂動がそれぞれ占める空間は特徴抽出変
換によって、分布の軸を全て共有し、かつ、軸方向での
広がりの大きさの順位が逆転することになり、即ち、パ
ターンの分布とその摂動の分布はあたかも直交したかの
ような状態になり、その交わりの体積が最小化される。
これは、特徴抽出によって、もとのパターンの空間に入
り込んだ摂動（変動）成分が効果的に取り除かれたこと
を意味する。摂動とは、２種類のプロセスを通して獲得
された比較パターンの間の違いであるから、これが小さ
くなった状態は、パターン認識にとって理想的な状況で
あるといえる。
3 ...> xn （全て非負）とすると後者の対応する軸の固
有値は降順に yn > yn-1 > .. > y1 となる。ここで、
共分散行列の固有値は対応する固有ベクトルの方向での
分散、即ち、分布の広がり（の２乗）を示すものであ
る。パターンと摂動がそれぞれ占める空間は特徴抽出変
換によって、分布の軸を全て共有し、かつ、軸方向での
広がりの大きさの順位が逆転することになり、即ち、パ
ターンの分布とその摂動の分布はあたかも直交したかの
ような状態になり、その交わりの体積が最小化される。
これは、特徴抽出によって、もとのパターンの空間に入
り込んだ摂動（変動）成分が効果的に取り除かれたこと
を意味する。摂動とは、２種類のプロセスを通して獲得
された比較パターンの間の違いであるから、これが小さ
くなった状態は、パターン認識にとって理想的な状況で
あるといえる。
【００５３】なお、参照画像データベースは、身分証か
らイメージスキャナによりその顔画像をデータベース化
したが、ビデオカメラから顔画像を入力しデータベース
を構築しても構わない。
らイメージスキャナによりその顔画像をデータベース化
したが、ビデオカメラから顔画像を入力しデータベース
を構築しても構わない。
【００５４】また、パターン入力手段として、イメージ
スキャンとビデオカメラを用いたが、どちらか１方であ
っても良く、他の入力手段であっても構わない。
スキャンとビデオカメラを用いたが、どちらか１方であ
っても良く、他の入力手段であっても構わない。
【００５５】また、顔画像データ、パターンセットＡ、
Ｂ及び参照画像データベースＦＢ１をオフラインで作成
したが、二次記憶装置１０から入力することも可能であ
る。さらに、オフラインで獲得、作成した、顔画像デー
タ、パターンセットＡ、Ｂ及び参照画像データベースＦ
Ｂ１を二次記憶装置１０に格納することも可能である。
Ｂ及び参照画像データベースＦＢ１をオフラインで作成
したが、二次記憶装置１０から入力することも可能であ
る。さらに、オフラインで獲得、作成した、顔画像デー
タ、パターンセットＡ、Ｂ及び参照画像データベースＦ
Ｂ１を二次記憶装置１０に格納することも可能である。
【００５６】なお、本実施の形態では、顔画像認識装置
を例にして説明したが、顔以外に車、部品等の画像デー
タ、あるいは音声データ、文字データ等、パターンデー
タ化することによりパターン認識装置として幅広く応用
が可能である。
を例にして説明したが、顔以外に車、部品等の画像デー
タ、あるいは音声データ、文字データ等、パターンデー
タ化することによりパターン認識装置として幅広く応用
が可能である。
【００５７】（実施の形態２）本発明の実施の形態２の
パターン照合装置を身分証照合に適用した顔画像照合装
置のブロック構成図を示し説明する。顔画像照合装置の
ブロック構成図は、実施の形態１の顔画像認識装置と同
じ、コンピュータシステムを用いて実現したもので、ブ
ロック構成図の説明は省略する。
パターン照合装置を身分証照合に適用した顔画像照合装
置のブロック構成図を示し説明する。顔画像照合装置の
ブロック構成図は、実施の形態１の顔画像認識装置と同
じ、コンピュータシステムを用いて実現したもので、ブ
ロック構成図の説明は省略する。
【００５８】顔画像照合装置は、身分証の顔画像とビデ
オカメラの顔画像が同一のものかどうかを判定するもの
で、その処理は予め多くの人の身分証がイメージスキャ
ナ等により顔画像と、ビデオカメラで撮像した顔画像と
を獲得し、特徴抽出行列Ｆの計算を行うオフライン処理
と、イメージスキャナから入力された顔画像とビデオカ
メラから入力した顔画像から特徴抽出行列を用いて特徴
量を計算し、特徴量同士の類似度から同一かどうかを判
定するオンライン処理とに大別される。
オカメラの顔画像が同一のものかどうかを判定するもの
で、その処理は予め多くの人の身分証がイメージスキャ
ナ等により顔画像と、ビデオカメラで撮像した顔画像と
を獲得し、特徴抽出行列Ｆの計算を行うオフライン処理
と、イメージスキャナから入力された顔画像とビデオカ
メラから入力した顔画像から特徴抽出行列を用いて特徴
量を計算し、特徴量同士の類似度から同一かどうかを判
定するオンライン処理とに大別される。
【００５９】まず、最初にオフライン処理について、図
４のオフライン処理動作フローを用いて説明する。オフ
ライン処理の目的は、特徴抽出行列Ｆの計算にある。
４のオフライン処理動作フローを用いて説明する。オフ
ライン処理の目的は、特徴抽出行列Ｆの計算にある。
【００６０】まず、ビデオカメラから得られた人物顔の
画像信号がＩ／Ｆを介してＡ／Ｄ後画像メモリＡに蓄積
される。並行して、当人の身分証顔写真からイメージス
キャナ２によって顔画像が獲得されバスを介して画像メ
モリＢに蓄積される。この過程は、特徴抽出行列の学習
に必要な十分な教示画像の数が得られるまで繰り返され
る。
画像信号がＩ／Ｆを介してＡ／Ｄ後画像メモリＡに蓄積
される。並行して、当人の身分証顔写真からイメージス
キャナ２によって顔画像が獲得されバスを介して画像メ
モリＢに蓄積される。この過程は、特徴抽出行列の学習
に必要な十分な教示画像の数が得られるまで繰り返され
る。
【００６１】まず、ビデオカメラ１から得られた人物顔
の画像信号がＩ／Ｆ１２を介してデジタル変換された画
像メモリＡ３に蓄積される。並行して、当人の身分証顔
写真からイメージスキャナ２によって身分証の顔画像が
獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積され
る（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必
要な十分な教示画像の数が得られる例えば１５０００人
分程度収集する。
の画像信号がＩ／Ｆ１２を介してデジタル変換された画
像メモリＡ３に蓄積される。並行して、当人の身分証顔
写真からイメージスキャナ２によって身分証の顔画像が
獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積され
る（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必
要な十分な教示画像の数が得られる例えば１５０００人
分程度収集する。
【００６２】画像メモリに一旦蓄えられた教示画像は、
ビデオカメラからの多数の顔画像はセットＡ１（顔画
像）として、イメージスキャナからの多数の身分証の顔
画像はセットＢ１（身分証写真）として、例えば顔画像
データは１次元のデータ列としたパターンＡとパターン
Ｂに変換してパターンメモリＡとパターンメモリＢに保
持する（Ｓ１１）。
ビデオカメラからの多数の顔画像はセットＡ１（顔画
像）として、イメージスキャナからの多数の身分証の顔
画像はセットＢ１（身分証写真）として、例えば顔画像
データは１次元のデータ列としたパターンＡとパターン
Ｂに変換してパターンメモリＡとパターンメモリＢに保
持する（Ｓ１１）。
【００６３】特徴抽出行列Ｆは、以下のステップ１２
（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算され
る。
（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算され
る。
【００６４】顔パターンの標本空間共分散C_sが、パタ
ーンセットの一方例えばパターンＢ１（身分証写真）を
用いて（数２）に従って計算される。なお、パターンＡ
１（顔画像）のパターンセットＡとパターンＢ１（身分
証写真）とから（数３）によって、顔パターンの標本空
間共分散を計算してもよい（Ｓ１２）。
ーンセットの一方例えばパターンＢ１（身分証写真）を
用いて（数２）に従って計算される。なお、パターンＡ
１（顔画像）のパターンセットＡとパターンＢ１（身分
証写真）とから（数３）によって、顔パターンの標本空
間共分散を計算してもよい（Ｓ１２）。
【００６５】パターンセットＡ、Ｂの間の摂動｛Ｐ｝が
（数４）に従って計算され、この結果から（数５）に従
って摂動の共分散 C_p が計算される（Ｓ１３）。
（数４）に従って計算され、この結果から（数５）に従
って摂動の共分散 C_p が計算される（Ｓ１３）。
【００６６】続いて、２つの共分散 C_s と C_p から
（数６）にしたがって同時対角化行列Ｈを計算し、これ
を用いてC_s, C_pを（数７）に示すようにそれぞれ 対
角行列D_s, D_pに変換する（Ｓ１４）。
（数６）にしたがって同時対角化行列Ｈを計算し、これ
を用いてC_s, C_pを（数７）に示すようにそれぞれ 対
角行列D_s, D_pに変換する（Ｓ１４）。
【００６７】変換生成された共分散D_s, D_pら（数８）
に従って再振幅変換行列Ｌが計算される（Ｓ１５）。
に従って再振幅変換行列Ｌが計算される（Ｓ１５）。
【００６８】最後に、（数９）に示すように、行列Ｈと
Ｌの合成変換として特徴抽出行列Ｆ計算し、特徴抽出行
列メモリ１９に記憶する（Ｓ１６）。
Ｌの合成変換として特徴抽出行列Ｆ計算し、特徴抽出行
列メモリ１９に記憶する（Ｓ１６）。
【００６９】以上がオフラインで実行されるプロセスで
ある。次に、オンライン処理について、オンライン処理
の動作フローを図５に示し説明する。オンライン処理の
目的は、イメージスキャナ１から入力された身分証の顔
画像とビデオカメラ２からの顔画像とが同一人物かどう
かを判定するものである。
ある。次に、オンライン処理について、オンライン処理
の動作フローを図５に示し説明する。オンライン処理の
目的は、イメージスキャナ１から入力された身分証の顔
画像とビデオカメラ２からの顔画像とが同一人物かどう
かを判定するものである。
【００７０】ビデオカメラ１から直接取り込まれた顔画
像（Ａ／Ｄ変換後）とイメージスキャナ２から得られた
顔画像は、画像メモリＡ３、画像メモリＢ４に入力さ
れ、入力された顔画像は画像メモリＡ３、画像メモリＢ
４から読み出され、例えば一次元のデータ列に変換さ
れ、パターンメモリＡ７及びパターンメモリＢ８に転送
される（Ｓ５０）。
像（Ａ／Ｄ変換後）とイメージスキャナ２から得られた
顔画像は、画像メモリＡ３、画像メモリＢ４に入力さ
れ、入力された顔画像は画像メモリＡ３、画像メモリＢ
４から読み出され、例えば一次元のデータ列に変換さ
れ、パターンメモリＡ７及びパターンメモリＢ８に転送
される（Ｓ５０）。
【００７１】パターンメモリＡ、Ｂのパターンａ２及び
パターンｂは、オフライン時に予め求めた特徴抽出行列
メモリ１９からの特徴抽出行列Ｆから（数１３）、（数
１４）により、それぞれ特徴ベクトルｆａ２、ｆｂ２を
求める（Ｓ５１）。
パターンｂは、オフライン時に予め求めた特徴抽出行列
メモリ１９からの特徴抽出行列Ｆから（数１３）、（数
１４）により、それぞれ特徴ベクトルｆａ２、ｆｂ２を
求める（Ｓ５１）。
【００７２】
【数１３】
【００７３】
【数１４】
【００７４】次に、特徴ベクトルｆａ２、ｆｂ２の両者
の類似度からこれらが同一人物に由来するものであるか
どうかを判定する（Ｓ５２）。判定結果 Ｙ／Ｎ をパタ
ーン照合のアウトプットとして、出力端子１８に出力す
る（Ｓ５３）。
の類似度からこれらが同一人物に由来するものであるか
どうかを判定する（Ｓ５２）。判定結果 Ｙ／Ｎ をパタ
ーン照合のアウトプットとして、出力端子１８に出力す
る（Ｓ５３）。
【００７５】なお、顔画像データ、パターンセットＡ、
Ｂをオフラインで獲得、作成したが、二次記憶装置１０
から入力することも可能である。さらに、オフラインで
獲得、作成した、顔画像データ、パターンセットＡ、Ｂ
を二次記憶装置１０に格納することも可能である。
Ｂをオフラインで獲得、作成したが、二次記憶装置１０
から入力することも可能である。さらに、オフラインで
獲得、作成した、顔画像データ、パターンセットＡ、Ｂ
を二次記憶装置１０に格納することも可能である。
【００７６】
【発明の効果】以上のように本発明では、パターンが占
める空間と比較する２つのタイプのパターンの間の摂動
が占める空間を直交させるような変換を適用し、両者が
交わる体積を最小化する特徴抽出行列を求めることによ
り、２つのタイプのパターンの間のずれである摂動をと
り除くことができるために、従来法に比べ格段に高精度
なパターン認識及びパターン照合が実現でき、その効果
は非常に大きい。
める空間と比較する２つのタイプのパターンの間の摂動
が占める空間を直交させるような変換を適用し、両者が
交わる体積を最小化する特徴抽出行列を求めることによ
り、２つのタイプのパターンの間のずれである摂動をと
り除くことができるために、従来法に比べ格段に高精度
なパターン認識及びパターン照合が実現でき、その効果
は非常に大きい。
【図１】本発明の実施の形態１における顔画像認識装置
のブロック構成図
のブロック構成図
【図２】顔画像認識装置のオフライン処理を説明する動
作フロー図
作フロー図
【図３】顔画像認識装置のオンライン処理を説明する動
作フロー図
作フロー図
【図４】本発明の実施の形態２の顔画像照合装置のオフ
ライン処理を説明する動作フロー図
ライン処理を説明する動作フロー図
【図５】顔画像照合装置のオンライン処理を説明する動
作フロー図
作フロー図
【図６】パターン空間と摂動空間の直交化の様子を示す
図
図
１ ビデオカメラ（パターンＡ入力手段） ２ イメージスキャナ（パターンＢ入力手段） ３ 画像メモリＡ ４ 画像メモリＢ ５ 高速アクセスメモリ ６ ＣＰＵ ７ パターンメモリＡ ８ パターンメモリＢ ９ コンソール（キーボード＋ディスプレイ） １０ 二次記憶手段（光磁気ディスク） １１ 参照画像データベース １２ Ｉ／Ｆユニット １３ Ｉ／Ｆユニット １４ Ｉ／Ｆユニット １５ Ｉ／Ｆユニット １６ Ｉ／Ｆユニット １７ システムバス １８ 出力端子 １９ 特徴抽出行列メモリ ２０ コンピュータシステム
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−171988（ＪＰ，Ａ) 相馬正宜外１名，取得過程の極端に異 なる顔画像の識別，電子情報通信学会技 術研究報告，1997年 ６月20日，Ｖｏ ｌ．97，Ｎｏ．113，ｐｐ．１−７ (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06K 9/62 - 9/72 G10L 15/00 - 15/28 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】 異なるプロセスで獲得したパターンａと
ｂの集合である教示用パターンセットＡ１とＢ１から、
計算される統計量を基にしたパターンの分布とパターン
セットＡ１とＢ１の対応する個々のパターンの摂動から
計算される統計量を基にした摂動の分布とを求め、パタ
ーンの分布とパターンの摂動の分布の交わりの体積を最
小化する特徴抽出行列Ｆを求めて、教示用パターンセッ
トＢ１のそれぞれのパターンｂ１に対して、前記特徴抽
出行列Ｆを用いて特徴量ｆｂ１を計算し、これら特徴量
ｆｂ１の集合である参照データベースＦｂ１と前記特徴
抽出行列Ｆを予め保存しておき、入力されたパターンａ
２から前記特徴抽出行列Ｆを用いて特徴量ｆａ２を抽出
し、前記参照データベースＦｂ１の特徴量の集合の中か
ら前記入力されたパターンの特徴量ｆａ２に最も類似し
た特徴量ｆｂ１の要素を認識結果とするパターン認識方
法において、特徴抽出行列Ｆは、異なるプロセスで獲得
したパターンａとｂの集合である教示用パターンセット
Ａ１とＢ１を獲得し、教示用パターンセットＡ１及びセ
ットＢ１のパターンセットから、パターン標本空間の共
分散行列 C_sを推定する工程と、パターンセットＡ１と
パターンセットＢ１の間で対応するパターンの摂動を計
算する工程と、前記計算されたパターンの摂動から共分
散行列 C_pを推定する工程と、前記２つの共分散行列 C
_s, C_pを同時に対角化し、それぞれ新たに行列D_s, D_
p を生成するための同時対角化行列Ｈを計算する工程
と、前記対角化された共分散行列 D_s, D_pの対角成分
を２つの共分散が表現する分布の交わりが最小化するよ
うに変換する再振幅変換行列Ｌを計算する工程と、前記
行列Ｈと前記行列Ｌの積から特徴抽出行列Ｆを計算する
ことを特徴とするパターン認識方法。 - 【請求項２】 異なるプロセスで獲得したパターンａと
ｂの集合である教示用パターンセットＡ１及びセットＢ
１のパターンセットから、計算される統計量を基にした
パターンの分布とパターンセットＡ１とＢ１の対応する
個々のパターンの摂動から計算される統計量を基にした
摂動の分布とを求め、パターンの分布とパターンの摂動
の分布の交わりの体積を最小化する特徴抽出行列Ｆを予
め求めておき、異なるプロセスで獲得した入力された入
力パターンａ、ｂから前記特徴抽出行列Ｆを用いてそれ
ぞれ特徴量ｆａ、ｆｂを計算し、特徴量ｆａとｆｂの類
似度から２つのパターンａとパターンｂが同一のもので
あるかどうかを判定するパターン照合方法において、特
徴抽出行列Ｆは、異なるプロセスで獲得したパターンａ
とｂの集合である教示用パターンセットＡ１とＢ１を獲
得し、教示用パターンセットＡ１及びセットＢ１のパタ
ーンセットから、パターン標本空間の共分散行列 C_sを
推定する工程と、パターンセットＡ１とパターンセット
Ｂ１の間で対応するパターンの摂動を計算する工程と、
前記計算されたパターンの摂動から共分散行列 C_pを推
定する工程と、前記２つの共分散行列 C_s, C_pを同時
に対角化し、それぞれ新たに行列D_s, D_p を生成する
ための同時対角化行列Ｈを計算する工程と、前記対角化
された共分散行列 D_s, D_pの対角成分を２つの共分散
が表現する分布の交わりが最小化するように変換する再
振幅変換行列Ｌを計算する工程と、前記行列Ｈと前記行
列Ｌから特徴抽出行列Ｆを計算することを特徴とするパ
ターン照合方法。 - 【請求項３】 異なるプロセスで獲得したパターンａと
ｂの集合であるパターンセットＡ１とＢ１を獲得するパ
ターン入力手段と、前記獲得したパターン標本集合から
計算される統計量を基にしたパターンの分布とパターン
セットＡ１とＢ１の対応する個々のパターンの摂動から
計算される統計量を基にした摂動の分布とを求め、パタ
ーンの分布とパターンの摂動の分布の交わりの体積を最
小化する特徴抽出行列Ｆを求めて、教示用パターンセッ
トＢ１のそれぞれのパターンｂ１に対して、特徴抽出行
列Ｆを用いて特徴量ｆｂ１を計算し、これら特徴量ｆｂ
１の集合である参照データベースＦｂ１と前記特徴抽出
行列Ｆを予め保存する特徴抽出手段と、パターン入力手
段から入力されたパターンａ２から前記特徴抽出行列Ｆ
を用いて特徴量ｆａ２を抽出し、前記参照データベース
Ｆｂ１の特徴量の集合の中から前記入力されたパターン
の特徴量ｆａ２に最も類似した特徴量ｆｂ１の要素を認
識結果として出力する最適マッチ決定手段とを具備する
パターン認識装置において、特徴抽出手段は、入力され
た教示用パターンセットＡ１及びセットＢ１のパターン
セットから、パターン標本空間の共分散行列 C_sを推定
するパターン共分散推定手段と、パターンセットＡ１と
パターンセットＢ１の間で対応するパターンの摂動を計
算する摂動パターン計算手段と、前記摂動パターン計算
手段によって計算された摂動パターンの共分散行列 C_p
を推定する摂動共分散 推定手段と２つの共分散行列 C_
s, C_pを同時に対角化し、それぞれ新たに行列D_s, D_p
を生成するための同時対角化行列Ｈを計算する同時対角
化行列計算手段と、前記同時対角化行列計算手段によっ
て計算された行列ＨによってC_s, C_pからそれぞれ生成
されたD_s, D_pから再振幅変換行列Ｌを計算する再振幅
変換行列計算手段と、前記同時対角化行列計算手段から
の対角化された共分散行列 D_s,D_pの対角成分を２つの
共分散が表現する分布の交わりが最小化するように変換
する特徴抽出行列Ｆを計算する特徴抽出行列計算手段と
を具備することを特徴とするパターン認識装置。 - 【請求項４】 異なるプロセスで獲得したパターンａと
ｂの集合であるパターンセットＡ１とＢ１を獲得するパ
ターン入力手段と、前記獲得したパターン標本集合から
計算される統計量を基にしたパターンの分布とパターン
セットＡ１とＢ１の対応する個々のパターンの摂動から
計算される統計量を基にした摂動の分布とを求め、パタ
ーンの分布とパターンの摂動の分布の交わりの体積を最
小化する特徴抽出行列Ｆを求め予め保存する特徴抽出行
列手段と、パターン入力手段から入力された入力パター
ンａ、ｂから前記特徴抽出行列Ｆを用いてそれぞれ特徴
量ｆａ、ｆｂを計算する特徴抽出手段と、特徴量ｆａと
ｆｂの類似度から２つのパターンａとパターンｂが同一
のものであるかどうかを判定する同一性判定手段を具備
するパターン照合装置において、特徴抽出行列手段は、
入力された教示用パターンセットＡ１及びセットＢ１の
パターンセットから、パターン標本空間の共分散行列 C
_s を推定するパターン共分散推定手段と、パターンセ
ットＡ１とパターンセットＢ１の間で対応するパターン
の摂動を計算する摂動パターン計算手段と、前記摂動パ
ターン計算手段によって計算された摂動パターンの共分
散行列C_p を推定する摂動共分散推定手段と２つの共分
散行列 C_s, C_p を同時に対角化し、それぞれ新たに行
列D_s, D_p を生成するための同時対角化行列Ｈを計算
する同時対角化行列計算手段と、前記同時対角化行列計
算手段からの対角化された共分散行列 D_s, D_pの対角
成分を２つの共分散が表現する分布の交わりが最小化す
るように変換する再振幅変換行列Ｌを計算する再振幅変
換行列計算手段と、前記同時対角化行列計算手段が出力
した行列Ｈと前記再振幅変換行列計算手段が出力した行
列Ｌから特徴抽出行列Ｆを計算する特徴抽出行列計算手
段と具備することを特徴とするパターン照合装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07014398A JP3322208B2 (ja) | 1998-03-19 | 1998-03-19 | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 |
| EP99301749A EP0944018B1 (en) | 1998-03-19 | 1999-03-09 | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method |
| US09/271,387 US6628811B1 (en) | 1998-03-19 | 1999-03-18 | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07014398A JP3322208B2 (ja) | 1998-03-19 | 1998-03-19 | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11272862A JPH11272862A (ja) | 1999-10-08 |
| JP3322208B2 true JP3322208B2 (ja) | 2002-09-09 |
Family
ID=13423067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07014398A Expired - Fee Related JP3322208B2 (ja) | 1998-03-19 | 1998-03-19 | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3322208B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4543455B2 (ja) * | 1999-10-18 | 2010-09-15 | パナソニック株式会社 | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 |
-
1998
- 1998-03-19 JP JP07014398A patent/JP3322208B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 相馬正宜外１名，取得過程の極端に異なる顔画像の識別，電子情報通信学会技術研究報告，１９９７年 ６月２０日，Ｖｏｌ．９７，Ｎｏ．１１３，ｐｐ．１−７ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11272862A (ja) | 1999-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0944018B1 (en) | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method | |
| US6430307B1 (en) | Feature extraction system and face image recognition system | |
| US5901244A (en) | Feature extraction system and face image recognition system | |
| KR100731937B1 (ko) | 얼굴 메타 데이터 생성 | |
| Raghuwanshi et al. | An automated classroom attendance system using video based face recognition | |
| CN108108662B (zh) | 深度神经网络识别模型及识别方法 | |
| JPH1055444A (ja) | Ｄｃｔをベースとするフィーチャー・ベクトルを使った顔の認識 | |
| US20050226509A1 (en) | Efficient classification of three dimensional face models for human identification and other applications | |
| US20070053590A1 (en) | Image recognition apparatus and its method | |
| CN102938065A (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
| CN114581491B (zh) | 一种行人轨迹跟踪方法、系统及相关装置 | |
| JP3729581B2 (ja) | パターン認識・照合装置 | |
| CN110826534A (zh) | 一种基于局部主成分分析的人脸关键点检测方法及系统 | |
| JPH0520442A (ja) | 顔画像照合装置 | |
| US6865296B2 (en) | Pattern recognition method, pattern check method and pattern recognition apparatus as well as pattern check apparatus using the same methods | |
| JP3322208B2 (ja) | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 | |
| US20080019595A1 (en) | System And Method For Identifying Patterns | |
| JP5353482B2 (ja) | パターン認識用辞書生成装置、パターン認識装置、及びパターン認識用辞書生成方法 | |
| JP3322216B2 (ja) | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 | |
| Iwai et al. | Gesture recognition based on subspace method and hidden Markov model | |
| CN107798282B (zh) | 一种活体人脸的检测方法和装置 | |
| Shatnawi et al. | The impact of the number of eigen-faces on the face recognition accuracy using different distance measures | |
| JP2003168113A (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
| JP4543455B2 (ja) | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 | |
| JP4068888B2 (ja) | アイリス推定装置およびアイリス照合装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080628 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090628 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110628 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120628 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120628 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130628 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |