JPH0520442A - Face picture collation device - Google Patents
Face picture collation deviceInfo
- Publication number
- JPH0520442A JPH0520442A JP17657091A JP17657091A JPH0520442A JP H0520442 A JPH0520442 A JP H0520442A JP 17657091 A JP17657091 A JP 17657091A JP 17657091 A JP17657091 A JP 17657091A JP H0520442 A JPH0520442 A JP H0520442A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- face image
- image
- fourier spectrum
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、ほぼ正面から入力され
た顔画像を、あらかじめ登録された特定人物の顔画像の
標準パタンと照合することによって、同一の人物か否か
を判定する本人確認、あるいは、登録された複数人物の
標準パタンの中からもっとも入力顔画像に類似している
人物を選択する人物検索などの個人識別機能を実現する
方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention verifies a person who is the same person by comparing a face image input from almost the front with a standard pattern of a face image of a specific person registered in advance. Alternatively, the present invention relates to a method for realizing a personal identification function such as a person search for selecting a person who is most similar to an input face image from registered standard patterns of a plurality of persons.
【0002】[0002]
【従来の技術】正面顔画像によって個人識別を行なう方
法に関する研究の歴史は古い(文献〔1〕南、”顔の識
別技術”、計測制御、Vol.25、No.8、1986)が、最近
は画像の濃淡分布を特徴としてそのマッチングを行なう
という比較的シンプルな手法が再評価されてきている
(文献〔2〕M.Turk and A.Pentland,〃Face reco
gnition without features〃,IAPR Workshop on
Machine Vision Applications,(1990))、(文献
〔3〕小杉、"ニューラルネットを用いた顔画像識別の
一検討”、TV学会技術報告、Vol.14、No.50、(199
0-9))。これは、濃淡画像から対象の線的形状を表現す
る特徴を安定に抽出することは、画像処理技術として困
難な課題であること、また、そのような線的な形状特徴
によって顔の微妙な差異をはたしてどこまで表現できる
のかが疑問と考えられること等の理由によるものであ
る。2. Description of the Related Art The history of research on a method for personally identifying an image of a front face is old (Reference [1] Minami, "Face Identification Technology", Measurement Control, Vol.25, No.8, 1986). Has been re-evaluated for its relatively simple method of performing matching based on the grayscale distribution of images (Reference [2] M. Turk and A. Pentland, 〃 Face reco.
gnition without features〃, IAPR Workshop on
Machine Vision Applications, (1990)), [3] Kosugi, "A Study on Face Image Identification Using Neural Networks," Technical Report of TV Society, Vol.14, No.50, (199).
0-9)). This is because it is a difficult task for image processing technology to stably extract the features expressing the target linear shape from the grayscale image, and there are subtle differences in the face due to such linear shape features. The reason is that it is doubtful how much can be expressed.
【0003】パタンの空間的な濃淡分布を数学的に表現
した特徴ベクトルについては、パタン認識の一般論とし
ても指摘されているように、以下の3つの条件を満足す
ることが要求される。 (1)異なるクラス(人物)間ではパタンの差異を強調
できる (2)同一クラス(人物)内のパタンの変動はできるだ
け吸収できる (3)特徴ベクトルの次元数が圧縮できる 一方、パタンの空間的な分布を表した特徴ベクトルのマ
ッチングによって識別を行なう場合には、前処理によっ
てパタンの位置や大きさをあらかじめ正規化しておく必
要がある。顔画像に対する正規化の方法としては、入力
顔画像に対する領域分割処理によって目や唇などの顔の
造作の位置を検出し、これを基準点とするアフィン変換
を施すことによって、マッチング対象とする画像領域を
自動的に切り出す方法(特願平2−219675)など
がある。このように正規化の基準点を画像処理によって
自動抽出する場合には、たとえば照明等の環境条件によ
り抽出される基準点の位置が変動することは避けられな
い。従って上記の要求条件(2)に関しては、このよう
なマッチング対象画像の位置ずれの変動に対しても、で
きるだけ影響を受けにくい性質をもつ特徴であることが
望ましい。As has been pointed out as a general theory of pattern recognition, the feature vector mathematically expressing the spatial density distribution of the pattern is required to satisfy the following three conditions. (1) Pattern differences between different classes (persons) can be emphasized (2) Pattern variations within the same class (person) can be absorbed as much as possible (3) Feature vector dimensionality can be reduced, while spatial patterns When identification is performed by matching feature vectors representing different distributions, it is necessary to pre-normalize the position and size of the pattern by preprocessing. As a method of normalizing the face image, the position of the face feature such as eyes and lips is detected by the area division processing on the input face image, and the affine transformation is performed using this as a reference point to obtain the image to be matched. There is a method of automatically cutting out a region (Japanese Patent Application No. 2-219675). As described above, when the normalization reference points are automatically extracted by the image processing, it is inevitable that the positions of the reference points extracted by the environmental conditions such as illumination change. Therefore, it is desirable that the above-mentioned requirement (2) has a characteristic that the variation of the positional deviation of the matching target image is not affected as much as possible.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、顔画像
の濃淡情報のマッチングによる識別を行なう従来方法で
は、このようなパタンの自動切出し処理に伴うパタンの
位置ずれ変動の存在を考慮すると、必ずしも最良の特徴
抽出法を用いているとは言い難かった。たとえば前記文
献〔2〕の例では、多数の顔画像の標本をKL展開して
求めた複数の正規直交基底画像を用いて入力顔画像を展
開することで得られる展開係数を成分とする識別用特徴
ベクトルを提案している。KL展開を用いていることに
より要求条件の(1)(3)には応えるものとなってい
るが、位置ずれなどによる入力パタンの変動に対しては
影響を受けやすいという問題があった。However, in the conventional method of performing the identification by matching the grayscale information of the face image, it is not always the best in consideration of the presence of the pattern positional deviation variation due to the automatic pattern cutting processing. It was hard to say that the feature extraction method was used. For example, in the example of the above-mentioned document [2], for identification using the expansion coefficient obtained by expanding the input face image using a plurality of orthonormal base images obtained by KL expanding a large number of face image samples as components. A feature vector is proposed. Although the requirements (1) and (3) are met by using the KL expansion, there is a problem that the variation of the input pattern due to a positional shift or the like is easily affected.
【0005】また、前記文献〔3〕の例では、顔画像を
モザイク化した濃淡パタンを特徴ベクトルとして、これ
を用いてあらかじめ学習を行なったニューラルネットに
よる識別を行なっている。濃淡パタンのモザイク化によ
る特徴抽出は要求条件(2)(3)に応える方策として
有効と思われるが、条件(1)の観点からも最適な選択
であるかについては不明であった。Further, in the example of the above-mentioned document [3], discrimination is performed by a neural network which is trained in advance using a grayscale pattern in which a face image is mosaiced as a feature vector. It is considered that the feature extraction by mosaicing the light and shade pattern is effective as a measure to meet the required conditions (2) and (3), but it was not clear from the viewpoint of the condition (1) whether it is the optimum selection.
【0006】したがって、これらの特徴を用いた従来の
識別の方法では、基準点位置の自動抽出に伴う正規化パ
タンの位置ずれ変動に対して、識別安定性の低下が大き
いという問題があった。Therefore, the conventional identification method using these features has a problem that the identification stability is greatly reduced with respect to the positional deviation fluctuation of the normalized pattern accompanying the automatic extraction of the reference point position.
【0007】本発明の目的は、従来の顔画像識別で用い
られていた特徴ベクトルに関する上記の問題点を克服し
て、顔の正規化基準点の位置ずれによるパタンの変動に
よる影響が少なく、また、異なる人物の顔パタンの差異
をより低次元の特徴ベクトルによって表現できるような
特徴の抽出を行なうことにより、ロバストな顔の個人識
別を実現することが可能な技術を提供することにある。An object of the present invention is to overcome the above-mentioned problems relating to the feature vector used in the conventional face image identification, to reduce the influence of the pattern variation due to the displacement of the face normalization reference point, and The object of the present invention is to provide a technique capable of realizing robust personal identification of a face by extracting features such that differences in face patterns of different persons can be expressed by a lower-dimensional feature vector.
【0008】[0008]
【課題を解決するための手段】前記の目的を達成するた
め、本発明は、対象人物の顔画像の入力処理を行なう画
像入力手段、入力顔画像の輝度補正などの濃淡処理を行
なう濃度変換手段、入力された顔画像の位置・大きさに
関する正規化を行なう位置正規化処理手段、正規化され
た顔画像から照合の際に必要な特徴パタンを抽出する処
理を行なう特徴抽出手段、入力顔画像から抽出された特
徴パタンを登録された各人物の顔画像についてあらかじ
め用意した標準パタンと照合する照合処理手段、登録さ
れた人物の標準パタンを格納した識別辞書ファイル、照
合の結果から個人識別の判定を行なう判定処理手段、及
び各処理手段を連絡して制御する制御手段を具備し、対
象人物の顔画像を登録人物の顔画像と照合することによ
って個人識別を実現する顔画像照合装置であって、前記
特徴抽出手段は、正規化された入力顔画像に離散フーリ
エ変換を適用して空間周波数領域でのフーリエスペクト
ルパタンの強度分布を求めるフーリエスペクトルパタン
との差分を求める差分パタン算出部と、学習サンプルと
して用意した顔画像のフーリエスペクトルパタンの集合
に対してあらかじめKL展開を適用することによって用
意された複数の正規直交基底画像と入力画像の該差分パ
タンとでそれぞれベクトル内積計算を行ない、それらの
結果を特徴ベクトルの各成分として出力する展開係数算
出部とで構成されることを最も主要な特徴とする。In order to achieve the above object, the present invention provides an image inputting means for inputting a face image of a target person, and a density converting means for performing a shading processing such as a brightness correction of the input face image. Position normalization processing means for normalizing the position and size of the input face image, feature extraction means for extracting a feature pattern required for matching from the normalized face image, input face image Collation processing means for collating the feature patterns extracted from the standard patterns prepared in advance for the facial images of each registered person, an identification dictionary file storing the standard patterns of the registered persons, and determination of individual identification from the collation results. The personal identification is performed by comparing the facial image of the target person with the facial image of the registered person. In the face image matching device, the feature extracting means applies a discrete Fourier transform to the normalized input face image to obtain the intensity distribution of the Fourier spectrum pattern in the spatial frequency domain and the difference from the Fourier spectrum pattern. A difference pattern calculation unit to be obtained, and a plurality of orthonormal base images prepared by applying KL expansion in advance to a set of Fourier spectrum patterns of face images prepared as learning samples and the difference patterns of the input image, respectively. The most main feature is that the vector inner product calculation is performed and the result is output as each component of the feature vector.
【0009】[0009]
【作用】前述の手段によれば、あらかじめ多数の顔画像
をフーリエスペクトルパタンに変換した標本をKL展開
して正規直交基底画像を求めておくことにより、対象人
物の入力顔画像のフーリエスペクトルパタンを該正規直
交基底画像を用いて展開して得られる展開係数を成分と
した特徴ベクトルが求められる。これにより、前記文献
〔2〕の例と同様にして、KL展開を用いることによっ
て異なるクラス間のパタンの差異を低次元に圧縮された
特徴ベクトルで効率的に表現できることに加えて、フー
リエスペクトルパタンは、原パタンの平行移動に対して
不変であるというよく知られている性質によって、同一
クラス内での位置ずれなどによるパタン変動に対して、
影響を受けにくい特徴ベクトルが得られるという利点が
ある。これにより該特徴ベクトルを用いて顔画像による
個人識別を行なえば、入力条件によって影響されるパタ
ンの位置ぎめ変動に対して、よりロバストな識別が可能
となる。According to the above-described means, the Fourier spectrum pattern of the input face image of the target person is obtained by obtaining the orthonormal basis image by subjecting a sample obtained by converting a large number of face images into Fourier spectrum patterns in advance by KL expansion. A feature vector whose expansion coefficient is obtained by expansion using the orthonormal basis image is obtained. As a result, similar to the example of the above-mentioned document [2], by using the KL expansion, it is possible to efficiently express the difference in pattern between different classes by a feature vector compressed in a low dimension, and in addition to the Fourier spectrum pattern. Due to the well-known property that is invariant to the parallel movement of the original pattern, the pattern variation due to the position shift within the same class,
There is an advantage that a feature vector that is not easily influenced is obtained. As a result, if the face vector is used to perform individual identification using the feature vector, more robust identification is possible with respect to pattern position variation affected by input conditions.
【0010】[0010]
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。なお、実施例を説明するための全図にお
いて、同一機能を有するものは同一符号を付け、その繰
り返しの説明は省略する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be specifically described below with reference to the drawings. In all the drawings for explaining the embodiments, parts having the same function are designated by the same reference numerals, and repeated description thereof will be omitted.
【0011】図1は、本発明による顔画像照合装置の一
実施例の概略構成を示すブロック図であり、図2は、図
1の特徴抽出手段の機能システムの構成を示すブロック
図である。FIG. 1 is a block diagram showing a schematic configuration of an embodiment of a face image matching apparatus according to the present invention, and FIG. 2 is a block diagram showing a configuration of a functional system of the feature extracting means of FIG.
【0012】図1において、1は識別を行なおうとする
人物、2はテレビカメラ、3は画像入力手段、4は濃度
変換手段、5は位置正規化処理手段、6は特徴抽出手
段、7は照合処理手段、8は識別辞書ファイル、9は判
定処理手段、10は全体の処理の進行を管理する制御手
段である。なお、ここで、画像入力手段3より制御手段
10までの各手段は、同一計算機内に構築することも可
能な構成要素である。In FIG. 1, 1 is a person to be identified, 2 is a television camera, 3 is image input means, 4 is density conversion means, 5 is position normalization processing means, 6 is feature extraction means, and 7 is Collation processing means, 8 is an identification dictionary file, 9 is determination processing means, and 10 is control means for managing the progress of the entire processing. Here, each unit from the image input unit 3 to the control unit 10 is a component that can be constructed in the same computer.
【0013】前記の特徴抽出手段6は、図2に示すよう
に、特徴抽出処理制御部60、正規化パタンメモリ6
1、フーリエスペクトル変換部62、フーリエスペクト
ルパタンメモリ63、差分パタン算出部64、平均パタ
ンファイル65、差分パタンメモリ66、展開係数算出
部67、正規直交基底画像ファイル群68、特徴ベクト
ルメモリ69で構成されている。As shown in FIG. 2, the feature extraction means 6 includes a feature extraction processing control unit 60 and a normalized pattern memory 6.
1, a Fourier spectrum conversion unit 62, a Fourier spectrum pattern memory 63, a difference pattern calculation unit 64, an average pattern file 65, a difference pattern memory 66, an expansion coefficient calculation unit 67, an orthonormal base image file group 68, and a feature vector memory 69. Has been done.
【0014】次に、本実施例の顔画像照合装置の動作を
説明する。図1のテレビカメラ2によって識別対象人物
1の正面顔を撮影する。撮影される画像は、以後の処理
に要請に応じて、モノクロ画像あるいはカラー画像等に
決定される。Next, the operation of the face image matching apparatus of this embodiment will be described. The front face of the person 1 to be identified is photographed by the television camera 2 of FIG. The imaged image is determined to be a monochrome image, a color image, or the like in response to a request for subsequent processing.
【0015】画像入力手段3では、テレビカメラ2から
送られてくる画像信号を以後の処理にあった形式のディ
ジタル画像データに変換し、これを濃度変換手段4に送
る。濃度変換手段4でこの顔画像に対して輝度値の補正
(照度値の正規化)などの濃度変換処理を施した後に、
位置正規化処理手段5では、画像中から照合の対象とな
る顔パタンの位置、傾き、及び大きさの正規化を行な
い、照合処理の対象となる顔の正規化パタンを切り出し
て特徴抽出手段6へと転送する。ここで位置正規化処理
手段5の構成としては、〔特願平2−219675〕に
示されている実施例を用いることができる。これによれ
ば、図3に一例を示すように、入力された顔画像50か
ら抽出された左右の目と唇に対応する3領域の代表点5
1,52,53を基準点とするアフィン変換によって照
合領域54の位置決めを行ない、この領域内の画像の濃
淡値を予め定められた数の格子点で標本化することによ
って、特徴抽出処理の対象となる正規化パタンが得られ
る。The image input means 3 converts the image signal sent from the television camera 2 into digital image data of a format suitable for the subsequent processing, and sends it to the density conversion means 4. After performing density conversion processing such as correction of brightness value (normalization of illuminance value) on this face image by the density conversion means 4,
The position normalization processing means 5 normalizes the position, the inclination, and the size of the face pattern to be collated from the image, cuts out the normalized pattern of the face to be collated, and extracts the feature. Transfer to. Here, as the configuration of the position normalization processing means 5, the embodiment shown in [Japanese Patent Application No. 2-219675] can be used. According to this, as shown in an example in FIG. 3, the representative points 5 of the three regions corresponding to the left and right eyes and lips extracted from the input face image 50 are displayed.
The matching area 54 is positioned by affine transformation using 1, 52, 53 as reference points, and the grayscale value of the image in this area is sampled at a predetermined number of grid points, so that the target of the feature extraction processing is performed. A normalized pattern is obtained.
【0016】特徴抽出手段6では、位置正規化処理手段
5から送られる顔の正規化パタンに対して、照合時に標
準パタンとの照合を行なう特徴パタンを抽出する。The feature extracting means 6 extracts a feature pattern to be compared with the standard pattern at the time of the face normalization pattern sent from the position normalization processing means 5.
【0017】ここでの処理は、図2に沿って説明する。
まず、位置正規化処理手段5で得られて特徴抽出手段6
に送られてきた正規化パタンは、正規化パタンメモリ6
1に入力される。次に、フーリエスペクトル変換部62
は、前記の正規化パタンメモリ61から読み出された正
規化パタンについて、離散濃淡画像に対する線形変換処
理としてよく知られている離散フーリエ変換DFTを適
用し、各空間周波数における離散的フーリエ変換値を求
め、その実部、虚部からなる複素数値の強度に相当する
フーリエスペクトルの空間周波数領域での分布をフーリ
エスペクトルパタンメモリ63に出力する。なお、離散
画像データの離散フーリエ変換処理によってフーリエス
ペクトルを求める上記処理の具体的な計算方法について
は、(文献〔4〕Rosenfeld & Kak ”ディジタル画
像処理”長尾 真監訳 近代科学社 pp.20-26)に代表
されるディジタル画像処理に関する多くの文献の中で詳
しく説明されているので、ここでは省略する。The processing here will be described with reference to FIG.
First, the position normalization processing means 5 obtains the feature extraction means 6
The normalized pattern sent to the
Input to 1. Next, the Fourier spectrum conversion unit 62
Applies a discrete Fourier transform DFT, which is well known as a linear transform process for a discrete grayscale image, to the normalized pattern read from the normalized pattern memory 61, and obtains the discrete Fourier transform value at each spatial frequency. Then, the distribution in the spatial frequency domain of the Fourier spectrum corresponding to the intensity of the complex value composed of the real part and the imaginary part is output to the Fourier spectrum pattern memory 63. For the specific calculation method of the above process for obtaining the Fourier spectrum by the discrete Fourier transform process of the discrete image data, see (4) Rosenfeld & Kak "Digital Image Processing", Shino Nagao, Modern Science Company, pp.20-26. Since it has been described in detail in many documents related to digital image processing represented by (4), it is omitted here.
【0018】次に、差分パタン算出部64は、フーリエ
スペクトルパタンメモリ63に得られている入力顔画像
に対するフーリスペクトルパタンと、あらかじめ多数の
顔画像の学習サンプルについて空間周波数領域でのフー
リエスペクトルパタンの平均を平均パタンファイル65
に格納していた平均パタンとの間の差分をとり、その結
果を差分パタンメモリ66に格納する。Next, the difference pattern calculation unit 64 calculates the Fourier spectrum pattern for the input face image obtained in the Fourier spectrum pattern memory 63 and the Fourier spectrum pattern in the spatial frequency domain for the learning samples of many face images in advance. Average to average pattern file 65
The difference with the average pattern stored in the above is taken, and the result is stored in the difference pattern memory 66.
【0019】次に、展開係数算出部67は、差分パタン
メモリ66に得られた差分パタンと、あらかじめ学習サ
ンプルによって計算され正規直交基底画像ファイル群6
8に用意された複数個(これをL個とする)の正規直交
基底画像の各々との間で、画像ベクトル同士の内積演算
を行なって展開係数を計算する。L個の正規直交基底画
像との演算で得られたL個の展開係数を特徴ベクトルメ
モリ69の対応するアドレスに格納する。この結果、特
徴ベクトルメモリ69に得られるL個の実数列を次元数
Lの特徴ベクトルとみなして、照合処理手段7に出力す
る。Next, the expansion coefficient calculation section 67 calculates the difference pattern obtained in the difference pattern memory 66 and the learning sample in advance and orthonormal basis image file group 6
The expansion coefficient is calculated by performing the inner product operation of the image vectors between each of the plurality of (or L) orthonormal basis images prepared in No. 8. The L expansion coefficients obtained by the calculation with the L orthonormal basis images are stored in the corresponding addresses of the feature vector memory 69. As a result, the L real number sequences obtained in the feature vector memory 69 are regarded as feature vectors having the dimension L and are output to the matching processing means 7.
【0020】以上で説明した、差分パタン算出部64と
展開係数算出部67における処理を数学的に表現すると
以下のようになる。The processing in the difference pattern calculating unit 64 and the expansion coefficient calculating unit 67 described above is mathematically expressed as follows.
【0021】入力顔画像の正規化パタンを離散フーリエ
変換DFTにより、空間周波数面上に変換して得られる
フーリエスペクトルパタンがN×Nの配列として与えら
れる時、この要素を1列に並べて成分数N×Nのベクト
ルとして表現したものをXとする。When the Fourier spectrum pattern obtained by transforming the normalized pattern of the input face image on the spatial frequency plane by the discrete Fourier transform DFT is given as an N × N array, these elements are arranged in one column and the number of components is increased. Let X be expressed as an N × N vector.
【0022】平均パタンファイル65で与えられる平均
パタンは、M名の人物の学習サンプルとして用意された
顔画像の正規化パタンをそれぞれフーリエ変換したフー
リエスペクトルパタンを平均化したもので、N×N次元
ベクトルXm(m=1,2…,M)で表された各サンプ
ルのフーリエスペクトルパタンから次の(1)式で計算
される平均ベクトルμで表される。The average pattern given by the average pattern file 65 is obtained by averaging the Fourier spectrum patterns obtained by Fourier transforming the normalized patterns of the face image prepared as learning samples of M persons, and N × N dimensions. It is represented by an average vector μ calculated from the Fourier spectrum pattern of each sample represented by the vector Xm (m = 1, 2, ..., M) by the following equation (1).
【0023】[0023]
【数1】 [Equation 1]
【0024】一方、正規直交基底画像ファイル群68に
用意されたL個の正規直交基底画像は、それぞれN×N
の配列で与えられる画像データであるが、これを同様に
N×N次元のベクトルUk(k=1,2,…,L)で表
すことにする。ここで、特徴ベクトルメモリ69上の第
k番目に格納される展開係数の値をykとする時、ykは
以下の(2)式に示すN×N次元ベクトル同士の内積と
して求められる。添字Tはベクトルの転置をあらわす。On the other hand, the L orthonormal basis images prepared in the orthonormal basis image file group 68 are each N × N.
The image data is given by the array of, and this will be similarly represented by an N × N-dimensional vector Uk (k = 1, 2, ..., L). Here, when the value of the expansion coefficient stored in the feature vector memory 69 at the kth position is yk, yk is obtained as the inner product of N × N dimensional vectors shown in the following equation (2). The subscript T represents the transposition of the vector.
【0025】[0025]
【数2】 [Equation 2]
【0026】なお、正規直交基底画像ファイル群68に
用意するL個の正規直交基底画像は、M名の人物の学習
サンプルとして用意された顔画像の正規化パタンをそれ
ぞれフーリエ変換したフーリエスペクトルパタンの標本
集合{Xm}(m=1,2,…,M)をKL展開するこ
とによって求められる。そのN×N次元ベクトル表現で
あるUkは、次の(3)式によって定義される{Xm}の
標本共分散行列Rに対して、(4)(5)式を満足し、
大きさの順に上位L個を選んだ固有値λkに対応して求
められる固有ベクトルU1,U2,…,ULである。The L orthonormal basis images prepared in the orthonormal basis image file group 68 are Fourier spectrum patterns obtained by Fourier-transforming the normalized patterns of face images prepared as learning samples of M persons. The sample set {Xm} (m = 1, 2, ..., M) is obtained by KL expansion. Uk, which is the N × N dimensional vector expression, satisfies the equations (4) and (5) with respect to the sample covariance matrix R of {Xm} defined by the following equation (3),
These are eigenvectors U 1 , U 2 , ..., UL that are obtained corresponding to the eigenvalues λk in which the upper L pieces are selected in the order of magnitude.
【0027】[0027]
【数3】 [Equation 3]
【0028】[0028]
【数4】 [Equation 4]
【0029】[0029]
【数5】 [Equation 5]
【0030】なお、{Xm}の次元数はN×Nであり、
ここで正規化パタンのサイズを128×128と想定す
るとN=128となり、(N×N)×(N×N)の巨大
な行列Rについて固有値問題を直接解くことは困難とな
る。しかし、一般に、標本数M<特徴次元N2が成り立
つので、Rは特異行列となり、その正の固有値は高々M
個で、残りは0となる。この場合、特異値分解を用いる
ことで固有ベクトルの計算が簡略化されることが知られ
ている(文献〔5〕Oja ”パターン認識と部分空間
法”小川、佐藤訳 産業図書 pp.25-34)。The dimension number of {Xm} is N × N,
Assuming that the size of the normalized pattern is 128 × 128, N = 128, which makes it difficult to directly solve the eigenvalue problem for the (N × N) × (N × N) huge matrix R. However, in general, since the number of samples M <feature dimension N 2 holds, R becomes a singular matrix and its positive eigenvalue is at most M.
And the rest is 0. In this case, it is known that the calculation of eigenvectors can be simplified by using singular value decomposition (Reference [5] Oja "Pattern recognition and subspace method" Ogawa, Sato, Sangyo Tosho pp.25-34). ..
【0031】以上に述べた計算手順については、前記文
献〔2〕において、{X}、{Xm}をそれぞれ識別対
象人物ならびに学習サンプルに対して撮影された顔画像
データそのものとした場合について用いられているKL
展開の計算手順をそのまま適用することができるので、
より詳細な説明は省略する。The above-described calculation procedure is used in the case where {X} and {Xm} are the face image data themselves photographed for the person to be identified and the learning sample in the above-mentioned document [2]. KL
Since the calculation procedure of expansion can be applied as it is,
A more detailed description is omitted.
【0032】次に、あらかじめ識別対象人物の標準的な
顔画像について以上に述ベた画像入力手段3から特徴抽
出手段6までと、同等の処理を行なって求めた標準パタ
ンを識別辞書ファイル8に用意しておき、照合処理手段
7では、該識別対象人物1について特徴抽出手段6によ
って求めた特徴パタンと、識別辞書ファイル8に登録さ
れた各人物の標準パタンとの間に類似性尺度を数値化す
る。具体的には、文献〔2〕における特徴ベクトルの最
小距離識別の例に代表される統計的識別関数による方
法、あるいは前記文献〔3〕のようにニューラルネット
による学習を応用する方法などが、本照合処理手段7に
おける処理に含まれる。Next, a standard pattern obtained by performing the same processing as that of the image input means 3 to the feature extracting means 6 described above for the standard face image of the person to be identified in advance is stored in the identification dictionary file 8. The matching processing unit 7 prepares a similarity measure between the characteristic pattern obtained by the characteristic extraction unit 6 for the person 1 to be identified and the standard pattern of each person registered in the identification dictionary file 8 as a numerical value. Turn into. Specifically, a method using a statistical discriminant function represented by an example of minimum distance discrimination of feature vectors in the literature [2], or a method applying learning by a neural network as in the literature [3] is used. It is included in the processing in the matching processing means 7.
【0033】判定処理手段9では、前記照合処理手段7
で計算された入力パタンと各識別対象人物の標準パタン
との間の類似性尺度のデータ群に対して、実現しようと
する識別機能の形態に即して、適当な値によるいき値処
理などによる判定処理を行ない、その結果得られる個人
識別の結果を出力する。In the judgment processing means 9, the collation processing means 7
For the data group of the similarity measure between the input pattern calculated in step 1 and the standard pattern of each person to be identified, threshold value processing with an appropriate value is performed according to the form of the identification function to be realized. Judgment processing is performed, and the result of personal identification obtained as a result is output.
【0034】以上、本発明を実施例にもとづき具体的に
説明したが、本発明は、前記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲において種々変更可
能であることは言うまでもない。Although the present invention has been specifically described based on the embodiments, it is needless to say that the present invention is not limited to the embodiments and various modifications can be made without departing from the scope of the invention. ..
【0035】[0035]
【発明の効果】以上、説明したように、本発明によれ
ば、顔画像の正規化パタンを原パタンの平行移動に対し
て不変な性質をもつフーリエスペクトルパタンにすべて
一旦変換した後に、多数人物の顔画像のこの空間周波数
領域での標本集合をKL展開することでパタンを記述す
るのに最適な正規直交基底画像群を求め、これを用いて
入力パタンを展開することにより、展開係数を成分とす
る特徴ベクトルが得られることになる。この方法によっ
て、顔の切り出しにおける正規化基準点の位置ずれによ
るパタン変動の影響が少なく、かつ、異なる人物の顔パ
タンの差異をより低い次元の特徴ベクトルとして表現し
得る特徴抽出が可能となり、該特徴を用いて識別系を設
計すれば、ロバストな顔の個人識別をより容易に実現す
ることができるようになる。As described above, according to the present invention, after all the normalized patterns of the face image are once converted into Fourier spectrum patterns having the property of being invariant to the parallel movement of the original patterns, a large number of people are converted. KL expansion of the sample set of this face image in this spatial frequency domain is performed to obtain an optimal orthonormal basis image group for describing the pattern, and the input pattern is expanded using this to expand the expansion coefficient into components. Then, the feature vector is obtained. By this method, the influence of the pattern variation due to the displacement of the normalized reference points in the face cutout is small, and the feature extraction that enables the difference in the face pattern of different persons to be expressed as a lower dimensional feature vector becomes possible. By designing an identification system using features, it becomes possible to more easily realize robust personal identification of faces.
【図1】本発明の顔画像照合装置の一実施例の概略構成
を示すブロック図、FIG. 1 is a block diagram showing a schematic configuration of an embodiment of a face image matching apparatus of the present invention,
【図2】図1の特徴抽出手段の機能システムの構成を示
すブロック図、FIG. 2 is a block diagram showing the configuration of a functional system of the feature extraction means of FIG.
【図3】図1の位置正規化処理手段の機能により、特徴
抽出手段の処理対象となる正規化パタンを顔画像から切
り出す方法の一例を示す図。FIG. 3 is a diagram showing an example of a method of cutting out a normalized pattern to be processed by a feature extraction unit from a face image by the function of the position normalization processing unit in FIG.
1…対象人物、2…テレビカメラ、3…画像入力手段、
4…濃度変換手段、5…位置正規化処理手段、6…特徴
抽出手段、7…照合処理手段、8…識別辞書ファイル、
9…判定処理手段、10…制御手段、60…特徴抽出処
理制御部、61…正規化パタンメモリ、62…フーリエ
スペクトル変換部、63…フーリエスペクトルパタンメ
モリ、64…差分パタン算出部、65…平均パタンファ
イル、66…差分パタンメモリ、67…展開係数算出
部、68…正規直交基底画像ファイル群、69…特徴ベ
クトルメモリ。1 ... Target person, 2 ... TV camera, 3 ... Image input means,
4 ... Density conversion means, 5 ... Position normalization processing means, 6 ... Feature extraction means, 7 ... Collation processing means, 8 ... Identification dictionary file,
9 ... Judgment processing means, 10 ... Control means, 60 ... Feature extraction processing control section, 61 ... Normalized pattern memory, 62 ... Fourier spectrum conversion section, 63 ... Fourier spectrum pattern memory, 64 ... Difference pattern calculation section, 65 ... Average Pattern file, 66 ... Difference pattern memory, 67 ... Expansion coefficient calculation unit, 68 ... Orthonormal base image file group, 69 ... Feature vector memory.
Claims (1)
像入力手段、入力顔画像の輝度補正などの濃淡処理を行
なう濃度変換手段、入力された顔画像の位置・大きさに
関する正規化を行なう位置正規化処理手段、正規化され
た顔画像から照合の際に必要な特徴パタンを抽出する処
理を行なう特徴抽出手段、入力顔画像から抽出された特
徴パタンを登録された各人物の顔画像についてあらかじ
め用意した標準パタンと照合する照合処理手段、登録さ
れた人物の標準パタンを格納した識別辞書ファイル、照
合の結果から個人識別の判定を行なう判定処理手段、及
び各処理手段を連絡して制御する制御手段を具備し、対
象人物の顔画像を登録人物の顔画像と照合することによ
って個人識別を実現する顔画像照合装置であって、前記
特徴抽出手段は、正規化された入力顔画像に離散フーリ
エ変換を適用して空間周波数領域でのフーリエスペクト
ルパタンの強度分布を求めるフーリエスペクトル変換部
と、該入力顔画像のフーリエスペクトルパタンとあらか
じめ用意された平均パタンとの差分を求める差分パタン
算出部と、学習サンプルとして用意した顔画像のフーリ
エスペクトルパタンの集合に対してあらかじめKL展開
を適用することによって用意された複数の正規直交基底
画像と入力画像の該差分パタンとでそれぞれベクトル内
積計算を行ない、それらの結果を特徴ベクトルの各成分
として出力する展開係数算出部とで構成されることを特
徴とする顔画像照合装置。Claim: What is claimed is: 1. An image input unit for inputting a face image of a target person, a density conversion unit for performing a grayscale process such as brightness correction of an input face image, and a position / size of an input face image. The position normalization processing means for normalizing the height, the feature extraction means for performing the processing for extracting the characteristic pattern necessary for the matching from the normalized face image, and the feature pattern extracted from the input face image are registered. Collation processing means for collating a face image of each person with a standard pattern prepared in advance, an identification dictionary file storing standard patterns of registered persons, determination processing means for making personal identification determination from the result of the collation, and each processing means. A face image collation device that includes a control unit that communicates and controls the face image of the target person to realize personal identification by collating the face image of the target person with the face image of the registered person. The feature extraction means includes a Fourier spectrum conversion unit that applies a discrete Fourier transform to the normalized input face image to obtain the intensity distribution of the Fourier spectrum pattern in the spatial frequency domain, and the Fourier spectrum pattern of the input face image A difference pattern calculation unit for obtaining a difference from the prepared average pattern, and a plurality of orthonormal base images prepared by applying KL expansion in advance to a set of Fourier spectrum patterns of face images prepared as learning samples and inputting A face image collation apparatus comprising: a differential coefficient calculation unit that performs vector inner product calculation with the difference pattern of an image and outputs the result as each component of the feature vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17657091A JPH0520442A (en) | 1991-07-17 | 1991-07-17 | Face picture collation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17657091A JPH0520442A (en) | 1991-07-17 | 1991-07-17 | Face picture collation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0520442A true JPH0520442A (en) | 1993-01-29 |
Family
ID=16015874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17657091A Pending JPH0520442A (en) | 1991-07-17 | 1991-07-17 | Face picture collation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0520442A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302327A (en) * | 1993-08-11 | 1995-11-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for detecting image of object |
JPH0883341A (en) * | 1994-09-12 | 1996-03-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting object area and object recognizing device |
JPH09138851A (en) * | 1995-11-15 | 1997-05-27 | Gikoushiya:Kk | Individual identifying method, its device and passage monitoring system |
JP2002056388A (en) * | 2001-05-28 | 2002-02-20 | Nec Corp | Robot device |
JP2002157596A (en) * | 2000-11-17 | 2002-05-31 | Sony Corp | Robot unit and face identifying method |
WO2003083774A1 (en) * | 2002-03-29 | 2003-10-09 | Nec Corporation | Face meta-data creation |
JP2006146673A (en) * | 2004-11-22 | 2006-06-08 | Kddi Corp | Apparatus for recognizing image |
JP2006179023A (en) * | 2006-02-13 | 2006-07-06 | Nec Corp | Robot device |
KR100819027B1 (en) * | 2006-04-26 | 2008-04-02 | 한국전자통신연구원 | Method and apparatus for user authentication using face image |
US7532745B2 (en) | 2002-02-27 | 2009-05-12 | Nec Corporation | Image recognition system and recognition method thereof, and program |
US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
US8660321B2 (en) | 2008-11-19 | 2014-02-25 | Nec Corporation | Authentication system, apparatus, authentication method, and storage medium with program stored therein |
CN105160633A (en) * | 2015-07-02 | 2015-12-16 | 广东欧珀移动通信有限公司 | Image processing method and device |
CN116360603A (en) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | Interaction method, device, medium and program product based on time sequence signal matching |
-
1991
- 1991-07-17 JP JP17657091A patent/JPH0520442A/en active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302327A (en) * | 1993-08-11 | 1995-11-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for detecting image of object |
JPH0883341A (en) * | 1994-09-12 | 1996-03-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting object area and object recognizing device |
JPH09138851A (en) * | 1995-11-15 | 1997-05-27 | Gikoushiya:Kk | Individual identifying method, its device and passage monitoring system |
JP2002157596A (en) * | 2000-11-17 | 2002-05-31 | Sony Corp | Robot unit and face identifying method |
JP2002056388A (en) * | 2001-05-28 | 2002-02-20 | Nec Corp | Robot device |
US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
US8027522B2 (en) | 2002-02-27 | 2011-09-27 | Nec Corporation | Image recognition system and recognition method thereof and program |
US7532745B2 (en) | 2002-02-27 | 2009-05-12 | Nec Corporation | Image recognition system and recognition method thereof, and program |
KR100731937B1 (en) * | 2002-03-29 | 2007-06-25 | 닛본 덴끼 가부시끼가이샤 | Face meta-data creation |
WO2003083774A1 (en) * | 2002-03-29 | 2003-10-09 | Nec Corporation | Face meta-data creation |
JP2006146673A (en) * | 2004-11-22 | 2006-06-08 | Kddi Corp | Apparatus for recognizing image |
JP4582702B2 (en) * | 2004-11-22 | 2010-11-17 | Kddi株式会社 | Image recognition device |
JP2006179023A (en) * | 2006-02-13 | 2006-07-06 | Nec Corp | Robot device |
KR100819027B1 (en) * | 2006-04-26 | 2008-04-02 | 한국전자통신연구원 | Method and apparatus for user authentication using face image |
US8660321B2 (en) | 2008-11-19 | 2014-02-25 | Nec Corporation | Authentication system, apparatus, authentication method, and storage medium with program stored therein |
CN105160633A (en) * | 2015-07-02 | 2015-12-16 | 广东欧珀移动通信有限公司 | Image processing method and device |
CN116360603A (en) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | Interaction method, device, medium and program product based on time sequence signal matching |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100731937B1 (en) | Face meta-data creation | |
JP3986583B2 (en) | Method and apparatus for detecting, recognizing and encoding complex objects using stochastic eigenspace analysis | |
US6243492B1 (en) | Image feature extractor, an image feature analyzer and an image matching system | |
JP4292837B2 (en) | Pattern feature extraction method and apparatus | |
US6292575B1 (en) | Real-time facial recognition and verification system | |
US6430307B1 (en) | Feature extraction system and face image recognition system | |
JP4505733B2 (en) | Object recognition method and apparatus using texton | |
US20030059124A1 (en) | Real-time facial recognition and verification system | |
US20030161504A1 (en) | Image recognition system and recognition method thereof, and program | |
JP2006012130A (en) | Method for expressing image, descriptor derived by use of the method, usage including any one of transmission, receiving and storage of descriptor or storage device of descriptor, method and apparatus or computer program for performing recognition, detection or classification of face, and computer-readable storage medium | |
JPH0520442A (en) | Face picture collation device | |
CN108564061B (en) | Image identification method and system based on two-dimensional pivot analysis | |
Haque et al. | Two-handed bangla sign language recognition using principal component analysis (PCA) and KNN algorithm | |
WO2003052677A1 (en) | Identification of people using video and audio eigen features | |
Sahbi et al. | Coarse to fine face detection based on skin color adaption | |
JP3252941B2 (en) | Image segmentation recognition device | |
Shermina | Face recognition system using multilinear principal component analysis and locality preserving projection | |
JP5353482B2 (en) | Pattern recognition dictionary generation device, pattern recognition device, and pattern recognition dictionary generation method | |
JP4099981B2 (en) | Image recognition system, image recognition method, and image recognition program | |
Deepa et al. | Challenging aspects for facial feature extraction and age estimation | |
KR101094433B1 (en) | Method for identifying image face and system thereof | |
Rafi et al. | Face Recognition Using Contour and Discrete Cosine Transform | |
RU2541136C1 (en) | Method of recognising facial images and system therefor | |
Liu et al. | A Check-In System Leveraging Face Recognition | |
Narayanan et al. | Word sign recognition of invariant images based on surf with Laplacian Eigenmaps |