JP3469031B2 - Face image registration apparatus and method - Google Patents

Face image registration apparatus and method

Info

Publication number
JP3469031B2
JP3469031B2 JP03370497A JP3370497A JP3469031B2 JP 3469031 B2 JP3469031 B2 JP 3469031B2 JP 03370497 A JP03370497 A JP 03370497A JP 3370497 A JP3370497 A JP 3370497A JP 3469031 B2 JP3469031 B2 JP 3469031B2
Authority
JP
Japan
Prior art keywords
image
input
extracted
dictionary
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03370497A
Other languages
Japanese (ja)
Other versions
JPH10232934A (en
Inventor
修 山口
和広 福井
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP03370497A priority Critical patent/JP3469031B2/en
Publication of JPH10232934A publication Critical patent/JPH10232934A/en
Application granted granted Critical
Publication of JP3469031B2 publication Critical patent/JP3469031B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、入力された画像中
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a face image registration apparatus or method for extracting a face area from an input image and automatically registering a face in a dictionary.

【0002】[0002]

【従来の技術】顔画像認識技術は、ヒューマンインタフ
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献[塩野充、真田英彦“個人認証技術の最近の研究動
向”,信学技報 OSF92-17.]が詳しい。従来の顔画像識
別法は、大きく分ける以下の2つに分類できる。
2. Description of the Related Art Face image recognition technology is an essential element technology for constructing a human interface or security system. Face image recognition includes face area extraction, face feature point extraction, and identification. Regarding the recent technological trends, the literature [Mitsushi Shiono, Hidehiko Sanada “Recent Research Trends in Personal Authentication Technology”, IEICE Technical Report OSF92-17.] Is detailed. Conventional face image identification methods can be roughly classified into the following two types.

【0003】1つは、目、鼻、口などの特徴点の位置、
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
One is the position of characteristic points such as eyes, nose, and mouth.
This is a method of generating a feature vector by parameterizing the shape and size and calculating the degree of similarity with the feature vector of the target person registered in advance. The person representing the dictionary vector having the highest similarity is identified as the person. These are classified into structural analysis methods.

【0004】もう1つの方法は、瞳、鼻などの特徴点を
基準とした2次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
Another method is to use an image whose position and size are normalized by a geometrical transformation such as a two-dimensional affine transformation using feature points such as the pupil and the nose as a reference and a dictionary-normalized image registered in advance. It is a method based on the similarity of the pattern. As with the former case, the person representing the dictionary image having the highest degree of similarity is identified as the person. These can be categorized into pattern-like methods by methods that have been put to practical use in conventional character recognition.

【0005】上記の2つの手法のどちらの場合も、類似
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法[エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)]や複合類似度など方法が適用できる。識別法の構成
は[舟久保登“パターン認識”共立出版(1991)][飯
島泰蔵“パターン認識理論”森北出版(1989)]などに
詳しい。
In either of the above two methods, a statistical distance such as a correlation value between images or a Euclidean distance in a feature space is used as the similarity. For this identification processing, various pattern recognition theories that are practically used in character recognition,
For example, the subspace method [Translated by Erukki Oya, Hidemitsu Ogawa, Makoto Sato, “Pattern Recognition and Subspace Method”, Sangyo Tosho (198
6)] and composite similarity can be applied. The composition of the identification method is detailed in [Noboru Funakubo “Pattern Recognition” Kyoritsu Shuppan (1991)] [Taizou Iijima “Pattern Recognition Theory” Morikita Shuppan (1989)].

【0006】上記の顔認識の実際の適用に際しては、上
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような3次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
[村瀬洋,シェリー・ナイヤー,“2次元照合による3
次元物体認識”,信学論(D-II)J77-D-II, 11, pp. 21
79-2187, 1994.]。
In the actual application of the above face recognition, in addition to the above face recognition processing, registration of the user, that is, generation of a face dictionary of the registrant becomes indispensable. For example, in handwritten Kanji recognition using the subspace method, a dictionary was generated from hundreds of learning sample images for each character. A three-dimensional object such as a face, which is an object of the present invention, has a large variation in shape and brightness such as lighting conditions, face orientation, and facial expression change as compared with characters, and requires a large amount of learning sample images [ Hiroshi Murase, Sherry Nyer, "3 by 2D matching"
Dimensional object recognition ”, Theory of theory (D-II) J77-D-II, 11, pp. 21
79-2187, 1994.].

【0007】従来の辞書生成は、文献[赤松茂,佐々木
努,深町映夫,末永康仁,“濃淡画像マッチングによる
ロバストな正面顔の識別法”,信学論(D-II), J76-DI
I, 7, pp. 1363-1373, 1993.]、[小松良江,有木康
雄,“部分空間法を用いた向きによらない顔の切り出し
認識”,PRU95-191, pp. 7-14, 1996.]、[M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.]、[Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.]などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右15
°、上下15°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
[0007] Conventional dictionary generation is based on the literature [Shigeru Akamatsu, Tsutomu Sasaki, Eio Fukamachi, Yasuhito Suenaga, "Robust front face identification method based on grayscale image matching", Theory of theory (D-II), J76-DI.
I, 7, pp. 1363-1373, 1993.], [Yoshie Komatsu, Yasuo Ariki, "Direction-based face segmentation recognition using subspace method", PRU95-191, pp. 7-14, 1996. .], [M. Turk,
AP Pentland: "Face recognition using eigenface
s ", Proc. CVPR 11, pp. 453-458, 1993.], [Alex
Pentland, Baback Moghaddam, Thad Starner, "View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.] and the like, given good lighting conditions, for example, front, left and right 15
The face was manually cut out and the image was selected from an image photographed with the registrant's face facing up and down by 15 °.

【0008】顔はその日の体調や表情変化、髪、髭の影
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
The face is apt to undergo physiological changes such as changes in physical condition and facial expression on that day, and effects of hair and beard. Therefore, in order to realize a high recognition rate, it is necessary to update the face dictionary at regular intervals. However, frequent dictionary updates increase the burden on the user. Therefore, in order to make face recognition easy to use, it is important to reduce the burden and register without being conscious of the user.

【0009】例えば、情報端末における作業を一時中断
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
For example, consider a function of preventing access by another person when the information terminal is temporarily suspended and then left. Although it is possible to use a dictionary generated in advance, it is more effective to use the dictionary image generated immediately before as much as possible in order to identify the person and increase the exclusion rate of others.
However, registering the dictionary every time the user leaves the seat increases the burden on the user. Therefore, the dictionary is registered without the user being aware of the access to the information device.

【0010】ところが登録者に意識させないで収集した
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
However, the learning samples collected without the registrant being aware usually include data that is not effective as learning data when the eyes are closed or the facial expression is greatly changed. If a dictionary is generated from a learning sample containing these error images, the accuracy of the dictionary will be reduced. In order to improve the dictionary accuracy, it is necessary to increase the number of learning data, and manual selection cannot handle real-time dictionary generation.

【0011】[0011]

【発明が解決しようとする課題】従来、顔辞書の生成
は、事前に良好な照明条件下で所定、例えば、正面、左
右15°、上下15°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
Conventionally, the face dictionary is generated in advance by directing the face of the registrant in a predetermined direction, for example, front, left and right 15 °, and up and down 15 ° under good lighting conditions. It was done manually using the photographed face image. The face changes over time. Therefore, in order to realize a high recognition rate, it is necessary to update the face dictionary at regular intervals. However, updating the dictionary frequently increases the burden on the user.

【0012】辞書生成のための自動学習サンプル収集に
関しては、既に出願済みの方法[特願平8−61463
号]を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
Regarding the automatic learning sample collection for dictionary generation, the method already filed [Japanese Patent Application No. 8-61463].
No.] is applied. However, there is still a problem that the learning data collected without being aware of the registered person includes a lot of data that is not effective for dictionary generation.
In order to improve the dictionary accuracy, it is necessary to increase the number of learning data, and it is difficult to realize real-time dictionary generation by manual selection.

【0013】そこで、本発明は、使用者に負担かけず、
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
Therefore, the present invention does not burden the user.
A face image registration apparatus and method capable of eliminating unnecessary registration of face images and improving dictionary accuracy.

【0014】[0014]

【課題を解決するための手段】本発明は、人物の顔画像
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなり、前記判断手段は、前記顔
領域抽出手段によって抽出された入力顔画像から顔の特
徴量を抽出し、この抽出された特徴量と、予め複数の入
力画像から抽出された特徴量との対応関係を線形結合に
より表現した場合の誤差を求め、前記誤差が閾値より小
さい場合は登録可能と判断することを特徴とする顔画像
登録装置である。
According to the present invention, in a face image registration apparatus having a dictionary means for registering a face image of a person, an image input means for inputting the image of the person and an input by the image input means. A face area extracting unit that extracts an input face image that is an image of the face area of the person from the formed images, and an input face image extracted by the face area extracting unit is a face image that can be registered in the dictionary unit. determining means for determining whether there becomes an input face image is determined to be registered by said determining means from the registration means for registering in the dictionary means as the face image, the judging unit, the face
A face feature is extracted from the input face image extracted by the region extracting means.
The feature quantity is extracted, and the extracted feature quantity
A linear combination of the correspondence with the features extracted from the force image
If the error is expressed by
If so, the face image registration apparatus is characterized by determining that registration is possible .

【0015】また、本発明は、コンピュータが人物の顔
画像を登録するための顔画像登録方法において、前記コ
ンピュータによって前記人物の画像を入力する画像入力
ステップと、前記画像入力ステップにおいて入力された
画像中から前記人物の顔領域の画像である入力顔画像を
前記コンピュータによって抽出する顔領域抽出ステップ
と、前記顔領域抽出ステップにおいて抽出された入力顔
画像が、前記登録可能な顔画像か否かを前記コンピュー
タによって判断する判断ステップと、前記判断ステップ
において登録可能と判断された入力顔画像を前記顔画像
として前記コンピュータによって登録させる登録ステッ
プからなり、前記コンピュータが行う前記判断ステップ
は、前記顔領域抽出手段によって抽出された入力顔画像
から顔の特徴量を抽出し、この抽出された特徴量と、予
め複数の入力画像から抽出された特徴量との対応関係を
線形結合により表現した場合の誤差を求め、前記誤差が
閾値より小さい場合は登録可能と判断することを特徴と
する顔画像登録方法である。
The present invention also provides a face image registration method for a computer to register a face image of a person, wherein
An image input step of inputting the image of the person by a computer, and an input face image that is an image of the face area of the person from among the images input in the image input step.
The face area extracting step for extracting by the computer, and the computer for checking whether the input face image extracted in the face area extracting step is the registrable face image.
And a registration step of causing the computer to register the input face image determined to be registerable in the determination step as the face image by the computer, and the determination step performed by the computer
Is the input face image extracted by the face area extracting means.
The facial features are extracted from the
Therefore, the correspondence with the feature amount extracted from multiple input images
Find the error when expressed by linear combination, and the error is
In the face image registration method, it is determined that the image can be registered if it is smaller than the threshold .

【0016】上記発明であると、例えば、抽出された顔
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
According to the above-mentioned invention, for example, it is judged whether or not the feature amount obtained from the extracted face area is effective as learning data by comparing it with a preset reference. As the feature amount, the size of facial feature points such as pupils, nostrils, and mouth edges, the amount obtained from position information, or an image normalized with reference to these points is used. This makes it possible to automatically remove from the learning image an image with a greatly changed expression, an image with closed eyes, an image with open mouth, and the like.

【0017】さらにマウス操作、キーボード操作、ボタ
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
Further, a predetermined operation such as a mouse operation, a keyboard operation, or a button operation is detected, and a dictionary is generated only for an image input during the operation. By targeting only during the operation, the time for collecting unnecessary learning data is reduced, which is efficient. It also reduces the possibility of collecting images that are not valid as a dictionary, such as when facing sideways. According to the present invention, it is possible to realize an apparatus and method for extracting a face area from an input image and automatically registering the dictionary.

【0018】[0018]

【発明の実施の形態】以下、本発明の一実施例を図1か
ら図7に基づいて説明する。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to FIGS.

【0019】パソコン等の情報端末装置において、作業
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置10を例にとって説明する。
In an information terminal device such as a personal computer, it is a necessary function to temporarily stop the work and prevent access by others when leaving the terminal. Therefore, in the present embodiment, the information equipment terminal device 10 equipped with a function of preventing access by another person when leaving the seat will be described as an example.

【0020】図1は、本実施例に係るセキュリティ付き
情報端末装置10の概略を示すブロック図である。
FIG. 1 is a block diagram showing an outline of an information terminal device with security 10 according to this embodiment.

【0021】本装置10は、画像入力部11、顔領域抽
出部12、状況認識部13、認114、辞書生成部1
5、アクセス制御部16、辞書画像17、所定動作検出
部18から構成されている。
The apparatus 10 includes an image input unit 11, a face area extraction unit 12, a situation recognition unit 13, a recognition 114, and a dictionary generation unit 1.
5, an access control unit 16, a dictionary image 17, and a predetermined motion detection unit 18.

【0022】(画像入力部11) 画像入力部11は、認識対象となる人物の画像を入力す
るためのものであり、例えばTVカメラからなる。この
画像入力部11から入力された画像01はA/D変換器
によりデジタル化されて顔領域抽出部12に送られる。
例えば、TVカメラは情報端末装置10のモニタの下部
に設置される。あるいはモニタの四角に設置しても良
い。
(Image Input Section 11) The image input section 11 is for inputting an image of a person to be recognized, and is composed of, for example, a TV camera. The image 01 input from the image input unit 11 is digitized by the A / D converter and sent to the face area extraction unit 12.
For example, the TV camera is installed under the monitor of the information terminal device 10. Alternatively, it may be installed in the square of the monitor.

【0023】(顔領域抽出部12) 顔領域抽出部12は、画像入力部11から送られてきた
入力画像から顔領域画像02を常時抽出し続ける。本実
施例では、予め登録された標準顔画像(テンプレート)
を全画面に渡って移動させながら相関値を計算し最も高
い相関値をもっている領域を顔領域とする。相関値の局
所最大点を顔領域候補とする。この顔領域候補における
相関値が設定された閾値より低い場合は、顔が存在しな
いとする。具体的には閾値として最大相関値を100と
して30に設定する。顔の向き変化に対応するために複
合類似度などにより複数のテンプレートを用いるとさら
に安定に顔領域を抽出できる。この処理は先に述べたカ
ラー情報に基づく抽出法に置き換えて良い。
(Face Area Extraction Unit 12) The face area extraction unit 12 constantly extracts the face area image 02 from the input image sent from the image input unit 11. In this embodiment, a standard face image (template) registered in advance
Is calculated over the entire screen, the correlation value is calculated, and the area having the highest correlation value is set as the face area. The local maximum point of the correlation value is set as the face area candidate. When the correlation value in this face area candidate is lower than the set threshold value, it is determined that there is no face. Specifically, the maximum correlation value is set to 100 as the threshold value and set to 30. The face region can be more stably extracted by using a plurality of templates according to the composite similarity or the like in order to cope with the change in the face orientation. This processing may be replaced with the extraction method based on the color information described above.

【0024】(状況認識部13) 状況認識部13では、顔領域抽出結果の時間的な変化か
ら使用者の状態(作業中、離席、着席)を識別して辞書
生成モードと認識モードの切替えを行う。
(Situation Recognition Unit 13) The situation recognition unit 13 identifies the state of the user (working, away, sitting) from the temporal change in the face area extraction result, and switches between the dictionary generation mode and the recognition mode. I do.

【0025】図2に示すように顔領域が検出され始めた
時点T0からT1までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。T1時点で本人と同定された場合はアクセス可
能になる。
As shown in FIG. 2, the recognition mode is set in the period from the time T0 when the face area starts to be detected to T1.
In this mode, the identification process is performed by the recognition process described later. If the person is identified at T1, he / she can access it.

【0026】T1時点以降は辞書生成モードに切替わり
所定動作検出部18からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻T1は対象機種やア
クセス動作の種類により変更可能である。
After the time point T1, the mode is switched to the dictionary generation mode and the learning data is collected when the dictionary generation signal from the predetermined operation detecting section 18 is input. If the face area cannot be detected for a certain period of time, it is determined that the user has left the seat and the screen lock is immediately activated. Alternatively, the screen lock may be activated after the user's reaction is notified to the user by light, voice or the like and the user's reaction is observed. Here, the time T1 can be changed depending on the target model and the type of access operation.

【0027】(認識部14) 認識部14は、顔特徴点抽出部14a、正規化画像生成
部14b、パターンマッチング部14cからなる。図3
に認識部14のブロック図を示す。
(Recognition Unit 14) The recognition unit 14 comprises a facial feature point extraction unit 14a, a normalized image generation unit 14b, and a pattern matching unit 14c. Figure 3
A block diagram of the recognition unit 14 is shown in FIG.

【0028】顔特徴点抽出部14aでは、抽出された顔
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法[特願平8−61463号]が適用可能である。
The face feature point extraction unit 14a extracts feature points such as the pupil, nose, and mouth bridge from within the extracted face area. The method [Japanese Patent Application No. 8-61463] combining the shape information and the pattern information, which has already been applied, can be applied.

【0029】この方法の基本的な考えは、位置精度の高
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
The basic idea of this method is to obtain feature point candidates from shape information with high positional accuracy and verify them by pattern matching. Since this method performs positioning based on shape information, high positional accuracy can be expected. Moreover, since matching using a multi-template is applied to the selection of the correct feature point from the candidate group, it is robust against variations in the shape luminance of the feature point. Regarding the processing speed, since the pattern matching is performed only on the candidates narrowed down by the separability filter having a low calculation cost, the calculation amount can be significantly reduced as compared with the method of performing the pattern matching on the whole.

【0030】この他にも、エッジ情報に基づく方法[A.
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.][坂本静生,宮尾陽子,田島譲二,“顔画像
からの目の特徴点抽出”,信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ]や固有空
間法を適用したEigen feature 法[Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.]、カラー情報に基づく方法[佐々木
努、赤松茂、末永康仁,“顔画像認識のための色情報を
用いた顔の位置合わせ方”,IE91-2, pp. 9-15, 1991.
]が適用可能である。
Besides this, a method based on edge information [A.
L. Yuille, "Feature extraction from faces using de
formable templates ", IJCV, vol. 8: 2, pp. 99-11
1, 1992.] [Shizuo Sakamoto, Yoko Miyao, Joji Tajima, "Extraction of eye feature points from face images", Theory of Communication D-II, Vol. J76-DI.
I, No. 8, pp. 1796-1804, August, 1993.] and the Eigen feature method applying the eigenspace method [Alex Pentland, Baba
ck Moghaddam, Thad Starner, "View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.], a method based on color information [Tsubasa Sasaki, Shigeru Akamatsu, Yasuhito Suenaga, "Face registration using color information for facial image recognition", IE91-2, pp. 9-15, 1991.
] Is applicable.

【0031】正規化画像生成部14bでは、特徴点を基
準にして正規化を施す。図4に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルE1E2の向きを平行に
補正してさらにc1,c2の上から1/3の点CPを正
規化画像の中心座標、横幅はベクトルE1E2の2倍、
縦幅はベクトルc1c2の2倍に設定する。
The normalized image generating section 14b performs normalization on the basis of the feature points. FIG. 4 shows an example of the normalization process based on the pupil and the nostril. The direction of the vector E1E2 is corrected to be parallel, and the point 1/3 from the top of c1 and c2 is the center coordinate of the normalized image, and the width is twice the vector E1E2.
The vertical width is set to twice the vector c1c2.

【0032】パターンマッチング部14cでは、正規化
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
The pattern matching section 14c compares the normalized image with the face image stored in the dictionary image to obtain the pattern similarity. If the pattern similarity is higher than the reference value, the person is identified. If it is smaller than the standard, it is assumed to be another person. As a pattern matching method, a correlation method, a subspace method, a composite similarity method, or the like can be applied.

【0033】(所定動作検出部18) 所定動作検出部18は、使用者がキーボード、ボタンプ
ッシュ、または、マウスの操作などの所定の動作を行っ
ているか否かを検出する。検出結果に基づいて辞書生成
部15を制御する。
(Predetermined Motion Detection Unit 18) The predetermined motion detection unit 18 detects whether or not the user is performing a predetermined motion such as a keyboard, button push, or mouse operation. The dictionary generation unit 15 is controlled based on the detection result.

【0034】具体的には、使用者がキーボード操作、ボ
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段11に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部16に送信する。
Specifically, when it is detected that the user is performing a predetermined operation such as keyboard operation, button push, mouse operation, etc., the front image of the user's face is displayed on the image input means 11. Since there is a high possibility that it is suitable for dictionary registration, a dictionary generation signal is transmitted to the dictionary generation unit 16 while performing a predetermined operation.

【0035】(辞書生成部16) 辞書生成部16は、顔特徴点抽出部14a、フレーム評
価部16a、正規化画像生成部14b、学習画像記憶部
16b及び主成分分析部16cからなる。ここで顔特徴
点抽出部14aと正規化画像生成部14bは、認識部1
4と共通で使用する。図5に辞書生成部16のブロック
図を示す。
(Dictionary Generation Unit 16) The dictionary generation unit 16 comprises a facial feature point extraction unit 14a, a frame evaluation unit 16a, a normalized image generation unit 14b, a learning image storage unit 16b, and a principal component analysis unit 16c. Here, the facial feature point extraction unit 14a and the normalized image generation unit 14b are connected to the recognition unit 1.
It is used in common with 4. FIG. 5 shows a block diagram of the dictionary generation unit 16.

【0036】辞書生成は、所定動作検出部18から辞書
生成信号が入力されると学習データの収集が行われる。
In the dictionary generation, learning data is collected when a dictionary generation signal is input from the predetermined operation detecting section 18.

【0037】フレーム評価部16bでは、抽出された顔
特徴点の情報から抽出された顔領域画像02が辞書生成
に有効か否かを判断する。ここで3つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
The frame evaluation unit 16b determines whether the face area image 02 extracted from the extracted face feature point information is effective for dictionary generation. Although three evaluation criteria are applied here, they may be applied individually or in combination.

【0038】(i) 予め各特徴点の位置関係を規定してお
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
(I) The positional relationship between the respective characteristic points is defined in advance, and if this positional relationship is broken, it is judged that the learning data is not effective. For example, the positional relationship between the pupils, the nostrils, and the mouth end may be mentioned.

【0039】(ii)辞書画像17に蓄えられた固有顔画像
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
(Ii) The characteristic face image and the pattern similarity stored in the dictionary image 17 are evaluated. If the degree of similarity is smaller than the reference, it is determined to be invalid. The higher the standard,
This will improve the uniformity of the learning data. However, if it is too high, it will not be able to respond to changes such as face orientation.

【0040】あるいは辞書画像17に蓄えられた固有顔
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
Alternatively, instead of the peculiar face image stored in the dictionary image 17, a dictionary image generated from a learning image normalized in advance with correct feature points may be used.

【0041】さらに顔向きまで考慮すると極端に横を向
いた顔などを除くことが可能である。この場合には、予
め方向1〜Nの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
Further considering the face orientation, it is possible to exclude an extremely laterally oriented face. In this case, a face dictionary pattern prepared in advance for each face orientation in directions 1 to N is compared, and it is determined to be effective for dictionary generation when the face dictionary pattern matches a predetermined face orientation dictionary.

【0042】(iii) 各フレーム毎に抽出された特徴点の
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム1〜
4で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
(Iii) The relationship between the feature points extracted for each frame is examined to detect the learning data with the eyes closed. The coordinates of the newly extracted feature points are already in the previous frame 1 to
It can be expressed by a linear combination of the coordinates of the feature points extracted in 4.
Therefore, if the feature points are correctly extracted in all frames, the error in linear combination becomes small. On the contrary, when the eyes are closed and the eyebrow and the pupil are mistaken, the error becomes large.

【0043】これについて詳細に図6を用いて説明す
る。
This will be described in detail with reference to FIG.

【0044】正射影モデルを仮定すると、3次元モデル
を持たずに、任意の方向から見た顔特徴点の2次元座標
を、式(1)(2)に示すように4枚の画像上で対応付
けられた特徴点の2次元座標の線形結合により表現でき
る[S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ][向川康博、中村裕
一、大田友一、“2枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.]。この性質を利用して動画像列において既に抽出
されている4枚のフレームにおける正しい特徴点の2次
元座標値(x1 ,y1 )〜(x4 ,y4 )から新しく検
出された特徴点の2次元座標値(X,Y)を検証する。
Assuming an orthographic projection model, the two-dimensional coordinates of the facial feature points viewed from an arbitrary direction without having a three-dimensional model are represented on four images as shown in equations (1) and (2). It can be expressed by a linear combination of the two-dimensional coordinates of the associated feature points [S. Ullman, R. Basri: "Recognition by Linear Co.
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991.] [Yasuhiro Mukaikawa, Yuichi Nakamura, Yuichi Ota, “Generating Face Image in Arbitrary Direction from Two Face Photos”, Theory of Information, Vol. 37. , No. 4, pp. 635-644, 1
996.]. Utilizing this property, the feature points newly detected from the two-dimensional coordinate values (x 1 , y 1 ) to (x 4 , y 4 ) of the correct feature points in the four frames already extracted in the moving image sequence The two-dimensional coordinate value (X, Y) of is verified.

【0045】4フレームの画像に対する特徴点の2次元
座標と新しい座標(X,Y)から線形結合係数ai ,b
i ,(i=1,4)を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を(x′,y′)を
計算して(X,Y)との誤差Resを計算する。
From the two-dimensional coordinates of the feature points for the image of four frames and the new coordinates (X, Y), the linear combination coefficients a i , b
i , (i = 1, 4) is obtained by the method of least squares. This time, the approximate coordinates (x ', y') are calculated from the obtained coupling coefficient to calculate the error Res with respect to (X, Y).

【0046】[0046]

【数1】 誤差Resは新しい特徴点の座標誤差を示している。誤差
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
[Equation 1] The error Res indicates the coordinate error of the new feature point. If the error is larger than the threshold value, an error has occurred in the extraction position, so this data is not effective as learning data.

【0047】上記(i) 〜(iii) の評価基準以外にも顔領
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
In addition to the above evaluation criteria (i) to (iii), it is possible to judge whether the average brightness of the face area or the dispersion of the brightness is within the reference range.

【0048】学習画像記憶部16bは、上記有効である
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部16cに学習画
像を送る。
The learning image storage section 16b stores the learning data determined to be valid. When the number of stored learning data reaches a prescribed number, the learning image is sent to the principal component analysis unit 16c.

【0049】主成分分析部16cでは、学習画像記憶部
16bに蓄えられた画像データに対して主成分分析(K
L展開)適用して固有画像を求める。固有値が大きい方
から上位N個の固有画像を辞書画像17に蓄える。
The principal component analysis unit 16c analyzes the image data stored in the learning image storage unit 16b by principal component analysis (K
L expansion) is applied to obtain a unique image. The top N unique images with the largest unique value are stored in the dictionary image 17.

【0050】上記実施例では、動画像からリアルタイム
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
In the above embodiment, an example in which a dictionary is generated in real time from a moving image has been described, but it is also possible to temporarily store in the memory only the frame in which the detection signal from the predetermined motion detection unit comes from the moving image and then perform the dictionary. Is. In this case, since only the frames that are likely to be effective for dictionary generation are targeted, the processing speed and stability can be measured.

【0051】また、上記実施例では、識別にパターン的
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
In the above embodiment, the subspace method, which is a pattern-like method, is applied to the identification, but it may be replaced with a structural method.

【0052】(本装置10の動作の説明) 次に、本実施例の動作を図7に沿って説明する。(Explanation of the operation of the apparatus 10) Next, the operation of this embodiment will be described with reference to FIG.

【0053】最初のアクセスは、パスワードなどを入力
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
For the first access, a normal login for entering a password or the like is performed. Alternatively, it is possible to automatically log in using the dictionary of the user registered in advance.

【0054】先ず画像入力部11から入力された画像か
ら顔領域抽出部12において顔領域が抽出されて状況認
識部13に送られる。また所定動作検出部18では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部13では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
First, the face area extracting section 12 extracts a face area from the image input from the image input section 11 and sends it to the situation recognizing section 13. Further, the predetermined motion detection unit 18 sends a predetermined motion detection signal such as a mouse operation, a keyboard operation, or a button operation to the situation recognition unit. The situation recognition unit 13 switches between the recognition mode and the dictionary generation mode based on the temporal presence or absence of the face area. Further, it controls whether to collect the learning data based on the predetermined motion detection signal.

【0055】先ず時刻T0からT1までは、認識モード
に設定され、前回の使用者本人であるかを同定する。
First, from time T0 to T1, the recognition mode is set, and it is identified whether or not the user is the previous user himself.

【0056】(i) 認識モード 顔領域は、顔特徴点抽出部14aに送られて瞳、鼻穴、
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部14
cで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
(I) Recognition mode The face area is sent to the face feature point extraction unit 14a and the pupil, nostril,
The mouth edge is detected. Next, normalization is performed based on these feature points. The normalized image is generated by the pattern matching unit 14
In c, the degree of similarity with the dictionary image of the previous user is calculated, and when the degree of similarity is higher than the reference value, it is identified as the person who used the previous time and becomes accessible. If it is smaller than the reference value, access is prohibited.

【0057】次に時刻T1からは、辞書生成モードに設
定される。
Next, from time T1, the dictionary generation mode is set.

【0058】(ii)辞書生成モード 所定動作検出部18が所定動作を検出して所定動作検出
信号がONになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部14aに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部16aに送られて、例えば式(3)から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部16bに
蓄えられる。学習画像記憶部16bに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部16
cに送られて辞書画像が生成される。
(Ii) Dictionary generation mode When the predetermined motion detecting section 18 detects a predetermined motion and the predetermined motion detection signal is ON, learning data is collected and a dictionary image is generated. The face area images extracted from the continuously input images are sent to the facial feature point extraction unit 14a,
Nostrils and mouth edges are detected. The extracted feature point information is sent to the frame evaluation unit 16a, and the error is calculated from, for example, Expression (3). When the error is smaller than the threshold value, it is determined that the learning data is valid and is stored in the learning image storage unit 16b. When the specified number or more of learning data are stored in the learning image storage unit 16b, the learning data is stored in the principal component analysis unit 16
It is sent to c and a dictionary image is generated.

【0059】使用者が離席すると即座にスクリーンロッ
クを起動する。再び使用者が着席すると最初の処理に戻
る。
When the user leaves the seat, the screen lock is activated immediately. When the user sits down again, the process returns to the first process.

【0060】なお、上記説明では所定動作検出部18が
所定動作を検出して所定動作検出信号がONになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がOFFにあった後、一定期間(例えば、1分
間)の間は続けて辞書画像を生成してもよい。
In the above description, the predetermined motion detection unit 18 detects the predetermined motion and the dictionary image is generated when the predetermined motion detection signal is ON, but the predetermined motion detection signal is further turned OFF. After that, the dictionary image may be continuously generated for a certain period (for example, one minute).

【0061】(変更例) 次に、情報端末のセキュリティだけではなく、情報端末
のサービスにおける実施例について説明する。
(Modification) Next, not only the security of the information terminal but also the embodiment of the service of the information terminal will be described.

【0062】例えば、顔を登録する場合に、顔領域から
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
For example, when registering a face, it is considered that not only the feature amount obtained from the face area but also the operation history of the information terminal is stored at the same time. By registering at the same time as the face information, it is possible to identify from the history what kind of information was requested when operating the terminal at the same time as identifying the person.

【0063】情報検索を例とすると、使用者は検索式等
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。
Taking information retrieval as an example, the user performs an operation of inputting a retrieval formula or the like. In addition to the information necessary for personal identification, the search formula and history of search contents are stored in a database. Based on the stored data, the contents of interest to the user are estimated and extracted, and new information is retrieved and retained.

【0064】そして使用者が再び、情報端末へのログイ
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供を自動的に行うサービスが可能
となる。
Then, when the user again logs in to the information terminal and returns to the operation, it becomes possible to provide a service for automatically providing newly searched and desired information to the terminal.

【0065】これらの履歴情報は顔の登録情報とリンク
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
By storing the history information linked to the face registration information, the history information can be used as a substitute for a time stamp indicating when such information was retrieved, and based on this, the state of the face at any point in time. It may be possible to present information based on the history information at that time by recognizing whether it is close to.

【0066】また、顔の登録の際の検証機構として、表
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
If facial expression detection and recognition are used as a verification mechanism when registering a face, it is possible to obtain an operation history of information according to a human emotional state. It is also possible to generate a dictionary for, an angry dictionary, etc. When face recognition is newly performed, information corresponding to facial expression information may be provided.

【0067】これらは顔登録の更新と情報操作履歴の更
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
By continuously updating the face registration and the information operation history at the same time, more reliable information can be provided.

【0068】これらの実施例は情報端末を例に説明した
が、例えばTV、電話など家電製品に置き換えても良
い。
Although these embodiments have been described by taking the information terminal as an example, they may be replaced with home electric appliances such as TV and telephone.

【0069】TVの場合には、リモコンに超小型カメラ
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型C
CDが搭載して受話器を上げる動作を所定の動作と定義
する。
In the case of TV, an ultra-small camera is mounted on the remote controller. The predetermined operation is defined as an operation of pressing a button on the remote controller. In the case of telephone, ultra small C in the handset
The operation of mounting a receiver on a CD is defined as a predetermined operation.

【0070】さらに、本実施例の装置10を現金自動預
け払い機(以下、ATMという)に使用してもよい。
Further, the apparatus 10 of this embodiment may be used in an automatic teller machine (hereinafter referred to as ATM).

【0071】すなわち、使用者の本人確認のためにこの
装置10を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部11を、ATMの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
In other words, by using this device 10 to confirm the identity of the user, others forget to take it,
It is possible to reliably prevent illegal use such as stealing cash. In this case, the image input unit 11 is arranged near the operation panel of the ATM so that the face of the user can be surely captured. Also, the account number and the update registration time may be registered at the same time as the face image.

【0072】[0072]

【発明の効果】以上、本発明によれば、入力された画像
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
As described above, according to the present invention, a new face image is extracted from the input images, it is judged whether or not this is a face image worthy of dictionary registration, and only the input face image judged to be valid. Since the registration of the face image is unnecessary, the registration of unnecessary face images can be eliminated and the dictionary accuracy can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図1】本実施例の装置のブロック図である。FIG. 1 is a block diagram of an apparatus according to this embodiment.

【図2】本人同定モード及び辞書生成モードの時間的な
変化を示す図である。
FIG. 2 is a diagram showing temporal changes in a personal identification mode and a dictionary generation mode.

【図3】認識部のブロック図である。FIG. 3 is a block diagram of a recognition unit.

【図4】瞳、鼻穴を基準にした正規化処理の例を示す図
である。
FIG. 4 is a diagram showing an example of a normalization process based on pupils and nostrils.

【図5】辞書生成部のブロック図である。FIG. 5 is a block diagram of a dictionary generation unit.

【図6】線形結合した際の誤差を使用した説明図であ
る。
FIG. 6 is an explanatory diagram using an error when linearly combined.

【図7】本実施例の動作を説明する図である。FIG. 7 is a diagram for explaining the operation of this embodiment.

【符号の説明】[Explanation of symbols]

11 画像入力部 12 顔領域抽出部 13 状況認識部 14 認識部 15 辞書生成部 16 アクセス制御部 17 辞書画像 18 所定動作検出部 11 Image input section 12 Face area extraction unit 13 Situation recognition part 14 Recognition part 15 Dictionary generator 16 Access control unit 17 dictionary image 18 predetermined motion detector

フロントページの続き (56)参考文献 特開 平9−35068(JP,A) 特開 昭58−215883(JP,A) 特開 平7−141506(JP,A) 特開 平7−271482(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 G06F 15/00 G06F 17/60 Continuation of the front page (56) Reference JP-A-9-35068 (JP, A) JP-A-58-215883 (JP, A) JP-A-7-141506 (JP, A) JP-A-7-271482 (JP , A) (58) Fields examined (Int.Cl. 7 , DB name) G06T 7 /00-7/60 G06T 1/00 G06F 15/00 G06F 17/60

Claims (4)

    (57)【特許請求の範囲】(57) [Claims]
  1. 【請求項1】人物の顔画像を登録している辞書手段を有
    する顔画像登録装置において、 前記人物の画像を入力する画像入力手段と、 前記画像入力手段によって入力された画像中から前記人
    物の顔領域の画像である入力顔画像を抽出する顔領域抽
    出手段と、 前記顔領域抽出手段によって抽出された入力顔画像が、
    前記辞書手段に登録可能な顔画像であるか否かを判断す
    る判断手段と、 前記判断手段によって登録可能と判断された入力顔画像
    を前記顔画像として前記辞書手段に登録させる登録手段
    からなり、 前記判断手段は、 前記顔領域抽出手段によって抽出された入力顔画像から
    顔の特徴量を抽出し、 この抽出された特徴量と、予め複数の入力画像から抽出
    された特徴量との対応関係を線形結合により表現した場
    合の誤差を求め、 前記誤差が閾値より小さい場合は登録可能と判断する
    とを特徴とする顔画像登録装置。
    1. A face image registration apparatus having a dictionary means for registering a face image of a person, comprising: an image input means for inputting the image of the person; and a person's image from the images inputted by the image input means. A face area extracting unit that extracts an input face image that is an image of a face area, and an input face image extracted by the face area extracting unit,
    A determining unit that determines whether or not the face image can be registered in the dictionary unit; and a registration unit that registers the input face image determined to be registerable by the determining unit in the dictionary unit as the face image , The determining means determines from the input face image extracted by the face area extracting means.
    Face features are extracted, and extracted features and multiple input images are extracted in advance.
    If the correspondence with the specified feature quantity is expressed by a linear combination,
    A face image registration apparatus, characterized in that a registration error is determined, and if the error is smaller than a threshold value, it is determined that registration is possible .
  2. 【請求項2】前記人物の所定の動作を検出する動作検出
    手段を有し、 前記判断手段は、 前記動作検出手段が前記所定の動作を検出している間、
    または、その検出後一定期間の間に、前記顔領域抽出手
    段によって抽出された入力顔画像が前記辞書手段に登録
    するための前記顔画像として登録可能か否かを判断する
    ことを特徴とする請求項1記載の顔画像登録装置。
    2. A motion detecting means for detecting a predetermined motion of the person, wherein the judging means is provided while the motion detecting means detects the predetermined motion.
    Alternatively, it is determined whether or not the input face image extracted by the face area extracting unit can be registered as the face image to be registered in the dictionary unit within a certain period after the detection. The face image registration apparatus according to Item 1.
  3. 【請求項3】コンピュータが人物の顔画像を登録するた
    めの顔画像登録方法において、前記コンピュータによって 前記人物の画像を入力する画
    像入力ステップと、 前記画像入力ステップにおいて入力された画像中から前
    記人物の顔領域の画像である入力顔画像を前記コンピュ
    ータによって抽出する顔領域抽出ステップと、 前記顔領域抽出ステップにおいて抽出された入力顔画像
    が、前記登録可能な顔画像か否かを前記コンピュータに
    よって判断する判断ステップと、 前記判断ステップにおいて登録可能と判断された入力顔
    画像を前記顔画像として前記コンピュータによって登録
    させる登録ステップからなり、 前記コンピュータが行う前記判断ステップは、 前記顔領域抽出手段によって抽出された入力顔画像から
    顔の特徴量を抽出し、 この抽出された特徴量と、予め複数の入力画像から抽出
    された特徴量との対応関係を線形結合により表現した場
    合の誤差を求め、 前記誤差が閾値より小さい場合は登録可能と判断する
    とを特徴とする顔画像登録方法。
    3. A face image registration method for a computer to register a face image of a person, the image input step of inputting the image of the person by the computer, and the person selected from the images input in the image input step. the computer input face image is an image of the face area
    A face area extracting step for extracting by a computer, and inputting the face image extracted in the face area extracting step to the computer.
    Thus a determination step of determining, becomes an input face image is determined to be registered in the determining step from the registration step of registering by the computer as the face image, the determining step of the computer does is by the face region extracting means From the extracted input face image
    Face features are extracted, and extracted features and multiple input images are extracted in advance.
    If the correspondence with the specified feature quantity is expressed by a linear combination,
    A face image registration method, characterized in that a registration error is determined, and if the error is smaller than a threshold value, it is determined that registration is possible .
  4. 【請求項4】前記人物の所定の動作を検出する動作検出
    ステップを有し、 前記判断ステップは、 前記動作検出ステップにおいて前記所定の動作を検出し
    ている間、または、その検出後一定期間の間に、前記顔
    領域抽出ステップにおいて抽出された入力顔画像が前記
    顔画像として登録可能か否かを判断することを特徴とす
    る請求項記載の顔画像登録方法。
    4. A motion detecting step of detecting a predetermined motion of the person, wherein the determining step is performed while the predetermined motion is detected in the motion detecting step, or during a certain period after the detection. The face image registration method according to claim 3, further comprising: determining whether or not the input face image extracted in the face area extracting step can be registered as the face image.
JP03370497A 1997-02-18 1997-02-18 Face image registration apparatus and method Expired - Fee Related JP3469031B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03370497A JP3469031B2 (en) 1997-02-18 1997-02-18 Face image registration apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03370497A JP3469031B2 (en) 1997-02-18 1997-02-18 Face image registration apparatus and method

Publications (2)

Publication Number Publication Date
JPH10232934A JPH10232934A (en) 1998-09-02
JP3469031B2 true JP3469031B2 (en) 2003-11-25

Family

ID=12393817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03370497A Expired - Fee Related JP3469031B2 (en) 1997-02-18 1997-02-18 Face image registration apparatus and method

Country Status (1)

Country Link
JP (1) JP3469031B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148843A (en) * 1999-11-18 2001-05-29 Mega Chips Corp Image pickup device and criminal prevention system using the image pickup device
JP4536218B2 (en) * 2000-06-19 2010-09-01 オリンパス株式会社 Focusing device and imaging device
EP1239405A3 (en) * 2001-03-09 2004-05-19 Kabushiki Kaisha Toshiba Face image recognition apparatus
JP2003022441A (en) * 2001-07-06 2003-01-24 Minolta Co Ltd Method and program for area extraction, computer- readable recording medium with recorded program for area extraction, and device for area extraction.
DE10163814A1 (en) * 2001-12-22 2003-07-03 Philips Intellectual Property Method and device for user identification
KR20030065049A (en) * 2002-01-29 2003-08-06 삼성전자주식회사 Method for controlling exit and entrance according to facial recognition and apparatus thereof
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP4013684B2 (en) 2002-07-23 2007-11-28 オムロン株式会社 Unauthorized registration prevention device in personal authentication system
US20040207743A1 (en) 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US8159561B2 (en) 2003-10-10 2012-04-17 Nikon Corporation Digital camera with feature extraction device
AU2004282790A1 (en) * 2003-10-21 2005-04-28 Nec Corporation Image collation system and image collation method
CN100448267C (en) 2004-02-06 2008-12-31 株式会社尼康 Digital camera
JP4317465B2 (en) 2004-02-13 2009-08-19 本田技研工業株式会社 Face identification device, face identification method, and face identification program
US20050248681A1 (en) 2004-05-07 2005-11-10 Nikon Corporation Digital camera
JP4429873B2 (en) * 2004-10-29 2010-03-10 パナソニック株式会社 Face image authentication apparatus and face image authentication method
JP4674471B2 (en) 2005-01-18 2011-04-20 株式会社ニコン Digital camera
US7835549B2 (en) 2005-03-07 2010-11-16 Fujifilm Corporation Learning method of face classification apparatus, face classification method, apparatus and program
JP2006244385A (en) * 2005-03-07 2006-09-14 Fuji Photo Film Co Ltd Face-discriminating apparatus, program and learning method for the apparatus
JP4324170B2 (en) 2005-03-17 2009-09-02 キヤノン株式会社 Imaging apparatus and display control method
US8488847B2 (en) 2005-11-25 2013-07-16 Nikon Corporation Electronic camera and image processing device
JP4756589B2 (en) * 2005-12-07 2011-08-24 ソニー株式会社 Image processing apparatus and method, program, and recording medium
JP4290164B2 (en) 2006-01-31 2009-07-01 キヤノン株式会社 Display method for displaying display showing identification area together with image, program executed by computer apparatus, and imaging apparatus
JP4810420B2 (en) 2006-02-24 2011-11-09 キヤノン株式会社 Image processing apparatus, image processing method, server, control method therefor, program, and storage medium
JP4725377B2 (en) 2006-03-15 2011-07-13 オムロン株式会社 Face image registration device, face image registration method, face image registration program, and recording medium
US7792355B2 (en) 2006-03-30 2010-09-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capturing apparatus
JP4811579B2 (en) * 2006-04-05 2011-11-09 大日本印刷株式会社 Device unauthorized use prevention system and method
JP4182117B2 (en) 2006-05-10 2008-11-19 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4110178B2 (en) 2006-07-03 2008-07-02 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4656657B2 (en) 2006-07-31 2011-03-23 キヤノン株式会社 Imaging apparatus and control method thereof
JP5091529B2 (en) * 2007-04-10 2012-12-05 株式会社東芝 Electronic device and recording control method
JP4999570B2 (en) 2007-06-18 2012-08-15 キヤノン株式会社 Facial expression recognition apparatus and method, and imaging apparatus
JP2009025874A (en) * 2007-07-17 2009-02-05 Nec Corp Face image registration device, face discrimination device, face image registration method, face identification method and face image registration program
JP5064947B2 (en) 2007-09-11 2012-10-31 キヤノン株式会社 Image processing apparatus and method, and imaging apparatus
CN104200145B (en) * 2007-09-24 2020-10-27 苹果公司 Embedded verification system in electronic device
JP5137622B2 (en) 2008-03-03 2013-02-06 キヤノン株式会社 Imaging apparatus and control method thereof, image processing apparatus and control method thereof
JP5171468B2 (en) 2008-08-06 2013-03-27 キヤノン株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5371083B2 (en) * 2008-09-16 2013-12-18 Kddi株式会社 Face identification feature value registration apparatus, face identification feature value registration method, face identification feature value registration program, and recording medium
JP5093178B2 (en) * 2009-04-06 2012-12-05 株式会社ニコン Electronic camera
JP2011044064A (en) 2009-08-24 2011-03-03 Nikon Corp Image processing device and image processing program
JP5480090B2 (en) * 2010-09-29 2014-04-23 株式会社エクシング Karaoke equipment
JP5017476B2 (en) * 2011-04-18 2012-09-05 株式会社東芝 Facial image processing apparatus, facial image processing method, and electronic still camera
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
JP5242827B2 (en) * 2012-04-18 2013-07-24 株式会社東芝 Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method
JP5981789B2 (en) 2012-07-09 2016-08-31 キヤノン株式会社 Image processing apparatus, image processing method, and program
US9679224B2 (en) * 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
JP6486098B2 (en) 2014-12-19 2019-03-20 キヤノン株式会社 Imaging apparatus and control method thereof
JP2017167366A (en) * 2016-03-16 2017-09-21 Kddi株式会社 Communication terminal, communication method, and program
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
JP2018205883A (en) 2017-05-31 2018-12-27 キヤノン株式会社 Image processing system and image processing method and program
KR20200136504A (en) 2017-09-09 2020-12-07 애플 인크. Implementation of biometric authentication
KR102143148B1 (en) 2017-09-09 2020-08-10 애플 인크. Implementation of biometric authentication
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055640B2 (en) 2012-07-09 2018-08-21 Canon Kabushiki Kaisha Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations

Also Published As

Publication number Publication date
JPH10232934A (en) 1998-09-02

Similar Documents

Publication Publication Date Title
US10216980B2 (en) Method and system for tagging an individual in a digital image
US10521643B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
Sim et al. Multimodal biometrics: Weighted score level fusion based on non-ideal iris and face images
Fathy et al. Face-based active authentication on mobile devices
CN104361276B (en) A kind of multi-modal biological characteristic identity identifying method and system
Bhatia Biometrics and face recognition techniques
Bolle et al. Guide to biometrics
Tian et al. KinWrite: Handwriting-Based Authentication Using Kinect.
US20190251571A1 (en) Transaction verification system
Sun et al. Improving iris recognition accuracy via cascaded classifiers
Fang et al. 3D facial expression recognition: A perspective on promises and challenges
Monwar et al. Multimodal biometric system using rank-level fusion approach
You et al. On hierarchical palmprint coding with multiple features for personal identification in large databases
Lin et al. Face recognition/detection by probabilistic decision-based neural network
Sung et al. Example-based learning for view-based human face detection
US8600174B2 (en) Method and system for attaching a metatag to a digital image
Lin et al. Triangle-based approach to the detection of human face
Moreno et al. On the use of outer ear images for personal identification in security applications
CA2414743C (en) System and method for automatically detecting neutral expressionless faces in digital images
Jain et al. A multimodal biometric system using fingerprint, face and speech
Liu et al. Face authentication for multiple subjects using eigenflow
US7412081B2 (en) Personal authentication apparatus and personal authentication method
US7212655B2 (en) Fingerprint verification system
US8600121B2 (en) Face recognition system and method
TWI278782B (en) Personal recognition apparatus

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees