WO2007108225A1 - 顔認識システム - Google Patents

顔認識システム Download PDF

Info

Publication number
WO2007108225A1
WO2007108225A1 PCT/JP2007/050802 JP2007050802W WO2007108225A1 WO 2007108225 A1 WO2007108225 A1 WO 2007108225A1 JP 2007050802 W JP2007050802 W JP 2007050802W WO 2007108225 A1 WO2007108225 A1 WO 2007108225A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
user
feature
recognition system
face recognition
Prior art date
Application number
PCT/JP2007/050802
Other languages
English (en)
French (fr)
Inventor
Makoto Masuda
Kagehiro Nagao
Original Assignee
Oki Electric Industry Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co., Ltd. filed Critical Oki Electric Industry Co., Ltd.
Priority to EP07707090A priority Critical patent/EP2026233A4/en
Priority to US12/225,423 priority patent/US8340366B2/en
Publication of WO2007108225A1 publication Critical patent/WO2007108225A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials

Definitions

  • the present invention relates to a face recognition system.
  • a building is used to prevent an unqualified person from operating a device such as a personal authentication device or an information processing device for preventing an unqualified person from entering a specific place in the building.
  • a device such as a personal authentication device or an information processing device for preventing an unqualified person from entering a specific place in the building.
  • Personal identification devices and personal identification devices for verifying identity in electronic commerce using the Internet use the biological characteristics of the individual without using a key or PIN.
  • a personal authentication device using a biometrics authentication system to be confirmed is provided (for example, see Patent Document 1) o
  • biometrics authentication system examples include systems that authenticate using fingerprints, systems that authenticate using voiceprints, systems that authenticate using facial features, and the like.
  • a face authentication system that is, a face recognition system
  • face recognition when face recognition is performed, facial feature amounts are extracted from face images, and the degree of similarity with a pre-registered feature amount is compared. Compared to be recognized.
  • the positions of both eyes and mouth are detected, and thereby face recognition is performed by a template matching process using the corrected template as a face feature amount.
  • the face image includes both eyes and mouth. If either eye detection or mouth detection fails, the face does not exist in the image. Judgment is made and a warning is issued!
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-163600
  • the present invention solves the problems of the conventional face recognition system and includes a feature quantity selection unit that selects a face part to be extracted, and performs face recognition.
  • the user can select the part of the face from which features are to be extracted, and emphasizes the features of the selected part even when wearing a mask or eye patch or when the hairstyle changes.
  • an image input unit that acquires a user's face image, a database that stores feature amounts of facial parts of a registered person, and the user's face image
  • a face position detection unit for detecting the position of the face part from the image
  • a feature amount extraction unit for extracting a feature quantity of the face part, a feature quantity of the face part extracted by the feature quantity extraction unit, and the database
  • a recognition unit for recognizing the user by comparing the feature quantity of the facial part of the registered person stored in the database, wherein the user identifies the facial part from which the feature quantity is extracted. select.
  • the face position detecting unit detects only the position of the face part selected by the user.
  • the face recognition system further includes a feature amount selection unit that selects a face portion that is operated by the user to extract a feature amount.
  • an image input unit that acquires a user's face image, a database that stores a feature amount of a facial part of a registered person, and the user's face image are used.
  • a face position detection unit that detects the position of a face part, a feature amount extraction part that extracts a feature quantity of the face part, a feature quantity of the face part extracted by the feature quantity extraction unit, and the database is stored in the database
  • the registered user's facial feature amount is compared to recognize the user.
  • a facial recognition system having a recognition unit for recognizing a facial part from which a feature amount is extracted automatically according to the state of the user.
  • the user state detection further selects a face part from which a feature amount is extracted by matching the user's face image with a registered template. Part.
  • the face recognition system includes a feature amount selection unit that selects a face portion from which a feature amount is to be extracted. Therefore, the user who performs face recognition can select the part of the face for which the feature value is to be extracted by himself / herself, even when wearing a mask or eye patch, or when the hairstyle is changed. Facial recognition can be performed appropriately by reducing the feature values of other parts with emphasis on the feature values of the selected parts.
  • FIG. 1 is a diagram showing a configuration of a face recognition system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a feature amount selection screen in the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing the operation of face position detection processing in the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an operation of feature quantity extraction processing in the first exemplary embodiment of the present invention.
  • FIG. 5 is a diagram showing a configuration of a face recognition system according to a second embodiment of the present invention.
  • FIG. 1 is a diagram showing a configuration of a face recognition system according to the first embodiment of the present invention.
  • reference numeral 10 denotes a face recognition system that performs face recognition by acquiring a face image of the user 19 taken by the camera 21, and is a kind of computer system that operates according to a program.
  • the face recognition system 10 is a system that is used for personal authentication of the user 19 based on the facial appearance, which is one of the biological characteristics of the user 19, and is used in various applications. Also good. For example, a specific building such as a condominium, a factory, or an office is used to verify the identity of the user when entering a specific place in the building. Ma It can also be used to verify the identity of the person who owns the ticket at check-in at the airport.
  • financial institutions such as banks, post offices, credit unions, etc.
  • automatic transaction devices such as ATMs (Automatic Teller Machines) to perform financial transactions. It can also be used to verify your identity when you It can also be used to verify identity in electronic commerce using the Internet.
  • the user 19 may be a specific building such as a condominium, a factory, an office, a resident, an employee, or the like in a specific location within the building, or may check in at an airfield. It may be a traveler, a customer who requests financial transactions at a sales office of a financial institution, or operates a financial transaction by operating an automatic transaction device, or uses the Internet. A person who conducts electronic commerce, or a person who verifies the identity using the face recognition system 10 may be V.
  • the camera 21 includes an imaging element such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS), an optical lens, a communication interface, and the like.
  • CMOS complementary metal oxide semiconductor
  • a digital still camera that shoots still images or a digital video camera that shoots moving images can be used as long as it can be connected and can output the captured images in the form of electronic data. It may be in any form.
  • the camera 21 may be, for example, a specific building or a monitoring camera disposed at an entrance of a specific place in the building, or may be a built-in camera built in an automatic transaction apparatus.
  • It can also be a camera connected to a personal computer, etc., or it can be built into a notebook personal computer, PDA (Personal Digital Assistant), electronic notebook, mobile phone, PHS (Personal Handy-Phone System) phone, etc. It may be a camera.
  • PDA Personal Digital Assistant
  • electronic notebook mobile phone
  • PHS Personal Handy-Phone System
  • the face recognition system 10 acquires a face image for each frame from the feature amount selection unit 11 and the camera 21 for selecting a facial part from which a facial feature amount used for face recognition is extracted.
  • a feature quantity extraction unit 14 that extracts feature quantities of parts such as eyes and mouth
  • a database 15 that stores the facial features of registered persons registered first, the feature quantities of each registered person stored in the database 15, and the feature quantities extracted by the feature quantity extraction unit 14
  • a recognition unit 16 that recognizes a person in the image, and a recognition result output unit 17 that outputs a recognition result of the recognition unit 16.
  • the parts of the face from which features used for facial recognition are extracted are the eyes, mouth, ears, nose, etc., but those that can be identified using biological features.
  • it may be a part of the face.
  • it demonstrates as the said part being eyes and a mouth.
  • the feature quantity selection unit 11 is a means for the user 19 to select a face part from which a feature quantity is to be extracted according to the situation. For example, the user 19 puts a mask on If it is, the feature amount of the eye is emphasized. If not, that is, if the mask is not put on, the feature amount of the eye and mouth can be selected to be used.
  • the image input unit 12 is connected to a camera 21 as a photographing unit for photographing a face image of the user 19 so as to be communicable via a wired or wireless network, and is used from the camera 21.
  • Acquire face image of person 19 The face image is preferably digital image data.
  • the network may be a communication cable such as a USB (Universal Serial Bus) cable, or a communication line network such as a telephone line network, the Internet, a LAN (Local Area Network), or a WAN (Wide Area Network). May be.
  • the recognition result output unit 17 is communicably connected to the speaker 22 and the monitor 23 via a wired or wireless network, and a message for outputting the recognition result to the speaker 22 or the monitor 23.
  • the speaker 22 may have any form, and may be disposed at any place.
  • a specific building may be a force such as an interphone disposed at an entrance of a specific place in the building, or may be a built-in speaker built in an automatic transaction apparatus. It may be a speaker connected to a personal computer or the like, or a speaker built in a notebook personal computer, PDA, electronic notebook, mobile phone, PHS phone, or the like.
  • the monitor 23 includes a CRT, a liquid crystal display, and an LED (Light Emitting Diode). ) It is provided with display means such as a display, and may be in any form, and may be disposed in any place.
  • display means such as a display, and may be in any form, and may be disposed in any place.
  • a specific building may be a monitor arranged at the entrance of a specific place in the building, or it may be a display means of an automatic transaction apparatus, and is connected to a personal computer or the like. Even a monitor!
  • It may be a monitor provided in a notebook personal computer, PDA, electronic notebook, mobile phone, PHS phone, etc.
  • the network may be a communication cable such as a USB cable, or may be a communication line network such as a telephone line network, the Internet, a LAN, or a WAN.
  • a communication cable such as a USB cable
  • a communication line network such as a telephone line network, the Internet, a LAN, or a WAN.
  • the face recognition system 10 is incorporated in any kind of computer as long as it has arithmetic means such as a CPU and MPU, storage means such as a magnetic disk and a semiconductor memory, and an input / output interface.
  • arithmetic means such as a CPU and MPU
  • storage means such as a magnetic disk and a semiconductor memory
  • an input / output interface For example, it may be incorporated in a personal computer, may be incorporated in a server, or a computer network in which a plurality of computers are connected by a network. Even if it was built in.
  • FIG. 2 is a diagram showing an example of a feature amount selection screen in the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing an operation of face position detection processing in the first embodiment of the present invention.
  • 4 is a flowchart showing the operation of the feature amount extraction processing in the first embodiment of the present invention.
  • the user 19 uses the feature quantity selection unit 11 to select the face part from which the feature quantity is to be extracted, that is, which part of the face is important as the face feature quantity.
  • the face recognition system 10 displays a feature amount selection screen as shown in FIG. 2 on the monitor 23, and allows the user 19 to select whether or not the mask is applied. If it is selected that the mask is applied, it is assumed that the use of the eye feature is selected as the face feature. If it is selected that no mask is applied, it is assumed that the use of eye and mouth feature values is selected.
  • the user 19 can also be selected in the same manner as to whether or not the eye patch is worn.
  • the mouth feature value is used as the face feature value. It is assumed that the use of is selected. In addition, when it is selected that the eye patch is not worn, it is assumed that the use of eye and mouth feature values is selected. Further, similarly, the user 19 can select whether or not the hairstyle has changed greatly.
  • the image input unit 12 acquires the face image of the user 19 captured by the camera 21 for each frame.
  • the face position detection unit 13 detects the position of each part of the face from the face image acquired by the image input unit 12. In this case, only the position of the part selected by the feature quantity selection unit 11 is detected. For example, when using the feature amount for each of the eyes and the mouth, the respective positions are detected in order. First, it is determined whether or not the use of eye feature is selected, and when it is selected, the position of the eye is detected. If it is not selected, the eye position is not detected. Subsequently, it is determined whether or not the use of the mouth feature is selected, and if it is selected, the position of the mouth is detected. If it is not selected, the mouth position is not detected.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2003-281539
  • the feature quantity extraction unit 14 extracts feature quantities used for face recognition.
  • the feature quantity is extracted only for the part selected by the feature quantity selection unit 11.
  • feature quantities are extracted for selected eyes or mouths.
  • a feature quantity used for face recognition for example, a method of filtering the eyes, nose, and mouth using several types of Gabor filters is known (for example, see Non-Patent Document 1). The explanation is omitted.
  • Non-Patent Document 1 “Face recognition by Gabor transformation using automatic feature point extraction” Yoshida, Kure, Shioyama, IEICE Technical Report PRMU2001—202
  • the database 15 stores facial features of one or more registered persons, and all parts of the face (for example, eyes, mouth, ears, nose, etc.) from which the facial image power of each registered person is also extracted. The feature amount is saved.
  • the recognition unit 16 uses the feature amount extracted by the feature amount extraction unit 14 from the face image of the user 19 and the facial feature amount of the registered person stored in the database 15. Compare and perform face recognition. In this case, the recognition unit 16 compares the feature amount extracted from the face image of the user 19 with the feature amount of the registered person with respect to the part (for example, the eyes or the mouth) selected by the feature amount selection unit 11. The recognition score is calculated.
  • a non-turn matching method for calculating the recognition score for example, a method using a normal cross-correlation (for example, see Non-Patent Document 2) is known. Description is omitted.
  • the recognition score is calculated for the feature amount of each registered person.
  • the recognition unit 16 determines that the corresponding registered person is the user 19. That is, the user 19 is the same person as the registered person, and determines that the face recognition is successful. In other cases, the recognizing unit 16 determines that face recognition has failed.
  • the recognition result output unit 17 outputs the recognition result of the recognition unit 16, that is, whether the user 19 has succeeded or failed in the face recognition, by voice or image from the speaker 22 and the monitor 23. To do. As a result, the recognition result is transmitted to the user 19.
  • Step S1 It is determined whether or not the use of the feature amount of the eye is selected. If the use of the eye feature is selected, the process proceeds to step S2, and if the use of the eye feature is selected, the process proceeds to step S3.
  • Step S2 Detect the eye position.
  • Step S3 It is determined whether or not the use of the mouth feature is selected. If the use of the mouth feature value is selected, the process proceeds to step S4. If the use of the mouth feature value is selected, the process ends.
  • Step S4 The position of the mouth is detected and the process is terminated.
  • Step S11 It is determined whether or not the use of the feature amount of the eye is selected. Eye features If the use of the quantity is selected, the process proceeds to step SI2, and if the use of the feature quantity of the eye is selected, the process proceeds to step S13.
  • Step S12 Extract feature value of eye.
  • Step S13 It is determined whether or not the use of the mouth feature is selected. If the use of the mouth feature is selected, the process proceeds to step S14. If the use of the mouth feature is selected, the process ends.
  • Step S14 Extract the mouth feature and finish the process.
  • the user 19 intentionally sets the feature amount by selecting which part of the face is important as the facial feature amount according to his / her state. Can be done. Accordingly, the face recognition of the user 19 can be appropriately performed even in a state where a mask is put on, a state where an eyepatch is worn, a state where the hairstyle changes greatly from the time of registration, and the like. Therefore, it is not necessary to remove the mask or eyepatch at the time of authentication, and the burden on the user 19 can be reduced.
  • FIG. 5 is a diagram showing a configuration of a face recognition system according to the second embodiment of the present invention.
  • the face recognition system 10 includes an image input unit 12, a face position detection unit 13, a feature amount extraction unit 14, a database 15, a recognition unit 16, and a recognition result output unit 17. And a user state detector 18.
  • the feature quantity selection unit 11 is omitted.
  • the user state detection unit 18 detects the state of the user 19 based on the result detected by the face position detection unit 13, for example, whether or not the user 19 is wearing a mask. Determine whether.
  • the configuration of other points is the same as that of the first embodiment, and a description thereof will be omitted.
  • the image input unit 12 acquires a face image of the user 19 captured by the camera 21 for each frame. Subsequently, the face position detection unit 13 detects the position of each part of the face from the face image acquired by the image input unit 12.
  • the user state detection unit 18 detects the state of the user 19 by using the position information of each part of the face detected by the face position detection unit 13. For example, the position of the mouth is estimated from the position of the eyes, and the vicinity of the estimated position of the mouth is preliminarily matched with the mouth template registered as registration data. When the cross-correlation value between the estimated mouth position and the mouth template is equal to or less than a predetermined threshold, the user state detection unit 18 determines that the mouth is visible due to the influence of the mask, and Select so that the mouth features are not used for face recognition.
  • the user state detection unit 18 similarly matches, for example, the estimated vicinity of the eye position with an eye template registered as bullying registration data. If the cross-correlation value between the estimated eye position and the eye template is equal to or smaller than the predetermined threshold, the user state detection unit 18 determines that the eye is not visible due to the effect of the eyepatch or the hairstyle, and the eye The feature amount is selected not to be used for face recognition.
  • the feature quantity extraction unit 14 extracts feature quantities used for face recognition. At this time, the feature quantity is extracted only for the part selected by the user state detection unit 18.
  • the recognizing unit 16 uses the feature amount extracted from the face image of the user 19 by the feature amount extracting unit 14 and the facial feature amount of the registered person stored in the database 15. Compare and perform face recognition.
  • the recognition result output unit 17 outputs the recognition result of the recognition unit 16, that is, whether the user 19 has succeeded or failed in the face recognition, by voice or image from the speaker 22 and the monitor 23. To do. As a result, the recognition result is transmitted to the user 19.
  • the face recognition of the user 19 can be appropriately performed even in a state where a mask is put on, a state where an eyepatch is worn, a state where the hairstyle changes greatly from the time of registration, and the like. Therefore, it is not necessary to remove the mask or eye patch at the time of authentication, and the burden on the user 19 can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができるようにする。 　利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者が選択する。

Description

明 細 書
顔認識システム
技術分野
[0001] 本発明は、顔認識システムに関するものである。
背景技術
[0002] 従来、建物ゃ該建物内の特定の場所に無資格者が進入することを防止するための 個人認証装置、情報処理装置等の装置を無資格者が操作することを防止するため の個人認証装置、インターネットを利用した電子商取引において本人確認を行うため の個人認証装置等においては、鍵 (かぎ)や暗証番号を使用することなぐ本人の生 物学的な特徴を利用して本人を確認するバイオメトリタス認証システムを利用した個 人認証装置が提供されている (例えば、特許文献 1参照。 ) o
[0003] そして、該バイオメトリタス認証システムを利用した個人認証装置にぉ 、ては、指紋 によって認証するシステム、声紋によって認証するシステム、顔貌（ぼう）によって認証 するシステム等が利用されて 、る。
[0004] 顔貌によって認証するシステム、すなわち、顔認識システムにお ヽては、顔認識を 行う際に、顔画像から顔の特徴量を抽出し、事前に登録した特徴量との類似度を比 較して認識するようになっている。この場合、両目及び口の位置を検出し、それにより 、修正されたテンプレートを顔の特徴量とするテンプレートマッチング処理によって顔 認識を行う。この際、顔画像としては、両目及び口が含まれていることが前提条件で あり、両目の検出又は口の検出のいずれかに失敗した場合には、画像中に顔が存 在しな 、と判断して警告を出すようになって!/、る。
特許文献 1 :特開 2000— 163600号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、前記従来の顔認識システムにおいては、利用者がマスクを掛けてい ると、口を検出することができないので、適切に顔認識を行うことができなくなってしま う。例えば、冬季のように感冒が流行する時季や、春先のように花粉症が流行する時 季には、利用者がマスクを掛けている場合が多い。このような場合、従来の顔認識シ ステムを利用した個人認証装置では、口の特徴量がマスクの影響で大きく変わってし まうので、顔認識システムがマスクを掛けている顔を適切に認識をすることができず、 利用者の本人確認に失敗してしまう。そのため、利用者は、認証時にマスクを外した りしなければならず、手間がかかり、煩わしく感じてしまう。
[0006] 本発明は、前記従来の顔認識システムの問題点を解決して、特徴量を抽出する対 象となる顔の部位を選択する特徴量選択部を有することによって、顔認識を行う利用 者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼 帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を 重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができ る顔認識システムを提供することを目的とする。
課題を解決するための手段
[0007] そのために、本発明の顔認識システムにおいては、利用者の顔画像を取得する画 像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者 の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽 出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記デ ータベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を 認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を 前記利用者が選択する。
[0008] 本発明の他の顔認識システムにおいては、さらに、前記顔位置検出部は、前記利 用者が選択した顔の部位の位置のみを検出する。
[0009] 本発明の更に他の顔認識システムにおいては、さらに、前記利用者が操作して特 徴量を抽出する顔の部位を選択する特徴量選択部を有する。
[0010] 本発明の更に他の顔認識システムにおいては、利用者の顔画像を取得する画像 入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の 顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出 する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データ ベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認 識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前 記利用者の状態に合わせて自動的に選択する。
[0011] 本発明の更に他の顔認識システムにおいては、さらに、前記利用者の顔画像を登 録されたテンプレートとマッチングさせることによって、特徴量を抽出する顔の部位を 選択する利用者状態検出部を有する。
発明の効果
[0012] 本発明によれば、顔認識システムにおいては、特徴量を抽出する対象となる顔の 部位を選択する特徴量選択部を有する。そのため、顔認識を行う利用者が特徴量を 抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けて 、 たり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の 部位の特徴量を軽減することによって、適切に顔認識を行うことができる。
図面の簡単な説明
[0013] [図 1]本発明の第 1の実施の形態における顔認識システムの構成を示す図である。
[図 2]本発明の第 1の実施の形態における特徴量選択画面の例を示す図である。
[図 3]本発明の第 1の実施の形態における顔位置検出処理の動作を示すフローチヤ ートである。
[図 4]本発明の第 1の実施の形態における特徴量抽出処理の動作を示すフローチヤ ートである。
[図 5]本発明の第 2の実施の形態における顔認識システムの構成を示す図である。 発明を実施するための最良の形態
[0014] 以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
[0015] 図 1は本発明の第 1の実施の形態における顔認識システムの構成を示す図である。
[0016] 図において、 10はカメラ 21によって撮影した利用者 19の顔画像を取得して顔認識 を行う顔認識システムであり、プログラムに従って動作を行う一種のコンピュータシス テムである。前記顔認識システム 10は、利用者 19の生物学的な特徴の一つである 顔貌によって、前記利用者 19の個人認証を行うために使用されるシステムであり、い 力なる用途において使用されてもよい。例えば、マンション、工場、事務所等の特定 の該建物ゃ該建物内の特定の場所に入る際に本人確認を行うために利用される。ま た、飛行場におけるチェックイン等の際に航空券を所持する者の本人確認を行うため に使用することもできる。さらに、銀行、郵便局、信用金庫等の金融機関の営業店の 窓口において金融取引を依頼したり、 ATM (Automatic Teller Machine :現金 自動預払機)等の自動取引装置を操作して金融取引を行ったりする際の本人確認を 行うために使用することもできる。さらに、インターネットを利用した電子商取引におい て本人確認を行うために使用することもできる。
[0017] そして、前記利用者 19は、マンション、工場、事務所等の特定の建物ゃ該建物内 の特定の場所の住人、従業者等であってもよいし、飛行場においてチェックイン等を 行う旅行者であってもよいし、金融機関の営業店の窓口において金融取引を依頼し たり、自動取引装置を操作して金融取引を行ったりする顧客であってもよいし、インタ 一ネットを利用した電子商取引を行う者であってもよいし、前記顔認識システム 10を 使用して本人確認を行う者であれば、 V、かなる者であってもよ 、。
[0018] また、前記カメラ 21は、 CCD (Charge Coupled Device：電荷結合素子）、 CM OS (Complementary Metal Oxide Semiconductor)等の撮像素子、光学レ ンズ、通信インターフェイス等を備え、前記顔認識システム 10に接続可能で、撮影し た画像を電子データの形態で出力することができるものであれば、静止画を撮影す るデジタルスチルカメラであってもよ 、し、動画を撮影するデジタルビデオカメラであ つてもよいし、いかなる形態のものであってもよい。前記カメラ 21は、例えば、特定の 建物ゃ該建物内の特定の場所の入口に配設された監視カメラであってもよいし、自 動取引装置に内蔵された内蔵型カメラであってもよいし、パーソナルコンピュータ等 に接続されたカメラであってもよいし、ノートブック型パーソナルコンピュータ、 PDA ( Personal Digital Assistant)、電子手帳、携帯電話機、 PHS (Personal Hand y - Phone System)電話機等に内蔵されたカメラであつてもよい。
[0019] そして、前記顔認識システム 10は、顔認識に用いる顔の特徴量を抽出する対象と なる顔の部位を選択する特徴量選択部 11、カメラ 21から 1フレーム毎の顔画像を取 得する画像入力部 12、該画像入力部 12によって取得された画像中から利用者 19 の顔の部位、例えば、目、口等の位置を検出する顔位置検出部 13、顔認識に用い る顔の特徴量として、目、口等の部位の特徴量を抽出する特徴量抽出部 14、あらか じめ登録された登録人物の顔の特徴量が保存されているデータベース 15、該データ ベース 15に保存されている各登録人物の特徴量と、前記特徴量抽出部 14で抽出さ れた特徴量とを比較し、前記画像中の人物を認識する認識部 16、及び、該認識部 1 6の認識結果を出力する認識結果出力部 17を有する。なお、顔認識に用いる特徴 量を抽出する対象となる顔の部位は、目、口、耳、鼻等であるが、生物学的な特徴を 利用して本人を確認することができるものであれば、顔の 、かなる部位であってもよ い。ここでは、前記部位が目及び口であるものとして説明する。
[0020] ここで、前記特徴量選択部 11は、特徴量を抽出する対象となる顔の部位を利用者 19が状況に応じて選択する手段であり、例えば、利用者 19がマスクを掛けている場 合には目の特徴量を重視し、そうではない場合、すなわち、マスクを掛けていない場 合には目及び口の特徴量を利用するように選択することができる。
[0021] また、前記画像入力部 12は、利用者 19の顔画像を撮影するための撮影手段として のカメラ 21と、有線又は無線のネットワークを介して通信可能に接続され、前記カメラ 21から利用者 19の顔画像を取得する。なお、該顔画像はデジタルの画像データで あることが望ましい。また、前記ネットワークは、 USB (Universal Serial Bus)ケー ブル等の通信ケーブルであってもよいし、電話回線網、インターネット、 LAN (Local Area Network)、 WAN (Wide Area Network)等の通信回線網であってもよ い。
[0022] さらに、前記認識結果出力部 17は、スピーカ 22及びモニタ 23と有線又は無線のネ ットワークを介して通信可能に接続され、認識結果を前記スピーカ 22又はモニタ 23 に出力するためのメッセージや画像を作成する。ここで、前記スピーカ 22は、いかな る形態のものであってもよいし、いかなる場所に配設されたものであってもよい。例え ば、特定の建物ゃ該建物内の特定の場所の入口に配設されたインターホン等のスピ 一力であってもよいし、自動取引装置に内蔵された内蔵型スピーカであってもよいし 、パーソナルコンピュータ等に接続されたスピーカであってもよいし、ノートブック型パ 一ソナルコンピュータ、 PDA,電子手帳、携帯電話機、 PHS電話機等に内蔵された スピーカであってもよい。
[0023] また、前記モニタ 23は、 CRT、液晶ディスプレイ、 LED (Light Emitting Diode )ディスプレイ等の表示手段を備えるものであり、いかなる形態のものであってもよい し、いかなる場所に配設されたものであってもよい。例えば、特定の建物ゃ該建物内 の特定の場所の入口に配設されたモニタであってもよいし、自動取引装置の表示手 段であってもよ 、し、パーソナルコンピュータ等に接続されたモニタであってもよ!/、し
、ノートブック型パーソナルコンピュータ、 PDA,電子手帳、携帯電話機、 PHS電話 機等が備えるモニタであってもよ 、。
[0024] さらに、前記ネットワークは、 USBケーブル等の通信ケーブルであってもよいし、電 話回線網、インターネット、 LAN, WAN等の通信回線網であってもよい。
[0025] また、前記顔認識システム 10は、 CPU, MPU等の演算手段、磁気ディスク、半導 体メモリ等の記憶手段、入出力インターフェイス等を備えるものであれば、いかなる種 類のコンピュータに組み込まれたものであってもよぐ例えば、パーソナルコンビユー タに組み込まれたものであってよいし、サーバに組み込まれたものであってもよいし、 複数台のコンピュータをネットワークによって接続したコンピュータネットワークに組み 込まれたものであってもよ 、。
[0026] 次に、前記構成の顔認識システム 10の動作について説明する。
[0027] 図 2は本発明の第 1の実施の形態における特徴量選択画面の例を示す図、図 3は 本発明の第 1の実施の形態における顔位置検出処理の動作を示すフローチャート、 図 4は本発明の第 1の実施の形態における特徴量抽出処理の動作を示すフローチヤ ートである。
[0028] まず、利用者 19は、特徴量選択部 11によって、特徴量を抽出する対象となる顔の 部位をどこにするか、すなわち、顔の特徴量として顔のどの部位を重視するかを選択 する。この場合、顔認識システム 10は、例えば、図 2に示されるような特徴量選択画 面をモニタ 23に表示させ、マスクを掛けている力否かを利用者 19に選択させる。そし て、マスクを掛けていることが選択された場合には、顔の特徴量として目の特徴量を 利用することが選択されたものとする。また、マスクを掛けていないことが選択された 場合には、 目と口の特徴量を利用することが選択されたものとする。
[0029] なお、同様にして、眼帯を着けている力否かを利用者 19に選択させることもできる。
そして、眼帯を着けていることが選択された場合には、顔の特徴量として口の特徴量 を利用することが選択されたものとする。また、眼帯を着けていないことが選択された 場合には、目と口の特徴量を利用することが選択されたものとする。さらに、同様にし て、髪型が大きく変化したか否かを利用者 19に選択させることもできる。
[0030] 続いて、画像入力部 12は、カメラ 21が撮影した利用者 19の顔画像を 1フレーム毎 に取得する。
[0031] 続いて、顔位置検出部 13は、前記画像入力部 12が取得した顔画像から、顔の各 部位の位置を検出する。この場合、特徴量選択部 11によって選択された部位の位置 のみを検出する。例えば、目及び口のそれぞれに対して、特徴量を利用する場合に はそれぞれの位置を順に検出する。まず、目の特徴量を利用することが選択された か否かを判断し、選択された場合には目の位置を検出する。また、選択されていない 場合には目の位置を検出しない。続いて、口の特徴量を利用することが選択された か否かを判断し、選択された場合には口の位置を検出する。また、選択されていない 場合には口の位置を検出しない。
[0032] なお、顔の各部位を検出する方法としては、例えば、肌色で顔の大まかな位置を求 めた後、低周波フィルタによるフィルタリング結果の射影ヒストグラム及びテンプレート マッチングによって各部位の位置を求める方法力 顔部品探索方法として知られて いる（例えば、特許文献 2参照。）ので、ここでは、説明を省略する。
[0033] [特許文献 2]特開 2003— 281539号公報
続いて、特徴量抽出部 14は、顔認識に用いる特徴量を抽出する。この際、特徴量 選択部 11によって選択された部位のみを対象として特徴量を抽出する。例えば、選 択された目又は口を対象として、特徴量を抽出する。顔認識に用いる特徴量としては 、例えば、目、鼻、口に対して数種類のガボールフィルタを使用してフィルタリングす る方法が知られている (例えば、非特許文献 1参照。）ので、ここでは、説明を省略す る。
[0034] [非特許文献 1]「特徴点自動抽出を用いたガボール変換による顔認識」吉田、呉 、塩山、電子情報通信学会技術研究報告 PRMU2001— 202
なお、データベース 15には、 1人以上の登録人物の顔の特徴量が保存されており 、各登録人物の顔画像力も抽出した顔のすべての部位 (例えば、目、口、耳、鼻等） の特徴量が保存されて 、る。
[0035] 続いて、認識部 16は、前記特徴量抽出部 14が利用者 19の顔画像カゝら抽出した特 徴量と、データベース 15に保存されている登録人物の顔の特徴量とを比較して、顔 認識を行う。この場合、前記認識部 16は、特徴量選択部 11によって選択された部位 (例えば、目又は口）に関して、利用者 19の顔画像から抽出した特徴量と、登録人物 の特徴量とを比較し、認識スコアを算出する。なお、該認識スコアを算出する場合の ノターンマッチング方法としては、例えば、正規ィ匕した相互相関（例えば、非特許文 献 2参照。）を使用する方法が知られているので、ここでは、説明を省略する。
[0036] [非特許文献 2]「画像の処理と認識」安居院、長尾
ここで、前記認識スコアは各登録人物の特徴量に対して算出される。そして、前記 認識スコアが最大で、かつ、所定閾（しきい)値を超える場合、前記認識部 16は、該 当する登録人物が前記利用者 19であると判断する。すなわち、該利用者 19は、前 記登録人物と同一人物であり、顔認識に成功したと判断する。また、それ以外の場合 、前記認識部 16は、顔認識に失敗したと判断する。
[0037] そして、認識結果出力部 17は、前記認識部 16の認識結果、すなわち、利用者 19 の顔認識に成功したか又は失敗したかを、スピーカ 22及びモニタ 23から、音声又は 画像によって出力する。これにより、認識結果が利用者 19に伝えられる。
[0038] 次に、図 3に示されるフローチャートについて説明する。
ステップ S1 目の特徴量を利用することが選択されたカゝ否かを判断する。目の特徴 量を利用することが選択された場合はステップ S2に進み、目の特徴量を利用するこ とが選択されて 、な 、場合はステップ S3に進む。
ステップ S2 目の位置を検出する。
ステップ S3 口の特徴量を利用することが選択されたカゝ否かを判断する。口の特徴 量を利用することが選択された場合はステップ S4に進み、口の特徴量を利用するこ とが選択されて ヽな ヽ場合は処理を終了する。
ステップ S4 口の位置を検出して、処理を終了する。
[0039] 次に、図 4に示されるフローチャートについて説明する。
ステップ S11 目の特徴量を利用することが選択されたカゝ否かを判断する。目の特徴 量を利用することが選択された場合はステップ SI 2に進み、目の特徴量を利用するこ とが選択されて 、な 、場合はステップ S 13に進む。
ステップ S12 目の特徴量を抽出する。
ステップ S13 口の特徴量を利用することが選択されたカゝ否かを判断する。口の特徴 量を利用することが選択された場合はステップ S 14に進み、口の特徴量を利用するこ とが選択されて ヽな ヽ場合は処理を終了する。
ステップ S14 口の特徴量を抽出して、処理を終了する。
[0040] このように、本実施の形態においては、利用者 19が自分の状態に合わせて、顔の 特徴量として顔のどの部位を重視するかを選択して、特徴量の設定を意図的に行う ことができる。これにより、マスクを掛けた状態、眼帯を着けている状態、髪型が登録 時と大きく変化した状態等でも利用者 19の顔認識を適切に行うことができる。そのた め、認証時にマスクや眼帯を取り外すことが不要となり、利用者 19の負担を軽減させ ることがでさる。
[0041] 次に、本発明の第 2の実施の形態について説明する。なお、第 1の実施の形態と同 じ構造を有するものについては、同じ符号を付与することによってその説明を省略す る。また、前記第 1の実施の形態と同じ動作及び同じ効果についても、その説明を省 略する。
[0042] 図 5は本発明の第 2の実施の形態における顔認識システムの構成を示す図である。
[0043] 図に示されるように、本実施の形態における顔認識システム 10は、画像入力部 12 、顔位置検出部 13、特徴量抽出部 14、データベース 15、認識部 16、認識結果出力 部 17及び利用者状態検出部 18を有する。なお、特徴量選択部 11は省略されている 。そして、前記利用者状態検出部 18は、顔位置検出部 13によって検出された結果 に基づいて利用者 19の状態を検出するものであり、例えば、利用者 19がマスクを掛 けている力否かを判断する。なお、その他の点の構成については、前記第 1の実施 の形態と同様であるので説明を省略する。
[0044] 次に、本実施の形態における顔認識システム 10の動作について説明する。
[0045] まず、画像入力部 12は、カメラ 21が撮影した利用者 19の顔画像を 1フレーム毎に 取得する。 [0046] 続いて、顔位置検出部 13は、前記画像入力部 12が取得した顔画像から、顔の各 部位の位置を検出する。
[0047] 続いて、利用者状態検出部 18は、前記顔位置検出部 13が検出した顔の各部位の 位置情報を利用して、前記利用者 19の状態を検出する。例えば、目の位置から口の 位置を推定し、推定した口の位置付近を、あら力じめ登録データとして登録されてい る口のテンプレートとマッチングさせる。そして、推定した口の位置付近と口のテンプ レートとの相互相関値が所定閾値以下の場合、前記利用者状態検出部 18は、マス クの影響によって口が見えて 、な 、と判断し、口の特徴量を顔認識に利用しな 、よう に選択する。
[0048] また、前記利用者状態検出部 18は、同様に、例えば、推定した目の位置付近を、 あら力じめ登録データとして登録されている目のテンプレートとマッチングさせる。そし て、推定した目の位置付近と目のテンプレートとの相互相関値が所定閾値以下の場 合、利用者状態検出部 18は、眼帯や髪型の影響によって目が見えていないと判断 し、目の特徴量を顔認識に利用しないように選択する。
[0049] 続いて、特徴量抽出部 14は、顔認識に用いる特徴量を抽出する。この際、前記利 用者状態検出部 18によって選択された部位のみを対象として特徴量を抽出する。
[0050] 続いて、認識部 16は、前記特徴量抽出部 14が利用者 19の顔画像カゝら抽出した特 徴量と、データベース 15に保存されている登録人物の顔の特徴量とを比較して、顔 認識を行う。
[0051] そして、認識結果出力部 17は、前記認識部 16の認識結果、すなわち、利用者 19 の顔認識に成功したか又は失敗したかを、スピーカ 22及びモニタ 23から、音声又は 画像によって出力する。これにより、認識結果が利用者 19に伝えられる。
[0052] このように、本実施の形態においては、利用者 19の状態に合わせて、顔の特徴量 として顔のどの部位を重視するかを自動的に選択するようになっている。これにより、 マスクを掛けた状態、眼帯を着けている状態、髪型が登録時と大きく変化した状態等 でも利用者 19の顔認識を適切に行うことができる。そのため、認証時にマスクや眼帯 を取り外すことが不要となり、利用者 19の負担を軽減させることができる。
[0053] なお、本発明は前記実施の形態に限定されるものではなぐ本発明の趣旨に基づ いて種々変形させることが可能であり、それらを本発明の範囲力 排除するものでは ない。
符号の説明
10 顔認識システム
11 特徴量選択部
12 画像入力部
13 顔位置検出部
14 特徴量抽出部
15 データベース
16 認識部
18 利用者状態検出部
19 利用者

Claims

請求の範囲
[1] (a)利用者の顔画像を取得する画像入力部と、
(b)登録人物の顔の部位の特徴量を保存したデータベースと、
(c)前記利用者の顔画像力 顔の部位の位置を検出する顔位置検出部と、
(d)顔の部位の特徴量を抽出する特徴量抽出部と、
(e)該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存され た登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有 する顔認識システムであって、
(f)特徴量を抽出する顔の部位を前記利用者が選択する顔認識システム。
[2] 前記顔位置検出部は、前記利用者が選択した顔の部位の位置のみを検出する請 求項 1に記載の顔認識システム。
[3] 前記利用者が操作して特徴量を抽出する顔の部位を選択する特徴量選択部を有 する請求項 1に記載の顔認識システム。
[4] (a)利用者の顔画像を取得する画像入力部と、
(b)登録人物の顔の部位の特徴量を保存したデータベースと、
(c)前記利用者の顔画像力 顔の部位の位置を検出する顔位置検出部と、
(d)顔の部位の特徴量を抽出する特徴量抽出部と、
(e)該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存され た登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有 する顔認識システムであって、
(f)特徴量を抽出する顔の部位を前記利用者の状態に合わせて自動的に選択する 顔認識システム。
[5] 前記利用者の顔画像を登録されたテンプレートとマッチングさせることによって、特 徴量を抽出する顔の部位を選択する利用者状態検出部を有する請求項 4に記載の 顔認識システム。
PCT/JP2007/050802 2006-03-23 2007-01-19 顔認識システム WO2007108225A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07707090A EP2026233A4 (en) 2006-03-23 2007-01-19 FACE RECOGNITION SYSTEM
US12/225,423 US8340366B2 (en) 2006-03-23 2007-01-19 Face recognition system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006079844A JP4862447B2 (ja) 2006-03-23 2006-03-23 顔認識システム
JP2006-079844 2006-06-23

Publications (1)

Publication Number Publication Date
WO2007108225A1 true WO2007108225A1 (ja) 2007-09-27

Family

ID=38522261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/050802 WO2007108225A1 (ja) 2006-03-23 2007-01-19 顔認識システム

Country Status (7)

Country Link
US (1) US8340366B2 (ja)
EP (1) EP2026233A4 (ja)
JP (1) JP4862447B2 (ja)
KR (1) KR20090008256A (ja)
CN (1) CN101405744A (ja)
TW (1) TW200741562A (ja)
WO (1) WO2007108225A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882692A (zh) * 2020-07-21 2020-11-03 苏州盖雅信息技术有限公司 一种智能移动考勤方法及装置
WO2022130616A1 (ja) 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795160B1 (ko) * 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법
JP2010080993A (ja) * 2008-09-23 2010-04-08 Brother Ind Ltd インターホンシステム
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image
JP5480532B2 (ja) * 2009-04-30 2014-04-23 グローリー株式会社 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
US20100278395A1 (en) * 2009-05-04 2010-11-04 Jonathan Yen Automatic backlit face detection
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
US8725579B2 (en) * 2010-04-30 2014-05-13 Qualcomm Incorporated Device ID and financial information
US8522021B2 (en) 2010-04-30 2013-08-27 Hewlett-Packard Development Company, L.P. Communication channel of a device
US8878773B1 (en) * 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
TWI413004B (zh) * 2010-07-29 2013-10-21 Univ Nat Taiwan Science Tech 人臉特徵辨識方法及系統
CN102004899B (zh) * 2010-11-03 2012-09-26 无锡中星微电子有限公司 一种人脸认证系统及方法
US8577092B2 (en) * 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
DE102011015730A1 (de) * 2011-03-31 2012-10-04 Land Rheinland-Pfalz, vertreten durch das Landeskriminalamt Rheinland-Pfalz Phantombilddatenbank (3D)
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
RU2543950C2 (ru) * 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
AU2013205535B2 (en) * 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
JP5964190B2 (ja) * 2012-09-27 2016-08-03 京セラ株式会社 端末装置
TWI582708B (zh) 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9262671B2 (en) 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
US9552421B2 (en) * 2013-03-15 2017-01-24 Microsoft Technology Licensing, Llc Simplified collaborative searching through pattern recognition
KR102057947B1 (ko) * 2013-04-01 2019-12-20 삼성전자주식회사 사용자 인증을 수행하는 디스플레이 장치 및 그 사용자 인증 방법
US20160070985A1 (en) * 2013-05-02 2016-03-10 Konica Minolta Inc. Image processing apparatus, image processing method, and storage medium storing image processing program thereon
US9405978B2 (en) 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
JP6123893B2 (ja) * 2013-06-25 2017-05-10 富士通株式会社 情報処理装置、端末装置、情報処理プログラム及び情報処理方法
US9892413B2 (en) 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
US9829480B2 (en) 2013-09-26 2017-11-28 Alcohol Monitoring Systems, Inc. Remote breath alcohol monitor
WO2015164584A1 (en) 2014-04-23 2015-10-29 Google Inc. User interface control using gaze tracking
EP3035238A1 (en) * 2014-12-19 2016-06-22 Tata Consultancy Services Limited Video surveillance system and method for fraud detection
WO2016186649A1 (en) 2015-05-19 2016-11-24 Hewlett Packard Enterprise Development Lp Database comparison operation to identify an object
CN109074484B (zh) 2016-03-02 2022-03-01 蒂诺克股份有限公司 用于有效率的面部识别的系统和方法
CN105631441A (zh) * 2016-03-03 2016-06-01 暨南大学 一种人脸识别方法
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
CN109479181B (zh) 2016-03-30 2020-12-01 蒂诺克股份有限公司 用于用户检测和识别的系统和方法
KR101760211B1 (ko) * 2016-04-04 2017-07-21 엔에이치엔엔터테인먼트 주식회사 안구 인식을 통해 보안이 강화된 인증 방법 및 시스템
US10282595B2 (en) 2016-06-24 2019-05-07 International Business Machines Corporation Facial recognition encode analysis
KR101810190B1 (ko) * 2016-07-14 2017-12-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
US20190031145A1 (en) 2017-07-28 2019-01-31 Alclear, Llc Biometric identification system connected vehicle
CN111373408B (zh) 2017-11-27 2023-05-02 三菱电机株式会社 表情识别装置
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
TWI661398B (zh) * 2018-03-31 2019-06-01 華南商業銀行股份有限公司 基於臉部辨識進行驗證的交易系統及其方法
TWI687872B (zh) * 2018-03-31 2020-03-11 華南商業銀行股份有限公司 基於臉部辨識進行驗證的交易系統及其方法
US11087121B2 (en) 2018-04-05 2021-08-10 West Virginia University High accuracy and volume facial recognition on mobile platforms
CN108650408B (zh) * 2018-04-13 2021-01-08 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
WO2020041352A1 (en) 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
TWI676136B (zh) * 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
JP7302329B2 (ja) * 2019-06-26 2023-07-04 日本電気株式会社 画像処理装置、人物判別方法、およびプログラム
US10867460B1 (en) 2019-10-02 2020-12-15 Motorola Solutions, Inc. System and method to provide public safety access to an enterprise
KR102299080B1 (ko) 2019-12-24 2021-09-07 유한회사 하존솔루션 고객 이미지 인식 기반 샵앤샵 통합 운영 시스템
CN111462381A (zh) * 2020-04-01 2020-07-28 深圳深云智汇科技有限公司 基于人脸温度识别的门禁控制方法、电子装置及存储介质
US11328532B2 (en) * 2020-04-20 2022-05-10 Scott C Harris Mask aware biometric identification system
CN111986372A (zh) * 2020-08-21 2020-11-24 中南信息科技(深圳)有限公司 一种高精度人脸门禁识别装置
CN115529837A (zh) * 2021-04-09 2022-12-27 鸿富锦精密工业(武汉)有限公司 戴口罩人脸识别方法、装置、计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050783A (ja) * 2001-05-30 2003-02-21 Fujitsu Ltd 複合認証システム
JP2003281539A (ja) 2002-03-25 2003-10-03 Oki Electric Ind Co Ltd 顔部品探索装置および顔部品探索方法
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP3970573B2 (ja) * 2001-10-19 2007-09-05 アルパイン株式会社 顔画像認識装置および方法
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2003331264A (ja) * 2002-05-13 2003-11-21 Nec Soft Ltd 顔画像照合システムおよび顔画像照合方法
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US20060146062A1 (en) * 2004-12-30 2006-07-06 Samsung Electronics Co., Ltd. Method and apparatus for constructing classifiers based on face texture information and method and apparatus for recognizing face using statistical features of face texture information
US20070052726A1 (en) * 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
JP4696857B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 顔照合装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050783A (ja) * 2001-05-30 2003-02-21 Fujitsu Ltd 複合認証システム
JP2003281539A (ja) 2002-03-25 2003-10-03 Oki Electric Ind Co Ltd 顔部品探索装置および顔部品探索方法
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2026233A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882692A (zh) * 2020-07-21 2020-11-03 苏州盖雅信息技术有限公司 一种智能移动考勤方法及装置
CN111882692B (zh) * 2020-07-21 2023-04-18 苏州盖雅信息技术有限公司 一种智能移动考勤方法及装置
WO2022130616A1 (ja) 2020-12-18 2022-06-23 富士通株式会社 認証方法、情報処理装置、及び認証プログラム

Also Published As

Publication number Publication date
JP4862447B2 (ja) 2012-01-25
JP2007257221A (ja) 2007-10-04
US20090110248A1 (en) 2009-04-30
US8340366B2 (en) 2012-12-25
CN101405744A (zh) 2009-04-08
KR20090008256A (ko) 2009-01-21
EP2026233A4 (en) 2009-12-02
EP2026233A1 (en) 2009-02-18
TW200741562A (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4862447B2 (ja) 顔認識システム
US8558663B2 (en) Integration of facial recognition into cross channel authentication
JP4899551B2 (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
US20140380446A1 (en) Method and apparatus for protecting browser private information
US8422746B2 (en) Face authentication system and authentication method thereof
US20140241593A1 (en) Authentication apparatus, authentication method, and non-transitory computer readable medium
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
CN103310339A (zh) 身份识别装置和方法以及支付系统和方法
KR20160147515A (ko) 사용자 인증 방법 및 이를 지원하는 전자장치
EP3739482B1 (en) Facial recognition device
US10885171B2 (en) Authentication verification using soft biometric traits
CN204791017U (zh) 基于多生物特征模态的移动终端用户身份认证装置
KR20010074059A (ko) 모바일 단말기용 얼굴 기반 개인 신원 검증 방법 및 장치
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP5730044B2 (ja) 顔画像認証装置
JP2001256496A (ja) 顔画像認識装置及び顔画像認識方法
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
CN110717428A (zh) 一种融合多个特征的身份识别方法、装置、系统、介质及设备
JP6767685B2 (ja) 顔認証装置
JP7260145B2 (ja) 認証装置、認証用端末、認証方法、プログラム及び記録媒体
JPH10137221A (ja) 個人識別装置
KR101766829B1 (ko) 현금인출장치
WO2014092665A1 (en) Integrated user authentication system in self-service machines
KR102583982B1 (ko) 비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템
WO2023073838A1 (ja) 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07707090

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 200780009864.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12225423

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007707090

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087025723

Country of ref document: KR