JP7389392B2 - 顔認証方法、顔認証プログラム、および顔認証装置 - Google Patents
顔認証方法、顔認証プログラム、および顔認証装置 Download PDFInfo
- Publication number
- JP7389392B2 JP7389392B2 JP2022550277A JP2022550277A JP7389392B2 JP 7389392 B2 JP7389392 B2 JP 7389392B2 JP 2022550277 A JP2022550277 A JP 2022550277A JP 2022550277 A JP2022550277 A JP 2022550277A JP 7389392 B2 JP7389392 B2 JP 7389392B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- degree
- change
- reflection
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 108
- 230000001815 facial effect Effects 0.000 title claims description 36
- 230000008859 change Effects 0.000 claims description 192
- 238000012545 processing Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Description
コンピュータは、カメラから時系列の複数の画像を取得する。次にコンピュータは、時系列で連続する第1画像と第2画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および第1画像と第2画像との光の反射特性の違いを表す反射変化度を算出する。そしてコンピュータは、輪郭変化度と反射変化度とに基づいて、カメラの撮影対象の入れ替わりが発生したかどうかを判定する。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。第1の実施の形態は、顔認証におけるカメラでの撮影対象の認証途中での入れ替わりを容易に検知できる顔認証方法である。
次に第2の実施の形態について説明する。第2の実施の形態は、顔認証途中での認証対象の入れ替えを検出できるようにした認証システムである。このような生体認証システムは、銀行ATM(Automatic Teller Machine)などの機器へのアクセスコントロール、入室管理、ボーダーコントロールなどで利用される。
機器接続インタフェース106は、顔認証装置100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース106には、カメラ23および電子錠ユニット24を接続することができる。カメラ23は、CCD(Charge-Coupled Device)などの撮像素子を用いて画像を撮影する。機器接続インタフェース106は、カメラ23が撮影した1フレームごとの画像データを、例えばメモリ102に転送する。電子錠ユニット24は、入力信号に応じてドア41(図2参照)の鍵の施錠と解錠とを行う。例えば電子錠ユニット24は、プロセッサ101からの解錠の信号を機器接続インタフェース106経由で受信すると、ドア41の鍵機構に内蔵されたモータを制御し、鍵を解錠する。
図5は、各装置の機能の一例を示すブロック図である。サーバ200は記憶部210を有している。記憶部210は、顔画像特徴量データ211を記憶する。顔画像特徴量データ211は、オフィスへの入室が許可されているユーザの顔画像から抽出した特徴量を数値化したデータである。記憶部210は、例えばサーバ200が有するストレージ装置203の記憶領域の一部を用いて実現される。
図11は、認証処理の手順の一例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。
[ステップS102]照合部130はサーバ200と連係し、画像取得部120から受信した画像に写った顔画像の特徴を示す特徴量と、サーバ200に格納されている顔画像特徴量データ211に示される特徴量とを照合する。
このようにして、顔認証に成功し、かつ入れ替わりが検出されずに指示通りの動作を検出した場合、ドア41の解錠などの所定の処理が実行される。次に、入れ替わり判定処理について詳細に説明する。
[ステップS121]入れ替わり判定部160は、輪郭変化度が閾値Th1以上か否かを判断する。入れ替わり判定部160は、閾値Th1以上であれば処理をステップS122に進める。また入れ替わり判定部160は、閾値Th1未満であれば処理をステップS123に進める。
[ステップS123]入れ替わり判定部160は、輪郭変化度が閾値Th2以上か否かを判断する(閾値Th2<閾値Th1)。入れ替わり判定部160は、閾値Th2以上であれば処理をステップS124に進める。また入れ替わり判定部160は、閾値Th2未満であれば処理をステップS126に進める。
[ステップS126]入れ替わり判定部160は、反射変化度が閾値Th4以上か否かを判断する。入れ替わり判定部160は、閾値Th4以上であれば処理をステップS127に進める。また入れ替わり判定部160は、閾値Th4未満であれば入れ替わり判定処理を終了する。
なお図12に示した閾値Th1は第1の実施の形態における第1閾値の一例である。閾値Th4は第1の実施の形態における第2閾値の一例である。閾値Th3は第1の実施の形態における第3閾値の一例である。
図13は、輪郭変化度と反射変化度との正規化の一例を示す図である。図13の例ではエッジ統計量としてHLACヒストグラムを用い、画素値統計量としてLBPヒストグラムを用いた場合を想定している。
このように顔画像特徴量の登録時にも入れ替わり検出を伴う動作判定処理を実施することで、他人の写真43による顔画像の特徴量の登録が抑止される。
次に第3の実施の形態について説明する。第3の実施の形態は、輪郭変化度と反射変化度に加え、画素中に偽造物らしい反射をもつかを示す反射スコアを入れ替わり検出に利用するものである。反射スコアは、画像から得られる鏡面反射成分と拡散反射成分とに基づいて算出される。
図16は、反射スコアを利用する場合の入れ替わり判定処理の手順の一例を示すフローチャートである。図16に示した処理のうちステップS223~S229は、それぞれ図12に示した処理のステップS121~S127の処理と同じである。以下、図12の処理と異なるステップS221とステップS222の処理について説明する。
このように反射スコアを用いて入れ替わりの有無を判定することで、判定精度を向上させることができる。なお図16に示した閾値Th5は第1の実施の形態における第4閾値の一例である。
第2・第3の実施の形態では、顔画像による照合処理によって顔認証に成功した後に、入れ替わり判定を伴う動作判定処理を行っているが、動作判定処理の後に照合処理を行う場合もある。その場合、顔認証装置100は、例えば動作判定処理中に取得した画像をメモリ102またはストレージ装置103に保存しておき、保存しておいた画像を用いて顔認証のための照合処理を行う。
第2~第4の実施の形態では反射変化度として、LBPヒストグラムの変化度を計算しているが、他の統計量を用いてもよい。例えば時系列に連続する2つの画像間の輝度値の相関を反射変化度としてもよい。
2 写真
3 カメラ
4a,4b,4c,・・・ 画像
5 第1画像
6,7 第2画像
10 顔認証装置
11 記憶部
12 処理部
Claims (8)
- コンピュータが、
カメラから時系列の複数の画像を取得し、
時系列で連続する第1画像と第2画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第1画像と前記第2画像との光の反射特性の違いを表す反射変化度を算出し、
前記輪郭変化度と前記反射変化度との和が第1閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する、
顔認証方法。 - 前記コンピュータが、さらに、
前記複数の画像のうちの第3画像に写る顔画像に表される生体的特徴に基づく顔認証処理と、前記カメラの撮影対象の人物に対する所定の動作の指示後に取得した第4画像に基づいて前記所定の動作が実施されたか否かを判断する動作判定処理とを行い、
前記顔認証処理で認証に成功し、かつ前記動作判定処理で前記所定の動作が実施されたと判断した場合、認証成功に応じた処理を実行する、
請求項1記載の顔認証方法。 - 前記第3画像の取得時と前記第4画像の取得時とを含む期間内に取得された時系列で連続する画像の組ごとに、前記反射変化度および前記輪郭変化度の算出、および入れ替わりが発生したかどうかの判定を行う、
請求項2記載の顔認証方法。 - 入れ替わりが発生したかどうかの判定では、前記輪郭変化度が第2閾値以上の場合、および前記反射変化度が第3閾値以上の場合に、入れ替わりありと判定する、
請求項1ないし3のいずれかに記載の顔認証方法。 - コンピュータが、
カメラから時系列の複数の画像を取得し、
時系列で連続する第1画像と第2画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、前記第1画像と前記第2画像との光の反射特性の違いを表す反射変化度、および前記第1画像または前記第2画像の鏡面反射成分と拡散反射成分との反射スコアを算出し、
前記輪郭変化度と前記反射変化度と前記反射スコアとに基づいて、前記カメラの撮影対象の入れ替わりが発生したかどうかを判定する、
顔認証方法。 - 入れ替わりが発生したかどうかの判定では、前記反射スコアと第4閾値との比較結果に基づいて、前記カメラの撮影対象の入れ替わりが発生したかどうかを判定する、
請求項5記載の顔認証方法。 - コンピュータに、
カメラから時系列の複数の画像を取得し、
時系列で連続する第1画像と第2画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第1画像と前記第2画像との光の反射特性の違いを表す反射変化度を算出し、
前記輪郭変化度と前記反射変化度との和が第1閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する、
処理を実行させる顔認証プログラム。 - カメラから時系列の複数の画像を取得し、時系列で連続する第1画像と第2画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第1画像と前記第2画像との光の反射特性の違いを表す反射変化度を算出し、前記輪郭変化度と前記反射変化度との和が第1閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する処理部、
を有する顔認証装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/035334 WO2022059151A1 (ja) | 2020-09-17 | 2020-09-17 | 顔認証方法、顔認証プログラム、および顔認証装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022059151A1 JPWO2022059151A1 (ja) | 2022-03-24 |
JP7389392B2 true JP7389392B2 (ja) | 2023-11-30 |
Family
ID=80776604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022550277A Active JP7389392B2 (ja) | 2020-09-17 | 2020-09-17 | 顔認証方法、顔認証プログラム、および顔認証装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230206686A1 (ja) |
EP (1) | EP4216149A4 (ja) |
JP (1) | JP7389392B2 (ja) |
WO (1) | WO2022059151A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004234355A (ja) | 2003-01-30 | 2004-08-19 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
JP2009237629A (ja) | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2015176555A (ja) | 2014-03-18 | 2015-10-05 | 株式会社Nttドコモ | 通信端末及び通信端末の認証方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4013684B2 (ja) | 2002-07-23 | 2007-11-28 | オムロン株式会社 | 個人認証システムにおける不正登録防止装置 |
JP5837232B2 (ja) * | 2011-12-27 | 2015-12-24 | インテル・コーポレーション | チューリングテストに基づくユーザ認証ならびにユーザ存在検証のデバイス、および方法 |
US8457367B1 (en) * | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
EP3208770B1 (en) * | 2014-10-15 | 2022-05-04 | Nec Corporation | Impersonation detection device, impersonation detection method, and recording medium |
WO2018072028A1 (en) * | 2016-10-20 | 2018-04-26 | Applied Recognition Inc. | Face authentication to mitigate spoofing |
-
2020
- 2020-09-17 EP EP20954136.6A patent/EP4216149A4/en active Pending
- 2020-09-17 JP JP2022550277A patent/JP7389392B2/ja active Active
- 2020-09-17 WO PCT/JP2020/035334 patent/WO2022059151A1/ja unknown
-
2023
- 2023-03-06 US US18/178,798 patent/US20230206686A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004234355A (ja) | 2003-01-30 | 2004-08-19 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
JP2009237629A (ja) | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2015176555A (ja) | 2014-03-18 | 2015-10-05 | 株式会社Nttドコモ | 通信端末及び通信端末の認証方法 |
Non-Patent Citations (1)
Title |
---|
GANDHE, S. T. et al.,Face Recognition Using Contour Matching,IAENG International Journal of Computer Science,Volume 35, Issue 2,International Associations of Engineers,2008年05月20日,pp.1-8,http://iaeng.org/IJCS/issues_v35/issue_2/IJCS_35_2_06.pdf |
Also Published As
Publication number | Publication date |
---|---|
US20230206686A1 (en) | 2023-06-29 |
EP4216149A4 (en) | 2023-11-08 |
EP4216149A1 (en) | 2023-07-26 |
WO2022059151A1 (ja) | 2022-03-24 |
JPWO2022059151A1 (ja) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
CN109948408B (zh) | 活性测试方法和设备 | |
US20210287026A1 (en) | Method and apparatus with liveness verification | |
JP4156430B2 (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
US9710691B1 (en) | Touchless fingerprint matching systems and methods | |
KR20180022019A (ko) | 라이브니스 검사 방법 및 장치 | |
CN110008813B (zh) | 基于活体检测技术的人脸识别方法和系统 | |
JP4760049B2 (ja) | 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 | |
WO2014025445A1 (en) | Texture features for biometric authentication | |
JP2010146073A (ja) | 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびにコンピュータシステム | |
EP2148295A1 (en) | Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure | |
US20200302041A1 (en) | Authentication verification using soft biometric traits | |
CN111695099A (zh) | 安全系统及相应的访问方法、机器可读存储设备 | |
JP4899552B2 (ja) | 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 | |
KR100825689B1 (ko) | 얼굴 위장 판별 방법 | |
CN108491768A (zh) | 角膜反射人脸认证抗欺诈攻击方法、人脸特征认证系统 | |
US20240169763A1 (en) | Compact system and method for iris recognition | |
JP2008287432A (ja) | 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造 | |
JP3999983B2 (ja) | 操作者監視装置 | |
US20100239129A1 (en) | Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration | |
JP7389392B2 (ja) | 顔認証方法、顔認証プログラム、および顔認証装置 | |
EP4343689A1 (en) | Body part authentication system and authentication method | |
KR100427181B1 (ko) | 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법 | |
Samatha et al. | Securesense: Enhancing person verification through multimodal biometrics for robust authentication | |
RU2791846C2 (ru) | Способ и устройство для принятия решения о выполнении операции на основе групп выражений лица и электронное устройство |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7389392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |