JP5538031B2 - 照合装置 - Google Patents
照合装置 Download PDFInfo
- Publication number
- JP5538031B2 JP5538031B2 JP2010081139A JP2010081139A JP5538031B2 JP 5538031 B2 JP5538031 B2 JP 5538031B2 JP 2010081139 A JP2010081139 A JP 2010081139A JP 2010081139 A JP2010081139 A JP 2010081139A JP 5538031 B2 JP5538031 B2 JP 5538031B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- collation
- face image
- matching
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012795 verification Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 16
- 230000033228 biological regulation Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims 1
- 210000001747 pupil Anatomy 0.000 description 47
- 238000012545 processing Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 239000011165 3D composite Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また、本発明において、2D照合画像より得られる照合対象物の特徴を示す情報などに基づいて、記憶されている複数の登録対象物の2次元画像の中から2D登録画像として使用する2次元画像を絞り込むようにしてもよい。
この2D・3D複合照合装置において、照合対象物を人間の顔M1とした場合、この顔M1の照合は次のようにして行われる。図2〜図4に制御部20−1がROM20−2に格納されている2D・3D複合照合プログラムに従って実行する照合処理の第1例(実施の形態1)のフローチャートを示す。
利用者は、CCDカメラ10,11の前に立つ。すると、制御部20−1は、CCDカメラ10,11の撮像領域に顔M1が入ったことを認識し、フレームメモリ20−5を介して、CCDカメラ10からの顔M1を捉えた画像S1(図5(a):第1の方向から撮像した画像)を左カメラの画像として取り込み、CCDカメラ11からの顔M1を捉えた画像S2(図5(b):第2の方向から撮像した画像)を右カメラの画像として取り込む(図2:ステップS101)。
そして、制御部20−1は、取り込んだ左カメラの画像S1に対して、分離度フィルタなどの画像処理にて顔検出と瞳検出を行い、顔領域の座標と左右の瞳の座標(2D瞳座標)を求める(ステップS102)。図6(a)にこの時の顔領域の座標(顔領域(左上)、顔領域(右下))の例を示す。図6(b)にこの時の左右の瞳の座標(2D瞳座標(左)、2D瞳座標(右))の例を示す。なお、この例では、左カメラの画像S1に対して顔検出および瞳検出を行っているが、右カメラの画像S2に対して顔検出および瞳検出を行うようにしてもよい。
次に、制御部20−1は、ステップS102で求めた顔領域を照合対象領域AR1とし、左カメラの画像S1と右カメラの画像S2より照合対象領域AR1における顔M1の3次元画像を3D照合顔画像S3(図5(c))として作成する(ステップS103)。なお、この3D照合顔画像S3の作成は、本出願人が既に特許を取得している特許文献2に示された方式(三角測量の原理に基づく方式)によって行う。この方式では、ステレオ画像の対応付けに位相限定相関法を利用しており、高精度に顔の3Dデータ(実測値)を取得することが可能である。
そして、制御部20−1は、ステップS102で求めた2D瞳座標から、3D照合顔画像S3における左右の瞳の座標を3D瞳座標として求める(ステップS104)。図6(c)にこの時の左右の瞳の座標(3D瞳座標(左)、3D瞳座標(右))の例を示す。なお、この3D瞳座標は、3D照合顔画像S3を得る前に、2D瞳座標から3D計測によって即座に求めるようにしてもよい。
そして、制御部20−1は、注目部分の3次元パターンとして標準的な人の瞳の位置および姿勢を基準として配置した基準テンプレートを用い(例えば、特許文献3参照)、ICP(Iterative Closest Point )アルゴリズム(例えば、特許文献4参照)によって、3D照合顔画像S3の位置合わせを行う(ステップS105)。この基準テンプレートの瞳の位置を基準とした位置合わせを瞳ICPと呼ぶ。
(2)現在の対応関係を基にして、2つの3次元パターンのデータM,M’間の最適な運動パターン(回転R,並進t)を推定する。具体的には、並進tを瞳の3D座標によって求める。また、回転Rに関しては最小二乗法により推定する。
(3)上記(2)で得られたRとtを用いて、M’を座標変換する。
(4)Mと座標変換後のM’に対して、Rとtの変化が十分に小さくなり、収束するまで、上記(1)〜(3)を繰り返す。
そして、制御部20−1は、この作成した3D照合顔画像3G0より、カメラから顔までの距離(図1に示すL2)を求める(ステップS107)。なお、この場合のカメラから顔までの距離L2は、3D瞳座標より計算する。
次に、制御部20−1は、HD20−4に格納されている2D登録顔画像の数をN1maxとして取得し(図3:ステップS110)、N1(初期値0)をN1=N1+1とし(ステップS111)、N1≦N1maxであること確認のうえ(ステップS112のYES)、HD20−4からN1番目の2D登録顔画像を読み込む(ステップS113)。この場合、HD20−4に格納されている2D登録顔画像を2G1〜2GN1maxとすれば、N1=1番目の2D登録顔画像2G1が読み込まれる。
ステップS115での2D照合顔画像2G0と2D登録顔画像2G1との照合は次のようにして行う。制御部20−1は、2D照合顔画像2G0(図8(a))をm×n個の局所領域2G0(i,j)に分割する(図8(b))。そして、i=1,j=1とし、2D照合顔画像2G0の局所領域2G0(1,1)の画像データをフーリエ変換部20−7へ送り、2次元離散的フーリエ変換を施す。これにより、局所領域2G0(1,1)の画像データは、フーリエ画像データ2F0(1,1)となる。なお、2次元離散的フーリエ変換については、例えば非特許文献1等に説明されているので、ここでの詳しい説明は省略する。
A・B・exp(j(θ−φ))=A・B・cos(θ−φ)+j・A・B・sin(θ−φ) ・・・(1)
として表され、A・exp(jθ)=α1 +jβ1 、B・exp(jφ)=α2 +jβ2 とすると、A=(α1 2+β1 2)1/2,B=(α2 2+β2 2)1/2,θ=tan-1(β1 /α1 ),φ=tan-1(β2 /α2 )となる。この(1)式を計算することにより合成フーリエ画像データを得る。
制御部20−1は、ステップS118において、HD20−4に格納されている3D登録顔画像の数をN2maxとして取得する。そして、N2(初期値0)をN2=N2+1とし(ステップS119)、N2≦N2maxであること確認のうえ(ステップS120のYES)、HD20−4からN2番目の3D登録顔画像を読み込む(ステップS121)。この場合、HD20−4に格納されている3D登録顔画像を3G1〜3GN2maxとすれば、N2=1番目の3D登録顔画像3G1を読み込む。
図12〜図14に制御部20−1がROM20−2に格納されている2D・3D複合照合プログラムに従って実行する照合処理の第2例(実施の形態2)のフローチャートを示す。
この実施の形態2において、制御部20−1は、3D照合顔画像3G0を作成すると、この作成した3D照合顔画像3G0より、瞳間距離、顔長さ、瞳サイズ、カメラから顔までの距離(図1に示すL2(実測値))を求める(ステップS207)。なお、カメラから顔までの距離L2は、3D瞳座標より計算する。
ステップS211での正面判定は次のようにして行う。制御部20−1は、絞り込まれた3D登録顔画像の中から最も近い3D登録顔画像を抽出し、この3D登録顔画像と3D照合顔画像3G0との間のX,Y,Z軸方向の姿勢の差Δθ,Δρ,Δψを求め、この姿勢の差Δθ,Δρ,Δψを所定値と比較する。
〔画像サイズの正規化〕
制御部20−1は、ステップS212において、HD20−4から3D照合顔画像3G0を読み出し、この読み出した3D照合顔画像3G0を正面から見た2次元顔画像を2D照合顔画像2G0(図5(e))として取得する。そして、ステップS207で求めたカメラから顔までの距離L2に基づき、2D照合顔画像2G0の画像サイズ(顔画像サイズ)を正規化する(ステップS213、図5(f))。
次に、制御部20−1は、正規化された2D照合顔画像2G0中の瞳間距離、顔長さ、瞳サイズを求め(ステップS214)、この求めた瞳間距離、顔長さ、瞳サイズに基づいて、HD20−4に格納されている2D登録顔画像を分類し、2D照合顔画像2G0に類似する顔画像群として、HD20−4内の2D登録顔画像を10個程度に絞り込む(ステップS215)。ここで、絞り込まれた2D登録顔画像が1つもない場合には(ステップS216のNO)、直ちに「認証NG」とする(ステップS217)。絞り込まれた2D登録顔画像があれば(ステップS216のYES)、ステップS218へ進む。
制御部20−1は、ステップS218において、ステップ215で絞り込まれた2D登録顔画像の数をN1maxとして取得する。そして、N1(初期値0)をN1=N1+1とし(ステップS219)、N1≦N1maxであること確認のうえ(ステップS220のYES)、HD20−4からN1番目の絞り込まれた2D登録顔画像を読み込む(ステップS221)。この場合、HD20−4に格納されている絞り込まれた2D登録顔画像を2G1〜2GN1maxとすれば、N1=1番目の2D登録顔画像2G1が読み込まれる。
〔姿勢合わせ〕
制御部20−1は、ステップS226において、HD20−4に格納されている3D照合顔画像3G0を読み出し、この読み出した3D照合顔画像3G0の姿勢合わせを行う。
次に、制御部20−1は、ステップS208で絞り込まれた3D登録顔画像の数をN2maxとして取得する(ステップS227)。そして、N2(初期値0)をN2=N2+1とし(ステップS228)、N2≦N2maxであること確認のうえ(ステップS229のYES)、HD20−4からN2番目の絞り込まれた3D登録顔画像を読み込む(ステップS230)。この場合、HD20−4に格納されている絞り込まれた3D登録顔画像を3G1〜3GN2maxとすれば、N2=1番目の3D登録顔画像3G1が読み込まれる。
Claims (5)
- 照合対象物を第1のカメラによって第1の方向から撮像した画像および第2のカメラによって第2の方向から撮像した画像の少なくとも一方から照合対象となる領域を抽出し、この照合対象領域における前記照合対象物の2次元画像を2D照合画像として作成する2D照合画像作成手段と、
前記第1のカメラによって第1の方向から撮像した画像および前記第2のカメラによって第2の方向から撮像した画像より前記照合対象領域における前記照合対象物の3次元画像を3D照合画像として作成する3D照合画像作成手段と、
この3D照合画像作成手段によって作成された3D照合画像から前記照合対象領域の実際の大きさを規定する規定情報として前記第1および第2のカメラから前記照合対象物までの実際の距離を計算して取得する規定情報取得手段と、
この規定情報取得手段によって取得された前記第1および第2のカメラから前記照合対象物までの実際の距離に基づいて前記2D照合画像作成手段によって作成された2D照合画像の画像サイズを正規化する正規化手段と、
この正規化手段によって正規化された2D照合画像と予め2D登録画像として記憶されている複数の登録対象物の2次元画像とを各個に照合する2次元照合手段とを備え、
前記2次元照合手段は、
前記2D照合画像を局所領域に分割し、この分割した局所領域毎に、前記2D登録画像の各分割領域との照合を行う
ことを特徴とする照合装置。 - 請求項1に記載された照合装置において、
前記2次元照合手段は、
前記2D照合画像を局所領域に分割し、この分割した局所領域毎に、前記2D登録画像における対応する局所領域との照合を行う
ことを特徴とする照合装置。 - 請求項1又は2に記載された照合装置において、
前記2次元照合手段は、前記2D照合画像と2D登録画像との照合を位相限定相関法によって行う
ことを特徴とする照合装置。 - 請求項1−3の何れか1項に記載された照合装置において、
少なくとも前記2D照合画像より得られる前記照合対象物の特徴を示す情報に基づいて、前記記憶されている複数の登録対象物の2次元画像の中から前記2D登録画像として使用する2次元画像を絞り込む2D登録画像絞込手段
を備えることを特徴とする照合装置。 - 請求項1−3の何れか1項に記載された照合装置において、
前記3D照合画像作成手段によって作成された3D照合画像より得られる前記照合対象物の特徴を示す情報又は前記2D照合画像作成手段によって作成された2D照合画像より得られる前記照合対象物の特徴を示す情報に基づいて、前記記憶されている複数の登録対象物の2次元画像の中から前記2D登録画像として使用する2次元画像を絞り込む2D登録画像絞込手段と
を備えることを特徴とする照合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081139A JP5538031B2 (ja) | 2010-03-31 | 2010-03-31 | 照合装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081139A JP5538031B2 (ja) | 2010-03-31 | 2010-03-31 | 照合装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215718A JP2011215718A (ja) | 2011-10-27 |
JP5538031B2 true JP5538031B2 (ja) | 2014-07-02 |
Family
ID=44945404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010081139A Expired - Fee Related JP5538031B2 (ja) | 2010-03-31 | 2010-03-31 | 照合装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5538031B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5121999B1 (ja) * | 2011-12-26 | 2013-01-16 | 株式会社東芝 | 位置座標検出装置、位置座標検出方法および電子機器 |
JP2018173731A (ja) * | 2017-03-31 | 2018-11-08 | ミツミ電機株式会社 | 顔認証装置および顔認証方法 |
KR102201300B1 (ko) * | 2019-02-12 | 2021-01-11 | 한양대학교 산학협력단 | 영상 오차율 산출 방법, 영상 분석 장치 및 영상 분석 프로그램 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
JP4165350B2 (ja) * | 2003-09-08 | 2008-10-15 | 松下電工株式会社 | 画像処理方法並びに画像処理装置 |
JP2007179265A (ja) * | 2005-12-27 | 2007-07-12 | Yamatake Corp | 3次元パターン照合装置 |
-
2010
- 2010-03-31 JP JP2010081139A patent/JP5538031B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011215718A (ja) | 2011-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7676068B2 (en) | Biometric authentication | |
EP1835443B1 (en) | Biometric authentication method and biometric authentication apparatus | |
US9734381B2 (en) | System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors | |
Li et al. | Seeing your face is not enough: An inertial sensor-based liveness detection for face authentication | |
CN109918982B (zh) | 利用有源红外光源和rgb-ir传感器的安全面部认证系统 | |
Liu et al. | Touchless multiview fingerprint acquisition and mosaicking | |
Ambeth Kumar et al. | Exploration of an innovative geometric parameter based on performance enhancement for foot print recognition | |
JP2002288670A (ja) | 顔画像を使用した個人認証装置 | |
US8750580B2 (en) | Comparing device | |
US8933783B2 (en) | Detection of fraud for access control system of biometric type | |
Bowyer et al. | Face recognition using 2-D, 3-D, and infrared: Is multimodal better than multisample? | |
CN106937532A (zh) | 用于检测真正用户的系统和方法 | |
Ratyal et al. | 3D face recognition based on pose and expression invariant alignment | |
Raju et al. | A proposed feature extraction technique for dental X-ray images based on multiple features | |
JP5538031B2 (ja) | 照合装置 | |
KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
Gao et al. | Feature-level fusion in personal identification | |
US11568683B2 (en) | Facial biometrics system and method using digital fingerprints | |
JP2001092963A (ja) | 画像照合方法および装置 | |
JP5514599B2 (ja) | 2d・3d複合照合装置 | |
Li et al. | Exploring face recognition by combining 3D profiles and contours | |
Jhamb et al. | Iris based human recognition system | |
Lin et al. | A novel framework for automatic 3D face recognition using quality assessment | |
Sato et al. | A contactless palm recognition system using simple active 3D measurement with diffraction grating laser | |
Abdulov et al. | Is face 3D or 2D on stereo images? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5538031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140428 |
|
LAPS | Cancellation because of no payment of annual fees |