KR20220052828A - 생체 인증 장치 및 생체 인증 방법 - Google Patents

생체 인증 장치 및 생체 인증 방법 Download PDF

Info

Publication number
KR20220052828A
KR20220052828A KR1020210132217A KR20210132217A KR20220052828A KR 20220052828 A KR20220052828 A KR 20220052828A KR 1020210132217 A KR1020210132217 A KR 1020210132217A KR 20210132217 A KR20210132217 A KR 20210132217A KR 20220052828 A KR20220052828 A KR 20220052828A
Authority
KR
South Korea
Prior art keywords
light
wavelength
image
living body
finger
Prior art date
Application number
KR1020210132217A
Other languages
English (en)
Inventor
나오또 미우라
유스께 마쯔다
아끼오 나가사까
요 노노무라
게이찌로 나까자끼
Original Assignee
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가부시키가이샤 히타치세이사쿠쇼
Publication of KR20220052828A publication Critical patent/KR20220052828A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Vascular Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

생체 촬상 시의 외광 환경에 변동이 발생하는 경우라도, 고정밀도의 인증을 실현한다.
생체를 촬영한 화상을 촬상하는 촬상부와, 생체를 촬영하기 위한 광원과, 파장에 따라서 선택적으로 광을 통과 및 차단하는 광학 필터와, 동시에 촬영된 복수의 파장을 각각 분리하는 분광 처리부와, 촬상된 상기 화상에 있어서의 상기 생체의 소정 부위의 형상 및 자세를 산출하는 산출부와, 생체의 영상이 촬영되는 분광 화상과 불필요한 외광이 촬영되는 분광 화상을 사용하여 생체의 영상으로부터 배경을 제거하는 배경 제거부와, 상기 소정 부위의 화상을 사용하여 생체 인증을 행하는 인증부를 갖는다.

Description

생체 인증 장치 및 생체 인증 방법{BIOMETRIC AUTHENTICATION APPARATUS AND BIOMETRIC AUTHENTICATION METHOD}
본 발명은, 생체 정보를 사용하여 개인을 인증하는 생체 인증 장치 및 생체 인증 방법에 관한 것이다.
다양한 생체 인증 기술 중에서도, 손가락 정맥 인증은 고정밀도의 인증을 실현할 수 있는 것으로서 알려져 있다. 손가락 정맥 인증은, 손가락 내부의 복잡한 혈관 패턴을 사용하기 때문에 우수한 인증 정밀도를 실현하고, 또한 지문 인증에 비해 위조 및 개찬이 곤란함으로써, 고도의 시큐리티를 실현할 수 있다.
근년, 편의점 등의 소매점이나 음식점 등에서는, 개인의 스마트폰과 연계한 QR 결제를 비롯한 캐시리스 결제가 보급되고 있다. 이와 같은 결제 수단은 현금의 지급이 불필요하여 편리성이 높고, 또한 다양한 포인트 서비스와의 연계에 의해 고객의 구매 의욕을 높일 수 있기 때문에, 점포측의 도입 장점도 크다. 그 반면, 스마트폰을 가져가는 것을 잊거나, 고장, 분실 등으로 결제를 할 수 없거나, 또한 스마트폰의 도난에 의해 다른 사람에게 이용되거나 할 리스크가 있다. 이에 반해, 이용자 본인의 생체를 이용하여 결제를 행하는 생체 인증에 의한 결제가 널리 검토되기 시작하고 있으며, 서서히 실용화되고 있다.
생체 인증에 의한 결제에서는, 손가락, 손, 얼굴 등 이용자 자신의 생체를 생체 인증 단말기에 댐으로써 사전에 등록한 생체 정보와의 대조가 행해져, 등록자 본인이라고 인증된 경우에 결제가 완료된다. 특히 손가락을 사용한 생체 인증에서는 단말기에 구비된 손가락 거치대에 손가락을 놓는 경우가 많지만, 장치와 손가락의 사이즈가 맞지 않거나, 또한 단말기에 접촉하고 싶지 않다고 느끼거나 하는 이용자도 있기 때문에, 비접촉으로도 인증할 수 있는 것이 바람직하다. 이 경우, 장치 상부를 개방적으로 설계하게 되지만, 생체를 카메라로 촬영하는 경우에는 단말기가 설치되어 있는 조명 환경의 영향을 받아, 특히 불필요한 외광이 존재하면 생체를 올바르게 스캔할 수 없는 경우가 있다. 또한, 비접촉의 경우에는 어디에 어떻게 생체를 대면 좋은지를 명확하게 나타내는 것도 중요해진다.
따라서, 비접촉형 생체 인증 장치를 실현하기 위해서는, 단말기의 설치 환경의 영향을 받기 어려운 기술을 제공함과 함께, 직관적으로 이해하기 쉬운 생체의 제시 유도 수단의 제공이나, 생체를 댈 때의 위치나 자세가 어긋나 버린 경우라도 올바르게 인증을 실시할 수 있는 기술을 제공하는 것이 과제가 된다.
외광의 영향을 저감하는 방법에 관한 선행 기술에 관해, 손바닥 정맥으로 인증을 행할 때 장치 광원의 광과 외광을 올바르게 판별하는 기술로서 특허문헌 1이, 손가락 정맥 및 손가락의 표피로 인증을 행할 때 배경 분리 처리를 행하는 기술로서 특허문헌 2가 있다.
일본 특허 공개 제2019-040472호 공보 일본 특허 공개 제2020-123068호 공보
손가락의 생체 특징을 이용한 비접촉형 손가락 인증에 있어서는, 외광의 영향을 받지 않고 생체를 센싱하는 기술과 손가락을 대는 방법을 유도하는 기술이 필요해진다. 특히, 장치의 주변 환경에 태양광 등의 불필요한 외광이 삽입되는 경우, 방의 천장이나 벽 등에 강한 광이 반사되어 손가락의 배경에 불필요한 피사체가 투영되기 때문에, 손가락의 촬영 위치나 자세의 검출 처리를 올바르게 실시할 수 없게 되어, 인증 정밀도가 열화되는 과제가 있었다.
특허문헌 1에서는, 손바닥 정맥을 사용한 생체 인증을 행함에 있어서, 정맥 촬영용의 조명을 적절하게 조정할 필요가 있지만, 촬영한 화상에 고휘도의 영역이 있었던 경우에, 외광에 의해 휘도가 높아진 것인지 장치의 조명이 너무 강하기 때문에 휘도가 높아진 것인지를 판정하는 기술이 개시되어 있다. 그러나 특허문헌 1에서는 외광에 의해 생체의 배경에 불필요한 피사체가 투영됨으로써 생체의 검출에 실패한다는 과제를 해결하는 기술에 대하여 언급은 없다.
특허문헌 2에서는, 손가락 정맥 및 손가락의 표피를 사용한 생체 인증을 행함에 있어서, 손가락의 영역과 배경의 영역을 분리하기 위해, RGB의 색마다 분리한 화상의 휘도차가 작은 부분을 배경으로 판정하는 기술이 개시되어 있다. 그러나 특허문헌 2에서 개시하는 배경 분리는, 외광이 특정 파장이나 강도일 경우에만 올바르게 동작하기 때문에, 다양한 환경 하에서 실현 가능한 배경 분리 기술에 관한 언급은 없다.
상술한 문제점은, 손가락에 한하지 않고, 이용자의 손바닥, 손 등, 얼굴 등의 다양한 생체에 대해서도 마찬가지라고 할 수 있다. 이와 같이 종래 기술에서는, 복수 손가락을 비롯해 다양한 생체를 사용한 생체 인증에 있어서, 다양한 외광 환경 하에서 생체의 위치나 자세를 올바르게 검출할 수 없어, 인증 정밀도의 저하를 초래하는 과제가 있었다.
본 발명은, 생체 촬상 시의 외광 환경에 변동이 발생하는 경우라도, 고정밀도의 인증을 실현하는 것이 가능한 생체 인증 장치 및 생체 인증 방법을 제공하는 것을 목적으로 한다.
본 발명의 생체 인증 장치의 바람직한 예에서는, 생체에 조사하는 제1 파장을 포함하는 대역의 광과, 생체에 조사하는 제1 파장과는 다른 제2 파장을 포함하는 대역의 광과, 그리고 외부 환경에 기인하는 제1 및 제2 파장과는 다른 제3 파장을 포함하는 대역의 광을 투과시키고, 그 이외의 대역의 파장을 차단하는 광학 필터를 통해, 생체를 촬영한 화상을 촬상하는 촬상부와, 얻어진 상기 생체를 촬영한 화상으로부터, 제1 파장의 광 강도의 화상과, 제2 파장의 광 강도의 화상과, 및 제3 파장의 광 강도의 화상을 분리하여 획득하는 분광 처리부와, 상기 제3 파장의 광 강도의 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거하는 배경 제거부와, 상기 배경 영역을 제거한 제1 및 제2 파장의 광 강도의 화상으로부터, 생체의 각종 특징을 추출하고, 미리 등록되어 있는 각 개인별의 생체 특징과 대조하여, 생체 특징마다의 유사도를 산출하고, 각종 생체 특징의 유사도에 기초하여 개인을 특정하는 생체 인증을 행하는 인증 처리부를 구비하여 구성한다.
또한, 본 발명의 다른 특징으로서, 상기 생체 인증 장치에 있어서, 상기 배경 제거부는, 미리 학습 처리에 있어서, 다수회의 생체의 제시에 의해, 생체를 촬영한 화상으로부터 제1, 제2, 및 제3 파장의 광 강도의 화상을 분리하고, 촬상부에 병설한 거리 센서에 의해 계측한 정해의 거리 화상을 교사 데이터로서 다수 준비하여 학습시킨 뉴럴 네트워크를 구비하고, 분광 처리부에 의해 분리된 피사체의 제1, 제2, 및 제3 파장의 광 강도의 화상을 뉴럴 네트워크에 입력하여, 제시된 생체의 거리 화상을 추정하고, 거리 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거한다.
또한, 본 발명의 생체 인증 방법의 바람직한 예에서는, 이용자가 댄 생체를, 생체에 조사하는 제1 파장을 포함하는 대역의 광과, 생체에 조사하는 제1 파장과는 다른 제2 파장을 포함하는 대역의 광과, 그리고 외부 환경에 기인하는 제1 및 제2 파장과는 다른 제3 파장을 포함하는 대역의 광을 투과시키고, 그 이외의 대역의 파장을 차단하는 광학 필터를 통해, 촬상부가 촬영하여 화상을 취득하고, 분광 처리부가, 얻어진 상기 생체를 촬영한 화상으로부터, 제1 파장의 광 강도의 화상과, 제2 파장의 광 강도의 화상과, 및 제3 파장의 광 강도의 화상을 분리하여 획득하고, 배경 제거부가, 상기 제3 파장의 광 강도의 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거하고, 인증 처리부가, 상기 배경 영역을 제거한 제1 및 제2 파장의 광 강도의 화상으로부터, 생체의 각종 특징을 추출하고, 미리 등록되어 있는 각 개인별의 생체 특징과 대조하여, 생체 특징마다의 유사도를 산출하고, 각종 생체 특징의 유사도에 기초하여 개인을 특정하는 생체 인증을 행하는 것을 특징으로 한다.
본 발명에 따르면, 생체 촬상 시에 불필요한 피사체가 투영되는 경우라도, 고정밀도의 인증을 실현하는 것이 가능해진다.
도 1a는 실시예 1에 관한, 생체 인증 시스템의 전체의 구성을 도시하는 도면이다.
도 1b는 실시예 1에 관한, 메모리에 저장되어 있는 프로그램의 기능 구성의 일례를 도시하는 도면이다.
도 2는 실시예 1에 관한, 입력 장치의 단면도(a) 및 상면도(b)이다.
도 3은 실시예 1에 관한, 대역 통과 필터의 분광 투과율 특성의 설명도이다.
도 4는 실시예 1에 관한, 생체 인증 시스템의 등록 처리부의 처리 플로의 일례를 도시하는 도면이다.
도 5는 실시예 1에 관한, 생체 인증 시스템의 인증 처리부의 처리 플로의 일례를 도시하는 도면이다.
도 6은 실시예 1에 관한, 카메라의 분광 감도 특성을 도시한 모식도이다.
도 7은 실시예 1에 관한, 외광이 촬영된 경우의 배경 제거의 설명도이다.
도 8은 실시예 1에 관한, 대역 통과 필터의 분광 투과율 특성의 다른 구성의 설명도이다.
도 9는 실시예 2에 관한, 피사체의 거리 측정의 원리 설명도이다.
도 10은 실시예 2에 관한, 피사체의 거리를 학습 및 추론하는 뉴럴 네트워크의 일례를 도시하는 구성도이다.
도 11은 실시예 3에 관한, 손가락 끝의 위치를 유도하는 인증 장치의 일 실시예이다.
도 12는 실시예 3에 관한, 손가락의 거리를 추정하는 일 실시예의 설명도이다.
도 13은 실시예 3에 관한, 손가락 끝을 유도하는 장치 구조의 일례의 설명도이다.
도 14는 실시예 3에 관한, 장치의 설치 방법의 일례를 나타내는 설명도이다.
이하, 도면을 참조하여 본 발명의 실시 형태를 설명한다. 이하의 기재 및 도면은, 본 발명을 설명하기 위한 예시이며, 설명의 명확화를 위해, 적절히, 생략 및 간략화가 이루어져 있다. 본 발명은, 다른 다양한 형태로도 실시하는 것이 가능하다. 특별히 한정하지 않는 한, 각 구성 요소는 단수여도 복수여도 상관없다.
도면에 있어서 나타내는 각 구성 요소의 위치, 크기, 형상, 범위 등은, 발명의 이해를 용이하게 하기 위해, 실제의 위치, 크기, 형상, 범위 등을 나타내고 있지 않은 경우가 있다. 이 때문에, 본 발명은, 반드시, 도면에 개시된 위치, 크기, 형상, 범위 등에 한정되지는 않는다.
또한, 이하의 설명에서는, 프로그램을 실행하여 행하는 처리를 설명하는 경우가 있지만, 프로그램은, 프로세서(예를 들어 CPU(Central Processing Unit), GPU(Graphics Processing Unit))에 의해 실행됨으로써, 정해진 처리를, 적절하게 기억 자원(예를 들어 메모리) 및/또는 인터페이스 디바이스(예를 들어 통신 포트) 등을 사용하면서 행하기 때문에, 처리의 주체가 프로세서로 되어도 된다. 마찬가지로, 프로그램을 실행하여 행하는 처리의 주체가, 프로세서를 갖는 컨트롤러, 장치, 시스템, 계산기, 노드여도 된다. 프로그램을 실행하여 행하는 처리의 주체는, 연산부이면 되고, 특정 처리를 행하는 전용 회로(예를 들어 FPGA(Field-Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit))를 포함하고 있어도 된다.
또한, 본 명세서에 있어서, 생체 특징이란, 손가락 정맥, 지문, 관절 모양, 피부 모양, 손가락 윤곽 형상, 지방 소엽문, 각 손가락의 길이의 비율, 손가락 폭, 손가락 면적, 멜라닌 모양, 손바닥 정맥, 손금, 손등 정맥, 얼굴 정맥, 귀 정맥, 혹은 얼굴, 귀, 홍채 등의 해부학적으로 다른 생체의 특징을 의미한다.
[실시예 1]
도 1a는 본 실시예에 있어서 손의 손가락의 생체 특징을 사용한 생체 인증 시스템(1000)의 전체의 구성의 일례를 도시하는 도면이다. 또한, 본 실시예의 구성은 시스템으로서가 아니라, 모두 또는 일부의 구성을 하우징에 탑재한 장치로서의 구성으로 해도 되는 것은 물론이다. 장치는, 인증 처리를 포함한 개인 인증 장치로 해도 되고, 인증 처리는 장치 외부에서 행하고, 손가락의 화상의 취득에 특화된 손가락 화상 취득 장치, 손가락의 특징 화상 추출 장치로 해도 된다. 또한, 단말기로서의 실시 형태여도 된다. 적어도, 생체를 촬영하는 촬상부와, 촬영된 화상을 처리하여, 생체의 인증을 행하는 인증 처리부를 구비하는 구성을 생체 인증 장치라 칭한다.
도 1a에 도시한 본 실시예의 생체 인증 시스템(1000)은, 촬상부인 입력 장치(2), 인증 처리 장치(10), 기억 장치(14), 표시부(15), 입력부(16), 스피커(17) 및 화상 입력부(18)를 포함한다. 입력 장치(2)는, 하우징 내부에 설치된 촬상 장치(9)를 포함하고, 그 하우징에 설치된 광원(3)이 포함되어 있어도 된다. 인증 처리 장치(10)는 화상 처리 기능을 구비한다.
광원(3)은, 예를 들어 LED(Light Emitting Diode) 등의 발광 소자이며, 입력 장치(2)의 상방에 제시된 손가락(1)에 광을 조사한다. 광원(3)은 실시 형태에 따라 다양한 파장을 조사할 수 있는 것이어도 되고, 또한 생체의 투과광을 조사할 수 있는 것이어도 되고, 또한 생체의 반사광을 조사할 수 있는 것이어도 된다.
촬상 장치(9)는, 입력 장치(2)에 제시된 손가락(1)의 화상을 촬영한다. 또한, 동시에 얼굴, 홍채, 손등, 손바닥 등의 생체를 촬영해도 된다. 촬상 장치(9)는, 복수의 파장의 광을 촬영할 수 있는 광학 센서이며, 컬러 카메라여도 되고, 가시광에 더하여 자외광 혹은 적외광을 동시에 촬영할 수 있는 멀티스펙트럼 카메라여도 된다. 또한 피사체의 거리를 계측할 수 있는 거리 카메라여도 되고, 또한 동일한 카메라를 복수 조합한 스테레오 카메라의 구성이어도 된다. 입력 장치(2)에는 이와 같은 복수의 촬상 장치를 포함하고 있어도 된다. 또한, 손가락(1)은 복수개여도 되고, 양손의 복수 손가락을 동시에 포함해도 된다.
화상 입력부(18)는, 입력 장치(2) 내의 촬상 장치(9)에서 촬영된 화상을 취득하고, 취득한 화상을 인증 처리 장치(10)에 출력한다. 화상 입력부(18)로서는, 예를 들어 화상을 판독하기 위한 각종 리더 장치(예를 들어, 비디오 캡처 보드)를 사용할 수 있다.
인증 처리 장치(10)는, 예를 들어 중앙 처리부 (CPU)(11), 메모리(12), 다양한 인터페이스(IF)(13), 및 통신부(19)를 포함하는 컴퓨터로 구성된다. CPU(11)는, 메모리(12)에 기억되어 있는 프로그램을 실행함으로써 인증 처리 등의 각 기능부를 실현한다.
도 1b는 인증 처리 장치(10)의 각 기능을 실현하기 위해, 메모리(12)에 저장되어 있는 프로그램의 기능 구성의 일례를 도시하는 도면이다. 도 1b에 도시한 바와 같이, 인증 처리 장치(10)는, 개인의 생체 특징을 개인 ID와 관련지어 미리 등록하는 등록 처리부(20), 현재 촬상하여 추출한 생체 특징을 등록되어 있는 생체 정보에 기초하여 인증하여 인증 결과를 출력하는 인증 처리부(21), 입력된 화상에 대하여 노이즈 제거나 생체의 위치 검출 등을 행하는 화상 처리부(22), 촬영된 복수의 파장의 영상을 각각의 파장의 영상으로 분리하는 분광 처리부(23), 생체의 배경에 투영되는 불필요한 피사체를 제거하는 배경 제거부(24), 생체가 인증에 적합한 자세가 되도록 이용자를 유도함과 함께 생체의 자세 변동을 보정하는 자세 보정부(25), 등록 처리나 인증 처리 시에 생체 특징을 추출하는 특징 추출부(26), 생체 특징의 유사도를 비교하는 대조부(27), 및 입력 장치의 각 광원의 조사광의 강도를 적절하게 조정하는 광량 조정부(28)의 각종 처리 블록으로 구성되어 있다. 이들 각종 처리에 대해서는 후에 상술한다. 메모리(12)는, CPU(11)에 의해 실행되는 프로그램을 기억한다. 또한, 메모리(12)는, 화상 입력부(18)로부터 입력된 화상 등을 일시적으로 기억한다.
인터페이스(13)는, 인증 처리 장치(10)와 외부의 장치를 접속한다. 구체적으로는, 인터페이스(13)는, 입력 장치(2), 기억 장치(14), 표시부(15), 입력부(16), 스피커(17), 및 화상 입력부(18) 등과 접속하기 위한 포트 등을 가진 기기이다.
통신부(19)는, 인증 처리 장치(10)가 통신 네트워크(30) 경유로 외부의 장치와 통신을 행하기 위한 것이다. 통신부(19)는, 통신 네트워크(30)가 유선 LAN이면 IEEE802.3 규격에 준한 통신을 행하는 장치이고, 통신 네트워크(30)가 무선 LAN이면 IEEE802.11 규격에 준한 통신을 행하는 장치이다.
기억 장치(14)는, 예를 들어 HDD(Hard Disk Drive)나 SSD(Solid State Drive)로 구성되어, 이용자의 등록 데이터 등을 기억한다. 등록 데이터는, 등록 처리 시에 얻어지는 이용자를 대조하기 위한 정보이며, 예를 들어 등록자 ID에 관련지어진 손가락 정맥 패턴 등의 화상 데이터나 생체 특징 데이터이다. 손가락 정맥 패턴의 화상은, 손가락의 피하에 분포하는 혈관인 손가락 정맥을 어두운 그림자의 패턴 혹은 약간 푸른 빛을 띤 패턴으로서 촬영한 화상이다. 또한 손가락 정맥 패턴의 특징 데이터는, 정맥 부분의 화상을 2치 내지 8비트 화상으로 변환한 데이터, 혹은 정맥의 굴곡부, 분기, 단부점 등의 특징점의 좌표 혹은 특징점 주변의 휘도 정보로부터 생성한 특징량을 포함하는 데이터이다.
표시부(15)는, 예를 들어 액정 디스플레이이며, 인증 처리 장치(10)로부터 수신한 정보 및 상기 생체의 자세 유도 정보 및 자세 판정 결과를 표시하는 출력 장치이다. 입력부(16)는, 예를 들어 키보드나 터치 패널이며, 이용자로부터 입력된 정보를 인증 처리 장치(10)에 송신한다. 또한, 표시부(15)는, 터치 패널 등의 입력 기능을 갖고 있어도 된다. 스피커(17)는, 인증 처리 장치(10)로부터 수신한 정보를, 예를 들어 음성 등의 음향 신호로 발신하는 출력 장치이다.
도 2의 (a), (b)는 본 실시예에서 상세하게 설명하는 입력 장치(2)의 단면도(도 2의 (a)), 및 상면도(도 2의 (b))이다. 생체를 촬영하기 위한 광원(3)에 대응하는 것으로서, 가시 광원(41) 및 적외 광원(42)이 하우징의 상부에 구비되어 있고, 각각의 광원으로부터 손가락(1)을 향하여 가시광 및 적외광을 조사한다. 가시광과 적외광은 예를 들어 각각의 중심 파장이 530㎚와 850㎚인 광이다. 이들 2파장의 광은 손가락(1)의 표면 및 표면 아래에서 반사, 흡수, 산란된 후에 입력 장치(2)에 반사광으로서 도달한다.
가시광은 주로 피부 표면의 미세한 주름, 지문, 손가락 관절의 주름, 지방 소엽이나 멜라닌 모양 등에 기인하는 반점상의 특징을 촬영하고, 또한 적외광은 주로 피하의 혈관 특징을 촬영하는 것이다. 그 때문에, 본 실시예에 기재한 중심 파장이나 파장의 종류수에 한정되지 않고, 이용하고 싶은 생체 특징을 촬영하기 위해 알맞은 복수의 파장의 조합 범위에서 임의로 설정할 수 있다. 본 실시예와 같이 2파장을 조사하는 장치 구성이면, 촬영할 수 있는 생체 특징의 베리에이션은 1파장의 경우에 비해 증가할 수 있고, 또한 장치 구성은 크게 복잡화되지 않기 때문에, 비교적 심플한 구성으로 인증 정밀도를 비약적으로 향상시킬 수 있다.
손가락(1)에서 반사된 광은 장치 상면 커버(43)를 통과함과 함께, 대역 통과 필터(44)를 통과하여 카메라(9)에 도달한다. 장치 상면 커버(43)는 가시광 및 적외광에 대하여 투명의 부재로 형성되며, 외부로부터 장치 내에 먼지 등이 들어가지 않도록 장치를 보호한다. 대역 통과 필터(44)는, 적어도 상기 가시 광원(41) 및 적외 광원(42)의 조사광을 통과시키고, 또한 상기 광원으로부터는 발광하지 않는 특정 일부의 파장 대역을 통과시키고, 그 이외의 파장을 차단하는 성질을 갖는다. 이 특성에 대해서는 후술한다. 또한, 장치 상면 커버(43)에 대역 통과 필터(44)의 광학적인 특성을 갖게 해도 된다. 그 경우, 장치 상면 커버(43)는 장치의 내부 구조를 시각적으로 덮어 가리는 효과가 얻어진다. 또한, 본 실시예에 있어서의 카메라(9)는 RGB의 3파장의 CMOS 센서 어레이를 갖고, 또한 그들 센서는 높은 적외 감도를 갖는 컬러 카메라인 것으로 하지만, 이것에 한정되는 것은 아니다.
가시 광원(41) 및 적외 광원(42)의 주위에는 차광부(45)가 마련되어 있다. 광원으로부터의 광이 장치 내부를 직접 조사해 버리면, 장치 내부의 구조물이 카메라에 투영되거나, 스미어 노이즈나 고스트가 발생하거나 하는 경우가 있어, 화상 상에 불필요한 노이즈가 투영되어 버린다. 그래서 차광부(45)를 마련함으로써 불필요한 광의 침입을 방지하여, 화질을 향상시킬 수 있다.
가시 광원(41) 및 적외 광원(42)은, 입력 장치 상부에 제시되는 복수의 손가락을 균일하게 조사하기 위해, 본 실시예의 구성에서는 장치의 4코너에 배치되어 있고, 각각이 독립적으로 발광 강도를 조정할 수 있다. 이에 의해, 피사체인 손가락에 전체적으로 불균일없이 최적의 밝기로 조사할 수 있어, 생체의 고화질 촬영이 가능해진다. 또한, 광원의 배치는 4코너에 한정되는 것은 아니고, 예를 들어 카메라(9)를 중심으로 한 동심원상으로 배치해도 되고, 혹은 면광원으로서 전체적으로 배치해도 된다.
도 3은 대역 통과 필터(44)의 분광 투과율 특성의 일례와, 가시 광원(41) 및 적외 광원(42)의 발광 강도 특성의 일례를 도시한 모식도이다. 본 실시예에 있어서의 대역 통과 필터는 2개의 대역의 파장을 통과시키고, 그 이외의 대역의 파장을 차단하는, 2대역 통과 필터의 구성이다. 통과하는 대역의 하나는 적외광 투과 대역(61)이며, 적외 광원의 발광 강도 특성(64)에 나타나는 특성을 갖는 적외 광원(42)의 중심 파장인 850㎚를 포함하는, 대략 800㎚ 내지 900㎚의 파장 대역의 광을 통과시킨다. 다른 하나의 통과 대역은 가시 광원의 발광 강도 특성(65)에 나타나는 특성을 갖는 가시 광원(41)의 중심 파장인 530㎚를 포함하는, 대략 430㎚ 내지 600㎚의 가시광 투과 대역(62)이며, 이 대역은 대략 청색 내지 녹색의 광을 투과시킨다. 그리고 그 이외의 파장의 광은 차단된다. 그 이외의 파장의 광을 차단함으로써, 생체의 촬영에 불필요한 광 성분이 제거되기 때문에, 화질이 향상되는 효과를 갖는다.
또한, 도 3에 도시한 상기 가시광 투과 대역(62)과 가시 광원의 발광 강도 특성(65)을 비교하면, 가시 광원(41)이 발광할 수 없는 파장인, 대략 420㎚ 내지 500㎚의 파장 대역도 아울러 투과하도록 설계되어 있다. 즉, 대역 통과 필터(44)는, 장치 광원이 발광하는 2파장에 더하여, 그 이외의 파장 대역의 일부를 통과시키는 대역인 외광 투과 대역(63)을 갖는다. 특히, 외광 투과 대역(63)을 투과하는 광은, 장치에 구비되어 있는 광원으로부터 발광된 것이 아닌 광, 즉 주로 장치가 설치되어 있는 환경에 기인하는 광원으로부터 발해진 광이며, 즉 외광이 촬영된다. 외광의 검출 방법에 대해서는 후술한다.
도 4 및 도 5는 각각 본 실시예에서 설명하는 손가락의 개인 특징을 사용한 생체 인증 기술의 등록 처리와 인증 처리의 개략 플로의 일례를 도시하는 도면이다. 이 등록 처리와 인증 처리는, 예를 들어 상술한 인증 처리 장치(10)의 CPU(11)가 실행하는 프로그램에 의해 실현된다. 또한, 본 실시예에서는 3개의 손가락을 촬영하는 것을 전제로 하여 설명하지만, 1개의 손가락 혹은 그 이외의 임의의 손가락의 개수여도 된다.
처음에 도 4의 등록 처리의 흐름에 대하여 설명한다. 이용자에 의한 등록 처리의 지시에 의해 등록 처리부(20)가 기동되고, 먼저, 시스템은 이용자에게 손가락의 제시를 촉구하는 가이드를 표시부(15)에 표시하고, 이것에 따라서 이용자가 입력 장치(2)에 손가락(1)을 댄다(S401). 표시부(15)에 표시하는 가이드의 일례로서는, 손가락을 3개 대는 이상적인 대는 방법을 도시함과 함께, 「3개 손가락을 대 주세요」 등의 문장을 표시할 수 있다. 이것을 받아서 이용자는 가이드에 따라서 입력 장치(2)의 상부에 손가락을 댄다. 또한 본 실시예에서는 손가락을 장치로부터 약간 뜨게 하여 대는 것을 상정하지만, 손가락의 적재부를 마련하여 물리적으로 접촉시켜도 된다. 또한, 가이드의 표시는 표시부(15)뿐만 아니라, 별도 가이드용의 광원을 탑재하고, 손가락(1)에 조사하여 그 색이나 점멸 패턴으로 유도해도 된다. 그때, 예를 들어 적절한 거리나 위치에 대어져 있지 않은 경우에는 적색, 적절하게 대어진 경우에는 청색 등으로 표현할 수 있다. 혹은, 음성에 의해 적절한 위치에 대어졌는지 여부를 표현해도 된다.
다음에, 손가락이 입력 장치의 상부에 대어진 것을 확인하기 위한 손가락 검지 처리를 행한다(S402). 그 일 실시예로서, 가시 광원(41) 혹은 적외 광원(42)을 소정의 강도로 점등시키면서 촬영을 행하고, 미리 설정한 화상의 중앙 부근의 부분 영역의 평균 휘도가 일정값을 초과한 경우에 손가락이 존재한다고 판정할 수 있다. 이때, 외광의 영향을 완화하기 위해 당해 광원을 점멸시켜 명암 2매의 화상의 차분 화상으로부터 손가락의 존재를 판정해도 된다.
다음에, 광량 조정부(28)를 기동하여, 가시 광원(41)과 적외 광원(42)의 조사광의 강도를 적절하게 조정하는 광량 조정 처리를 실시한다(S403). 본 실시예에서는 카메라(9)는 컬러 카메라이며, 가시 광원(41)과 적외 광원(42)의 양쪽의 파장을 동시에 촬영할 수 있다. 그래서, 상기 미리 설정한 화상의 중앙 부근의 부분 영역에 있어서, 양쪽 파장을 동시에 조사하였을 때 당해 영역의 화소값에 백색 날림이나 흑색 포화가 발생하지 않도록, 또한 양쪽 파장의 광 강도의 밸런스가 동일 정도가 되도록, 각각의 장소 및 파장의 광원의 광 강도를 제어한다. 이에 의해, 후단의 분광 처리에서 얻어지는 2파장의 영상을 모두 적절한 밝기로 촬영할 수 있다. 또한, 광량 조정 처리는 후단의 손가락 자세 검지(S406)를 실시한 후에 행해도 된다. 그 경우, 손가락의 위치가 검출된 상태이기 때문에, 손가락 전체가 균일하게 조명되도록 광원을 개별 제어하는 것이 가능해진다. 또한 마찬가지로, 광량 조정 처리에 손가락 자세 검지 처리를 포함시켜도 되고, 그 경우에는 보다 간소화한 손가락 자세 검지 처리로 고속으로 실시해도 된다.
다음에, 분광 처리부(23)를 기동하고, 동시에 촬영한 복수의 파장의 광을 파장마다 분리하는 분광 처리를 행하고(S404), 그 결과에 기초하여 촬영한 영상 중으로부터 손가락의 부분만을 취출하는 배경 제거 처리를, 배경 제거부(24)를 기동하여 실시한다(S405). 이들 처리의 상세는 후술한다.
그리고, 손가락만의 영상 중으로부터 복수의 손가락의 손가락 끝, 손가락 근원(根元), 손가락 폭의 정보를 취출하는 손가락 자세 검지 처리를 행한다(S406). 복수의 손가락 끝 및 손가락 근원의 위치를 획득하는 일 실시예로서는, 먼저 배경 제거된 손가락 영역의 윤곽을 획득하고, 윤곽선 상을 추적하여 손가락 영역 내측의 곡률을 구하여, 손가락 영역이 볼록이며 또한 그 윤곽선의 가장 곡률이 높은 부분을 손가락 끝으로 결정한다. 마찬가지로, 손가락 영역이 오목이며 또한 그 윤곽선의 가장 곡률이 높은 부분을 손가락과 손가락 사이로 결정한다. 또한 손가락 폭의 결정 방법의 일 실시예로서는, 손가락의 양측면에 있는 2개의 손가락과 손가락 사이의 점을 연결하는 선의 중점을 손가락 근원이라 하고, 당해 손가락의 손가락 끝과 손가락 근원을 연결하는 선분을 당해 손가락의 중심축으로 정의하고, 상기 중심축의 중점을 지나 상기 중심축과 직교하는 선이, 당해 손가락의 손가락 윤곽선과 교차하는 2점 사이의 거리를, 손가락의 폭으로 정의할 수 있다.
다음에, 손가락이 적절하게 대어져 있는 것을 판정하는 손가락 자세 판정을 행한다(S407). 손가락 자세 판정에서는, 상기 손가락 자세 검지의 결과에 기초하여, 손가락의 위치가 적절한 위치에 존재하는 것이나, 손가락이 일정 시간 정지하고 있는 것을 판정한다. 손가락 정지 검지의 일 실시예로서, 상기 손가락 끝의 위치 등의 손가락 자세 정보가 시간적으로 변화되지 않는 것을 확인하면 된다. 또한, 손가락을 완전히 정지하는 것은 곤란하기 때문에, 어떤 일정한 이동량의 범위에 들어가 있는 경우에는 손가락 정지되어 있다고 판정해도 된다. 그런데도, 손가락이 정지하고 있지 않은 경우나 손가락이 보이는 것이 너무 먼 경우(카메라로부터 손가락이 이격되어 있어, 손이 작게 보이는 경우) 등, 적절한 자세가 아닌 경우에는 그 취지를 가이드 표시하고, 도시는 생략하지만, 다시 손가락의 제시를 촉구하는 처리(S401)로 되돌아간다.
다음에, 자세 보정부(25)를 기동하여, 검출된 모든 손가락의 굵기와 방향을 정규화하는 자세 보정 처리를 실시한다(S408). 본 실시예에서는, 검출된 모든 손가락을 손가락마다 1매의 화상으로서 잘라내는, ROI(Region of Interest) 화상을 획득하는 것을 상정한다. ROI 화상의 생성 방법으로서는, 각 손가락의 손가락 끝의 점 및 양측면의 손가락과 손가락 사이의 2점을 내부에 포함하고, 또한 손가락의 중심축이 화상의 횡축과 평행하게 되도록 회전하고, 또한 각 손가락의 손가락 폭이 일정값이 되도록 확대 축소한 화상을 생성하는 것으로 한다. 이에 의해, 모든 손가락의 ROI 화상에 비치는 화상 상의 손가락의 방향과 굵기가 통일화된다. 이와 같은 방법에 기초하여 손가락의 자세를 보정할 수 있다. 또한, 각 손가락의 ROI 화상은 가시광 화상 및 적외광 화상의 2종류 획득할 수 있지만, 기본적으로 양쪽 파장의 화상은 동시에 촬영된 것이기 때문에, 어느 한쪽의 파장의 화상에서 ROI 화상을 생성하기 위한 잘라내기 위치, 회전량, 확대량을 결정하면, 다른 한쪽의 파장 화상은 그 결과를 그대로 이용할 수 있다.
계속해서, 특징 추출부(26)를 기동하여, 가시광 화상으로부터 피부의 주름 모양, 지방이나 멜라닌의 모양 등을 포함하는 표피 특징을 추출하고, 또한 적외 화상으로부터 정맥 특징을 추출하는, 특징 추출 처리를 행한다(S409). 이들 생체 특징의 획득 방법으로서는, 일반적인 에지 강조 필터, 가보 필터, 매치드 필터 등의 필터링 처리에 의해, 표피나 혈관의 선 패턴 특징이나, 지방 소엽의 반점 특징 등의 생체 특징을 강조하고, 그 결과를 2치화 혹은 3치화하거나 하여 생체 특징을 획득할 수 있다. 혹은 SIFT(Scale-Invariant Feature Transform) 특징량 등의 키 포인트로부터 휘도 구배 특징을 추출하는 방법으로 획득해도 된다. 어쨌든, 화상으로부터 생체 특징을 추출하고, 그것들의 서로의 유사도를 산출할 수 있는 어떠한 특징량이어도 된다.
그 후, 추출된 패턴이 적절한 것인 것과, 촬영된 손가락이 이물이나 위조물이 아닌 것을 검출하는 데이터 적정 판정을 실시한다(S410). 만약 이 판정 결과가 부적정인 경우에는 다시 손가락의 제시를 촉구하는 처리로 되돌아가지만(도시는 생략함), 판정 결과가 적정이면 추출한 특징 데이터를 등록 후보로서 축적한다(S411). 데이터 적정 판정 처리의 일 실시예로서는, 혈관 패턴과 같은 선 특징이면서도 연속성이 높은 패턴을 추출할 수 없거나, 혹은 진짜 손가락에서는 관측되는 일이 없는 강한 에지가 원화상으로부터 관측되거나 한 경우에는, 패턴의 추출에 실패하였다거나, 혹은 위조물이 입력되었다고 하여 기각할 수 있다. 혹은, 손가락의 혈류의 변화에 수반되는 화상 휘도의 맥동을 동화상으로부터 검지하고, 맥동을 검출할 수 없는 경우에는 기각하는 방법이어도 된다.
그리고, 이들(S401 내지 S411)을 반복하여 등록 후보가 3회분 축적되었는지 여부를 판정하고(S412), 3회 축적된 경우에는 등록 선택 처리를 행한다(S413). 등록 선택 처리의 일 실시예로서는, 3회분의 등록 후보의 특징 데이터를 각각 전부 대조하여 각 후보간의 유사도를 산출하고, 다른 후보와의 2건의 유사도의 합계가 가장 높은 등록 후보를, 등록 데이터로서 선택하는 방법이 있다. 이 방법에 의하면 3회 촬영한 것 중에서 가장 재현되기 쉬운 안정된 특징 데이터가 등록되기 때문에, 인증 정밀도가 향상된다.
단, 이때 선택된 등록 데이터와 다른 후보와의 2건의 유사도가 양쪽 모두 동일 패턴으로 인정되지 않는 값이었던 경우에는, 3회분의 등록 후보가 모두 불안정한 생체 특징이었던 것으로 간주하고, 등록 데이터가 결정되지 않은 것으로 한다. 그리고 등록에 적합하다고 여겨지는 1개의 특징 데이터가 결정되었는지 여부를 판정하고(S414), 결정된 경우에는 그 특징 데이터를, 등록 처리의 개시 시에 등록자에 의해 입력된 등록자 ID에 관련지어 등록 데이터로서 기억 장치(14)에 보존하고(S415), 결정되지 않은 경우에는 등록에 실패한 상황을 보고한다(S416). 또한, 등록에 실패한 경우에는 몇 번이나 등록 처리를 반복해도 된다.
계속해서 도 5의 인증 처리의 흐름에 대하여 설명한다. 인증 처리는, 이미 등록 처리에 의해 개인의 생체 정보를 등록한 이용자가, 생체 인증 시스템(1000)에 등록 본인인 것을 인증시키는 처리이다. 인증 처리는, 이용자가 제시한 생체를 촬상하여, 생체의 특징량을 추출하고, 등록 데이터의 각 특징 데이터와 대조하여, 본인이라고 판정할 수 있는 등록 데이터가 있는 경우에는 인증 성공 결과와 등록자 ID를 출력하고, 본인이라고 판정할 수 있는 등록 데이터가 없는 경우에는 인증 실패 통지를 출력한다.
이용자에 의한 인증 처리의 지시에 의해 인증 처리부(21)가 기동되고, 손가락의 제시를 촉구하는 가이드의 표시(S501)부터 데이터 적정 판정(S510)까지는 도 4의 등록 처리와 마찬가지이기 때문에 설명을 생략한다.
계속해서, 대조부(27)를 기동하여, 가시광 화상 및 적외광 화상으로부터 특징 추출을 행하여(S509) 획득한 인증 데이터와, 미리 기억 장치(14)에 등록되어 있는 1건 이상의 등록 데이터(통상, 복수의 등록자가 등록되어 있는 것을 상정함)를 순차적으로 대조한다(S511).
대조 처리에서는, 추출된 표피 특징 및 정맥 특징에 대하여 각각 등록 데이터(1건의 등록 데이터의 표피 특징 및 정맥 특징)와의 유사도를 산출한다. 여기에서는 상기 유사도의 산출의 일 실시예에 대하여 설명한다. 먼저, 본 실시예에서는 등록 데이터 및 인증 데이터는 어느 쪽이라도 3손가락분의 생체 특징 데이터를 갖는 것으로 하고 있지만, 여기에서는 검출된 손가락의 위치에 기초하여 각각 대응하는 손가락의 페어를 결정하고, 페어끼리의 손가락으로 상기 유사도를 산출한다. 또한, 유사도는 동일한 생체 부위끼리의 생체 특징을 비교한다. 이때, 3손가락의 페어에 대하여 표피 특징과 정맥 특징의 2가지의 유사도가 각각 산출되기 때문에, 1건의 등록 데이터에 대하여 합계로 6건의 유사도가 획득된다.
본 실시예에서는, 이 6건의 유사도를 6차원의 스코어로 간주함과 함께, 6차원 공간 상에, 미리 동일 인물로부터 얻어진 복수의 인증 데이터끼리를 대조시켜 얻은 6건의 유사도를 포함하는 플롯점과, 다른 인물로부터 얻어진 복수의 인증 데이터끼리를 대조시켜 얻은 6건의 유사도를 포함하는 플롯점을 대량으로 획득하여 기록한 데이터베이스를 구성한다. 그리고, 데이터베이스 상의 본인끼리의 대조 결과의 플롯점의 집합과 타인끼리의 대조 결과의 플롯점의 집합을 5차원의 초평면에서 분리할 수 있는 경우에, 예를 들어 퍼셉트론에 의해, 그 양쪽 집합의 비율에 기초하여, 6차원의 스코어에 대한 본인 영역과 타인 영역의 경계 초평면(인증 역치)을 산출해 둔다.
그리고, 인증 데이터의 대조 처리에서 얻어진 6차원의 스코어가 본인 영역에 포함되는지 여부를, 상기 경계 초평면(인증 역치)과의 위치 관계에 의해 판정하여, 본인 영역에 포함되면 등록 데이터와 유사하다고 판정한다(S512). 6차원의 스코어가 본인 영역에 포함되는 경우에는 해당 등록 데이터와 유사하다고 판단할 수 있기 때문에 인증 성공 결과와 해당 등록 데이터에 관련지어져 있던 등록자 ID를 출력하고(S513), 그렇지 않은 경우에는 모든 등록 데이터와의 인증에 실패하였다는 취지의 통지(등록자 본인이라고는 인증할 수 없었다는 취지의 통지)를 출력한다(S514).
상기에서 예시한 6차원의 스코어에 기초하여 유사도를 판정하는 방법은, 어떤 하나의 손가락의 유사도가 낮아져 버린 경우라도, 나머지 2손가락의 유사도가 높은 경우에는 본인이라고 판정할 수 있고, 또한 표피 특징의 유사도가 낮아져 버린 경우라도 정맥 특징의 유사도가 높은 경우에는 본인이라고 판정할 수 있다. 이와 같은 판정 방법에 의하면, 예를 들어 손가락을 놓는 방법의 영향이나 손가락을 다친 영향 등으로 우발적으로 일부의 손가락의 특징이 유사성을 상실한 경우라도, 그 이외의 손가락이나 특징량이 전체의 유사성을 보충하기 때문에, 등록자 본인이면 올바르게 인증할 수 있는 이점이 있다. 또한, 미리 대량으로 획득한 데이터에 의해 판정 기준을 정하는 방법은, 기준 그 차제를 자동적으로, 또한 정확하게 정할 수 있는 이점을 갖는다.
대조 처리에서는, 대조하는 대상의 등록 데이터가 복수 있는 경우에는, 순차적으로 1건마다의 등록 데이터와 인증 데이터를 대조하여 6개의 유사도를 산출하고, 모든 등록 데이터와의 대조를 행한 후, 6개의 유사도의 합계값, 또는 평균값이 가장 높은 등록 데이터를 선택한다(S511). 그리고, 선택된 등록 데이터의 6차원의 스코어가 상기 본인 영역에 포함되는지 여부에 의해 등록 데이터와 유사한지를 판정한다(S512).
또한, 인증 데이터와 등록 데이터가 유사한지를 판정하기 위해, 대조에 의해 얻어진 6차원의 스코어가 상기 경계 초평면(인증 역치)과의 관계로부터 본인 영역에 포함되는지 여부를 판정하는 방법 이외에도, 6개의 유사도의 평균값에 의해 판정하거나, 각 손가락의 2개의 유사도를 평균한 값 중 가장 값이 높은 2손가락의 평균값으로 판정하거나 해도 된다.
또한, 도 5의 인증 처리의 흐름도 S511 내지 S514의 처리의 다른 방법으로서, 대조 처리에서, 대조하는 대상의 등록 데이터가 복수 있는 경우에, 순차적으로 1건의 등록 데이터와 인증 데이터를 대조하여 6개의 유사도를 산출하고, 6차원의 스코어가 상기 경계 초평면(인증 역치)과의 관계로부터 본인 영역에 포함되는지를 판정하여, 본인 영역에 포함되면 해당 등록 데이터로 인증을 성공한 출력(등록자 ID)을 하여 처리를 종료한다. 본인 영역에 포함되지 않으면, 다음 등록 데이터를 선택하여 대조 처리를 반복하고, 모든 등록 데이터에서 인증이 성공하지 않으면 인증 실패 통지를 출력하는 방법이어도 된다.
여기서, 상술한 도 4 및 도 5의 처리 플로에 포함되는 분광 처리의 일 실시예를 설명한다. 도 6은 카메라(9)의 분광 감도 특성과 촬영하는 광원의 중심 파장을 도시한 모식도이다. 그래프의 횡축은 파장이며, 종축은 카메라(9)에 구비되는 청색, 녹색, 적색의 각각의 수광 소자의 분광 감도 특성(121, 122, 123)의 일례이다. 또한, 가시 광원(41) 및 적외 광원(42)의 발광 중심 파장도 아울러 나타냈다.
대역 통과 필터(44)를 투과하는 광은, 입력 장치에 탑재되어 있는 적외 광원 및 가시 광원의 2파장에 더하여 주위 환경에 기인하는 외광의 파장, 합계 3파장의 성분이 포함된다. 이들 파장의 광은 혼합된 상태에서 청색, 녹색, 적색의 수광 소자에 의해 동시에 검지된다. 이때의 청색, 녹색, 적색의 각 수광 소자가 수광하는 수광량은, 상기 3파장의 광 강도에 수광 소자의 수광 감도를 곱한 값의 총합이기 때문에, 각 수광 소자의 수광량과 각 파장의 광 강도의 관계는 이하에 나타내는 수식 (1)에 의해 기술할 수 있다. 단, 컬러 카메라의 청색, 녹색, 적색의 각 센서의 수광량을 각각 PB, PG, PR이라 하고, 각 파장의 광 강도를 I850, I530, I470이라 하고, 파장 λ(단 λ={470, 530, 850}[㎚])의 광을 수광하였을 때의 수광 소자 E(단 E={B, G, R})가 반응하는 감도를 WEλ라 한다.
Figure pat00001
여기서 수식 (1)을 벡터 표기하면 이하와 같이 된다. 또한, T는 전치를 나타낸다.
Figure pat00002
Figure pat00003
분광 처리란, 각 파장의 광 강도 Iλ를 개별로 취출하는 것이다. 즉, 이 연립 방정식으로부터 I470, I530, I850을 각각 구하면 된다. W의 역행렬을 W-1이라 하면, 각 파장의 광 강도는 이하와 같이 된다.
Figure pat00004
이 수식 (4)로부터 각 파장의 광 강도 Iλ를 구하기 위해서는, 이 식에 포함되는, PB, PG, PR을 촬영된 컬러 화상의 화소값으로부터 판독하고, 또한 W의 값은 도 6으로부터 판독함으로써, 미지수인 I470, I530, I850이 얻어진다.
이 해석에 의해, 장치의 적외 광원에 기인하는 광 강도 I850 및 장치의 가시 광원에 기인하는 광 강도 I530에 더하여, 주위 환경의 광원이 발광하는 외광의 광 강도 I470을 각각 획득할 수 있다.
도 7은 생체의 촬영 시에 불필요한 외광이 촬영된 경우의 배경 제거의 설명도이다. 일반적으로, 직사광선이나 석양 등의 태양광, 형광등이나 백열등, LED 등의 조명 기기의 광이 외광으로서 촬영되는 경우가 많다. 태양광의 광 스펙트럼은 폭넓게 다양한 파장을 전체적으로 포함하고, 또한 백열등도 태양광에 가까운 스펙트럼 특성을 갖는다. 형광등이나 LED의 스펙트럼은 기기에 따라 다르지만, 대부분의 조명은 백색이 많고, 또한 백색 LED는 청색의 스펙트럼을 포함하여 발광한다. 즉, 외광의 대부분은 폭넓은 파장 대역을 갖기 때문에, 상기 외광 투과 대역을 투과한 파장인 470㎚ 부근의 청색의 성분을 포함하는 경우가 많다.
도 7의 (a)는 천장(141)에 외광(142)이 반사된 경우에 카메라(9)에 촬영되는 광의 모식도이다. 외광은 예를 들어 태양광이 주위 환경에 반사되어 촬영되지만, 여기에서는 외광이 천장에 반사된 것으로 한다. 외광(142)은 천장(141)에서 반사되어, 손가락(1)의 간극을 통해 장치 상면 커버(43)를 투과하고, 또한 대역 통과 필터(44)를 투과하여 카메라(9)에 도달한다. 이때, 외광(142)은 대역 통과 필터(44)의 특성에 따라, 가시광 투과 대역, 적외광 투과 대역, 및 외광 투과 대역의 파장 성분만이 카메라(9)에 의해 촬영된다. 또한, 가시 광원(41) 및 적외 광원(42)은 손가락(1)에 의해 반사되어, 천장(141)에는 도달하지 않는다(거리가 이격되어 있으므로, 반사되어 되돌아가는 양은 무시할 수 있다). 이때, 카메라(9)에 의해 촬영된 외광 환경 시의 손가락 화상(143)에는, 도 7의 (b)에 도시된 바와 같이 손가락(1)의 부분과 천장(141)의 부분이 모두 밝게 관측되어, 손가락의 윤곽선과 천장 부분을 판별하기 어려운 상태가 된다.
도 7의 (c)는 외광 투과 대역을 갖지 않는 대역 통과 필터를 구비한 경우의 가시광 화상 및 적외 화상의 일례이다. 외광 투과 대역을 갖지 않는 경우, 가시 광원 및 적외 광원의 대역만 촬영되기 때문에, 도 7의 (c)와 같이 2파장분의 분광 화상이 얻어진다. 전술한 바와 같이 외광은 폭넓은 스펙트럼을 갖기 때문에, 천장 부분을 비춘 광은 가시광 및 적외의 대역의 광 성분도 갖는다. 그 때문에, 외광이 조명되면 가시 광원 및 적외 광원과는 구별할 수 없는 형태로 외광이 촬영된다. 따라서 전술한 바와 같이 분광 처리를 행하여 가시광 화상(144)과 적외광 화상(145)을 획득하면, 어느 화상도 손의 형태에 겹쳐서 천장(141)의 영상이 투영되어, 손의 영상과 외광의 영상을 구별할 수 없게 되어 있다.
한편, 도 7의 (d)에 도시한 바와 같이, 본 실시예에서 나타낸 외광 투과 대역을 갖는 대역 통과 필터를 구비한 경우, 분광 처리에 의해 가시광 화상(144), 적외광 화상(145), 및 외광 화상(146)의 3파장분의 화상을 획득할 수 있다. 이때, 가시광 화상(144) 및 적외광 화상(145)에는 도 7의 (c)에서 도시한 것과 마찬가지로 천장(141)이 투영되어, 손의 윤곽선이 애매하여 관측하기 어렵다. 그러나, 외광을 검지하기 위한 파장 외광 화상(146)에는 외광의 영상만이 투영되어 있다. 그 때문에, 가시광 화상(144)이나 적외광 화상(145)으로부터 외광 화상(146)을 제하면, 배경 제거된 가시광 화상(147)이나 배경 제거된 적외 화상(148)을 획득할 수 있다. 이와 같이, 가시광 화상이나 적외 화상으로부터 외광 성분을 정확하게 제거할 수 있어, 주위의 환경광의 영향을 받지 않는 인증 처리를 실현할 수 있다.
배경 제거의 구체적인 처리의 실시예로서는, 먼저 외광 화상의 휘도값을 미리 정한 값으로 상수배하고, 가시광 화상과 적외 화상의 각각으로부터 뺌으로써, 외광 부분을 없애도 된다. 또 다른 실시예로서는, 먼저 외광 화상을 일정한 역치로 2치화 처리하여, 값을 갖고 있는 화소를 배경 영역으로 정의한다. 그리고 가시광 화상이나 적외 화상에 비치는 상기 배경 영역을 흑색 화소로 치환한다. 그리고 나머지 밝은 영역을 소정의 역치 혹은 판별 분석에 의해 2치화 처리하여, 값을 갖는 부분을 손가락 영역으로 결정하는 방식이어도 된다. 또한, 2치화 처리를 행하는 경우에는, 미세한 노이즈 성분을 제거하기 위해 모르폴로지 연산을 실시해도 된다.
이에 의해, 외광 환경 하라도 촬영된 생체의 자세를 올바르게 관측할 수 있어, 조명 환경의 변동에 강건한 인증을 실현하는 것이 가능해진다.
또한, 본 실시예에서는 외광 검지를 행하기 위한 투과 대역을 470㎚ 부근으로 설정하여, 장치의 가시 광원의 투과 대역과 공통화하여 2밴드의 대역 통과 필터 구성으로 하였지만, 생체 관측용으로 구비된 복수의 광원의 파장과, 그것들의 파장 대역을 포함하지 않는 일부의 외광 촬영용의 파장 대역이 포함되어 있으면 되고, 그 파장의 종류수는 임의로 설정할 수 있다. 그 때문에, 예를 들어 도 8의 (a)에 도시한 바와 같이 외광의 통과 대역(63)의 부분을 독립적으로 투과시키는 3밴드의 대역 통과 필터로 해도 된다. 이와 같이 함으로써 가시광 파장과 외광 파장이 섞이기 어려워지기 때문에 분광 화상의 화질의 향상을 기대할 수 있다. 단 일반적으로는 대역 통과 필터의 투과 밴드수를 증가시킴으로써 비용이 증가되기 때문에, 도 3에서 도시한 바와 같이 밴드를 공통화함으로써 저비용화할 수 있는 이점이 있다.
또한, 본 실시예에서는 외광의 투과 대역을 청색 부근의 470㎚로 설정하였지만, 다른 파장 대역으로 설정해도 된다. 예를 들어, 도 8의 (b)에 도시한 바와 같이, 600㎚ 내지 650㎚의 주황색 내지 적색 부근으로 외광의 투과 대역(63)을 설정하는 것도 가능하고, 또한 복수의 외광 촬영용 대역을 설정해도 된다. 이 파장 설정은, 생체를 촬영하기 위한 광원 파장, 카메라의 수광 감도 특성, 검지하고 싶은 외광의 파장 등을 고려하여 결정한다. 본 실시예에서는, 일반적인 컬러 카메라는 청색, 녹색, 적색의 3색의 수광 감도가 높게 설정되어 있는 것에 기초하여, 생체의 촬영용으로 녹색 및 적외(적색){적외광에 감도가 없는 카메라를 사용하는 경우에는, 적외 대신에 적색을 사용함}을, 외광용으로 청색을 사용하고 있다. 다른 조합으로서, 예를 들어 생체의 촬영용으로 청색 및 적외(적색)를, 외광용으로 녹색을 사용할 수 있는 것은 물론이다. 또한, RGB 카메라가 아니라 적외 감도가 특화된 소자를 독립적으로 갖는 RGBIr 카메라를 이용하는 경우, 예를 들어 생체의 촬영용으로 녹색과 적외를, 외광용으로 청색과 적색을 이용할 수 있어, 그 조합도 임의로 설정할 수 있다.
[실시예 2]
실시예 2는, 실시예 1에서 나타낸 촬상 장치와 복수의 파장을 포함하는 피사체의 영상을 사용하여, 카메라와 피사체의 거리를 픽셀마다 추정하고, 이것을 생체의 변형 보정이나 가이드에 사용함으로써 생체 인증을 고정밀도화하는 기술에 관한 실시예이다.
도 9는 가시 화상 및 적외 화상을 사용한 피사체의 거리 측정의 원리도이다. 본 발명에서는 다른 파장의 광원에 의해 생체를 촬영하지만, 일반적으로는 카메라 렌즈의 굴절률 등의 광학 특성은 파장마다 약간의 차이가 발생한다. 그 때문에 파장마다 결상하는 위치나 초점이 다른 경우가 있다. 그 때문에 파장마다 나누어 영상을 확인하면, 한쪽의 파장의 화상에서는 초점이 맞아 있으면서도, 다른 한쪽의 파장 화상에서는 초점이 어긋나서 화상이 흐려져 있거나, 또한 정확하게 초점이 맞아 있었다고 해도 각각의 파장의 화상 상의 위치가 약간 어긋나 있거나 한다. 이와 같은 초점이나 결상 위치의 어긋남은 색수차라 불린다. 도 9의 (a) 및 (b)는 색수차 중 각각 축상 색수차와 배율 색수차의 설명도이다.
축상 색수차에서는, 예를 들어 녹색의 광에서 초점이 맞아 있어도 적외광에서는 불선명하게 되어 있거나, 양쪽 파장에서 모두 불선명하게 되어 있어도 그 불선명의 정도가 다르거나 한다. 그리고 일반적으로, 양쪽 파장의 영상의 불선명의 정도는 카메라와 피사체의 거리에 따라 변화된다. 또한 배율 색수차에서는, 녹색광과 적외광에서 결상하는 위치가 다른 경우가 있고, 일반적으로 그 어긋남의 정도는 카메라와 피사체의 거리에 따라 변화된다. 즉, 색수차에 의한 불선명이나 어긋남의 정도를 측정함으로써 피사체의 거리를 추정할 수 있다. 또한, 동일 파장의 화상 내라도 그 위치에 따라 초점이 약간 어긋나거나 하여 불선명이나 왜곡이 발생하는 단색 수차도 존재한다. 이들을 총칭하여 렌즈 수차라 한다.
렌즈 수차는 피사체와 카메라의 거리에 따라 그 정도가 변화될 뿐만 아니라, 사용하는 렌즈의 특성이나 촬영에 사용하는 광원 파장, 화상 상의 좌표 위치 등에 따라서도 변화된다. 그 때문에, 카메라 렌즈를 미리 결정하고, 광의 파장이나 피사체의 거리를 차례대로 변화시키면서 화상 상의 좌표 위치마다 수차의 정도를 계측하여 데이터화해 두면, 이들을 역산하여, 파장을 변화시키면서 좌표 위치마다 수차의 정도를 계측하면 피사체와 카메라의 거리를 추정하는 것이 가능해진다.
파장마다 다른 렌즈 수차의 정도의 차를 계측하는 방법으로서는, 2파장분의 분광 화상의 대응하는 점 및 그 위치 어긋남양을 SIFT 등의 키 포인트 특징량을 사용하여 추정함과 함께, 대응하는 점끼리의 점 확산 함수를 추정하고, 그 위치 어긋남과 불선명의 정도로부터 거리를 추정하는 방법이 있다. 그리고, 피사체의 거리와 위치 어긋남양이나 불선명량의 상관 관계를 조사하면, 위치 어긋남양이나 불선명량으로부터 피사체의 거리를 추정할 수 있다. 그러나 대응점의 어긋남양이나 상의 불선명을 나타내는 점 확산 함수는, 사용하는 광원 파장이나 렌즈 특성, 화상 상의 위치나 피사체의 거리 등에 따라 복잡하게 변화되는 것이 상정되고, 그 관련성을 도출하는 것은 용이하지 않다. 그 때문에 이와 같은 복잡한 물리 현상의 해석에 의해 행하는 거리 추정은, 임의의 함수를 유연하게 근사하는 것이 가능한 심층 뉴럴 네트워크를 비롯한 기계 학습을 사용함으로써 효율적으로 실시할 수 있다.
도 10은 본 실시예의 장치 구성에 있어서 피사체의 거리를 학습 및 추론하는 뉴럴 네트워크의 구성도의 일례이다. 먼저, 입력 화상으로서 각 파장의 광이 혼합되어 있는 원화상(201)에 대해, 상술한 분광 화상 처리에 의해 3파장의 화상(가시광 화상(144), 적외광 화상(145), 외광 화상(146))을 각각 추출한다. 다음에, 이들 화상을 입력으로 한 심층 뉴럴 네트워크(202)에 입력하면, 화상의 색이나 좌표에 따른 에지의 불선명의 정도나 에지의 어긋남양 등의 특징이 추출되고, 최종층에서는 화소마다 추정한 피사체의 거리값이 출력된다. 그 결과, 추론된 거리 화상(203)이 획득된다. 여기서 이용하는 심층 뉴럴 네트워크(202)는 예를 들어 심층 컨벌루션 뉴럴 네트워크를 사용할 수 있다.
또한, 뉴럴 네트워크의 학습 시에 있어서는, 추론 결과와 정해의 오차가 발생하기 때문에, 그 오차를 보다 작게 하기 위해 네트워크 내의 파라미터의 갱신을 행한다. 즉, 추론 결과와 정해의 오차를 손실 함수로서 정의하고, 오차 역전파법 등을 사용하여 그 손실 함수가 최소화되도록 파라미터 갱신을 행한다. 손실 함수로서는, 예를 들어 적외선을 사용한 거리 센서 등 다른 방법으로 거리를 계측한 정해의 거리 화상(204)을 준비하고, 추론된 거리 화상(203)과 정해의 거리 화상(204)의 화소마다의 차분의 2승 합을 구하고 이것을 최소화하도록 뉴럴 네트워크 내의 파라미터의 학습을 진행시키는 방법이 있다.
이와 같이, 입력 화상과 정해 화상을 대량으로 준비하여 학습을 행함으로써, 최종적으로는 입력 화상을 부여하는 것만으로 정확한 거리 화상을 추론할 수 있다. 특히 심층 컨벌루션 뉴럴 네트워크에서는, 화상의 에지의 위치 어긋남이나 불선명의 정도, 영상의 왜곡 상태 등, 물리 모델에서는 정식화가 곤란한 현상을 효율적으로 학습할 수 있고, 즉 렌즈 수차에 기인하는 각 파장의 화상 내 예비 화상간의 상이나 변화의 특징으로부터 피사체의 거리를 자동적으로 획득할 수 있게 된다.
또한, 뉴럴 네트워크의 학습에 있어서, 입력 화상과 정해 화상을 대량으로 취득하기 위해, 실시예 1에 나타낸 입력 장치와 근접시켜 설치한 상기 거리 센서에 의해 동일한 생체를 촬영한다. 양자의 카메라의 시야의 어긋남은, 미리 캘리브레이션 처리를 행하여, 입력 화상과 정해 화상의 어긋남양은 보정을 가할 수 있다.
특히 본 방식은 고정된 3개의 파장 대역에 한정하여 광을 촬영하기 때문에, 색수차의 조건으로서 미리 고정할 수 있는 부분이 많다. 그 때문에, 대역 통과 필터를 구비하지 않는 일반적인 시스템에서 마찬가지의 기술을 적용하는 경우에 비해 거리 추정의 정밀도가 높아지는 이점이 있다.
이와 같이 획득한 거리 정보를 사용한 생체 인증의 등록 및 인증 처리의 일 실시예로서, 도 4 및 도 5에 도시한 처리를 이용할 수 있다. 구체적으로는, 배경 제거 처리(S405, S505)의 전처리에 있어서 상술한 거리 추정을 실시한다. 그리고, 거리 정보를 사용한 배경 제거 처리를 행한다. 본 실시예에서는, 배경 제거부(24)가 상기 뉴럴 네트워크를 구비하고, 거리 정보의 추정 처리를 포함한, 새로운 배경 제거 처리를 구성한다. 이에 의해, 예를 들어 실시예 1에서 나타낸 배경 제거에 비해, 거리 정보를 활용한 쪽이 손이나 손가락의 화상으로부터 배경을 보다 정확하게 잘라내는 것이 가능해진다. 또한 손가락 끝만이 카메라에 너무 가깝거나 하는 등의 3차원 공간적인 자세 정보를 획득하기 위해 활용할 수 있다. 이에 의해, 이용자가 댄 손가락의 자세를 보다 적절하게 유도하거나, 혹은 화상 처리에서 자동적으로 기하학 보정하거나 하는 것이 가능해지고, 그 결과, 비접촉 인증에 있어서의 편리성과 인증 정밀도를 향상시킬 수 있다.
[실시예 3]
실시예 3에서는, 실시예 1 혹은 실시예 2에서 예시한 기술을 기본으로 하여, 비접촉이면서 생체의 제시 위치를 직관적으로 유도하고, 또한 환경 조명의 변동에 로버스트한 인증 장치를 실현하는 일 실시예에 대하여 설명한다.
도 11의 (a), (b)는 손가락 끝의 위치를 유도하여 비접촉 인증을 행하는 생체 인증 장치의 일 실시예이다. 입력 장치(2)의 내부에는 카메라(9)가 구비되고, 그 주위에는 가시 광원(41) 및 적외 광원(42)이 원주 상에 배치되어 있다. 가시 광원(41) 및 적외 광원(42)은 상방에 대어지는 손가락(1)에 대하여 균일하게 광을 조사할 수 있고, 실시예 1에서 나타낸 것과 마찬가지로 각 광원의 강도를 각각 독립적으로 제어할 수 있다. 또한, 도 11의 (a), (b)에서는 손가락은 1개만 나타내고 있지만, 전술한 실시예 1과 마찬가지로 복수 손가락이어도 되고, 예를 들어 집게손가락의 1개만이어도 된다.
또한 가시 광원(41) 및 적외 광원(42)이 배열되는 원주 상에는 2개의 손가락 끝 가이드 광원이 설치되어 있다. 손가락 끝 가이드 가시 광원(221) 및 손가락 끝 가이드 적외 광원(222)은 입력 장치(2)의 상방을 향하여, 각각 가시 및 적외의 파장의 광을 높은 지향성으로 조사할 수 있다. 손가락 끝 가이드 가시 광원(221)의 조사광은 예를 들어 전술한 가시 광원(41)과 동일한 녹색의 광이며, 이용자가 시인할 수 있다. 또한 손가락 끝 가이드 적외 광원(222)의 조사광은 예를 들어 전술한 적외 광원(42)과 동일한 파장의 광이며, 이용자는 시인할 수 없다. 단, 적외광에 더하여 시인할 수 있는 파장의 광을 동시에 조사할 수 있는 광원을 사용하여, 이 조사광을 시인할 수 있도록 해도 된다.
또한 카메라(9)의 상부에는 장치 상면 커버(43)가 구비되어 있고, 장치 상면 커버(43)는 예를 들어 도 3에서 도시한 2대역 통과 필터의 특성을 겸비하고, 가시 광원, 적외 광원, 및 외광의 합계 3파장의 광만을 투과한다. 상기 손가락 끝 가이드광의 파장은 대역 통과 필터를 투과하기 때문에, 카메라(9)로 촬영할 수 있다.
또한, 카메라(9)는, 입력 장치(2)에 대하여 약간 경사져서 설치되어 있다. 본 실시예에서는 카메라(9)는 도면 우측으로 경사져 있고, 이때 손가락(1)은 도면 우측으로부터 좌향으로 대어지는 것을 상정한다. 이 경사에 의해, 장치의 바로 위에 손가락 끝이 대어진 경우라도, 카메라(9)는 손가락 끝 및 손가락 근원을 포함하는 손가락 전체를 촬영하는 것이 가능하게 되어, 많은 생체 특징을 촬영할 수 있기 때문에 인증 정밀도를 높일 수 있다.
이 장치에 의한 등록 및 인증의 처리 플로는 각각 실시예 1의 도 4 및 도 5에 도시한 것과 기본적으로 동등하다. 실시예 1에 대한 실시예 3의 큰 차이로서는, 손가락의 제시를 촉구하는 가이드의 표시(S401)에 있어서 손가락 끝 가이드 광원을 이용하는 점이다. 이하, 손가락 끝 가이드 광원을 사용한 손가락의 가이드의 일 실시예에 대하여 설명한다.
먼저 이용자는 손가락(1)의 손가락 끝 부분을 입력 장치(2)의 바로 위에 댄다. 입력 장치(2)는 표준적인 손가락 끝과 동일 정도의 크기이며, 또한 원 형상이고, 손가락 끝으로 누르는 누름 버튼을 상기시키는 것이기 때문에, 이용자의 손가락 끝은 자연스럽게 입력 장치(2)의 상부로 유도된다. 이때, 손가락 끝 가이드 광원(221 및 222)으로부터 입력 장치(2)의 바로 위에 조사되는 광이 손가락 끝에 비춰진다. 이용자는 이 가이드광 중 시인할 수 있는 녹색의 광에 의해 손가락 끝이 희미하게 밝아지도록 손가락 끝의 위치를 미세 조정한다. 이와 같이 손가락 끝이 녹색으로 비추어져 있는 상태를 확인함으로써, 이용자는 비접촉으로 손가락을 댄 경우에도 올바른 위치를 시인할 수 있다.
또한, 본 실시예에서는 복수의 손가락, 예를 들어 집게손가락, 중지, 약지의 3개를 촬영하는 것을 상정하고 있지만, 손가락 끝 가이드광은 장치의 바로 위를 향하여 조사되고 있기 때문에, 이 광을 중지에 쏘도록 조작하면 3개의 손가락이 카메라의 중앙에 위치하기 때문에 촬영상의 사정은 좋다. 단, 일반적으로는 집게손가락의 손가락 끝을 대는 쪽이 자연스럽게 조작하기 쉬운 경우가 많기 때문에, 카메라의 화각은 약간 광각인 것을 이용하여, 복수의 손가락이 중앙으로부터 어긋나도 손가락이 비어져 나오지 않게 촬영할 수 있도록 설계되어 있는 것으로 한다.
도 12는 손가락 끝 가이드 광원으로부터 조사되는 광에 의해 손가락의 위치와 거리를 자동 추정하는 일 실시예의 설명도이다. 손가락(1)이 장치에 대하여 너무 가깝거나, 반대로 너무 이격되거나 해 버리면, 카메라의 포커스가 손가락으로 정해지지 않거나, 너무 멀어서 충분한 공간 해상도의 영상을 촬영할 수 없게 되거나 하는 것 등으로, 화질의 열화가 발생할 가능성이 있다. 그래서, 인증 시스템은 이와 같은 상태를 자동 검지하여 이용자에게 손가락을 적절한 거리로 되도록 유도할 필요가 있다. 도 12의 (a) 혹은 (c)에 도시된 바와 같이, 손가락 끝 가이드 광원(221 및 222)으로부터는 2개의 스폿광이 손가락 끝을 향하여 조사되고 있어, 손가락 끝에 2개의 휘점을 투영한다. 이때 양쪽 가이드 광원은 약간 입력 장치(2)의 중심 방향으로 기울어져 설치되어 있고, 양쪽 광원의 광은 평행광이 아니라 서로 교차하도록 조사된다. 또한, 양쪽 가이드 광원의 기울기는 카메라의 초점이 맞는 적절한 거리에서 교차하도록 조정되어 있는 것으로 한다.
도 12의 (a)는 손가락이 적절한 거리에서 장치에 대어진 상태에 있어서의 손가락 끝 가이드광의 휘점의 모습을 나타내고 있다. 손가락 끝 가이드 가시 광원(221)으로부터 조사되는 가시광은 손가락(1)의 손가락 끝 부분에 조사되어, 손가락 끝 가이드광의 가시광 휘점(241)을 발생시킨다. 또한 마찬가지로 손가락 끝 가이드 적외 광원(222)으로부터 조사된 광은 손가락 끝 가이드광의 적외광 휘점(242)을 발생시킨다. 이때, 양쪽 휘점의 위치로서는 도면의 좌측에 가시광이, 우측에 적외광이 조사된다. 이때, 도 12의 (b)에 도시한 바와 같이, 카메라(9)에 의해 촬영된 영상은 전술한 바와 같이 분광 처리에 의해 가시광과 적외광으로 나누어지지만, 그때 획득되는 가시광과 적외광의 분광 화상(243)에는 각각 대응하는 파장의 휘점이 비추어진다. 여기에서는, 분광 화상 내의 상측에 손가락 끝 가이드광의 적외광 휘점(242)이, 하측에 손가락 끝 가이드광의 가시광 휘점(241)이 비치는 것으로 한다. 이 2개의 휘점은 어느 파장에서 조사된 것인지는 분광 처리에 의해 파악할 수 있기 때문에, 화상 상의 휘점의 위치 관계로서 어느 쪽의 파장의 휘점이 위에 있는지라는 정보나, 양쪽 휘점의 중심 위치 사이의 거리를 측정할 수 있다. 그리고 이들 정보에 기초하여, 손가락 끝이 적절한 거리에 존재하고 있는지 여부를 판정할 수 있다.
만약 도 12의 (a)의 예보다도 손가락(1)이 입력 장치(2)에 접근한 경우, 화상 상의 양쪽 휘점의 위치 관계는 변하지 않지만 휘점간의 거리가 이격되어 가기 때문에, 그 경우에는 손가락이 너무 접근해 있는 것을 판단할 수 있다. 따라서, 양쪽 휘점의 거리가 일정보다도 먼 경우에는 「손가락을 멀리 떨어지게 해 주세요」 등의 가이드를 내거나 하여 이용자를 적절하게 유도할 수 있다. 또한, 손가락 끝에 휘점이 없는 경우나 1개밖에 없는 경우에는 손가락 끝의 위치가 어긋나 있게 되기 때문에, 예를 들어 「손가락 끝을 장치의 바로 위에 대 주세요」 등의 가이던스를 행함으로써, 손가락 끝의 위치를 유도해도 된다.
또한, 도 12의 (c)는 손가락(1)이 입력 장치(2)로부터 너무 이격되어 버린 경우의 모습을 나타내고 있다. 이 경우, 도 12의 (a)와는 반대로 손가락 끝 가이드광의 가시광 휘점(241)이 손가락 끝 가이드광의 적외광 휘점(242)의 우측에 위치하게 된다. 따라서 도 12의 (d)에 도시된 가시광과 적외광의 분광 화상(243)의 휘점의 위치 관계는, 도 12의 (b)와는 상하가 역전되어, 손가락 끝 가이드광의 가시광 휘점(241)쪽이 위에 위치한다. 따라서 이와 같은 상태를 화상으로부터 검출한 경우에는, 「좀 더 접근시켜 주세요」와 같은 가이던스를 제시할 수 있다.
손가락(1)이 적절한 거리에 제시된 것을 판정할 수 있으면, 양쪽의 손가락 끝 가이드 광원을 소등함과 함께 가시 광원(41) 및 적외 광원(42)을 손가락(1)에 조사하여 화상을 촬영한다. 그리고, 상술한 실시예 1에서 나타낸 바와 같이, 손가락의 가시광 화상, 적외 화상, 및 외광 화상을 획득하여 인증을 행한다. 또한, 손가락 끝 가이드광(221 및 222)을 조사하면서 가시 광원(41) 및 적외 광원(42)을 조사해도 된다. 손가락 끝 가이드광은 손가락 끝에만 강한 스폿광을 조사할 뿐이며, 손가락 전체에는 광을 쏠 수는 없다. 따라서, 손가락 끝을 가이드하고 있는 중에 병행하여 가시 광원(41) 및 적외 광원(42)을 적절한 광량으로 조정할 수 있어, 촬영 시간을 단축할 수 있다.
또한, 손가락 끝 가이드 가시 광원(221)의 파장은 대역 통과 필터에서 통과할 수 있는 가시광 파장이면 어느 파장이어도 된다. 예를 들어, 대역 통과 필터의 특성으로서 도 3 혹은 도 8의 (a)의 것을 사용하는 것이면 530㎚ 혹은 470㎚를 이용할 수 있고, 도 8의 (b)를 사용하는 것이면 620㎚ 등을 이용할 수도 있다. 모두, 이용자가 시인할 수 있고, 또한 카메라로 촬영할 수 있는 광이며, 또한 분광 처리에 의해 그 파장 성분을 획득할 수 있으면 어느 파장을 사용해도 된다.
또한, 도 11에 도시한 장치 구성은 카메라(9)의 기울기의 방향에 의존하여 손가락 끝의 방향이 도면 좌측을 가리키는 방향으로 고정되어 있다. 이 경우, 장치 구조가 전체적으로 원형이면 손가락 끝을 대는 방향을 직관적으로 이해할 수 없는 경우가 있다. 이에 반해, 도 13의 (a)에 도시한 바와 같이, 장치 전체의 형상을 손가락 끝의 형상을 모방한 하우징으로 해도 된다. 이에 의해, 장치 하우징의 반원의 방향이 손가락을 제시하는 방향이라고 직관적으로 이해하기 쉬워진다.
또한 마찬가지로, 장치에 접촉해도 되는 이용 장면이면, 도 13의 (b)에 도시한 바와 같이 손가락 끝의 손가락 거치대(261)를 구비하여, 손가락을 물리적으로 고정해도 된다. 이에 의해, 손가락 끝을 대는 방향 및 위치를 알기 쉽게 되고, 나아가 손가락의 위치가 안정되어 자세 변동이 저감되어 인증 정밀도가 향상된다. 나아가 공중에 뜨게 하여 손가락을 정지하는 조작이 곤란한 이용자에게 있어서는 조작성의 향상에도 기여한다.
혹은, 도 13의 (c)에 도시한 바와 같이 카메라(9)의 축은 기울어지게 하지 않고, 그 대신에 카메라를 광각 카메라 혹은 전방위 카메라로 치환함으로써, 장치의 외견은 원형인 채로, 카메라의 축을 기울어지게 하지 않고 손가락 전체의 영상을 촬영할 수 있는 구성으로 해도 된다. 그렇게 함으로써, 손가락(1)의 방향은 어느 쪽으로부터 제시해도 되게 되기 때문에, 이용자의 편리성이 대폭 향상된다. 또한, 이 경우에는 가시 광원(41) 및 적외 광원(42)은 넓게 반사광을 조사할 수 있도록 지향성이 넓은 광원을 사용한다. 이에 의해 손가락(1)이 어느 쪽으로부터 대어진 경우라도 적절하게 2파장의 광원을 손가락에 조명할 수 있다.
또한, 도 14에 도시한 바와 같이, 본 실시예의 입력 장치(2)를 하향으로 설치하여 하방을 촬영하도록 하고, 이용자는 손가락(1)이 천장을 향하도록 댈 수도 있다. 이때, 이용자는 손가락(1)의 배측을 용이하게 눈으로 볼 수 있게 되지만, 특히 손가락 끝 가이드광의 가시광 휘점(241)이 손가락 끝을 올바르게 비추고 있는지 여부를 직접 확인할 수 있기 때문에, 위치 정렬을 용이하게 실시할 수 있는 이점이 있다. 이때, 손가락 끝 가이드광의 가시광 휘점(241)은 점상의 스폿광으로 하는 대신에, 예를 들어 손가락의 중심축을 따른 가늘고 긴 스폿광이어도 되고, 그 경우에는 손가락을 대는 방향에 대해서도 가이드할 수 있기 때문에, 보다 정확하게 이용자를 유도할 수 있다.
이와 같은 소형이면서 또한 비접촉으로 환경의 변화에 강하고 고정밀도의 인증 장치는, 예를 들어 개인집의 도어록이거나, 자동차의 키리스 엔트리이거나, 점포에서의 결제 시스템이거나, 오피스에서의 PC 시큐리티이거나, 대규모 시설이나 대규모 이벤트의 게이트 관리 시스템이거나 등, 다양한 분야에 적용이 가능하다.
또한, 본 발명은 상기한 실시예에 한정되는 것은 아니고, 다양한 변형예가 포함된다. 예를 들어, 상기한 실시예는 본 발명의 보다 좋은 이해를 위해 상세하게 설명한 것이며, 반드시 설명의 모든 구성을 구비하는 것에 한정되는 것은 아니다. 또한, 어떤 실시예의 구성의 일부를 다른 실시예의 구성으로 치환하는 것이 가능하고, 또한, 어떤 실시예의 구성에 다른 실시예의 구성을 추가하는 것이 가능하다. 또한, 각 실시예의 구성의 일부에 대하여, 다른 구성의 추가·삭제·치환을 하는 것이 가능하다.
1: 손가락
2: 입력 장치
3: 광원
9: 촬상 장치
10: 인증 처리 장치
11: 중앙 처리부(CPU)
12: 메모리
13: 인터페이스
14: 기억 장치
15: 표시부
16: 입력부
17: 스피커
18: 화상 입력부
19: 통신부
20: 등록 처리부
21: 인증 처리부
22: 화상 처리부
23: 분광 처리부
24: 배경 제거부
25: 자세 보정부
26: 특징 추출부
27: 대조부
28: 광량 조정부
30: 통신 네트워크
41: 가시 광원
42: 적외 광원
43: 장치 상면 커버
44: 대역 통과 필터
45: 차광부
61: 적외광 투과 대역
62: 가시광 투과 대역
63: 외광 투과 대역
64: 적외 광원의 발광 강도 특성
65: 가시 광원의 발광 강도 특성
121: 청색 수광 소자의 분광 감도 특성
122: 녹색 수광 소자의 분광 감도 특성
123: 적색 수광 소자의 분광 감도 특성
141: 천장
142: 외광
143: 외광 환경 시의 손가락 화상
144: 가시광 화상
145: 적외광 화상
146: 외광 화상
147: 배경 제거된 가시광 화상
148: 배경 제거된 적외광 화상
201: 원화상
202: 심층 뉴럴 네트워크
203: 추론된 거리 화상
204: 정해의 거리 화상
221: 손가락 끝 가이드 가시 광원
222: 손가락 끝 가이드 적외 광원
241: 손가락 끝 가이드광의 가시광 휘점
242: 손가락 끝 가이드광의 적외광 휘점
243: 가시광과 적외광의 분광 화상
261: 손가락 끝의 손가락 거치대
1000: 생체 인증 시스템

Claims (15)

  1. 생체에 조사하는 제1 파장을 포함하는 대역의 광과, 생체에 조사하는 제1 파장과는 다른 제2 파장을 포함하는 대역의 광과, 그리고 외부 환경에 기인하는 제1 및 제2 파장과는 다른 제3 파장을 포함하는 대역의 광을 투과시키고, 그 이외의 대역의 파장을 차단하는 광학 필터를 통해, 생체를 촬영한 화상을 촬상하는 촬상부와,
    얻어진 상기 생체를 촬영한 화상으로부터, 제1 파장의 광 강도의 화상과, 제2 파장의 광 강도의 화상과, 및 제3 파장의 광 강도의 화상을 분리하여 획득하는 분광 처리부와,
    상기 제3 파장의 광 강도의 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거하는 배경 제거부와,
    상기 배경 영역을 제거한 제1 및 제2 파장의 광 강도의 화상으로부터, 생체의 각종 특징을 추출하고, 미리 등록되어 있는 각 개인별의 생체 특징과 대조하여, 생체 특징마다의 유사도를 산출하고, 각종 생체 특징의 유사도에 기초하여 개인을 특정하는 생체 인증을 행하는 인증 처리부를 구비하는 것을 특징으로 하는 생체 인증 장치.
  2. 제1항에 있어서,
    상기 제1 파장의 광은 녹색이며, 상기 제2 파장의 광은 적외광 또는 적색이고, 상기 제3 파장의 광은 청색인 것을 특징으로 하는 생체 인증 장치.
  3. 제1항에 있어서,
    상기 제1 파장의 광은 청색이며, 상기 제2 파장의 광은 적외광, 또는 적색이고, 상기 제3 파장의 광은 녹색인 것을 특징으로 하는 생체 인증 장치.
  4. 제1항에 있어서,
    상기 제1 파장의 광은 녹색이며, 상기 제2 파장의 광은 적외광이고, 상기 제3 파장의 광은 청색 및 적색인 것을 특징으로 하는 생체 인증 장치.
  5. 제1항에 있어서,
    상기 광학 필터는, 상기 제1 파장을 포함하는 대역과 상기 제3 파장을 포함하는 대역이 연속하는 1개의 투과 대역으로 되어 있고, 상기 제2 파장을 포함하는 대역과 함께 2개의 투과 대역을 갖는 2대역 통과 필터의 구성이며, 또는, 상기 제1, 제2, 및 제3 파장을 포함하는 대역이 모두 분리된 3개의 투과 대역이 되는 3대역 통과 필터의 구성인 것을 특징으로 하는 생체 인증 장치.
  6. 제1항에 있어서,
    상기 배경 제거부는, 미리 학습 처리에 있어서, 다수회의 생체의 제시에 의해, 생체를 촬영한 화상으로부터 제1, 제2, 및 제3 파장의 광 강도의 화상을 분리하고, 촬상부에 병설한 거리 센서에 의해 계측한 정해의 거리 화상을 교사 데이터로서 다수 준비하여 학습시킨 뉴럴 네트워크를 구비하고,
    분광 처리부에 의해 분리된 피사체의 제1, 제2, 및 제3 파장의 광 강도의 화상을 뉴럴 네트워크에 입력하여, 제시된 생체의 거리 화상을 추정하고, 거리 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거하는 것을 특징으로 하는 생체 인증 장치.
  7. 제6항에 있어서,
    상기 배경 제거부가 구비하는 뉴럴 네트워크는, 심층 컨벌루션 뉴럴 네트워크에 의해 구성되는 것을 특징으로 하는 생체 인증 장치.
  8. 제1항에 있어서,
    상기 촬상부는, 생체를 촬상시키기 위해 이용자에 의해 비접촉으로 생체가 대어지는 입력 장치의 하우징 중앙부에 설치되고,
    상기 제1 파장의 광을 발광하는 복수개의 제1 광원이, 입력 장치의 하우징의 상부에, 상기 촬상부를 중심으로 하는 원주 상에 등간격으로 배치되고, 마찬가지로 상기 제2 파장의 광을 발광하는 복수개의 제2 광원이, 입력 장치의 하우징의 상부에, 상기 촬상부를 중심으로 하는 원주 상에 등간격으로 배치되고,
    각 광원은, 입력 장치의 상부에 제시되는 생체를 조사하고, 생체로부터의 반사광을 상기 촬상부가 촬상하고, 생체 전체가 균일하게 조명되도록 각 광원의 광 강도가 개별로 제어되는 것을 특징으로 하는 생체 인증 장치.
  9. 제8항에 있어서,
    입력 장치의 상부에는, 상기 제1 파장의 광을 발광하는 가이드 광원과, 상기 제2 파장의 광을 발광하는 가이드 광원이 한 쌍 설치되고, 양쪽 가이드 광원은, 지향성이 높은 스폿광을 서로 교차하도록, 상기 촬상부의 광축과는 기울어지게 하여 조사하여, 대어진 생체 상에 휘점을 발생시키고,
    가이드부는, 각 휘점의 위치, 양쪽 휘점간의 거리, 배치를 인식하여, 입력 장치와 대어진 생체의 거리를 추정하여, 이용자를 적절하게 유도하는 가이드를 출력하는 것을 특징으로 하는 생체 인증 장치.
  10. 제9항에 있어서,
    입력 장치의 하우징의 상부에 제시되는 생체의 전체를 촬영하기 위해, 상기 촬상부의 광축을, 입력 장치의 하우징의 수직 상방향으로부터 기울어지게 하여 설치하는 것을 특징으로 하는 생체 인증 장치.
  11. 제9항에 있어서,
    입력 장치의 하우징을, 이용자가 대는 방향의 생체 형상을 모방한 형상으로 한 것을 특징으로 하는 생체 인증 장치.
  12. 제8항에 있어서,
    입력 장치의 하우징에, 생체를 대는 자세를 물리적으로 고정하는 거치대를 구비한 것을 특징으로 하는 생체 인증 장치.
  13. 제8항에 있어서,
    상기 촬상부는, 광각 카메라, 또는 전방위 카메라인 것을 특징으로 하는 생체 인증 장치.
  14. 이용자가 댄 생체를, 생체에 조사하는 제1 파장을 포함하는 대역의 광과, 생체에 조사하는 제1 파장과는 다른 제2 파장을 포함하는 대역의 광과, 그리고 외부 환경에 기인하는 제1 및 제2 파장과는 다른 제3 파장을 포함하는 대역의 광을 투과시키고, 그 이외의 대역의 파장을 차단하는 광학 필터를 통해, 촬상부가 촬영하여 화상을 취득하고,
    분광 처리부가, 얻어진 상기 생체를 촬영한 화상으로부터, 제1 파장의 광 강도의 화상과, 제2 파장의 광 강도의 화상과, 및 제3 파장의 광 강도의 화상을 분리하여 획득하고,
    배경 제거부가, 상기 제3 파장의 광 강도의 화상으로부터 배경 영역을 추출하여, 상기 제1 및 제2 파장의 광 강도의 화상으로부터 각각 상기 배경 영역을 제거하고,
    인증 처리부가, 상기 배경 영역을 제거한 제1 및 제2 파장의 광 강도의 화상으로부터, 생체의 각종 특징을 추출하고, 미리 등록되어 있는 각 개인별의 생체 특징과 대조하여, 생체 특징마다의 유사도를 산출하고, 각종 생체 특징의 유사도에 기초하여 개인을 특정하는 생체 인증을 행하는 것을 특징으로 하는 생체 인증 방법.
  15. 제14항에 있어서,
    이용자가 댄 생체를 촬상하기 위해 적절한 위치나 자세로 가이드하기 위해, 제1 파장의 가이드광, 및 제2 파장의 가이드광을, 지향성이 높은 스폿광으로서 서로 교차하도록, 상기 촬상부의 광축과는 기울어지게 하여 조사하여, 대어진 생체 상에 휘점을 발생시키고,
    가이드부가, 각 휘점의 위치, 양쪽 휘점간의 거리, 배치를 인식하여, 입력 장치와 대어진 생체의 거리를 추정하여, 이용자를 적절하게 유도하는 가이드를 출력하는 것을 특징으로 하는 생체 인증 방법.
KR1020210132217A 2020-10-21 2021-10-06 생체 인증 장치 및 생체 인증 방법 KR20220052828A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020176985A JP2022068055A (ja) 2020-10-21 2020-10-21 生体認証装置および生体認証方法
JPJP-P-2020-176985 2020-10-21

Publications (1)

Publication Number Publication Date
KR20220052828A true KR20220052828A (ko) 2022-04-28

Family

ID=78293900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210132217A KR20220052828A (ko) 2020-10-21 2021-10-06 생체 인증 장치 및 생체 인증 방법

Country Status (6)

Country Link
US (1) US11837029B2 (ko)
EP (1) EP3989182A3 (ko)
JP (1) JP2022068055A (ko)
KR (1) KR20220052828A (ko)
CN (1) CN114387629A (ko)
TR (1) TR2021016140A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM617394U (zh) * 2021-05-19 2021-09-21 大陸商廣州印芯半導體技術有限公司 光學式指紋辨識結構
CN117253296B (zh) * 2023-11-17 2024-02-27 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040472A (ja) 2017-08-25 2019-03-14 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2020123068A (ja) 2019-01-29 2020-08-13 株式会社 日立産業制御ソリューションズ 生体認証装置、生体認証方法およびコンピュータプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2393040B1 (en) * 2004-06-01 2013-04-17 Lumidigm, Inc. Multispectral imaging biometrics
JP4556111B2 (ja) 2004-09-02 2010-10-06 ソニー株式会社 情報処理装置
JP4745084B2 (ja) * 2006-03-03 2011-08-10 富士通株式会社 撮像装置
US8355545B2 (en) * 2007-04-10 2013-01-15 Lumidigm, Inc. Biometric detection using spatial, temporal, and/or spectral techniques
JP4640295B2 (ja) 2006-09-07 2011-03-02 株式会社日立製作所 個人認証装置及び方法
US20080107309A1 (en) * 2006-11-03 2008-05-08 Cerni Consulting, Llc Method and apparatus for biometric identification
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
JP5598687B2 (ja) * 2010-09-28 2014-10-01 日本電気株式会社 生体認証装置、及び生体認証方法
US8509495B2 (en) * 2011-04-15 2013-08-13 Xerox Corporation Subcutaneous vein pattern detection via multi-spectral IR imaging in an identity verification system
JP6165540B2 (ja) * 2013-07-26 2017-07-19 株式会社日立製作所 血管画像撮影装置及び端末
US9659205B2 (en) * 2014-06-09 2017-05-23 Lawrence Livermore National Security, Llc Multimodal imaging system and method for non-contact identification of multiple biometric traits
JP6210962B2 (ja) 2014-09-30 2017-10-11 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6523925B2 (ja) * 2015-11-10 2019-06-05 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
JP7080594B2 (ja) 2017-07-06 2022-06-06 株式会社東芝 計測装置および方法
EP3474328B1 (en) * 2017-10-20 2021-09-29 Samsung Electronics Co., Ltd. Combination sensors and electronic devices
CN109977727A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 视力保护方法、装置、存储介质及移动终端
CN108108708A (zh) * 2017-12-29 2018-06-01 徐鹤菲 支持多光谱生物特征的复合成像系统及移动终端
US10956755B2 (en) * 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040472A (ja) 2017-08-25 2019-03-14 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2020123068A (ja) 2019-01-29 2020-08-13 株式会社 日立産業制御ソリューションズ 生体認証装置、生体認証方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN114387629A (zh) 2022-04-22
JP2022068055A (ja) 2022-05-09
TR2021016140A2 (tr) 2022-05-23
US20220121869A1 (en) 2022-04-21
EP3989182A3 (en) 2022-08-03
US11837029B2 (en) 2023-12-05
EP3989182A2 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US20220165087A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
CN107949863B (zh) 使用生物体信息的认证装置以及认证方法
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP6165540B2 (ja) 血管画像撮影装置及び端末
US20160019421A1 (en) Multispectral eye analysis for identity authentication
US20160019420A1 (en) Multispectral eye analysis for identity authentication
KR101701559B1 (ko) 화상 보정 장치, 화상 보정 방법 및 생체 인증 장치
US20170091550A1 (en) Multispectral eye analysis for identity authentication
US20110169934A1 (en) Vein pattern recognition based biometric system and methods thereof
JP2009544108A (ja) 多重生体認証のマルチスペクトル画像
KR102538405B1 (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
KR20220052828A (ko) 생체 인증 장치 및 생체 인증 방법
CN109661668A (zh) 用于虹膜识别的图像处理方法和系统
EP2410486A1 (en) Organism information acquisition device and organism authentication device
JP2020123068A (ja) 生体認証装置、生体認証方法およびコンピュータプログラム
JP2019128630A (ja) 生体認証装置
JP6759142B2 (ja) 生体認証装置、及び方法
Trethyn Finishing and Improving of Finger Vein System
CN113916377A (zh) 用于基于色度差的对象验证的被动图像深度感测

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right