KR20220030474A - 지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법 - Google Patents
지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법 Download PDFInfo
- Publication number
- KR20220030474A KR20220030474A KR1020200111331A KR20200111331A KR20220030474A KR 20220030474 A KR20220030474 A KR 20220030474A KR 1020200111331 A KR1020200111331 A KR 1020200111331A KR 20200111331 A KR20200111331 A KR 20200111331A KR 20220030474 A KR20220030474 A KR 20220030474A
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- image
- region
- singularity
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 239000012634 fragment Substances 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000037303 wrinkles Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 30
- 238000010586 diagram Methods 0.000 description 23
- 239000000758 substrate Substances 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 17
- 101000846284 Homo sapiens Pre-mRNA 3'-end-processing factor FIP1 Proteins 0.000 description 13
- 102100031755 Pre-mRNA 3'-end-processing factor FIP1 Human genes 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 239000011241 protective layer Substances 0.000 description 10
- 239000000853 adhesive Substances 0.000 description 8
- 230000001070 adhesive effect Effects 0.000 description 8
- 239000012790 adhesive layer Substances 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 101100500048 Arabidopsis thaliana DRP3A gene Proteins 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000010408 film Substances 0.000 description 4
- 101150108281 ADL1 gene Proteins 0.000 description 3
- 101100332244 Arabidopsis thaliana DRP1A gene Proteins 0.000 description 3
- 101100179038 Hordeum vulgare IAD1 gene Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- 102100024853 Carnitine O-palmitoyltransferase 2, mitochondrial Human genes 0.000 description 2
- 101000909313 Homo sapiens Carnitine O-palmitoyltransferase 2, mitochondrial Proteins 0.000 description 2
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 101150005884 ctp1 gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 101000859570 Homo sapiens Carnitine O-palmitoyltransferase 1, liver isoform Proteins 0.000 description 1
- 101000989606 Homo sapiens Cholinephosphotransferase 1 Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
- G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
- G06V40/1376—Matching features related to ridge properties or fingerprint texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
Abstract
지문 인증 장치는, 생체 정보를 감지하여 감지 신호를 생성하는 생체 센서; 생체 정보로부터 적어도 하나의 지문 조각을 선택하고, 적어도 하나의 지문 조각을 분석하여 감지된 생체 정보를 포함하는 영상의 특이점(singular point)을 결정하는 특이점 결정부; 감지 신호로부터 지문 영상을 생성하고, 특이점의 좌표에 기초하여 지문 영상으로부터 특이점을 포함하는 관심 영역을 발췌하는 영상 처리부; 및 관심 영역과 등록된 지문 정보를 비교하여 지문 인증을 수행하는 인증부를 포함한다.
Description
본 발명은 지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법에 관한 것이다.
최근 전자장치에서 활용 가능한 기능들이 다양해짐에 따라, 전자장치 상에 저장된 정보에 대한 보안이 중요시되고, 이러한 보안상 필요에 의해 사용자의 생체 정보에 기초한 인증 기술들이 개발되고 있다.
생체 정보에 기초한 인증 기술들은 예를 들어, 사용자로부터 지문, 홍채, 목소리, 얼굴, 혈관 등의 생체 정보를 취득하고, 미리 등록된 사용자의 생체 정보와의 비교 과정을 거쳐 인증된 사용자인지 여부를 판단하는 과정을 포함할 수 있다. 상기 예시한 생체 정보 중 지문 인식 기술은 편리성, 보안성, 경제성 등 여러 가지 이유로 현재 가장 많이 상용화되어 있다. 지문 인식 기술은 사용자 기기에 대한 보안을 강화하고, 모바일 결제 등 각종 응용 서비스를 용이하게 제공할 수 있다.
전자장치로서, 사용자의 지문을 감지하는 지문 센서가 장착된 스마트폰 및 웨어러블(wearable) 기기와 같은 표시장치가 널리 사용되고 있다.
본 발명의 일 목적은 지문 영상의 특이점을 포함하는 관심 영역을 발췌하여 지문 인증을 수행하는 지문 인증 장치, 지문 인증 방법, 및 표시 장치를 제공하는 것이다.
다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여 본 발명의 실시예들에 따른 지문 인증 장치는, 생체 정보를 감지하여 감지 신호를 생성하는 생체 센서; 상기 생체 정보로부터 적어도 하나의 지문 조각을 선택하고, 상기 적어도 하나의 지문 조각을 분석하여 상기 감지된 생체 정보를 포함하는 영상의 특이점(singular point)을 결정하는 특이점 결정부; 상기 감지 신호로부터 지문 영상을 생성하고, 상기 특이점의 좌표에 기초하여 상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 영상 처리부; 및 상기 관심 영역과 등록된 지문 정보를 비교하여 지문 인증을 수행하는 인증부를 포함할 수 있다.
일 실시예에 의하면, 상기 특이점 결정부는 학습(machine learning)을 통해 상기 특이점 결정을 위한 검출 모델을 설정할 수 있다.
일 실시예에 의하면, 상기 특이점 결정부는 상기 지문 영상을 k개의(단, k는 1보다 큰 정수) 샘플링 영역들로 구분하고, 상기 k개의 샘플링 영역들 각각의 임의의 위치에 대응하는 지문 조각들을 선택할 수 있다.
일 실시예에 의하면, 상기 특이점 결정부는 상기 지문 조각들 각각으로부터 도출되는 융선(ridges) 및 골(valleys)을 상기 검출 모델에 적용하여 상기 특이점을 획득할 수 있다.
일 실시예에 의하면, 상기 특이점 결정부는 외부로부터 제공된 학습용 지문 영상들에 대한 상기 학습을 통해 상기 특이점을 검출하는 검출 모델을 설정할 수 있다.
일 실시예에 의하면, 상기 특이점 결정부는 상기 영상 처리부에서 생성된 지문 영상, 상기 지문 영상의 상기 지문 조각들, 및 상기 관심 영역을 이용한 추가적인 학습을 통해 상기 검출 모델을 갱신할 수 있다.
일 실시예에 의하면, 상기 영상 처리부는, 상기 감지 신호를 상기 지문 영상에 대응하는 디지털 형식의 제1 지문 영상으로 변환하는 제1 데이터 처리부; 상기 제1 지문 영상에서 외부 환경에 의한 노이즈의 영향을 받는 노이즈 영역을 검출하고, 상기 노이즈 영역을 블러링(blurring)하여 제2 지문 영상을 생성하는 제2 데이터 처리부; 상기 제2 지문 영상에서 상기 특이점을 포함하는 기 설정된 사이즈의 상기 관심 영역을 결정하고, 상기 관심 영역을 제외한 상기 제2 지문 영상의 나머지 부분을 잘라내는 영상 크로핑(cropping)부; 및 상기 관심 영역의 정보를 저장하는 저장부를 포함할 수 있다.
일 실시예에 의하면, 상기 영상 크로핑부는 상기 특이점의 좌표를 상기 관심 영역의 중심 좌표로 결정할 수 있다.
일 실시예에 의하면, 상기 영상 크로핑부는 상기 관심 영역이 상기 노이즈 영역으로부터 멀어지도록 상기 관심 영역의 중심 좌표를 시프트할 수 있다.
일 실시예에 의하면, 상기 중심 좌표는 상기 특이점의 좌표보다 상기 노이즈 영역으로부터 더 멀리 위치될 수 있다.
일 실시예에 의하면, 상기 제2 데이터 처리부는 상기 노이즈를 수치화할 수 있다. 상기 노이즈가 기 설정된 임계 기준 이상인 경우, 상기 제2 데이터 처리부는 지문 감지 재시도 명령을 생성할 수 있다.
일 실시예에 의하면, 상기 노이즈 영역은 외광의 침투에 의해 휘도가 다른 부분보다 기 설정된 오차보다 큰 상기 제1 지문 영상의 일부분일 수 있다.
일 실시예에 의하면, 상기 생체 센서의 감지 영역의 면적은 상기 관심 영역의 면적보다 클 수 있다.
일 실시예에 의하면, 상기 관심 영역의 면적은 상기 감지 영역의 30% 이하일 수 있다.
일 실시예에 의하면, 상기 특이점은 지문의 코어(core) 및 델타(delta) 중 적어도 하나를 포함할 수 있다.
본 발명의 일 목적을 달성하기 위하여 본 발명의 실시예들에 따른 표시 장치의 지문 인증 방법은, 생체 센서를 통해 감지된 지문에 대한 지문 영상을 생성하는 단계; 상기 지문 영상으로부터 복수의 지문 조각들을 선택하여 학습을 통해 상기 지문 영상의 특이점(singular point)을 결정하는 단계; 상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 단계; 및 상기 관심 영역과 등록된 지문 정보를 비교하여 지문을 인증하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 특이점을 결정하는 단계는, 외부로부터 제공되는 학습용 지문 영상에 대한 학습을 통해 상기 특이점을 검출하는 예비 검출 모델을 설정하는 단계; 상기 학습용 지문 영상의 임의의 위치로부터 상기 지문 조각들을 선택하고, 상기 지문 조각들 및 상기 예비 검출 모델을 이용하여 상기 학습용 지문 영상을 복원하는 단계; 상기 복원된 상기 학습용 지문 영상을 학습하여 상기 예비 검출 모델을 검출 모델로 갱신하는 단계; 및 상기 검출 모델을 이용하여 실시간 지문 영상으로부터 상기 특이점을 산출하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 특이점을 결정하는 단계는, 상기 실시간 지문 영상 및 상기 실시간 지문 영상의 상기 특이점을 학습하여 상기 검출 모델을 갱신하는 단계를 더 포함할 수 있다.
일 실시예에 의하면, 상기 지문 영상을 생성하는 단계는, 상기 지문 영상의 데이터를 분석하여 노이즈 영역을 결정하는 단계; 및 상기 노이즈 영역을 블러링하여 보정된 지문 영상을 생성하는 단계를 포함할 수 있다. 상기 관심 영역을 발췌하는 단계는, 상기 보정된 지문 영상에서 상기 특이점을 포함하는 관심 영역을 결정하는 단계; 및 상기 관심 영역 바깥의 나머지 부분을 잘라내는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 관심 영역을 결정하는 단계는, 상기 관심 영역과 상기 노이즈 영역의 위치를 비교하는 단계; 상기 관심 영역과 상기 노이즈 영역이 중첩하지 않는 경우, 상기 특이점의 좌표를 상기 관심 영역의 중심 좌표로 결정하는 단계; 및 상기 관심 영역의 적어도 일부가 상기 노이즈 영역에 중첩하는 경우, 상기 관심 영역이 상기 노이즈 영역으로부터 멀어지도록 상기 관심 영역의 중심 좌표를 시프트하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 지문 영상을 생성하는 단계는, 상기 지문 조각들과 상기 노이즈 영역의 위치를 비교하는 단계; 및 상기 지문 조각들 중 적어도 하나가 상기 노이즈 영역에 포함되는 경우, 상기 지문 조각들을 재선택하는 명령을 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 목적을 달성하기 위하여 본 발명의 실시예들에 따른 표시 장치는, 화소들을 포함하는 표시 패널; 및 상기 표시 패널로부터 지문을 감지하는 지문 인증 장치를 포함할 수 있다. 상기 지문 인증 장치는, 상기 표시 패널의 일 면에 배치되며, 상기 지문을 감지하여 감지 신호를 생성하는 생체 센서; 상기 감지 신호 또는 지문 영상으로부터 복수의 지문 조각들을 선택하고, 상기 지문 조각들을 분석하여 상기 지문 영상의 특이점(singular point)을 결정하는 특이점 결정부; 상기 감지 신호로부터 상기 지문 영상을 생성하고, 상기 특이점의 좌표에 기초하여 상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 영상 처리부; 및 상기 관심 영역과 등록된 지문 정보를 비교하여 지문 인증을 수행하는 인증부를 포함할 수 있다.
본 발명의 실시예들에 따른 지문 인증 장치, 이를 포함하는 표시 장치, 및 이의 구동 방법은 기존의 영상 처리 과정과 병렬로 동작되는 AI 기술을 이용하여 많은 수의 특징점들을 포함하는 소면적의 관심 영역을 빠르게 발췌할 수 있다. 이에 따라, 대면적의 지문 감지 영역을 통해 감지되는 생체 정보에 대한 인증 신뢰도가 보장됨과 동시에 인증을 위한 처리 속도가 크게 개선될 수 있다.
또한, 본 발명의 실시예들에 따른 소면적의 지문 감지 영역을 구비하는 지문 인증 장치, 이를 포함하는 표시 장치, 및 이의 구동 방법은 노이즈 영역에 대한 블러링 등의 영상 처리를 수행하고 노이즈 영역에 기초하여 지문 재입력 여부를 결정할 수 있다. 따라서, 노이즈에 의한 검출 지문의 왜곡 및 인증 오류가 감소되고, 연산 처리 시간 및 인증 시간이 단축될 수 있다.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 표시 장치를 나타내는 블록도이다.
도 2a는 도 1a의 표시 장치의 일 예를 나타내는 단면도이다.
도 2b는 도 1a의 표시 장치의 다른 예를 나타내는 단면도이다.
도 2c는 도 1a의 표시 장치의 또 다른 예를 나타내는 단면도이다.
도 3은 도 1의 표시 장치에 포함되는 지문 인증 장치의 일 예를 나타내는 블록도이다.
도 4는 도 3의 지문 인증 장치에 포함되는 특이점 결정부의 동작의 일 예를 설명하기 위한 도면이다.
도 5는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 동작의 일 예를 설명하기 위한 도면이다.
도 6a 및 도 6b는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 일 예들을 나타내는 블록도들이다.
도 7a 및 도 7b는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 다른 일 예들을 나타내는 블록도들이다.
도 8은 도 7a의 영상 처리부에 포함되는 제2 데이터 처리부의 동작의 일 예를 설명하기 위한 도면이다.
도 9a 및 도 9b는 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 일 예를 설명하기 위한 도면들이다.
도 10은 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 다른 일 예를 설명하기 위한 도면이다.
도 11a는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이다.
도 11b는 도 11a의 지문 인증 장치가 적용되는 지문 감지 영역 및 지문 영상의 일 예를 나타내는 도면이다.
도 12는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이다.
도 13은 본 발명의 실시예들에 따른 표시 장치의 지문 인증 방법을 나타내는 순서도이다.
도 14는 도 13의 지문 인증 방법의 일 예를 나타내는 순서도이다.
도 15는 도 13의 지문 인증 방법의 다른 일 예를 나타내는 순서도이다.
도 16은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
도 17은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
도 2a는 도 1a의 표시 장치의 일 예를 나타내는 단면도이다.
도 2b는 도 1a의 표시 장치의 다른 예를 나타내는 단면도이다.
도 2c는 도 1a의 표시 장치의 또 다른 예를 나타내는 단면도이다.
도 3은 도 1의 표시 장치에 포함되는 지문 인증 장치의 일 예를 나타내는 블록도이다.
도 4는 도 3의 지문 인증 장치에 포함되는 특이점 결정부의 동작의 일 예를 설명하기 위한 도면이다.
도 5는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 동작의 일 예를 설명하기 위한 도면이다.
도 6a 및 도 6b는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 일 예들을 나타내는 블록도들이다.
도 7a 및 도 7b는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 다른 일 예들을 나타내는 블록도들이다.
도 8은 도 7a의 영상 처리부에 포함되는 제2 데이터 처리부의 동작의 일 예를 설명하기 위한 도면이다.
도 9a 및 도 9b는 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 일 예를 설명하기 위한 도면들이다.
도 10은 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 다른 일 예를 설명하기 위한 도면이다.
도 11a는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이다.
도 11b는 도 11a의 지문 인증 장치가 적용되는 지문 감지 영역 및 지문 영상의 일 예를 나타내는 도면이다.
도 12는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이다.
도 13은 본 발명의 실시예들에 따른 표시 장치의 지문 인증 방법을 나타내는 순서도이다.
도 14는 도 13의 지문 인증 방법의 일 예를 나타내는 순서도이다.
도 15는 도 13의 지문 인증 방법의 다른 일 예를 나타내는 순서도이다.
도 16은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
도 17은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 표시 장치를 나타내는 블록도이다.
편의상, 도 1에서는 표시 패널(DP)과 구동부(DRV)를 분리하여 도시하였으나, 본 발명은 이로써 한정되지 않는다. 예를 들어, 구동부(DRV)의 전부 또는 일부는 표시 패널(DP) 상에 일체로 구현될 수 있다.
도 1을 참조하면, 표시 장치(DD)는 표시 패널(DP) 및 구동부(DRV)를 포함할 수 있다. 구동부(DRV)는 패널 구동부(DRV_DP) 및 지문 검출부(DRV_FP)(또는, 지문 인증부)를 포함할 수 있다.
표시 장치(DD)는 전체 또는 적어도 일부가 가요성(flexibility)을 가질 수 있다.
표시 패널(DP)은 표시 영역(AA) 및 비표시 영역(NA)을 포함한다. 표시 영역(AA)은 다수의 화소(PXL, 또는 부화소로 명명될 수 있음)들이 제공되는 영역으로서, 활성 영역(Active Area)으로 명명될 수 있다. 화소(PXL)들 각각은 적어도 하나의 발광 소자를 포함할 수 있다. 표시 장치(DD)는 외부에서 입력되는 영상 데이터에 대응하여 화소(PXL)들을 구동함으로써 표시 영역(AA)에 영상을 표시한다.
일 실시예에서, 표시 영역(AA)은 감지 영역(FSA, 또는, 지문 감지 영역)을 포함할 수 있다. 지문 감지 영역(FSA)은 표시 영역(AA)에 제공되는 화소(PXL) 중 적어도 일부의 화소(PXL)들에 중첩할 수 있다. 일 실시예에서, 도 1에 도시된 바와 같이, 표시 영역(AA) 중 적어도 일부가 지문 감지 영역(FSA)으로 설정될 수 있다.
한편, 도 1에서는 표시 영역(AA)에 하나의 지문 감지 영역(FSA)만이 형성되는 예가 도시되어 있으나, 이에 한정되지 않는다. 예를 들어, 표시 영역(AA)에는 규칙적으로 또는 불규칙적으로 배열된 복수 개의 지문 감지 영역(FSA)들이 형성될 수 있다.
비표시 영역(NA)은 표시 영역(AA)의 주변에 배치되는 영역이며, 비활성 영역(Non-active Area)으로 명명될 수 있다. 예를 들어, 비표시 영역(NA)은 배선 영역, 패드 영역 및 각종 더미 영역 등을 포함할 수 있다.
실시예들에서, 표시 장치(DD)는 지문 감지 영역(FSA)에 제공되는 다수의 센서 화소(SPXL)들을 더 포함할 수 있다.
일 실시예에서, 센서 화소(SPXL)들은 광을 감지하기 위한 광 센서로 구성될 수 있다. 센서 화소(SPXL)들은 표시 장치(DD)에 마련되는 광원(또는 화소(PXL))으로부터 출사된 광이 사용자의 손가락에 의해 반사될 때, 반사광을 감지하여 대응하는 전기적 신호(예를 들어, 전압 신호)를 출력할 수 있다. 각각의 센서 화소(SPXL)들의 전기적 신호는 지문 이미지 내에서 하나의 점(즉, 지문 이미지를 구성하는 최소 단위인 명암의 점, 또는 화소)을 구성할 수 있다. 각각의 센서 화소(SPXL)들에 입사되는 반사광들은 사용자의 손가락(또는, 손바닥, 피부)에 형성되는 지문(또는, 장문(palm pattern), 피부 패턴)의 골(valley)에 의한 것인지 아니면 융선(ridge)에 의한 것인지 여부에 따라 상이한 광 특성(일 예로, 주파수, 파장, 크기 등)을 가질 수 있다. 따라서, 센서 화소(SPXL)들은 반사광의 광 특성에 대응하여 상이한 전기적 특성을 갖는 감지 신호(SS)를 출력할 수 있다.
센서 화소(SPXL)들이 지문 감지 영역(FSA) 상에 배치될 때, 센서 화소(SPXL)들은 화소(PXL)들과 중첩하거나, 화소(PXL)들의 주변에 배치될 수 있다. 예를 들어, 센서 화소(SPXL)들 중 일부 또는 전부는 화소(PXL)들과 중첩되거나, 화소(PXL)들 사이에 배치될 수 있다. 다양한 실시예에서, 센서 화소(SPXL)들과 화소(PXL)들은 동일하거나 상이한 크기를 가질 수 있다. 센서 화소(SPLX)들과 화소(PXL)들 사이의 상대적인 크기 및 배열이 특별히 제한되는 것은 아니다.
센서 화소(SPXL)들이 화소(PXL)들에 인접하게 배치되거나 적어도 일부에서 중첩될 때, 센서 화소(SPXL)들은 화소(PXL)에 구비되는 발광 소자를 광원으로 사용할 수 있다. 이러한 실시예에서, 센서 화소(SPXL)들은 화소(PXL)들에 마련되는 발광 소자들과 함께 광 감지 방식의 지문 센서를 구성할 수 있다. 이와 같이, 별도의 외부 광원 없이 화소(PXL)들을 광원으로 이용하여 지문 센서 내장형 표시 장치를 구성할 경우, 광 감지 방식의 지문 센서 및 이를 구비한 표시 장치의 모듈 두께가 감소되고, 제조 비용이 절감될 수 있다.
일 실시예에서, 센서 화소(SPXL)들은 초음파를 감지하기 위한 초음파 센서를 구성할 수도 있다. 센서 화소(SPXL)들은 초음파 신호를 발산하고, 사용자의 손가락에 의해 반사된 초음파를 감지하여 대응하는 전기적 신호들(또는, 감지 신호(SS))을 출력할 수 있다.
일 실시예에서, 센서 화소(SPXL)들은 지문의 형상에 따라 정전 용량이 변하는 정전 용량 센서를 구성할 수도 있다.
다양한 실시예에서, 센서 화소(SPXL)들은 표시 패널(DP)의 양면 중, 영상이 표시되는 면(예를 들어, 전면)에 대향하는 이면(예를 들어, 배면)에 배치될 수 있다. 그러나 본 발명은 이로써 한정되지 않는다. 예를 들어, 센서 화소(SPXL)들은 발광하는 화소(PXL)들보다 표시 패널(DP)의 전면에 인접하여 배치될 수도 있다.
구동부(DRV)는 표시 패널(DP)을 구동시킬 수 있다. 예를 들어, 구동부(DRV)는 표시 패널(DP)로 영상 데이터에 대응하는 데이터 신호(DS)를 출력할 수 있다. 또한, 구동부(DRV)는 센서 화소(SPXL)를 위한 구동 신호를 출력하고 센서 화소(SPXL)들로부터 수신되는 전기적 신호들(예를 들어, 감지 신호(SS))을 수신할 수 있다. 구동부(DRV)는 전기적 신호들을 이용하여 사용자의 지문 형태를 검출할 수 있다.
실시예들에서, 구동부(DRV)는 패널 구동부(DRV_DP) 및 지문 검출부(DRV_FP)를 포함할 수 있다. 패널 구동부(DRV_DP) 및 지문 검출부(DRV_FP) 각각은 집적 회로로 구현되고, 연성 회로 기판에 실장될 수 있다. 패널 구동부(DRV_DP)는 연성 회로 기판을 통해 표시 패널(DP)에 연결되고, 지문 검출부(DRV_FP)는 센서 화소(SPXL)들에 연결될 수 있다. 도 1에서는 패널 구동부(DRV_DP)와 지문 검출부(DRV_FP)를 분리하여 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 지문 검출부(DRV_FP)의 적어도 일부는 패널 구동부(DRV_DP)와 함께 집적되거나, 패널 구동부(DRV_DP)와 연동하여 동작할 수 있다.
패널 구동부(DRV_DP)는 표시 영역(AA)의 화소(PXL)들을 순차적으로 주사하면서 화소(PXL)들로 영상 데이터에 대응하는 데이터 신호(DS)를 공급할 수 있다. 그러면, 표시 패널(DP)은 영상 데이터에 대응하는 영상을 표시할 수 있다.
지문 검출부(DRV_FP)는 센서 화소(SPXL)들로부터 제공되는 감지 신호(SS)에 기초하여 지문을 검출하거나 인식할 수 있다. 예를 들어, 지문 검출부(DRV_FP)는 감지 신호(SS)를 지문 영상(또는, 지문 영상 데이터)로 변환하고, 지문 영상에 기초하여 지문 인증을 수행할 수 있다. 센서 화소(SPXL)들과 지문 검출부(DRV_FP)는 지문 인증 장치(FDD)(또는, 지문 감지 장치)를 구성할 수 있다.
일 실시예에서, 지문 검출부(DRV_FP)는 지문 등록 모드에서 감지된 지문 영상에 기초하여 지문 또는 이의 템플릿(templet)을 생성하여 저장할 수 있다. 여기서, 템플릿은 지문 인증 시 기준(또는, 비교 기준)이 되는 적어도 하나의 지문 영상을 포함하거나 적어도 하나의 지문 영상으로부터 추출된 특이점(singular point) 및 특징점(minutia)들의 정보를 포함할 수 있다.
지문은 손가락의 표면의 굴곡을 형성하는 융선들(ridges)과 골들(valleys)로 이루어진다. 지문 영상은 이들 융선들과 골들의 표현이며, 융선은 통상적으로 어두운 선들로서 표현되고, 융선들 사이의 골들은 상대적으로 밝게 표시될 수 있다. 예시적인 지문 영상은 도 4에 도시된다.
일 실시예에서, 지문 영상의 특이점은 지문의 코어(core) 및 델타(delta) 중 적어도 하나를 포함할 수 있다. 지문의 코어는 지문의 가장 안쪽의 융선을 포함하는 부분으로, 융선의 기울기 변화가 가장 심한 중심부일 수 있다. 지문의 델타는 지문의 서로 다른 패턴들이 지나가 델타 형상(삼각주)과 유사한 형상을 갖는 지점일 수 있다.
이러한 특이점 주변에 상대적으로 많은 특징점들이 검출될 수 있다. 지문의 특징점은 지문 인증을 위해 비교되는 부분들로, 지문 정보의 특징을 포함한다. 예를 들어, 특징점은 융선의 끝점(end point), 융선들이 서로 갈라지거나 만나는 교차점, 분기점 등에 대응할 수 있다.
일 실시예에서, 지문 검출부(DRV_FP)는 지문 인증 모드에서 획득한 지문 영상(즉, 센서 화소(SPXL)들의 감지 동작을 통해 획득한 데이터)를 등록된 지문 정보(즉, 템플릿)과 비교하여 지문 인증을 수행할 수 있다.
본 발명의 실시예들에 따른 지문 검출부(DRV_FP)는 지문 인증 시 감지되는 지문 영상으로부터 특이점의 좌표를 산출하고, 특이점을 포함하는 관심 영역을 발췌할 수 있다. 동일한 면적에 대하여 특이점을 포함하는 관심 영역은 특이점을 포함하지 않는 영역보다 훨씬 더 많은 수의 특징점들을 포함할 수 있다.
따라서, 지문 인증 시간 및 인증 성능이 개선될 수 있다.
도 2a는 도 1의 표시 장치의 일 예를 나타내는 단면도이다.
도 1 및 도 2a를 참조하면, 표시 장치(DD)는 지문 감지 영역(FSA)에서 표시 패널(DP)과 표시 패널(DP)의 하부면 상에 배치된 생체 센서(PS)(또는, 지문 센서)를 포함할 수 있다. 또한, 표시 장치(DD)는 기판(SUB), 기판(SUB)의 상부면 상에 순차적으로 배치되는 회로 소자층(BPL), 발광 소자층(LDL), 제1 보호층(PTL1), 제1 점착층(ADL1) 및 윈도우(WIN)를 포함할 수 있다. 또한, 표시 장치(DD)는 지문 감지 영역(FSA)에서 기판(SUB)의 하부면 상에 순차적으로 배치되는 제2 점착층(ADL2) 및 제2 보호층(PTL2)을 포함할 수 있다.
기판(SUB)은 표시 패널(DP)의 베이스 기재로서, 실질적으로 투명한 투광성 기판일 수 있다. 기판(SUB)은 유리 또는 강화 유리를 포함한 경성 기판(rigid substrate), 또는 플라스틱 재질의 가요성 기판(flexible substrate)일 수 있다. 다만, 기판(SUB)의 재질이 이에 한정되지는 않으며, 상기 기판(SUB)은 다양한 물질로 구성될 수 있다.
회로 소자층(BPL)은 기판(SUB)의 상부면 상에 배치되며, 적어도 하나의 도전층을 포함할 수 있다. 예를 들어, 회로 소자층(BPL)은 화소(PXL)들의 화소 회로를 구성하는 복수의 회로 소자들과, 화소(PXL)들을 구동하기 위한 각종 전원 및 신호를 공급하기 위한 배선들을 포함할 수 있다. 이 경우, 회로 소자층(BPL)은 적어도 하나의 트랜지스터 및 커패시터 등과 같은 각종 회로 소자들과, 이에 연결되는 배선들을 구성하기 위한 복수의 도전층들을 포함할 수 있다. 또한, 회로 소자층(BPL)은 복수의 도전층들 사이에 제공된 적어도 하나의 절연층을 포함할 수 있다.
발광 소자층(LDL)은 회로 소자층(BPL)의 상부면 상에 배치될 수 있다. 발광 소자층(LDL)은, 컨택홀 등을 통해 회로 소자층(BPL)의 회로 소자들 및/또는 배선들에 연결되는 복수의 발광 소자(LD)들을 포함할 수 있다.
일 실시예에서, 발광 소자(LD)들은 각각의 화소(PXL)에 대해 적어도 하나가 마련될 수 있다. 예를 들어, 발광 소자(LD)는 유기 발광 다이오드(organic light emitting diode) 또는 마이크로 발광 다이오드, 양자점(quantum dot) 발광 다이오드와 같은 무기(inorganic) 발광 다이오드로 구성될 수 있다. 또한, 발광 소자(LD)는 유기물과 무기물이 복합적으로 구성된 발광 소자일 수도 있다. 나아가, 각각의 화소(PXL)들은 단일(single) 발광 소자를 포함하거나, 다른 실시예에서 각각의 화소(PXL)들은 복수의 발광 소자들을 포함하며, 복수의 발광 소자들은 상호 직렬, 병렬, 또는, 직병렬로 연결될 수 있다.
제1 보호층(PTL1)은 표시 영역(AA)을 커버하도록 발광 소자층(LDL)의 상부에 배치될 수 있다. 제1 보호층(PTL1)은 박막 봉지층(thin film encapsulation: TFE) 또는 봉지 기판과 같은 밀봉 부재를 포함할 수 있고, 밀봉 부재 외에도 보호 필름 등을 추가적으로 포함할 수 있다.
제1 점착층(ADL1)은 제1 보호층(PTL1)과 윈도우(WIN)의 사이에 배치되어 제1 보호층(PTL1)과 윈도우(WIN)를 결합할 수 있다. 제1 점착층(ADL1)은 OCA(optical clear adhesive)와 같은 투명 접착제를 포함할 수 있으며, 이외에 다양한 접착 물질을 포함할 수 있다.
윈도우(WIN)는 표시 패널(DP)을 포함하는 표시 장치(DD)의 최상단에 배치되는 보호 부재로서, 투광성 기판일 수 있다. 이러한 윈도우(WIN)는 유리 기판, 플라스틱 필름, 플라스틱 기판으로부터 선택된 다층 구조를 가질 수 있다. 윈도우(WIN)는 경성 또는 가요성의 기재를 포함할 수 있으며, 윈도우(WIN)의 구성 물질이 특별히 한정되지는 않는다.
다양한 실시예에서, 표시 장치(DD)는 도시되지 않은 편광판, 반사 방지층, 및/또는 터치 센서층(터치 전극층) 등을 더 포함할 수도 있다. 예를 들어, 표시 장치(DD)는 제1 보호층(PTL1)과 윈도우(WIN)의 사이에 배치되는 편광판 및/또는 터치 센서층을 더 포함할 수 있다.
제2 보호층(PTL2)은 기판(SUB)의 다른 일면에 배치될 수 있다. 제2 보호층(PTL2)은 제2 점착층(ADL2)에 의해 기판(SUB)에 결합될 수 있다. 제2 점착층(ADL2)은 OCA와 같은 투명 접착제를 포함할 수 있다. 제2 점착층(ADL2)은 접착면과 접착시키기 위한 압력이 가해질 때 접착 물질이 작용하는 감압 접착제(PSA: Pressure Sensitive Adhesive)를 포함할 수도 있다.
제2 보호층(PTL2)은 외부로부터 산소 및 수분 등이 유입되는 것을 차단하며 단일층 또는 다중층의 형태로 제공될 수 있다. 제2 보호층(PTL2)은 필름 형태로 구성되어 표시 패널(DP)의 가요성을 더욱 확보할 수 있다. 제2 보호층(PTL2)은 OCA와 같은 투명 접착제를 포함한 다른 접착층(미도시)을 통해 생체 센서(PS)와 결합할 수 있다.
일 실시예에서, 생체 센서(PS)가 광 센서를 포함하는 경우, 제2 보호층(PTL2)의 하부에는 선택적 광 차단 필름이 더 마련될 수도 있다. 선택적 광 차단 필름은 표시 장치(DD)로 유입된 외부 광 중 특정 주파수 영역, 예를 들어 적외선을 차단하여 생체 센서(PS)의 센서 화소(SPXL)들로 해당 광이 입사하는 것을 방지할 수 있다.
생체 센서(PS)는 표시 패널(DP)의 적어도 일 영역과 중첩되도록 표시 패널(DP)의 하부면(또는, 배면)에 점착제 등을 통하여 부착될 수 있다. 생체 센서(PS)는 예를 들어, 지문 감지 영역(FSA)에서 표시 패널(DP)과 중첩되도록 배치될 수 있다. 생체 센서(PS)는 소정의 해상도 및/또는 간격으로 분산된 복수의 센서 화소(SPXL)들을 포함할 수 있다.
일 실시예에서, 생체 센서(PS)가 광 센서를 포함하는 경우, 생체 센서(PS) 상에는 생체 센서(PS)로 향하는 광을 집광하여 광 경로를 제공하는 광학계가 제공될 수 있다. 광학계에서 광을 도파하는 투광부의 폭은 센싱 정밀도와 광 변환 효율을 고려하여 결정될 수 있다. 이러한 광학계에 의해 생체 센서(PS)로 입사되는 광의 집광률이 향상될 수 있다. 실시예에 따라, 광학계는 광섬유, 실리콘 등으로 형성될 수 있다.
센서 화소(SPXL)들은, 센서 화소(SPXL)들이 출력하는 전기적 신호들로부터 식별 가능할 정도의 지문 이미지가 생성될 수 있도록, 적절한 개수, 크기 및 배열을 가질 수 있다. 센서 화소(SPXL)들 사이의 간격은, 관측 대상물(예를 들어, 지문 등)로부터 반사되는 반사광이 이웃한 적어도 두 개의 센서 화소(SPXL)들에 입사될 수 있도록 조밀하게 설정될 수 있다.
도 2b는 도 1의 표시 장치의 다른 예를 나타내는 단면도이다.
도 1 내지 도 2b를 참조하면, 광학계로서의 기능을 포함하는 표시 장치(DD)는 핀홀(PIH)들을 포함하는 차광층(PHL)을 더 구비할 수 있다. 차광층(PHL)은 표시 패널(DP) 내부에, 또는 표시 패널(DP)과 센서 화소(SPXL)들 사이에 배치되어, 센서 화소(SPXL)들로 입사되는 광의 일부를 차단할 수 있다. 예를 들어, 차광층(PHL)으로 입사되는 광 중 일부는 차단되고, 나머지 일부는 핀홀(PIH)들을 통과하여 차광층(PHL) 하부의 센서 화소(SPXL)들에 도달할 수 있다.
핀홀(PIH)들은 광학적인 홀을 의미할 수 있는 것으로서, 투광홀의 일종일 수 있다. 예를 들어, 핀홀(PIH)들은 반사광이 표시 패널(DP)을 사선 방향 또는 수직 방향으로 투과하여 센서 화소(SPXL)들로 입사되는 경로 상에서, 표시 장치(DD)의 레이어들이 서로 중첩하여 배치된 투광홀들 중 가장 작은 크기(면적)를 갖는 투광홀일 수 있다.
핀홀(PIH)들은 소정의 폭, 예를 들어 5㎛ 내지 20㎛ 범위의 폭을 가질 수 있다. 이러한 방식으로, 차광층(PHL)으로부터 멀어질수록(즉, 차광층(PHL)의 상부 및 하부 방향으로 갈수록) 표시 장치(DD)의 각 층에서 확보해야 할 광학적 개구 영역의 폭은 점진적으로 증가할 수 있다.
핀홀(PIH)들을 통과한 반사광만이 광 센서(PS)의 센서 화소(SPXL)들에 도달할 수 있다. 매우 좁은 폭의 핀홀(PIH)에 의해 지문으로부터 반사되는 광의 위상과 생체 센서(PS)에 맺히는 상의 위상은 180도 차이를 가질 수 있다.
센서 화소(SPXL)들은 수신되는 반사광에 대응하는 감지 신호(SS), 예를 들어 전압 신호를 출력할 수 있다.
다만, 이는 예시적인 것으로서, 지문으로부터의 반사광을 검출하는 광 센서의 구성, 배치, 구동 방식 등이 도 2b의 생체 센서(PS)에 한정되는 것은 아니다.
도 2c는 도 1의 표시 장치의 또 다른 예를 나타내는 단면도이다.
도 1, 도 2a, 및 도 2c를 참조하면, 생체 센서(PS)는 초음파 센서를 포함할 수 있다. 이 경우, 센서 화소(SPXL, 도 2a 참조)들은 압전 소자(PZ)로 구현될 수 있다. 압전 소자(PZ)들 사이에는 압전 소자(PZ)들 사이의 진동을 절연시키는 충진재(PIL)가 채워질 수 있다.
압전 소자(PZ)들 각각은 진동부와, 진동부의 상면 및 하면에 배치되는 전극들을 포함할 수 있다. 진동부는 진동에 용이한 PZT(티탄산 지르콘산 연)과 같은 물질을 포함할 수 있다.
압전 소자(PZ)들의 전극들에 특정 주파수를 갖는 교류 전압이 인가되면, 진동부가 상하로 진동하면서 특정 주파수(예를 들어, 12MHz)를 갖는 초음파가 발산될 수 있다.
지문의 골 부분에서, 윈도우(WIN)와 공기의 매질 차이로 인해 초음파의 대부분은 윈도우(WIN)를 통과하지 못하고 반사된다. 반면, 윈도우(WIN)와 접하는 지문의 융 부분에서, 초음파의 일부가 윈도우(WIN)를 통과하고, 초음파의 나머지 일부만이 생체 센서(PS)를 향해 반사될 수 있다. 즉, 각각의 센서 화소(SPXL)들에 입사되는 초음파의 세기는 지문의 골에 의한 것인지 아니면 융선에 의한 것인지 여부에 따라 달라질 수 있다. 따라서, 센서 화소(SPXL)들은 초음파의 세기에 대응하여 상이한 전기적 특성을 갖는 감지 신호(SS)를 출력할 수 있다.
도 3은 도 1의 표시 장치에 포함되는 지문 인증 장치의 일 예를 나타내는 블록도이고, 도 4는 도 3의 지문 인증 장치에 포함되는 특이점 결정부의 동작의 일 예를 설명하기 위한 도면이며, 도 5는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 동작의 일 예를 설명하기 위한 도면이다.
도 3 내지 도 5를 참조하면, 표시 장치(DD)에 포함되는 지문 인증 장치(100)는 생체 센서(120), 영상 처리부(140), 특이점 결정부(160), 및 인증부(180)를 포함할 수 있다.
생체 센서(120)는 생체 정보(BI)를 감지하여 감지 신호(SS)를 생성할 수 있다. 일 실시예에서, 생체 센서(120)는 도 2a 내지 도 2c를 참조하여 설명된 광 센서 또는 초음파 센서일 수 있다. 다만, 이는 예시적인 것으로서, 생체 센서(120)가 이에 한정되는 것은 아니며, 공지된 다양한 형태의 센서를 포함할 수 있다. 예를 들어, 생체 센서(120)는 정전 용량 방식으로 감지 신호(SS)를 생성할 수 있다.
일 실시예에서, 생체 센서(120)가 지문 또는 생체 정보를 감지하는 사각 형상의 지문 감지 영역(FSA)의 사이즈는 가로X세로 11mmX11mm 이상의 대면적일 수 있다. 이에 따라, 지문 영상에 포함되는 실제 지문 부분은 지문 감지 영역(FSA)의 크기보다 작을 수 있다. 또한, 지문 감지 영역(FSA)으로부터 복수의 지문들(손가락들)이 동시에 감지될 수도 있다.
특이점 결정부(160)는 생체 정보(BI)로부터 복수의 지문 조각들(FIP1 내지 FIP4)을 선택할 수 있다. 일 실시예에서, 특이점 결정부(160)는 영상 처리부(140)에 의해 영상 처리된 지문 영상(FI)으로부터 지문 조각들(FIP1 내지 FIP4)을 추출(또는, 선택)할 수 있다.
지문 조각들(FIP1 내지 FIP4) 각각의 사이즈 및 사이즈들의 전체 합은 실제 관심 영역(IAD)의 사이즈보다 작을 수 있다. 따라서, 특이점(SGLP)의 좌표를 예측하는 데 이용되는 처리 시간이 매우 짧아질 수 있다.
선택된 지문 조각들(FIP1 내지 FIP4)의 데이터는 소정의 메모리에 저장될 수 있다.
일 실시예에서, 특이점 결정부(160)는 감지 영역(FSA) 또는 지문 영상(FI)을 k개의(단, k는 1보다 큰 정수) 샘플링 영역들(A1 내지 A4)로 구분하고, k개의 영역들(A1 내지 A4) 각각의 임의의 위치에 대응하는 지문 조각들(FIP1 내지 FIP4)을 선택할 수 있다. 도 4에는 지문 영상(FI)이 4개의 샘플링 영역들(A1 내지 A4)로 구분되는 것으로 도시되었으나, 샘플링 영상의 개수 및 지문 조각의 개수가 이에 한정되는 것은 아니다. 예를 들어, 자가 학습에 의해 특이점 결정부(160)의 성능이 향상되면, 특이점 결정부(160)는 하나의 지문 조각으로부터 특이점(SGLP)을 정확하게 산출할 수 있다.
한편, 샘플링 영역들(A1 내지 A4) 및 지문 조각들(FIP1 내지 FIP4)은 랜덤하게 결정될 수 있다.
특이점 결정부(160)는 지문 조각들(FIP1 내지 FIP4)을 분석하여 지문 영상(FI)의 특이점(SGLP)을 결정할 수 있다. 예를 들어, 특이점(SGLP)은 지문의 코어 및/또는 델타를 포함할 수 있다.
일 실시예에서, 특이점 결정부(160)는 학습(machine learning)을 통해 특이점(SGLP) 결정을 위한 검출 모델을 설정할 수 있다. 특이점 결정부(160)는 지문 조각들(FIP1 내지 FIP4) 각각으로부터 도출되는 융선들 및 골들을 검출 모델에 적용하여 특이점(SGLP)을 탐색 및 획득할 수 있다. 예를 들어, 융선들 및 골들의 방향, 지문 조각들(FIP1 내지 FIP4)에서의 융선들 및 골들의 진행 추세 등에 기초하여 특이점(SGLP)이 예측될 수 있다.
일 실시예에서, 특이점 결정부(160)는 검출 모델을 생성 및 갱신하는 인공지능(artificial intelligence; AI) 프로그램 또는 AI 모듈을 포함할 수 있다. 특이점 결정부(160)는 딥러닝 기반의 AI 기술을 이용하여 특이점(SGLP)을 찾는 검출 모델을 설정할 수 있다. 예를 들어, 딥러닝 기반의 AI 기술(또는, 학습 알고리즘)은 Deep Belief Network, Autoencoder, CNN(Convolutional Neural Network), RNN(Recurrent Nerural Network), Deep Q-Network 등을 포함할 수 있다. 다만, 이러한 딥러닝 기반의 AI 기술은 예시일 뿐, 딥러닝 기반의 AI 기술이 이에 한정되는 것은 아니다.
일 실시예에서, 특이점 결정부(160)는 외부로부터 제공된 학습용 지문 영상들에 대한 학습을 통해 특이점(SGLP)을 검출하는 검출 모델을 설정할 수 있다.
예를 들어, 특이점 결정부(160)는 학습용 지문 영상들에 대한 학습을 통해 특이점(SGLP)의 좌표를 산출하는 함수(예를 들어, 예비 검출 모델이라 함)를 설정할 수 있다. 또한, 특이점 결정부(160)는 학습용 지문 영상으로부터 임의로 선택되는 지문 조각들(예를 들어, FIP1 내지 FIP4)을 이용하여 학습용 지문 영상과 최대한 유사한 형태로 지문 영상을 복원하는 함수를, 학습용 지문 영상들에 대한 학습을 통해 설정할 수 있다. 예를 들어, 특이점 결정부(160)는 지문 조각들을 이용한 영상 복원 및 복원된 영상과 이의 기준이 되는 학습용 영상의 비교를 반복하는 학습 및 다양한 학습용 지문 영상들을 이용한 학습을 통해 영상 복원의 정확도를 향상시킬 수 있다.
또한, 특이점 결정부(160)는 복원된 지문 영상으로부터 특이점(SGLP)의 좌표를 산출하는 학습을 통해 예비 검출 모델의 함수를 더욱 정교한 검출 모델로 갱신할 수 있다.
이에 따라, 특이점 결정부(160)는 지문 조각들(FIP1 내지 FIP4)에 대한 랜덤 선택 및 이를 이용한 탐색을 통해 지문 영상(FI)의 특이점(SGLP)의 좌표를 획득할 수 있다.
학습용 지문 영상들에 대한 학습을 통해 검출 모델을 설정하는 과정은 사전 학습으로 명명될 수 있다.
일 실시예에서, 특이점 결정부(160)는 실제 지문 감지를 통해 영상 처리부(140)에서 생성된 지문 영상(FI), 지문 영상(FI)의 지문 조각들(FIP1 내지 FIP4), 및 관심 영역(IAD)을 이용한 추가적인 학습을 통해 검출 모델을 갱신할 수 있다. 이러한 학습 과정은 사전 학습과 유사한 방식으로 진행될 수 있다.
생체 센서(120)를 통해 실제 감지된 지문 영상(FI) 또는 생체 정보(BI)에 대한 학습을 통해 검출 모델을 갱신하는 과정은 실시간 학습으로 명명될 수 있다.
한편, 실제 지문 인증 시 선택되는 지문 조각들(FIP1 내지 FIP4) 및 특이점(SGLP) 획득을 위해 복원된 영상 정보는 소정의 메모리에 저장될 수 있다.
영상 처리부(140)는 감지 신호(SS)로부터 지문 영상(FI)을 생성할 수 있다. 일 실시예에서, 영상 처리부(140)는 아날로그 전압 레벨을 갖는 감지 신호(SS)를 디지털 데이터로 변화하고, 변환된 디지털 데이터를 이용하여 지문 영상(FI)을 생성할 수 있다. 일 실시예에서, 영상 처리부(140)는 지문 영상(FI)에 대한 추가적인 영상 처리를 수행할 수 있다.
도 5에 도시된 바와 같이, 영상 처리부(140)는 특이점 결정부(160)로부터 공급되는 특이점(SGLP)의 좌표에 기초하여 지문 영상(FI)으로부터 특이점(SGLP)을 포함하는 관심 영역(IAD)을 발췌할 수 있다. 예를 들어, 특이점(SGLP)은 지문 영상(FI)의 중심에 위치할 수 있다.
일 실시예에서, 관심 영역(IAD)의 발췌는 관심 영역(IAD)의 바깥의 영상 데이터를 잘라내어 버리는 영상 크로핑(cropping) 등의 기술로 수행될 수 있다.
한편, 지문 감지 영역(FSA)이 대면적화 될수록 지문 인증 및 영상 처리에 소요되는 시간이 증가될 수밖에 없다. 다시 말하면, 지문 인증 및 분석에 이용되는 영역의 크기(즉, 데이터의 크기)가 작을수록 처리 속도는 빨라질 수 있다.
관심 영역(IAD)의 면적은 일정 수준 이상의 지문 인증의 정확도가 확보될 수 있을 정도의 크기로 결정될 수 있다. 예를 들어, 관심 영역(IAD)의 면적은 지문 감지 영역(FSA)의 약 30%이하로 설정될 수 있다.
관심 영역(IAD, 또는, 지문 인증에 이용되는 영상)의 사이즈가 감소될수록 지문 인증에 소용되는 처리 시간이 감소되는 반면 인증 신뢰도는 떨어질 수 있다. 그러나, 특이점(SGLP) 주변은 손가락의 가장자리보다 특징점들이 상대적으로 많이 존재하므로, 작은 면적이더라도 소정 기준 이상의 인증 신뢰도가 보장될 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 지문 인증 장치(100) 및 이를 포함하는 표시 장치(DD)는 기존 영상 처리 과정과 병렬로 동작되는 AI 기술을 이용하여 많은 수의 특징점들을 포함하는 소면적의 관심 영역(IAD)을 빠르게 발췌할 수 있다. 이에 따라, 대면적의 지문 감지 영역(FSA)을 통해 감지되는 생체 정보(BI)에 대한 인증 신뢰도가 보장됨과 동시에 처리 시간이 최소화될 수 있다.
인증부(180)는 관심 영역(IAD)과 등록된 지문 정보(RFI)를 비교하여 지문 인증을 수행할 수 있다. 인증부(180)는 지문 인증 결과를 매칭 신호(MS)로서 출력할 수 있다.
일 실시예에서, 인증부(180)는 관심 영역(IAD)의 특성 정보와 등록된 지문 정보(RFI) 간의 유사도를 계산할 수 있다. 예를 들어, 특성 정보 및 등록된 지문 정보(RFI)는 특징점(minutiae) 정보, SIFT(Scale-invariant feature transform) 정보 및 주파수 도메인 변환 기법에 기초하여 추출되는 위상 정보 중 적어도 하나를 포함할 수 있다.
유사도가 소정의 임계값 이상인 경우, 인증부(180)는 해당 지문을 승인할 수 있다. 유사도가 임계값 미만인 경우, 인증부(180)는 해당 지문을 불승인하거나, 인증 재시도 명령을 생성할 수 있다.
도 6a 및 도 6b는 도 3의 지문 인증 장치에 포함되는 영상 처리부의 일 예들을 나타내는 블록도들이다.
도 6a 및 도 6b를 참조하면, 영상 처리부(140A, 140B)는 데이터 처리부(142) 및 영상 크로핑부(146)를 포함할 수 있다.
데이터 처리부(142)는 감지 신호(SS)로부터 지문 영상(FI)을 생성할 수 있다. 일 실시예에서, 데이터 처리부(142)는 데이터 변환부(1421) 및 데이터 보정부(1422)를 포함할 수 있다.
데이터 변환부(1421)는 아날로그 전압 레벨을 갖는 감지 신호(SS)를 디지털 형식의 감지 데이터(DSS)로 변환할 수 있다. 데이터 변환부(1421)는 공지된 다양한 구조의 아날로그-디지털 변환기를 포함할 수 있다. 예를 들어, 데이터 변환부(1421)는 감지 신호(SS)에 포함되는 감지 영역의 위치 별 전압 값을 이에 대응하는 계조 정보를 포함하는 디지털 값으로 변환할 수 있다.
데이터 보정부(1422)는 감지 데이터(DSS)를 이용하여 영상 처리가 수행된 지문 영상(FI)을 생성할 수 있다. 예를 들어, 데이터 보정부(1422)는 지문 영상(FI)의 원본 영상(예를 들어, 감지 데이터(DSS))에 대한 평활화(smoothing)를 수행할 수 있다.
데이터 보정부(1422)는 지문 영상(FI)에 대하여 명암 구분을 증가시키고 노이즈 등을 제거할 수 있다. 평활화는 원본 영상 내의 각 픽셀들에 대한 히스토그램 분석을 통해 수행될 수 있으며, 예를 들어, 메디언 필터(Median Filter)가 이용될 수 있다. 평활화는 다양한 알려진 알고리즘에 의해 수행될 수 있으며, 그 방식에 대하여는 특별히 제한하지 않는다.
예를 들어, 데이터 보정부(1422)는 원본 영상에 대하여 이진화(banalization) 및 세선화(thinning)를 수행할 수 있다. 데이터 보정부(1422)는 복수 개의 계조 레벨들(예를 들어, 256개의 계조 레벨들 중 대응되는 적어도 하나)을 0(블랙) 또는 1(화이트)에 대응하는 값으로 변환할 수 있다. 그러면 지문을 구성하는 융선은 블랙으로, 골은 화이트로 명확하게 구분될 수 있다. 또한, 데이터 보정부(1422)는 이진화된 이미지로부터 융선의 폭이 1 픽셀인 선 영상을 생성할 수 있다. 이진화 및 세선화는 지문 검출의 정확도 향상을 위해 수행되는 것으로서 생략될 수 있다.
일 실시예에서, 상기한 영상 처리 동작들 중 적어도 하나가 생략되거나, 필요한 경우 더 많은 영상 처리가 수행될 수 있다.
영상 크로핑부(146)는 지문 영상(FI)에서 특이점(SGLP)을 포함하는 기 설정된 사이즈의 관심 영역(IAD)을 결정할 수 있다. 또한, 영상 크로핑부(146)는 관심 영역(IAD)을 제외한 지문 영상(FI)의 나머지 부분을 잘라낼 수 있다. 이에 따라, 이후 인증부(180)에서의 지문 인증 시의 연산 부담이 경감되고, 처리 속도가 빨라질 수 있다.
일 실시예에서, 도 5에 도시된 바와 같이, 영상 크로핑부(146)는 특이점(SGLP)의 좌표를 관심 영역(IAD)의 중심 좌표로 결정할 수 있다. 따라서, 특이점(SGLP)을 중심으로 하는 관심 영역(IAD)이 발췌될 수 있다.
영상 크로핑부(146)의 기능과 관련된 설명은 도 9a 및 도 9b를 참조하여 자세히 설명하기로 한다.
일 실시예에서, 도 6a에 도시된 바와 같이, 영상 처리부(140A)는 데이터 보정부(1422)에서 생성된 지문 영상(FI)을 특이점 결정부(160)에 제공할 수 있다. 특이점 결정부(160)는 영상 처리가 완료된 데이터에 기초하여 특이점(SGLP)을 산출할 수 있다. 따라서, 특이점(SGLP)의 정확도가 도 6b 등에 의한 실시예보다 상대적으로 높을 수 있다.
일 실시예에서, 도 6b에 도시된 바와 같이, 영상 처리부(140B)는 데이터 변환부(1421)에서 생성된 감지 데이터(DSS)를 특이점 결정부(160)에 제공할 수 있다. 이 경우, 감지 데이터(DSS)의 보정(영상 처리)과 특이점 결정부(160)의 특이점(SGLP) 산출 과정이 병렬적으로 수행될 수 있다. 따라서, 관심 영역(IAD)을 발췌하는 처리 속도가 향상될 수 있다.
도 7a 및 도 7b은 도 3의 지문 인증 장치에 포함되는 영상 처리부의 다른 일 예들을 나타내는 블록도들이고, 도 8은 도 7a의 영상 처리부에 포함되는 제2 데이터 처리부의 동작의 일 예를 설명하기 위한 도면이며, 도 9a 및 도 9b는 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 일 예를 설명하기 위한 도면들이다.
도 1, 도 2, 도 7a, 도 7b, 도 8, 도 9a, 및 도 9b를 참조하면, 영상 처리부(140C, 140D)는 제1 데이터 처리부(142), 제2 데이터 처리부(144), 영상 크로핑부(146), 및 저장부(148)를 포함할 수 있다.
제1 데이터 처리부(142)는 감지 신호(SS)로부터 제1 지문 영상(FI1)을 생성할 수 있다. 일 실시예에서, 제1 데이터 처리부(142)는 데이터 변환부(1421) 및 데이터 보정부(1422)를 포함할 수 있다. 제1 데이터 처리부(142)는 도 6a 및 도 6b를 참조하여 설명된 데이터 처리부와 실질적으로 동일하므로, 중복되는 내용의 설명은 생략하기로 한다. 또한, 제1 지문 영상(FI1)은 도 6a 및 도 6b를 참조하여 설명된 지문 영상(FI)과 실질적으로 동일할 수 있다.
제2 데이터 처리부(144)는 제1 지문 영상(FI1)에서 외부 환경에 의한 노이즈의 영향을 받는 노이즈 영역(NOISE_A)을 검출할 수 있다.
일 실시예에서, 생체 센서(120)가 광 센서를 포함하는 경우, 원치 않는 외광의 영향을 받는 부분은 영상 손실이 발생되거나, 오인식될 수 있다. 외광에 따른 영상 손실에 의해 지문 인증 신뢰도가 떨어지거나, 지문 인증 처리 시간이 증가될 수 있다. 따라서, 노이즈 영역(NOISE_A)에 대한 검출 및 지문 인증 시 노이즈 영역(NOISE_A)에 대한 배제 및/또는 노이즈 영역(NOISE_A)에 대한 추가적인 영상 처리가 필요하다.
제2 데이터 처리부(144)는 제1 지문 영상(FI1)을 분석하여 외광의 침투 방향, 강도 등을 계산함으로써 노이즈 영역(NOISE_A)을 검출할 수 있다. 예를 들어, 노이즈 영역(NOISE_A)의 휘도는 제1 지문 영상(FI1)의 정상적인 부분보다 더 클 수 있다.
제2 데이터 처리부(144)는 노이즈 영역(NOISE_A)을 블러링하여 제2 지문 영상(FI2)을 생성할 수 있다. 예를 들어, 제2 데이터 처리부(144)는 제1 지문 영상(FI1)에서의 위치 별 영상 휘도를 분석하여 소정의 휘도 범위 별로 영상이 단순화된 마스크 영상을 산출할 수 있다. 마스크 영상이 제1 지문 영상(FI1)에 합성되어 제2 지문 영상(FI2)이 생성될 수 있다. 일 실시예에서, 도 7에 도시된 바와 같이, 제2 지문 영상(FI2)의 노이즈 영역(NOISE_A)은 블러링(또는, 마스킹)될 수 있다. 블러링된 부분은 지문 인증 시(또는, 지문 매칭 시) 배제될 수 있다.
또한, 관심 영역(IAD) 발췌 시 불가피하게 노이즈 영역(NOISE_A)의 일부가 관심 영역(IAD)에 포함될 수 있다. 이 때, 노이즈 영역(NOISE_A)은 블러링 처리되었으므로, 지문 인증 시의 오인식 가능성을 크게 떨어뜨릴 수 있다.
한편, 외부 환경에 의한 노이즈는 외광에 한정되지 않으며, 노이즈 영역(NOISE_A)에 대한 영상 처리는 블러링에 한정되지 않는다. 실시예에 따라, 피부의 상태, 지문 감지 영역(FSA)의 상태, 지문 감지 시의 압력, 지문 감지 영역(FSA)에 지문이 접촉하는 위치 등에 의해 노이즈 영역(NOISE_A)이 결정될 수 있다. 또한, 생체 센서(120)는 광 센서뿐만 아니라, 초음파 방식의 센서, 정전 용량 방식의 센서 등 다양한 방식의 센서를 포함할 수 있다. 일 실시예에서, 상술한 센서들로부터 감지된 감지 신호는 데이터 변환을 통해 상술된 지문 영상 형식으로 표현될 수 있다.
피부의 지문 이외의 주름이 제1 지문 영상(FI1)에 포함되는 경우, 제2 데이터 처리부(144)는 주름 부분을 노이즈로 분석할 수 있다. 예를 들어, 주름은 지문과는 다른 방향성을 갖는 골(즉, 밝은 선)로 표현될 수 있다. 또한, 주름은 지문의 골보다 더 두꺼운 형태로 표현될 수 있다.
감지된 지문 중 상대적으로 건조한 부분은 다른 부분에 비하여 전체적으로 밝게 표현될 수 있다. 이 경우에도, 제2 데이터 처리부(144)는 피부의 건조한 부분을 인지하여 이를 노이즈 영역(NOISE_A)으로 결정할 수 있다.
지문 접촉 시, 압력이 크게 작용되는 부분의 지문은 상대적으로 뭉개진 것으로 표현될 수 있다. 즉, 압력이 크게 작용된 부분의 골 및/또는 융선의 폭이 다른 부분보다 넓게 표현될 수 있다. 제2 데이터 처리부(144)는 제1 지문 영상(FI1)의 이러한 비정상적인 부분을 감지하고, 해당 부분을 노이즈 영역(NOISE_A)으로 결정할 수 있다.
지문 및/또는 감지 영역의 적어도 일부에 파티클, 수분 등의 이물질이 함께 감지되는 경우에도, 제1 지문 영상(FI1)의 해당 부분이 일반적인 골 및/또는 융선의 폭, 휘도와 다르게 표현될 수 있다. 제2 데이터 처리부(144)는 제1 지문 영상(FI1)의 이러한 비정상적인 부분을 감지하고, 해당 부분을 노이즈 영역(NOISE_A)으로 결정할 수 있다.
다만, 이는 예시적인 것으로서, 외부 요인에 의한 노이즈가 이에 한정되는 것은 아니다.
제2 데이터 처리부(144)는 노이즈를 수치화할 수 있다. 노이즈 및/또는 노이즈 영역(NOISE_A)이 기 설정된 임계 기준 이상인 경우, 제2 데이터 처리부(144)는 지문 감지 재시도 명령(RTS)을 생성할 수 있다. 예를 들어, 노이즈 영역(NOISE_A)이 지문 영상(FI1)의 지문의 복수의 부분에서 검출되는 경우, 제2 데이터 처리부(144)는 지문 감지 재시도 명령(RTS)을 생성할 수 있다. 또는, 노이즈 영역(NOISE_A)의 전체 면적이 임계 면적 이상인 경우, 제2 데이터 처리부(144)는 지문 감지 재시도 명령(RTS)을 생성할 수 있다.
표시 장치(DD)의 구동부(DRV)는 지문 감지 재시도 명령(RTS)에 응답하여 지문 감지 실패 영상 또는 재시도 영상을 표시할 수 있다. 또는, 지문 감지 구동이 리셋될 수 있다.
일 실시예에서, 도 7a에 도시된 바와 같이, 제1 데이터 처리부(142)는 제1 지문 영상(FI1)을 특이점 결정부(160)에 제공할 수 있다. 특이점 결정부(160)는 제1 지문 영상(FI1)으로부터 지문 조각들을 검출하고, 이에 기초하여 특이점(SGLP)을 결정할 수 있다.
다른 실시예에서, 도 7b에 도시된 바와 같이, 제2 데이터 처리부(144)는 제2 지문 영상(FI2)을 특이점 결정부(160)에 제공할 수 있다. 특이점 결정부(160)는 제2 지문 영상(FI2)으로부터 지문 조각들을 검출하고, 이에 기초하여 특이점(SGLP)을 결정할 수 있다.
영상 크로핑부(146)는 제2 지문 영상(FI2)에서 특이점(SGLP)을 포함하는 기 설정된 사이즈의 관심 영역(IAD)을 결정할 수 있다. 또한, 영상 크로핑부(146)는 관심 영역(IAD)을 제외한 제2 지문 영상(FI2)의 나머지 부분을 잘라낼 수 있다. 이에 따라, 지문 인증 시의 연산 부담이 경감되고, 처리 속도가 빨라질 수 있다.
일 실시예에서, 도 5에 도시된 바와 같이, 영상 크로핑부(146)는 특이점(SGLP)의 좌표를 관심 영역(IAD)의 중심 좌표로 결정할 수 있다. 따라서, 특이점(SGLP)을 중심으로 하는 관심 영역(IAD)이 발췌될 수 있다.
일 실시예에서, 영상 크로핑부(146)는 노이즈 영역(NOISE_A)을 고려하여 관심 영역(IAD)의 중심 좌표를 시프트할 수 있다.
예를 들어, 도 8a 및 도 8b에 도시된 바와 같이, 제1 관심 영역(IAD1)의 중심 좌표(CTP1)는 특이점(SGLP)의 좌표와 일치한다. 그러나, 제1 관심 영역(IAD1)은 노이즈 영역(NOISE_A)을 포함하며, 노이즈 영역(NOISE_A)은 지문 인증의 방해 요소로 작용될 수 있다.
지문 인증의 신뢰도를 개선하기 위해 영상 크로핑부(146)는 중심 좌표(CTP1)를 노이즈 영역(NOISE_A)으로부터 먼 쪽으로 시프트할 수 있다. 시프트된 중심 좌표(CTP2)에 의해 관심 영역(IAD2)은 노이즈 영역(NOISE_A)을 포함하지 않는다. 다만, 특이점(SGLP)은 시프트된 중심 좌표(CTP2)로부터 벗어날 수 있다. 예를 들어, 시프트된 중심 좌표(CTP2)는 특이점(SGLP)의 좌표보다 노이즈 영역으로부터 더 멀리 위치될 수 있다.
영상 크로핑부(146)는 시프트된 중심 좌표(CTP2)를 기준으로 제2 관심 영역(IAD2)을 발췌할 수 있다. 제2 관심 영역(IAD2)은 노이즈 영역(NOISE_A)의 영향을 받는 제1 관심 영역(IAD2)보다 더 많은 수의 특징점들을 포함할 수 있다. 따라서, 외부 환경 요인에 의한 지문 인증 오류가 개선될 수 있다.
저장부(148)는 관심 영역(IAD 또는 IAD2)의 정보를 저장할 수 있다. 또한, 저장부(148)는 제2 지문 영상(FI2)을 저장할 수 있다. 제2 지문 영상(FI2)이 동일하더라도, 외부 환경 요인에 따라, 저장부(148)에 저장되는 관심 영역(IAD)의 위치는 달라질 수 있다.
한편, 인증부(180)는 등록된 지문 정보(RFI)의 제2 관심 영역(IAD2)에 대응하는 부분과 제2 관심 영역(IAD2)을 비교할 수 있다.
이와 같이, 지문 인증 장치(100)에 포함되는 영상 처리부(140)는 환경 요인에 의한 노이즈 및/또는 노이즈 영역(NOISE_A)을 검출하고, 노이즈 영역(NOISE_A)에 기초하여 관심 영역(IAD)의 위치를 조절할 수 있다. 따라서, 외부 환경 요인에 대한 지문 인증 신뢰도가 향상될 수 있다.
도 10은 도 7a의 영상 처리부에 포함되는 영상 크로핑부의 동작의 다른 일 예를 설명하기 위한 도면이다.
도 1, 도 7a, 및 도 10을 참조하면, 영상 크로핑부(146)는 제2 지문 영상(FI2)에서 특이점을 포함하는 관심 영역(IAD)을 발췌할 수 있다.
일반적인 엄지 손가락의 면적보다 수 배 이상 큰 대면적의 지문 감지 영역(FSA)에 있어서, 지문이 지문 감지 영역(FSA)의 가장자리에 접촉하는 경우가 발생될 수 있다. 도 9는 지문이 지문 감지 영역(FSA)의 가장자리에 접촉하는 경우에 생성된 제2 지문 영상(FI2)을 보여준다.
이와 같은 경우, 지문의 특이점(SGLP)은 제2 지문 영상(FI2)의 가장자리에 위치할 수 있으며, 특이점(SGLP)에 대응하여 발췌되는 제1 관심 영역(IAD1)의 일부는 영상 정보를 포함할 수 없다.
이러한 문제를 해결하기 위해, 특이점(SGLP)이 제2 지문 영상(FI2)의 기 설정된 기준 범위를 벗어나는 경우, 영상 크로핑부(146)는 중심 좌표(CPT1)를 지문 정보를 더 많이 포함하는 쪽으로 시프트하고, 시프트된 중심 좌표(CPT2)에 대응하는 제2 관심 영역(IAD2)을 발췌할 수 있다.
도 10에는 제2 관심 영역(IAD2)이 특이점(SGLP)을 포함하는 것으로 도시되었으나, 극단적인 경우에는 제2 관심 영역(IAD2)은 특이점(SGLP)을 포함하지 않을 수도 있다.
이와 같은 관심 영역(IAD)의 위치 조절을 통해 대면적의 지문 감지 영역(FSA)에 대한 지문 인증 신뢰도가 개선될 수 있다.
도 11a는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이고, 도 11b는 도 11a의 지문 인증 장치가 적용되는 지문 감지 영역 및 지문 영상의 일 예를 나타내는 도면이다.
도 11a 및 도 11b를 참조하면, 지문 인증 장치(100A)는 생체 센서(120), 영상 처리부(140E), 및 인증부(180)를 포함할 수 있다.
지문 인증 장치(100A)는 상대적으로 소면적의 지문 감지 영역(FSA)을 포함하는 생체 센서(120)를 포함할 수 있다. 예를 들어, 지문 감지 영역(FSA)은 가로X세로 10mmX10mm 이하의 사각형태 또는, 지름 10mm 이하의 원형일 수 있다.
이 경우, 지문 감지 영역(FSA) 자체가 소면적이므로, 지문 조각들을 이용하여 특이점을 검출하는 구동 및 특이점을 중심으로 제2 지문 영상(FI2)을 발췌하는 구동은 오히려 연산 부담을 증가시킬 수 있다. 따라서, 감지 신호(SS)로부터 영상 처리된 제2 지문 영상(FI2)을 등록된 지문 정보(RFI)와 비교함으로써 지문 인증이 수행될 수 있다. 즉, 소면적의 지문 감지 영역(FSA)을 포함하는 지문 인증 장치(100A)에는 특이점 결정부 및 영상 크로핑부가 생략될 수 있다.
영상 처리부(140E)는 제1 데이터 처리부(142) 및 제2 데이터 처리부(144)를 포함할 수 있다.
제1 데이터 처리부(142)는 도 6a 및 도 6b를 참조하여 설명된 데이터 변환부 및 데이터 보정부를 포함할 수 있다. 제1 데이터 처리부(142)는 소정의 영상 처리가 수행된 제1 지문 영상(FI1)을 생성할 수 있다.
제2 데이터 처리부(144)는 제1 지문 영상(FI1)에서 외부 환경에 의한 노이즈의 영향을 받는 노이즈 영역(NOISE_A)을 검출할 수 있다.
일 실시예에서, 제2 데이터 처리부(144)는 제1 지문 영상(FI1)에서 외부 환경에 의한 노이즈의 영향을 받는 노이즈 영역을 검출할 수 있다. 제2 데이터 처리부(144)는 노이즈 영역에 대하여 블러링 등의 추가적인 영상 처리를 수행할 수 있다. 따라서, 노이즈에 의한 제2 지문 영상(FI2)의 왜곡 및 지문 인증 오류가 저감될 수 있다.
제2 데이터 처리부(144)는 노이즈 영역을 수치화할 수 있다. 수치화된 값이 임계 기준 이상인 경우, 제2 데이터 처리부(144)는 지문 인증 전에 지문 감지 재시도 명령(RTS)을 생성할 수 있다. 예를 들어, 제2 데이터 처리부(144)는 제2 지문 영상(FI2)을 인증부(180)에 전송하지 않는다.
이에 따라, 표시 장치(DD)의 구동부(DRV)는 지문 감지 재시도 명령(RTS)에 응답하여 지문 감지 실패 영상 또는 재시도 영상을 표시할 수 있다. 또는, 지문 감지 구동이 리셋될 수 있다. 사용자는 다시 지문을 입력해야 한다. 따라서, 지문 인증 여부의 판단 전에 지문 재입력 여부가 빨리 결정됨으로써, 연산 처리 시간 및 인증 시간이 단축될 수 있다.
생체 센서(120), 제1 데이터 처리부(142), 제2 데이터 처리부(144), 및 인증부(180)의 기능 및 구성은 도 3 내지 도 7b를 참조하여 자세히 설명되었으므로, 중복되는 설명은 생략하기로 한다.
도 12는 도 1의 표시 장치에 포함되는 지문 인증 장치의 다른 일 예를 나타내는 블록도이다.
도 12의 지문 인증 장치(100B)는 특이점 결정부(160)로 공급되는 신호를 제외하면 도 3을 참조하여 설명된 지문 인증 장치(100)와 동일하므로, 중복되는 설명은 생략하며, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조부호를 부여하기로 한다.
도 12를 참조하면, 지문 인증 장치(100B)는 생체 센서(120), 영상 처리부(140), 특이점 결정부(160), 및 인증부(180)를 포함할 수 있다.
일 실시예에서, 생체 센서(120)는 아날로그 형태의 감지 신호(SS)를 영상 처리부(140) 및 특이점 결정부(160)에 제공할 수 있다. 특이점 결정부(160)는 감지 신호(SS)로부터 직접 지문 조각들의 정보를 임의로 추출할 수 있다. 또한, 특이점 결정부(160)는 추출된 지문 조각들의 정보 및 AI 기술을 이용하여 입력된 생체 정보(BI, 예를 들어, 지문)의 특이점(SGLP)을 결정할 수 있다.
감지 신호(SS)에 대한 영상 처리와 생체 정보(BI)의 특이점(SGLP)의 좌표를 결정하는 동작이 병렬 처리되므로, 지문 인증을 위한 처리 시간이 감소될 수 있다.
도 13은 본 발명의 실시예들에 따른 표시 장치의 지문 인증 방법을 나타내는 순서도이다.
도 13을 참조하면, 표시 장치의 지문 인증 방법은, 생체 센서를 통해 감지된 지문에 대한 지문 영상을 생성(S100)하고, 지문 영상으로부터 복수의 지문 조각들을 선택하여 학습을 통해 지문 영상의 특이점을 결정(S200)하며, 지문 영상으로부터 특이점을 포함하는 관심 영역을 발췌(S300)하고, 관심 영역과 등록된 지문 정보를 비교하여 지문을 인증(S400)할 수 있다.
일 실시예에서, 지문 영상을 생성(S100)하는 방법은 지문 영상의 데이터를 분석하여 노이즈 영역을 결정하고, 노이즈 영역을 블러링하여 보정된 지문 영상을 생성하는 것을 포함할 수 있다.
일 실시예에서, 지문 영상의 특이점을 결정(S200)하는 단계는 AI 기술을 통해 처리될 수 있다. 예를 들어, AI 기술은 생체 센서로부터 직접 공급되는 아날로그 감지 값들, 상기 아날로그 값들이 변환된 디지털 감지 데이터, 또는 디지털 감지 데이터에 대한 영상 처리가 수행된 지문 영상의 데이터를 이용하여 특이점을 결정(S200)할 수 있다.
또한, 지문 영상 또는 보정된 지문 영상을 생성(S100)하는 구동과 AI 기술을 통해 지문 영상의 특이점을 결정(S200)하는 구동은 병렬적으로 처리될 수도 있다. 이 경우, 지문 인증을 위한 처리 시간이 감소될 수 있다.
한편, 구체적인 지문 인증 방법은 도 3 내지 도 12를 참조하여 자세히 설명하였으므로, 중복되는 내용의 설명은 생략하기로 한다.
도 14는 도 13의 지문 인증 방법의 일 예를 나타내는 순서도이고, 도 15는 도 13의 지문 인증 방법의 다른 일 예를 나타내는 순서도이다.
도 13 내지 도 15를 참조하면, 특이점을 결정(S200)하는 방법은 외부로부터 제공되는 학습용 지문 영상에 대한 학습을 통해 특이점을 검출하는 예비 검출 모델을 설정(S210)하고, 학습용 지문 영상의 임의의 위치로부터 상기 지문 조각들을 선택하고, 지문 조각들 및 예비 검출 모델을 이용하여 학습용 지문 영상을 복원(S220)하며, 복원된 상기 학습용 지문 영상을 학습하여 상기 예비 검출 모델을 검출 모델로 갱신(S230)하고, 검출 모델을 이용하여 실시간 지문 영상으로부터 특이점을 산출(S240)할 수 있다.
상기 S210 내지 S230의 과정은 AI기술의 사전 학습 과정일 수 있다. 이러한 사전 학습된 검출 모델을 이용하는 AI에 의해 실시간 지문 영상으로부터 특이점이 산출(S240)될 수 있다.
일 실시예에서, 도 15에 도시된 바와 같이, 실시간 지문 영상 및 실시간 지문 영상의 특이점을 추가적으로(또는, 실시간으로) 학습하여 검출 모델이 갱신(S250)될 수 있다. 이러한 과정은 실시간 학습으로 명명될 수 있다.
이와 같이, 학습을 통한 AI 기술에 의해 지문의 특이점을 검출하는 처리 속도가 크게 향상될 수 있다. 다만, 지문의 특이점을 검출하는 방법은 도 3 및 도 4를 참조하여 자세히 설명하였으므로, 이와 중복되는 설명은 생략하기로 한다.
도 16은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
도 13 및 도 16을 참조하면, 표시 장치의 지문 인증 방법은 지문 영상의 데이터를 분석하여 지문 영상의 노이즈 영역을 결정(S110)하고, 노이즈 영역을 블러링하여 보정된 지문 영상을 생성(S120)할 수 있다.
일 실시예에서, 표시 장치의 지문 인증 방법은 관심 영역과 노이즈 영역의 위치를 비교(S310)하여 관심 영역을 결정할 수 있다.
관심 영역과 노이즈 영역이 중첩하지 않는 경우, 특이점의 좌표를 관심 영역의 중심 좌표로 결정(S330)할 수 있다.
관심 영역의 적어도 일부가 노이즈 영역에 중첩하는 경우, 관심 영역이 노이즈 영역으로부터 멀어지도록 관심 영역의 중심 좌표를 시프트(S320)할 수 있다.
결정된 관심 영역 바깥의 나머지 부분은 잘라내질(S340) 수 있다.
도 16의 방법은 도 5 내지 도 9b를 참조하여 설명된 영상 처리부(140, 140A, 140B, 140C, 140D)의 구동과 유사하므로, 중복되는 내용의 설명은 생략하기로 한다.
도 17은 도 13의 지문 인증 방법의 또 다른 일 예를 나타내는 순서도이다.
도 13 및 도 17을 참조하면, 지문 영상을 생성(S100)하는 방법은 지문 영상의 데이터를 분석하여 노이즈 영역을 결정(S110)하고, AI를 통해 선택된 지문 조각들과 노이즈 영역의 위치를 비교(S130)하는 것을 포함할 수 있다.
일 실시예에서, 지문 조각들 중 적어도 하나가 노이즈 영역에 포함되는 경우, AI(또는, 도 3의 특이점 결정부(160))에게 지문 조각들을 재선택하라는 명령을 출력할 수 있다. 이러한 과정은 지문 조각들이 노이즈 영역에 포함되지 않을 때까지 반복될 수 있다.
지문 조각들이 노이즈 영역에 포함되지 않는 경우, 이후 단계인 지문 조각들을 이용하여 특이점이 결정(S200)될 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 지문 인증 장치, 이를 포함하는 표시 장치, 및 이의 구동 방법은 기존의 영상 처리 과정과 병렬로 동작되는 AI 기술을 이용하여 많은 수의 특징점들을 포함하는 소면적의 관심 영역을 빠르게 발췌할 수 있다. 이에 따라, 대면적의 지문 감지 영역을 통해 감지되는 생체 정보에 대한 인증 신뢰도가 보장됨과 동시에 인증을 위한 처리 속도가 크게 개선될 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 지문 인증 장치
120: 생체 센서
140: 영상 처리부 142: 제1 데이터 처리부
144: 제2 데이터 처리부 146: 영상 크로핑부
148: 저장부 160: 특이점 결정부
DD: 표시 장치 DP: 표시 패널
FSA: 지문 감지 영역 SGLP: 특이점
IAD: 관심 영역
140: 영상 처리부 142: 제1 데이터 처리부
144: 제2 데이터 처리부 146: 영상 크로핑부
148: 저장부 160: 특이점 결정부
DD: 표시 장치 DP: 표시 패널
FSA: 지문 감지 영역 SGLP: 특이점
IAD: 관심 영역
Claims (23)
- 생체 정보를 감지하여 감지 신호를 생성하는 생체 센서;
상기 생체 정보로부터 적어도 하나의 지문 조각을 선택하고, 상기 적어도 하나의 지문 조각을 분석하여 상기 감지된 생체 정보를 포함하는 영상의 특이점(singular point)을 결정하는 특이점 결정부;
상기 감지 신호로부터 지문 영상을 생성하고, 상기 특이점의 좌표에 기초하여 상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 영상 처리부; 및
상기 관심 영역과 등록된 지문 정보를 비교하여 지문 인증을 수행하는 인증부를 포함하는, 지문 인증 장치. - 제 1 항에 있어서, 상기 특이점 결정부는 학습(machine learning)을 통해 상기 특이점 결정을 위한 검출 모델을 설정하는, 지문 인증 장치.
- 제 2 항에 있어서, 상기 특이점 결정부는 상기 지문 영상을 k개의(단, k는 1보다 큰 정수) 샘플링 영역들로 구분하고, 상기 k개의 샘플링 영역들 각각의 임의의 위치에 대응하는 지문 조각들을 선택하는, 지문 인증 장치.
- 제 3 항에 있어서, 상기 특이점 결정부는 상기 지문 조각들 각각으로부터 도출되는 융선(ridges) 및 골(valleys)을 상기 검출 모델에 적용하여 상기 특이점을 획득하는, 지문 인증 장치.
- 제 2 항에 있어서, 상기 특이점 결정부는 외부로부터 제공된 학습용 지문 영상들에 대한 상기 학습을 통해 상기 특이점을 검출하는 검출 모델을 설정하는, 지문 인증 장치.
- 제 5 항에 있어서, 상기 특이점 결정부는 상기 영상 처리부에서 생성된 지문 영상, 상기 지문 영상의 상기 적어도 하나의 지문 조각, 및 상기 관심 영역을 이용한 추가적인 학습을 통해 상기 검출 모델을 갱신하는, 지문 인증 장치.
- 제 2 항에 있어서, 상기 영상 처리부는,
상기 감지 신호를 상기 지문 영상에 대응하는 디지털 형식의 제1 지문 영상으로 변환하는 제1 데이터 처리부;
상기 제1 지문 영상에서 외부 환경에 의한 노이즈의 영향을 받는 노이즈 영역을 검출하고, 상기 노이즈 영역을 블러링(blurring)하여 제2 지문 영상을 생성하는 제2 데이터 처리부;
상기 제2 지문 영상에서 상기 특이점을 포함하는 기 설정된 사이즈의 상기 관심 영역을 결정하고, 상기 관심 영역을 제외한 상기 제2 지문 영상의 나머지 부분을 잘라내는 영상 크로핑(cropping)부; 및
상기 관심 영역의 정보를 저장하는 저장부를 포함하는, 지문 인증 장치. - 제 7 항에 있어서, 상기 영상 크로핑부는 상기 특이점의 좌표를 상기 관심 영역의 중심 좌표로 결정하는, 지문 인증 장치.
- 제 7 항에 있어서, 상기 영상 크로핑부는 상기 관심 영역이 상기 노이즈 영역으로부터 멀어지도록 상기 관심 영역의 중심 좌표를 시프트하는, 지문 인증 장치.
- 제 9 항에 있어서, 상기 중심 좌표는 상기 특이점의 좌표보다 상기 노이즈 영역으로부터 더 멀리 위치되는, 지문 인증 장치.
- 제 7 항에 있어서, 상기 제2 데이터 처리부는 상기 노이즈를 수치화하고,
상기 노이즈가 기 설정된 임계 기준 이상인 경우, 상기 제2 데이터 처리부는 지문 감지 재시도 명령을 생성하는, 지문 인증 장치. - 제 7 항에 있어서, 상기 노이즈 영역은 외광의 침투에 의해 휘도가 다른 부분보다 기 설정된 오차보다 큰 상기 제1 지문 영상의 일부분인, 지문 인증 장치.
- 제 7 항에 있어서, 상기 노이즈 영역은, 상기 제1 지문 영상에서 지문 이외의 주름이 표현되는 부분, 상대적으로 건조한 부분, 이물질에 중첩하는 부분 중 적어도 하나를 포함하는, 지문 인증 장치.
- 제 2 항에 있어서, 상기 생체 센서의 감지 영역의 면적은 상기 관심 영역의 면적보다 큰, 지문 인증 장치.
- 제 14 항에 있어서, 상기 관심 영역의 면적은 상기 감지 영역의 30% 이하인, 지문 인증 장치.
- 제 2 항에 있어서, 상기 특이점은 지문의 코어(core) 및 델타(delta) 중 적어도 하나를 포함하는, 지문 인증 장치.
- 생체 센서를 통해 감지된 지문에 대한 지문 영상을 생성하는 단계;
상기 지문 영상으로부터 복수의 지문 조각들을 선택하여 학습을 통해 상기 지문 영상의 특이점(singular point)을 결정하는 단계;
상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 단계; 및
상기 관심 영역과 등록된 지문 정보를 비교하여 지문을 인증하는 단계를 포함하는, 표시 장치의 지문 인증 방법. - 제 17 항에 있어서, 상기 특이점을 결정하는 단계는,
외부로부터 제공되는 학습용 지문 영상에 대한 학습을 통해 상기 특이점을 검출하는 예비 검출 모델을 설정하는 단계;
상기 학습용 지문 영상의 임의의 위치로부터 상기 지문 조각들을 선택하고, 상기 지문 조각들 및 상기 예비 검출 모델을 이용하여 상기 학습용 지문 영상을 복원하는 단계;
상기 복원된 상기 학습용 지문 영상을 학습하여 상기 예비 검출 모델을 검출 모델로 갱신하는 단계; 및
상기 검출 모델을 이용하여 실시간 지문 영상으로부터 상기 특이점을 산출하는 단계를 포함하는, 표시 장치의 지문 인증 방법. - 제 18 항에 있어서, 상기 특이점을 결정하는 단계는,
상기 실시간 지문 영상 및 상기 실시간 지문 영상의 상기 특이점을 학습하여 상기 검출 모델을 갱신하는 단계를 더 포함하는, 표시 장치의 지문 인증 방법. - 제 17 항에 있어서, 상기 지문 영상을 생성하는 단계는,
상기 지문 영상의 데이터를 분석하여 노이즈 영역을 결정하는 단계; 및
상기 노이즈 영역을 블러링하여 보정된 지문 영상을 생성하는 단계를 포함하고,
상기 관심 영역을 발췌하는 단계는,
상기 보정된 지문 영상에서 상기 특이점을 포함하는 관심 영역을 결정하는 단계; 및
상기 관심 영역 바깥의 나머지 부분을 잘라내는 단계를 포함하는, 표시 장치의 지문 인증 방법. - 제 20 항에 있어서, 상기 관심 영역을 결정하는 단계는,
상기 관심 영역과 상기 노이즈 영역의 위치를 비교하는 단계;
상기 관심 영역과 상기 노이즈 영역이 중첩하지 않는 경우, 상기 특이점의 좌표를 상기 관심 영역의 중심 좌표로 결정하는 단계; 및
상기 관심 영역의 적어도 일부가 상기 노이즈 영역에 중첩하는 경우, 상기 관심 영역이 상기 노이즈 영역으로부터 멀어지도록 상기 관심 영역의 중심 좌표를 시프트하는 단계를 포함하는, 표시 장치의 지문 인증 방법. - 제 20 항에 있어서, 상기 지문 영상을 생성하는 단계는,
상기 지문 조각들과 상기 노이즈 영역의 위치를 비교하는 단계; 및
상기 지문 조각들 중 적어도 하나가 상기 노이즈 영역에 포함되는 경우, 상기 지문 조각들을 재선택하는 명령을 출력하는 단계를 더 포함하는, 표시 장치의 지문 인증 방법. - 화소들을 포함하는 표시 패널; 및
상기 표시 패널로부터 지문을 감지하는 지문 인증 장치를 포함하며,
상기 지문 인증 장치는,
상기 표시 패널의 일 면에 배치되며, 상기 지문을 감지하여 감지 신호를 생성하는 생체 센서;
상기 감지 신호 또는 지문 영상으로부터 복수의 지문 조각들을 선택하고, 상기 지문 조각들을 분석하여 상기 지문 영상의 특이점(singular point)을 결정하는 특이점 결정부;
상기 감지 신호로부터 상기 지문 영상을 생성하고, 상기 특이점의 좌표에 기초하여 상기 지문 영상으로부터 상기 특이점을 포함하는 관심 영역을 발췌하는 영상 처리부; 및
상기 관심 영역과 등록된 지문 정보를 비교하여 지문 인증을 수행하는 인증부를 포함하는, 표시 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111331A KR20220030474A (ko) | 2020-09-01 | 2020-09-01 | 지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법 |
| US17/341,633 US11810393B2 (en) | 2020-09-01 | 2021-06-08 | Fingerprint authentication device, display device including the same, and method of authenticating fingerprint of display device |
| CN202111018879.9A CN114202777A (zh) | 2020-09-01 | 2021-09-01 | 指纹认证装置、显示装置以及显示装置的认证指纹的方法 |
| EP21194273.5A EP3965065A1 (en) | 2020-09-01 | 2021-09-01 | Fingerprint authentication device and method of authenticating fingerprint |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111331A KR20220030474A (ko) | 2020-09-01 | 2020-09-01 | 지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220030474A true KR20220030474A (ko) | 2022-03-11 |
Family
ID=77595395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200111331A KR20220030474A (ko) | 2020-09-01 | 2020-09-01 | 지문 인증 장치, 이를 포함하는 표시 장치, 및 표시 장치의 지문 인증 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11810393B2 (ko) |
| EP (1) | EP3965065A1 (ko) |
| KR (1) | KR20220030474A (ko) |
| CN (1) | CN114202777A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3103938B1 (fr) * | 2019-12-03 | 2021-11-12 | Idemia Identity & Security France | Procédé de détection d’au moins un élément d’intérêt visible dans une image d’entrée au moyen d’un réseau de neurones à convolution |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698723B1 (ko) | 2005-06-20 | 2007-03-23 | 포스데이타 주식회사 | 지문 중심점 부위 특징점을 이용한 고속 매칭 |
| KR101632912B1 (ko) | 2014-09-26 | 2016-06-24 | 창신정보통신(주) | 지문 인식을 이용한 사용자 인증 방법 |
| SE1451598A1 (en) * | 2014-12-19 | 2016-06-20 | Fingerprint Cards Ab | Improved guided fingerprint enrollment |
| US10339362B2 (en) | 2016-12-08 | 2019-07-02 | Veridium Ip Limited | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices |
| KR101985658B1 (ko) | 2015-08-10 | 2019-06-04 | 주식회사 슈프리마 | 지문 데이터 획득 방법 및 그 장치 |
| KR101778552B1 (ko) | 2016-01-25 | 2017-09-14 | 조선대학교산학협력단 | 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템 |
| KR102540010B1 (ko) | 2017-12-29 | 2023-06-02 | 엘지디스플레이 주식회사 | 지문 인식이 가능한 표시 장치 |
| KR20210131513A (ko) | 2020-04-23 | 2021-11-03 | 삼성디스플레이 주식회사 | 지문 센서를 구비한 표시장치 및 그의 구동 방법 |
-
2020
- 2020-09-01 KR KR1020200111331A patent/KR20220030474A/ko unknown
-
2021
- 2021-06-08 US US17/341,633 patent/US11810393B2/en active Active
- 2021-09-01 CN CN202111018879.9A patent/CN114202777A/zh active Pending
- 2021-09-01 EP EP21194273.5A patent/EP3965065A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114202777A (zh) | 2022-03-18 |
| US11810393B2 (en) | 2023-11-07 |
| US20220067331A1 (en) | 2022-03-03 |
| EP3965065A1 (en) | 2022-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10929633B2 (en) | Fingerprint identification device, touch display panel, and method for driving fingerprint identification device | |
| US11232546B2 (en) | Texture detection method, texture image compensation method and device, and electronic device | |
| US7853055B2 (en) | Fingerprint verification device | |
| KR101097309B1 (ko) | 터치 동작 인식 방법 및 장치 | |
| JP2759309B2 (ja) | 指紋照合方法 | |
| US10126858B2 (en) | Touch display device and touch method thereof | |
| KR101923320B1 (ko) | 디스플레이에서의 지문 인식이 가능한 사용자 단말기 및 지문 인식 방법 | |
| US20110222740A1 (en) | Finger vein authentication unit | |
| WO1999039302A1 (en) | Camera-based handwriting tracking | |
| US10564785B2 (en) | Device and method for sensing biological feature | |
| US11651580B2 (en) | Fingerprint authentication device, display device including the same, and method of authenticating fingerprint | |
| KR102444286B1 (ko) | 지압 인식 장치 및 이를 포함하는 전자 기기 | |
| EP3965065A1 (en) | Fingerprint authentication device and method of authenticating fingerprint | |
| US11354934B2 (en) | Location matched small segment fingerprint reader | |
| US20210334495A1 (en) | Display device including a fingerprint sensor and a method of driving the same | |
| TWI767285B (zh) | 指紋識別裝置、用於識別手指影像的電子裝置以及指紋識別方法 | |
| JP2019219833A (ja) | 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム | |
| EP4016479B1 (en) | Display device and driving method thereof | |
| TWI792411B (zh) | 電容式指紋識別方法及利用其之電容式指紋識別模組和資訊處理裝置 | |
| US20230326228A1 (en) | Fingerprint authentication device and calibration device and method thereof | |
| TWI658411B (zh) | 無方向性之手指掌紋辨識方法及無方向性之手指掌紋資料建立方法 | |
| EP3937078A1 (en) | Ultrasonic fingerprint sensor and ultrasonic fingerprint sensing method using the same | |
| TW202305656A (zh) | 光學指紋識別方法及利用其之觸控顯示器和資訊處理裝置 | |
| JP2010211325A (ja) | 画像処理装置及びその制御方法、画像処理プログラム、並びに、コンピュータ読み取り可能な記録媒体 |