KR102656237B1 - 디스플레이를 이용한 이동 지문 인식 방법 및 장치 - Google Patents
디스플레이를 이용한 이동 지문 인식 방법 및 장치 Download PDFInfo
- Publication number
- KR102656237B1 KR102656237B1 KR1020180114009A KR20180114009A KR102656237B1 KR 102656237 B1 KR102656237 B1 KR 102656237B1 KR 1020180114009 A KR1020180114009 A KR 1020180114009A KR 20180114009 A KR20180114009 A KR 20180114009A KR 102656237 B1 KR102656237 B1 KR 102656237B1
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- data
- frame
- sensor
- touch
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000009825 accumulation Methods 0.000 claims abstract description 4
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 50
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 2
- 230000002542 deteriorative effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000007423 decrease Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 239000006059 cover glass Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
- G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Input (AREA)
Abstract
본 발명은 디스플레이 성능 및 지문 인식 성능의 저하없이, 디스플레이 표면에서 이동하는 지문을 디스플레이를 통해 센싱하여 인식할 수 있는 디스플레이를 이용한 이동 지문 인식 방법 및 장치에 관한 것으로, 일 실시예에 따른 이동 지문 인식 방법은 디스플레이의 표시 영역에 위치하는 픽셀 어레이, 터치 센서, 지문 센서를 구동하는 단계와, 디스플레이의 표면에서 터치 이동하는 손가락의 터치 위치를 터치 센서를 통해 연속적으로 센싱하고, 복수의 프레임 시간 동안 터치 센서의 출력으로부터 각 프레임의 터치 좌표를 산출하여 메모리에 저장하는 단계와, 터치 이동하는 손가락의 지문을 지문 센서를 통해 연속적으로 센싱하고, 복수의 프레임 시간 동안 지문 센서의 출력으로부터 각 프레임의 지문 데이터를 획득하여 메모리에 저장하는 단계와, 메모리로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받아, 복수 프레임의 지문 데이터를 업스케일링 및 누적 연산을 통해 합성하여 한 프레임의 지문 인식 데이터를 획득하는 단계를 포함한다.
Description
본 발명은 디스플레이 표면에서 이동하는 지문을 디스플레이를 통해 센싱하여 인식할 수 있는 디스플레이를 이용한 이동 지문 인식 방법 및 장치에 관한 것이다.
스마트폰, 태블릿 PC(Personal Computer) 등과 같이 디스플레이를 이용하는 전자 장치는 잠금 해제나 인터넷 뱅킹 등에서 본인 인증을 위해 지문 인식 기능을 제공한다.
이를 위하여, 전자 장치에 장착되는 지문 센서는 디스플레이 영역을 둘러싸는 베젤부에 위치하거나, 케이스 후면에 위치하거나, 디스플레이 패널의 일면에 부착될 수 있다.
그런데, 종래의 지문 센서는 디스플레이와 별개로 마련되어 전자 장치나 디스플레이에 장착되기 때문에 전자 장치나 디스플레이의 크기, 두께, 무게, 제조 비용 등을 증가시키는 단점이 있다.
한편, 지문 센서를 디스플레이 패널에 내장하는 기술이 제안되고 있으나, 지문 인식 성능을 확보하기 위해 지문 센서의 정밀도를 높게 하면 픽셀 개구율이 감소하여 휘도가 저하되므로 디스플레이 성능이 저하되는 문제점이 있고, 디스플레이 성능 저하를 방지하기 위해 지문 센서의 정밀도를 낮게 하면 지문 인식 성능이 저하되어 지문 식별이 불가능한 문제점이 있다.
본 발명은 디스플레이 성능 및 지문 인식 성능의 저하없이, 디스플레이 표면에서 이동하는 지문을 디스플레이를 통해 센싱하여 인식할 수 있는 디스플레이를 이용한 이동 지문 인식 방법 및 장치를 제공한다.
일 실시예에 따른 이동 지문 인식 장치는 표시 영역에 위치하는 픽셀 어레이, 터치 센서, 지문 센서를 포함하는 디스플레이와, 디스플레이 구동부와, 터치 연산부, 지문 연산부, 제어부를 포함한다.
터치 연산부는 터치 센서를 구동하고, 디스플레이의 표면에서 터치 이동하는 손가락의 터치 위치를 터치 센서를 통해 연속적으로 센싱하여, 복수의 프레임 시간 동안 터치 센서의 출력으로부터 각 프레임마다 터치 좌표를 산출하여 메모리에 저장한다.
지문 연산부는 지문 센서를 구동하고, 디스플레이의 표면에서 터치 이동하는 손가락의 지문을 상기 지문 센서를 통해 연속적으로 센싱하여, 복수의 프레임 시간 동안 지문 센서의 출력으로부터 각 프레임마다 지문 데이터를 획득하여 메모리에 저장한다.
제어부는 디스플레이 구동부와, 터치 연산부와, 지문 연산부, 메모리의 동작을 제어하는 제어부를 포함한다.
지문 연산부는 제어부의 제어에 따라 메모리로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받아, 복수 프레임의 지문 데이터를 업스케일링 및 누적 연산을 통해 합성하여 한 프레임의 지문 인식 데이터를 획득한다.
복수 프레임의 터치 좌표는 각 프레임마다 다른 좌표값을 갖고, 상기 복수 프레임의 지문 데이터는 각 프레임마다 다른 센싱 정보를 갖는다.
지문 연산부는 터치 연산부로부터 각 프레임마다 터치 좌표를 공급받아, 지문 센서의 출력으로부터 터치 좌표를 기준으로 일정 크기를 갖고 기준값 이상의 지문 데이터들을 모두 포함하는 지문 센싱 영역을 각 프레임마다 결정하고, 결정된 지문 센싱 영역에 대한 지문 데이터를 추출하여 메모리에 저장한다.
지문 연산부는 복수 프레임의 지문 데이터를 프레임별로 업스케일링하고, 업스케일링된 데이터를 각 프레임의 터치 좌표를 이용하여 합성 영역에 정렬하고, 합성 영역에 정렬된 복수의 프레임의 데이터를 위치별로 누적 및 평균하여 지문 인식 데이터를 획득한다.
지문 연산부는 지문 인식 데이터를 타겟 범위를 갖도록 스트레칭 연산하고, 스트레칭 연산된 데이터에 샤프니스 마스크를 적용한 샤프니스 처리와, 설정 형태의 감마 커브를 적용한 컨트라스트 향상 처리 중 적어도 하나를 더 수행한다.
지문 연산부는 각 프레임의 터치 좌표를, 터치 센서의 해상도와 지문 센서의 해상도 비율로 나눈 결과에서의 나머지 수를, 업스케일링된 데이터를 합성 영역에 정렬하는 기준 위치로 활용한다.
지문 인식 데이터의 해상도보다 지문 센서로부터 획득한 각 프레임의 지문 데이터의 해상도가 낮다.
지문 센서는 픽셀 어레이 내에 분산 배치되고, 픽셀 어레이의 출사광이 지문에 의해 반사되는 광량을 센싱하는 광센서들을 포함한다.
광센서들 각각은 각 픽셀마다 배치되거나, 복수개의 픽셀마다 배치된다.
광센서들 각각은 2개 픽셀마다 배치되거나, 4개 픽셀마다 배치되거나, 8개 픽셀마다 배치되거나, 9개 픽셀마다 배치될 수 있다.
일 실시예에 따른 이동 지문 인식 방법은 디스플레이의 표시 영역에 위치하는 픽셀 어레이, 터치 센서, 지문 센서를 구동하는 단계와, 디스플레이의 표면에서 터치 이동하는 손가락의 터치 위치를 터치 센서를 통해 연속적으로 센싱하고, 복수의 프레임 시간 동안 터치 센서의 출력으로부터 각 프레임의 터치 좌표를 산출하여 메모리에 저장하는 단계와, 터치 이동하는 손가락의 지문을 지문 센서를 통해 연속적으로 센싱하고, 복수의 프레임 시간 동안 지문 센서의 출력으로부터 각 프레임의 지문 데이터를 획득하여 메모리에 저장하는 단계와, 메모리로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받아, 복수 프레임의 지문 데이터를 업스케일링 및 누적 연산을 통해 합성하여 한 프레임의 지문 인식 데이터를 획득하는 단계를 포함한다.
본 발명의 일 실시예는 지문 센서가 디스플레이의 픽셀 어레이와 통합 구성되고 픽셀 어레이를 광원으로 이용함으로써, 별도 부품의 지문 센서가 필요하지 않으므로, 디스플레이 및 그를 이용한 전자 장치의 크기, 두께, 무게, 제조 비용을 저감할 수 있다.
본 발명의 일 실시예는 디스플레이 표면에서 이동하는 터치 위치 및 지문을 연속적으로 센싱하고, 센싱된 복수 프레임의 지문 데이터를 업스케일링 및 누적 연산하여 합성함으로써, 저해상도로 센싱된 지문 데이터로부터 해상도 및 정확도가 높은 지문 인식 데이터를 획득할 수 있으므로, 지문 인식 성능을 향상시킬 수 있다.
본 발명의 일 실시예는 지문 인식 데이터에 대한 샤프니스 처리 및 컨트라스트 향상 처리를 더 수행하여 지문 인식 데이터의 식별력을 더욱 높일 수 있다.
이와 같이, 본 발명의 일 실시예는 저해상도로 센싱된 지문 데이터로부터 해상도 및 정확도가 높은 지문 인식 데이터를 획득할 수 있으므로, 픽셀 어레이에 내장되는 지문 센서의 정밀도를 지문 인식 데이터의 해상도보다 낮출 수 있다.
따라서, 본 발명의 일 실시예는 디스플레이 및 그를 이용한 전자 장치의 제조 비용을 저감할 수 있고, 픽셀 어레이에서 지문 센서가 차지하는 면적을 저감하여 픽셀 개구율 저하 및 그로 인한 휘도 저하를 최소화할 수 있으므로 디스플레이 성능 저하를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 기술을 개략적으로 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 지문 센서를 내장한 OLED 디스플레이의 지문 센싱 동작을 개략적으로 나타낸 단면도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이동 지문 인식 동작 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 픽셀 어레이에 내장되는 지문 센서의 정밀도에 따른 다양한 광센서 배치 구조를 나타낸 도면들이다.
도 7은 본 발명의 일 실시예에 따른 터치 좌표가 다른 복수 프레임의 지문 데이터를 단순하게 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수 프레임의 지문 데이터에 대한 업스케일링 및 정렬 과정을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 지문 인식 데이터에 대한 후처리 과정을 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 방법의 시뮬레이션 결과를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 지문 센서를 내장한 OLED 디스플레이의 지문 센싱 동작을 개략적으로 나타낸 단면도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이동 지문 인식 동작 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 픽셀 어레이에 내장되는 지문 센서의 정밀도에 따른 다양한 광센서 배치 구조를 나타낸 도면들이다.
도 7은 본 발명의 일 실시예에 따른 터치 좌표가 다른 복수 프레임의 지문 데이터를 단순하게 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수 프레임의 지문 데이터에 대한 업스케일링 및 정렬 과정을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 지문 인식 데이터에 대한 후처리 과정을 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 방법의 시뮬레이션 결과를 나타낸 도면이다.
도 1은 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 기술을 개략적으로 나타낸 개념도이다.
일 실시예에 따른 이동 지문 인식이 가능한 전자 장치, 즉 이동 지문 인식 장치(10)는 스마트폰, 태블릿 PC, 웨어러블(Wearable) 기기 등과 같이 디스플레이(100)를 포함하는 다양한 종류의 전자 장치 중 어느 하나일 수 있다. 디스플레이(100)는 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 디스플레이, 액정 디스플레이(Liquid Crystal Display; LCD), 마이크로LED 디스플레이 등과 같이 다양한 종류의 디스플레이 중 어느 하나일 수 있다.
디스플레이(100)는 디스플레이 기능과 함께 터치 센싱 기능 및 지문 센싱 기능을 제공할 수 있다. 디스플레이(100)는 픽셀 어레이로 구성된 표시 영역을 통해 디스플레이 기능을 제공한다. 디스플레이(100)는 패널의 표시 영역 상에 위치하거나, 픽셀 어레이의 일부 전극을 터치 전극으로 겸용하는 터치 센서를 통해 터치 센싱 기능을 제공한다. 디스플레이(100)는 패널의 표시 영역에 내장된 지문 센서를 통해 지문 센싱 기능을 제공한다. 터치 센서는 다양한 터치 센싱 방식 중 어느 하나를 이용할 수 있고, 지문 센서는 다양한 지문 센싱 방식 중 어느 하나를 이용할 수 있다. 디스플레이(100)는 손가락이 디스플레이 표면을 터치하면서 이동할 때 이동하는 터치 위치와 함께 지문을 연속적으로 센싱할 수 있다.
도 1(A)를 참조하면, 슬라이드 잠금 해제 동작과 같이 사용자의 지문 인증이 필요할 때, 이동 지문 인식 장치(10)는 디스플레이(100)의 화면을 온(on)시키고 지문 인식 동작을 수행하게 되고, 사용자의 손가락(F)은 디스플레이(100) 표면을 터치하면서 이동한다. 이때, 디스플레이(100)에 내장된 터치 센서 및 지문 센서는 이동하는 터치 위치 및 지문(FP)을 연속적으로 센싱하여 출력한다. 이동 지문 인식 장치(10)는 디스플레이(100)의 센싱 결과로부터 터치 좌표와 지문 데이터를 각 프레임마다 획득하여 저장함으로써, 복수 프레임의 터치 좌표와 지문 데이터(20)를 메모리에 저장할 수 있다.
도 1(B)를 참조하면, 이동 지문 인식 장치(10)는 저장된 복수 프레임의 지문 데이터(20)를 업스케일링(upscaling)하고 정렬한 후 누적(summation) 연산함으로써, 상대적으로 높은 해상도 및 정확도를 갖는 지문 인식 데이터(30)를 획득할 수 있다. 이동 지문 인식 장치(10)는 지문 인식 데이터(30)를 메모리에 저장하거나, 메모리에 저장된 기준 데이터와 비교 판단하여 지문 인증을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이동 지문 인식 장치의 구성을 개략적으로 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 이동 지문 인식 동작 과정을 나타낸 도면이다.
도 2를 참조하면, 일 실시예에 따른 이동 지문 인식 장치(10)는 디스플레이(100), 디스플레이 구동부(200), 터치 연산부(300), 지문 연산부(400), 제어부(500), 메모리(600) 등을 포함할 수 있다. 디스플레이 구동부(200), 터치 연산부(300), 지문 연산부(400), 제어부(500), 메모리(600) 등은 버스(700)를 통해 서로 연결되어 데이터를 송수신할 수 있다.
디스플레이(100)는 표시 영역에 픽셀 어레이(112) 및 지문 센서(114)가 내장된 패널(110), 패널(110) 상에 위치하거나 패널(110)에 내장된 터치 센서(120) 등을 포함할 수 있고, 도 2는 패널(110) 상에 위치하는 터치 센서(120)을 예시한 것이다. 디스플레이(100)는 OLED 디스플레이, LCD 등의 다양한 종류의 디스플레이 중 어느 하나일 수 있다.
제어부(500)는 중앙 처리 장치(Central Processing Unit; CPU), 어플리케이션 프로세서(Application Processor; AP), 커뮤니케이션 프로세서(Communication Processor; CP) 등과 같은 다양한 프로세서 중 어느 하나이며, 이동 지문 인식 장치(10), 즉 디스플레이(100)를 포함한 전자 장치(10)의 모든 구성들의 동작을 전반적으로 제어할 있다.
제어부(500)는 디스플레이 구동부(200), 터치 연산부(300), 지문 연산부(400), 메모리(600), 지문 연산부(400) 등을 버스(800)를 통해 제어하고, 이들을 지문 인식 모드로 동작시킬 수 있다. 제어부(500)는 디스플레이 구동부(200)에 영상 데이터를 공급한다. 제어부(500)는 터치 연산부(300)로부터 터치 좌표를 공급받아 터치 좌표에 대응하는 명령을 수행할 수 있다. 제어부(500)는 지문 연산부(400)로부터 지문 인식 데이터를 공급받아 지문 인증을 수행하고, 지문 인증이 성공하면 잠금 해제 등과 같은 명령을 수행할 수 있다.
패널(110)은 복수의 픽셀(PX)로 구성된 픽셀 어레이(112)와, 그 픽셀 어레이(112)에 내장된 지문 센서(114)를 포함한다. 픽셀 어레이(112)는 디스플레이 구동부(200)에 의해 구동되어 영상을 표시한다. 지문 센서(114)는 지문 연산부(400)에 의해 구동되어 지문을 센싱하고 센싱 결과를 지문 연산부(400)로 출력한다.
지문 센서(114)는 픽셀 어레이(112) 내에 분산 배치되고 지문에 의한 반사광을 센싱하는 다수의 광센서(LS)를 포함하고, 광전 변환 방식으로 지문을 센싱할 수 있다. 지문 센서(114)의 광센서들(LS)은 지문 연산부(400)에 의해 구동되고, 픽셀 어레이(112)의 출사광을 광원으로 이용하며, 디스플레이(100)의 표면에 위치하는 지문의 융선(ridge) 및 골(valley)에 따라 다른 반사광을 센싱하여 지문 연산부(400)로 센싱 결과를 출력한다. 지문 센서(114)의 각 광센서(LS)는 각 픽셀(PX)마다 배치되거나 복수의 픽셀(PX)마다 배치될 수 있다.
터치 센서(120)은 터치 연산부(300)에 의해 구동되고 터치 발생을 센싱하며 센싱 결과를 터치 연산부(300)로 출력한다. 예를 들면, 터치 센서(130)은 터치 전극들을 이용하여 사용자의 터치에 따른 커패시턴스 변화를 센싱하고 센싱 신호를 연산부(300)로 출력한다.
디스플레이 구동부(200)는 제어부(500)의 제어에 따라 패널(110)의 픽셀 어레이(112)를 구동한다. 디스플레이 구동부(200)는 픽셀 어레이(112)의 게이트 라인들을 구동하는 게이트 구동부, 픽셀 어레이(112)의 데이터 라인들을 구동하는 데이터 구동부, 게이트 구동부 및 데이터 구동부를 제어하며 소비전력 감소나 화질 보정 등과 같은 영상 처리를 수행하는 타이밍 제어부 등을 포함할 수 있다.
터치 연산부(300)는 제어부(500)의 제어에 따라 터치 센서(120)을 구동하고, 터치 센서(120)의 출력을 신호 처리하여 터치 좌표를 산출하며, 터치 좌표를 제어부(500)로 출력한다.
제어부(500)의 제어에 의해 지문 인식 모드일 때, 손가락이 터치 이동하는 동안, 터치 연산부(300)는 터치 센서(120)의 출력으로부터 각 프레임마다 터치 좌표를 획득하여 메모리(600)에 저장한다. 터치 연산부(300)는 각 프레임의 터치 좌표를 지문 연산부(400)에 더 공급할 수 있다. 손가락의 터치 이동에 의해 터치 연산부(400)에서 산출된 복수 프레임의 터치 좌표는 서로 다른 좌표값을 갖는다.
지문 연산부(400)는 제어부(500)의 제어에 의해 지문 인식 모드일 때, 지문 센서(114)를 구동하고, 손가락의 이동 지문을 센싱한 지문 센서(114)의 출력을 신호 처리하여 각 프레임마다 지문 데이터를 획득하고, 획득한 지문 데이터를 메모리(600)에 저장한다. 지문 연산부(400)는 각 프레임마다 터치 연산부(300)로부터 공급받은 터치 좌표를 기준으로 일정 크기를 갖는 지문 센싱 영역에 대한 지문 데이터를 추출하여 각 프레임의 지문 데이터로 메모리(600)에 저장할 수 있다. 손가락의 터치 이동에 의해 지문 연산부(400)에서 획득된 복수 프레임의 지문 데이터는 서로 다른 정보를 갖을 수 있다.
복수 프레임의 터치 좌표 및 지문 데이터에 대한 저장이 완료되면, 지문 연산부(400)는 제어부(500)의 제어에 의해 메모리(600)로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받는다. 지문 연산부(400)는 복수 프레임의 지문 데이터를 업스케일링하고, 업스케일링된 지문 데이터를 터치 좌표를 이용하여 정렬하고 누적 연산함으로써, 해상도 및 정확도가 높은 지문 인식 데이터를 획득할 수 있다. 지문 연산부(400)는 지문 인식 데이터에 대한 샤프니스 처리 및 컨트라스트 향상 처리를 더 수행하여 지문 인식 데이터의 선명도를 높일 수 있다. 지문 연산부(400)는 획득한 지문 인식 데이터를 메모리(600)에 저장하거나 제어부(500)로 출력할 수 있다.
제어부(500)는 지문 연산부(400)로부터 공급받은 지문 인식 데이터와 메모리(600)로부터 공급받은 지문 저장 데이터와 비교 판단하여 지문 인증을 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이의 지문 센싱 동작을 개략적으로 나타낸 도면이고, OLED 패널을 예를 들어 나타낸 것이다.
도 3을 참조하면, 일 실시예에 따른 OLED 패널은 백플레인(Backplane; 122) 상에 위치하며 지문 센서의 광센서들(LS)이 내장된 픽셀 어레이(112), 픽셀 어레이(112) 상에 위치하는 봉지층(124), 봉지층(124) 상에 위치하는 터치 센서(120), 터치 센서(120) 상에 위치하는 커버 글래스(130) 등을 포함할 수 있다.
픽셀 어레이(112)를 구성하는 복수의 서브픽셀들 각각은 OLED 소자와, OLED 소자를 구동하는 픽셀 회로를 포함한다. 백플레인(122) 상에 픽셀 회로의 TFT들을 포함하는 TFT 어레이가 위치하고, TFT 어레이 상에 OLED 소자들을 포함하는 OLED 어레이가 위치한다. 각 OLED 소자는 TFT 어레이 상에 위치하는 뱅크 절연막(BK)의 개구부에 의해 마련된 발광 영역에 위치할 수 있다. 발광 영역에는 OLED 소자와 오버랩하는 컬러 필터가 더 위치할 수 있고, 뱅크 절연막(BK)이 위치하는 비발광 영역에는 블랙 매트릭스가 더 위치하거나, 뱅크 절연막(BK)이 블랙 매트릭스 역할을 할 수 있다.
지문 센서를 구성하는 복수의 광센서들(LS) 각각은 TFT들과 이웃하여 비발광 영역에 위치하고 포토다이오드, 포토트랜지스터 등으로 구성될 수 있다. 광센서(LS)는 비발광 영역에서 뱅크 절연막(BK) 아래에 위치하고, 뱅크 절연막(BK)에 마련된 핀홀(PH)을 통해 지문에 의한 반사광을 수광할 수 있다. 각 광센서(LS)는 각 서브픽셀 또는 복수의 서브픽셀마다 배치되거나 각 픽셀마다 또는 복수의 픽셀마다 배치될 수 있다.
광센서들(LS)은 픽셀 어레이(112)의 출사광을 광원으로 이용하고, 커버 글래스(130)과 접촉한 지문(150)의 서로 다른 지점에서 반사된 반사광을 센싱하여 반사광량에 따라 레벨이 다른 센싱 신호를 출력할 수 있다.
도 3을 참조하면, 커버 글래스(130)와 접촉하는 손가락(150)의 지문에서 커버 글래스(130) 표면과 접촉하는 융선(152)에 의한 반사광량과, 커버 글래스(130) 표면과 이격된 골(154)에 의한 반사광량은 서로 차이가 있음을 알 수 있다. 지문 센서(114)의 각 센서 픽셀에 해당하는 각 광센서(LS)는 지문에서 서로 다른 지점의 융선(152) 또는 골(154)에 의한 반사광량을 센싱하므로 융선(152) 또는 골(154)을 나타내는 센싱 신호를 출력할 수 있다.
따라서, 지문 연산부(400)는 지문 센서(114)의 광센서들(LS) 각각의 센싱 신호를 데이터로 변환하고 매트릭스 형태로 조합하여 이미지 형태의 지문 데이터를 산출할 수 있다.
이와 같이, 본 발명의 일 실시예는 지문 센서가 디스플레이의 픽셀 어레이와 통합 구성되고 픽셀 어레이를 광원으로 이용함으로써, 별도 부품의 지문 센서가 필요하지 않으므로, 디스플레이 및 그를 이용한 전자 장치의 크기, 두께, 무게, 제조 비용을 저감할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이동 지문 인식 방법을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예에 따른 이동 지문 인식 동작 과정을 나타낸 도면이다. 도 4 및 도 5에 도시된 이동 지문 인식 방법을 도 2에 도시된 이동 지문 인식 장치를 참조하여 설명한다.
제어부(500)는 지문 인증 필요시 지문 인식 모드를 시작하고 디스플레이(100)의 화면을 온시키거나 온 상태를 유지시킨다(S400). 사용자는 지문 센싱을 위한 손가락으로 디스플레이(100)의 표면을 터치하며 이동하는 슬라이드 동작을 한다.
손가락이 디스플레이(100)의 표면을 터치 이동하는 동안, 터치 센서(120)은 이동하는 터치 위치를 연속적으로 센싱하여 센싱 결과를 출력하고(S402), 디스플레이(100)에 내장된 지문 센서(114)는 이동하는 지문을 연속적으로 센싱하여 센싱 결과를 출력한다(S404).
터치 연산부(300)는 터치 센서(120)의 출력을 신호 처리하여 프레임별 터치 좌표를 획득하고, 각 프레임마다 획득된 터치 좌표를 메모리(600)에 저장한다(S406). 도 5(A)와 같이 터치 센서(120) 상에서 손가락이 터치 이동하는 동안, 터치 연산부(300)는 터치 센서(120)의 출력으로부터 서로 다른 터치 위치(P1~Pk)를 나타내는 복수 프레임의 터치 좌표를 획득하여 저장한다.
지문 연산부(400)는 지문 센서(114)의 출력을 신호 처리하여 프레임별로 매트릭스 형태의 지문 데이터(20)를 획득하여 메모리(600)에 저장한다(S408).
지문 연산부(400)는 지문 센서(114)의 출력으로부터 일정 크기의 지문 센싱 영역(SA)을 결정하고 지문 센싱 영역(SA)에 대한 지문 데이터를 추출하여 메모리(600)에 저장할 수 있다. 지문 연산부(400)는 터치 연산부(300)로부터 각 프레임마다 다른 터치 좌표를 공급받아 그 터치 좌표를 기준으로 기준값 이상의 지문 데이터들이 모두 포함되는 일정 크기의 직사각형 영역을 지문 센싱 영역(SA)으로 정의할 수 있다. 한편, 지문 연산부(400)는 지문 센서(114)의 출력을 분석하여 기준값 이상의 지문 데이터들이 모두 포함되는 일정 크기의 직사각형 영역을 지문 센싱 영역(SA)으로 정의할 수 있다. 지문 연산부(400)는 지문 센서(114)의 출력으로부터 지문 센싱 영역(SA)에 포함되는 지문 데이터(20)를 추출하여 메모리(600)에 저장할 수 있고, 복수의 프레임의 시간 동안 복수 프레임의 지문 데이터(20-1~20-k)를 저장할 수 있다.
각 프레임의 지문 센싱 영역(SA)의 크기는 동일하지만, 이동하는 지문에 의해 지문 센서(114)에서 지문을 센싱하는 센서의 위치, 즉 지문 센싱 영역(SA)의 위치가 서로 다르므로, 복수 프레임의 지문 데이터(20-1~ 20-k)는 서로 다른 정보를 갖을 수 있다.
터치 연산부(300) 및 지문 연산부(400)가 복수 프레임의 터치 좌표 및 지문 데이터(20-1~ 20-k)를 메모리(600)에 저장한 후, 지문 연산부(400)는 메모리(600)로부터 복수 프레임의 터치 좌표 및 지문 데이터(20-1~ 20-k)를 공급받는다. 지문 연산부(400)는 복수 프레임의 지문 데이터(20-1~ 20-k)를 프레임별로 업스케일링한다(S410). 지문 연산부(400)는 업스케일링된 복수 프레임의 지문 데이터(20-1~ 20-k)를 각 프레임의 터치 좌표를 기반으로 각 프레임의 기준 위치에 정렬한다(S410). 정렬된 복수 프레임의 지문 데이터(20-1~ 20-k)는 도 5(B)와 같이 오버랩한다. 지문 연산부(400)는 오버랩하는 복수 프레임의 지문 데이터(20-1~ 20-k)를 오버랩하는 위치별로 누적 연산함으로써 한 프레임의 지문 인식 데이터(30)를 산출한다(S410).
예를 들면, 지문 연산부(400)는 오버랩하는 위치별로 데이터를 누적하고 위치별 누적값을 복수의 프레임 개수(k)로 나누어 평균화함으로써 위치별로 복수개 데이터의 평균값을 갖는 한 프레임의 지문 인식 데이터(30)를 산출할 수 있다.
또한, 지문 연산부(400)는 생성된 지문 인식 데이터(30) 중 최대값(max) 및 최소값(min)을 이용하여 데이터 스트레칭(stretching)함으로써 데이터의 분별력을 향상시킬 수 있다.
또한, 지문 연산부(400)는 데이터 스트레칭된 지문 이미지를 도 5(B)에 도시된 샤프니스(Sharpness) 마스크(52)를 적용하여 샤프니스 처리하거나, 도 5(B)에 도시된 S자 커브의 감마 곡선(54)을 적용하여 컨트라스트 향상 처리를 더 수행함으로써 선명도가 향상된 지문 인식 데이터(40)를 획득할 수 있다. 이에 따라, 지문 연산부(400)는 높은 해상도 및 정확도를 갖는 지문 인식 데이터(40)를 획득할 수 있다. 지문 연산부(400)는 획득한 지문 인식 데이터(40)를 제어부(500)로 공급하거나, 제어부(500)의 제어에 따라 메모리(600)에 사용자 지문 데이터로 저장할 수 있다.
제어부(500)는 지문 연산부(400)로부터 공급받은 지문 인식 이미지(40)와 메모리(600)로부터 공급받은 지문 저장 데이터를 비교 판단함으로써 지문 인증을 수행할 수 있고, 지문 인증이 성공하면 잠금 해제 등과 같은 명령을 수행할 수 있다(S412).
이와 같이, 일 실시예에 따른 디스플레이(100)의 지문 센서는 도 5(A)와 같이 디스플레이(100)의 표면을 이동하는 지문(FP)을 각 프레임마다 다른 위치에서 센싱하기 때문에, 터치 좌표가 다른 복수 프레임의 지문 데이터(20-1~ 20-k)는 서로 다른 센싱 정보를 갖을 수 있다. 이에 따라, 이동 지문 인식 장치(10)는 센싱 정보가 다른 복수 프레임의 지문 데이터(20-1~ 20-k)를 업스케일링 및 누적하여 합성함으로써 해상도 및 정확도가 높은 지문 인식 데이터(30)를 획득할 수 있으므로 지문 인식 성능을 향상시킬 수 있다.
예를 들면, 손가락이 디스플레이(100)의 표면을 0.5초 동안 슬라이드할 때 이동 지문 인식 장치(10)는 지문 센서에서 센서 위치가 다른 30개 프레임의 지문 데이터(20)를 획득할 수 있고, 0.2초 동안 슬라이드하는 경우에는 12개 프레임의 지문 데이터(20)를 획득할 수 있다. 손가락이 디스플레이(100)의 표면을 슬라이드하는 시간이 증가할수록 센싱 정보가 다른 지문 데이터(20)의 프레임 수가 많아지므로 이들을 누적하여 합성한 지문 인식 데이터(30)는 정확도가 향상될 수 있다.
또한, 이동 지문 인식 장치(10)는 지문 인식 데이터(30)에 대하여 샤프니스 처리 및 컨트라스트 향상 처리 중 적어도 하나의 후처리 과정을 더 수행함으로써 선명도가 향상된 지문 인식 데이터(40)를 획득하여 지문 인식 데이터(40)의 식별력을 향상시킬 수 있다.
따라서, 본 발명의 일 실시예에 따른 이동 지문 인식 장치(10)는 지문 인식 성능의 저하없이 디스플레이(100)에 내장되는 지문 센서의 해상도 및 정밀도(ppi: pixel per inch)를 감소시킬 수 있다. 이 결과, 지문 센서로 인한 픽셀 개구율 저하를 최소화하여 디스플레이 성능 저하를 방지할 수 있고, 디스플레이(100) 및 이동 지문 인식 장치(10)의 제조 비용을 저감할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 픽셀 어레이에 내장되는 지문 센서의 광센서 배치 구조를 나타낸 것이다.
도 6를 참조하면, 제1 실시예에 따른 지문 센서(90)는 1개의 픽셀(PX)당 1개의 광센서(LS)가 배치됨으로써 픽셀(PX) 및 광센서(LS)가 1:1의 비율로 배치된 광센서들(LS)을 포함할 수 있다. 상대적인 비교를 위해 1:1 배치인 지문 센서(90)의 정밀도를 500ppi, 픽셀(PX) 대비 광센서(LS)의 면적비를 10%로 가정한다.
제2 실시예에 따른 지문 센서(92)는 2개의 픽셀(PX)당 1개의 광센서(LS)가 배치됨으로써 픽셀(PX) 및 광센서(LS)가 2:1의 비율로 배치된 광센서들(LS)을 포함할 수 있고, 이 지문 센서(92)의 정밀도는 354ppi, 픽셀(PX) 대비 광센서(LS)의 면적비를 5%로 줄일 수 있다.
제3 실시예에 따른 지문 센서(94)는 4개의 픽셀(PX)당 1개의 광센서(LS)가 배치됨으로써 픽셀(PX) 및 광센서(LS)가 4:1의 비율로 배치된 광센서들(LS)을 포함할 수 있고, 이 지문 센서(94)의 정밀도는 250ppi, 픽셀(PX) 대비 광센서(LS)의 면적비를 2.5%로 줄일 수 있다.
제4 실시예에 따른 지문 센서(96)는 8개의 픽셀(PX)당 1개의 광센서(LS)가 배치됨으로써 픽셀(PX) 및 광센서(LS)가 8:1의 비율로 배치된 광센서들(LS)을 포함할 수 있고, 이 지문 센서(94)의 정밀도는 177ppi, 픽셀(PX) 대비 광센서(LS)의 면적비를 1.25%로 줄일 수 있다.
제5 실시예에 따른 지문 센서(98)는 9개의 픽셀(PX)당 1개의 광센서(LS)가 배치됨으로써 픽셀(PX) 및 광센서(LS)가 9:1의 비율로 배치된 광센서들(LS)을 포함할 수 있고, 이 지문 센서(94)의 정밀도는 167ppi, 픽셀(PX) 대비 광센서(LS)의 면적비를 1.11%로 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따른 터치 위치가 다른 복수 프레임의 지문 데이터를 단순하게 예시한 도면이고, 도 8 및 도 9는 도 7에 도시된 복수 프레임의 지문 데이터에 대한 업스케일링 및 합성 과정과 지문 이미지 후처리를 예시한 도면이다.
도 7(A)를 참조하면, 터치 센서의 해상도와 지문센서의 해상도 비율이 n:1, 예를 들면 3:1인 경우, 디스플레이 표면(50)에서 손가락의 슬라이드 동작에 따라 터치 좌표가 (3m, 3m) (m은 0, 양의 정수) 위치에서 (3m+2, 3m+2) 위치까지 이동하는 경우를 가정한 것이다. 도 7(B)를 참조하면, 터치 좌표가 다른 각 프레임마다 지문 센서 중 3*3 해상도의 광센서 어레이(60)가 지문 패턴(FP)을 센싱한 결과로부터 획득한 복수 프레임 지문 데이터(F1~F9)를 나타내고 있다. 3*3 해상도의 광센서 어레이(60)의 출력으로부터 획득한 3*3 해상도의 지문 데이터를 지문 센싱 영역(SA)의 지문 데이터로 가정할 수 있다.
도 7(A)에서 지문 패턴(FP)의 이동에 의해, 각 프레임마다 광센서 어레이(60)에 대한 터치 좌표 및 지문 패턴(FP)의 상대적인 위치가 다름을 알 수 있다. 이에 따라, 도 7(B)와 같이 3*3 해상도의 광센서 어레이(60)의 출력으로부터 획득한 복수 프레임의 지문 데이터(F1~F9)는 프레임마다 다른 정보를 갖는다. 다시 말하여, 지문 연산부(400)는 각 프레임마다 터치 좌표 및 센싱 정보가 다른 복수 프레임의 데이터(F1~F9)를 획득하여 메모리(600)에 저장할 수 있다.
도 8을 참조하면, 지문 연산부(400)는 복수 프레임의 지문 데이터(F1~F9)를 프레임별로 업스케일링한다. 예를 들면, 지문 연산부(400)는 각 프레임의 지문 데이터(Fi)(i=1~9)의 크기를 3배로 단순 확대하여 9*9 해상도의 지문 데이터로 업스케일링 할 수 있다. 지문 연산부(400)는 각 프레임의 터치 좌표를 이용하여 업스케일링된 지문 데이터(Fi)를 미리 설정된 합성 영역(70) 상에 정렬한다. 이때, 지문 연산부(400)는 각 프레임의 터치 좌표를 기반으로 합성 영역(70)에서 정렬되는 기준 위치를 결정할 수 있다.
예를 들면, 지문 연산부(400)는 각 프레임의 터치 좌표를 터치센서 및 지문센서의 해상도 비율인 n=3으로 나눴을 때 몫을 제외한 나머지 수를, 각 프레임의 지문 데이터가 정렬되는 기준 위치로 활용한다. 제1 프레임 지문 데이터(F1)의 터치 좌표가 (3m, 3m)이고, 제9 프레임 지문 데이터(F9)의 터치 좌표가(3m+2, 3m+2)인 경우, 나머지 수는 (0, 0), (2, 2)이 됨을 알 수 있다. 제1 프레임의 지문 데이터(F1)는 합성 영역(70)에서 제1 기준 위치 (0,0)를 기준으로 정렬되고, 제9 프레임의 지문 데이터(F9)는 합성 영역(70)에서 제9 기준 위치(2,2)를 기준으로 정렬될 수 있다. 이와 같이, 각 프레임의 지문 데이터를 정렬하는 기준 위치는 각 프레임의 터치 좌표를, 터치센서 및 지문센서의 해상도 비율에 따라 나눈 결과의 나머지 수에 따라 결정될 수 있다. 합성 영역(70)의 크기(11*11)는 기준 위치가 다른 복수 프레임의 지문 데이터(F1~F9)를 모두 포함할 수 있도록 업스케일링된 각 프레임의 지문 데이터의 크기(9*9)보다 크게 설정될 수 있다.
도 9를 참조하면, 지문 연산부(400)는 도 8과 같이 합성 영역(70)에 누적된 복수 프레임의 지문 데이터(F1~F9)를 위치별로 평균 연산함으로써 한 프레임의 제1 지문 인식 데이터(80)를 획득할 수 있다.
지문 연산부(400)는 제1 지문 인식 데이터(80) 중 최대값(max) 및 최소값(min)을 이용하여 데이터 스트레칭(stretching)함으로써 데이터의 분별력이 향상된 제2 지문 인식 데이터(82)를 획득할 수 있다.
예를 들면, 지문 연산부(400)는 제1 지문 인식 데이터(80)의 데이터 중 최대값(max)과 최소값(min)의 차이(max-min)로 목표 최대값(max_target)을 나눈 값(max_target/(max-min))과, 해당 데이터(data)와 최소값(mim)의 차이(data-min)를 곱하는 아래 수학식1의 연산을 이용하여 스트레칭된 데이터(data')를 산출할 수 있다.
<수학식 1>
data' = (data-min) * (max_target/(max-min))
이에 따라, 지문 연산부(400)는 데이터가 스트레칭되어 분별력이 향상된 한 프레임의 제2 지문 인식 데이터(82)를 획득할 수 있다.
또한, 지문 연산부(400)는 제2 지문 인식 데이터(82)에 대하여 샤프니스 마스크를 적용한 샤프니스 처리와, S자 커브의 감마 곡선을 적용한 컨트라스트 향상 처리를 더 수행함으로써 선명도가 향상된 제3 지문 인식 데이터를 획득할 수 있다. 도 9를 참조하면, 제2 지문 인식 데이터(82)를 이미지화하여 나타낸 지문 이미지(84) 보다 제3 지문 인식 데이터를 이미지화하여 나타낸 지문 이미지(86)의 선명도가 향상되었음을 알 수 있다.
도 10은 본 발명의 일 실시예에 따른 디스플레이를 이용한 이동 지문 인식 방법의 시뮬레이션 결과를 나타낸 도면이다.
도 10(A), (B)를 참조하면, 손가락의 슬라이드 동작을 따라 위치가 이동되는 지문(FP)을 터치 좌표가 다른 제1 내지 제9 지문 센싱 영역(SA1~SA9) 각각에서 저해상도의 지문 센서를 통해 센싱함으로써 제1 내지 제9 프레임의 지문 데이터(F1~F9)를 획득할 수 있다. 지문 센서의 해상도가 픽셀 해상도보다 낮음에 따라 각 프레임의 지문 데이터는 식별이 불가능하다.
도 10(C)를 참조하면, 도 10(B)에 도시된 제1 내지 제9 프레임의 지문 데이터(F1~F9)를 전술한 이동 지문 인식 기술과 같이 업스케일링하여 정렬한 다음 누적 연산함으로써 해상도 및 정확도가 향상된 제1 지문 인식 데이터(30)를 획득할 수 있다.
도 10(D)를 참조하면, 제1 지문 인식 데이터(30)에 대한 샤프니스 처리 및 컨트라스크 향상 처리를 더 수행함으로써 선명도가 향상된 제2 지문 인식 데이터(40)를 획득할 수 있고, 획득한 제2 지문 인식 데이터(40)는 원본 지문 데이터(40)와 유사하게 식별 가능함을 알 수 있다.
도 10(B)에 도시된 9개 프레임의 지문 데이터(F1~F9)로 시뮬레이션한 결과 약 3배 가량의 지문 인식 데이터의 정밀도가 향상되는 효과를 얻을 수 있다. 따라서, N개 프레임의 지문 데이터를 업스케일링 및 누적 연산할 경우 약 
배 만큼의 지문 인식 데이터의 정밀도가 향상되는 효과를 얻을 수 있다.
예를 들어, 평균 슬라이드 잠금 해제 시간을 0.2초라고 할 경우, 본 발명은 12개 프레임의 지문 데이터를 획득할 수 있으므로 약 3.5배(
)의 지문 인식 데이터의 정밀도를 향상시킬 수 있다. 따라서, 지문 센서의 정밀도를 144ppi 정도만 확보하더라도 500ppi 이상의 정밀도를 갖는 지문 인식 데이터를 획득할 수 있다. 다시 말하여, 지문 센서의 정밀도를 지문 인식 데이터의 정밀도 대비 1/3~1/4 정도로 저감할 수 있다.
지문 인식 성능을 확보할 수 있는 지문 센서는 500ppi 정도의 정밀도를 갖는 것으로 알려져 있다.
예를 들어, 픽셀 해상도가 3120*1440이고, 픽셀 정밀도가 564 ppi인 스마트폰의 6.1인치 디스플레이 패널에 500ppi 정도의 지문 센서를 내장하는 경우, 각 픽셀마다 광센서 영역이 존재해야 하므로, 각 픽셀의 개구율 감소와 그로 인한 휘도 감소가 불가피하다. 그러나, 일 실시예에 따른 이동 지문 인식 장치 및 방법을 적용하면, 지문 센서의 정밀도를 픽셀 정밀도보다 저감하더라도 고해상도의 지문 인식 데이터를 획득하여 지문 인식 성능을 확보할 수 있으므로 광센서의 개수를 줄여서 픽셀 개구율 감소 및 휘도 감소를 최소화할 수 있다.
한편, 픽셀 해상도가 2048*1536이고, 픽셀 정밀도가 264 ppi인 태블릿의 9.7인치 디스플레이 패널에 지문 센서를 내장하는 경우, 각 픽셀마다 광센서를 구비하더라도 500ppi의 지문 인식 성능을 달성할 수 없다. 그러나, 일 실시예에 따른 이동 지문 인식 장치 및 방법을 적용하면, 지문 센서의 정밀도가 낮더라도 고해상도의 지문 인식 데이터를 획득하여 지문 인식 성능을 확보할 수 있다.
이와 같이, 본 발명의 일 실시예는 지문 센서가 디스플레이의 픽셀 어레이와 통합 구성되고 픽셀 어레이를 광원으로 이용함으로써, 별도 부품의 지문 센서가 필요하지 않으므로, 디스플레이 및 그를 이용한 전자 장치의 크기, 두께, 무게, 제조 비용을 저감할 수 있다.
본 발명의 일 실시예는 디스플레이 표면에서 이동하는 터치 위치 및 지문을 연속적으로 센싱하고, 센싱된 복수 프레임의 지문 데이터를 업스케일링 및 누적 연산하여 합성함으로써, 저해상도로 센싱된 지문 데이터로부터 해상도 및 정확도가 높은 지문 인식 데이터를 획득할 수 있으므로, 지문 인식 성능을 향상시킬 수 있다.
본 발명의 일 실시예는 지문 인식 데이터에 대한 샤프니스 처리 및 컨트라스트 향상 처리를 더 수행하여 지문 인식 데이터의 식별력을 더욱 높일 수 있다.
본 발명의 일 실시예는 저해상도로 센싱된 지문 데이터로부터 해상도 및 정확도가 높은 지문 인식 데이터를 획득할 수 있으므로, 픽셀 어레이에 내장되는 지문 센서의 정밀도를 지문 인식 데이터의 해상도보다 낮출 수 있다.
본 발명의 일 실시예는 디스플레이 및 그를 이용한 전자 장치의 제조 비용을 저감할 수 있고, 픽셀 어레이에서 지문 센서가 차지하는 면적을 저감하여 픽셀 개구율 저하 및 그로 인한 휘도 저하를 최소화할 수 있으므로 디스플레이 성능 저하를 최소화할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구 범위에 의해 정하여져야만 할 것이다.
10: 이동 지문 인식 장치 100: 디스플레이
20: 지문 데이터 30, 40, 80, 82: 지문 인식 데이터
110: 패널 120: 터치 센서
112: 픽셀 어레이 114: 지문센서
200: 디스플레이 구동부 300: 터치 연산부
400: 지문 연산부 500: 제어부
600: 메모리 700: 버스
122: 백플레인 LS: 광센서
124: 봉지층 130: 커버 글래스
150: 손가락 152: 융선
154: 골 BK: 뱅크 절연막
PH: 핀홀 52: 샤프니스 마스크
54: 감마커브 90, 92, 94, 96, 98: 지문 센서
60: 광센서 어레이 50: 디스플레이 표면
70: 합성 영역 84, 86: 지문 인식 이미지
SA: 지문 센싱 영역
20: 지문 데이터 30, 40, 80, 82: 지문 인식 데이터
110: 패널 120: 터치 센서
112: 픽셀 어레이 114: 지문센서
200: 디스플레이 구동부 300: 터치 연산부
400: 지문 연산부 500: 제어부
600: 메모리 700: 버스
122: 백플레인 LS: 광센서
124: 봉지층 130: 커버 글래스
150: 손가락 152: 융선
154: 골 BK: 뱅크 절연막
PH: 핀홀 52: 샤프니스 마스크
54: 감마커브 90, 92, 94, 96, 98: 지문 센서
60: 광센서 어레이 50: 디스플레이 표면
70: 합성 영역 84, 86: 지문 인식 이미지
SA: 지문 센싱 영역
Claims (15)
- 표시 영역에 위치하는 픽셀 어레이, 터치 센서, 지문 센서를 포함하는 디스플레이와,
상기 픽셀 어레이를 구동하는 디스플레이 구동부와,
상기 터치 센서를 구동하고, 상기 디스플레이의 표면에서 터치 이동하는 손가락의 터치 위치를 상기 터치 센서를 통해 연속적으로 센싱하여, 복수의 프레임 시간 동안 상기 터치 센서의 출력으로부터 각 프레임마다 터치 좌표를 산출하여 메모리에 저장하는 터치 연산부와,
상기 지문 센서를 구동하고, 상기 디스플레이의 표면에서 터치 이동하는 상기 손가락의 지문을 상기 지문 센서를 통해 연속적으로 센싱하여, 상기 복수의 프레임 시간 동안 상기 지문 센서의 출력으로부터 각 프레임마다 일정 크기를 갖는 지문 센싱 영역에 포함된 상기 지문 센서의 센싱 정보들을 포함하는 지문 데이터를 획득하여 상기 메모리에 저장하는 지문 연산부와,
상기 디스플레이 구동부와, 터치 연산부와, 지문 연산부, 메모리의 동작을 제어하는 제어부를 포함하고,
상기 지문 연산부는
상기 제어부의 제어에 따라 상기 메모리로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받아, 상기 복수 프레임의 지문 데이터를 상기 지문 센싱 영역에 포함된 상기 지문 센서의 센싱 정보들의 개수가 증가하도록 업스케일링한 후, 누적 연산을 통해 합성하여 한 프레임의 지문 인식 데이터를 획득하는 이동 지문 인식 장치. - 청구항 1에 있어서,
상기 복수 프레임의 터치 좌표는 각 프레임마다 다른 좌표값을 갖고,
상기 복수 프레임의 지문 데이터는 각 프레임마다 다른 센싱 정보를 갖는 이동 지문 인식 장치. - 청구항 1에 있어서,
상기 지문 연산부는
상기 터치 연산부로부터 각 프레임마다 터치 좌표를 공급받아, 상기 지문 센서의 출력으로부터 상기 터치 좌표를 기준으로 일정 크기를 갖고 기준값 이상의 지문 데이터들을 모두 포함하는 지문 센싱 영역을 각 프레임마다 결정하고, 결정된 지문 센싱 영역에 대한 지문 데이터를 추출하여 상기 메모리에 저장하는 이동 지문 인식 장치. - 청구항 3에 있어서,
상기 지문 연산부는
상기 복수 프레임의 지문 데이터를 프레임별로 업스케일링하고,
업스케일링된 데이터를 각 프레임의 터치 좌표를 이용하여 합성 영역에 정렬하고,
상기 합성 영역에 정렬된 복수의 프레임의 데이터를 위치별로 누적 및 평균하여 상기 지문 인식 데이터를 획득하는 이동 지문 인식 장치. - 청구항 4에 있어서,
상기 지문 연산부는 지문 인식 데이터를 타겟 범위를 갖도록 스트레칭 연산하고,
스트레칭 연산된 데이터에 샤프니스 마스크를 적용한 샤프니스 처리와, 설정 형태의 감마 커브를 적용한 컨트라스트 향상 처리 중 적어도 하나를 더 수행하는 이동 지문 인식 장치. - 청구항 4에 있어서,
상기 지문 연산부는
각 프레임의 터치 좌표를, 상기 터치 센서의 해상도와 상기 지문 센서의 해상도 비율로 나눈 결과에서의 나머지 수를, 상기 업스케일링된 데이터를 상기 합성 영역에 정렬하는 기준 위치로 활용하는 이동 지문 인식 장치. - 청구항 1에 있어서,
상기 지문 인식 데이터의 해상도보다 상기 지문 센서로부터 획득한 각 프레임의 지문 데이터의 해상도가 낮은 이동 지문 인식 장치. - 청구항 1에 있어서,
상기 지문 센서는
상기 픽셀 어레이 내에 분산 배치되고, 상기 픽셀 어레이의 출사광이 상기 지문에 의해 반사되는 광량을 센싱하는 광센서들을 포함하는 이동 지문 인식 장치. - 청구항 8에 있어서,
상기 광센서들 각각은
각 픽셀마다 배치되거나, 복수개의 픽셀마다 배치되는 이동 지문 인식 장치. - 청구항 8에 있어서,
상기 광센서들 각각은 2개 픽셀마다 배치되거나, 4개 픽셀마다 배치되거나, 8개 픽셀마다 배치되거나, 9개 픽셀마다 배치되는 이동 지문 인식 장치. - 디스플레이의 표시 영역에 위치하는 픽셀 어레이, 터치 센서, 지문 센서를 구동하는 단계와,
상기 디스플레이의 표면에서 터치 이동하는 손가락의 터치 위치를 상기 터치 센서를 통해 연속적으로 센싱하고, 복수의 프레임 시간 동안 상기 터치 센서의 출력으로부터 각 프레임의 터치 좌표를 산출하여 메모리에 저장하는 단계와,
상기 터치 이동하는 손가락의 지문을 상기 지문 센서를 통해 연속적으로 센싱하고, 상기 복수의 프레임 시간 동안 상기 지문 센서의 출력으로부터 각 프레임마다 일정 크기를 갖는 지문 센싱 영역에 포함된 상기 지문 센서의 센싱 정보들을 포함하는 지문 데이터를 획득하여 상기 메모리에 저장하는 단계와,
상기 메모리로부터 복수 프레임의 터치 좌표 및 지문 데이터를 공급받아, 상기 복수 프레임의 지문 데이터를 상기 지문 센싱 영역에 포함된 상기 지문 센서의 센싱 정보들의 개수가 증가하도록 업스케일링한 후, 누적 연산을 통해 합성하여 한 프레임의 지문 인식 데이터를 획득하는 단계를 포함하는 이동 지문 인식 방법. - 청구항 11에 있어서,
상기 복수 프레임의 터치 좌표는 각 프레임마다 다른 좌표값을 갖고,
상기 복수 프레임의 지문 데이터는 각 프레임마다 다른 센싱 정보를 갖는 이동 지문 인식 방법. - 청구항 11에 있어서,
상기 각 프레임의 지문 데이터를 획득할 때,
상기 지문 센서의 출력으로부터, 상기 각 프레임의 터치 좌표를 기준으로 일정 크기를 갖고 기준값 이상의 지문 데이터들을 모두 포함하는 지문 센싱 영역을 각 프레임마다 결정하고, 결정된 지문 센싱 영역에 대한 지문 데이터를 추출하는 이동 지문 인식 방법. - 청구항 13에 있어서,
상기 지문 인식 데이터를 획득하는 단계는
상기 복수 프레임의 지문 데이터를 프레임별로 업스케일링하는 단계와,
상기 업스케일링된 데이터를 각 프레임의 터치 좌표를 이용하여 합성 영역에 정렬하는 단계와,
상기 합성 영역에 정렬된 복수의 프레임의 데이터를 위치별로 누적 및 평균하는 단계를 포함하는 이동 지문 인식 방법. - 청구항 14에 있어서,
상기 지문 인식 데이터를 타겟 범위를 갖도록 스트레칭 연산하는 단계와,
스트레칭 연산된 데이터에 샤프니스 마스크를 적용한 샤프니스 처리와, 설정 형태의 감마 커브를 적용한 컨트라스트 향상 처리 중 적어도 하나를 더 수행하는 단계를 추가로 포함하는 이동 지문 인식 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180114009A KR102656237B1 (ko) | 2018-09-21 | 2018-09-21 | 디스플레이를 이용한 이동 지문 인식 방법 및 장치 |
| US16/544,017 US11120242B2 (en) | 2018-09-21 | 2019-08-19 | Moving fingerprint recognition method and apparatus using display |
| CN201910879814.XA CN110941981B (zh) | 2018-09-21 | 2019-09-18 | 使用显示器的移动指纹识别方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180114009A KR102656237B1 (ko) | 2018-09-21 | 2018-09-21 | 디스플레이를 이용한 이동 지문 인식 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200034336A KR20200034336A (ko) | 2020-03-31 |
| KR102656237B1 true KR102656237B1 (ko) | 2024-04-09 |
Family
ID=69884879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180114009A KR102656237B1 (ko) | 2018-09-21 | 2018-09-21 | 디스플레이를 이용한 이동 지문 인식 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11120242B2 (ko) |
| KR (1) | KR102656237B1 (ko) |
| CN (1) | CN110941981B (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256409A (zh) * | 2017-10-27 | 2018-07-06 | 京东方科技集团股份有限公司 | 显示器件及其指纹识别方法 |
| KR20210092365A (ko) * | 2020-01-15 | 2021-07-26 | 삼성디스플레이 주식회사 | 표시 장치 및 그것의 구동 방법 |
| CN113140152B (zh) * | 2020-01-17 | 2023-08-04 | 北京小米移动软件有限公司 | 一种显示面板及终端设备 |
| TWI773991B (zh) * | 2020-05-19 | 2022-08-11 | 財團法人工業技術研究院 | 指紋辨識方法及電子互動裝置 |
| WO2024039050A1 (ko) * | 2022-08-18 | 2024-02-22 | 삼성전자 주식회사 | 지문 센서의 성능 검출 방법 및 이를 지원하는 전자 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039409A1 (en) * | 2012-06-29 | 2017-02-09 | Apple Inc. | Fingerprint Sensing and Enrollment |
| CN107133551A (zh) * | 2016-02-29 | 2017-09-05 | 北京小米移动软件有限公司 | 指纹验证方法及装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8036431B1 (en) * | 1999-10-29 | 2011-10-11 | Identix Incorporated | Portable apparatus for identification verification |
| JP3780830B2 (ja) * | 2000-07-28 | 2006-05-31 | 日本電気株式会社 | 指紋識別方法及び装置 |
| CN100593188C (zh) * | 2004-05-19 | 2010-03-03 | 索尼计算机娱乐公司 | 图像帧处理方法及向各种显示器显示活动图像的设备 |
| KR100630688B1 (ko) * | 2004-07-07 | 2006-10-02 | 삼성전자주식회사 | 지문 정보를 이용한 보안 기능을 가지는 카메라를 구비한휴대폰과 이에 대한 지문 등록 및 인증 제어 방법 |
| JP2009181085A (ja) * | 2008-02-01 | 2009-08-13 | Lg Display Co Ltd | 液晶表示装置 |
| US8657200B2 (en) * | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
| US9904441B2 (en) * | 2014-07-29 | 2018-02-27 | Echostar Technologies L.L.C. | Methods and systems for providing additional content |
| CN104461307A (zh) * | 2014-11-19 | 2015-03-25 | 天津中兴智联科技有限公司 | 一种指纹划动方向指令的识别方法和系统 |
| CN105447436B (zh) * | 2014-12-19 | 2017-08-04 | 比亚迪股份有限公司 | 指纹识别系统及指纹识别方法及电子设备 |
| KR101797042B1 (ko) * | 2015-05-15 | 2017-11-13 | 삼성전자주식회사 | 의료 영상 합성 방법 및 장치 |
| CN105224195B (zh) * | 2015-08-31 | 2020-09-11 | 小米科技有限责任公司 | 终端操作方法和装置 |
| JP6603544B2 (ja) * | 2015-10-28 | 2019-11-06 | 株式会社ジャパンディスプレイ | タッチ検出装置、タッチ検出機能付き表示装置 |
| CN106095159B (zh) * | 2016-05-25 | 2019-04-09 | 京东方科技集团股份有限公司 | 触摸屏、显示装置及显示装置的驱动方法 |
-
2018
- 2018-09-21 KR KR1020180114009A patent/KR102656237B1/ko active IP Right Grant
-
2019
- 2019-08-19 US US16/544,017 patent/US11120242B2/en active Active
- 2019-09-18 CN CN201910879814.XA patent/CN110941981B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039409A1 (en) * | 2012-06-29 | 2017-02-09 | Apple Inc. | Fingerprint Sensing and Enrollment |
| CN107133551A (zh) * | 2016-02-29 | 2017-09-05 | 北京小米移动软件有限公司 | 指纹验证方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200097698A1 (en) | 2020-03-26 |
| CN110941981B (zh) | 2023-05-23 |
| US11120242B2 (en) | 2021-09-14 |
| KR20200034336A (ko) | 2020-03-31 |
| CN110941981A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102656237B1 (ko) | 디스플레이를 이용한 이동 지문 인식 방법 및 장치 | |
| US10311276B2 (en) | Under display optical fingerprint sensor arrangement for mitigating moiré effects | |
| US9552105B2 (en) | Display device having multi-touch recognizing function and driving method thereof | |
| CN108985146A (zh) | 指纹传感器的操作方法和包括指纹传感器的显示设备 | |
| JP4630744B2 (ja) | 表示装置 | |
| JP4727614B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
| KR101758537B1 (ko) | 이미지 소자 휘도 조정 | |
| JP4790653B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
| US8330777B2 (en) | Information processing method, touch information processing device, and flat panel display | |
| US20100212974A1 (en) | Touch position detecting method, touch position detecting device, and flat panel display | |
| JP4727615B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
| JP2008250949A5 (ko) | ||
| JP2008250950A5 (ko) | ||
| JP2008250951A5 (ko) | ||
| JP5015097B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
| CN113642373A (zh) | 获得参考图像的方法和执行光学对象识别的方法 | |
| US10969890B2 (en) | Display device and driving method for display device using the same | |
| CN112199981A (zh) | 注册指纹的方法、执行指纹辨识的方法以及电子设备 | |
| JP2011118466A (ja) | 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器 | |
| JP4964849B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
| JP5128524B2 (ja) | 画像処理装置及びその制御方法、画像処理プログラム、並びに、コンピュータ読み取り可能な記録媒体 | |
| WO2022027156A1 (en) | Capacitive sensing apparatus | |
| JP4721238B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読取可能な記録媒体 | |
| JP2010211326A (ja) | 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP2010055577A (ja) | 画像処理方法、プログラム、記録媒体、画像処理装置、タッチパネル、電子機器及び液晶表示装置。 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |