KR20150085492A - 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법 - Google Patents

광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법 Download PDF

Info

Publication number
KR20150085492A
KR20150085492A KR1020150079927A KR20150079927A KR20150085492A KR 20150085492 A KR20150085492 A KR 20150085492A KR 1020150079927 A KR1020150079927 A KR 1020150079927A KR 20150079927 A KR20150079927 A KR 20150079927A KR 20150085492 A KR20150085492 A KR 20150085492A
Authority
KR
South Korea
Prior art keywords
fingerprint
light
body part
characteristic data
interference signal
Prior art date
Application number
KR1020150079927A
Other languages
English (en)
Other versions
KR101662624B1 (ko
Inventor
이섬규
정성훈
황성태
Original Assignee
이섬규
정성훈
주식회사 리얼아이덴티티
황성태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이섬규, 정성훈, 주식회사 리얼아이덴티티, 황성태 filed Critical 이섬규
Priority to KR1020150079927A priority Critical patent/KR101662624B1/ko
Publication of KR20150085492A publication Critical patent/KR20150085492A/ko
Application granted granted Critical
Publication of KR101662624B1 publication Critical patent/KR101662624B1/ko

Links

Images

Classifications

    • G06K9/00006
    • G06K9/0004

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 손가락 지문 인식용 광간섭 단층영상 측정기에 관한 것으로서, 본 발명에서는 저 코히어런스 레이저를 조사하는 광 생성기와, 광 생성기로부터 출사되는 광을 측정광과 참조광을 분리하는 광 스플리터와, 광 스플리터에 참조광으로 분리된 광을 입력받은 후 다시 반사시켜 광 스플리터로 출사하는 기준 미러와, 광 스플리터로부터 측정광으로 분리된 광을 입력받은 후 대상체 지문에 조사하고, 대상체 지문으로부터 반사되는 응답광을 광 스플리터로 귀환시키는 광 프로브와, 광 프로브로부터 전달된 응답광과 기준 미러에서 반사된 참조광의 간섭 신호를 검출하는 검출기, 및 검출기가 검출한 간섭 신호를 입력받은 후 대상체 지문의 단층 영상을 나타내는 영상 신호로 변환하는 영상 신호 처리기를 포함하는 것을 특징으로 하는 손가락 지문 인식용 광간섭 단층영상 측정기가 제공된다.

Description

광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법{OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR FINGERPRINT AND AUTHETIFICATION METHOD USING THE SAME}
본 발명은 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법에 관한 것으로서, 보다 구체적으로는 손가락의 표피층의 각질부 뿐만 아니라 표피층 내부의 내피에 형성된 지문까지 획득하여 사용자를 인증하는 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법에 관한 것이다.
바이오메트릭스 산업은 지문, 음성, 얼굴, 손, 홍채와 같은 개인의 특유한 특징을 이용한 개인 인증 시스템에 관한 것이다. 특히, 비용, 사용 편의성, 정확성의 측면에서 지문 인식을 이용한 개인 인증 방법이 널리 사용되고 있다.
기존의 지문 인식 장치에는 광학 센서를 이용하는 광학식과 실리콘 칩 기반의 센서를 이용한 반도체식이 있었다. 광학식은 지문 영상의 품질이 높은 장점이 있지만 이미지 왜곡에 약하고 소형화가 어려우며 가격이 높은 단점이 있고, 특히 다수의 렌즈 사용으로 경박 단소가 불가능하므로 모바일 단말기 등에는 적합하지 않다는 인식이 있었다. 하지만 최근에는 반도체식의 경우 위변조가 광학식보다 쉽다는 문제점이 대두되고 있어 정밀도 높고 위변조 방지에 효과적인 광학식에 대한 필요성이 대두되고 있다. 반도체식 중 CMOS 공정을 활용하는 방식은 CMOS 공정으로 제작이 가능하여 소형으로 제작할 수 있지만, 정전기나 기타 외부 환경에 약하여 신뢰성이 떨어진다는 단점이 있다. 향후 지문 인식 장치는 모바일용에 적합하도록 가볍고 소형이어야 할 뿐만 아니라 내구성 및 안정성을 필요로 하므로 광학식의 경우 집적화하는 공정이 요구되고, 광 파이버 방식으로도 고려하여 시스템을 개선하는 연구의 필요성이 대두되고 있다.
지문의 경우는 다른 생체정보와 달리 상대적으로 정확한 정보를 얻을 수 있는 장점이 있으나 경우에 따라서 지문을 인식할 수 없는 문제가 존재한다. 예를 들어, 영유아의 경우 지문의 크기가 작고 피부가 연약해서 지문 획득이 어렵고, 노인이나 피부 질환 등에 의해 손가락이 건조한 경우 선명한 지문을 얻기 어렵고, 또한 땀 분비 등으로 손가락에 습기가 많은 경우에는 지문 영상이 일그러져 지문 영상을 얻기 어렵고, 손가락에 상처를 입거나 습진과 같은 질환에 걸리거나 손을 많이 사용하는 일을 많이 해서 지문이 망가질 경우에는 지문 인식에 필요한 특징점과 특이점을 검출하기 어렵다.
또한, 대상체가 만진 컵이나 유리문에 남아있는 지문을 교묘히 복원한 후 이를 위조하여 실리콘 재질로 위조 지문을 만든 후 이를 이용하여 지문 인증 시스템을 교묘하게 통과하거나 죽은 사람의 지문을 이용하여 지문 인증 시스템을 통과하는 등이 발생하여 종래 지문 인증 시스템 내지는 인증 방법이 불안하다는 문제점이 지속적으로 제기되고 있다.
홍채인식의 경우에도 유사한 사례가 발생하여 문제가 되고 있다. 눈의 심미성을 위해 또는 시력을 보완하기 위해 착용하는 렌즈 등에 홍채의 위조 이미지를 만들어 눈에 낀 체 홍채인증시스템을 교묘하게 통과한 경우가 발생하여 홍채인식방법 또한 지문인식처럼 위변조를 막기 위한 방법의 강구가 절실한 상황이다.
한국공개특허 제10-2004-0043413호 (2004.05.24.)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 외피 지문이 닳아 희미해지거나 없어지는 경우, 또는 질병이나 노화로 외피 지문이 약해지거나 없어지는 경우, 외피 지문만으로는 인식하기 어려운 영유아의 지문, 건조한 손가락의 지문, 습기가 많은 손가락 지문 및 표피층이 훼손된 지문까지 정확하게 판독 가능한 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 측정하는 대상체의 진위판별을 포함하는 것으로 생체특성을 이용하여 대상체가 실리콘 등과 같이 위조된 것인지 아니면 죽은 생체인지를 판별하는 단계를 포함하며 특히 보안이 중대한 경우 설정에 따라서 동일한 기기로 다른 신체 부위를 추가적으로 인증하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 상기 목적은 사용자별 제1신체 부위에 대한 특성 데이터를 저장하는 제1특성 데이터베이스와 사용자별 제2신체 부위에 대한 특성 데이터를 저장하는 제2특성 데이터베이스를 구비하고, 제1특성 데이터베이스 및 제2특성 데이터베이스를 이용하여 사용자를 인증하는 광간섭 단층 지문 인증 시스템에 있어서, 저 코히어런스 레이저를 조사하는 광 생성기와, 광 생성기로부터 출사되는 광을 측정광과 참조광으로 분리하는 광 분리기와, 광 분리기에 의해 분리된 참조광을 입력받은 후 다시 반사시켜 광 분리기로 출사하는 기준 미러와, 광 분리기로부터 분리된 측정광을 입력받은 후, 제1신체부위 및 제2신체부위에 조사하고, 제1신체 부위 및 제2신체 부위로부터 각각 반사되는 제1응답광 및 제2응답광을 광 분리기로 귀환시키는 광 프로브와, 광 프로브로부터 전달된 제1응답광과 기준 미러에서 반사된 참조광과의 간섭 신호인 제1 간섭 신호 및 광 프로브로부터 전달된 제2응답광과 기준 미러에서 반사된 참조광과의 간섭 신호인 제2 간섭 신호를 검출하는 검출기와, 검출기로부터 검출된 제1 간섭 신호 또는 제2 간섭 신호를 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별하고, 검출기로부터 검출된 제1 간섭 신호 및 제2 간섭 신호로부터 각각 제1 특성 데이터 및 제2 특성 데이터를 추출하고, 추출된 제1 특성 데이터 및 제2 특성 데이터를 이용하여 제1특성 데이터베이스 및 제2특성 데이터베이스에 등록된 사용자인지 여부를 인증하는 인증기를 포함하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템에 의해서 달성 가능하다.
본 발명의 또 다른 목적은 사용자별 제1신체 부위에 관한 특성 데이터를 저장하는 제1특성 데이터베이스를 구비하고, 제1특성 데이터베이스를 이용하여 사용자를 인증하는 광간섭 단층 지문 인증 방법으로서, 저 코히어런스 레이저를 기준 미러에 조사한 후, 기준 미러로부터 반사되는 참조광을 획득하는 제1단계와, 저 코히어런스 레이저를 대상체의 제1신체 부위에 조사하고 대상체 제1신체 부위로부터 반사되는 응답광을 획득하는 제2단계와, 참조광과 응답광의 간섭 신호를 검출하는 제3단계와, 간섭 신호를 이용하여 살아있는 사람의 제1신체 부위로부터 검출된 신호인지 여부를 판별하고, 간섭 신호로부터 신체 부위에 대한 신체 특성 데이터를 추출하고, 추출된 신체 특성 데이터를 이용하여 사용자를 인증하는 제4단계와, 저 코히어런스 레이저를 기준 미러에 조사한 후, 기준 미러로부터 반사되는 참조광을 획득하는 제5단계와, 저 코히어런스 레이저를 대상체의 제2신체 부위에 조사하고 제2신체 부위로부터 반사되는 응답광을 획득하는 제6단계와, 제5단계에서 획득된 참조광과 제6단계에서 획득한 응답광의 간섭 신호를 검출하는 제7단계, 및 제7단계에서 검출된 간섭 신호를 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별하고, 제7단계에서 검출된 간섭 신호를 이용하여 사용자를 인증하는 제8단계를 포함하는 것을 특징으로 하는 광간섭 단층 지문 인증 방법에 의해서 달성 가능하다.
본 발명에 따른 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법은 손가락 표피층의 표면에 형성되는 외피 지문뿐만 아니라 표피층과 내부에 형성되는 내피 지문으로부터도 지문 특성 데이터를 획득할 수 있게 되었다. 따라서 지문의 크기가 작고 피부가 연약해서 지문 획득이 어려운 영유아의 지문과, 노인이나 피부 질환 등에 의해 손가락이 건조할 경우에도 선명한 지문 인식이 가능하고, 땀 분비 등으로 손가락에 습기가 많은 경우에도 선명한 지문 인식이 가능하고, 손가락에 상처를 입거나 습진과 같은 질환에 걸리거나 손을 많이 사용하는 일을 많이 해서 지문이 망가진 경우에도 외피 지문뿐만 아니라 내피 지문도 인식하여 사용자 인증을 수행할 수 있게 되었다.
나아가 본 발명에 따른 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법을 이용하면 살아있는 조직의 지문인지 여부가 파악 가능하고, 외피 지문과 내피 지문을 비교하여 위조 여부를 판단 할 수 있으며, 또한 지문 이외의 다른 신체 부위에 대한 검증도 추가적으로 수행 가능함으로써 보다 확실하게 사용자 인증을 수행할 수 있는 효과가 있다.
또한, 본 발명에 따른 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법은 사용자의 신체와 직접적으로 접촉하지 않는 비접촉 방식으로 사용할 수 있어 사스와 같은 수전(手傳)성 전염병과 같은 접촉식 병원균으로부터 차단할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지문을 인식하기 위한 광간섭 단층영상 측정기 시스템 구성도.
도 2는 본 발명의 또 다른 실시예로서 광섬유를 이용하는 손가락 지문 인식용 광간섭 단층영상 측정기의 구성도.
도 3은 본 발명에 따른 광간섭 단층 지문 인증 시스템을 이용한 사용자 인증 방법을 설명하는 흐름도.
발명의 상세한 설명에 앞서 외피 지문과 내피 지문이라는 용어에 대해 설명하기로 한다. 본 발명에서 명명하는 외피 지문이란 피부 표피를 이루고 있는 각질층(the stratum cormum)에 형성된 육안상으로 보이는 부분에 형성된 지문을 의미하며, 종래 접촉식 지문 인식 시스템에서 주로 측정 대상으로 하였다. 본 발명에서 명명하는 내피 지문이란 표피를 이루고 있는 각질층에 형성된 지문을 제외한 각질층 내부 인체 조직에 형성된 지문(예로서, 진피표피연접부(The dermal epidermal junction)에 형성된 지문)을 통칭하여 의미하는 것이다.
본 발명에 따른 광간섭 단층 지문 인증 시스템은 신체 부위에 저 코히어런스 레이저 광을 조사하고, 참조 광원과 응답 광원간에 생성되는 간섭 신호로부터 신체 부위에 대한 특성 데이터를 추출하고, 추출된 특성 데이터를 이용하여 사용자 인증을 수행하는 시스템이다. 본 발명에서 사용하는 저 코히어런스 레이저 광원은 적외선 영역을 사용하기 때문에 인체에 무해하다. 따라서 본 발명에서 사용자 인증 시스템을 이용하여 인증할 수 있는 신체 부위는 지문, 손혈관, 땀샘관, 귀형상 및 손바닥 등 제한이 없다고 보아야 한다. 다만 본 발명에서는 설명의 편의상 다양한 신체 부위 중에서 지문을 이용한 인증 시스템에 대해서 주로 설명하며, 다른 신체 부위로는 땀샘관을 대상으로 설명하기로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 지문을 인식하기 위한 광간섭 단층 지문 인증 시스템의 구성도이다. 도 1을 이용하여 광간섭 단층 지문 인증 시스템의 동작 특성을 설명하면 다음과 같다. 광 생성기(110)는 저(low) 코히어런스 레이저광을 생성하여 광 분리기(122)로 전달한다. 통상적으로 광 분리기(122)는 빔 스플리터(beam splitter)로 구현할 수 있다. 광 생성기(110)로부터 전달된 레이저 광은 빔 스플리터(122)에서 측정광 및 참조광으로 분리된다. 빔 스플리터(122)에서 분리된 광 중에서 측정광은 광 프로브(130)에 전달되고, 참조광은 기준 미러(124)로 전달되어 반사된 후 다시 빔 스플리터(122)로 돌아온다. 한편, 광 프로브(130)로 전달된 측정광은 광 프로브(130)를 통해 내부의 단층 영상을 촬영하고자 하는 대상체 지문(10)에 조사되고, 조사된 측정광이 대상체 지문(10)에서 반사된 응답광은 광 프로브(130)를 통해 광 분리기(122)로 전달된다. 전달된 응답광과 기준 미러(124)에서 반사된 참조광은 빔 스플리터(122)에서 간섭을 일으키며, 검출기(140)는 간섭 신호를 검출한다. 그리고 검출기(140)가 검출한 간섭 신호를 인증기(150)에 전달하면 인증기(150)는 간섭 신호를 이용하여 살아있는 사람의 지문으로부터 검출된 신호인지 여부를 판별하고, 검출기로(140)부터 검출된 간섭 신호로부터 지문 특성 데이터를 추출하고, 추출된 지문 특성 데이터를 이용하여 사용자를 인증하는 기능을 한다. 본 발명에 따른 광간섭 단층 지문 인증 시스템은 도 1에 도시된 바와 같이 대물렌즈(138)를 사용하는 시스템이므로 일정한 촛점 거리 내 일정 범위에 신체 부위가 놓여지면 비접촉으로 측정이 가능하다. 따라서 이러한 일정 범위에 신체 부위가 놓여졌는지 여부를 검출하기 위해 근접 센서(180)를 더 구비할 수 있다. 인증기(150)는 근접 센서(180)를 이용하여 원하는 위치에 신체 부위가 위치할 경우 광 생성기(110), 광 프로브(130), 및 검출기(140)를 동작시켜 간섭 신호 검출을 진행할 수 있다. 근접 센서(180)의 동작 여부를 인증기(150)에서 체크하는 대신 별도의 MCU(Micro Control Unit, 195)를 추가하여 전체 회로 블록을 제어 연산할 수 있음은 물론이다. 제1특성 데이터베이스(160) 및 제2특성 데이터베이스(170)는 각각 사전에 인증된 사용자의 제1신체 부위(예로서, 지문) 및 제2신체 부위(예로서, 땀샘관)에 대한 특성 데이터를 저장하는 데이터베이스이다.
본 발명에 따른 광간섭 단층 지문 인증 시스템은 외피 지문의 특성 데이터뿐만 아니라 내피 지문에 대한 지문 특성 데이터를 추출하여 인증에 사용한다. 이는 현재 출입문 관리 등에 사용되는 종래 지문 인증 시스템이 대부분 외피 지문만을 검사 대상으로 하여 위변조가 쉬운 반면 본 발명에 따른 인증 시스템의 경우 내피 지문에 대한 인증을 수행하고 후술하는 바와 같이 살아있는 인체에서 추출된 검사 및 나아가 안구 인증까지 추가하여 인증을 실시하므로 위변조가 어려운 특성이 있다.
본 발명에 따른 광간섭 단층 지문 인증 시스템이 외피 지문, 내피 지문뿐만 아니라 필요할 경우 살아있는 생체로부터 획득한 간섭 신호인지 여부 및 다른 신체 부위까지 활용하여 검사하기 위해서는 다양한 주파수 분석 특성을 지녀야 한다. 이러한 분석 특성은 (1) 광 생성기(110)에서 출력되는 레이저 광원은 하나의 파장만 출력하도록 하는 특성을 갖는 대신 기준 미러(124)를 y 방향(종방향)으로 이동시키면서 외피 지문과 내피 지문에 대한 간섭 신호를 획득하는 타임 도메인(Time Domain) 분석 방식이 있으며, (2) 기준 미러(124)는 고정시키고, 광 생성기(110)에서 복수의 파장대 광원을 출력하여 외피 지문과 내피 지문에 대한 간섭 신호를 획득하는 주파수 도메인(Frequency Domain) 분석 방식이 있다. 주파수 도메인 분석 방식에서 외피 지문을 분석하는 데 사용되는 저 코히어런스 레이저 광원의 파장을 λ1 이라 하고, 내피 지문을 분석하는 데 사용되는 저 코히어런스 레이저 광원의 파장을 λ2 라 할 때, 주파수 도메인 분석 방식은 두 가지 방식으로 적용할 수 있다. 첫 번째 방식은 광 생성기(110)가 λ1 및 λ2를 포함하는 광대역 저 코히어런스 레이저 광원을 조사하고 검출기(140)에 각 파장별로 분리하는 회절격자(grating)를 추가하여 간섭 신호를 검출하는 방식인 스펙트랄(spectral) 도메인 분석 방식이다. 두 번째 방식은 광 생성기(110)가 λ1 및 λ2를 포함하는 광대역 저 코히어런스 레이저 광원을 하나의 비트 내에서 순차적으로 조사하고 검출기가 이를 주파수별로 분석하여 각각의 간섭 신호를 추출하는 스웹프트(swept) 도메인 분석 방식이다. 본 발명에 따른 광간섭 단층 지문 인증 시스템은 타임 도메인 분석 방식 또는 주파수 분석 방식에 무관하게 광프로브는 일정한 영역의 지문을 스캔하여야 하므로 x 방향(횡방향)으로 스캔이 가능하도록 설계되어져야 한다. 도 1의 시스템은 광 분리기를 사용하는 광학 방식으로 구현하였는데 이러한 광학 방식의 시스템은 광(光) 특성상 동일한 기능을 수행하는 광 파이버 방식으로도 용이하게 변경할 수 있음은 물론이다.
도 1에 제시된 광간섭 단층 지문 인증 시스템은 전술한 바와 같이 외피 지문, 내피 지문 및 기타 신체 부위를 측정하기 위해서 시스템 구현 방식에 따라 기준 미러(124)의 종방향을 조정하거나, 광 생성기(110) 또는 검출기(140)를 조정할 필요가 있으며 본 발명에서는 이를 장치 조정기(190)를 이용하여 조정하게 된다. 즉, 장치 조정기(190)는 MCU(195)로부터 제어신호를 입력받고, 입력된 제어신호에 따라 기준 미러(124), 광 생성기(110) 또는 검출기(140)를 조정하게 된다.
도 1에 제시된 광간섭 단층 지문 인증 시스템을 이용하여 횡방향 스캔 방식의 일례에 대해 설명하기로 한다. 도 1에 제시된 시스템의 경우 대상체 지문(10)에 조사되는 지점이 횡(lateral) 방향으로 이동함에 따라 측정광의 광로 길이(optical path length)를 변화시킨다. 보다 상세하게는 측정광이 대상체 지문(10)에 조사되는 지점을 횡 방향으로 동일한 길이만큼 연속하여 이동시키면서 스캔을 수행하고, 측정광이 대상체 지문(10)에 조사되는 지점이 횡 방향으로 이동될 때마다 측정광의 광로 길이가 동일한 길이만큼 증가하는 방식으로 모듈레이션을 수행한다. 또한, 여기서 광로 길이란 굴절률 n의 매질 중을 광이 거리 l(영문 소문자 m 다음 문자)만큼 통과할 때 n과 l(영문 소문자 m 다음 문자)의 곱을 광로 길이라고 한다. 즉, 매질을 통과하는 동안 걸린 시간과 동일한 시간 동안에 광이 진공 중을 통과하는 거리와 같다. 이와 같이 측정광의 광로 길이를 변화시키면서 측정광이 대상체 지문(10)에 조사되는 지점을 횡 방향으로 이동시키는 역할을 광 프로브(130)가 수행한다.
위에서 설명한 방식은 손가락 지문을 고정시킨 상태에서 장비를 이동시켜 스캔을 진행하는 방식이며, 이 경우에는 손가락 지문의 곡면 형상을 따라 장비가 자동으로 적절한 거리를 유지하도록 제어하면서 스캔하는 기술이 추가되는 것이 바람직하다. 이러한 스캔 방식을 변형하여 스캔 장비를 고정시킨 상태에서 손가락 지문을 이동시키는 방식으로 변형하는 것도 가능함은 물론이다.
도 1을 참조하면, 광 프로브(130)는 콜리메이터(collimator) 렌즈(132), 갈바노 스캐너(galvano scanner)(134), 광로 길이 조절 부재(136) 및 대물 렌즈(138)를 포함할 수 있다. 여기서 갈바노 스캐너(134)는 일정한 축을 중심으로 일정 반경 회전이 가능한 미러(mirror)로서 MEMS(Micro Electro Mechanical System)로부터 회전에 필요한 구동력을 얻는 MEMS 스캐너로 구현될 수 있다. 또한, 광로 길이 조절 부재(136)는 일정한 굴절률(refractive index)을 가지는 하나의 재질 또는 서로 다른 굴절률을 가지는 둘 이상의 재질을 이용하여 다양한 형상으로 제작된 부재로서 광이 광로 길이 조절 부재(136)를 통과하는 지점에 따라 광로 길이가 달라지도록 한다.
광 분리기(122)로부터 전달된 측정광은 광 프로브(130)의 콜리메이터 렌즈(132)를 통과하며 시준되고, 갈바노 스캐너(134)에서 반사됨으로써 진행 방향이 조절되어 광로 길이 조절 부재(136) 및 렌즈(138)를 차례로 통과한 후 대상체 지문(10)에 조사될 수 있다. 갈바노 스캐너(134)가 일정한 축을 중심으로 회전 이동함에 따라 측정광이 대상체 지문(10)에 조사되는 지점이 횡 방향으로 이동하게 되며, 이때 갈바노 스캐너(134)가 회전 이동함에 따라 측정광이 광로 길이 조절 부재(136)를 통과하는 지점 또한 이동하므로 측정광의 광로 길이가 변화하게 된다.
한편, 도면에는 도시하지 아니하였으나 광 프로브(130)는 콜리메이터 렌즈(132), 갈바노 스캐너(134), 광로 길이 조절 부재(136) 및 렌즈(138)를 내부에 구비하는 하우징(미도시)을 포함할 수 있다. 그리고 광로 길이 조절 부재(136) 및 렌즈(138)를 통과한 측정광은 하우징(미도시)의 개구부에서 출력되어 대상체 지문(10)에 조사된다. 따라서, 측정광이 출력되는 하우징(미도시)의 개구부를 광 출력부라고 할 수 있다.
도 2는 본 발명의 또 다른 실시예로서, 광섬유를 이용하는 손가락 지문 인식용 광간섭 단층 지문 인증 시스템의 구성에 관한 개략적 설명도다. 본 실시예에서, 저 코히어런스 광원(110)으로부터 출사된 광은 광 커플러(123)에 의해 측정광과 참조광으로 분할되고나서, 측정광은 광 프로브(130)로 안내되고 참조광은 기준 미러(124)로 안내된다. 광 프로브(130)로 전달된 측정광은 광 프로브(130)를 통해 대상체 지문(10)에 조사되고, 조사된 측정광이 대상체 지문(10)에서 반사되어 응답광으로 프로브(130)를 통해 광 커플러(123)로 귀환된다.
광 커플러(123)로부터 전달된 측정광은 광 프로브(130)의 파이버 콜리메이터 (132)를 통과하며 시준되고, 갈바노 스캐너(134)에서 반사됨으로써 진행 방향이 조절되어 대물 렌즈(138)를 통과한 후 대상체 지문(10)에 조사될 수 있다.
한편, 참조광은 또 다른 세트의 파이버 콜리메이터(107)로부터 출사되어, 기준 미러(124)에서 반사되고, 광 커플러(123)로 복귀된다. 출사된 참조광과의 파장분산량을 일치시키기 위해서, 분산 보상 유리를 파이버 콜리메이트(107)와 기준 미러(124) 사이에 개재시킨 후 참조광들이 지나가게 할 수 있다.
대상체 지문(10)에서 반사 또는 산란되고 광 커플러(123)로 복귀되는 응답광과, 기준 미러(124)에서 반사되어 광 커플러(123)에 복귀되는 대응한 참조광로부터 광 커플러(123)에서 간섭 신호가 생성된다. 광 커플러(123)에서 생성된 간섭 신호들은 간섭 신호를 검출하는 단계에 있어서 검출기(140)에 의해 측정광에 대응한 간섭 신호로서 각각 검출된다. 그리고 검출기(140)가 검출한 간섭 신호를 인증기(150)에 전달하면 인증기(150)는 간섭 신호를 이용하여 살아있는 사람의 지문으로부터 검출된 신호인지 여부를 판별하고, 검출기로(140)부터 검출된 간섭 신호로부터 지문 특성 데이터를 추출하고, 추출된 지문 특성 데이터를 이용하여 사용자를 인증하는 기능을 한다.
도 2에 제시된 광섬유를 이용하는 광간섭 단층 지문 인증 시스템은 도 1에 제시된 광학 방식에서 광 분리기(122)가 광 커플러(123)라는 장치로 변경한 점에서 상이하고, 도 1에 제시된 광학 방식에서 광은 광학 장치를 통해서 전달되는데 비해 도 2에 제시된 광섬유 방식에서는 광섬유를 이용하여 광이 전달되는 점에서 상이하나 기본적인 시스템 구성은 크게 차이점이 없다. 따라서 본 발명에서는 광학 방식을 이용한 광간섭 단층 지문 인증 시스템에 대해서 주로 설명할 것이나 이를 간단하게 변경하여 광섬유 방식으로 변환하는 것은 본 발명의 기술분야에 종사하는 기술자에게는 용이하게 달성 가능한 것이다.
도 3은 본 발명에 따른 광간섭 단층 지문 인증 시스템을 이용한 사용자 인증 방법을 설명하는 흐름도이다.
먼저 저 코히어런스 레이저광을 생성하고(ST 310), 이를 기준 미러에 조사하여 참조광을 생성한다(ST 315). 참조광을 생성하는 단계와 병행적으로 해당 저 코히어런스 레이저광을 제1신체 부위(지문)에 조사하여 응답광을 생성한다(ST320). 참조광과 응답광은 광 분리기(또는 광커플러)에서 간섭 신호로 생성되며, 검출기(140)를 이용하여 간섭 신호를 검출한다(ST 325). 검출된 간섭 신호가 살아있는 생체 조직으로부터 검출된 신호인지 여부를 판별한다(ST 330). ST 330 단계의 판별 결과가 부정적으로 판별될 경우 사용자 인증에 실패하였다고 인식하고 불인증 처리하게 된다(ST 390). 생체 조직에서 검출된 간섭 신호가 아니라고 판별될 경우에는 이를 범죄에 활용된다는 것으로 인식하여 단순한 불인증 처리뿐만 아니라 범죄에 악용하는 등으로 인식하여 추가적인 조치를 취할 수 있음은 물론이다.
추출된 간섭 신호가 생체로부터 검출된 신호인지 여부는 다양한 방식으로 검사가 가능하다. 예를 들어 생체가 갖는 전기적 특성, 생체에 구비된 땀샘의 땀 발생 특성, 혈관의 혈류 흐름 특성 및 생체의 미세 근육의 변화 특성 중에서 선택된 적어도 어느 하나의 특성을 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별할 수 있다. 이 중에서 전기적 특성을 활용할 경우에는 신체 부위에 흐르는 전류를 감지하기 위해 호버링(Hovering)과 포록시미티(Proximity) 특성을 이용하여 비접촉으로도 전류를 감지할 수 있다. 나아가 생체로부터 검출된 신호인지 여부를 판별하기 위해 미리 등록된 사용자에 대한 생체 특성을 별도의 생체 데이터베이스에 저장하여 구비하고, 이러한 생체 데이터베이스를 이용하여 생체 여부를 확인할 수도 있음은 물론이다.
생체 신호인지 여부 판단(ST 330) 단계가 참(true)로 판별될 경우에는 검출된 간섭 신호로부터 대상체의 외피에 형성된 지문에 대한 신체 특성 데이터인 제1지문 특성 데이터 및 대상체의 내피에 형성된 지문에 대한 특성 데이터인 제2지문 특성 데이터를 추출한다(ST 335). ST 335 단계에서 유아 지문이거나 외피 지문이 손상된 경우 등의 경우에는 외피 지문을 획득할 수 없어 제1지문 특성 데이터를 추출할 수 없다. 따라서 본 발명에서는 외피 지문이 획득 가능한지 여부를 다시 체크하고(ST 337), ST 337 단계가 참인 경우(외피 지문이 획득된 경우) 제1지문 특성 데이터와 제2지문 특성 데이터가 일치하는 여부를 판별한다(ST 340). ST 340 단계의 판별 결과가 거짓(fault)으로 판별될 경우 사용자 불인증 처리를 한다(ST 390). ST 340 단계의 판별 결과가 참(true)으로 판별될 경우에는 제1지문 특성 데이터 또는 제2지문 특성 데이터 중에서 선택된 어느 하나가 제1특성 데이터베이스(160)에 저장된 특성 데이터 중에서 하나와 일치하는지 여부를 판별하고(ST 345), 판별 결과가 참일 경우에는 사용자 인증(ST 350)을 하고, ST 345 단계의 판별 결과가 거짓일 경우에는 사용자를 불인증(ST 390) 처리하게 된다. 유사하게 제1지문 특성 데이터를 획득할 수 없는 경우(ST 337가 거짓인 경우)에는 제제2지문 특성 데이터가 제1특성 데이터베이스(160)에 저장된 특성 데이터 중에서 하나와 일치하는지 여부를 판별하고(ST 345), 판별 결과가 참일 경우에는 사용자 인증(ST 350)을 하고, ST 345 단계의 판별 결과가 거짓일 경우에는 사용자를 불인증(ST 390) 처리하게 된다.
도 3에 제시된 흐름도에서 사용자 인증을 생체 신호인지 여부 판별과(ST 330), 제1지문 특성 데이터와 제2지문 특성 데이터의 일치 여부 판별과(ST 340), 내피 지문이 제1특성 데이터베이스에 등록된 데이터와 일치하는지 여부를 판별(ST 345)하는 세 단계를 검증 방식을 사용하였다. 이러한 세 가지 검증 방식은 반드시 도 3에 제시된 시차적인 흐름에 따라 순차적으로 수행할 필요는 없다. 예를 들어 ST 340 단계, ST 345 단계를 먼저 수행하고, ST 330 단계를 마지막으로 사용하여 검증하여도 무방하다. 나아가 세 단계를 반드시 수행할 필요는 없는 것이며, 도 3에 제시된 세 가지 단계 중에서 ST 340 단계를 생략하여도 무방하다. ST 340 단계를 생략하는 경우에는 ST 345 단계에서 외피 지문에 해당하는 제1지문 특성 데이터보다는 내피 지문에 해당하는 제2지문 특성 데이터를 이용하여 제1특성 데이터베이스(160)와 비교하는 것이 바람직하다.
또한, 이러한 세 가지 검증 방식은 반드시 도 3에 제시된 인증 방식은 모든 사용자에게 동일하게 적용할 필요가 없으며, 좀더 강화된 보안 체계를 원하는 시스템 관리자와 일반 출입자 등과 같이 사용자별로 단계별 보안 체계 인증에 사용할 수 있음은 물론이다.
또한 나아가 지문에 대한 검증이 완료된 이후, 얼굴모양, 귀모양, 손모양, 망막, 손혈관, 땀샘관, 또는 홍채 등의 다른 신체 부위에 대한 검사를 추가적으로 할 수 있다. 예를 들어 지문에 대한 판별을 한 후 사용자 인증이 완료된 경우 땀샘관을 제2신체 부위라고 가정하여 추가적인 인증을 수행하는 단계에 대해 설명하기로 한다. 땀샘관을 인증하기 위해서 제2특성 데이터베이스에는 인증된 사용자에 대한 땀샘관에 관한 특성 데이터가 저장된다. ST 310 단계 내지 ST 325 단계를 수행하여 간섭 신호를 검출한 후, ST 330 단계는 생략하고, ST 335 단계에서 땀샘관에 대한 특성 데이터를 획득하고, ST 340 단계에서 획득된 땀샘관 특성 데이터(제2신체 특성 데이터)를 제2특성 데이터베이스(170)를 참조하여 추가적인 사용자 인증(ST 350)을 수행한다. 이렇게 몇 가지 신체 부위를 이용하면 사용자 인증을 보다 확실하게 할 수 있는 장점이 있다.
나아가 이렇게 다양한 신체 부위의 인증에 사용할 경우에는 도 1 및 도 2에 제시된 본 발명에 따른 광간섭 단층 지문 인증 시스템은 사용자의 어느 신체 부위가 인증 시스템에 제시되는 지를 판별하고, 이를 인식하고 해당 신체 부위에 대한 검증을 위해 기준 미러(124), 검출기(140) 등에 대한 세부 조정을 장치 조정기(190)를 통해 수행하도록 할 수 있다.
상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당업자에 의하여 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.
10: 대상체 지문 110: 광 생성기
120: 광 결합기 122: 광 분리기
124: 기준 미러 130: 광 프로브
132: 콜리메이터 134: 갈바노 스캐너
136: 광로 길이 조절 부재 138: 대물 렌즈
140: 검출기 150: 인증기
160: 제1특성 데이터베이스 170: 제2특성 데이터베이스
180: 근접 센서 190: 장치 조정기
195: MCU(Micro Control Unit)

Claims (6)

  1. 사용자별 제1신체 부위에 대한 특성 데이터를 저장하는 제1특성 데이터베이스와 사용자별 제2신체 부위에 대한 특성 데이터를 저장하는 제2특성 데이터베이스를 구비하고, 상기 제1특성 데이터베이스 및 상기 제2특성 데이터베이스를 이용하여 사용자를 인증하는 광간섭 단층 지문 인증 시스템에 있어서,
    저 코히어런스 레이저를 조사하는 광 생성기와,
    상기 광 생성기로부터 출사되는 광을 측정광과 참조광으로 분리하는 광 분리기와,
    상기 광 분리기에 의해 분리된 상기 참조광을 입력받은 후 다시 반사시켜 상기 광 분리기로 출사하는 기준 미러와,
    상기 광 분리기로부터 분리된 상기 측정광을 입력받은 후, 상기 제1신체부위 및 상기 제2신체부위에 조사하고, 상기 제1신체 부위 및 상기 제2신체 부위로부터 각각 반사되는 제1응답광 및 제2응답광을 상기 광 분리기로 귀환시키는 광 프로브와,
    상기 광 프로브로부터 전달된 제1응답광과 상기 기준 미러에서 반사된 참조광과의 간섭 신호인 제1 간섭 신호 및 상기 광 프로브로부터 전달된 제2응답광과 상기 기준 미러에서 반사된 참조광과의 간섭 신호인 제2 간섭 신호를 검출하는 검출기와,
    상기 검출기로부터 검출된 제1 간섭 신호 또는 제2 간섭 신호를 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별하고, 상기 검출기로부터 검출된 제1 간섭 신호 및 제2 간섭 신호로부터 각각 제1 특성 데이터 및 제2 특성 데이터를 추출하고, 상기 추출된 제1 특성 데이터 및 상기 제2 특성 데이터를 이용하여 상기 제1특성 데이터베이스 및 상기 제2특성 데이터베이스에 등록된 사용자인지 여부를 인증하는 인증기를 포함하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템.
  2. 제1항에 있어서,
    상기 인증기는 생체가 갖는 전기적 특성, 생체에 구비된 땀샘의 땀 발생 특성, 혈관의 혈류 흐름 특성 및 생체의 미세 근육의 변화 특성 중에서 선택된 적어도 어느 하나의 특성을 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템.
  3. 제1항에 있어서,
    상기 제1신체 부위는 지문이며,
    상기 인증기에서 추출하는 제1 특성 데이터는 상기 검출기로부터 입력되는 제1 간섭 신호를 이용하여 외피에 형성된 지문에 대한 특성 데이터인 제1지문 특성 데이터를 포함하고, 상기 제1지문 특성 데이터를 이용하여 상기 제1특성 데이터베이스에 등록된 사용자인지 여부를 인증하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템.
  4. 제1항에 있어서,
    상기 제1신체 부위는 지문이며,
    상기 인증기에서 추출하는 제1 특성 데이터에는 상기 검출기로부터 입력되는 상기 제1 간섭 신호를 이용하여 내피에 형성된 지문에 대한 특성 데이터인 제2지문 특성 데이터를 포함하고, 상기 제2지문 특성 데이터를 이용하여 상기 제1특성 데이터베이스에 등록된 사용자인지 여부를 인증하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템.
  5. 제1항에 있어서,
    상기 제1신체 부위는 외피 지문이며, 상기 제2신체 부위는 내피 지문인 것을 특징으로 하고,
    상기 인증기는 상기 검출기로부터 입력되는 상기 제1 간섭 신호 및 상기 제2 간섭 신호를 이용하여 상기 외피 지문 및 상기 내피 지문에 대한 신체 특성 데이터인 제1지문 특성 데이터 및 제2지문 특성 데이터를 추출하고, 상기 제1지문 특성 데이터와 상기 제2지문 특성 데이터가 일치하는지 여부를 판별하는 것을 특징으로 하는 광간섭 단층 지문 인증 시스템.
  6. 사용자별 제1신체 부위에 관한 특성 데이터를 저장하는 제1특성 데이터베이스를 구비하고, 상기 제1특성 데이터베이스를 이용하여 사용자를 인증하는 광간섭 단층 지문 인증 방법으로서,
    저 코히어런스 레이저를 기준 미러에 조사한 후, 상기 기준 미러로부터 반사되는 참조광을 획득하는 제1단계와,
    상기 저 코히어런스 레이저를 대상체의 제1신체 부위에 조사하고 상기 대상체 제1신체 부위로부터 반사되는 응답광을 획득하는 제2단계와,
    상기 참조광과 상기 응답광의 간섭 신호를 검출하는 제3단계와,
    상기 간섭 신호를 이용하여 살아있는 사람의 제1신체 부위로부터 검출된 신호인지 여부를 판별하고, 상기 간섭 신호로부터 신체 부위에 대한 신체 특성 데이터를 추출하고, 상기 추출된 신체 특성 데이터를 이용하여 사용자를 인증하는 제4단계와,
    저 코히어런스 레이저를 기준 미러에 조사한 후, 상기 기준 미러로부터 반사되는 참조광을 획득하는 제5단계와,
    상기 저 코히어런스 레이저를 상기 대상체의 제2신체 부위에 조사하고 상기 제2신체 부위로부터 반사되는 응답광을 획득하는 제6단계와,
    상기 제5단계에서 획득된 참조광과 상기 제6단계에서 획득한 응답광의 간섭 신호를 검출하는 제7단계, 및
    상기 제7단계에서 검출된 간섭 신호를 이용하여 살아있는 사람의 신체로부터 검출된 신호인지 여부를 판별하고, 상기 제7단계에서 검출된 상기 간섭 신호를 이용하여 사용자를 인증하는 제8단계를 포함하는 것을 특징으로 하는 광간섭 단층 지문 인증 방법.
KR1020150079927A 2015-06-05 2015-06-05 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법 KR101662624B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150079927A KR101662624B1 (ko) 2015-06-05 2015-06-05 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079927A KR101662624B1 (ko) 2015-06-05 2015-06-05 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005170 Division 2014-01-15

Publications (2)

Publication Number Publication Date
KR20150085492A true KR20150085492A (ko) 2015-07-23
KR101662624B1 KR101662624B1 (ko) 2016-10-07

Family

ID=53875484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079927A KR101662624B1 (ko) 2015-06-05 2015-06-05 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법

Country Status (1)

Country Link
KR (1) KR101662624B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170026125A (ko) * 2015-08-27 2017-03-08 광주과학기술원 지정맥 인식 장치 및 지정맥 인식 방법
WO2017188616A1 (ko) * 2016-04-28 2017-11-02 주식회사 올아이티탑 생체인식을 이용한 융합 인증카드

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040043413A (ko) 2002-11-18 2004-05-24 삼성전자주식회사 지문 인식 소자를 내장한 일체형 액정표시장치 제조방법
KR20090093368A (ko) * 2008-02-29 2009-09-02 연세대학교 산학협력단 편광 민감 광 간섭 영상검출용 프로브
KR20110002373A (ko) * 2009-07-01 2011-01-07 주식회사 슈프리마 생체신호를 감지하여 위조지문을 식별하는 지문인증장치 및 방법
KR20130065041A (ko) * 2011-12-09 2013-06-19 윤형일 상보형 지문 인식 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040043413A (ko) 2002-11-18 2004-05-24 삼성전자주식회사 지문 인식 소자를 내장한 일체형 액정표시장치 제조방법
KR20090093368A (ko) * 2008-02-29 2009-09-02 연세대학교 산학협력단 편광 민감 광 간섭 영상검출용 프로브
KR20110002373A (ko) * 2009-07-01 2011-01-07 주식회사 슈프리마 생체신호를 감지하여 위조지문을 식별하는 지문인증장치 및 방법
KR20130065041A (ko) * 2011-12-09 2013-06-19 윤형일 상보형 지문 인식 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170026125A (ko) * 2015-08-27 2017-03-08 광주과학기술원 지정맥 인식 장치 및 지정맥 인식 방법
WO2017188616A1 (ko) * 2016-04-28 2017-11-02 주식회사 올아이티탑 생체인식을 이용한 융합 인증카드

Also Published As

Publication number Publication date
KR101662624B1 (ko) 2016-10-07

Similar Documents

Publication Publication Date Title
KR100871349B1 (ko) 광학 분광분석법을 이용한 개체의 생체인식 식별 또는검증을 위한 기구 및 방법
US7708695B2 (en) Apparatus and method for detecting blood flow
US8494228B2 (en) Personal authentication method using subcutaneous bloodstream measurement and personal authentication device
US6816605B2 (en) Methods and systems for biometric identification of individuals using linear optical spectroscopy
US10869623B2 (en) Non-invasive optical measurement of blood analyte
US10192095B2 (en) System and method for fingerprint validation
JP6956737B2 (ja) アイデンティティ検証のための光コヒーレンストモグラフィ
Auksorius et al. Fast subsurface fingerprint imaging with full-field optical coherence tomography system equipped with a silicon camera
KR102570637B1 (ko) 지정맥 인식 장치 및 지정맥 인식 방법
KR20160051472A (ko) 스페클을 이용한 인증 장치, 이를 포함하는 인증 시스템 및 스페클을 이용한 인증 방법
US20160018327A1 (en) Differential OCT Analysis System
US11382537B2 (en) Spoof detection for biometric validation
KR101662624B1 (ko) 광간섭 단층 지문 인증 시스템 및 이를 이용한 사용자 인증 방법
BRPI0812505B1 (pt) Sistema biométrico, método para coletar uma imagem biométrica
CN106815554B (zh) 内指纹快速成像和生物识别系统和方法
JP3775063B2 (ja) 個人識別方法および装置
CN109247911B (zh) 一种手指多模态特征同步采集系统
KR102114045B1 (ko) 생체정보를 이용한 사용자 인증 장치
KR101417663B1 (ko) 저 결맞음 간섭계 기반 지문 인식 프로브 및 그를 구비한 지문 인식 장치
KR101780231B1 (ko) 광 간섭 단층 촬영 장치 기반의 지문 인식 장치 및 방법
US10548520B2 (en) Non-invasive optical measurement of blood analyte
JP6756863B2 (ja) 眼科検査システム
KR20160057846A (ko) 빛의 가간섭성을 이용한 지문 인증 장치 및 이를 이용한 사용자 인증 방법
KR102155271B1 (ko) 홀로그래픽 머신비전 장치를 이용한 비 절제 생검 시스템
JP2017012519A (ja) 眼科検査装置及び眼科検査システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4