KR102317209B1

KR102317209B1 - 지문 분리 장치 및 방법

Info

Publication number: KR102317209B1
Application number: KR1020190165985A
Authority: KR
Inventors: 이병호; 조재범; 유동헌; 이병효
Original assignee: 서울대학교산학협력단
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-10-25
Also published as: KR20210074866A

Abstract

본 발명의 일 실시예에 따른 지문 분리 방법은 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득하는 단계; 상기 영상의 상기 제2 지문과 겹치지 않은 상기 제1 지문에 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 상기 영상의 상기 제1 지문과 겹치지 않은 상기 제2 지문에 해당하는 영역에서 복수의 제2 픽셀들을 선택하는 단계; 상기 영상으로부터 상기 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하는 단계; 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성하는 단계; 상기 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하는 단계; 및 상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계;를 포함한다.

Description

지문 분리 장치 및 방법{Apparatus and method for separating fingerprint}

본 발명의 실시예들은 기계 학습을 이용한 지문 분리 장치 및 방법에 관한 것이다.

일반적으로 개인의 신원을 확인하기 위하여 지문을 확보하고 분석하는 기술이 이용된다. 특히, 범죄 현장에서 채취된 지문을 증거로 용이하게 사용될 수 있다. 다만, 채취된 지문들이 겹쳐있는 경우, 이를 분리할 필요가 있다.

겹쳐진 지문들을 분리하기 위한 기술로서, 가시광선 대역에서 촬영한 영상에서 각 지문의 융선이 가지는 방향에 기초하여 겹쳐진 지문들을 분리하는 기술, 겹쳐진 지문들에 고출력 레이저를 조사하여 다양한 파장 대역 별로 검출되는 지문들의 형광 세기에 기초하여 겹쳐진 지문들을 분리하는 기술, 질량 분석법을 통해 획득된 겹쳐진 지문들의 스펙트럼들에 기초하여 겹쳐진 지문들을 분리하는 기술 등이 사용되고 있다.

각 지문의 융선이 가지는 방향에 기초하는 기술은, 지문들의 겹쳐지지 않은 융선이 가지는 방향 성분에 기초하여 겹쳐진 융선들이 가지는 방향 성분들을 분리하는 기술로서, 겹쳐진 융선들이 가지는 방향이 모호한 경우에는 겹쳐진 지문들이 정확하게 분리될 수 없다.

레이저를 조사하여 지문들의 형광 세기에 기초하는 기술은, 겹쳐진 지문들이 시간 차이를 두고 형성된 경우에 한하여 유효하므로 사용이 제한적이다.

질량 분석법을 통해 획득된 겹쳐진 지문들의 스펙트럼들에 기초하는 기술은, 겹쳐진 지문들의 샘플을 이온화시키는 과정에서 샘플을 손상시킬 수 있다.

본 발명의 실시예들은 지문의 화학적인 성분에 기초하여 보다 정확하고 반복 가능한 지문 분리 장치 및 방법을 제공하고자 한다.

본 실시예에서, 상기 영상은 푸리에-변환 적외선 현미경에 의해 촬영된 적외선 흡광도 영상일 수 있다.

본 실시예에서, 상기 적외선 흡광도 영상은 각기 다른 파장의 복수의 적외선들에 의해 촬영된 복수의 적외선 흡광도 영상들일 수 있다.

본 실시예에서, 상기 학습 모델을 생성하는 단계는, 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는 단계일 수 있다.

본 실시예에서, 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계는, 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 복수의 제3 흡광도 데이터들을 상기 제1 라벨 또는 상기 제2 라벨로 라벨링하는 단계; 및 상기 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제1 지문으로 구별하고, 상기 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제2 지문으로 구별하는 단계;를 포함할 수 있다.

본 실시예에서, 상기 기계 학습은 CNN(Convolutional Neural Network) 알고리즘에 의할 수 있다.

본 실시예에서, 상기 영상의 상기 제1 지문 및 상기 제2 지문에 해당하지 않는 영역에서 복수의 제4 픽셀들을 선택하는 단계; 및 상기 영상으로부터 상기 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터를 추출하는 단계;를 더 포함하고, 상기 학습 모델을 생성하는 단계는, 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들, 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들, 및 상기 복수의 제4 픽셀들 각각의 상기 복수의 제4 흡광도 데이터들을 기계 학습하여 픽셀이 지문에 속하는지 여부를 판별하는 학습 모델을 생성하는 단계이고, 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계는, 상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지, 상기 제2 지문에 속하는지, 또는 상기 제1 지문 및 상기 제2 지문에 속하지 않는지 구별하는 단계일 수 있다.

본 실시예에서, 상기 학습 모델을 생성하는 단계는, 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하고, 상기 복수의 제4 흡광도 데이터들을 제3 레벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는 단계일 수 있다.

본 발명의 일 실시예에 따른 지문 분리 장치는 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득하는 영상 획득 모듈; 상기 영상의 상기 제2 지문과 겹치지 않은 상기 제1 지문에 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 상기 영상의 상기 제1 지문과 겹치지 않은 상기 제2 지문에 해당하는 영역에서 복수의 제2 픽셀들을 선택하고, 상기 영상으로부터 상기 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하고, 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성하는 기계 학습 모듈; 및 상기 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하고, 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 지문 분류 모듈;을 포함한다.

본 실시예에서, 상기 기계 학습 모듈은 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성할 수 있다.

본 실시예에서, 상기 지문 분류 모듈은 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 복수의 제3 흡광도 데이터들을 상기 제1 라벨 또는 상기 제2 라벨로 라벨링하고, 상기 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제1 지문으로 구별하고, 상기 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제2 지문으로 구별할 수 있다.

본 실시예에서, 상기 기계 학습 모듈은 CNN(Convolutional Neural Network) 알고리즘에 의해 상기 학습 모델을 생성할 수 있다.

본 실시예에서, 상기 기계 학습 모듈은 상기 영상의 상기 제1 지문 및 상기 제2 지문에 해당하지 않는 영역에서 복수의 제4 픽셀들을 선택하고, 상기 영상으로부터 상기 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터를 추출하고, 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들, 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들, 및 상기 복수의 제4 픽셀들 각각의 상기 복수의 제4 흡광도 데이터들을 기계 학습하여 픽셀이 지문에 속하는지 여부를 판별하는 학습 모델을 생성하고, 상기 지문 분류 모듈은 상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지, 상기 제2 지문에 속하는지, 또는 상기 제1 지문 및 상기 제2 지문에 속하지 않는지 구별할 수 있다.

본 실시예에서, 상기 기계 학습 모듈은 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하고, 상기 복수의 제4 흡광도 데이터들을 제3 레벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성할 수 있다.

본 발명의 실시예들에 따르면, 겹쳐진 지문들의 샘플이 손상될 염려가 없고, 겹쳐진 지문들이 형성된 시간 차이와 무관하게 겹쳐진 지문들을 분리할 수 있고, 보다 신뢰도가 높은 결과를 획득하는 지문 분리 장치 및 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 지문 분리 장치의 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 복수의 적외선 흡광도 영상들을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 복수의 제1 픽셀들의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들의 복수의 제2 흡광도 데이터들을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 기계 학습을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 지문 분리 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 학습 모델 생성 및 적용 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 지문 분리 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 학습 모델 생성 및 적용 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 지문 분리 장치(100)의 구조를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 지문 분리 장치(100)는 영상 획득 모듈(110), 기계 학습 모듈(130), 및 지문 분류 모듈(150)을 포함한다.

영상 획득 모듈(110)은 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득한다.

도 2는 본 발명의 일 실시예에 따른 적어도 일부가 겹쳐진 제1 지문(21) 및 제2 지문(22)이 촬영된 영상(20)을 설명하기 위한 도면이다.

도 2를 참조하면, 적어도 일부가 겹쳐진 제1 지문(21)과 제2 지문(22)이 촬영된 영상(20)이 획득될 수 있다. 제1 지문(21)과 제2 지문(22)은 시간 차이를 두지 않고 생성될 수도 있고, 시간 차이를 두고 생성될 수도 있다.

보다 정확한 지문 인식을 위하여 제1 지문(21)과 제2 지문(22)을 분리할 필요가 있으며, 제1 지문(21)과 제2 지문(22)이 겹쳐진 영역의 모든 픽셀들 각각에 대하여 제1 지문(21)에 속하는지, 제2 지문(22)에 속하는지, 또는 제1 지문(21) 및 제2 지문(22) 모두에 속하지 않는지 여부를 판단함으로써 제1 지문(21)과 제2 지문(22)을 분리할 수 있다.

다시 도 1을 참조하면, 영상은 푸리에-변환 적외선(Fourier-transform infrared, FTIR) 현미경에 의해 촬영된 적외선 흡광도 영상일 수 있다.

적외선 흡광도 영상은 복수일 수 있으며, 복수의 적외선 흡광도 영상들은 각기 다른 파장의 복수의 적외선들에 의해 촬영된 영상들일 수 있다.

도 3은 본 발명의 일 실시예에 따른 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 복수의 적외선 흡광도 영상들을 설명하기 위한 도면이다.

도 3을 참조하면, 푸리에-변환 적외선 현미경에 의해 Nλ개의 적외선 흡광도 영상들이 촬영될 수 있다. Nλ개의 적외선 흡광도 영상들의 동일한 위치의 픽셀들은 각기 다른 흡광도 스펙트럼을 가질 수 있다.

예를 들어, 51개의 적외선 흡광도 영상들이 촬영될 수 있다.

흡광도 스펙트럼은 해당 픽셀의 각 파장에서의 적외선 흡광도의 총합을 나타낼 수 있다. 한편, 흡광도 스펙트럼은 해당 픽셀의 각 파장에서의 적외선 반사도의 총합을 나타내는 반사도 스펙트럼일 수도 있으며, 이에 한정하지 않는다.

다시 도 1을 참조하면, 기계 학습 모듈(130)은 영상의 제2 지문과 겹치지 않은 제1 지문에 해당하는 영역 즉, 제1 지문에만 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 영상의 제1 지문과 겹치지 않은 제2 지문에 해당하는 영역 즉, 제2 지문에만 해당하는 영역에서 복수의 제2 픽셀들을 선택하고, 영상으로부터 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하고, 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성한다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 복수의 제1 픽셀들의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들의 복수의 제2 흡광도 데이터들을 설명하기 위한 도면이다.

도 4a를 참조하면, 기계 학습 모듈(130)은 영상(40)의 제1 지문에만 해당하는 영역(410)과 제2 지문에만 해당하는 영역(420)을 구별할 수 있다.

한편, 기계 학습 모듈(130)은 영상(40)의 제1 지문 및 제2 지문에 해당하지 않는 영역(440)을 더 구별할 수 있다.

제1 지문에만 해당하는 영역(410)에 포함된 픽셀을 제1 픽셀(411p)이라 하고, 제2 지문에만 해당하는 영역(420)에 포함된 픽셀을 제2 픽셀(421p)이라 한다.

한편, 제1 지문 및 제2 지문에 해당하지 않는 영역(440)에 포함된 픽셀을 제4 픽셀(441p)라 한다.

기계 학습 모듈(130)은 소정 개수의 제1 픽셀(411p)들, 제2 픽셀(421p)들, 제4 픽셀(441p)들을 선택할 수 있다. 한편, 기계 학습 모듈(130)은 모든 제1 픽셀(411p)들, 제2 픽셀(421p)들, 제4 픽셀(441p)들을 선택할 수도 있다.

도 4b를 참조하면, 기계 학습 모듈(130)은 영상(40)으로부터 제1 픽셀(411p)의 제1 흡광도 스펙트럼(411s) 및 제2 픽셀(421p)의 제2 흡광도 스펙트럼(421s)를 추출할 수 있다.

한편, 기계 학습 모듈(130)은 영상(40)으로부터 제4 픽셀(441p)의 제4 흡광도 스펙트럼(미도시)을 더 추출할 수 있다.

제1 흡광도 스펙트럼(411s)은 Nλ개의 적외선 흡광도 영상들로부터 추출한 제1 픽셀(411p)의 Nλ개의 흡광도 데이터들의 데이터셋을 가리키고, 제2 흡광도 스펙트럼(421s)은 Nλ개의 적외선 흡광도 영상들로부터 추출한 제2 픽셀(421p)의 Nλ개의 흡광도 데이터들의 데이터셋을 가리킬 수 있다.

제4 흡광도 스펙트럼(미도시)은 Nλ개의 적외선 흡광도 영상들로부터 추출한 제4 픽셀(441p)의 Nλ개의 흡광도 데이터들의 데이터셋을 가리킬 수 있다.

다시 도 1을 참조하면, 기계 학습 모듈(130)은 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 CNN(Convolutional Neural Network) 알고리즘의 입력 데이터로 하여 기계 학습을 수행함으로써, 복수의 제1 픽셀들 및 복수의 제2 픽셀들 각각이 속한 지문을 판별하는 학습 모델을 생성할 수 있다.

예를 들어, 기계 학습 모듈(130)은 80개의 제1 픽셀들의 80X51개의 제1 흡광도 데이터들 및 80개의 제2 픽셀들의 80X51개의 제2 흡광도 데이터들을 CNN 알고리즘의 입력 데이터로 하여 기계 학습을 수행할 수 있다.

상세하게는, 기계 학습 모듈(130)은 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하는 기계 학습을 수행할 수 있다.

한편, 기계 학습 모듈(130)은 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들, 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들, 및 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터들을 CNN 알고리즘의 입력 데이터로 하여 기계 학습을 수행함으로써, 복수의 제1 픽셀들이 제1 지문에 속하고, 복수의 제2 픽셀들이 제2 지문에 속하고, 복수의 제4 픽셀들이 제1 지문 및 제2 지문에 속하지 않음을 판별하는 학습 모델을 생성할 수 있다.

상세하게는, 기계 학습 모듈(130)은 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하고, 복수의 제4 흡광도 데이터들을 제3 라벨로 라벨링하는 기계 학습을 수행할 수 있다. 이하에서, 도 5를 참조하여, 복수의 제1, 제2, 및 제4 흡광도 데이터들을 제1, 제2, 및 제3 라벨로 라벨링하는 기계 학습의 방법을 설명한다.

도 5는 본 발명의 일 실시예에 따른 기계 학습을 설명하기 위한 도면이다.

도 5를 참조하면, 예를 들어, 제4 픽셀의 51개의 제4 흡광도 데이터들을 입력 데이터로 1차원 합성곱 연산이 복수 회 수행될 수 있다.

이때, 1차원 합성곱 연산(1D Convolution)을 위한 파라미터는 (합성곱 함수 넓이(Kernel width), 합성곱 함수 간격(Strides), 결과 채널 수(Filter), 활성 함수(Activation function), 패딩 (Padding))으로 정의될 수 있다.

합성곱 함수 넓이, 합성곱 함수 간격, 결과 채널 수는 변경될 수 있다.

패딩은 입력 데이터의 벡터 길이와 출력 데이터의 벡터 길이가 같아야 하는 경우에는 SAME 벡터 양 옆에 0 값을 추가하고, 그렇지 않은 경우에는 SAME 벡터 양 옆에 0 값을 추가하지 않는다.

1차원 합성곱 연산이 완료되면, 선행 행령 연산인 Fully connected 연산이 수행될 수 있다.

기계 학습의 출력 데이터는 라벨 데이터로서 예를 들어, 제4 픽셀의 제4 흡광도 데이터들에 대하여 제3 라벨로 라벨링되는 결과일 수 있다.

다시 도 1을 참조하면, 지문 분류 모듈(150)은 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하고, 복수의 제3 흡광도 데이터들을 학습 모델에 입력하여 전체 픽셀들이 각각 제1 지문에 속하는지 제2 지문에 속하는지 구별한다.

다시 도 4a를 참조하면, 지문 분류 모듈(150)은 제1 지문에만 해당하는 영역(410)에 포함된 픽셀을 제1 픽셀(411p), 제2 지문에만 해당하는 영역(420)에 포함된 픽셀을 제2 픽셀(421p), 제1 지문 및 제2 지문이 겹쳐진 영역(430)에 포함된 픽셀을 제3 픽셀(431p), 및 제1 지문 및 제2 지문에 해당하지 않는 영역(440)에 포함된 픽셀을 제4 픽셀(441p)을 포함하는 전체 픽셀들을 선택할 수 있다.

다시 도 1을 참조하면, 지문 분류 모듈(150)은 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출할 수 있다.

지문 분류 모듈(150)은 기계 학습 모듈(130)에 의해 생성된 학습 모델에 복수의 제3 흡광도 데이터들을 입력하여 전체 픽셀들이 각각 제1 지문에 속하는지 제2 지문에 속하는지 구별할 수 있다.

예를 들어, 지문 분류 모듈(150)은 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 학습 모델에 입력하여 복수의 제3 흡광도 데이터들을 제1 라벨 또는 제2 라벨로 라벨링하는 결과를 출력하고, 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문으로 구별하고, 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제2 지문으로 구별할 수 있다.

한편, 지문 분류 모듈(150)은 기계 학습 모듈(130)에 의해 생성된 학습 모델에 복수의 제3 흡광도 데이터들을 입력하여 전체 픽셀들이 각각 제1 지문에 속하는지, 제2 지문에 속하는지, 또는 제1 지문 및 제2 지문에 속하지 않는지 구별할 수 있다.

예를 들어, 지문 분류 모듈(150)은 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 학습 모델에 입력하여 복수의 제3 흡광도 데이터들을 제1 라벨, 제2 라벨, 또는 제3 라벨로 라벨링하는 결과를 출력하고, 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문으로 구별하고, 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제2 지문으로 구별하고, 제3 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문 및 제2 지문 이외의 지문 또는 배경으로 구별할 수 있다.

도 6은 본 발명의 일 실시예에 따른 지문 분리 방법을 설명하기 위한 흐름도이다.

도 7은 본 발명의 일 실시예에 따른 학습 모델 생성 및 적용 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 영상 획득 모듈(110)은 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득한다(S601).

영상은 푸리에-변환 적외선 현미경에 의해 각기 다른 파장의 복수의 적외선들이 이용되어 촬영된 복수의 적외선 흡광도 영상들일 수 있다.

이어서, 기계 학습 모듈(130)은 영상의 제1 지문에만 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 영상의 제2 지문에만 해당하는 영역에서 복수의 제2 픽셀들을 선택한다(S603).

복수의 제1 픽셀들은 제1 지문에만 해당하는 영역에 포함된 전체 제1 픽셀들 중 일부일 수도 있고, 전부일 수도 있다.

복수의 제2 픽셀들은 제2 지문에만 해당하는 영역에 포함된 전체 제2 픽셀들 중 일부일 수도 있고, 전부일 수도 있다.

기계 학습 모듈(130)은 영상으로부터 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하고(S605), 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성한다(S607).

예를 들어, 도 7과 같이 기계 학습 모듈(130)은 CNN 알고리즘으로 기계 학습을 수행하여 제1 지문에만 해당하는 영역의 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들에 제1 라벨을 라벨링하고, 제2 지문에만 해당하는 영역의 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들에 제2 라벨을 라벨링함으로써 학습 모델을 생성할 수 있다.

이어서, 지문 분류 모듈(150)은 영상으로부터 전체 제3 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하고(S609), 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 학습 모델에 입력하여 전체 픽셀들이 속하는 지문을 구별한다(S611).

예를 들어, 도 7과 같이 지문 분류 모듈(150)은 영상의 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 기계 학습 모듈(130)에 의해 생성된 학습 모델에 입력하여, 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들의 라벨링 결과를 획득할 수 있다.

이때, 지문 분류 모듈(150)은 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문으로 구별하고, 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제2 지문으로 구별할 수 있다.

본 실시예들에 따르면, 적외선 대역으로 영상을 촬영하기 때문에 겹쳐진 지문들의 샘플이 손상될 염려가 없고, 기계 학습에 기초하기 때문에 겹쳐진 지문들이 형성된 시간 차이와 상관 없이 정확하게 겹쳐진 지문들을 분리할 수 있고, 지문의 화학적인 성분을 나타내는 흡광도 데이터를 이용하기 때문에 보다 신뢰도가 높은 결과를 획득할 수 있다.

이하에서는, 앞서 도 6 및 도 7을 참조하여 설명한 부분과 동일한 부분에 대한 설명은 생략하거나 간략히 한다.

도 8은 본 발명의 일 실시예에 따른 지문 분리 방법을 설명하기 위한 흐름도이다.

도 9는 본 발명의 일 실시예에 따른 학습 모델 생성 및 적용 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 영상 획득 모듈(110)은 적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득한다(S801).

이어서, 기계 학습 모듈(130)은 영상의 제1 지문에만 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 영상의 제2 지문에만 해당하는 영역에서 복수의 제2 픽셀들을 선택하고, 제1 지문 및 제2 지문에 해당하지 않는 영역에서 복수의 제4 픽셀들을 선택한다(S803).

복수의 제4 픽셀들은 제1 지문 및 제2 지문에 해당하지 않는 영역에 포함된 전체 제4 픽셀들 중 일부일 수도 있고, 전부일 수도 있다.

기계 학습 모듈(130)은 영상으로부터 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들, 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들, 및 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터들을 추출하고(S805), 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들, 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들, 및 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터들을 기계 학습하여 픽셀이 지문에 속하는지 여부를 판별하는 학습 모델을 생성한다(S807).

예를 들어, 도 9와 같이 기계 학습 모듈(130)은 CNN 알고리즘으로 기계 학습을 수행하여 제1 지문에만 해당하는 영역의 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들에 제1 라벨을 라벨링하고, 제2 지문에만 해당하는 영역의 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들에 제2 라벨을 라벨링하고, 제1 지문 및 제2 지문에 해당하지 않는 영역의 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터들에 제3 라벨을 라벨링함으로써 학습 모델을 생성할 수 있다.

이어서, 지문 분류 모듈(150)은 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하고(S809), 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 학습 모델에 입력하여 전체 픽셀들이 속하는 지문을 구별하거나 지문에 속하는지 여부를 구별한다(S811).

예를 들어, 도 9와 같이 지문 분류 모듈(150)은 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 기계 학습 모듈(130)에 의해 생성된 학습 모델에 입력하여, 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들의 라벨링 결과를 획득할 수 있다.

이때, 지문 분류 모듈(150)은 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문으로 구별하고, 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제2 지문으로 구별하고, 제3 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 제1 지문 및 제2 지문이 아닌 것으로 구별할 수 있다.

본 실시예들에 따르면, 겹쳐진 지문들을 지문으로 분류할 수 있을 뿐만 아니라 지문 이외의 영역으로도 분류할 수 있으므로, 보다 정확한 지문 분리가 가능하다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

100: 지문 분리 장치
110: 영상 획득 모듈
130: 기계 학습 모듈
150: 지문 분류 모듈

Claims

적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득하는 단계;
상기 영상의 상기 제2 지문과 겹치지 않은 상기 제1 지문에 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 상기 영상의 상기 제1 지문과 겹치지 않은 상기 제2 지문에 해당하는 영역에서 복수의 제2 픽셀들을 선택하는 단계;
상기 영상으로부터 상기 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하는 단계;
상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성하는 단계;
상기 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하는 단계; 및
상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계;를 포함하고,
상기 영상은 푸리에-변환 적외선 현미경에 의해 촬영된 적외선 흡광도 영상이며, 상기 적외선 흡광도 영상은 각기 다른 파장의 복수의 적외선들에 의해 촬영된 복수의 적외선 흡광도 영상들인, 지문 분리 방법.
삭제
삭제
청구항 1에 있어서,
상기 학습 모델을 생성하는 단계는,
상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는 단계인, 지문 분리 방법.
청구항 4에 있어서,
상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계는,
상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 복수의 제3 흡광도 데이터들을 상기 제1 라벨 또는 상기 제2 라벨로 라벨링하는 단계; 및
상기 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제1 지문으로 구별하고, 상기 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제2 지문으로 구별하는 단계;를 포함하는, 지문 분리 방법.
청구항 1에 있어서,
상기 기계 학습은 CNN(Convolutional Neural Network) 알고리즘에 의하는, 지문 분리 방법.
청구항 1에 있어서,
상기 영상의 상기 제1 지문 및 상기 제2 지문에 해당하지 않는 영역에서 복수의 제4 픽셀들을 선택하는 단계; 및
상기 영상으로부터 상기 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터를 추출하는 단계;를 더 포함하고,
상기 학습 모델을 생성하는 단계는,
상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들, 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들, 및 상기 복수의 제4 픽셀들 각각의 상기 복수의 제4 흡광도 데이터들을 기계 학습하여 픽셀이 지문에 속하는지 여부를 판별하는 학습 모델을 생성하는 단계이고,
상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 단계는,
상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지, 상기 제2 지문에 속하는지, 또는 상기 제1 지문 및 상기 제2 지문에 속하지 않는지 구별하는 단계인, 지문 분리 방법.
청구항 7에 있어서,
상기 학습 모델을 생성하는 단계는,
상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하고, 상기 복수의 제4 흡광도 데이터들을 제3 레벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는 단계인, 지문 분리 방법.
적어도 일부가 겹쳐진 제1 지문 및 제2 지문이 촬영된 영상을 획득하는 영상 획득 모듈;
상기 영상의 상기 제2 지문과 겹치지 않은 상기 제1 지문에 해당하는 영역에서 복수의 제1 픽셀들을 선택하고, 상기 영상의 상기 제1 지문과 겹치지 않은 상기 제2 지문에 해당하는 영역에서 복수의 제2 픽셀들을 선택하고, 상기 영상으로부터 상기 복수의 제1 픽셀들 각각의 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 복수의 제2 흡광도 데이터들을 추출하고, 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들 및 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들을 기계 학습하여 픽셀이 속하는 지문을 판별하는 학습 모델을 생성하는 기계 학습 모듈; 및
상기 영상으로부터 전체 픽셀들 각각의 복수의 제3 흡광도 데이터들을 추출하고, 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지 상기 제2 지문에 속하는지 구별하는 지문 분류 모듈;을 포함하고,
상기 영상은 푸리에-변환 적외선 현미경에 의해 촬영된 적외선 흡광도 영상이며, 상기 적외선 흡광도 영상은 각기 다른 파장의 복수의 적외선들에 의해 촬영된 복수의 적외선 흡광도 영상들인, 지문 분리 장치.
삭제
삭제
청구항 9에 있어서,
상기 기계 학습 모듈은 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는, 지문 분리 장치.
청구항 12에 있어서,
상기 지문 분류 모듈은 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 복수의 제3 흡광도 데이터들을 상기 제1 라벨 또는 상기 제2 라벨로 라벨링하고, 상기 제1 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제1 지문으로 구별하고, 상기 제2 라벨로 라벨링된 복수의 제3 흡광도 데이터들에 대응하는 픽셀을 상기 제2 지문으로 구별하는, 지문 분리 장치.
청구항 9에 있어서,
상기 기계 학습 모듈은 CNN(Convolutional Neural Network) 알고리즘에 의해 상기 학습 모델을 생성하는, 지문 분리 장치.
청구항 9에 있어서,
상기 기계 학습 모듈은 상기 영상의 상기 제1 지문 및 상기 제2 지문에 해당하지 않는 영역에서 복수의 제4 픽셀들을 선택하고, 상기 영상으로부터 상기 복수의 제4 픽셀들 각각의 복수의 제4 흡광도 데이터를 추출하고, 상기 복수의 제1 픽셀들 각각의 상기 복수의 제1 흡광도 데이터들, 상기 복수의 제2 픽셀들 각각의 상기 복수의 제2 흡광도 데이터들, 및 상기 복수의 제4 픽셀들 각각의 상기 복수의 제4 흡광도 데이터들을 기계 학습하여 픽셀이 지문에 속하는지 여부를 판별하는 학습 모델을 생성하고,
상기 지문 분류 모듈은 상기 전체 픽셀들 각각의 상기 복수의 제3 흡광도 데이터들을 상기 학습 모델에 입력하여 상기 전체 픽셀들이 각각 상기 제1 지문에 속하는지, 상기 제2 지문에 속하는지, 또는 상기 제1 지문 및 상기 제2 지문에 속하지 않는지 구별하는, 지문 분리 장치.
청구항 15에 있어서,
상기 기계 학습 모듈은 상기 복수의 제1 흡광도 데이터들을 제1 라벨로 라벨링하고, 상기 복수의 제2 흡광도 데이터들을 제2 라벨로 라벨링하고, 상기 복수의 제4 흡광도 데이터들을 제3 레벨로 라벨링하는 기계 학습을 수행하여 상기 학습 모델을 생성하는, 지문 분리 장치.