KR102570081B1 - 딥러닝 알고리즘을 이용하여 지문중첩영상에서 지문을 분리하는 방법 및 그 장치 - Google Patents

Abstract

딥러닝 알고리즘을 이용하여 지문중첩영상에서 지문을 분리하는 방법 및 그 장치가 개시된다. 지문분리장치는 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 통해 적어도 둘 이상의 지문이 중첩된 지문중첩영상에서 검출대상지문을 분리하여 지문분리영상을 획득하고, 지문중첩영상에서 복수의 지문이 중첩된 관심영역을 관심영역에 대응하는 지문분리영상의 영역으로 대체한 대체영상을 생성하고, 배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 통해 대체영상에서 배경과 검출대상지문을 분리하여 출력한다.

Description

딥러닝 알고리즘을 이용하여 지문중첩영상에서 지문을 분리하는 방법 및 그 장치{Method for separating fingerprint from overlapped fingerprint image using deep learning algorithm, and apparatus therefor}

본 발명의 실시 예는 복수의 지문이 겹쳐진 지문중첩영상에서 지문을 분리하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 딥러닝 알고리즘의 여러 개의 체크포인트를 이용하여 지문을 분리하는 방법 및 그 장치에 관한 것이다.

겹친 유류 지문은 종종 범죄 현장에서 발견되지만, 이를 법정 증거로써 사용하기 위해서는 각 유류 지문에 해당하는 영상을 겹친 영상에서 분리해야 한다. 겹친 지문을 분리하기 위한 종래 다양한 기술이 존재한다. 가시광선 대역에서 찍은 사진을 기반으로 각 유류 지문의 융선이 가진 방향을 통해 추측하여 겹친 부분에 섞인 각 유류 지문의 다른 방향의 융선들을 분리해내는 기술, 겹친 유류 지문을 큰 파워의 레이저로 조사한 후 다양한 파장 대역별 지문의 형광 세기를 검출하고 이를 바탕으로 분리하는 기술, 겹친 유류 지문의 표본을 질량 분석법을 통해 분석한 후 얻어진 스펙트럼을 기반으로 분리하는 기술 등이 존재한다. 그러나 융선의 방향 필드(orientation field)를 이용한 겹친 유류 지문 영상 분리 기술의 경우 겹쳐진 부분에서의 융선 방향에 모호한 특징점이 존재하거나 방향이 겹친 경우 분리결과가 좋지 못하다는 단점이 존재한다. 형광 세기를 바탕으로 분리하는 기술은 시간 차이를 두고 찍은 샘플에 대해서만 분리가 가능하며 특정 파장 대역에서 형광 세기가 피크를 보이므로 측정 후 별도의 관찰을 통한 추측을 기반으로 하므로 사용처가 제한적이다. 질량 분석법을 통해 겹친 지문을 분리하는 기술은 표본을 이온화시키는 과정에서 표본을 손상시킨다는 단점을 안고 있다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 딥러닝 알고리즘을 이용하여 중첩된 지문을 분리하는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 지문분리방법의 일 예는, 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 통해 적어도 둘 이상의 지문이 중첩된 지문중첩영상에서 검출대상지문을 분리하여 지문분리영상을 획득하는 단계; 상기 지문중첩영상에서 복수의 지문이 중첩된 관심영역을 상기 관심영역에 대응하는 상기 지문분리영상의 영역으로 대체한 대체영상을 생성하는 단계; 및 배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 통해 상기 대체영상에서 배경과 상기 검출대상지문을 분리하여 출력하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 지문분리장치의 일 예는, 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 통해 적어도 둘 이상의 지문이 중첩된 지문중첩영상에서 검출대상지문을 분리하여 지문분리영상을 획득하는 지문분리부; 상기 지문중첩영상에서 지문이 중첩된 관심영역을 상기 관심영역에 대응하는 상기 지문분리영상의 영역으로 대체한 대체영상을 생성하는 관심영역설정부; 및 배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 통해 상기 대체영상에서 배경과 상기 검출대상지문을 분리하여 출력하는 지문출력부;를 포함한다.

본 발명의 실시 예에 따르면, 딥러닝 알고리즘의 여러 체크포인트를 이용하여 지문 분리 성능을 향상시킬 수 있다. 또한 범죄 현장에서 얻어진 유류 지문을 빠르게 현장에서 바로 복원할 수 있어, 초동수사를 빠르게 진행할 수 있는 장점이 있다. 증거로 채택되지는 않지만 수사에 도움이 되는 거짓말 탐지기와 같이 본 발명으로 복원된 결과가 증거로 채택이 어려워도 초등수사에 도움이 될 수 있으며, 복원된 결과는 후에 공인된 사람이 최종적으로 검증하는 과정을 거쳐 증거로도 채택이 가능할 수 있다. 본 발명을 통하여 기존 딥러닝 알고리즘을 활용한 지문 분리에 비해 개선된 목표 지문 이미지를 얻을 수 있으며, 불필요하거나 잘못된 지문 정보를 줄여 초동수사의 혼선을 줄일 수 있다.

도 1은 본 발명의 실시 예에 따른 지문분리장치의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 지문분리방법의 일 예를 도시한 흐름도,
도 3 및 도 4는 본 발명의 실시 예에 다른 지문분리방법을 도식화하여 표시한 도면,
도 5는 본 발명의 실시 예에 따른 딥러닝 네트워크의 일 예를 도시한 도면,
도 6 및 도 7은 본 발명의 실시 예에 따른 딥러닝 네트워크를 위한 학습데이터의 생성 방법의 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 딥러닝 네트워크를 위한 학습데이터의 전처리 과정의 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따라 지문유형별 체크포인트를 생성하는 방법의일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 지문분리결과의 일 예를 도식화하여 표현한 도면, 그리고,
도 11은 본 발명의 실시 예에 따른 지문분리장치의 일 예의 구성을 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 지문분리방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 지문분리장치의 일 예를 도시한 도면이다.

도 1을 참조하면, 지문분리장치(100)는 적어도 둘 이상의 지문이 중첩된 지문중첩영상을 입력받으면 딥러닝 알고리즘을 이용하여 검출대상지문을 분리하여 출력한다. 여기서, 지문중첩영상은 배경영상에 적어도 둘 이상의 유류 지문의 일부 또는 전체가 서로 중첩되어 있는 영상을 의미한다. 예를 들어, 지문중첩영상은 범죄현장 등에서 물건에 존재하는 유류 지문을 카메라 등을 통해 촬영한 후 소정의 전처리 과정을 통해 얻어진 영상일 수 있다.

지문중첩영상에서 원하는 검출대상지문을 분리하기 위해서는 겹쳐진 지문의 분리와 배경의 분리가 필요하다. 그러나 하나의 딥러닝 알고리즘으로 겹친 지문과 배경 이미지를 모두 한 번에 제거하는 경우 복잡한 형상의 배경이나 분리의 난이도 등에 따라 복잡도가 증가하여 검출대상지문의 분리 결과가 정확하지 않은 문제점이 존재한다.

이에 본 실시 예는 겹쳐진 지문의 분리에 특화된 제1 딥러닝 네트워크와 배경과 지문의 분리에 특화된 제2 딥러닝 네크워크를 이용한 지문 분리 방법을 제시한다. 다시 말해, 딥러닝 네트워크는 딥러닝 네트워크 구조, 딥러닝 학습 에포크(epich), 학습데이터 등에 따라 지문 분리의 성능에 차이가 발생하므로, 본 실시 예는 겹쳐된 지분 분리에 성능이 우수한 딥러닝 네트워크의 제1 체크포인트와 배경과 지문의 분리에 성능이 우수한 딥러닝 네트워크의 제2 체크포인트를 각각 불러와 제1 딥러닝 네트워크 및 제2 딥러닝 네트워크를 설정한 후 이들 딥러닝 네트워크를 통해 지문을 분리하는 방법을 제시한다.

도 2는 본 발명의 실시 예에 따른 지문분리방법의 일 예를 도시한 흐름도이다.

도 2를 참조하면, 지문분리장치(100)는 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 이용하여 지문중첩영상에서 검출대상지문을 1차 분리한다(S200). 예를 들어, 지문분리장치(100)는 중첩된 지문을 분리하도록 학습된 딥러닝 네트워크의 제1 체크포인트를 로딩하여 제1 딥러닝 네크워크를 설정할 수 있다. 여기서 체크포인트는 학습 과정의 특정 시점의 딥러닝 네트워크의 각종 파라메터나 변수값 등 딥러닝 네트워크를 정의하는 데이터이다. 체크포인트를 로딩하면 특정 시점까지 학습된 딥러닝 네트워크의 설정이 가능하다.

제1 딥러닝 네트워크는 지문 유형에 따라 설정될 수 있다. 예를 들어, 도 9와 같이 복수의 지문 유형에 해당하는 복수의 제1 체크포인트가 존재하면, 지문분리장치(100)는 지문중첩영상에서 분리하고자 하는 검출대상지문의 유형에 따른 제1 체크포인트를 로딩하여 제1 딥러닝 네트워크를 설정하여 검출대상지문을 1차 분리한 지문분리영상을 생성할 수 있다. 복수의 지문 유형에 따른 체크포인트에 대해 도 9에서 다시 살펴본다.

지문분리장치(100)는 지문중첩영상에서 지문이 중첩된 영역을 관심영역으로 지정하고, 관심영역을 지문분리영상의 해당 영역으로 대체한다(S210). 예를 들어, 지문분리장치(100)는 도 4와 같이 지문중첩영상(430)에서 두 지문이 겹쳐진 영역을 관심영역(432)으로 지정한 후 해당 관심영역(432)을 1차 분리된 검출대상지문을 포함하는 지문분리영상(420)의 해당영역으로 대체한 대체영상(440)을 생성할 수 있다.

지문분리장치(100)는 배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 이용하여 대체영상에서 검출대상지문을 2차 분리하여 출력한다(S220). 예를 들어, 지문분리장치(100)는 배경과 지문을 분리하도록 학습된 딥러닝 네트워크의 제2 체크포인트를 로딩하여 제2 딥러닝 네크워크를 설정할 수 있다. 딥러닝 네트워크에 앞서 살핀 제1 체크포인트를 로딩하면 제1 딥러닝 네크워크가 설정되고, 제2 체크포인트를 로딩하면 제2 딥러닝 네트워크가 설정된다. 제2 딥러닝 네트워크 또한 제1 딥러닝 네트워크처럼 지문 유형에 따라 설정될 수 있다. 복수의 지문 유형에 따른 제2 체크포인트에 대해서는 도 9에서 다시 살펴본다.

도 3 및 도 4는 본 발명의 실시 예에 다른 지문분리방법을 도식화하여 표시한 도면이다.

도 3 및 도 4를 함께 참조하면, 지문분리장치(100)는 적어도 둘 이상의 지문이 중첩된 지문중첩영상(300,410)을 제1 딥러닝 네트워크(310)에 입력한다. 제1 딥러닝 네트워크(310)는 겹쳐진 지문 분리를 위하여 미리 학습되어 저장된 제1 체크포인트(315)를 로딩하여 설정될 수 있다. 지문분리장치(100)는 제1 딥러닝 네트워크(310)를 통해 검출대상지문(412)을 1차 분리한 지문분리영상(320,420)을 획득한다.

지문분리장치(100)는 지문중첩영상(300,410)에서 복수의 지문이 중첩된 영역을 관심영역(ROI, Region of Intrest)(432)으로 지정하고, 그 관심영역(432)을 제1 딥러닝 네트워크(310)를 통해 획득한 지문분리영상(320,420)의 해당 영역(422)으로 대체한다. 지문분리장치(100)는 관심영역(432)을 사용자로부터 입력받을 수 있는 화면 인터페이스를 제공할 수 있다.

지문분리장치(100)는 관심영역(432)을 지분분리영상(320)의 해당 영역(422)으로 대체한 대체영상(330,440)을 제2 딥러닝 네트워크(340)에 입력한다. 제2 딥러닝 네트워크(340)는 배경과 지문 분리를 위하여 미리 학습되어 저장된 제2 체크포인트(345)를 로딩하여 설정될 수 있다.

지문분리장치(100)는 제2 딥러닝 네트워크(340)를 통해 대체영상(330,440)에서 검출대상지문(412)을 분리하여 출력한다. 다시 말해, 제2 딥러닝 네트워크(340)는 대체영상(330,440)에서 검출대상지문(412)을 제외한 다른 지문 등을 모두 배경으로 파악하여 검출대상지문(412)을 분리한 최종영상(350,450)을 출력한다.

지문분리장치(100)는 지문중첩영상(410)을 전처리 과정을 통해 획득할 수 있다. 도 4를 참조하면, 지문분리장치(100)는 겹쳐된 지문을 촬영한 영상(400)에서 검출대상지문(412)이 기 설정된 방향(예를 들어, 길이 방향 등)이 되도록 영상(400)을 회전하고 또한 단위길이당 픽셀 수가 기 정의된 일정 개수가 되도록 겹쳐진 지문 영역을 크롭(crop)하여 해상도를 맞추어 지문중첩영상(410)을 생성할 수 있다. 일 예로, 지문분리장치(100)는 지문중첩영상(410)을 500ppi(pixles per inches)가 되도록 해상도를 조정할 수 있다. 실제 1인치 크기의 지문이라면 이미지는 500 픽셀 크기가 된다는 의미이다. 스케일이 맞지 않은 영상(400)은 500ppi에 맞게 크기 조절을 하여 사용 가능하다. 이때 지문의 실제 크기를 알아내야 하기 때문에 전치리 과정 이전에 원본 영상(4000에 자 눈금을 통해 1cm거리를 지정해 줄 수 있다. 다른 실시 예로, 검출대상지문(412)에 수직선을 그어 검출대상지문(412)을 지정함과 동시에, 해당 지문의 길이까지 계산하여 해상도를 맞출 수 있다. 원본 영상(400)에 선을 긋는 작업은 사용자에 의해 수작업으로 이루어질 수 있다. 이 경우, 지문분리장치는 수직선에 따라 지문중첩영상(410)을 회전하고 검출대상지문(412)을 파악할 수 있다.

도 5는 본 발명의 실시 예에 따른 딥러닝 네트워크의 일 예를 도시한 도면이다.

도 5를 참조하면, 딥러닝 알고리즘은 영상으로부터 패턴 인식, 복원, 분리 등의 영상 처리 작업에 뛰어난 성능을 보인다는 점은 최근의 많은 연구에 의해 증명된 바 있다. 딥러닝 알고리즘을 이용한 지문 분리 기술은, 실제 현장의 유류 지문의 특성이 반영된 인조지문과 배경영상을 합성하여 학습데이터셋을 구축한 다음 원조 인조지문을 추출하도록 딥러닝 네트워크를 학습시킨다. 이 과정에서 딥러닝 네트워크는 지문중첩영상에서 일정 방향으로 정렬된 지문을 분리 대상으로 파악하고, 그 외의 배경과 다른 지문을 제거하는 방향으로 학습한다. 따라서 딥러닝을 이용한 지문분리는 지문끼리 분리하는 과정과 지문과 배경을 분리하는 과정이 복합적으로 진행된다. 이때 딥러닝 과정에서 중간과정까지 학습한 네트워크 파라미터를 체크포인트로 저장하며, 각각의 체크포인트는 딥러닝 네트워크 구조와 딥러닝 학습 에포크(epoch), 인조지문을 합성하는 전처리 과정의 변수 등에 따라 지문 분리 성능에 차이가 존재한다. 따라서 지문 분리 상황에 맞는 적절한 체크포인트를 불러와 실행할수록 분리 성능이 향상된다.

본 실시 예는 중첩된 지문의 분리 성능이 좋은 제1 체크포인트와 배경과 지문의 분리 성능이 좋은 제2 체크포인트는 미리 파악하여 저장한 후 각 체크포인트를 로딩하여 지문을 분리한다.

도 6 및 도 7은 본 발명의 실시 예에 따른 딥러닝 네트워크를 위한 학습데이터의 생성 방법의 일 예를 도시한 도면이다.

도 6 및 도 7을 참조하면, 지문분리장치(100)는 배경영상(600)과 적어도 둘 이상의 인조지문(610,620)을 중첩한 학습데이터(630)를 생성한다. 배경영상(600)은 지문이 검출될 수 있는 다양한 물건(예를 들어, 영수증과 같은 각종 종이 등)의 표면 이미지일 수 있다. 인조지문(610,620)은 종래의 다양한 방법으로 미리 생성된 지문이다.

적어도 둘 이상의 인조지문(610,620)은 서로 다른 방향으로 중첩될 수 있다. 예를 들어, 지문분리장치(100)는 도 7과 같이 제1 인조지문(710)을 기 정의된 방향(예를 들어, 수직방향)으로 배치하고 제2 인조지문(720)을 수직방향에서 일정 각도 회전한 후 배경영상(700)과 함계 중첩하여 학습데이터(730)를 생성할 수 있다. 여기서 기 정의된 방향(즉, 수직 방향)으로 배열된 지문, 즉 제1 인조지문(710)이 딥러닝 네트워크가 분리하는 대상이 된다.

이와 같이 방법으로 학습데이터셋을 구축한 후 기 정의된 방향(예를 들어, 수직방향)으로 배열된 지문(즉, 제1 인조지문(710))을 분리하여 출력하도록 딥러닝 네트워크를 학습시킬 수 있다. 본 실시 예는 사용이 낮은 일반적인 노트북으로도 신속하게 처리가 가능하며 결과 이미지가 간단하고 명료하다. 딥러닝 네트워크에 입력한 지문중첩영상에서 검출대상지문을 기 정의된 방향으로만 회전하는 전처리 과정만 수행하면 되므로 대량의 지문 이미지를 신속하게 처리할 수 있다.

본 실시 예에서 사용하는 딥러닝 네트워크는 도 2 및 도 3에서 살핀 바와 같이 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크와 배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크이다.

제1 딥러닝 네트워크 및 제2 딥러닝 네트워크는 모두 배경영상(600,700)에 적어도 둘 이상의 인조지문(610,620,710,720)이 중첩된 학습데이터(630,730)를 이용하여 학습시켜 생성할 수 있다. 다만 제1 딥러닝 네트워크는 중첩된 지문의 분리에 특화되도록 학습되고, 제2 딥러닝 네트워크는 배경과 지문의 분리에 특화되도록 학습된다. 딥러닝 네트워크의 학습 에포크(epoch)나 학습데이터의 종류 등에 따라 딥러닝 네트워크는 겹쳐진 지문의 분리에 우수한 성능을 나타내거나 배경과 지문의 분리에 우수한 성능을 나타낼 수 있다. 따라서 지문분리장치(100)는 딥러닝 네트워크의 학습 과정에서 지문분리에 우수한 성능을 나타내는 시점의 딥러닝 네트워크의 제1 체크포인트를 저장하고, 배경과 지문분리에 우수한 성능을 나타내는 시점의 딥러닝 네크워느이 제2 체크포인트를 저장할 수 있다.

예를 들어, 지문분리장치(100)는 배경영상(600,700)과 적어도 둘 이상의 인조지문(610,620,710,720)을 중첩하여 만든 복수 개의 학습데이터(630,730)를 이용하여 딥러닝 네트워크를 일정 시점까지 학습시킨 딥러닝 네트워크를 정의하는 제1 체크포인트를 저장할 수 있다. 지문분리장치(100)는 이후 제1 체크포인트를 로딩하여 제1 딥러닝 네트워크를 설정할 수 있다.

지문분리장치(100)는 또한 배경영상(600,700)과 하나의 인조지문(610,710)을 중첩하여 만든 학습데이터 또는 배경영상(600,700)과 하나의 인조지문(610,710)을 중첩하여 만든 제1 영상과 배경영상(600,700)과 적어도 둘 이상의 인조지문(610,620,710,720)을 중첩하여 만든 제2 영상이 혼재(예를 들어, 제1영상:제2영상=5:5로 혼재)된 학습데이터를 이용하여 딥러닝 네트워크를 일정 시점까지 학습시킨 딥러닝 네크워크를 정의하는 제2 체크포인트를 저장할 수 있다. 지문분리장치(100)는 이후 제2 체크포인트를 로딩하여 제2 딥러닝 네트워크를 설정할 수 있다.

도 8은 본 발명의 실시 예에 따른 딥러닝 네트워크를 위한 학습데이터의 전처리 과정의 일 예를 도시한 도면이다.

도 8을 참조하면, 지문분리장치(100)는 학습데이터셋의 인조지문이 실제 현장의 유류지문과 유사하도록 전처리과정을 수행할 수 있다. 예를 들어, 지문분리장치(100)는 인조지문(800)의 융선의 전체 또는 일부에 굴곡을 부가(810)하거나 융선의 전체 또는 일부의 두께를 변조(820)하거나 융선의 전체 또는 일부의 선명도를 조정(예를 들어, 흐리게 함)(830)하는 전처리 과정을 수행할 수 있다. 지문분리장치(100)는 전처리과정을 자동으로 수행하거나 사용자 인터페이스를 통해 사용자로부터 지문의 굴곡이나 두께, 선명도 등을 입력받아 인조지문(800)에 반영할 수 있다. 지문분리장치(100)는 전처리된 인조지문를 회전 또는 대칭시켜 다른 인조지문과 중첩하여 학습데이터(840)를 생성할 수 있다.

도 9는 본 발명의 실시 예에 따라 지문유형별 체크포인트를 생성하는 방법의일 예를 도시한 도면이다.

도 9를 참조하면, 지문분리장치(100)는 복수의 지문유형(900)에 대한 학습데이터셋(910)을 생성한 후 각 지문유형별 학습데이터셋(910)을 이용하여 딥러닝 네트워크를 학습시킬 수 있다. 예를 들어, 지문 융선이 원형으로 배열하는 지문유형, 지문 융선이 가로 방향으로 배열하는 지문유형 등 다양한 지문유형이 존재할 수 있다. 지문유형별 학습데이터셋(910)은 미리 정의된다고 가정한다.

지문분리장치(100)는 제1 지문유형의 제1 학습데이터셋을 이용하여 딥러닝 네트워크를 학습시킨 후 학습 완료된 딥러닝 네트워크의 체크포인트를 저장한다. 또한 제2 지문유형의 제2 학습데이터셋을 이용하여 딥러닝 네트워크를 학습시킨 후 학습 완료된 딥러닝 네트워크의 체크포인트를 저장한다. 이와 같은 방법으로 N개의 지문유형(900)에 대한 N개의 체크포인트(920)를 생성하여 저장할 수 있다.

지문분리장치(100)는 지문중첩영상의 검출대상지문의 유형에 다라 N개의 체크포인트(920) 중 어느 하나를 로딩할 수 있다. 예를 들어, 지문중첩영상의 검출대상지문이 가로로 배열하는 형태이면, 지문분리장치(100)는 가로로 배열하는 지문유형의 학습데이터셋을 이용하여 학습완료된 체크포인트를 로딩할 수 있다. 지문분리장치(100)는 체크포인트별 지문유형에 대한 정보(예를 들어, 각 지문유형에 대한 적어도 하나 이상의 대표이미지 등)를 화면인터페이스를 통해 표시하여 사용자가 검출대상지문과 유사한 지문유형의 체크포인트를 용이하게 선택하게 할 수 있다.

지문유형별 학습데이터셋(910)은 겹쳐진 지분 분리에 특화된 복수 개의 제1 체크포인트를 생성하도록 정의되거나, 배경과 지문의 분리에 특화된 복수 개의 제2 체크포인트를 생성하도록 정의될 수 있다.

도 10은 본 발명의 실시 예에 따른 지문분리결과의 일 예를 도식화하여 표현한 도면이다.

도 10을 참조하면, 지문중첩영상(1000)은 겹쳐진 서로 다른 지분을 분리하는 과정과 배경과 지문을 분리하는 과정이 복합적으로 진행되어야 한다. 이 두 과정이 제대로 수행되지 않으면 지문의 융선이 흐려지거나 지문중첩영상에 없던 융선이 분리된 검출대상지문의 영상(1010)에 나타나는 문제점 등이 존재한다. 정확하지 않은 지문 이미지(1010)는 사실과 다른 지문 정보(예를 들어, 특징점 또는 코어(core), 델타(delta))를 제공하여 초동수사에 어려움을 안겨줄 수 있다. 본 실시 예와 같이 겹쳐진 지문 분리에 특화된 제1 체크포인트와 배경과 분리에 특화된 제2 체크포인트를 이용하여 검출대상 지문을 분리하는 경우 지문(1020)을 정확하게 분리할 수 있다. 종래 딥러닝 알고리즘을 이용한 지문분리영상(1010)에는 부정확한 융선부분(1015)이 존재하나, 본 실시 예를 이용한 지분분리영상(1020)에는 정확한 융선(1020)을 표현한다.

도 11은 본 발명의 실시 예에 따른 지문분리장치의 일 예의 구성을 도시한 도면이다.

도 11을 참조하면, 지문분리장치(100)는 학습부(1100), 전처리부(1110), 지문분리부(1120), 관심영역설정부(1130) 및 지문출력부(1140)를 포함한다.

학습부(1100)는 겹쳐진 지문 분리에 특화되도록 제1 딥러닝 네트워크를 학습시키고 또한 배경과 지문 분리에 특화되도록 제2 딥러닝 네트워크를 학습시킨 후 학습완료된 제1 딥러닝 네트워크 및 제2 딥러닝 네트워크의 제1 체크포인트 및 제2 체크포인트를 각각 저장한다. 다른 실시 예로, 지문유형별 체크포인트를 생성하여 저장할 수 있으며, 이에 대한 예가 도 9에 도시되어 있다.

전처리부(1110)는 겹쳐진 지문을 촬영한 영상에서 검출대상지문이 기 설정된 방향(예를 들어, 길이 방향 등)이 되도록 영상을 회전하고 또한 기 정의된 해상도가 되도록 겹쳐진 지문의 영역을 크롭(crop)하여 지문중첩영상을 생성한다. 전처리부의 일 예가 도 4에 도시되어 있다.

지문분리부(1120)는 제1 체크포인트를 로딩하여 설정된 제1 딥러닝 네트워크를 통해 지문중첩영상에서 검출대상지문을 1차 분리한 지문분리영상을 생성한다.

관심영역설정부(1130)는 지문중첩영상에서 복수의 지문이 중첩된 관심영역을 지문분리영상의 해당영역으로 대체한 대체영상을 생성한다. 예를 들어, 도 4와 같이 사용자로부터 관심영역(432)을 설정받으면, 1차 분리된 검출대상지문에 대한 지문분리영상(420)의 해당 영역(422)으로 관심영역(432)을 대체한 대체영상을 생성한다.

지문출력부(1140)는 제2 체크포인트를 로딩하여 설정된 제2 딥러닝 네트워크를 통해 대체영상에서 검출대상지문을 2차 분리하여 출력한다. 지문출력부(1140)는 제2 딥러닝 네트워크를 통해 출력된 검출대상지문의 각 픽셀의 값을 0~1의 값으로 정규화할 수 있다. 예를 들어, 각 픽셀이 0~255의 값을 가지는 경우 255로 나누어 0~1의 값으로 정규화할 수 있다. 지문출력부(1140)는 기 정의된 값 이하의 픽셀을 제거한 검출대상지문을 출력할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

1. 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 통해 적어도 둘 이상의 지문이 중첩된 지문중첩영상에서 검출대상지문을 분리하여 지문분리영상을 획득하는 단계;
   상기 지문중첩영상에서 복수의 지문이 중첩된 관심영역을 상기 관심영역에 대응하는 상기 지문분리영상의 영역으로 대체한 대체영상을 생성하는 단계; 및
   배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 통해 상기 대체영상에서 배경과 상기 검출대상지문을 분리하여 출력하는 단계;를 포함하고,
   상기 지문분리영상을 획득하는 단계는,
   중첩된 지문을 분리하도록 학습된 딥러닝 네트워크의 제1 체크포인트를 로딩하여 상기 제1 딥러닝 네트워크를 설정하는 단계;를 포함하고,
   상기 설정하는 단계는,
   복수의 지문 유형에 해당하는 복수의 제1 체크포인트 중에서 상기 검출대상지문의 지문 유형에 해당하는 제1 체크포인트를 로딩하는 단계;를 포함하고,
   상기 제1 체크포인트는 상기 제1 딥러닝 네트워크의 학습 과정의 특정 시점의 딥러닝 네트워크를 정의하는 파라미터나 변수값인 것을 특징으로 하는 지문분리방법.
2. 삭제
3. 삭제
4. 제 1항에 있어서, 상기 출력하는 단계는,
   배경과 지문을 분리하도록 학습된 딥러닝 네트워크의 제2 체크포인트를 로딩하하여 상기 제2 딥러닝 네트워크를 설정하는 단계;를 포함하는 것을 특징으로 하는 지문분리방법.
5. 제 4항에 있어서, 상기 설정하는 단계는,
   복수의 지문 유형에 해당하는 복수의 제2 체크포인트 중에서 상기 검출 대상 지문의 지문 유형에 해당하는 제2 체크포인트를 로딩하는 단계;를 포함하는 것을 특징으로 하는 지문분리방법.
6. 제 1항에 있어서,
   검출 대상 지문이 수직 방향이 되도록 상기 지문중첩영상을 회전하는 단계;를 상기 지문분리영상을 획득하는 단계 전에 더 포함하는 것을 특징으로 하는 지문분리방법.
7. 제 1항에 있어서,
   상기 검출 대상 지문의 길이 방향의 단위길이당 픽셀수가 기 정의된 값이 되도록 상기 지문중첩영상의 해상도를 조정하는 단계;를 상기 지문분리영상을 획득하는 단계 전에 더 포함하는 것을 특징으로 하는 지문분리방법.
8. 제 1항에 있어서,
   상기 제1 딥러닝 네트워크를 학습시키는 단계;를 상기 지문분리영상을 획득하는 단계 전에 더 포함하고,
   상기 학습시키는 단계는,
   복수의 배경영상과 복수의 인조지문을 이용하여 다양한 배경에 복수의 지문이 중첩된 학습데이터셋을 생성하는 단계;
   상기 학습데이터셋을 이용하여 지문을 분리하도록 상기 제1 딥러닝 네트워크를 학습시키는 단계; 및
   학습 완료된 제1 딥러닝 네트워크의 제1 체크포인트를 저장하는 단계;를 포함하는 것을 특징으로 하는 하는 지문분리방법.
9. 제 1항에 있어서,
   상기 제2 딥러닝 네트워크를 학습시키는 단계;를 상기 지문분리영상을 획득하는 단계 전에 더 포함하고,
   상기 학습시키는 단계는,
   복수의 배경영상과 복수의 인조지문을 이용하여 다양한 배경에 복수의 지문이 중첩된 학습데이터셋을 생성하는 단계;
   상기 학습데이터셋을 이용하여 배경과 지문을 분리하도록 상기 제2 딥러닝 네트워크를 학습시키는 단계; 및
   학습 완료된 제2 딥러닝 네트워크의 제2 체크포인트를 저장하는 단계;를 포함하는 것을 특징으로 하는 하는 지문분리방법.
10. 중첩된 지문을 분리하도록 학습된 제1 딥러닝 네트워크를 통해 적어도 둘 이상의 지문이 중첩된 지문중첩영상에서 검출대상지문을 분리하여 지문분리영상을 획득하는 지문분리부;
    상기 지문중첩영상에서 지문이 중첩된 관심영역을 상기 관심영역에 대응하는 상기 지문분리영상의 영역으로 대체한 대체영상을 생성하는 관심영역설정부; 및
    배경과 지문을 분리하도록 학습된 제2 딥러닝 네트워크를 통해 상기 대체영상에서 배경과 상기 검출대상지문을 분리하여 출력하는 지문출력부;를 포함하고,
    상기 지문분리부는, 복수의 지문 유형에 해당하는 복수의 제1 체크포인트 중에서 상기 검출대상지문의 지문 유형에 해당하는 제1 체크포인트를 로딩하여 상기 제1 딥러닝 네트워크를 설정하고,
    상기 제1 체크포인트는 상기 제1 딥러닝 네트워크의 학습 과정의 특정 시점의 딥러닝 네트워크를 정의하는 파라미터나 변수값인 것을 특징으로 하는 지문분리장치.
11. 제 10항에 있어서,
    복수의 배경영상과 복수의 인조지문를 이용하여 다양한 배경에 복수의 지문이 중첩된 학습데이터셋을 생성하고, 상기 학습데이터셋을 이용하여 상기 제1 딥러닝 네트워크 또는 상기 제2 딥러닝 네트워크를 학습시키는 학습부;를 더 포함하는 것을 특징으로 하는 지문분리장치.
12. 제 10항에 있어서,
    상기 검출 대상 지문의 길이 방향의 단위길이당 픽셀수가 되도록 기 정의된 값이 되도록 상기 지문중첩영상의 해상도를 조정하고, 상기 검출 대상 지문이 수직 방향이 되도록 상기 지문중첩영상을 회전하는 전처리부;를 더 포함하는 것을 특징으로 하는 지문분리장치.
13. 제 1항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.