KR102570080B1 - 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 - Google Patents
딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 Download PDFInfo
- Publication number
- KR102570080B1 KR102570080B1 KR1020200178918A KR20200178918A KR102570080B1 KR 102570080 B1 KR102570080 B1 KR 102570080B1 KR 1020200178918 A KR1020200178918 A KR 1020200178918A KR 20200178918 A KR20200178918 A KR 20200178918A KR 102570080 B1 KR102570080 B1 KR 102570080B1
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- fingerprints
- image
- density distribution
- restoration
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 59
- 238000000926 separation method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011850 initial investigation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치가 개시된다. 지문분리장치는 복수의 배경영상과 복수의 인조 지문을 이용하여 다양한 배경에 적어도 둘 이상의 지문이 중첩된 지문중첩영상과 상기 복수의 인조 지문에 대한 방향필드와 밀도분포를 포함하는 학습데이터셋을 생성하고, 이를 이용하여 딥러닝 네트워크를 학습시킨 후, 학습 완료된 딥러닝 네트워크를 이용하여 복원대상이미지에 존재하는 적어도 둘 이상의 지문 중 검출대상지문에 대한 방향필드와 밀도분포를 구하여 지문 복원이 가능하도록 출력한다.
Description
본 발명의 실시 예는 복수의 지문이 중첩된 지문중첩영상에서 지문을 분리하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 딥러닝 알고리즘을 이용하여 지문을 분리하는 방법 및 그 장치에 관한 것이다.
겹친 유류 지문은 종종 범죄 현장에서 발견되지만, 이를 법정 증거로써 사용하기 위해서는 각 유류 지문에 해당하는 영상을 겹친 영상에서 분리해야 한다. 겹친 지문을 분리하기 위한 종래 다양한 기술이 존재한다. 가시광선 대역에서 찍은 사진을 기반으로 각 유류 지문의 융선이 가진 방향을 통해 추측하여 겹친 부분에 섞인 각 유류 지문의 다른 방향의 융선들을 분리해내는 기술, 겹친 유류 지문을 큰 파워의 레이저로 조사한 후 다양한 파장 대역별 지문의 형광 세기를 검출하고 이를 바탕으로 분리하는 기술, 겹친 유류 지문의 표본을 질량 분석법을 통해 분석한 후 얻어진 스펙트럼을 기반으로 분리하는 기술 등이 존재한다.
방향 필드(orientation field)를 유추하는 겹친 유류 지문 영상 분리 기술의 경우, 각 유류 지문에서 겹쳐지지 않은 방향 성분에 의거하여 겹쳐진 부분에서의 방향 성분을 분리하여 유류 지문 영상을 분리해낸다. 또한 이 방법은 다소 복잡한 패턴을 지닌 배경 물체에 유류 지문이 찍혀 있는 경우, 배경 영상의 방향 성분과 유류 지문의 방향 성분이 혼재하여 분리 결과가 좋지 못한 단점을 가지고 있다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 딥러닝 알고리즘을 이용하여 영상의 각 픽셀별로 목표 지문의 성분인지를 판단한 뒤 방향성분과 밀도 분포를 추출하여 중첩된 지문을 분리할 수 있도록 하는 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 지문분리방법의 일 예는, 복수의 배경영상과 복수의 인조 지문을 이용하여 다양한 배경에 적어도 둘 이상의 지문이 중첩된 지문중첩영상과 상기 복수의 인조 지문에 대한 방향필드와 밀도분포를 포함하는 학습데이터셋을 생성하는 단계; 상기 학습데이터셋을 이용하여 지문에 대한 방향필드와 밀도분포를 출력하도록 딥러닝 네트워크를 학습시키는 단계; 및 학습 완료된 딥러닝 네트워크를 이용하여 복원대상이미지에 존재하는 적어도 둘 이상의 지문 중 검출대상지문에 대한 방향필드와 밀도분포를 구하여 지문 복원이 가능하도록 출력하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 지문분리장치의 일 예는, 복수의 배경영상과 복수의 인조 지문을 이용하여 다양한 배경에 적어도 둘 이상의 지문이 중첩된 지문중첩영상과 상기 복수의 인조 지문에 대한 방향필드와 밀도분포를 포함하는 학습데이터셋을 생성하는 학습데이터생성부; 상기 학습데이터셋을 이용하여 지문에 대한 지문에 대한 방향필드와 밀도분포를 출력하도록 딥러닝 네트워크를 학습시키는 학습부; 및 학습 완료된 딥러닝 네트워크를 이용하여 복원대상이미지에 존재하는 적어도 둘 이상의 지문 중 검출대상지문에 대한 방향필드와 밀도분포를 구하여 지문 복원이 가능하도록 출력하는 복원정보생성부;를 포함한다.
본 발명의 실시 예에 따르면, 딥러닝 알고리즘을 이용하므로 범죄 현장에서 얻어진 유류 지문을 빠르게 현장에서 바로 복원할 수 있어, 초동수사를 빠르게 진행할 수 있는 장점이 있다. 현재 경찰청에서 쓰고 있는 지문 이미지 처리프로그램의 경우, 사람이 직접 수작업을 통해 지문을 분리하거나 복원을 해야 한다. 보통 지문 1개의 처리를 위해 4~5시간의 처리 시간이 필요하다. 본 실시 예는 고사용의 워크스테이션이 아닌 사양이 낮은 일반적인 노트북에서도 10초 미만으로 지문 복원이 가능하며, 노이즈를 감쇄시키고 지문의 융선을 강화하는 기존의 처리방식에 비하여 본 실시 예는 융선의 방향필드와 밀도분포를 바로 추출하므로 융선을 바로 분리할 대보다 노이즈가 덜 생긴다.특히 방향 분포를 벡터화한 이미지는 융선의 방향과 특징점을 배경 노이즈 없이 확인할 수 있어 사용자가 지문 분리의 초보자인 경우, 간단한 사용으로 본격적인 분리에 참고할 수 있다. 이는 숙달되지 않은 사용자도 지문 분리에 참여할 수 있게 해 주므로 더 많은 인력이 초동 수사에 참여할 수 이께 하고, 실제 범죄 현장에서 얻어진 유류 지문을 빠르게 분리할 수 있다.
도 1은 본 발명의 실시 예에 따른 지문분리장치의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 딥러닝 알고리즘을 구성하는 인공지능 네트워크의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 지문분리장치의 입력데이터와 출력데이터의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 지문분리방법의 일 예를 도시한 흐름도,
도 5 및 도 6은 본 발명이 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋을 생성하는 방법의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋의 생성 방법의 다른 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 방향필드 및 밀도분포를 양자화한 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 딥러닝 알고리즘의 학습 방법의 일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 복원대상이미지의 전처리과정의 일 예를 도시한 도면,
도 11 및 도 12는 본 발명의 실시 예에 따른 지문복원방법의 일 예를 도시한 도면, 그리고,
도 13은 본 발명의 실시 예에 따른 지문분리장치의 일 예의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 딥러닝 알고리즘을 구성하는 인공지능 네트워크의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 지문분리장치의 입력데이터와 출력데이터의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 지문분리방법의 일 예를 도시한 흐름도,
도 5 및 도 6은 본 발명이 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋을 생성하는 방법의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋의 생성 방법의 다른 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 방향필드 및 밀도분포를 양자화한 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 딥러닝 알고리즘의 학습 방법의 일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 복원대상이미지의 전처리과정의 일 예를 도시한 도면,
도 11 및 도 12는 본 발명의 실시 예에 따른 지문복원방법의 일 예를 도시한 도면, 그리고,
도 13은 본 발명의 실시 예에 따른 지문분리장치의 일 예의 구성을 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 딥러닝 알고리즘을 이용한 지문 분리 방법 및 그 장치에 대해 상세히 살펴본다.
도 1은 본 발명의 실시 예에 따른 지문분리장치의 일 예를 도시한 도면이다.
도 1을 참조하면, 지문분리장치(100)는 지문이 겹쳐진 복원대상이미지(110)를 수신하면 딥러닝 알고리즘을 이용하여 지문 복원에 필요한 융선 방향필드(orientation field)(120)와 융선 밀도분포(density map)(130)를 구하여 출력한다. 여기서, 복원대상이미지(110)는 적어도 둘 이상의 유류 지문의 일부 또는 전체가 서로 중첩되어 있는 영상을 의미한다. 예를 들어, 복원대상이미지(110)는 범죄현장 등에서 물건에 존재하는 유류 지문을 카메라 등을 통해 촬영한 후 소정의 전처리 과정을 통해 얻어진 영상일 수 있다. 복원대상이미지(110)의 일 예가 도 3에 도시되어 있다.
방향필드(120)는 지문의 융선 방향을 나타내는 값(예를 들어, 융선을 구성하는 각 픽셀에서의 융선 방향에 대한 각도)을 의미한다. 지문분리장치(100)는 복원대상이미지(110)에서 지문 융선을 구성하는 각 픽셀별 방향필드를 딥러닝 알고리즘을 이용하여 구할 수 있다. 일 실시 예로, 지문분리장치(100)는 방향필드를 기 정의된 개수로 양자화(예를 들어, 16개의 값)하여 출력할 수 있으며 양자화의 일 예가 도 8에 도시되어 있다.
밀도분포(130)는 지문의 융선 사이의 간격을 의미한다. 지문분리장치(100)는 딥러닝 알고리즘을 이용하여 복원대상이미지(110)에서 인접한 융선 사이의 거리를 픽셀 단위로 나타낼 수 있다. 일 실시 예로, 지문분리장치는 밀도분포를 기 정의된 개수로 양자화(예를 들어, 10개의 값)하여 출력할 수 있으며, 양자화의 일 예가 도 8에 도시되어 있다.
딥러닝 알고리즘은 복원대상이미지(110)에서 픽셀별로 검출대상지문의 성분인지를 판단한 후 검출대상지문에 해당하는 각 픽셀에 대한 방향필드와 밀도분포를 출력하는 인공지능 네트워크이다. 딥러닝 알고리즘을 구성하는 인공지능 네트워크의 일 예가 도 2에 도시되어 있다.
도 2는 본 발명의 실시 예에 따른 딥러닝 알고리즘을 구성하는 인공지능 네트워크의 일 예를 도시한 도면이다.
도 2를 참조하면, 딥러닝 알고리즘은 배경영상에 중첩된 지문이 존재하는 복원대상이미지(200)를 입력받으면 검출대상지문의 방향필드와 밀도분포를 출력하도록 학습된 딥러닝 네트워크이다. 본 실시 예를 위한 딥러닝 네트워크의 학습 방법의 일 예가 도 9에 도시되어 있다. 딥러닝 네트워크는 복원대상이미지(200)로부터 예측한 검출대상지문의 방향필드와 밀도분포를 회색음영의 8비트 이미지(210,220)로 출력할 수 있다. 학습 효과를 높이기 위하여 방향필드와 밀도분포의 예측값은 양자화된 값일 수 있으며, 이에 대한 예가 도 8에 도시되어 있다.
도 3은 본 발명의 실시 예에 따른 지문분리장치의 입력데이터와 출력데이터의 일 예를 도시한 도면이다.
도 3을 참조하면, 지분분리장치(100)는 적어도 둘 이상의 지문이 배경영상에 중첩되어 존재하는 복원대상이미지(300)를 입력받으면, 딥러닝 알고리즘을 이용하여 복원대상이미지(300)에서 검출대상지문에 대한 방향필드(310) 및 밀도분포(320)를 구하여 출력한다. 지문에 대한 방향필드(310) 및 밀도분포(320)가 존재하면 이로부터 지문을 복원할 수 있으며, 이에 대한 일 예가 도 11 및 도 12에 도시되어 있다.
도 4는 본 발명의 실시 예에 따른 지문분리방법의 일 예를 도시한 흐름도이다.
도 4를 참조하면, 지문분리장치(100)는 인조지문을 이용한 학습데이터를 생성한다(S400). 지문분리장치(100)는 인조지문을 종래의 다양한 방법을 이용하여 복수 개 생성하고, 미리 생성된 다양한 배경영상에 적어도 둘 이상의 인조지문을 중첩시킨 지문중첩영상을 생성할 수 있다. 지문분리장치(100)는 지문중첩영상을 자동으로 생성하거나 사용자가 다양한 배경영상과 인조지문을 중첩할 수 있는 화면인터페이스를 제공할 수 있다. 학습데이터셋을 생성하는 구체적인 방법에 대해서는 도 5 내지 도 7에 다시 살펴본다.
지문분리장치(100)는 학습데이터셋을 이용하여 딥러닝 네트워크를 학습시킨다(S410). 딥러닝 네트워크의 학습이 완료되면, 지문분리장치(100)는 학습 완료된 딥러닝 알고리즘을 이용하여 복원대상이미지에서 검출대상지문에 대한 방향필드와 밀도분포를 파악하여 출력한다(S420).
지문분리장치(100)는 딥러닝 네트워크에 복원대상이미지를 입력하기 전에 검출대상지문이 기 정의된 방향(예를 들어, 수직방향)이 되도록 복원대상이미지를 회전하는 등의 전처리 과정을 수행할 수 있다. 복원대상이미지의 전처리 과정의 일 예가 도 10에 도시되어 있다. 이 경우, 딥러닝 네트워크는 중첩된 지문에서 기 정의된 방향의 지문을 검출대상지문으로 파악하고 이에 대한 방향필드 및 밀도분포를 출력할 수 있다. 물론 이를 위하여 딥러닝 네트워크는 기 정의된 방향에 대한 지문의 방향필드 및 밀도분포를 출력하도록 미리 학습된다.
도 5 및 도 6은 본 발명이 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋을 생성하는 방법의 일 예를 도시한 도면이다.
도 5 및 도 6을 함께 참조하면, 지문분리장치(100)는 배경영상(500,600)과 적어도 둘 이상의 인조지문(510,520,610,620)을 중첩한 지문중첩영상(530,630)을 생성한다. 배경영상(500,600)은 지문이 검출될 수 있는 다양한 물건(예를 들어, 영수증과 같은 각종 종이 등)의 표면 이미지일 수 있다. 인조지문(510,520,610,620)은 종래의 다양한 방법으로 미리 생성된 지문이며, 일 예로 지문 융선에 대한 방향필드와 밀도분포를 임의로 생성한 후 이를 기초로 생성된 지문일 수 있다. 방향필드와 밀도분포를 이용하여 지문을 생성하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다. 일 예로 방향필드와 밀도분포를 이용한 지문 생성의 방법으로 논문 "Cappelli, R., Maio, D., & Maltoni, D. (2004, June). SFinGe: an approach to synthetic fingerprint generation. In International Workshop on Biometric Technologies (BT2004) (pp. 147-154)"에 기재된 방법이 본 실시 예에 적용될 수 있다.
지문중첩영상(530,630)에 포함되는 적어도 둘 이상의 인조지문(510,520,610,620)은 서로 다른 방향으로 중첩될 수 있다. 예를 들어, 지문분리장치는 도 6과 같이 제1 인조지문(610)을 기 정의된 방향(예를 들어, 수직방향)으로 배치하고 제2 인조지문(620)을 수직방향에서 일정 각도 회전한 후 제1 인조지문(610)과 중첩시켜 지문중첩영상(630)을 생성할 수 있다.
딥러닝 알고리즘은 지문중첩영상(530,630)에서 제1 인조지문의 방향필드와 밀도분포를 예측하여 출력하도록 학습된다. 따라서 이후 복원대상이미지를 딥러닝 알고리즘에 입력할 때 제1 인조지문의 기 정의된 방향(도 6의 경우, 수직방향)으로 검출대상지문이 배치되도록 복원대상이미지를 회전하여 입력한다.
도 7은 본 발명의 실시 예에 따른 인공지능 알고리즘을 위한 학습데이터셋의 생성 방법의 다른 일 예를 도시한 도면이다.
도 7을 참조하면, 지문분리장치(100)는 학습데이터셋의 인조지문이 실제 현장의 유류지문과 유사하도록 전처리과정을 수행할 수 있다. 예를 들어, 지문분리장치는 도 6에서 제2 인조지문(620)의 융선의 전체 또는 일부에 굴곡을 부가(710)하거나 융선의 전체 또는 일부의 두께를 변조(720)하거나 융선의 전체 또는 일부의 선명도 조정(예를 들어, 흐리게 함)(730)하는 전처리 과정을 수행할 수 있다. 지문분리장치는 전처리과정을 자동으로 수행하거나 사용자 인터페이스를 통해 사용자로부터 지문의 굴곡이나 두께, 선명도 등을 입력받아 인조지문에 반영할 수 있다. 지문분리장치(100)는 전처리된 제2 인조지문(620)를 회전 또는 대칭시켜 제1 인조지문(610)과 중첩한 지문중첩영상(740)을 생성할 수 있다.
도 8은 본 발명의 실시 예에 따른 방향필드 및 밀도분포를 양자화한 일 예를 도시한 도면이다.
도 8을 참조하면, 지문분리장치(100)는 학습데이터셋에 포함되는 인조지문의 방향필드 및 밀도분포의 값을 양자화할 수 있다. 도 8의 왼쪽은 양자화 전의 방향필드(800)와 밀도분포(810)를 도시한 것이고, 오른쪽 그림은 양자화 후의 방향필드(820)와 밀도분포(830)를 도시한 도면이다. 이러한 양자화 과정은 딥러닝 알고리즘으로 하여금 예측해야 하는 가짓수를 줄여 학습 효과를 높이는 효과를 준다.
예를 들어, 인조지문의 융선을 구성하는 각 픽셀에서의 방향필드는 0~π의 각도값을 가지지만 학습을 위해 이를 기 정의된 개수(예를 들어, 16개)의 값으로 양자화할 수 있다. 즉, 0~π를 16개의 각도그룹으로 나눈 후 각 각도그룹에 속하는 방향필드를 해당 그룹의 대표값(예를 들어, 해당 범위의 중간값, 평균값, 최소값 또는 최대값 등)으로 양자화할 수 있다. 다른 예로, 밀도분포의 최소값~최대값의 범위를 기 정의된 개수(예를 들어, 10개)로 양자화할 수 있다. 지문에서 나타날 수 있는 밀도분포의 범위가 0~99 픽셀인 경우에 0~9, 10~19,...,90~99의 10개의 그룹으로 나눈 후 각 인조지문의 융선을 나타내는 각 픽셀에 대한 밀도분포를 각 그룹의 대표값(예를 들어, 중간값, 평균값, 최소값 또는 최대값 등)으로 나타낼 수 있다.
도 9는 본 발명의 실시 예에 따른 딥러닝 알고리즘의 학습 방법의 일 예를 도시한 도면이다.
도 9를 참조하면, 본 실시 예의 딥러닝 알고리즘을 구성하는 딥러닝 네트워크(900)는 지문중첩영상(예, 도 6의 630)과 양자화된 방향필드 및 밀도분포(도 8의 820,830)를 포함하는 학습데이터셋을 이용하여 학습시킬 수 있다. 예를 들어, 도 6 및 도 8을 참조하면, 딥러닝 네트워크(900)는 학습데이터셋을 입력받으면 학습데이터셋의 지문중첩영상(630)으로부터 검출대상지문(610)의 방향필드와 밀도분포를 예측하여 출력한 후, 예측된 방향필드와 밀도분포를 학습데이터셋에 존재하는 정답지인 방향필드(820) 및 밀도분포(830)와 비교하여 네트워크의 파라메터 등을 조정하는 학습 과정을 수행할 수 있다. 이때 딥러닝 네트워크(900)가 예측하여 출력하는 방향필드와 밀도분포는 양자화된 값이다.
도 10은 본 발명의 실시 예에 따른 복원대상이미지의 전처리과정의 일 예를 도시한 도면이다.
도 10을 참조하면, 지문분리장치(100)는 적어도 둘 이상의 지문이 중첩된 영상(1000)을 입력받으면, 해당 영상(1000)을 검출대상지문이 기 정의된 방향(예를 들어, 수직(길이) 방향)이 되도록 회전한다. 또한 지문분리장치(100)는 검출대상지문이 수직 방향으로 회전된 영상(1010)을 기 정의된 해상도로 조정하여 딥러링 네트워크에 입력한 최종 복원대상이미지(1020)를 만든다. 예를 들어, 지문분리장치(100)는 입력된 영상(1000)을 회전한 후 크롭(crop)하여 500ppi(pixel per inches)의 해상도를 가진 288 * 400 픽셀 크기의 복원대상이미지(1020)를 생성할 수 있다.
도 11 및 도 12는 본 발명의 실시 예에 따른 지문복원방법의 일 예를 도시한 도면이다.
도 11 및 도 12을 참조하면, 지문분리장치(100)는 딥러닝 알고리즘을 이용하여 복원대상이미지로부터 검출대상지문의 방향필드(1100)와 밀도분포(1110)를 구한 후 이를 기초로 지문을 복원할 수 있다. 방향필드(1100)와 밀도분포(1110)를 이용하여 지문(1120)을 복원하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다. 예를 들어, 도 5 및 도 6에서 학습데이터를 위한 인조지문을 만드는 방법과 동일한 방법을 적용하여 방향필드(1100)와 밀도분포(1110)로부터 지문(1120)을 생성할 수 있다.
도 13은 본 발명의 실시 예에 따른 지문분리장치의 일 예의 구성을 도시한 도면이다.
도 13을 참조하면, 지문분리장치(100)는 학습데이터생성부(1300), 학습부(1310), 복원정보생성부(1320) 및 복원부(1330)를 포함한다. 실시 예에 따라 복원부(1330)는 생략될 수 있다.
학습데이터생성부(1300)는 지문이 중첩된 영상에서 검출대상지문의 방향필드와 밀도분포를 예측하여 출력하는 인공지능 알고리즘의 학습을 위한 학습데이터셋을 생성한다. 학습데이터셋을 생성하는 방법의 일 예가 도 5 내지 8에 도시되어 있다.
학습부(1310)는 학습데이터셋을 이용하여 인공지능 네트워크를 학습시킨다. 인공지능 네트워크의 학습 방법의 일 예가 도 9에 도시되어 있다.
복원정보생성부(1320)는 적어도 둘 이상의 지문이 중첩된 복원대상이미지를 입력받으면 이를 인공지능 네트워크에 입력하여 검출대상지문에 대한 방향필드와 밀도분포를 구한다. 복원정보생성부(1320)는 지문이 중첩된 영상을 입력받으면 검출대상지문이 길이방향으로 배치하도록 영상을 회전한 후 해당 영상의 해상도를 기 정의된 해상도에 맞도록 조정하여 복원대상이미지를 전처리한 후 인공지능 네트워크에 입력할 수 있다. 복원대상이미지의 전처리과정의 일 예는 도 10에 도시되어 있다.
복원부(1330)는 검출대상지문에 대한 방향필드 및 밀도분포를 이용하여 지문을 복원한다. 지문복원방법의 일 예가 도 11 및 도 12에 도시되어 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (9)
- 복수의 배경영상과 복수의 인조 지문을 이용하여 다양한 배경에 적어도 둘 이상의 지문이 중첩된 지문중첩영상과 상기 복수의 인조 지문에 대한 방향필드와 밀도분포를 포함하는 학습데이터셋을 생성하는 단계;
상기 학습데이터셋을 이용하여 지문에 대한 방향필드와 밀도분포를 출력하도록 딥러닝 네트워크를 학습시키는 단계; 및
학습 완료된 딥러닝 네트워크를 이용하여 복원대상이미지에 존재하는 적어도 둘 이상의 지문 중 검출대상지문에 대한 방향필드와 밀도분포를 구하여 지문 복원이 가능하도록 출력하는 단계;를 포함하고,
상기 방향필드는 지문의 융선 방향을 나타내는 값을 기 정의된 각도그룹으로 양자화한 값이고,
상기 밀도분포는 지문의 융선 사이의 간격을 상기 밀도분포의 최소값과 최대값 사이의 기 정의된 개수의 그룹으로 양자화한 값이고,
상기 복원대상이미지는 적어도 둘 이상의 지문이 배경영상에 중첩되어 존재하는 이미지인 것을 특징으로 하는 지문분리방법. - 제 1항에 있어서, 상기 학습데이터셋을 생성하는 단계는,
융선에 굴곡을 포함하거나 지문의 두께가 변조되거나 선명도가 조정된 인조지문을 이용하여 지문중첩영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 지문분리방법. - 제 1항에 있어서, 상기 학습데이터셋을 생성하는 단게는,
상기 복수의 인조지문에 대하여 기 정의된 개수로 양자화된 방향필드와 기 정의된 개수로 양자화된 밀도분포를 포함하는 학습데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 지문분리방법. - 제 1항에 있어서, 상기 방향필드와 밀도분포를 출력하는 단계는,
상기 검출대상지문이 수직 방향이 되도록 상기 복원대상이미지를 회전하는 단계; 및
상기 검출대상지문의 단위길이당 픽셀수가 기 정의된 값이 되도록 상기 복원대상이미지의 해상도를 조정하는 단계; 및
회전 및 해상도 조정이 된 복원대상이미지를 상기 딥러닝 네트워크에 입력하는 단계;를 포함하는 것을 특징으로 하는 지문분리방법. - 복수의 배경영상과 복수의 인조 지문을 이용하여 다양한 배경에 적어도 둘 이상의 지문이 중첩된 지문중첩영상과 상기 복수의 인조 지문에 대한 방향필드와 밀도분포를 포함하는 학습데이터셋을 생성하는 학습데이터생성부;
상기 학습데이터셋을 이용하여 지문에 대한 지문에 대한 방향필드와 밀도분포를 출력하도록 딥러닝 네트워크를 학습시키는 학습부; 및
학습 완료된 딥러닝 네트워크를 이용하여 복원대상이미지에 존재하는 적어도 둘 이상의 지문 중 검출대상지문에 대한 방향필드와 밀도분포를 구하여 지문 복원이 가능하도록 출력하는 복원정보생성부;를 포함하고,
상기 방향필드는 지문의 융선 방향을 나타내는 값을 기 정의된 각도그룹으로 양자화한 값이고,
상기 밀도분포는 지문의 융선 사이의 간격을 상기 밀도분포의 최소값과 최대값 사이의 기 정의된 개수의 그룹으로 양자화한 값이고,
상기 복원대상이미지는 적어도 둘 이상의 지문이 배경영상에 중첩되어 존재하는 이미지인 것을 특징으로 하는 지문분리장치. - 제 5항에 있어서, 상기 학습데이터생성부는,
융선에 굴곡을 포함하거나 지문의 두께가 변조되거나 선명도가 조정된 인조지문을 이용하여 지문중첩영상을 생성하는 것을 특징으로 하는 지문분리장치. - 제 5항에 있어서, 상기 학습데이터생성부는,
상기 복수의 인조지문에 대하여 기 정의된 개수로 양자화된 방향필드와 기 정의된 개수로 양자화된 밀도분포를 생성하는 것을 특징으로 하는 지문분리장치. - 제 5항에 있어서, 상기 복원정보생성부는,
상기 검출대상지문이 수직 방향이 되도록 상기 복원대상이미지를 회전하거나, 상기 검출대상지문의 길이 방향의 단위길이당 픽셀수가 기 정의된 값이 되도록 상기 복원대상이미지의 해상도를 조정하여 상기 딥러닝 네트워크에 입력하는 것을 특징으로 하는 지문분리장치. - 제 1항 내지 제 4항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178918A KR102570080B1 (ko) | 2020-12-18 | 2020-12-18 | 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 |
| PCT/KR2021/009241 WO2022131469A1 (ko) | 2020-12-18 | 2021-07-19 | 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178918A KR102570080B1 (ko) | 2020-12-18 | 2020-12-18 | 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220088162A KR20220088162A (ko) | 2022-06-27 |
| KR102570080B1 true KR102570080B1 (ko) | 2023-08-23 |
Family
ID=82057812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200178918A KR102570080B1 (ko) | 2020-12-18 | 2020-12-18 | 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102570080B1 (ko) |
| WO (1) | WO2022131469A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823679B (zh) * | 2023-08-30 | 2023-12-05 | 山东龙腾控股有限公司 | 基于人工智能的全自动指纹锁指纹图像增强方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100858681B1 (ko) * | 2007-02-15 | 2008-09-17 | 연세대학교 산학협력단 | 지문 영상 생성을 위한 영상 필터 조합 생성 방법 |
| KR101007008B1 (ko) * | 2009-04-01 | 2011-01-12 | 한국외국어대학교 연구산학협력단 | 지문 인식 장치 및 방법 |
| KR101797953B1 (ko) * | 2016-03-31 | 2017-11-15 | 주식회사 유니온커뮤니티 | 신경망 학습기법을 이용한 위조지문 판별장치 및 그 방법 |
| KR102459852B1 (ko) * | 2017-02-08 | 2022-10-27 | 삼성전자주식회사 | 지문 인식을 위한 후보 지문 이미지를 선정하는 장치 및 방법 |
| JP2018165911A (ja) * | 2017-03-28 | 2018-10-25 | 日本電気株式会社 | 識別システム、識別方法及びプログラム |
-
2020
- 2020-12-18 KR KR1020200178918A patent/KR102570080B1/ko active IP Right Grant
-
2021
- 2021-07-19 WO PCT/KR2021/009241 patent/WO2022131469A1/ko active Application Filing
Non-Patent Citations (2)
| Title |
|---|
| R. Cappelli 외 3명, "Synthetic fingerprint-image generation", ICPR-2000, pp.471-474 (2002.08.06.) 1부.* |
| R. Venkatesh 외 2명, "Multiple Criteria Decision Analysis Based Overlapped Latent Fingerprint Recognition System Using fuzzy Sets", International Journal of Fuzzy Systems, pp.2016-2042 (2018.04.17.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022131469A1 (ko) | 2022-06-23 |
| KR20220088162A (ko) | 2022-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Face morphing detection using Fourier spectrum of sensor pattern noise | |
| US7957567B2 (en) | Method, apparatus, and program for judging faces facing specific directions | |
| US20180039845A1 (en) | Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor | |
| Güera et al. | A counter-forensic method for CNN-based camera model identification | |
| JP2016110635A (ja) | 画像署名をフィッシャーベクトルとマッチングするための適応型語彙 | |
| US8842889B1 (en) | System and method for automatic face recognition | |
| WO2008143768A1 (en) | Deriving video signatures that are insensitive to picture modification and frame-rate conversion | |
| EP2124194B1 (en) | Method of detecting objects | |
| KR102570080B1 (ko) | 딥러닝 알고리즘을 이용하여 중첩된 지문 영상에서 지문을 분리하는 방법 및 그 장치 | |
| Gonzales et al. | Semantic segmentation of clouds in satellite imagery using deep pre-trained U-Nets | |
| JPH07311850A (ja) | 識別方法および識別装置 | |
| CN116383791A (zh) | 一种客户身份认证方法、装置、电子设备及介质 | |
| KR102570081B1 (ko) | 딥러닝 알고리즘을 이용하여 지문중첩영상에서 지문을 분리하는 방법 및 그 장치 | |
| CN115171224A (zh) | 一种检测模型的获取方法、活性检测方法和相关装置 | |
| Myler | Fundamentals of machine vision | |
| Wang et al. | A counter-forensic method for CNN-based camera model identification | |
| Nautiyal et al. | An automated technique for criminal face identification using biometric approach | |
| O’Sullivan et al. | Automated coastline extraction using edge detection algorithms | |
| CN112329497A (zh) | 一种目标识别方法、装置及设备 | |
| CN114760484B (zh) | 直播视频识别方法、装置、计算机设备和存储介质 | |
| Noboa | Automated License Plate Recognition Systems | |
| KR102094063B1 (ko) | 마르코프 체인을 이용한 미술품 위변조 감별시스템 및 감별방법 | |
| US20230015918A1 (en) | Artificial intelligence photograph recognition and editing system and method | |
| Camacho | Initialization methods of convolutional neural networks for detection of image manipulations | |
| Ahmed et al. | Image Deblurring using CNN and Its Application in Vehicles Licence Plate Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |