KR102558736B1

KR102558736B1 - Method and apparatus for recognizing finger print

Info

Publication number: KR102558736B1
Application number: KR1020150168926A
Authority: KR
Inventors: 김남준; 서성주; 김원준; 이현정; 최창규
Original assignee: 삼성전자주식회사
Priority date: 2015-06-30
Filing date: 2015-11-30
Publication date: 2023-07-25
Also published as: KR20170003361A

Abstract

지문 인식 장치 및 방법에 관한 기술이 제공된다. 지문 인식 장치는 등록 지문을 변형한 형태의 이미지 및 등록 지문의 특성 정보를 포함하는 데이터베이스를 이용하여, 센서를 통해 입력되는 지문을 인식할 수 있다.A technology related to a fingerprint recognition device and method is provided. The fingerprint recognition device may recognize a fingerprint input through a sensor by using a database including a modified image of a registered fingerprint and characteristic information of the registered fingerprint.

Description

Fingerprint recognition method and device {METHOD AND APPARATUS FOR RECOGNIZING FINGER PRINT}

이하, 지문 인식 방법 및 장치에 관한 기술이 제공된다.Hereinafter, technology related to a fingerprint recognition method and device is provided.

최근 스마트 폰 등 다양한 모바일 기기나 웨어러블 기기의 발전으로 보안 인증에 대한 중요성이 증대되고 있다. 생체 인식에 의한 인증 기술은 지문, 홍채, 목소리, 얼굴, 혈관 등을 이용하여 사용자를 인증한다. 인증에 사용되는 생체 특성들은 사람마다 다르고, 소지의 불편함이 없을 뿐 아니라, 도용이나 모조의 위험성이 적고, 일생 동안 잘 변하지 않는다는 장점이 있기 때문이다. Recently, with the development of various mobile devices such as smart phones or wearable devices, the importance of security authentication is increasing. Authentication technology based on biometric authentication authenticates a user using fingerprint, iris, voice, face, blood vessel, and the like. This is because the biometric characteristics used for authentication are different for each person, there is no inconvenience in possession, there is little risk of theft or counterfeiting, and there are advantages that they do not change easily throughout a lifetime.

특히, 지문 인식 기법은 편리성, 보안성, 경제성 등 여러 가지 이유로 현재 가장 많이 상용화되어 있다. 예를 들어, 지문 인식 기법은 사용자 기기에 대한 보안을 강화하고, 모바일 결제 등 각종 응용 서비스를 용이하게 제공할 수 있다.In particular, the fingerprint recognition technique is currently most commercialized for various reasons such as convenience, security, and economy. For example, a fingerprint recognition technique can enhance security of a user device and easily provide various application services such as mobile payment.

최근 휴대용 디바이스들이 소형화되면서, 해당 디바이스들에 포함된 지문 센싱 영역의 크기도 작아질 수 밖에 없다. 지문의 일부만을 센싱하는 지문 센서를 이용하여 지문 등록 및 지문 인식을 하는 기술이 요구된다.As portable devices have been miniaturized recently, the size of a fingerprint sensing area included in the corresponding devices is inevitably reduced. A technology for fingerprint registration and fingerprint recognition using a fingerprint sensor that senses only a part of the fingerprint is required.

일 실시예에 따르면 지문 인식 방법은, 등록될 지문에 대응하는 지문 이미지(fingerprint image)를 변형(modify)하여 등록 변형 이미지(enrollment modified image)를 생성하는 단계; 지문 이미지로부터 등록 특성 정보(enrollment property information)를 추출하는 단계; 및 등록 변형 이미지 및 등록 특성 정보를 저장하는 단계를 포함할 수 있다.According to an embodiment, a fingerprint recognition method includes generating an enrollment modified image by modifying a fingerprint image corresponding to a fingerprint to be enrolled; extracting enrollment property information from the fingerprint image; and storing the registered deformed image and registration characteristic information.

등록 변형 이미지를 생성하는 단계는, 공간 영역 및 주파수 영역 중 적어도 하나에서 지문 이미지를 변형하여 등록 변형 이미지를 생성하는 단계를 포함할 수 있다.The generating of the modified registration image may include generating the modified registered image by modifying the fingerprint image in at least one of a spatial domain and a frequency domain.

등록 특성 정보를 추출하는 단계는, 주파수 도메인 변환 기법에 기초하여, 지문 이미지로부터 등록 위상 정보를 추출하는 단계를 포함하고, 저장하는 단계는, 등록 변형 이미지와 맵핑하여 등록 위상 정보를 저장하는 단계를 포함할 수 있다.The extracting of the registration characteristic information may include extracting the registration phase information from the fingerprint image based on a frequency domain conversion technique, and the storing may include storing the registration phase information by mapping it with the registration modified image.

지문 인식 방법은, 입력 지문 이미지를 수신하는 단계; 입력 지문 이미지에 나타나는 쿼리 지문(query fingerprint)으로부터 특성 정보를 추출하는 단계; 입력 지문 이미지를 변형하여 입력 변형 이미지를 생성하는 단계; 추출된 특성 정보 및 등록 특성 정보에 기초하여, 입력 변형 이미지 및 등록 변형 이미지를 정합하는 단계; 및 정합 결과에 기초하여, 쿼리 지문을 인식하는 단계를 더 포함할 수 있다.The fingerprint recognition method includes receiving an input fingerprint image; extracting characteristic information from a query fingerprint appearing in the input fingerprint image; transforming the input fingerprint image to generate an input modified image; matching the input modified image and the registered modified image based on the extracted characteristic information and registered characteristic information; and recognizing a query fingerprint based on a matching result.

인식하는 단계는, 입력 변형 이미지 및 등록 변형 이미지가 중첩된 영역에서, 입력 변형 이미지가 등록 변형 이미지에 매칭되는 정도를 나타내는 스코어를 계산하는 단계를 더 포함할 수 있다.The recognizing may further include calculating a score representing a degree of matching between the input modified image and the registered modified image in the region where the input modified image and the registered modified image overlap.

스코어를 계산하는 단계는, 입력 변형 이미지 및 등록 변형 이미지 사이의 유사도, 입력 지문 이미지와 연관된 정보, 및 입력 변형 이미지 및 등록 변형 이미지와 관련된 히스토그램 정보 중 적어도 하나에 기초하여 스코어를 계산하는 단계를 포함할 수 있다.Calculating the score may include calculating a score based on at least one of similarity between the input modified image and the registered modified image, information related to the input fingerprint image, and histogram information related to the input modified image and the registered modified image.

스코어를 계산하는 단계는, 중첩된 영역을 서브영역(sub region)으로 분할하고, 분할된 서브영역마다 입력 변형 이미지가 등록 변형 이미지와 관련된 히스토그램 정보를 계산하는 단계; 및 히스토그램 정보에 기초하여 스코어를 계산하는 단계를 포함할 수 있다.The calculating of the score may include dividing the overlapped region into sub regions and calculating histogram information related to the registered modified image for each of the divided sub regions; and calculating a score based on the histogram information.

정합하는 단계는, 특성 정보 및 등록 특성 정보에 기초하여, 입력 변형 이미지 및 등록 변형 이미지 사이의 이동 정보, 회전 정보, 및 스케일 정보 중 적어도 하나를 결정하는 단계를 포함할 수 있다.The matching may include determining at least one of movement information, rotation information, and scale information between the input modified image and the registered modified image, based on the characteristic information and the registration characteristic information.

특성 정보를 추출하는 단계는, 주파수 도메인 변환 기법에 기초하여, 쿼리 지문으로부터 위상 정보를 추출하는 단계를 포함하고, 이미지를 정합하는 단계는, 위상 정보 및 등록 지문과 연관된 기 저장된 등록 위상 정보 간의 위상 상관 관계(POC, Phase of Correlation)를 이용하여, 입력 변형 이미지 및 등록 변형 이미지를 정합하는 단계를 포함할 수 있다.The step of extracting the characteristic information may include extracting phase information from the query fingerprint based on a frequency domain transformation technique, and the step of matching the images may include matching the input modified image and the registered modified image by using a phase of correlation (POC) between the phase information and pre-stored registered phase information associated with the registered fingerprint.

일 실시예에 따르면 지문 인식 장치는, 등록될 지문에 대응하는 지문 이미지를 수신하는 센서; 지문 이미지를 변형하여 등록 변형 이미지를 생성하고, 지문 이미지로부터 등록 특성 정보를 추출하는 프로세서; 및 등록 변형 이미지 및 등록 특성 정보를 저장하는 메모리를 포함할 수 있다.According to an embodiment, a fingerprint recognition device includes a sensor for receiving a fingerprint image corresponding to a fingerprint to be registered; a processor for transforming a fingerprint image to generate a modified registration image and extracting registration characteristic information from the fingerprint image; and a memory for storing the registered deformed image and registration characteristic information.

프로세서는, 공간 영역 및 주파수 영역 중 적어도 하나에서 지문 이미지를 변형하여 등록 변형 이미지를 생성할 수 있다.The processor may transform the fingerprint image in at least one of a spatial domain and a frequency domain to generate an enrolled modified image.

프로세서는, 주파수 도메인 변환 기법에 기초하여, 지문 이미지로부터 등록 위상 정보를 추출하고, 메모리는, 등록 변형 이미지와 맵핑하여 등록 위상 정보를 저장할 수 있다.The processor may extract registration phase information from the fingerprint image based on a frequency domain conversion technique, and the memory may store the registration phase information by mapping the registration modified image.

센서는, 입력 지문 이미지를 수신하고, 프로세서는, 입력 지문 이미지에 나타나는 쿼리 지문으로부터 특성 정보를 추출하고, 추출된 특성 정보 및 등록 특성 정보에 기초하여, 입력 변형 이미지 및 등록 변형 이미지를 정합하며, 정합 결과에 기초하여, 쿼리 지문을 인식할 수 있다.The sensor receives the input fingerprint image, the processor extracts characteristic information from the query fingerprint appearing in the input fingerprint image, matches the input modified image and the registered modified image based on the extracted characteristic information and the registered characteristic information, and recognizes the query fingerprint based on the matching result.

프로세서는, 입력 변형 이미지 및 등록 변형 이미지가 중첩된 영역에서, 입력 변형 이미지가 등록 변형 이미지에 매칭되는 정도를 나타내는 스코어를 계산할 수 있다.The processor may calculate a score indicating a degree of matching between the input modified image and the registered modified image in the region where the input modified image and the registered modified image overlap.

프로세서는, 입력 변형 이미지 및 등록 변형 이미지 사이의 중첩된 영역에 대한 유사도를 계산할 수 있다.The processor may calculate a similarity of an overlapping region between the input modified image and the registered modified image.

프로세서는, 입력 변형 이미지 및 등록 변형 이미지 사이의 유사도, 입력 지문 이미지와 연관된 정보, 및 입력 변형 이미지 및 등록 변형 이미지와 관련된 히스토그램 정보 중 적어도 하나에 기초하여 스코어를 계산할 수 있다.The processor may calculate a score based on at least one of a similarity between the input modified image and the registered modified image, information related to the input fingerprint image, and histogram information related to the input modified image and the registered modified image.

프로세서는, 중첩된 영역을 서브영역(sub region)으로 분할하고, 분할된 서브영역마다 입력 변형 이미지가 등록 변형 이미지와 관련된 히스토그램 정보를 계산하고, 히스토그램 정보에 기초하여 스코어를 계산할 수 있다.The processor may divide the overlapping region into sub regions, calculate histogram information related to the input modified image and the registered modified image for each divided sub region, and calculate a score based on the histogram information.

프로세서는, 특성 정보 및 등록 특성 정보에 기초하여, 입력 변형 이미지 및 등록 변형 이미지 사이의 이동 정보, 회전 정보, 및 스케일 정보 중 적어도 하나를 결정할 수 있다.The processor may determine at least one of movement information, rotation information, and scale information between the input modified image and the registered modified image, based on the characteristic information and the registration characteristic information.

프로세서는, 주파수 도메인 변환 기법에 기초하여, 쿼리 지문으로부터 위상 정보를 추출하고, 위상 정보 및 등록 지문과 연관된 기 저장된 등록 위상 정보 간의 위상 상관 관계를 이용하여, 입력 변형 이미지 및 등록 변형 이미지를 정합할 수 있다.The processor may extract phase information from the query fingerprint based on a frequency domain conversion technique and match the input modified image and the registered modified image using a phase correlation between the phase information and pre-stored registered phase information associated with the registered fingerprint.

도 1 및 도 2는 일 실시예에 따른 지문 이미지의 예시를 설명하는 도면이다.
도 3은 일 실시예에 따른 지문 인식 기술에서 저장되는 데이터를 설명하는 도면이다.
도 4a, 도 4b 및 도 5는 일 실시예에 따른 지문 인식 방법을 도시한 흐름도이다.
도 6은 일 실시예에 따라 입력 지문 이미지로부터 추출되는 특성 정보 및 입력 변형 이미지를 도시한 도면이다.
도 7은 일 실시예에 따른 이미지의 정합 과정을 도시한 흐름도이다.
도 8은 일 실시예에 따른 입력 변형 이미지 및 등록 변형 이미지의 정합 과정의 예시를 도시한 도면이다.
도 9는 일 실시예에 따른 지문 인식을 위한 스코어를 계산하는 방법을 도시한 흐름도이다.
도 10 및 도 11은 일 실시예에 따라 입력 변형 이미지 및 등록 변형 이미지가 매칭된 결과를 시각화한 도면이다.
도 12는 일 실시예에 따라 중첩된 영역을 분할하여 스코어를 계산하는 과정을 도시한 도면이다.
도 13은 일 실시예에 따른 지문 인식 장치의 구성을 도시한 블럭도이다.1 and 2 are views illustrating an example of a fingerprint image according to an exemplary embodiment.
3 is a diagram illustrating data stored in fingerprint recognition technology according to an exemplary embodiment.
4A, 4B and 5 are flowcharts illustrating a fingerprint recognition method according to an exemplary embodiment.
6 is a diagram illustrating characteristic information extracted from an input fingerprint image and an input modified image according to an exemplary embodiment.
7 is a flowchart illustrating a process of matching images according to an exemplary embodiment.
8 is a diagram illustrating an example of a process of matching an input modified image and a registered modified image according to an exemplary embodiment.
9 is a flowchart illustrating a method of calculating a score for fingerprint recognition according to an exemplary embodiment.
10 and 11 are diagrams visualizing a result of matching an input modified image and a registered modified image according to an exemplary embodiment.
12 is a diagram illustrating a process of dividing an overlapping region and calculating a score according to an embodiment.
13 is a block diagram illustrating a configuration of a fingerprint recognition device according to an exemplary embodiment.

본 명세서에서 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only exemplified for the purpose of explaining the embodiments according to the concept of the present invention, The embodiments according to the concept of the present invention can be implemented in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosures, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprise" or "have" are intended to designate that the described features, numbers, steps, operations, components, parts, or combinations thereof exist, but it should be understood that the presence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and are not interpreted in an ideal or excessively formal sense unless explicitly defined herein.

하기에서 설명될 실시예들은 사용자의 지문을 인식(recognize)하는 데 사용될 수 있다. 이하, 사용자의 지문을 인식하는 동작은 사용자의 지문을 인식함으로써 그 사용자를 인증(verify)하거나 식별(identify)하는 동작을 포함할 수 있다. 사용자를 인증하는 동작은 그 사용자가 기 등록된 사용자인지 여부를 판단하는 동작을 포함할 수 있다. 이 경우, 사용자를 인증하는 동작의 결과는 참 또는 거짓으로 출력될 수 있다. 사용자를 식별하는 동작은 그 사용자가 기 등록된 복수의 사용자들 중 어느 사용자에 해당하는지를 판단하는 동작을 포함할 수 있다. 이 경우, 사용자를 식별하는 동작의 결과는 어느 하나의 기 등록된 사용자의 아이디로 출력될 수 있다. 만약 그 사용자가 기 등록된 복수의 사용자들 중 어느 사용자에도 해당하지 않는 경우, 그 사용자가 식별되지 않음을 알리는 신호가 출력될 수도 있다.Embodiments described below may be used to recognize a user's fingerprint. Hereinafter, an operation of recognizing a user's fingerprint may include an operation of verifying or identifying the user by recognizing the user's fingerprint. An operation of authenticating a user may include an operation of determining whether the user is a pre-registered user. In this case, the result of the user authentication operation may be output as true or false. The operation of identifying the user may include an operation of determining which user the user corresponds to among a plurality of pre-registered users. In this case, a result of the operation for identifying the user may be output as an ID of any one pre-registered user. If the user does not correspond to any of the plurality of pre-registered users, a signal indicating that the user is not identified may be output.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템 등에서 사용자를 인증하는데 적용될 수 있다. 실시예들은 사용자 인증을 통한 결제 서비스에 적용될 수 있다. 또한, 실시예들은 사용자를 인증하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.The embodiments may be implemented in various types of products such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent vehicles, kiosks, and wearable devices. For example, the embodiments may be applied to authenticating a user in a smart phone, mobile device, smart home system, and the like. The embodiments may be applied to a payment service through user authentication. In addition, the embodiments may be applied to an intelligent vehicle system that automatically starts the engine by authenticating a user. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

도 1 및 도 2는 일 실시예에 따른 지문 이미지의 예시를 설명하는 도면이다.1 and 2 are views illustrating an example of a fingerprint image according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 지문 센서(도면 미 표시)는 사용자의 지문(100)을 센싱한다. 지문 센서는 센싱 영역을 통하여 지문(100)을 센싱할 수 있다. 이 때, 지문 센서의 센싱 영역의 크기는 지문(100)의 크기보다 작을 수 있다. 예를 들어, 지문 센서의 센싱 영역은 지문(100)의 크기보다 작은 직사각형 모양을 가질 수 있다. 이 경우, 지문 센서는 센싱 영역을 통하여 지문(100)의 일부를 센싱할 수 있다.Referring to FIG. 1 , a fingerprint sensor (not shown) according to an embodiment senses a user's fingerprint 100 . The fingerprint sensor may sense the fingerprint 100 through the sensing area. In this case, the size of the sensing area of the fingerprint sensor may be smaller than that of the fingerprint 100 . For example, the sensing area of the fingerprint sensor may have a rectangular shape smaller than the size of the fingerprint 100 . In this case, the fingerprint sensor may sense a part of the fingerprint 100 through the sensing area.

지문 센서는 센싱된 지문을 캡쳐(capture) 함으로써 지문 이미지를 생성할 수 있다. 지문 센서의 센싱 영역의 크기가 지문(100)의 크기보다 작은 경우, 지문 센서에 의하여 생성되는 지문 이미지는 지문(100)의 일부를 포함하는 부분 이미지(partial image)에 해당할 수 있다. 지문 센서가 캡쳐한 이미지는 원본 이미지라고 나타낼 수 있다.The fingerprint sensor may generate a fingerprint image by capturing the sensed fingerprint. When the size of the sensing area of the fingerprint sensor is smaller than the size of the fingerprint 100 , a fingerprint image generated by the fingerprint sensor may correspond to a partial image including a part of the fingerprint 100 . The image captured by the fingerprint sensor may be referred to as an original image.

지문 이미지는 사용자의 지문(100)을 등록하거나 인식하는데 이용될 수 있다. 일 실시예에 따르면, 지문 이미지는 지문 센서에 의해 캡쳐된 원본 이미지가 변형된 이미지의 형태로써 사용자의 지문(100)을 등록하거나 인식하는데 이용될 수 있다. 이하, 설명의 편의를 위하여 원본 이미지가 변형된 이미지를 변형 이미지(modified image)라고 지칭한다. 예를 들어, 변형 이미지는 원본 이미지가 공간 영역에서 변형된 이미지, 주파수 영역에서 변형된 이미지 및 공간 영역과 주파수 영역에서 변형된 이미지 등을 나타낼 수 있다.The fingerprint image may be used to register or recognize the user's fingerprint 100 . According to an embodiment, the fingerprint image is a form of an image in which an original image captured by a fingerprint sensor is transformed, and may be used to register or recognize a user's fingerprint 100 . Hereinafter, for convenience of explanation, an image in which an original image is modified is referred to as a modified image. For example, the transformed image may represent an original image transformed in the spatial domain, an image transformed in the frequency domain, and an image transformed in the spatial and frequency domains.

예를 들어, 등록(enrollment) 단계에서 지문 이미지가 변형된 변형 이미지가 등록될 수 있다. 등록된 변형 이미지는 미리 구비된 저장소에 저장될 수 있다. 지문 센서의 센싱 영역의 크기가 지문(100)의 크기보다 작은 경우, 사용자의 지문(100)의 부분 이미지들에 대응하는 복수의 변형 이미지들이 등록될 수 있다. 예를 들어, 복수의 부분 이미지들(110 내지 170)의 각각이 변형 이미지로 변형되어 등록될 수 있다. 부분 이미지들(110 내지 170)의 각각에 대응하는 변형 이미지는 각각 지문(100)의 일부를 커버하고, 부분 이미지들(110 내지 170)의 각각에 대응하는 변형 이미지가 모여 지문(100)을 전체적으로 커버할 수 있다. 이 때, 부분 이미지들(110 내지 170)은 서로 겹칠 수 있다. 이하, 설명의 편의를 위하여 등록 단계에서 기 등록된 변형 이미지를 등록 변형 이미지라고 지칭한다.For example, in an enrollment step, a modified image in which a fingerprint image is modified may be registered. The registered modified image may be stored in a pre-installed storage. When the size of the sensing area of the fingerprint sensor is smaller than the size of the fingerprint 100 , a plurality of modified images corresponding to partial images of the user's fingerprint 100 may be registered. For example, each of the plurality of partial images 110 to 170 may be transformed into a modified image and registered. Each of the modified images corresponding to the partial images 110 to 170 covers a part of the fingerprint 100, and the modified images corresponding to each of the partial images 110 to 170 are collected to cover the entire fingerprint 100. In this case, the partial images 110 to 170 may overlap each other. Hereinafter, for convenience of description, a modified image previously registered in the registration step is referred to as a registered modified image.

또한, 인식(recognition) 단계에서 지문이 인식될 수 있다. 예를 들어, 인식 단계에서 입력된 지문에 해당하는 원본 이미지가 변형된 이미지가 등록 변형 이미지와 비교될 수 있다. 이하, 설명의 편의를 위하여 인식 단계에서 입력된 지문에 해당하는 원본 이미지를 입력 지문 이미지라고 지칭하고, 입력 지문 이미지가 변형된 이미지를 입력 변형 이미지라고 지칭한다. 입력 변형 이미지와 등록 변형 이미지가 일치하는지 여부에 따라, 사용자 인증(verification) 결과 또는 사용자 식별(identification) 결과가 도출될 수 있다. 지문 센서의 센싱 영역의 크기가 지문(100)의 크기보다 작은 경우, 입력 변형 이미지는 사용자의 지문(100)의 부분에 대응할 수 있다. 아래에서 상세히 설명하겠으나, 실시예들은 입력 변형 이미지와 등록 변형 이미지들을 비교함으로써 지문을 인식하는 기법을 제공할 수 있다.Also, a fingerprint may be recognized in a recognition step. For example, in the recognition step, an original image corresponding to an input fingerprint may be compared with a modified registered image. Hereinafter, for convenience of description, an original image corresponding to a fingerprint input in the recognition step is referred to as an input fingerprint image, and an image obtained by transforming the input fingerprint image is referred to as an input modified image. Depending on whether the input modified image and the registered modified image match, a user verification result or user identification result may be derived. When the size of the sensing area of the fingerprint sensor is smaller than the size of the fingerprint 100 , the input modified image may correspond to a part of the user's fingerprint 100 . Although described in detail below, embodiments may provide a method of recognizing a fingerprint by comparing an input modified image and registered modified images.

도 1에서 지문 센서의 센싱 영역은 직사각형의 모양을 가지는 것으로 설명되었으나, 지문 센서의 센싱 영역의 크기 및 모양은 다양하게 변형될 수 있다. 예를 들어, 도 2를 참조하면, 지문 센서의 센싱 영역은 원형일 수 있다. 이 경우에도, 등록 단계에서, 하나의 지문(200)에 대응하여 복수의 부분 이미지들(210 내지 295)의 각각에 대응하는 변형 이미지가 등록될 수 있다. 또한, 인식 단계에서, 지문(200)의 일부에 해당하는 입력 변형 이미지가 복수의 부분 이미지들(210 내지 295)의 각각에 대응하는 등록 변형 이미지와 비교될 수 있다.Although the sensing area of the fingerprint sensor is described as having a rectangular shape in FIG. 1 , the size and shape of the sensing area of the fingerprint sensor may be variously modified. For example, referring to FIG. 2 , the sensing area of the fingerprint sensor may be circular. Even in this case, in the registration step, a modified image corresponding to each of the plurality of partial images 210 to 295 corresponding to one fingerprint 200 may be registered. Also, in the recognition step, an input modified image corresponding to a part of the fingerprint 200 may be compared with a registered modified image corresponding to each of the plurality of partial images 210 to 295 .

경우에 따라서, 등록 단계에서 이용되는 지문 센서와 인식 단계에서 이용되는 지문 센서는 서로 다를 수 있다. 예를 들어, 등록 단계에서는 도 1에 도시된 직사각형 모양의 센싱 영역을 갖는 지문 센서가 이용되고, 인식 단계에서는 도 2에 도시된 원형 모양의 센싱 영역을 갖는 지문 센서가 이용될 수 있다.In some cases, the fingerprint sensor used in the registration step and the fingerprint sensor used in the recognition step may be different from each other. For example, in the registration step, a fingerprint sensor having a rectangular sensing area shown in FIG. 1 may be used, and in the recognizing step, a fingerprint sensor having a circular sensing area shown in FIG. 2 may be used.

도 3은 일 실시예에 따른 지문 인식 기술에서 저장되는 데이터를 설명하는 도면이다.3 is a diagram illustrating data stored in fingerprint recognition technology according to an exemplary embodiment.

도 3을 참조하면, 일 실시예에 따른 지문 인식 장치(300)는 지문 센서(310)를 포함한다. 지문 센서(310)의 센싱 영역의 크기는 사용자의 지문의 크기보다 작을 수 있다. 지문 인식 장치(300)는 지문 센서(310)를 통하여 원본 이미지(315)를 획득할 수 있다.Referring to FIG. 3 , a fingerprint recognition device 300 according to an embodiment includes a fingerprint sensor 310 . The size of the sensing area of the fingerprint sensor 310 may be smaller than that of the user's fingerprint. The fingerprint recognition device 300 may acquire the original image 315 through the fingerprint sensor 310 .

일 실시예에 따르면, 지문 인식 장치(300)는 지문을 등록하기 위하여, 등록될 지문에 대응하는 지문 이미지(예를 들어, 원본 이미지(315))를 변형하여 등록 변형 이미지(321)를 생성할 수 있다. 또한, 지문 인식 장치(300)는 지문 이미지로부터 등록될 지문에 대응하는 특성 정보를 추출할 수 있다. 지문 인식 장치(300)는 등록 변형 이미지(321) 및 등록될 지문에 대응하는 특성 정보를 저장할 수 있다.According to an embodiment, in order to register a fingerprint, the fingerprint recognition device 300 may transform a fingerprint image (eg, the original image 315) corresponding to a fingerprint to be registered to generate a registered modified image 321. Also, the fingerprint recognition device 300 may extract characteristic information corresponding to a fingerprint to be registered from a fingerprint image. The fingerprint recognition device 300 may store the registered modified image 321 and characteristic information corresponding to a fingerprint to be registered.

예를 들어, 지문 인식 장치(300)는 지문을 등록(enroll)하기 위하여, 원본 이미지(315)를 변형한 등록 변형 이미지(321)를 이미지 데이터베이스(320)에 기록할 수 있고, 원본 이미지(315)로부터 추출된 제1 특성 정보(331)를 특성 데이터베이스(330)에 기록할 수 있다. 이미지 데이터베이스(320) 및 특성 데이터베이스(330)는 지문 인식 장치(300)에 포함된 메모리(도면 미 표시)에 저장되거나, 지문 인식 장치(300)와 유선, 무선, 또는 네트워크 등으로 연결 가능한 서버 등의 외부 장치(도면 미 표시)에 저장될 수 있다. 특성 데이터베이스(330)가 기 저장된 특성 정보를 포함함으로써, 입력 변형 이미지 및 등록 변형 이미지 간의 정합에 소요되는 시간이 감소될 수 있다. 또한, 지문 인식 장치(300)는 제1 특성 정보(331)를 원본 이미지로부터 추출함으로써, 입력 변형 이미지로부터 추출하는 경우에 비해 손실되는 정보가 적을 수 있다.For example, in order to enroll a fingerprint, the fingerprint recognition device 300 may record an enrollment modified image 321 obtained by modifying the original image 315 in the image database 320, and may record the first characteristic information 331 extracted from the original image 315 in the characteristic database 330. The image database 320 and the characteristic database 330 may be stored in a memory (not shown) included in the fingerprint recognition device 300, or may be stored in an external device (not shown) such as a server that can be connected to the fingerprint recognition device 300 by wire, wireless, or network. Since the feature database 330 includes pre-stored feature information, the time required for matching between the input modified image and the registered modified image may be reduced. In addition, by extracting the first characteristic information 331 from the original image, the fingerprint recognition device 300 may lose less information than when extracting it from the input modified image.

특성 정보는 쿼리 지문의 특성을 나타내는 정보로서, 예를 들어, 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지 간의 이동 정보(translation information), 회전 정보(rotation information), 및 스케일 정보(scale information) 중 적어도 하나를 결정하기 위해 이용되는 정보를 나타낼 수 있다. 등록 지문은 기 등록된 지문을 나타낼 수 있다. 특성 정보는 하기 도 6에서 상세히 설명한다.Characteristic information is information representing characteristics of a query fingerprint, and may indicate, for example, information used to determine at least one of translation information, rotation information, and scale information between an image corresponding to a query fingerprint and an image corresponding to an enrolled fingerprint. The registered fingerprint may indicate a pre-registered fingerprint. Characteristic information will be described in detail in FIG. 6 below.

여기서, 이미지 데이터베이스(320)는 보안을 위해 원본 이미지를 포함하지 않을 수 있다. 예를 들어, 이미지 데이터베이스(320)는 원본이 아닌 등록 변형 이미지를 포함하므로, 지문 인식 장치(300)는 해킹 등에 의해 이미지 데이터베이스(320)가 유출되더라도 사용자의 원본 생체 정보(예를 들어, 원본 지문 등)의 유출을 방지할 수 있다. 또한, 특성 데이터베이스(330)는 입력 변형 이미지 및 등록 변형 이미지 간의 정합을 위해 등록 변형 이미지와 연관된 등록 특성 정보를 포함하므로, 지문 인식 장치(300)가 등록 변형 이미지에 대한 특성 정보의 추출을 스킵(skip)할 수 있고, 지문 인식 장치(300)의 지문 인식의 속도가 향상될 수 있다. 일 실시예에 따르면 이미지 데이터베이스(320)의 등록 변형 이미지의 각각은 특성 데이터베이스(330)에서 그에 대응하는 등록 특성 정보와 맵핑되어 저장될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 제1 등록 변형 이미지(321)는 제1 특성 정보(331)와 맵핑될 수 있다.Here, the image database 320 may not include original images for security reasons. For example, since the image database 320 includes non-original registered modified images, the fingerprint recognition device 300 can prevent leakage of the user's original biometric information (eg, original fingerprint, etc.) even if the image database 320 is leaked by hacking or the like. In addition, since the characteristic database 330 includes registration characteristic information associated with the registered deformed image for matching between the input deformed image and the registered deformed image, the fingerprint recognition device 300 can skip extracting the characteristic information on the registered deformed image, and the speed of fingerprint recognition by the fingerprint recognition device 300 can be improved. According to an embodiment, each registered modified image of the image database 320 may be mapped with corresponding registration characteristic information in the characteristic database 330 and stored. For example, as shown in FIG. 3 , the first registered modified image 321 may be mapped with first characteristic information 331 .

또한, 지문 인식 장치(300)는 지문을 인식하기 위하여, 미리 구비된 이미지 데이터베이스(320)로부터 등록 변형 이미지들(321 내지 323)을 획득하고, 특성 데이터베이스(330)로부터 기 저장된 특성 정보들(331 내지 333)을 획득할 수 있다. 지문 인식 장치(300)는 입력 지문 이미지와 등록 변형 이미지들(321 내지 323)을 비교함으로써, 사용자의 지문을 인식할 수 있다. 이하, 설명의 편의를 위하여 기 저장된 특성 정보는 등록 특성 정보라고 지칭한다.In addition, in order to recognize a fingerprint, the fingerprint recognition device 300 obtains registered deformed images 321 to 323 from a pre-arranged image database 320 and pre-stored characteristic information 331 to 333 from a characteristic database 330. The fingerprint recognition device 300 may recognize the user's fingerprint by comparing the input fingerprint image with the registered modified images 321 to 323 . Hereinafter, for convenience of explanation, pre-stored characteristic information is referred to as registered characteristic information.

다만, 본 명세서에서는 이미지 데이터베이스(320)가 등록 변형 이미지를 포함하고 있는 것으로 기재하였는데, 이로 한정하는 것은 아니고, 설계에 따라 변형되지 않은 원본 이미지를 포함할 수도 있다. 이 경우, 지문 인식 장치(300)는 변형되지 않은 입력 지문 이미지를 등록된 원본 이미지와 비교할 수도 있다.However, in this specification, it is described that the image database 320 includes a registered modified image, but is not limited thereto, and may include an original image that is not modified according to design. In this case, the fingerprint recognition device 300 may compare the unmodified input fingerprint image with the registered original image.

도 4a, 도 4b 및 도 5는 일 실시예에 따른 지문 인식 방법을 도시한 흐름도이다.4A, 4B and 5 are flowcharts illustrating a fingerprint recognition method according to an exemplary embodiment.

도 4a는 지문 인식 방법을 개괄적으로 도시한 흐름도이다.4A is a flowchart schematically illustrating a fingerprint recognition method.

우선 단계(410)에서 지문 인식 장치의 프로세서는 입력 지문 이미지에 나타나는 쿼리 지문으로부터 특성 정보를 추출할 수 있다. 쿼리 지문은 인식의 대상이 되는 지문으로서, 지문의 적어도 일부가 캡쳐된 입력 지문 이미지에 나타나는 지문을 나타낼 수 있다.First, in step 410, the processor of the fingerprint recognition device may extract characteristic information from a query fingerprint appearing in an input fingerprint image. The query fingerprint is a fingerprint to be recognized, and may represent a fingerprint in which at least a part of the fingerprint appears in the captured input fingerprint image.

그리고 단계(420)에서 지문 인식 장치의 프로세서는 추출된 특성 정보 및 등록 지문과 연관된 기 저장된 등록 특성 정보에 기초하여, 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지를 정합할 수 있다. 프로세서는 상술한 도 3의 특성 데이터베이스(330)로부터 등록 특성 정보를 획득할 수 있다. 예를 들어, 쿼리 지문에 대응하는 이미지는 입력 변형 이미지일 수 있고, 등록 지문에 대응하는 이미지는 등록 변형 이미지일 수 있다.In operation 420, the processor of the fingerprint recognition device may match an image corresponding to the query fingerprint and an image corresponding to the registered fingerprint based on the extracted characteristic information and previously stored registered characteristic information associated with the registered fingerprint. The processor may obtain registration characteristic information from the characteristic database 330 of FIG. 3 described above. For example, an image corresponding to a query fingerprint may be an input modified image, and an image corresponding to a registered fingerprint may be a registered modified image.

이어서 단계(430)에서 지문 인식 장치의 프로세서는 정합 결과에 기초하여 쿼리 지문을 인식할 수 있다. 예를 들어, 프로세서는 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지를 정합한 결과에서, 두 이미지가 중첩된 영역에서 두 이미지가 유사한 정도를 나타내는 유사도를 계산하고, 해당 유사도에 기초하여 쿼리 지문을 인식할 수 있다. 여기서, 프로세서는 쿼리 지문이 등록 지문들 중 어느 지문에 대응하는지를 식별하거나, 쿼리 지문이 기 등록된 지문인지 여부를 인증할 수 있다.Subsequently, in step 430, the processor of the fingerprint recognition device may recognize a query fingerprint based on a matching result. For example, in the result of matching the image corresponding to the query fingerprint and the image corresponding to the registered fingerprint, the processor calculates a degree of similarity between the two images in an area where the two images overlap, and recognizes the query fingerprint based on the degree of similarity. Here, the processor may identify which fingerprint among registered fingerprints the query fingerprint corresponds to, or authenticate whether the query fingerprint is a pre-registered fingerprint.

본 명세서에서 유사도는 입력 변형 이미지 및 등록 변형 이미지가 정합 결과에 따라 중첩된 영역에서, 입력 변형 이미지가 임의의 등록 변형 이미지에 대해 유사한 정도를 나타낼 수 있다.In this specification, the degree of similarity may indicate a degree of similarity between an input modified image and a registered modified image in an area where the input modified image and the registered modified image overlap according to a matching result.

도 4b는 지문 인식 방법을 수행하기 위한 지문을 등록하는 과정을 도시한 흐름도이다.4B is a flowchart illustrating a process of registering a fingerprint for performing a fingerprint recognition method.

우선, 단계(440)에서는 지문 인식 장치의 프로세서가 등록될 지문에 대응하는 지문 이미지(fingerprint image)를 변형(modify)하여 등록 변형 이미지(enrollment modified image)를 생성할 수 있다. 예를 들어, 프로세서는 공간 영역 및 주파수 영역 중 적어도 하나에서 지문 이미지를 변형하여 등록 변형 이미지를 생성할 수 있다.First of all, in step 440, the processor of the fingerprint recognition device may generate an enrollment modified image by modifying a fingerprint image corresponding to a fingerprint to be enrolled. For example, the processor may transform the fingerprint image in at least one of a spatial domain and a frequency domain to generate an enrolled modified image.

그리고 단계(450)에서는 지문 인식 장치의 프로세서가 지문 이미지로부터 등록 특성 정보(enrollment property information)를 추출할 수 있다. 예를 들어, 프로세서는 주파수 도메인 변환 기법에 기초하여, 지문 이미지로부터 등록 위상 정보를 추출할 수 있다. 주파수 도메인 변환 기법은 예를 들어, 빠른 푸리에 변환(FFT, Fast Fourier Transform)이 있을 수 있다.In operation 450, the processor of the fingerprint recognition device may extract enrollment property information from the fingerprint image. For example, the processor may extract registration phase information from a fingerprint image based on a frequency domain conversion technique. The frequency domain transformation technique may include, for example, Fast Fourier Transform (FFT).

이어서 단계(460)에서는 지문 인식 장치의 메모리가 등록 변형 이미지 및 등록 특성 정보를 저장할 수 있다. 메모리는 등록 변형 이미지 및 등록 특성 정보 사이를 맵핑하여, 등록 변형 이미지 및 등록 특성 정보를 저장할 수 있다. 예를 들어, 메모리는 등록 특성 정보(예를 들어, 등록 위상 정보)를 등록 변형 이미지와 맵핑하여 저장함으로써, 지문을 등록할 수 있다.Subsequently, in step 460, the memory of the fingerprint recognition device may store the modified registration image and registration characteristic information. The memory may store the registered modified image and the registered characteristic information by mapping between the registered modified image and the registered characteristic information. For example, the memory may register a fingerprint by mapping and storing registration characteristic information (eg, registration phase information) with a registration modified image.

일 실시예에 따르면, 상술한 단계(460)에서 기 저장된 등록 변형 이미지 및 기 저장된 등록 특성 정보는 도 4a에서 프로세서가 지문을 인식하는데 사용될 수 있다.According to an embodiment, the pre-stored registration modified image and the pre-stored registration characteristic information in step 460 may be used by the processor to recognize the fingerprint in FIG. 4A.

도 5는 지문 인식 방법을 보다 상세하게 설명하는 흐름도이다.5 is a flowchart illustrating a fingerprint recognition method in more detail.

단계(410)는 도 4a에서 상술하였으므로 설명을 생략한다. 도 4a의 단계들(420, 430)은 각각 단계들(520, 530)에서 구체적으로 설명한다.Since step 410 has been described in detail with reference to FIG. 4A, a description thereof is omitted. Steps 420 and 430 of FIG. 4A are described in detail in steps 520 and 530, respectively.

우선, 단계(501)에서 지문 인식 장치의 센서는 지문의 적어도 일부에 대응하는 입력 지문 이미지를 수신할 수 있다. 또한, 센서는 지문의 적어도 일부를 캡쳐하여 입력 지문 이미지를 생성할 수 있다.First, in step 501, the sensor of the fingerprint recognition device may receive an input fingerprint image corresponding to at least a part of the fingerprint. Also, the sensor may generate an input fingerprint image by capturing at least a portion of the fingerprint.

이어서 단계(510)에서는 지문 인식 장치의 프로세서가 입력 지문 이미지를 입력 변형 이미지로 변형할 수 있다. 프로세서는 입력 지문 이미지를 입력 변형 이미지(쿼리 지문에 대응함)로 변형할 수 있다. 입력 변형 이미지는 입력 지문 이미지가 변형된 이미지로서, 예를 들어, LBP(local binary pattern) 타입, HOG(histogram of oriented gradients) 타입, Haar feature 타입, MCT(Modified Census Transform) 타입, N비트로 양자화된(N-bit quantized) 타입(여기서, N은 1이상의 정수), 및 기하학적으로 변형(warping)된 타입으로 변형된 이미지 등일 수 있다. 다만, 입력 변형 이미지의 타입을 이로 한정하는 것은 아니다.Subsequently, in step 510, the processor of the fingerprint recognition device may transform the input fingerprint image into an input modified image. The processor may transform the input fingerprint image into an input modified image (corresponding to the query fingerprint). The input modified image is an image in which the input fingerprint image is transformed, and may be, for example, a local binary pattern (LBP) type, a histogram of oriented gradients (HOG) type, a Haar feature type, a modified census transform (MCT) type, an N-bit quantized type (where N is an integer of 1 or more), and a geometrically warped type image. However, the type of the input deformed image is not limited thereto.

그리고 단계(520)에서는 지문 인식 장치의 프로세서가 추출된 특성 정보 및 등록 특성 정보에 기초하여, 입력 변형 이미지 및 등록 변형 이미지를 정합할 수 있다. 프로세서는 특성 데이터베이스(330)로부터 등록 특성 정보를 획득할 수 있고, 이미지 데이터베이스(320)로부터 등록 변형 이미지를 획득할 수 있다. 지문 인식 장치의 메모리는 등록 특성 정보 및 등록 변형 이미지를 서로 맵핑하여 저장할 수 있다.In operation 520, the processor of the fingerprint recognition device may match the input modified image and the registered modified image based on the extracted characteristic information and registration characteristic information. The processor may obtain registration characteristic information from the characteristic database 330 and obtain a registered modified image from the image database 320 . The memory of the fingerprint recognition device may store registered characteristic information and registered modified image by mapping each other.

예를 들어, 프로세서는 추출된 특성 정보 및 등록 특성 정보를 이용하여 정합을 수행할 수 있다. 일 실시예에 따른 지문 인식 장치는 변형되기 이전의 입력 지문 이미지로부터 추출된 특성 정보와, 변형되기 이전의 지문 이미지로부터 추출되어 저장된 등록 특성 정보를 이용하여, 정합을 수행할 수 있다. 지문 인식 장치가 변형되기 이전의 원본 이미지로부터 추출된 특성 정보를 이용함으로써, 변형된 후의 이미지의 특성 정보를 이용하는 것보다 정확하게 두 이미지를 정확하게 정합할 수 있다.For example, the processor may perform matching using the extracted characteristic information and registered characteristic information. A fingerprint recognition device according to an embodiment may perform matching using characteristic information extracted from an input fingerprint image before transformation and registration characteristic information extracted and stored from a fingerprint image before transformation. By using the feature information extracted from the original image before the fingerprint recognition device is deformed, the two images can be more accurately matched than when the feature information of the deformed image is used.

또한, 프로세서는 입력 변형 이미지 및 등록 변형 이미지를 이용하여 유사도를 계산할 수 있다. 입력 변형 이미지 및 등록 변형 이미지 간의 유사도의 계산을 위하여, 입력 변형 이미지의 타입 및 등록 변형 이미지의 타입은 서로 동일할 수 있다. 예를 들어, 등록 변형 이미지의 타입이 N비트로 양자화된 타입의 이미지인 경우, 프로세서는 입력 지문 이미지를 N비트로 양자화된 타입을 가지는 입력 변형 이미지로 변형하여, 해당 입력 변형 이미지를 등록 변형 이미지와 정합할 수 있다.Also, the processor may calculate a degree of similarity using the input modified image and the registered modified image. In order to calculate the similarity between the input modified image and the registered modified image, the type of the input modified image and the type of the registered modified image may be the same. For example, if the type of the registered deformed image is an N-bit quantized type image, the processor transforms the input fingerprint image into an input deformed image having an N-bit quantized type, and matches the input deformed image with the registered deformed image.

이어서 단계(530)에서 프로세서는 입력 변형 이미지 및 등록 변형 이미지에 기초하여 쿼리 지문을 인식할 수 있다. 일 실시예에 따르면, 프로세서는 입력 변형 이미지 및 등록 변형 이미지를 비교하여 쿼리 지문을 인식할 수 있다. 예를 들어, 프로세서는 입력 변형 이미지 및 등록 변형 이미지를 정합한 결과에 따라 두 이미지가 중첩된 영역 내에서, 입력 변형 이미지 및 등록 변형 이미지를 비교할 수 있다.Subsequently, in step 530, the processor may recognize a query fingerprint based on the input modified image and the registered modified image. According to an embodiment, the processor may recognize a query fingerprint by comparing an input modified image and a registered modified image. For example, the processor may compare the input modified image and the registered modified image in an area where the two images overlap according to a result of matching the input modified image and the registered modified image.

예를 들어, 프로세서는 입력 변형 이미지 및 등록 변형 이미지 사이의 중첩된 영역에 대한 유사도를 계산할 수 있다. 프로세서는 하기 수학식 1과 같이 입력 변형 이미지 및 등록 변형 이미지 간의 유사도를 계산할 수 있다. 하기 수학식 1은 정규화된 상호 상관(NCC, Normalized Cross Correlation)을 나타낼 수 있다.For example, the processor may calculate a similarity of an overlapping region between an input modified image and a registered modified image. The processor may calculate the similarity between the input modified image and the registered modified image as shown in Equation 1 below. Equation 1 below may represent normalized cross correlation (NCC).

상술한 수학식 1에서 x', y' 는 입력 변형 이미지 및 등록 변형 이미지가 정합을 통해 중첩된 영역의 좌표를 나타낼 수 있다. E(x',y')는 등록 변형 이미지의 중첩된 영역의 x', y' 좌표에서의 픽셀 값, I(x',y')는 입력 변형 이미지의 중첩된 영역의 x', y' 좌표에서의 픽셀 값을 나타낼 수 있다. R은 입력 변형 이미지 및 등록 변형 이미지 사이에서 중첩된 해당 픽셀들의 정규화된 상호 상관 값을 나타낼 수 있다. 입력 변형 이미지 및 등록 변형 이미지의 픽셀들이 유사할수록 R은 큰 값을 나타낼 수 있다. 다만, 유사도 계산을 상술한 수학식 1로 한정하는 것은 아니고, 유사한 정도를 나타내는 여러 방식이 사용될 수 있다. 예를 들어, 다른 방식은 하기 도 9에서 상세히 설명한다.In Equation 1 described above, x' and y' may represent coordinates of regions where the input transformed image and the registered transformed image overlap through matching. E(x',y') is a pixel value at the x', y' coordinates of the overlapped area of the registered deformed image, and I(x',y') is the x', y' of the overlapped area of the input deformed image. It may represent a pixel value at the coordinates. R may represent normalized cross-correlation values of corresponding pixels overlapped between the input modified image and the registered modified image. As pixels of the input morphed image and the registered morphed image are similar, R may represent a larger value. However, the similarity calculation is not limited to the above-described Equation 1, and various methods representing similarities may be used. For example, another method is described in detail in FIG. 9 below.

도 6은 일 실시예에 따라 입력 지문 이미지로부터 추출되는 특성 정보 및 입력 변형 이미지를 도시한 도면이다.6 is a diagram illustrating characteristic information extracted from an input fingerprint image and an input modified image according to an exemplary embodiment.

지문 인식 장치는 입력 지문 이미지(610)로부터 특성 정보(630)를 추출할 수 있다. 특성 정보(630)는 입력 지문 이미지(610)의 특성을 나타내는 정보로서, 예를 들어, SIFT(Scale-invariant feature transform) 정보, 미누샤(minutiae) 정보, 및 주파수 도메인 변환 기법에 기초하여 쿼리 지문으로부터 추출되는 위상 정보 등을 포함할 수 있고, 이로 한정하는 것은 아니다. 위상 정보는 주파수 영역으로 변환된 입력 지문 이미지(610)의 위상에 관한 정보를 나타낼 수 있다. 기 등록된 위상 정보는 등록 위상 정보라고 나타낼 수 있다.The fingerprint recognition device may extract characteristic information 630 from the input fingerprint image 610 . The characteristic information 630 is information representing the characteristics of the input fingerprint image 610, and may include, for example, scale-invariant feature transform (SIFT) information, minutiae information, and phase information extracted from a query fingerprint based on a frequency domain transformation technique, but is not limited thereto. The phase information may represent information about the phase of the input fingerprint image 610 converted into a frequency domain. Pre-registered phase information may be referred to as registered phase information.

또한, 지문 인식 장치는 입력 지문 이미지(610)를 입력 변형 이미지(620)로 변형할 수 있다. 입력 변형 이미지(620)는 입력 지문 이미지(610)와 다른 타입의 이미지로서, 예를 들어, LBP 타입, HOG 타입, Haar feature 타입, MCT 타입, 및 N비트로 양자화된 타입의 이미지일 수 있으나, 이로 한정하는 것은 아니다.Also, the fingerprint recognition device may transform the input fingerprint image 610 into an input modified image 620 . The input deformed image 620 is an image of a different type from the input fingerprint image 610, and may be, for example, an LBP type, HOG type, Haar feature type, MCT type, and N-bit quantized type image, but is not limited thereto.

도 7은 일 실시예에 따른 이미지의 정합 과정을 도시한 흐름도이다. 도 8은 일 실시예에 따른 입력 변형 이미지 및 등록 변형 이미지의 정합 과정의 예시를 도시한 도면이다.7 is a flowchart illustrating a process of matching images according to an exemplary embodiment. 8 is a diagram illustrating an example of a process of matching an input modified image and a registered modified image according to an exemplary embodiment.

도 4a의 단계(420)의 정합 과정은 도 7의 단계들(710, 720)을 통해 설명한다.The matching process of step 420 of FIG. 4A will be described through steps 710 and 720 of FIG. 7 .

일 실시예에 따르면 영상 정합은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리 기법이다. 영상 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상들이 어떻게 대응되는지를 알 수 있다. 영상 정합은 공간 영역 방식과 주파수 영역 방식으로 구분될 수 있다. According to an embodiment, image matching is a processing technique in which different images are transformed and displayed in a single coordinate system. Through image registration, it is possible to know how images obtained through different measurement methods correspond. Image matching can be divided into a spatial domain method and a frequency domain method.

공간 영역 방식은 영상의 공간 속에서 영상의 픽셀 세기의 패턴이나 특징을 맞추는 방식이다. 두 영상들에 포함된 특징점 쌍의 갯수가 해당 영상 변형에 필요한 최소 갯수보다 많은 경우, 예를 들어, RANSAC과 같은 알려진 방식에 의해 두 영상 간의 영상 변형이 찾아질 수 있다. The spatial domain method is a method of matching a pattern or feature of pixel intensity of an image in the space of the image. When the number of feature point pairs included in the two images is greater than the minimum number required for corresponding image deformation, image deformation between the two images may be found by a known method such as RANSAC, for example.

주파수 영역 방식은 두 영상 간의 변형에 필요한 매개 변수를 주파수 영역에서 직접 찾아내는 방식이다. 이때 찾아낼 수 있는 변형에 필요한 매개 변수는 예를 들어, 영상의 이동, 회전 각도, 크기 변화 등이다. 푸리에 공간에서 두 영상의 위상 간 상호 상관 계수를 계산해 제3의 이미지를 생성하면, 제3의 이미지에서 최대값이 나타나는 부분이 두 이미지 간의 상대적인 이동 벡터가 될 수 있다. 이하, 본 명세서에서는 주파수 영역 방식을 기준으로 설명하지만, 이로 한정하는 것은 아니다.The frequency domain method is a method of directly finding parameters necessary for transformation between two images in the frequency domain. Parameters required for deformation that can be found at this time are, for example, movement, rotation angle, and size change of the image. When the third image is generated by calculating the cross-correlation coefficient between the phases of the two images in the Fourier space, the part where the maximum value appears in the third image can be a relative motion vector between the two images. Hereinafter, in this specification, the frequency domain method is described as a standard, but is not limited thereto.

우선, 단계(710)에서 지문 인식 장치의 프로세서는 특성 정보(630) 및 등록 특성 정보(예를 들어, 도 8의 제n 특성 정보(333))에 기초하여, 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지 사이의 이동 정보, 회전 정보, 및 스케일 정보 중 적어도 하나를 결정할 수 있다. 이하, 쿼리 지문에 대응하는 이미지는 입력 변형 이미지(620), 등록 지문에 대응하는 이미지는 등록 변형 이미지(323)를 예로 들어 설명한다. 일 실시예에 따르면, 프로세서는 주파수 기반 정합 기법에 기초하여 입력 변형 이미지(620)와 등록 변형 이미지(323) 사이의 이동 정보, 회전 정보, 스케일 정보, 또는 이들의 다양한 조합을 결정할 수 있다. 주파수 기반 정합 기법은 주파수 영역에서 정합을 수행하는 기법일 수 있다.First, in step 710, the processor of the fingerprint recognition device may determine at least one of movement information, rotation information, and scale information between an image corresponding to a query fingerprint and an image corresponding to a registered fingerprint, based on the characteristic information 630 and the registration characteristic information (e.g., the n-th characteristic information 333 of FIG. 8). Hereinafter, an image corresponding to a query fingerprint will be described as an input modified image 620 and an image corresponding to a registered fingerprint will be described using the registered modified image 323 as an example. According to an embodiment, the processor may determine movement information, rotation information, scale information, or various combinations thereof between the input transformed image 620 and the registered transformed image 323 based on a frequency-based matching technique. The frequency-based matching technique may be a technique for performing matching in the frequency domain.

입력 변형 이미지(620)와 특정 등록 변형 이미지(323) 사이의 이동 정보는 x축 이동 파라미터인 Tx와 y축 이동 파라미터인 Ty를 포함할 수 있다. 또한, 입력 변형 이미지(620)와 특정 등록 변형 이미지(323) 사이의 회전 정보는 회전 파라미터인 R을 포함할 수 있고, 스케일 정보는 스케일 파라미터인 S를 포함할 수 있다. 이하, Tx 및 Ty는 이동량이라고 지칭되고, R은 회전 각도라고 지칭될 수 있다. 지문 인식 장치는 주파수 영역에서 입력 변형 이미지(620)와 특정 등록 변형 이미지(323)를 비교함으로써, 회전 각도 및 이동량을 계산할 수 있다. 예를 들어, 도 8에서 지문 인식 장치는 특성 정보(630) 및 제n 특성 정보(333)를 이용하여, 입력 변형 이미지(620) 및 등록 변형 이미지(323) 간의 이동 정보, 회전 정보, 및 스케일 정보 등을 결정할 수 있다.Movement information between the input modified image 620 and the specific registered modified image 323 may include an x-axis movement parameter Tx and a y-axis movement parameter Ty. Also, rotation information between the input transformed image 620 and the specific registration transformed image 323 may include a rotation parameter R, and scale information may include a scale parameter S. Hereinafter, Tx and Ty may be referred to as a movement amount, and R may be referred to as a rotation angle. The fingerprint recognition device may calculate the rotation angle and the movement amount by comparing the input modified image 620 and the specific registered modified image 323 in the frequency domain. For example, in FIG. 8 , the fingerprint recognition device may determine movement information, rotation information, and scale information between the input modified image 620 and the registered modified image 323 using the characteristic information 630 and the n-th characteristic information 333.

또한, 지문 인식 장치는 특성 정보(630)에 포함된 위상 정보 및 등록 특성 정보(도 8에서는 제n 특성 정보(333))에 포함된 등록 위상 정보 간의 위상 상관 관계(POC, Phase of Correlation)를 결정할 수 있다. 지문 인식 장치는 상술한 위상 상관 관계를 이용하여 입력 변형 이미지(620)와 등록 변형 이미지(323) 사이의 이동 정보, 회전 정보, 스케일 정보, 또는 이들의 다양한 조합을 결정할 수 있다.In addition, the fingerprint recognition device may determine a phase of correlation (POC) between the phase information included in the characteristic information 630 and the registered phase information included in the registration characteristic information (n-th characteristic information 333 in FIG. 8). The fingerprint recognition device may determine movement information, rotation information, scale information, or various combinations thereof between the input modified image 620 and the registered modified image 323 by using the above-described phase correlation.

그리고 단계(720)에서 지문 인식 장치의 프로세서는 이동 정보, 회전 정보, 및 스케일 정보 중 적어도 하나에 기초하여 정합할 수 있다. 지문 인식 장치는 입력 변형 이미지(620)와 등록 변형 이미지(323)을 비교하기 위하여, 입력 변형 이미지(620)와 등록 변형 이미지(323)를 정합할 수 있다. 예를 들어, 지문 인식 장치는 입력 변형 이미지(620)와 등록 변형 이미지(323)에 공통적으로 포함된 영역이 겹쳐지도록, 입력 변형 이미지(620)를 스케일(scale), 회전(rotation), 및/또는 이동(translation) 시킬 수 있다. 다른 예를 들어, 지문 인식 장치는 등록 변형 이미지(323)를 스케일, 회전, 및/또는 이동시킬 수도 있다. 다만, 입력 변형 이미지(620)와 등록 변형 이미지(323)가 모두 부분 이미지에 해당하므로, 서로 겹치는 영역의 크기가 입력 변형 이미지(620) 및 등록 변형 이미지(323) 각각의 크기에 비하여 상당히 작을 수 있다.In operation 720, the processor of the fingerprint recognition device may perform matching based on at least one of movement information, rotation information, and scale information. The fingerprint recognition device may match the input modified image 620 and the registered modified image 323 to compare the input modified image 620 and the registered modified image 323 . For example, the fingerprint recognition device may scale, rotate, and/or translate the input transformed image 620 so that a region commonly included in the input transformed image 620 and the registered transformed image 323 overlaps. For another example, the fingerprint recognition device may scale, rotate, and/or move the registered modified image 323 . However, since both the input deformed image 620 and the registered deformed image 323 correspond to partial images, the size of the overlapping region may be significantly smaller than the respective sizes of the input deformed image 620 and the registered deformed image 323.

예를 들어, 지문 인식 장치는 정합 결과 도출된 이동 정보에 기초하여 입력 변형 이미지(620)를 이동시킬 수 있다. 지문 인식 장치는 정합 결과 도출된 회전 정보에 기초하여 입력 변형 이미지(620)를 회전 시킬 수 있다. 지문 인식 장치는 정합 결과 도출된 스케일 정보에 기초하여 입력 변형 이미지(620)를 확대 또는 축소 시킬 수 있다. 이동 정보, 회전 정보, 및 스케일 정보는 입력 변형 이미지(620)와 특정 등록 변형 이미지(323) 사이에서 상대적이므로, 지문 인식 장치는 입력 변형 이미지(620)를 이동, 회전, 또는 스케일 하는 대신 등록 변형 이미지(323)를 이동, 회전, 또는 스케일 할 수도 있다. 도 8에서는 지문 인식 장치가 등록 변형 이미지(323)에 대하여 입력 변형 이미지(620)를 이동 및 회전 시킨 결과를 도시한다.For example, the fingerprint recognition device may move the input modified image 620 based on the movement information derived as a matching result. The fingerprint recognition device may rotate the input deformed image 620 based on the rotation information derived from the matching result. The fingerprint recognition device may enlarge or reduce the input modified image 620 based on the scale information derived as a matching result. Since the movement information, rotation information, and scale information are relative between the input deformed image 620 and the specific registered deformed image 323, the fingerprint recognition device may move, rotate, or scale the registered deformed image 323 instead of moving, rotating, or scaling the input deformed image 620. 8 shows the result of the fingerprint recognition device moving and rotating the input modified image 620 with respect to the registered modified image 323.

일 실시예에 따른 지문 인식 장치는 정확도를 높이기 위하여, 변형된 이미지가 아닌 원본 이미지로부터 특성 정보를 추출할 수 있다. 또한, 지문 인식 장치는 등록 특성 정보를 미리 저장하고 있으므로, 등록 특성 정보를 추출하는 과정이 스킵되어 보다 빠르게 정합을 수행할 수 있다.In order to increase accuracy, the fingerprint recognition device according to an embodiment may extract characteristic information from an original image rather than a modified image. In addition, since the fingerprint recognition device stores registration characteristic information in advance, a process of extracting registration characteristic information is skipped and matching can be performed more quickly.

이후, 지문 인식 장치는 이동, 회전, 스케일로 인하여 입력 변형 이미지(620)와 특정 등록 변형 이미지(323)가 중첩되면, 중첩된 영역에서 정합 스코어를 계산할 수 있다. 예를 들어, 지문 인식 장치는 영상 밝기 값 기반의 정규화 상관 기법(normalized correlation)에 기초하여 정합 스코어를 계산할 수 있다. 실시예들은 입력 지문 이미지가 임의의 각도로 입력되더라도 정확하게 지문을 인식할 수 있다. 스코어 계산은 하기 도 9에서 상세히 설명한다.Thereafter, when the input modified image 620 and the specific registered modified image 323 overlap due to movement, rotation, and scale, the fingerprint recognition device may calculate a matching score in the overlapped area. For example, the fingerprint recognition device may calculate a matching score based on a normalized correlation based on an image brightness value. According to the embodiments, a fingerprint can be accurately recognized even if an input fingerprint image is input at an arbitrary angle. Score calculation is described in detail in FIG. 9 below.

도 9는 일 실시예에 따른 지문 인식을 위한 스코어를 계산하는 방법을 도시한 흐름도이다.9 is a flowchart illustrating a method of calculating a score for fingerprint recognition according to an exemplary embodiment.

지문 인식 장치는 도 4a의 단계(430)에서 지문을 인식하기 위하여, 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지가 중첩된 영역에서, 쿼리 지문에 대응하는 이미지가 등록 지문에 대응하는 이미지에 매칭되는 정도를 나타내는 스코어를 계산할 수 있다. 도 4a의 단계(430)에서 지문 인식을 위한 스코어 계산은 도 9의 단계들(910 내지 940)을 통해 설명한다.In order to recognize a fingerprint in step 430 of FIG. 4A , the fingerprint recognition device may calculate a score representing the degree to which an image corresponding to a query fingerprint matches an image corresponding to a registered fingerprint in an area where an image corresponding to a query fingerprint and an image corresponding to a registered fingerprint overlap. Score calculation for fingerprint recognition in step 430 of FIG. 4A will be described through steps 910 to 940 of FIG. 9 .

우선, 단계(910)에서 지문 인식 장치의 프로세서는 입력 지문 이미지가 변형된 입력 변형 이미지 및 등록 지문에 대응하는 등록 변형 이미지 사이의 중첩된 영역에 대한 유사도를 계산할 수 있다.First, in operation 910, the processor of the fingerprint recognition device may calculate a similarity of an overlapping region between an input modified image in which an input fingerprint image is modified and a registered modified image corresponding to a registered fingerprint.

예를 들어, 입력 변형 이미지 및 등록 변형 이미지는 1 비트로 양자화된 타입의 이미지(예를 들어, 이진화된 이미지)인 경우, 아래와 같은 방식으로 유사도가 계산될 수 있다. 지문 인식 장치는 상술한 단계(510)에서 완전 비트(full bit)의 입력 지문 이미지를 1 비트의 입력 변형 이미지로 변환할 수 있다. 지문 인식 장치는 이진화된 입력 변형 이미지 및 등록 변형 이미지 간의 중첩된 영역에 대한 유사도를 하기 수학식 2에 따라 계산할 수 있다.For example, if the input transformed image and the registered transformed image are 1-bit quantized type images (eg, binarized images), similarity may be calculated in the following manner. The fingerprint recognition device may convert a full-bit input fingerprint image into a 1-bit modified input image in step 510 described above. The fingerprint recognition device may calculate the similarity of the overlapping region between the binarized input modified image and the registered modified image according to Equation 2 below.

상술한 수학식 2에서 M_bin은 입력 변형 이미지 및 등록 변형 이미지 간의 유사도를 나타낼 수 있다. E_bin(x,y)은 중첩된 영역의 x, y좌표의 등록 변형 이미지의 이진화 값(binary value), Q_bin(x,y)는 중첩된 영역의 x, y좌표의 입력 변형 이미지의 이진화 값을 나타낼 수 있다. '&'는 비트와이즈(bitwise) AND 연산자를 나타낼 수 있다. M_area는 입력 변형 이미지 및 등록 변형 이미지가 정합된 결과에서 두 이미지가 중첩된 영역의 픽셀의 개수를 나타낼 수 있다. (x,y)는 중첩된 영역 내에서의 좌표를 나타낼 수 있다. 입력 변형 이미지 및 등록 변형 이미지가 유사할 수록, M_bin의 값이 크게 나타날 수 있다.In Equation 2 above, M _bin may represent a degree of similarity between an input deformed image and a registered deformed image. E _bin (x, y) is the binary value of the registered deformed image of the x, y coordinates of the overlapped area, and Q _bin (x, y) is the binary value of the input deformed image of the x, y coordinates of the overlapped area. '&' may represent a bitwise AND operator. M _area may represent the number of pixels of an area where two images overlap in a result of matching an input transformed image and a registered transformed image. (x,y) may represent coordinates within the overlapping area. As the input deformed image and the registered deformed image are similar, the value of M _bin may appear larger.

그리고 단계(920)에서 지문 인식 장치의 프로세서는 입력 지문 이미지와 연관된 정보를 결정할 수 있다. 예를 들어, 프로세서는 입력 지문 이미지, 즉 원본 이미지의 정보를 이용할 수 있고, 이를 통해 정확도가 개선될 수 있다. 지문 인식 장치는 입력 지문 이미지와 연관된 정보를 하기 수학식 3에 따라 결정할 수 있다.In operation 920, the processor of the fingerprint recognition device may determine information related to the input fingerprint image. For example, the processor may use information of an input fingerprint image, that is, an original image, and through this, accuracy may be improved. The fingerprint recognition device may determine information related to the input fingerprint image according to Equation 3 below.

상술한 수학식 3에서 norm(qSum_E1)은 입력 변형 이미지 및 등록 변형 이미지가 중첩된 영역에서 '1'의 값을 가지는 입력 변형 이미지(예를 들어, 이진화된 이미지)의 픽셀에 대응하는 입력 지문 이미지(예를 들어, 변형되기 전의 이미지)의 픽셀의 값들을 모두 합산한 것을 정규화(Normalize)한 값을 나타낼 수 있다. norm(qSum_E0)은 중첩된 영역에서 '0'의 값을 가지는 입력 변형 이미지의 픽셀에 대응하는 입력 지문 이미지의 픽셀의 값들을 모두 합산한 것을 정규화한 값을 나타낼 수 있다. norm(qSum_E1)의 값이 클 수록, 원본 입력 지문 이미지의 최대값에 가까운 픽셀 값이 이진화된 이미지의 1로 변환된 것이므로 정보의 손실이 적고, norm(qSum_E0)의 값이 작을 수록, 원본 입력 지문 이미지의 최소값에 가까운 픽셀 값이 이진화된 이미지의 0으로 변환된 것이므로 정보의 손실이 적을 수 있다. 따라서, M_Ratio값이 클수록 손실된 정보가 적은 것이므로, 입력 변형 이미지 및 등록 변형 이미지 간에 계산된 유사도가 보다 정확한 것으로 고려될 수 있다.In Equation 3, norm(qSum _E1 ) may represent a normalized value obtained by summing all pixel values of the input fingerprint image (eg, the image before modification) corresponding to the pixel of the input modified image (eg, the binarized image) having a value of '1' in the region where the input modified image and the registered modified image overlap. norm(qSum _E0 ) may represent a normalized value obtained by summing all pixel values of the input fingerprint image corresponding to pixels of the input modified image having a value of '0' in the overlapped region. _The larger the value of norm(qSum _E1 ), the smaller the pixel value close to the maximum value of the original input fingerprint image is converted to 1 in the binarized image, so the loss of information is small. Accordingly, since the larger the value of M _Ratio is, the less information is lost, and thus the calculated similarity between the input modified image and the registered modified image may be considered more accurate.

예를 들어, 입력 지문 이미지가 8 비트 이미지이고, 입력 변형 이미지가 1 비트의 이진화 이미지인 경우, 이미지 정보가 1/8로 감소되어, 입력 변형 이미지에 대한 인식도가 저하될 수 있는 바, 이를 보완하기 위하여 지문 인식 장치는 입력 지문 이미지와 연관된 정보를 결정하여 지문 인식에 활용할 수 있다.For example, if the input fingerprint image is an 8-bit image and the input modified image is a 1-bit binary image, the image information is reduced to 1/8, and thus the recognition of the input modified image may deteriorate.

이어서 단계(930)에서 지문 인식 장치의 프로세서는 입력 변형 이미지 및 등록 변형 이미지와 관련된 히스토그램 정보를 결정할 수 있다. 예를 들어, 프로세서는 중첩된 영역을 서브영역(sub region)으로 분할하고, 분할된 서브영역마다 쿼리 지문에 대응하는 이미지 및 등록 지문에 대응하는 이미지와 관련된 히스토그램 정보를 계산할 수 있다. 분할된 서브영역에 대한 히스토그램 정보의 계산은 하기 도 12에서 상세히 설명한다.Subsequently, in step 930, the processor of the fingerprint recognition device may determine histogram information related to the input modified image and the registered modified image. For example, the processor may divide the overlapping region into sub regions and calculate histogram information related to an image corresponding to a query fingerprint and an image corresponding to an enrolled fingerprint for each divided sub region. Calculation of histogram information for the divided sub-regions will be described in detail with reference to FIG. 12 below.

일 실시예에 따르면, 프로세서는 서브영역에 포함되는 입력 변형 이미지의 픽셀 및 등록 변형 이미지의 픽셀 간의 차이가 정규화된 값을 계산할 수 있다. 프로세서는 모든 서브영역의 정규화된 픽셀 차이 값 중 최대 값 및 최소값의 차이(이하, H_max _-min)를 히스토그램 정보로서 계산할 수 있다. 또한, 프로세서는 각 서브영역의 정규화된 픽셀 차이 값의 분포를 표현한 값(이하, H_distr)을 히스토그램 정보로서 계산할 수도 있다. 다만, 히스토그램 정보를 이로 한정하는 것은 아니다.According to an embodiment, the processor may calculate a normalized value of a difference between a pixel of the input transformed image and a pixel of the registered transformed image included in the sub-region. The processor may calculate a difference between a maximum value and a minimum value among normalized pixel difference values of all sub-regions (hereinafter, H _max _-min ) as histogram information. Also, the processor may calculate a value expressing the distribution of normalized pixel difference values of each subregion (hereinafter, H _distr ) as histogram information. However, the histogram information is not limited thereto.

그리고 단계(940)에서 지문 인식 장치의 프로세서는 유사도, 입력 지문 이미지와 연관된 정보 및 히스토그램 정보에 기초하여 스코어를 계산할 수 있다. 프로세서는 예를 들어, 하기 수학식 4와 같이 스코어를 계산할 수 있다.In operation 940, the processor of the fingerprint recognition device may calculate a score based on similarity, information associated with the input fingerprint image, and histogram information. The processor may calculate the score as shown in Equation 4 below, for example.

상술한 수학식 4에서, M_bin은 상술한 수학식 2에 의해 계산될 수 있고, M_Ratio은 상술한 수학식 3에 의해 계산될 수 있다. H_max _-min 및 H_distr는 상술한 단계(930)에서 결정되는 히스토그램 정보의 일종을 나타낼 수 있다. M_score는 최종적으로 결정된 스코어로서, 입력 변형 이미지 및 등록 변형 이미지가 정합되는 정도를 나타낼 수 있고, 확률로서 표현될 수 있다. 스코어 M_score의 값이 클 수록 입력 변형 이미지 및 등록 변형 이미지는 동일한 것일 확률이 클 수 있다. 예를 들어, 프로세서는 입력 변형 이미지 및 특정 등록 변형 이미지 간에 계산된 스코어 M_score의 값이 임계값을 초과하면, 입력 변형 이미지에 대응하는 입력 지문이 특정 등록 변형 이미지에 대응하는 특정 등록 지문과 동일한 것으로 인식할 수 있다.In Equation 4 above, M _bin may be calculated by Equation 2 described above, and M _Ratio may be calculated by Equation 3 described above. H _max _-min and H _distr may represent a kind of histogram information determined in step 930 described above. M _score is a finally determined score, may represent the degree to which the input modified image and the registered modified image are matched, and may be expressed as a probability. As the value of the score M _score increases, the probability that the input modified image and the registered modified image are the same may increase. For example, if the value of the score M _score calculated between the input modified image and the specific registered modified image exceeds a threshold value, the processor may recognize that the input fingerprint corresponding to the input modified image is the same as the specific registered fingerprint corresponding to the specific registered modified image.

도 10 및 도 11은 일 실시예에 따라 입력 변형 이미지 및 등록 변형 이미지가 매칭된 결과를 시각화한 도면이다.10 and 11 are diagrams visualizing a result of matching an input modified image and a registered modified image according to an exemplary embodiment.

도 10에서 등록 변형 이미지(1020)에 대해 입력 변형 이미지(1010)가 정합될 수 있다. 등록 변형 이미지(1020) 및 입력 변형 이미지(1010)가 중첩된 영역(1090)에서 두 이미지의 각각에 나타나는 지문이 매칭되는 선은 굵은 선으로 도시될 수 있다. 도 10은 등록 변형 이미지(1020) 및 입력 변형 이미지(1010)가 잘 매칭되는 경우로서 중첩되는 영역(1090) 내의 지문이 모두 굵은 선으로 나타나는 바, 두 이미지는 서로 동일한 지문에 관한 것일 수 있다.In FIG. 10 , an input modified image 1010 may be matched to a registered modified image 1020 . In the region 1090 where the registration modified image 1020 and the input modified image 1010 overlap, a line in which fingerprints appearing in each of the two images are matched may be shown as a thick line. 10 shows a case in which the registered modified image 1020 and the input modified image 1010 are well matched, and all fingerprints within the overlapping area 1090 appear as thick lines, so the two images may be related to the same fingerprint.

도 11에서는 등록 변형 이미지(1120)에 대해 입력 변형 이미지(1110)가 정합될 수 있다. 도 10과 유사하게 등록 변형 이미지(1120) 및 입력 변형 이미지(1110)가 중첩된 영역(1190)에서 두 이미지의 각각에 나타나는 지문이 매칭되는 선은 굵은 선으로 도시될 수 있다. 다만, 도 11은 도 10과 달리 일부 영역(1130)에서 지문이 매칭되지 않을 수 있다. 일부 영역(1130)을 제외한 나머지 영역에서는 지문이 대부분 매칭되므로, 상술한 도 9의 단계(910)에서 유사도가 비교적 높게 계산될 수 있다. 지문 인식 장치는 중첩된 영역 중 일부 영역(1130)에서 지문이 매칭되지 않는 경우를 고려하기 위하여, 하기 도 12와 같이 중첩된 영역을 서브영역으로 분할하여 히스토그램 정보를 결정할 수 있다.In FIG. 11 , the input modified image 1110 may be matched with the registered modified image 1120 . Similar to FIG. 10 , in the area 1190 where the modified registration image 1120 and the input modified image 1110 overlap, a line in which fingerprints appearing in each of the two images are matched may be shown as a thick line. However, in FIG. 11 , unlike FIG. 10 , fingerprints may not be matched in a partial area 1130 . Since most of the fingerprints are matched in the remaining areas except for the partial area 1130, the degree of similarity can be calculated relatively high in step 910 of FIG. 9 described above. The fingerprint recognition device may determine histogram information by dividing the overlapped region into sub-regions as shown in FIG. 12 to consider a case in which fingerprints do not match in some regions 1130 of the overlapped regions.

도 12는 일 실시예에 따라 중첩된 영역을 분할하여 스코어를 계산하는 과정을 도시한 도면이다.12 is a diagram illustrating a process of dividing an overlapping region and calculating a score according to an embodiment.

일 실시예에 따른 프로세서는 중첩된 영역(1190)을 서브영역으로 분할하고, 분할된 서브영역 내에서 입력 변형 이미지(1110) 및 등록 변형 이미지(1120)에 기초하여 히스토그램 정보를 결정할 수 있다. 프로세서는 서브영역 단위로 히스토그램 정보를 고려함으로써, 중첩된 영역(1190)에서 단순 패턴의 지문이 나타나는 경우에도 지문의 인식도를 개선할 수 있다.The processor according to an embodiment may divide the overlapped region 1190 into sub-regions and determine histogram information in the divided sub-regions based on the input modified image 1110 and the registered modified image 1120 . By considering the histogram information in units of sub-regions, the processor may improve fingerprint recognition even when a simple pattern of fingerprints appears in the overlapping region 1190 .

예를 들어, 프로세서는 도 12에 도시된 바와 같이, 입력 변형 이미지(1110) 및 등록 변형 이미지(1120) 간의 중첩된 영역(1190)을 격자 형태(1240)의 서브영역들로 분할할 수 있다. 프로세서는 각 서브 영역에 대해 입력 변형 이미지(1110) 및 등록 변형 이미지(1120) 간의 픽셀의 차를 계산할 수 있다. 이후 프로세서는 각 서브영역들의 픽셀의 차이 값들을 히스토그램화하여 히스토그램 정보를 상술한 도 9의 단계(930)과 같이 결정할 수 있다.For example, as shown in FIG. 12 , the processor may divide the overlapped region 1190 between the input modified image 1110 and the registered modified image 1120 into subregions of a lattice shape 1240 . The processor may calculate a pixel difference between the input modified image 1110 and the registered modified image 1120 for each sub-region. Thereafter, the processor may histogram the pixel difference values of each sub-region to determine histogram information as in step 930 of FIG. 9 described above.

도 12는 도 11에서 상술한 바와 같이 중첩된 두 이미지들간의 유사도는 높지만 다른 지문인 경우이다. 도 12에 도시된 일부 서브블럭들(1241, 1242)에서는 지문이 잘 매칭되지 않으므로, 해당 서브블럭들(1241, 1242)에서는 입력 변형 이미지(1110) 및 등록 변형 이미지(1120) 간의 픽셀 차이가 크게 계산될 수 있다. 프로세서는 입력 변형 이미지(1110) 및 등록 변형 이미지(1120)의 서브블럭들에서의 픽셀 차를 각 서브블럭의 픽셀 개수로 나눠서 정규화할 수 있고, 각 서브블럭들의 정규화된 픽셀 차이 값 중 가장 큰 값과 작은 값의 차(H_max _-min)를 계산할 수 있다. 프로세서는 H_max _-min의 값이 히스토그램 임계값보다 크면 상술한 도 9의 단계(910)에서 계산된 유사도가 높더라도 입력 변형 이미지(1110) 및 등록 변형 이미지(1120)가 서로 다른 지문에 관한 이미지인 것으로 판단할 수 있다. 또한, 프로세서는 각 서브블럭들의 정규화된 픽셀 차이 값을 히스토그램화 하여 분포값을 획득할 수 있고, 입력 변형 이미지(1110) 및 등록 변형 이미지(1120)의 인식도를 개선하는데 이용할 수 있다.FIG. 12 is a case in which the similarity between the two overlapping images is high as described above in FIG. 11 but different fingerprints. Since fingerprints do not match well in some of the subblocks 1241 and 1242 shown in FIG. 12 , a large pixel difference between the input modified image 1110 and the registered modified image 1120 can be calculated in the corresponding subblocks 1241 and 1242. The processor may normalize the pixel difference in the subblocks of the input modified image 1110 and the registered modified image 1120 by dividing the pixel difference by the number of pixels in each subblock, and calculate the difference (H _max _-min ) between the largest value and the smallest value among the normalized pixel difference values of each subblock. If the value of H _max _-min is greater than the histogram threshold, the processor may determine that the input modified image 1110 and the registered modified image 1120 are images related to different fingerprints even if the similarity calculated in step 910 of FIG. 9 is high. In addition, the processor may histogram the normalized pixel difference values of each subblock to obtain a distribution value, and may use it to improve recognition of the input modified image 1110 and the registered modified image 1120 .

도 13은 일 실시예에 따른 지문 인식 장치의 구성을 도시한 블럭도이다.13 is a block diagram illustrating a configuration of a fingerprint recognition device according to an exemplary embodiment.

지문 인식 장치는 센서(1320), 프로세서(1310) 및 메모리(1330)를 포함한다. 센서(1320), 프로세서(1310), 및 메모리(1330)는 버스(1340)를 통하여 서로 통신할 수 있다.The fingerprint recognition device includes a sensor 1320, a processor 1310, and a memory 1330. Sensor 1320 , processor 1310 , and memory 1330 may communicate with each other through bus 1340 .

센서(1320)는 도 3에 도시된 지문 센서(310)일 수 있다. 센서(1320)는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 지문 영상을 캡쳐할 수 있다. 영상은 프로세서(1310)로 출력된다.The sensor 1320 may be the fingerprint sensor 310 shown in FIG. 3 . The sensor 1320 may capture a fingerprint image using a well-known method (eg, a method of converting an optical image into an electrical signal). The image is output to the processor 1310.

프로세서(1310)는 도 1 내지 도 12를 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 12를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 또한, 프로세서(910)는 도 3의 지문 인식 장치(300)에 포함될 수 있다.The processor 1310 may include at least one device described above with reference to FIGS. 1 to 12 or may perform at least one method described above with reference to FIGS. 1 to 12 . Also, the processor 910 may be included in the fingerprint recognition device 300 of FIG. 3 .

메모리(1330)는 센서(1320)에 의하여 캡쳐된 후 변형되어 등록된 등록 변형 이미지들 및 등록 변형 이미지들에 대응하는 등록 특성 정보들을 저장할 수 있다. 또한, 메모리(1330)는 센서(1320)에 의하여 캡쳐된 후 변형된 입력 변형 이미지, 프로세서(1310)에 의하여 처리된 정합 결과, 및/또는 프로세서(1310)에 의하여 계산된 유사도, 및 스코어 등을 저장할 수 있다. 메모리(1330)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.The memory 1330 may store registered modified images captured by the sensor 1320 and then modified and registered, and registration characteristic information corresponding to the registered modified images. In addition, the memory 1330 may store an input modified image captured by the sensor 1320 and modified, a matching result processed by the processor 1310, and/or a similarity calculated by the processor 1310, a score, and the like. Memory 1330 may be volatile memory or non-volatile memory.

또한, 메모리(1330)는 도 3에 도시된 이미지 데이터베이스(320) 및 특성 데이터베이스(330)를 저장할 수 있다. 메모리(1330)가 특성 데이터베이스(330)를 저장함으로써 프로세서(1310)에 의한 이미지 간의 정합이 빠르게 수행될 수 있다. 또한, 메모리(1330)는 이미지 데이터베이스(320)로서 원본 이미지가 변형된 등록 변형 이미지들을 저장함으로써 이미지 데이터베이스(320)의 크기를 줄일 수 있다.Also, the memory 1330 may store the image database 320 and the characteristic database 330 shown in FIG. 3 . Since the memory 1330 stores the feature database 330, matching between images by the processor 1310 can be performed quickly. Also, the memory 1330 may reduce the size of the image database 320 by storing registered transformed images in which the original image is transformed as the image database 320 .

프로세서(1310)는 프로그램을 실행하고, 지문 인식 장치를 제어할 수 있다. 프로세서(1310)에 의하여 실행되는 프로그램 코드는 메모리(1330)에 저장될 수 있다. 지문 인식 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The processor 1310 may execute a program and control a fingerprint recognition device. Program codes executed by the processor 1310 may be stored in the memory 1330 . The fingerprint recognition device may be connected to an external device (eg, a personal computer or network) through an input/output device (not shown) and exchange data.

지문 인식 장치는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 장치들을 포함할 수 있다.The fingerprint recognition device may include various electronic devices such as mobile phones, smart phones, PDAs, tablet computers, laptop computers, computing devices such as personal computers, tablet computers, and netbooks, or electronic products such as televisions, smart televisions, and security devices for gate control.

이상에서 사용자의 지문의 일부를 이용하여 사용자를 인식하는 경우를 설명하였으나, 실시예들은 사용자의 생체 데이터의 일부를 이용하여 사용자를 인식하는 경우로 확장될 수 있다. 여기서, 생체 데이터는 사용자의 지문에 관한 정보, 정맥(blood vessel)에 관한 정보, 홍채(iris)에 관한 정보 등을 포함할 수 있다. 이 경우, 프로세서(1310)는 센서(1320)로부터 사용자의 생체 데이터의 일부에 해당하는 입력 데이터를 수신하고, 입력 데이터를 변형 이미지로 변형하며, 변형 이미지들과 기 등록된 생체 데이터의 부분 데이터들에 해당하는 등록 변형 데이터들을 비교하며, 비교 결과에 기초하여 사용자를 인식할 수 있다.Although the case of recognizing a user using a part of the user's fingerprint has been described above, the embodiments can be extended to a case of recognizing a user using a part of the user's biometric data. Here, the biometric data may include user's fingerprint information, blood vessel information, iris information, and the like. In this case, the processor 1310 may receive input data corresponding to part of the user's biometric data from the sensor 1320, transform the input data into a modified image, compare the modified images with registered modified data corresponding to previously registered partial data of the biometric data, and recognize the user based on the comparison result.

일 예로, 센서(1320)는 사용자의 정맥 패턴을 인식하는 센서를 포함할 수 있다. 센서(1320)는 사용자의 손등의 피부로부터 정맥 패턴을 추출할 수 있다. 센서(1320)는 적외선 조명과 필터를 사용하여 피부에 대한 혈관의 밝기 대비를 최대화한 뒤, 정맥 패턴을 포함하는 이미지를 획득할 수 있다. 이 때, 센서(1320)는 정맥 패턴을 변형한 변형 이미지를 획득할 수 있다. 이 경우, 프로세서(1310)는 정맥 패턴 중 일부에 해당하는 변형 이미지와 기 등록된 정맥 패턴의 변형 이미지들을 비교함으로써, 사용자를 인식할 수 있다.For example, the sensor 1320 may include a sensor that recognizes a user's vein pattern. The sensor 1320 may extract a vein pattern from the skin of the back of the user's hand. The sensor 1320 may obtain an image including a vein pattern after maximizing brightness contrast of blood vessels with respect to the skin using infrared light and a filter. At this time, the sensor 1320 may obtain a modified image in which the vein pattern is modified. In this case, the processor 1310 may recognize the user by comparing modified images corresponding to some of the vein patterns with modified images of pre-registered vein patterns.

다른 예로, 센서(1320)는 사용자의 홍채 패턴을 인식하는 센서를 포함할 수 있다. 센서(1320)는 사용자의 동공과 공막(눈의 백색 영역) 사이의 홍채 패턴을 스캔 또는 캡쳐할 수 있다. 이 때, 센서(1320)는 홍채 패턴을 변형한 변형 이미지를 획득할 수 있다. 이 경우, 프로세서(1310)는 홍채 패턴 중 일부에 해당하는 변형 이미지와 기 등록된 홍채 패턴의 변형 이미지들을 비교함으로써, 사용자를 인식할 수 있다.As another example, the sensor 1320 may include a sensor that recognizes a user's iris pattern. The sensor 1320 may scan or capture the iris pattern between the user's pupil and the sclera (the white area of the eye). At this time, the sensor 1320 may obtain a modified image in which the iris pattern is modified. In this case, the processor 1310 may recognize a user by comparing a modified image corresponding to a part of an iris pattern with previously registered modified images of an iris pattern.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be implemented using one or more general purpose or special purpose computers, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will recognize that the processing device may include a plurality of processing elements and/or multiple types of processing elements. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, and may configure a processing device to operate as desired, or may independently or collectively direct a processing device. Software and/or data may be permanently or temporarily embodied in any tangible machine, component, physical device, virtual equipment, computer storage medium or device, or transmitted signal wave, to be interpreted by, or to provide instructions or data to, a processing device. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, and flash memory. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, even if the described techniques are performed in an order different from the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or replaced or substituted by other components or equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims

In the fingerprint recognition method,
generating an enrollment modified image by modifying a fingerprint image corresponding to a fingerprint to be enrolled;
extracting enrollment property information from the fingerprint image;
mapping between the registered modified image and the registered characteristic information, and storing the registered modified image and the registered characteristic information;
matching an input modified image generated by modifying an input fingerprint image received through a sensor with the registered modified image;
dividing a region where the input modified image and the registered modified image overlap in a matching result of the input modified image and the registered modified image into sub regions;
calculating histogram information of the input deformed image with respect to the registered deformed image for each divided sub-region; and
Calculating a score for fingerprint recognition based on the histogram information
Fingerprint recognition method comprising a.

According to claim 1,
The step of generating the registered deformed image,
Transforming the fingerprint image in at least one of a spatial domain and a frequency domain to generate the registered modified image.
Fingerprint recognition method comprising a.

According to claim 1,
The step of extracting the registration characteristic information,
extracting registration phase information from the fingerprint image based on a frequency domain conversion technique;
Fingerprint recognition method comprising a.

According to claim 1,
The step of matching the input modified image and the registered modified image,
receiving the input fingerprint image;
extracting characteristic information from a query fingerprint appearing in the input fingerprint image;
generating an input modified image by modifying the input fingerprint image; and
matching the input modified image and the registered modified image based on the extracted characteristic information and the registered characteristic information;
including,
The fingerprint recognition method,
recognizing the query fingerprint based on the matching result;
Fingerprint recognition method further comprising a.

delete

According to claim 1,
Calculating the score is
Calculating the score based on at least one of a similarity between the input modified image and the registered modified image, information related to the input fingerprint image, and histogram information related to the input modified image and the registered modified image.
Fingerprint recognition method comprising a.

delete

According to claim 4,
The matching step is
determining at least one of movement information, rotation information, and scale information between the input modified image and the registered modified image, based on the characteristic information and the registration characteristic information;
Fingerprint recognition method comprising a.

According to claim 4,
The step of extracting the characteristic information,
extracting phase information from the query fingerprint based on a frequency domain transformation technique;
including,
Matching the images,
Matching the input modified image and the registered modified image using a phase of correlation (POC) between the phase information and pre-stored registered phase information related to the registered fingerprint
Fingerprint recognition method comprising a.

A computer program stored in a medium to execute the method of claim 1 in combination with hardware.

In the fingerprint recognition device,
a sensor for receiving a fingerprint image corresponding to a fingerprint to be registered;
a processor transforming the fingerprint image to generate a modified registration image and extracting registration characteristic information from the fingerprint image; and
A memory for mapping between the registered deformed image and the registered characteristic information and storing the registered deformed image and the registered characteristic information
including,
the processor,
Matching an input modified image generated by modifying an input fingerprint image received through the sensor and the registered modified image;
Dividing a region in which the input modified image and the registered modified image overlap in a matching result of the input modified image and the registered modified image into sub regions;
Calculate histogram information of the input deformed image with respect to the registered deformed image for each of the divided sub-regions;
Calculating a score for fingerprint recognition based on the histogram information,
fingerprint reader.

According to claim 11,
the processor,
Transforming the fingerprint image in at least one of a spatial domain and a frequency domain to generate the registered modified image;
fingerprint reader.

According to claim 11,
the processor,
Based on a frequency domain conversion technique, extracting registration phase information from the fingerprint image,
fingerprint reader.

According to claim 11,
The sensor,
Receiving the input fingerprint image;
the processor,
extracting characteristic information from a query fingerprint appearing in the input fingerprint image, matching an input modified image deformed from the input fingerprint image and the registered modified image based on the extracted characteristic information and the registered characteristic information, and recognizing the query fingerprint based on the matching result;
fingerprint reader.

delete

According to claim 11,
the processor,
Calculating a similarity of an overlapped region between the input modified image and the registered modified image,
fingerprint reader.

According to claim 11,
the processor,
calculating the score based on at least one of a similarity between the input modified image and the registered modified image, information associated with the input fingerprint image, and histogram information related to the input modified image and the registered modified image;
fingerprint reader.

delete

According to claim 14,
the processor,
Based on the characteristic information and the registration characteristic information, determining at least one of movement information, rotation information, and scale information between the input deformed image and the registered deformed image;
fingerprint reader.

According to claim 14,
the processor,
Based on a frequency domain conversion technique, extracting phase information from the query fingerprint, and matching the input modified image and the registered modified image using phase correlation between the phase information and pre-stored registered phase information associated with the registered fingerprint,
fingerprint reader.