KR102286455B1 - Method for generating fake iris using artificial intelligence, recording medium and device for performing the method - Google Patents

Method for generating fake iris using artificial intelligence, recording medium and device for performing the method Download PDF

Info

Publication number
KR102286455B1
KR102286455B1 KR1020200039129A KR20200039129A KR102286455B1 KR 102286455 B1 KR102286455 B1 KR 102286455B1 KR 1020200039129 A KR1020200039129 A KR 1020200039129A KR 20200039129 A KR20200039129 A KR 20200039129A KR 102286455 B1 KR102286455 B1 KR 102286455B1
Authority
KR
South Korea
Prior art keywords
iris
image
code
generating
fake
Prior art date
Application number
KR1020200039129A
Other languages
Korean (ko)
Inventor
김계영
최재갑
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020200039129A priority Critical patent/KR102286455B1/en
Application granted granted Critical
Publication of KR102286455B1 publication Critical patent/KR102286455B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • G06K9/00597
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

A fake iris generating method using artificial intelligence comprises: a step of learning a process for generating an iris image from an edge image through CycleGAN by using an iris image and an edge image acquired from an iris recognizer as a data set; a step of quantizing an inputted iris image to convert an iris code having a real part and an imaginary part into an arbitrary positive value if the iris code is 1 and convert the iris code into an arbitrary negative value if the iris code is 0; a step of inverting the converted iris code through a formula of a one-dimensional Gabor filter expressed in a system of equations to reconstruct the iris code into an iris image; a step of converting the reconstructed rectangular iris image into an orthogonal coordinate system to generate a conic iris image; and a step of inserting the conic iris image into the iris image generated by learning through CycleGAN to generate a fake iris image. Accordingly, negation samples can be secured in iris research.

Description

인공지능을 활용한 위조 홍채 생성 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR GENERATING FAKE IRIS USING ARTIFICIAL INTELLIGENCE, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}Method for generating fake iris using artificial intelligence, recording medium and apparatus for performing the same

본 발명은 인공지능을 활용한 위조 홍채 생성 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 도그만의 홍채 코드의 복원 취약점을 보완하여 위조 홍채 탐지 연구에서의 위조 홍채 샘플을 확보하는 기술에 관한 것이다.The present invention relates to a method for generating a forged iris using artificial intelligence, a recording medium and an apparatus for performing the same, and more particularly, to a counterfeit iris sample in a study of detecting a fake iris by supplementing the restoration vulnerability of Dogman's iris code. It's about acquiring the technology.

생체인식은 개인의 신분을 확인할 수 있는 기술이다. 지문, 홍채, 지문 등 개인의 신체정보를 사용해 신분을 확인하여 기존의 암호 및 ID 카드를 기반으로 하는 인증 체계에 비해 많은 이점이 있다. 생체정보는 복제나 도용이 불가하기 때문에 변경 및 분실의 위험이 없다는 장점이 있어서 보안 분야에 많이 사용된다. Biometrics is a technology that can verify the identity of an individual. It has many advantages over existing authentication systems based on passwords and ID cards by using personal information such as fingerprints, iris, and fingerprints to verify identity. Since biometric information cannot be copied or stolen, there is no risk of change or loss, so it is widely used in the security field.

하지만 생체인식에서 사용되는 개인의 신체정보는 변경이 불가하기 때문에 유출의 위험성이 크다. 때문에 현재 사용되는 생체인식 기술들은 보안을 위해 개인의 생체정보를 그대로 저장하여 사용하지 않고 정보를 템플릿 형태로 데이터화하여 사용한다. 현재는 이러한 템플릿으로부터 영상을 복원하는 방법이 연구되고 있다. However, there is a high risk of leakage because personal information used in biometrics cannot be changed. For this reason, biometric technologies currently used do not store and use personal biometric information as it is for security, but use the information as data in the form of a template. Currently, a method for reconstructing an image from such a template is being studied.

위조 홍채 탐지 연구는 이전에도 Purkinje Phenomenon이나 주파수 공간에서의 탐색 등을 활용하여 이루어져 왔다. 하지만 이러한 연구과정에서 위조 홍채 샘플의 부재의 문제점이 야기되었다.Fake iris detection research has been previously conducted using Purkinje Phenomenon or search in frequency space. However, in the course of these studies, the problem of the absence of counterfeit iris samples was caused.

또한, 홍채의 경우 홍채인식 단계에서 다양한 방법의 인식방법 및 위조 홍채 탐지 방법이 연구되었다. 하지만 위조 홍채의 데이터의 부재로 인한 출력된 출력물 혹은 인조 홍채 등을 사용하여 위조 홍채판별 연구, 실험이 이루어져왔다.Also, in the case of iris, various methods of recognition and counterfeit iris detection were studied in the iris recognition stage. However, studies and experiments have been conducted to identify counterfeit iris using printed output or artificial iris due to the absence of data on counterfeit iris.

따라서, 기존 위조 홍채 영상 실제 홍채 영상과 차이가 크거나 랜덤적인 홍채 코드를 가지고 있다는 문제점을 가진다.Accordingly, there is a problem in that the existing fake iris image has a large difference from the real iris image or has a random iris code.

KR 10-2019-0135062 AKR 10-2019-0135062 A KR 10-0787114 B1KR 10-0787114 B1 JP 3598109 B2JP 3598109 B2

J. Daugman, "High Confidence Visual Recognition of Persons by a Test of Statistical Independence", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 11, pp. 1148-1161, Nov. 1993 J. Daugman, "High Confidence Visual Recognition of Persons by a Test of Statistical Independence", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 11, pp. 1148-1161, Nov. 1993 J. Daugman, "How Iris Recognition Works", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 14, No. 1, pp. 21-30, Jan. 2004 J. Daugman, "How Iris Recognition Works", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 14, No. 1, pp. 21-30, Jan. 2004 S Minaee, A Abdolrashidi, "Iris-GAN: Learning to Generate Realistic Iris Images Using Convolutional GAN." arXiv preprint arXiv:1812.04822, 2018 S Minaee, A Abdolrashidi, "Iris-GAN: Learning to Generate Realistic Iris Images Using Convolutional GAN." arXiv preprint arXiv:1812.04822, 2018

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 부정샘플을 확보하기 위하여 인공지능을 활용한 위조 홍채 생성 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a method of generating a fake iris using artificial intelligence in order to secure a fraudulent sample.

본 발명의 다른 목적은 상기 인공지능을 활용한 위조 홍채 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium in which a computer program for performing the method for generating a forged iris using artificial intelligence is recorded.

본 발명의 또 다른 목적은 상기 인공지능을 활용한 위조 홍채 생성 방법을 수행하기 위한 장치를 제공하는 것이다.Another object of the present invention is to provide an apparatus for performing the method for generating a fake iris using the artificial intelligence.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법은, 홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 단계; 입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 단계; 변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원하는 단계; 복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성하는 단계; 및 상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성하는 단계;를 포함한다.In a method for generating a fake iris using artificial intelligence according to an embodiment for realizing the object of the present invention, an edge image through CycleGAN using an iris image and an edge image obtained from an iris recognizer as a data set learning a process of generating an iris image from quantizing the input iris image to convert an iris code having a real part and an imaginary part into an arbitrary positive value when the iris code is 1, and into an arbitrary negative value when the iris code is 0; reconstructing the iris code into an iris image by inversely calculating the converted iris code through a formula of a 1D Gabor filter expressed as a simultaneous equation; generating a circular iris image by converting the reconstructed rectangular iris image into a Cartesian coordinate system; and generating a fake iris image by inserting the circular-shaped iris image into the iris image generated by learning through the cyclegen.

본 발명의 실시예에서, 상기 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 단계는, 홍채 인식기로부터 홍채 영상과 에지 영상을 데이터 셋으로 획득하는 단계; 획득한 데이터 셋을 정규화하는 단계; 정규화된 데이터 셋을 U-Net 구조의 사이클겐으로 학습하여 홍채 영상에서 홍채의 에지 영상으로, 홍채의 에지 영상에서 홍채 영상으로 변환하는 양방향 엔코딩으로 학습하는 단계; 및 학습된 엔코딩을 통하여 에지 영상으로부터 홍채 영상을 생성하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the learning of the process of generating an iris image from an edge image through the CycleGAN includes: acquiring an iris image and an edge image from an iris recognizer as a data set; normalizing the acquired data set; Learning the normalized data set with a U-Net structure of Cyclogen, learning by bidirectional encoding converting an iris image to an iris edge image and an iris edge image to an iris image; and generating an iris image from the edge image through the learned encoding.

본 발명의 실시예에서, 상기 홍채 코드를 홍채 영상으로 복원하는 단계는, 실수부와 허수부의 필터식이 세로 방향으로 합쳐진 복원 추정 행렬을 이용하여 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산하는 단계; 및 분리한 순서대로 합성하여 하나의 영상으로 출력하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of reconstructing the iris code into an iris image comprises: calculating the iris code by dividing the iris code line by line in the vertical direction using a reconstruction estimation matrix in which the filter equations of the real part and the imaginary part are vertically combined; and synthesizing them in the separated order and outputting them as one image.

본 발명의 실시예에서, 상기 입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 단계는, 상기 홍채 코드가 1인 경우 1로 변환하고, 상기 홍채 코드가 0인 경우 -1로 변환할 수 있다.In an embodiment of the present invention, the step of quantizing the input iris image and converting the iris code having a real part and an imaginary part into an arbitrary positive value when 1 is 1 and into an arbitrary negative value when 0 includes the steps of: When it is 1, it can be converted to 1, and when the iris code is 0, it can be converted to -1.

본 발명의 실시예에서, 상기 원형모양의 홍채 영상을 생성하는 단계는, 가운데 빈 공간은 0의 화소값으로 대체할 수 있다.In an embodiment of the present invention, in the generating of the circular iris image, the empty space in the middle may be replaced with a pixel value of 0.

본 발명의 실시예에서, 상기 인공지능을 활용한 위조 홍채 생성 방법은, 상기 입력된 홍채 영상을 양자화하는 단계를 더 포함할 수 있다.In an embodiment of the present invention, the method for generating a fake iris using artificial intelligence may further include quantizing the input iris image.

본 발명의 실시예에서, 상기 입력된 홍채 영상을 양자화하는 단계는, 홍채 인식기로부터 인식된 홍채 영상으로부터 홍채 영역을 분리하는 단계; 상기 홍채 영역의 극좌표계 변환을 통해 정규화하는 단계; 1D 가버필터를 사용하여 실수부 값과 허수부 값을 갖는 특징을 추출하는 단계; 및 상기 실수부 값의 영상과 허수부 값의 영상을 가로방향으로 교차하여 붙인 양자화된 홍채 코드를 생성하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of quantizing the input iris image may include separating the iris region from the iris image recognized by the iris recognizer; normalizing the iris region through polar coordinate transformation; extracting a feature having a real part value and an imaginary part value using a 1D Gabor filter; and generating a quantized iris code in which the image of the real value and the image of the imaginary value are intersected in a horizontal direction.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 인공지능을 활용한 위조 홍채 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다. In a computer-readable storage medium according to an embodiment for realizing another object of the present invention, a computer program for performing the method for generating a fake iris using artificial intelligence is recorded.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 장치는, 홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 학습부; 입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 코드 변환부; 변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원하는 영상 복원부; 복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성하는 좌표 변환부; 및 상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성하는 위조 홍채 생성부;를 포함한다.An apparatus for generating a fake iris using artificial intelligence according to an embodiment of the present invention for realizing another object of the present invention uses the iris image and edge image obtained from the iris recognizer as a data set through CycleGAN. a learning unit for learning a process of generating an iris image from an edge image; a code conversion unit that quantizes the input iris image and converts the iris code having a real part and an imaginary part into an arbitrary positive value when the iris code is 1, and into an arbitrary negative value when the iris code is 0; an image restoration unit for reconstructing the iris code into an iris image by inversely calculating the converted iris code through a formula of a 1D Gabor filter expressed as a simultaneous equation; a coordinate conversion unit that converts the reconstructed rectangular iris image into a Cartesian coordinate system to generate a circular iris image; and a fake iris generator generating a fake iris image by inserting the circular iris image into the iris image generated by learning through the cyclegen.

본 발명의 실시예에서, 상기 영상 복원부는, 실수부와 허수부의 필터식이 세로 방향으로 합쳐진 복원 추정 행렬을 이용하여 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산하고, 분리한 순서대로 합성하여 하나의 영상으로 출력할 수 있다.In an embodiment of the present invention, the image restoration unit separates and calculates the iris codes one by one in the vertical direction by using the restoration estimation matrix in which the filter equations of the real part and the imaginary part are combined in the vertical direction, and synthesizes them in the separated order to form one It can be output as a video.

이와 같은 인공지능을 활용한 위조 홍채 생성 방법에 따르면, 위조 홍채 영상 생성 단계에서 홍채 코드를 임의로 삽입하여 위조 홍채 탐지 연구에서의 위조 홍채 샘플 부재의 문제점을 타개할 수 있도록 한다. 이에 따라, 본 발명을 통해 홍채연구에서 필요한 부정 샘플을 확보할 수 있으며, 홍채인식이 중요시되는 현 시점에 위조 홍채 검출 연구의 수준 및 정확도를 높일 수 있다.According to this method of generating a fake iris using artificial intelligence, an iris code is arbitrarily inserted in the step of generating a fake iris image to overcome the problem of the absence of a fake iris sample in a study for detecting a fake iris. Accordingly, through the present invention, it is possible to secure a negative sample necessary for iris research, and it is possible to increase the level and accuracy of a counterfeit iris detection study at the current point in time when iris recognition is important.

도 1은 본 발명의 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 장치의 블록도이다.
도 2는 도 1의 사이클겐(CycleGAN)의 학습 과정을 설명하기 위한 개념도이다.
도 3은 도 1의 학습부의 학습 결과를 설명하기 위한 개념도이다.
도 4는 원형모양의 홍채 영상을 직사각형으로 변환하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 의해 생성된 정규화 영상, 실수부 특징, 허수부 특징 및 홍채 코드의 예시이다.
도 6은 본 발명에 의해 생성된 원본 영상, 실수부 및 허수부 특징, 복원 영상 및 직교좌표계 변환된 홍채 영상의 예시이다.
도 7은 본 발명의 성능을 검증하기 위해 타인의 홍채를 비교하여 산출된 해밍거리의 통계 그래프이다.
도 8은 본 발명의 성능을 검증하기 위해 동일인의 홍채를 비교하여 산출된 해밍거리의 통계 그래프이다.
도 9는 본 발명의 성능을 검증하기 위해 원본 영상과 복원 영상을 비교하여 산출된 해밍거리의 통계 그래프이다.
도 10은 본 발명의 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법의 흐름도이다.
1 is a block diagram of an apparatus for generating a fake iris using artificial intelligence according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram for explaining a learning process of the CycleGAN of FIG. 1 .
FIG. 3 is a conceptual diagram for explaining a learning result of the learning unit of FIG. 1 .
4 is a diagram for explaining a process of converting a circular iris image into a rectangle.
5 is an example of a normalized image, a real part feature, an imaginary part feature, and an iris code generated by the present invention.
6 is an example of an original image, real and imaginary part features, a reconstructed image, and an orthogonal coordinate system-converted iris image generated by the present invention.
7 is a statistical graph of the Hamming distance calculated by comparing the iris of others in order to verify the performance of the present invention.
8 is a statistical graph of the Hamming distance calculated by comparing the iris of the same person in order to verify the performance of the present invention.
9 is a statistical graph of a Hamming distance calculated by comparing an original image and a reconstructed image in order to verify the performance of the present invention.
10 is a flowchart of a method for generating a fake iris using artificial intelligence according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be embodied in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 장치의 블록도이다.1 is a block diagram of an apparatus for generating a fake iris using artificial intelligence according to an embodiment of the present invention.

본 발명에 따른 인공지능을 활용한 위조 홍채 생성 장치(10, 이하 장치)는 GAN 모델을 통해 위조 홍채를 생성하거나 홍채 코드를 역산하여 홍채 영상을 생성하여 위조 홍채의 샘플을 획득하는 기술에 관한 것이다.The device for generating a fake iris (hereinafter referred to as device 10) using artificial intelligence according to the present invention relates to a technique for generating a fake iris through a GAN model or generating an iris image by inversely calculating an iris code to obtain a sample of a fake iris .

본 발명에서는 홍채 영상으로부터 홍채 코드를 만드는 과정을 분석하고 역으로 계산하여 복원하는 방법을 통하여 홍채 코드의 복원 취약성을 분석한다. In the present invention, the restoration vulnerability of the iris code is analyzed by analyzing the process of creating the iris code from the iris image and calculating it in reverse.

이를 위하여 우선 도그만의 홍채 인식방법에 기반하여 자체적인 홍채인식기를 제안한다. 본 발명에서 제안한 홍채인식기는 홍채 영상에서 홍채 영역만을 분할하고 정규화하여, 1D 가버(Gabor)필터를 수행한다. 필터된 영상을 양자화하여 최종적으로 홍채 코드가 형성된다. To this end, we propose our own iris recognizer based on Dog's own iris recognition method. The iris recognizer proposed in the present invention performs a 1D Gabor filter by segmenting and normalizing only the iris region in the iris image. Finally, the iris code is formed by quantizing the filtered image.

본 발명에서는 1D 가버필터의 매개변수를 알고 있다고 가정하고 필터를 역으로 계산하여 홍채 코드로부터 홍채 영상을 복원하고 복원된 영상과 원본 영상을 매치하여 인증결과를 기준으로 홍채 코드의 복원 취약성에 대하여 검증한다.In the present invention, it is assumed that the parameters of the 1D Gabor filter are known, the filter is calculated inversely to restore the iris image from the iris code, and the restored image and the original image are matched to verify the restoration vulnerability of the iris code based on the authentication result. do.

도 1을 참조하면, 본 발명에 따른 장치(10)는 학습부(100), 코드 변환부(310), 영상 복원부(330), 좌표 변환부(350) 및 위조 홍채 생성부(370)를 포함한다. 상기 학습부(100)는 사이클겐(CycleGAN, 110)과 양방향 엔코더(130)를 포함할 수 있다.Referring to FIG. 1 , an apparatus 10 according to the present invention includes a learning unit 100 , a code converting unit 310 , an image restoration unit 330 , a coordinate converting unit 350 , and a fake iris generating unit 370 . include The learning unit 100 may include a CycleGAN 110 and a bidirectional encoder 130 .

본 발명의 상기 장치(10)는 인공지능을 활용한 위조 홍채 생성을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 학습부(100), 상기 코드 변환부(310), 상기 영상 복원부(330), 상기 좌표 변환부(350) 및 상기 위조 홍채 생성부(370)의 구성은 상기 장치(10)에서 실행되는 상기 인공지능을 활용한 위조 홍채 생성을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. In the device 10 of the present invention, software (application) for performing fake iris generation using artificial intelligence may be installed and executed, and the learning unit 100, the code conversion unit 310, and the image restoration The configuration of the unit 330 , the coordinate transformation unit 350 , and the fake iris generating unit 370 is to be controlled by software for generating a fake iris using the artificial intelligence executed in the device 10 . can

상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 학습부(100), 상기 코드 변환부(310), 상기 영상 복원부(330), 상기 좌표 변환부(350) 및 상기 위조 홍채 생성부(370)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The device 10 may be a separate terminal or a module of the terminal. In addition, the configuration of the learning unit 100, the code converting unit 310, the image restoration unit 330, the coordinate converting unit 350, and the forged iris generating unit 370 is formed as an integrated module, It may consist of one or more modules. However, on the contrary, each configuration may be formed of a separate module.

상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The device 10 may be movable or stationary. The apparatus 10 may be in the form of a server or an engine, and may be a device, an application, a terminal, a user equipment (UE), a mobile station (MS), or a wireless device. (wireless device), may be called other terms such as a handheld device (handheld device).

상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The device 10 may execute or manufacture various software based on an operating system (OS), that is, the system. The operating system is a system program for software to use the hardware of the device, and is a mobile computer operating system such as Android OS, iOS, Windows Mobile OS, Bada OS, Symbian OS, Blackberry OS, and Windows series, Linux series, Unix series, It can include all computer operating systems such as MAC, AIX, and HP-UX.

상기 학습부(100)는 홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습한다.The learning unit 100 learns a process of generating an iris image from the edge image through CycleGAN using the iris image and the edge image obtained from the iris recognizer as a data set.

도 2는 도 1의 사이클겐(CycleGAN)의 학습 과정을 설명하기 위한 개념도이다. 도 3은 도 1의 학습부의 학습 결과를 설명하기 위한 개념도이다. FIG. 2 is a conceptual diagram for explaining a learning process of the CycleGAN of FIG. 1 . FIG. 3 is a conceptual diagram for explaining a learning result of the learning unit of FIG. 1 .

상기 학습부(100)의 사이클겐(CycleGAN, 110)은 홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 세팅하고, 세팅된 데이터 셋의 정규화 과정 후 U-Net 구조를 통해 학습한다.The CycleGAN 110 of the learning unit 100 sets the iris image and the edge image obtained from the iris recognizer as a data set, and learns through the U-Net structure after the normalization of the set data set.

상기 학습부(100)의 양방향 엔코더(130)는 홍채 영상에서 홍채의 에지 영상으로, 홍채의 에지 영상에서 홍채 영상으로 변환하는 두 개의 Auto Encoder 학습기이다. 상기 학습부(100)는 학습된 Auto Encoder를 통하여 에지 영상으로부터 홍채 영상 생성한다.The two-way encoder 130 of the learning unit 100 is a two-way auto encoder learner that converts an iris image into an iris edge image and an iris edge image into an iris image. The learning unit 100 generates an iris image from the edge image through the learned Auto Encoder.

GAN(Generative Adversarial Network)은 신경망 기반 생성 모델 중 하나로서 생산자(Generator)와 구별자(Discriminator)를 통해 반복적으로 최적의 솔루션을 학습하고 도출한다. 생산자는 확률 분포를 통해 생성된 랜덤 노이즈를 입력하여 가짜 이미지를 생성한다. 구별자는 입력된 데이터가 생성된 이미지인지 원본 이미지인지 판별한다. GAN의 목적 함수는 아래의 수학식 1과 같다.GAN (Generative Adversarial Network) is one of neural network-based generative models, and iteratively learns and derives an optimal solution through a generator and a discriminator. Producers generate fake images by inputting random noise generated through probability distribution. The discriminator determines whether the input data is a generated image or an original image. The objective function of the GAN is shown in Equation 1 below.

[수학식 1][Equation 1]

Figure 112020033617062-pat00001
Figure 112020033617062-pat00001

이러한 신경망 기반 생산 모델을 통해 위조 홍채 영상을 생성할 수 있으며, 종래와 같이 위조 홍채 샘플이 없는 경우에도 생성된 위조 홍채 영상을 활용하여 해결할 수 있다.A fake iris image can be generated through such a neural network-based production model, and even when there is no fake iris sample as in the prior art, the generated fake iris image can be used to solve the problem.

 CycleGAN은 GAN의 모델 중 하나로서, 도 2는 CycleGAN의 모델 구조를 보여주고 짝이 없는 트레이닝 세트를 사용한다. 페어링되지 않은 트레이닝 세트를 사용하면 기존의 퍼레이드 트레이닝 세트 사용에 대한 제한이 없어진다. 또한, CycleGAN은 U-Net을 사용하여 생성된 영상을 보다 자세하게 유지하는 이점이 있다. 아래의 수학식 2는 CycleGAN의 손실 함수이다. CycleGAN is one of the models of GAN, and Fig. 2 shows the model structure of CycleGAN and uses an unpaired training set. Using an unpaired training set removes the restrictions on using an existing Parade training set. In addition, CycleGAN has the advantage of maintaining more detailed images generated using U-Net. Equation 2 below is a loss function of CycleGAN.

[수학식 2][Equation 2]

Figure 112020033617062-pat00002
Figure 112020033617062-pat00002

Figure 112020033617062-pat00003
Figure 112020033617062-pat00003

CycleGAN은 양방향 손실 기능을 사용하여 영상을 생성하므로, 영상 품질이 향상된다. 이를 통해 생산자 및 구별자에 대한 반복 학습으로 인해 확률 분포의 노이즈가 바이어스되는 것을 방지한다. CycleGAN uses the bidirectional loss function to generate images, so the image quality is improved. This prevents the noise of the probability distribution from being biased due to iterative learning of producers and discriminators.

도 3을 참조하면, 노이즈 바이어스를 보여주는 것으로, 생산자와 구별자의 확률 분포가 일치하는 것을 확인할 수 있다.Referring to FIG. 3 , it can be confirmed that the probability distributions of the producer and the discriminator are consistent with the noise bias.

본 발명에서는 홍채 코드의 복원 취약성을 분석하기 위해 먼저 도그만의 홍채인식방법을 기반으로 홍채 인식기를 제안한다. 홍채 인식기는 홍채 영역을 분할, 정규화, 특징추출, 인증하는 단계로 이루어진다. 홍채 영상에서 홍채의 특징을 추출하기 위해 먼저 홍채 영역을 분할해야 한다.The present invention proposes an iris recognizer based on Dogman's iris recognition method in order to analyze the restoration vulnerability of the iris code. The iris recognizer consists of the steps of segmenting, normalizing, feature extraction, and authenticating the iris region. In order to extract the features of the iris from the iris image, the iris region must first be segmented.

홍채 영역만을 분할하기 위해서는 홍채의 안쪽경계(동공의 경계)와 바깥쪽 경계를 찾아야 한다. 이때, 홍채의 안쪽경계인 동공경계의 경우, 동공은 대부분 낮은 화소값을 갖는 특성 때문에 동공과 홍채 사이의 대비값이 확실하여 허프 변환을 이용한 방법을 통해 쉽게 구할 수 있다. In order to segment only the iris region, it is necessary to find the inner boundary (the pupil boundary) and the outer boundary of the iris. In this case, in the case of the pupil boundary, which is the inner boundary of the iris, the contrast value between the pupil and the iris is certain because the pupil has a characteristic that most of the pupil has a low pixel value, and thus it can be easily obtained through a method using the Hough transform.

반면, 바깥쪽 경계의 경우 홍채와 공막과의 대비 값이 명확하지 않기 때문에 허프 변환방법으로는 어려움이 있다. 때문에 바깥쪽 경계의 경우에는 아래의 수학식 3과 같은 Integro-differential 연산자를 사용한다. On the other hand, in the case of the outer boundary, the Hough transformation method is difficult because the contrast value between the iris and the sclera is not clear. Therefore, in the case of the outer boundary, the Integro-differential operator as in Equation 3 below is used.

[수학식 3][Equation 3]

Figure 112020033617062-pat00004
Figure 112020033617062-pat00004

이 연산자는 홍채는 항상 동공보다는 밝고 공막보다는 어두운 홍채의 특징을 이용하여 홍채 영상 내 대비차이를 이용하여 홍채의 안쪽경계와 바깥쪽 경계를 찾는 연산자이다.This operator is an operator that finds the inner and outer boundaries of the iris by using the contrast difference in the iris image using the characteristic of the iris, which is always brighter than the pupil and darker than the sclera.

여기서 (x 0 , y 0 )는 홍채의 중심을 나타내며, r은 반지름을 나타낸다. 각 값을 변경해가며 원의 모양의 경계들을 만들고 원의 둘레에 위치해 있는 화소값(I(x,y))들의 합을 구한 후에 반지름 r에 따라 변화하는 값의 차이를 구하여 가장 큰 차이를 가지는 곳을 홍채의 경계로 한다. Here, ( x 0 , y 0 ) represents the center of the iris, and r represents the radius. The place with the greatest difference by changing each value to make the boundaries of the circle shape, finding the sum of the pixel values ( I(x,y) ) located around the circle, and then finding the difference between the values that change according to the radius r is the boundary of the iris.

이렇게 분할된 홍채는 개인마다 크기가 다르고 같은 사람의 경우에도 홍채 영상을 얻는 과정에서 카메라와 사용자의 거리에 따라 홍채 영상의 크기가 다르고, 주변 조도에 따라 동공의 크기가 달라질 수 있다. 올바른 인증을 위해서는 분할된 홍채를 일정한 규격으로 정규화 시켜야 하며 정규화는 극좌표계 변환을 통해 이루어진다. 좌표계 변환은 아래의 수학식 4와 같다.The size of the divided iris is different for each individual, and even for the same person, the size of the iris image may be different depending on the distance between the camera and the user in the process of obtaining the iris image, and the size of the pupil may vary according to the surrounding illumination. For correct authentication, the divided iris should be normalized to a certain standard, and normalization is performed through polar coordinate system transformation. The coordinate system transformation is shown in Equation 4 below.

[수학식 4][Equation 4]

Figure 112020033617062-pat00005
Figure 112020033617062-pat00005

r은 홍채의 안쪽과 바깥쪽의 경계의 거리이고, θ는 홍채의 각도를 나타낸다. 좌표계 변환을 통해 도 4와 같이 원형모양의 홍채를 사각형모양으로 펼친다. r is the distance between the inner and outer boundaries of the iris, and θ is the angle of the iris. Through the coordinate system transformation, the circular iris is spread out into a rectangular shape as shown in FIG. 4 .

영상이 정규화된 후에 1D 가버필터를 사용하여 홍채의 특징을 추출한다. 1D 가버필터는 가우시안(Gaussian) 함수에 의해 변형된 코사인 및 사인 함수로서 퓨리에(Fourier) 변환 방법을 기반으로 하는 필터로, 아래의 수학식 5와 수학식 6은 각각 실수부 값과 허수부 값을 산출한다.After the image is normalized, the features of the iris are extracted using a 1D Gabor filter. The 1D Gabor filter is a cosine and sine function transformed by a Gaussian function, and is a filter based on the Fourier transform method. Equations 5 and 6 below are real and imaginary values, respectively. Calculate.

[수학식 5][Equation 5]

Figure 112020033617062-pat00006
Figure 112020033617062-pat00006

[수학식 6][Equation 6]

Figure 112020033617062-pat00007
Figure 112020033617062-pat00007

여기서, σ는 필터 Kernel의 너비를 정하는 값이며, p는 주기를 정하 는 값이다. 수학식 5는 가우시안 함수에 의해 변형된 코사인 함수 형 태이며 해당 필터를 통해 홍채 특징의 실수부 값을 갖는 영상을 획득한다. 수학식 6은 가우시안 함수에 의해 변형된 사인 함수 형태이며 허수부 값을 갖는 영상을 획득한다. Here, σ is a value that determines the width of the filter kernel, and p is a value that determines the period. Equation 5 is a form of a cosine function transformed by a Gaussian function, and an image having a real value of an iris feature is acquired through a corresponding filter. Equation 6 is a sine function transformed by a Gaussian function and acquires an image having an imaginary part value.

획득된 실수부 값의 영상과 허수부 값의 영상을 가로방향으로 교차하여 붙인 후에 양자화하여 최종적으로 홍채 코드를 생성한다. 도 5는 정규화 영상 및 홍채 코드 예이다. 도 5(a)는 정규화된 정규화 영상, 도 5(b)는 실수부 특징, 도 5(c)는 허수부 특징 및 도 5(d)는 홍채 코드의 예시이다.After intersecting the obtained real-valued image and the imaginary-valued image in the horizontal direction, quantization is performed to finally generate an iris code. 5 is an example of a normalized image and an iris code. FIG. 5(a) is a normalized normalized image, FIG. 5(b) is a real part feature, FIG. 5(c) is an imaginary part feature, and FIG. 5(d) is an example of an iris code.

입력되는 홍채 영상마다 이러한 형태의 코드가 생성되고 코드 비교를 통해 사용자의 인증여부를 결정한다. 홍채 코드들의 비교를 위해 해밍거리(Hamming Distance)를 사용한다. 해밍거리 식은 다음의 수학식 7과 같다.This type of code is generated for each input iris image, and whether or not the user is authenticated is determined through code comparison. A Hamming Distance is used for comparison of iris codes. The Hamming distance equation is the following equation (7).

[수학식 7][Equation 7]

Figure 112020033617062-pat00008
Figure 112020033617062-pat00008

X j Y j 는 서로 비교하는 코드값이다. XOR연산을 통해 값이 같으면 1 다르면 0의 값이 산출된다. 해밍거리의 값은 두 코드의 유사한 정도를 수치화한 값이며 일정 임계치(threshold)를 기준으로 인증여부를 결정한다. X j and Y j are code values that are compared with each other. The XOR operation yields a value of 0 if the values are the same, 1 if they are different. The value of the Hamming distance is a numerical value that quantifies the degree of similarity between the two codes, and authentication is determined based on a certain threshold.

상기 코드 변환부(310)는 입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환한다.The code converter 310 quantizes the input iris image and converts the iris code having a real part and an imaginary part into an arbitrary positive value when the iris code is 1, and into an arbitrary negative value when it is 0.

홍채 코드는 1D 가버필터를 사용해 홍채의 특징을 추출하여 생성하였다. 이러한 특징 추출 과정을 수학적으로 표현하면 하나의 행렬로 표현할 수 있다. 이 행렬의 역행렬을 계산하여 원본 홍채 영상을 추정하는 방법을 복원이 가능하다. 이때, 1D 가 버필터의 필터값은 알고 있다고 가정한다. The iris code was generated by extracting the features of the iris using a 1D Gabor filter. If this feature extraction process is expressed mathematically, it can be expressed as a single matrix. A method of estimating the original iris image by calculating the inverse of this matrix can be restored. In this case, it is assumed that 1D knows the filter value of the burr filter.

홍채 코드는 양자화가 되어있는 상태로 0 또는 1의 값으로 이루어져 있다. 이를 수학적으로 계산하여 복원하기 위해 양자화 전의 값인 양수와 음수형태로 나타낸다. 1의 값은 임의의 양수값으로, 0의 경우 임의의 음수값으로 변경하여 계산한다. The iris code is quantized and consists of values of 0 or 1. In order to mathematically calculate and restore this value, it is expressed in the form of positive and negative numbers, which are the values before quantization. A value of 1 is an arbitrary positive value, and in the case of 0, it is calculated by changing it to an arbitrary negative value.

일 실시예에서, 코드값 1은 그대로 1로 두고, 0은 -1로 변경한다. 1D 가버필터의 필터값과 홍채 코드의 값은 알고 있기 때문에 홍채의 원본영상을 추정하는 계산을 할 수 있다. 아래의 수학식 8과 수학식 9는 이 과정을 수식으로 표현한 것이다.In one embodiment, the code value 1 is left as 1, and 0 is changed to -1. Since the filter value of the 1D Gabor filter and the value of the iris code are known, calculations to estimate the original image of the iris can be performed. Equations 8 and 9 below express this process as an equation.

[수학식 8][Equation 8]

Figure 112020033617062-pat00009
Figure 112020033617062-pat00009

[수학식 9][Equation 9]

Figure 112020033617062-pat00010
Figure 112020033617062-pat00010

위의 식에서 A는 필터값, X는 원본영상, B는 홍채 코드이다. 여기서, A와 B는 알고 있는 값이기 때문에 수학식 9와 같이 역행렬을 이용한 계산을 하면 원본영상을 추정할 수 있다. 수학식 8과 수학식 9를 계산하기 위해서는, 우선 홍채 코드를 만드는 과정을 행렬로 표현해야 한다. In the above equation, A is the filter value, X is the original image, and B is the iris code. Here, since A and B are known values, the original image can be estimated by calculation using the inverse matrix as in Equation 9. In order to calculate Equations (8) and (9), the process of creating an iris code must first be expressed as a matrix.

상기 영상 복원부(330)는 변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원한다.The image restoration unit 330 inversely calculates the converted iris code through a 1D Gabor filter equation expressed by a simultaneous equation to restore the iris code to an iris image.

필터식을 연립방정식으로 풀어서 표현하고, 이것을 행렬로 표현한다. 1차원 가버필터의 필터 과정을 수학적으로 표현하면 연립방정식으로 표현이 가능하다. 1차원 필터이기 때문에 영상복원은 영상의 가장 윗줄부터 순서대로 내려오면서 진행한다. 아래의 수학식 10은 영상에서 한 줄을 기준하여 필터 과정을 연립방정식으로 표현한 예이다.The filter expression is expressed by solving a system of equations, and this is expressed as a matrix. If the filter process of the one-dimensional Gabor filter is mathematically expressed, it can be expressed as a system of equations. Because it is a one-dimensional filter, image restoration proceeds in order from the top row of the image. Equation 10 below is an example of expressing the filter process as a system of equations based on one line in the image.

[수학식 10][Equation 10]

Figure 112020033617062-pat00011
Figure 112020033617062-pat00011

식에서 a1 ~ ax는 가버필터의 값, x1 ~ xy는 복원 추정 값, b1 ~ bz는 홍채 코드 값이다. 수학식 10을 행렬식으로 표현하면 다음의 수학식 11과 같다.In the equation, a 1 to a x are the Gabor filter values, x 1 to x y are the restoration estimates, and b 1 to b z are the iris code values. If Equation 10 is expressed as a determinant, Equation 11 is as follows.

[수학식 11][Equation 11]

Figure 112020033617062-pat00012
Figure 112020033617062-pat00012

수학식 11에서 필터값과 홍채 코드 값은 알고 있기 때문에 양변에 필터값의 역행렬을 곱해주면 복원 추정값을 구할 수 있다. 그 과정은 아래의 수학식 12와 같다.In Equation 11, since the filter value and the iris code value are known, a restoration estimate can be obtained by multiplying both sides by the inverse matrix of the filter value. The process is shown in Equation 12 below.

[수학식 12][Equation 12]

Figure 112020033617062-pat00013
Figure 112020033617062-pat00013

이와 같은 방법으로 복원 추정값을 구할 수 있다. 하지만 1D 가버필터의 경우 필터식이 실수부 필터와 허수부 필터로 구성되어 있다. 홍채 코드는 이러한 두 개의 필터를 사용한 결과물이기 때문에 복원의 경우 두 개의 필터를 각각 계산하면 추정된 원본영상의 결과물이 2개로 산출되어 하나의 영상으로의 복원이 불가능하다. In this way, a restoration estimate can be obtained. However, in the case of the 1D Gabor filter, the filter formula consists of a real part filter and an imaginary part filter. Since the iris code is a result of using these two filters, in the case of restoration, if the two filters are calculated respectively, the estimated original image is calculated as two results, so that restoration into one image is impossible.

따라서, 실수부와 허수부의 필터과정을 동시에 만족하는 하나의 복원영상을 얻기 위해서는 복원과정에서 두 개의 필터식을 동시에 만족하는 값을 추정하도록 식의 형태를 변환해야 한다. 이러한 형태는 아래의 수학식 13과 같다.Therefore, in order to obtain one reconstructed image that simultaneously satisfies the filtering process of the real part and the imaginary part, the form of the formula must be transformed to estimate a value that simultaneously satisfies the two filter formulas in the reconstruction process. This form is shown in Equation 13 below.

[수학식 13][Equation 13]

Figure 112020033617062-pat00014
Figure 112020033617062-pat00014

수학식 13을 역 계산식으로 표현하여 복원값을 얻도록 표현하면, 아래의 수학식 14와 같다.Equation 13 is expressed as an inverse formula to obtain a restored value, as shown in Equation 14 below.

[수학식 14][Equation 14]

Figure 112020033617062-pat00015
Figure 112020033617062-pat00015

위의 복원 과정은 1D 필터의 계산과정을 수학적으로 표현하여 계산하는 방법이다. 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산하고 마지막에 분리한 순서대로 붙여서 하나의 영상으로 만들어 진다. 이러한 전체적인 복원 과정을 의사코드로 표현하면 아래와 같다. The above restoration process is a method of calculating the calculation process of the 1D filter by mathematically expressing it. The iris code is calculated by dividing the iris code by one line in the vertical direction, and finally, one image is created by pasting them in the order in which they were separated. The entire restoration process is expressed in pseudo code as follows.

Figure 112020033617062-pat00016
Figure 112020033617062-pat00016

의사코드에서 사용되는 필터값 행렬 A와 코드값 행렬 B는 수학식 13의 계산과정의 필터값 행렬과 코드결과값 행렬을 나타낸다.The filter value matrix A and the code value matrix B used in the pseudo code represent the filter value matrix and the code result matrix of the calculation process of Equation (13).

상기 좌표 변환부(350)는 복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성한다.The coordinate converter 350 converts the reconstructed rectangular iris image into a Cartesian coordinate system to generate a circular iris image.

복원된 영상결과는 도 6(c)처럼 정규화된 홍채 영상의 형태인 직사각형 모양의 영상이다. 그러나, 홍채 인식기는 원형의 홍채 영상을 요구하기 때문에 직교좌표계 변환을 하여 정규화 전의 형태로 변환하여야 한다. 이때, 직교좌표계로 변환할 경우 고리모양의 형태로 나오기 때문에 가운데의 빈 공간을 동공의 화소값과 유사하도록 0의 화소값으로 채운다. The restored image result is a rectangular image in the form of a normalized iris image as shown in FIG. 6(c). However, since the iris recognizer requires a circular iris image, it must be converted to the form before normalization by performing Cartesian coordinate system transformation. At this time, when converted to the Cartesian coordinate system, since it comes out in a ring shape, the empty space in the middle is filled with a pixel value of 0 so as to be similar to the pixel value of the pupil.

도 6(a)는 원본영상, 도 6(b)는 실수부 및 허수부 코드, 도 6(c)는 복원영상, 도 6(d)는 직교좌표계 변환된 홍채 영상의 예이다.Fig. 6(a) is an original image, Fig. 6(b) is a real code and an imaginary part code, Fig. 6(c) is a reconstructed image, and Fig. 6(d) is an example of an iris image converted to a Cartesian coordinate system.

상기 위조 홍채 생성부(370)는 상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성한다.The fake iris generator 370 generates a fake iris image by inserting the circular iris image into the iris image generated by learning through the cyclegen.

이에 따라, 위조 홍채 영상 생성 단계에서 홍채 코드를 임의로 삽입하여 위조 홍채 탐지 연구에서의 위조 홍채 샘플 부재의 문제점을 타개할 수 있다. 본 발명을 통해 홍채연구에서 필요한 부정 샘플을 확보할 수 있으며, 홍채인식이 중요시되는 현 시점에 위조 홍채 검출 연구의 수준 및 정확도를 높일 수 있다.Accordingly, it is possible to overcome the problem of the absence of a fake iris sample in a fake iris detection study by arbitrarily inserting an iris code in the fake iris image generation step. Through the present invention, it is possible to secure a negative sample necessary for iris research, and it is possible to increase the level and accuracy of a counterfeit iris detection study at the present time when iris recognition is important.

이하에서는, 본 발명에서 제안한 복원 방법의 신뢰성을 위해 제작한 인식기의 성능평가를 하고 복원 실험을 진행한 결과를 기재한다. 복원 실험의 성능 평가는 제작한 인식기를 사용하여 FAR(False acceptance rate) 1%, 0.1%, 0.01%를 기준으로 복원된 영상과 원본영상의 인식률로 한다. Hereinafter, the performance evaluation of the recognizer manufactured for the reliability of the restoration method proposed in the present invention and the restoration experiment result will be described. The performance evaluation of the restoration experiment is performed with the recognition rate of the restored image and the original image based on the FAR (False acceptance rate) of 1%, 0.1%, and 0.01% using the manufactured recognizer.

실험은 Intel Core i7-6700 3.40GHz CPU, 8.0GB 메모리가 장착된 PC에서 Visual Studio 2015를 사용하여 구현하였다. 라이브러리는 Opencv 3.20을 사용하였다. 데이터베이스는 CASIA Database에서 120명의 사람의 홍채 영상을 사용하였다. 한 명당 4개의 홍채를 사용하여 총 480개의 홍 채영상을 사용하여 실험한다. The experiment was implemented using Visual Studio 2015 on a PC equipped with Intel Core i7-6700 3.40GHz CPU and 8.0GB memory. The library used Opencv 3.20. The database used iris images of 120 people from the CASIA Database. Experiment with a total of 480 iris images using 4 iris per person.

인식기 성능 평가 방법은 데이터베이스의 홍채 영상을 사용해 동일인 비교 및 타인 비교를 실험하여 FAR 1%, 0.1%, 0.01%의 기준으로 해밍거리 임계값을 산출하고 인식 성능을 평가한다. 도 7은 타인의 홍채를 비교하여 산출된 해밍거리의 통계 그래프이다.The recognition performance evaluation method calculates the Hamming distance threshold based on the FAR 1%, 0.1%, and 0.01% standards by experimenting with same-person comparison and comparison with others using the iris image of the database and evaluates the recognition performance. 7 is a statistical graph of a Hamming distance calculated by comparing the iris of another person.

비교 횟수는 480개의 홍채 영상을 사용하여 총 114,240(119*4*120*4/2)번의 비교를 하였다. 아래의 표 1 은 FAR 1%, 0.1%, 0.01% 기준의 해밍거리 임계값이다.For the number of comparisons, a total of 114,240 (119*4*120*4/2) comparisons were made using 480 iris images. Table 1 below is the Hamming distance threshold based on FAR 1%, 0.1%, and 0.01%.

[표 1][Table 1]

Figure 112020033617062-pat00017
Figure 112020033617062-pat00017

도 8은 동일인의 홍채를 비교하여 산출된 해밍거리의 통계 그래프이다.8 is a statistical graph of a Hamming distance calculated by comparing the iris of the same person.

총 720(4*3/2 *120)번 비교하여 나온 결과이다. 동일인의 홍채 비교에서 나온 해밍거리의 최대값은 0.3638의 값이다. 이 값은 FAR 0.01% 기준 임계값인 0.3751의 값보다 낮은 결과를 보여 동일인의 인식의 경우 인식 성공률 100%의 결과를 보였다. It is the result of comparing 720(4*3/2*120) times in total. The maximum value of the Hamming distance from the comparison of the iris of the same person is 0.3638. This value showed a result lower than the value of 0.3751, which is the threshold based on FAR 0.01%, resulting in a recognition success rate of 100% in case of recognition of the same person.

또한, 홍채인식기를 사용하여 복원 취약성을 평가하였다. 480 개의 영상을 홍채 코드로 생성하였고 생성된 홍채 코드를 본 발명에서 제안한 방법으로 복원하였다. 그런 후에 제작한 인식기를 사용하여 원본영상과 복원영상을 1:1비교하여 인식하였다. 도 9는 원본영상과 복원영상을 비교하여 산출된 해밍거리 그래프이다.In addition, restoration vulnerability was evaluated using the iris recognizer. 480 images were generated as iris codes, and the generated iris codes were restored by the method proposed in the present invention. Then, the original image and the reconstructed image were compared 1:1 and recognized using the manufactured recognizer. 9 is a hamming distance graph calculated by comparing the original image and the reconstructed image.

복원의 성능여부는 FAR기준으로 하였고 아래 표 2는 결과를 나타낸다.The performance of restoration was based on the FAR standard, and Table 2 below shows the results.

[표 2][Table 2]

Figure 112020033617062-pat00018
Figure 112020033617062-pat00018

도그만의 홍채 코드는 홍채정보를 보호하면서 인증이 가능한 방법으로 현재 상업적으로 사용되는 대부분의 인식기에서 사용하는 방법이다. 현재는 이러한 홍채 코드 정보만으로 영상을 복원하는 기술이 연구되고 있다. 본 발명에서는 이러한 홍채 코드로부터 행렬을 이용한 역계산적 방법으로 영상을 복원하는 방법을 제안하였다. Dogman's iris code is a method that can be authenticated while protecting iris information, and is a method used by most of the currently commercially used recognizers. Currently, a technique for reconstructing an image using only the iris code information is being studied. In the present invention, a method of reconstructing an image from such an iris code by an inverse computation method using a matrix is proposed.

도그만의 홍채 코드의 생성과정과 인식방법을 분석하고, 이를 역방향으로 계산하여 홍채 코드만을 가지고 홍채 영상을 복원하였다. 복원된 영상은 육안으로는 일반적인 홍채 영상과는 다르지만 이 영상을 원본영상과 인식기에서 매치해본 결과 높은 인식률을 보였다. Dogman's iris code generation process and recognition method were analyzed, and the iris image was restored using only the iris code by calculating it in the reverse direction. The reconstructed image is different from the general iris image with the naked eye, but when this image was matched with the original image in the recognizer, it showed a high recognition rate.

도 10은 본 발명의 일 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법의 흐름도이다.10 is a flowchart of a method for generating a fake iris using artificial intelligence according to an embodiment of the present invention.

본 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The method for generating a fake iris using artificial intelligence according to the present embodiment may be performed in substantially the same configuration as the device 10 of FIG. 1 . Accordingly, the same components as those of the device 10 of FIG. 1 are given the same reference numerals, and repeated descriptions are omitted.

또한, 본 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법은 인공지능을 활용한 위조 홍채 생성을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.In addition, the method for generating a forged iris using artificial intelligence according to the present embodiment may be executed by software (application) for generating a fake iris using artificial intelligence.

도 10을 참조하면, 본 실시예에 따른 인공지능을 활용한 위조 홍채 생성 방법은, 홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습한다(단계 S10). Referring to FIG. 10 , in the method for generating a fake iris using artificial intelligence according to the present embodiment, an iris image and an edge image obtained from an iris recognizer are used as a data set to generate an iris image from an edge image through CycleGAN. The process of generating is learned (step S10).

상기 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 단계는, 홍채 인식기로부터 홍채 영상과 에지 영상을 데이터 셋으로 획득하는 단계, 획득한 데이터 셋을 정규화하는 단계, 정규화된 데이터 셋을 U-Net 구조의 사이클겐으로 학습하여 홍채 영상에서 홍채의 에지 영상으로, 홍채의 에지 영상에서 홍채 영상으로 변환하는 양방향 엔코딩으로 학습하는 단계 및 학습된 엔코딩을 통하여 에지 영상으로부터 홍채 영상을 생성하는 단계를 포함한다.Learning the process of generating an iris image from an edge image through the CycleGAN includes: acquiring an iris image and an edge image from an iris recognizer as a data set; Normalizing the acquired data set; Learning the data set with U-Net structure cyclegen, learning by bidirectional encoding that converts iris image to iris edge image, and iris edge image to iris image, and learns iris image from edge image through the learned encoding comprising the steps of creating

입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환한다(단계 S20). 예를 들어, 상기 홍채 코드가 1인 경우 1로 변환하고, 상기 홍채 코드가 0인 경우 -1로 변환한다.The input iris image is quantized and converted into an arbitrary positive value when the iris code having a real part and an imaginary part is 1, and into an arbitrary negative value when it is 0 (step S20). For example, when the iris code is 1, it is converted into 1, and when the iris code is 0, it is converted into -1.

상기 입력된 홍채 영상을 양자화하는 단계는, 홍채 인식기로부터 인식된 홍채 영상으로부터 홍채 영역을 분리하고, 상기 홍채 영역의 극좌표계 변환을 통해 정규화한다. 이후, 1D 가버필터를 사용하여 실수부 값과 허수부 값을 갖는 특징을 추출하고, 상기 실수부 값의 영상과 허수부 값의 영상을 가로방향으로 교차하여 붙인 양자화된 홍채 코드를 생성하여 양자화 한다.In the quantizing of the input iris image, the iris region is separated from the iris image recognized by the iris recognizer and normalized through polar coordinate transformation of the iris region. Then, a feature having a real value and an imaginary part is extracted using a 1D Gabor filter, and a quantized iris code is generated and quantized by intersecting the image of the real part and the image of the imaginary part in the horizontal direction. .

변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원한다(단계 S30).The iris code is restored to the iris image by inversely calculating the converted iris code through the formula of the 1D Gabor filter expressed by the simultaneous equation (step S30).

상기 홍채 코드를 홍채 영상으로 복원하는 단계는, 실수부와 허수부의 필터식이 세로 방향으로 합쳐진 복원 추정 행렬을 이용하여 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산한다. 이후, 분리한 순서대로 합성하여 하나의 영상으로 출력한다.In the step of reconstructing the iris code into the iris image, the iris code is calculated by dividing the iris code line by line in the vertical direction using a reconstruction estimation matrix in which the filter equations of the real part and the imaginary part are combined in the vertical direction. Thereafter, they are synthesized in the separated order and output as one image.

복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성한다(단계 S40). 이때, 직교좌표계로 변환할 경우 고리모양의 형태로 나오기 때문에 가운데의 빈 공간을 동공의 화소값과 유사하도록 0의 화소값으로 채운다.The reconstructed rectangular iris image is converted into a rectangular coordinate system to generate a circular iris image (step S40). At this time, when converted to the Cartesian coordinate system, since it comes out in a ring shape, the empty space in the middle is filled with a pixel value of 0 so as to be similar to the pixel value of the pupil.

상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성한다(단계 S50).A fake iris image is generated by inserting the circular-shaped iris image into the iris image generated by learning through the cyclegen (step S50).

이에 따라, 위조 홍채 영상 생성 단계에서 홍채 코드를 임의로 삽입하여 위조 홍채 탐지 연구에서의 위조 홍채 샘플 부재의 문제점을 타개할 수 있다. 본 발명을 통해 홍채연구에서 필요한 부정 샘플을 확보할 수 있으며, 홍채인식이 중요시되는 현 시점에 위조 홍채 검출 연구의 수준 및 정확도를 높일 수 있다.Accordingly, it is possible to overcome the problem of the absence of a fake iris sample in a fake iris detection study by arbitrarily inserting an iris code in the fake iris image generation step. Through the present invention, it is possible to secure a negative sample necessary for iris research, and it is possible to increase the level and accuracy of a counterfeit iris detection study at the present time when iris recognition is important.

이와 같은, 인공지능을 활용한 위조 홍채 생성 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a method for generating a fake iris using artificial intelligence may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below You will understand.

지문, 정맥, 홍채 등 생체인증은 최근 급속도로 종류와 분야가 확대되고 있다. 이러한 생체인증은 기존의 보안 기술(예를 들어, 비밀번호, 보안카드)보다 편리하다는 장점이 있지만 그만큼 보안성이 중시된다. 본 발명은 위조 홍채 영상을 생성하여 위조 홍채 판별의 연구에 활용할 수 있으며, 이러한 기술은 지문, 홍채 등 생체영상을 취득하는 장비사업 및 생체 인증 솔루션을 제공하는 분야 등 생체인식 기술 시장에 사업화가 가능하다.Biometric authentication, such as fingerprints, veins, and iris, is rapidly expanding in types and fields. Such biometric authentication has the advantage of being more convenient than existing security technologies (eg, passwords and security cards), but security is important to that extent. The present invention can generate a fake iris image and can be used for research on the identification of fake iris, and this technology can be commercialized in the biometric technology market, such as the equipment business that acquires biometric images such as fingerprints and iris, and the field of providing biometric authentication solutions do.

생체인식기술 시장은 2016년 32.4억 달러에서 2023년에는 122.2억 달러(연평균 20.8%)로 증가할 것이라는 전망(Research and Markets, 2017년 8월)이다. 또한, 생체인식기술의 활용분야는 모바일, 웨어러블 분야, 헬스 케어, 지불결제, 출입통제 등이 주류를 이루고 있고 스마트 홈, 스마트 카 등 사물인터넷(IoT) 기반의 사업 분야 역시 생체인식기술의 활용도가 높아지고 있다.The biometric technology market is projected to grow from $3.24 billion in 2016 to $12.22 billion (annual average of 20.8%) in 2023 (Research and Markets, August 2017). In addition, the fields of application of biometric technology are predominantly mobile, wearable, healthcare, payment, and access control. is rising

10: 인공지능을 활용한 위조 홍채 생성 장치
100: 학습부
110: CycleGAN
130: 양방향 엔코더
310: 코드 변환부
330: 영상 복원부
350: 좌표 변환부
370: 위조 홍채 생성부
10: Device for generating fake iris using artificial intelligence
100: study department
110: CycleGAN
130: bidirectional encoder
310: code conversion unit
330: image restoration unit
350: coordinate conversion unit
370: fake iris generator

Claims (10)

홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 단계;
입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 단계;
변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원하는 단계;
복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성하는 단계; 및
상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성하는 단계;를 포함하고,
상기 입력된 홍채 영상을 양자화하는 단계를 더 포함하며,
상기 입력된 홍채 영상을 양자화하는 단계는,
홍채 인식기로부터 인식된 홍채 영상으로부터 홍채 영역을 분리하는 단계;를 포함하고,
상기 홍채 영역을 분리하는 단계는,
홍채의 중심으로부터 반지름을 변경해가며 만든 원의 둘레에 위치해있는 화소값들의 합을 구한 후 반지름에 따라 변화하는 값의 차이를 구하여 가장 큰 차이를 가지는 곳을 홍채의 경계로 구하여 상기 홍채 영상으로부터 상기 홍채 영역을 분리하는 것을 특징으로 하는, 인공지능을 활용한 위조 홍채 생성 방법.
learning a process of generating an iris image from the edge image through CycleGAN using the iris image and the edge image obtained from the iris recognizer as a data set;
quantizing the input iris image to convert an iris code having a real part and an imaginary part into an arbitrary positive value when the iris code is 1, and into an arbitrary negative value when the iris code is 0;
reconstructing the iris code into an iris image by inversely calculating the converted iris code through a formula of a 1D Gabor filter expressed as a simultaneous equation;
generating a circular iris image by converting the reconstructed rectangular iris image into a Cartesian coordinate system; and
generating a fake iris image by inserting the circular-shaped iris image into the iris image generated by learning through the cyclegen;
Further comprising the step of quantizing the input iris image,
Quantizing the input iris image includes:
Separating the iris region from the iris image recognized by the iris recognizer;
Separating the iris region comprises:
After calculating the sum of the pixel values located on the circumference of the circle created by changing the radius from the center of the iris, the difference between the values that change according to the radius is obtained. A method of generating a fake iris using artificial intelligence, characterized in that the regions are separated.
제1항에 있어서, 상기 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 단계는,
홍채 인식기로부터 홍채 영상과 에지 영상을 데이터 셋으로 획득하는 단계;
획득한 데이터 셋을 정규화하는 단계;
정규화된 데이터 셋을 U-Net 구조의 사이클겐으로 학습하여 홍채 영상에서 홍채의 에지 영상으로, 홍채의 에지 영상에서 홍채 영상으로 변환하는 양방향 엔코딩으로 학습하는 단계; 및
학습된 엔코딩을 통하여 에지 영상으로부터 홍채 영상을 생성하는 단계;를 포함하는, 인공지능을 활용한 위조 홍채 생성 방법.
The method of claim 1 , wherein the step of learning the process of generating an iris image from an edge image through the CycleGAN comprises:
acquiring an iris image and an edge image from an iris recognizer as a data set;
normalizing the acquired data set;
Learning the normalized data set with the U-Net structure of Cyclogen, the iris image to the iris edge image, and learning by bidirectional encoding converting the iris edge image to the iris image; and
Generating an iris image from an edge image through the learned encoding; A method for generating a fake iris using artificial intelligence, comprising a.
제1항에 있어서, 상기 홍채 코드를 홍채 영상으로 복원하는 단계는,
실수부와 허수부의 필터식이 세로 방향으로 합쳐진 복원 추정 행렬을 이용하여 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산하는 단계; 및
분리한 순서대로 합성하여 하나의 영상으로 출력하는 단계;를 포함하는, 인공지능을 활용한 위조 홍채 생성 방법.
The method of claim 1, wherein the step of restoring the iris code to an iris image comprises:
calculating an iris code by dividing the iris code line by line in the vertical direction using a reconstruction estimation matrix in which the filter equations of the real part and the imaginary part are vertically combined; and
A method of generating a fake iris using artificial intelligence, including; synthesizing in the separated order and outputting it as a single image.
제1항에 있어서, 상기 입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 단계는,
상기 홍채 코드가 1인 경우 1로 변환하고, 상기 홍채 코드가 0인 경우 -1로 변환하는, 인공지능을 활용한 위조 홍채 생성 방법.
The method of claim 1, wherein quantizing the input iris image and converting the iris code having a real part and an imaginary part into an arbitrary positive value when 1 is 1, and into an arbitrary negative value when 0, comprises:
When the iris code is 1, it is converted into 1, and when the iris code is 0, it is converted into -1.
제1항에 있어서, 상기 원형모양의 홍채 영상을 생성하는 단계는,
가운데 빈 공간은 0의 화소값으로 대체하는, 인공지능을 활용한 위조 홍채 생성 방법.
The method of claim 1, wherein the generating of the circular iris image comprises:
A method of generating a fake iris using artificial intelligence in which the empty space in the middle is replaced with a pixel value of 0.
삭제delete 제1항에 있어서, 상기 입력된 홍채 영상을 양자화하는 단계는,
상기 홍채 영역의 극좌표계 변환을 통해 정규화하는 단계;
1D 가버필터를 사용하여 실수부 값과 허수부 값을 갖는 특징을 추출하는 단계; 및
상기 실수부 값의 영상과 허수부 값의 영상을 가로방향으로 교차하여 붙인 양자화된 홍채 코드를 생성하는 단계;를 더 포함하는, 인공지능을 활용한 위조 홍채 생성 방법.
The method of claim 1, wherein quantizing the input iris image comprises:
normalizing the iris region through polar coordinate transformation;
extracting a feature having a real part value and an imaginary part value using a 1D Gabor filter; and
generating a quantized iris code obtained by intersecting the image of the real part and the image of the imaginary part in a horizontal direction;
제1항의 인공지능을 활용한 위조 홍채 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
A computer-readable storage medium in which a computer program for performing the method of generating a forged iris using artificial intelligence of claim 1 is recorded.
홍채 인식기로부터 획득된 홍채 영상과 에지 영상을 데이터 셋으로 하여 사이클겐(CycleGAN)을 통해 에지 영상으로부터 홍채 영상을 생성하는 과정을 학습하는 학습부;
입력된 홍채 영상을 양자화하여 실수부와 허수부를 갖는 홍채 코드가 1인 경우 임의의 양수 값으로, 0인 경우 임의의 음수 값으로 변환하는 코드 변환부;
변환된 홍채 코드를 연립 방정식으로 표현된 1D 가버필터의 계산식을 통해 역산하여 홍채 코드를 홍채 영상으로 복원하는 영상 복원부;
복원된 직사각형 모양의 홍채 영상을 직교좌표계로 변환하여 원형모양의 홍채 영상을 생성하는 좌표 변환부; 및
상기 사이클겐을 통한 학습으로 생성된 홍채 영상에 상기 원형모양의 홍채 영상을 삽입하여 위조 홍채 영상을 생성하는 위조 홍채 생성부;를 포함하고,
상기 코드 변환부는,
홍채 인식기로부터 인식된 홍채 영상으로부터 홍채 영역을 분리하되,
홍채의 중심으로부터 반지름을 변경해가며 만든 원의 둘레에 위치해있는 화소값들의 합을 구한 후 반지름에 따라 변화하는 값의 차이를 구하여 가장 큰 차이를 가지는 곳을 홍채의 경계로 구하여 상기 홍채 영상으로부터 상기 홍채 영역을 분리하는 것을 특징으로 하는, 인공지능을 활용한 위조 홍채 생성 장치.
a learning unit configured to learn a process of generating an iris image from an edge image through CycleGAN using the iris image and the edge image obtained from the iris recognizer as a data set;
a code conversion unit that quantizes the input iris image and converts an iris code having a real part and an imaginary part into an arbitrary positive value when the iris code is 1, and into an arbitrary negative value when the iris code is 0;
an image restoration unit for reconstructing the iris code into an iris image by inversely calculating the converted iris code through a formula of a 1D Gabor filter expressed as a simultaneous equation;
a coordinate conversion unit that converts the reconstructed rectangular iris image into a Cartesian coordinate system to generate a circular iris image; and
and a fake iris generator to generate a fake iris image by inserting the circular iris image into the iris image generated by learning through the cyclegen.
The code conversion unit,
Separating the iris region from the iris image recognized by the iris recognizer,
After calculating the sum of the pixel values located on the circumference of the circle created by changing the radius from the center of the iris, the difference between the values that change according to the radius is obtained. A device for generating fake iris using artificial intelligence, characterized in that the regions are separated.
제9항에 있어서, 상기 영상 복원부는,
실수부와 허수부의 필터식이 세로 방향으로 합쳐진 복원 추정 행렬을 이용하여 홍채 코드를 세로방향으로 한 줄씩 분리하여 계산하고, 분리한 순서대로 합성하여 하나의 영상으로 출력하는, 인공지능을 활용한 위조 홍채 생성 장치.
The method of claim 9, wherein the image restoration unit,
A fake iris using artificial intelligence that calculates the iris codes by dividing them vertically one by one using the reconstructed estimation matrix in which the filter formulas of the real and imaginary parts are merged vertically, and synthesizes them in the separated order and outputs them as a single image. generating device.
KR1020200039129A 2020-03-31 2020-03-31 Method for generating fake iris using artificial intelligence, recording medium and device for performing the method KR102286455B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200039129A KR102286455B1 (en) 2020-03-31 2020-03-31 Method for generating fake iris using artificial intelligence, recording medium and device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039129A KR102286455B1 (en) 2020-03-31 2020-03-31 Method for generating fake iris using artificial intelligence, recording medium and device for performing the method

Publications (1)

Publication Number Publication Date
KR102286455B1 true KR102286455B1 (en) 2021-08-04

Family

ID=77314855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039129A KR102286455B1 (en) 2020-03-31 2020-03-31 Method for generating fake iris using artificial intelligence, recording medium and device for performing the method

Country Status (1)

Country Link
KR (1) KR102286455B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648724A (en) * 2022-05-18 2022-06-21 成都航空职业技术学院 Lightweight efficient target segmentation and counting method based on generation countermeasure network
KR20230039816A (en) * 2021-09-13 2023-03-22 동국대학교 산학협력단 Apparatus and method for ocular recognition based on reconstruction of resolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3598109B2 (en) 2003-03-13 2004-12-08 松下電器産業株式会社 Iris code generation method, personal authentication method, iris code registration device, and personal authentication device
KR100787114B1 (en) 2006-06-20 2007-12-21 연세대학교 산학협력단 Method of transforming biometric data and verification system thereof
JP2012519927A (en) * 2009-03-11 2012-08-30 ハリス コーポレイション A novel inpainting technique and method for reconstructing iris scans through partial acquisition mosaic processing
KR20190135062A (en) 2018-05-02 2019-12-06 동국대학교 산학협력단 Device and method for detection of iris segmentation based on deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3598109B2 (en) 2003-03-13 2004-12-08 松下電器産業株式会社 Iris code generation method, personal authentication method, iris code registration device, and personal authentication device
KR100787114B1 (en) 2006-06-20 2007-12-21 연세대학교 산학협력단 Method of transforming biometric data and verification system thereof
JP2012519927A (en) * 2009-03-11 2012-08-30 ハリス コーポレイション A novel inpainting technique and method for reconstructing iris scans through partial acquisition mosaic processing
KR20190135062A (en) 2018-05-02 2019-12-06 동국대학교 산학협력단 Device and method for detection of iris segmentation based on deep learning

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ChaCha's blog, CycleGAN 리뷰, Posted on August 30, 2019, https://chacha95.github.io/2019-08-30-Image-Translation/(2019.08.30.) 1부.* *
Hang Zou et al., "Generation Textured Contact Lenses Iris Images Based on 4DCycle-GAN," 2018 24th International Conference on Pattern Recognition (ICPR) Beijing, China, August 20-24, 2018(2018.08.20.)* *
J. Daugman, "High Confidence Visual Recognition of Persons by a Test of Statistical Independence", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 11, pp. 1148-1161, Nov. 1993
J. Daugman, "How Iris Recognition Works", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 14, No. 1, pp. 21-30, Jan. 2004
S Minaee, A Abdolrashidi, "Iris-GAN: Learning to Generate Realistic Iris Images Using Convolutional GAN." arXiv preprint arXiv:1812.04822, 2018
윤성조 외 1명, 홍채코드의 보안 취약성에 대한 연구, 한국정보처리학회 2018년도 추계학술발표대회, 2-3 Nov. 2018, pp.193-195(2018.11.02.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039816A (en) * 2021-09-13 2023-03-22 동국대학교 산학협력단 Apparatus and method for ocular recognition based on reconstruction of resolution
KR102571135B1 (en) * 2021-09-13 2023-08-28 동국대학교 산학협력단 Apparatus and method for ocular recognition based on reconstruction of resolution
CN114648724A (en) * 2022-05-18 2022-06-21 成都航空职业技术学院 Lightweight efficient target segmentation and counting method based on generation countermeasure network
CN114648724B (en) * 2022-05-18 2022-08-12 成都航空职业技术学院 Lightweight efficient target segmentation and counting method based on generation countermeasure network

Similar Documents

Publication Publication Date Title
US8064653B2 (en) Method and system of person identification by facial image
EP3975039A1 (en) Masked face recognition
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
CN113591747B (en) Multi-scene iris recognition method based on deep learning
KR102286455B1 (en) Method for generating fake iris using artificial intelligence, recording medium and device for performing the method
CN105654056A (en) Human face identifying method and device
Choudhury et al. Cancelable iris Biometrics based on data hiding schemes
Huang et al. Human emotion recognition based on face and facial expression detection using deep belief network under complicated backgrounds
Dhavale DWT and DCT based robust iris feature extraction and recognition algorithm for biometric personal identification
Al-Waisy et al. A fast and accurate iris localization technique for healthcare security system
Alkoot et al. A review on advances in iris recognition methods
CN116778562B (en) Face verification method, device, electronic equipment and readable storage medium
Ali et al. Half iris Gabor based iris recognition
Kahlil et al. Generation of iris codes using 1d log-gabor filter
Eid et al. Development of Iris Security System Using Adaptive Quality-Based Template Fusion
Pflug et al. Segmentation and normalization of human ears using cascaded pose regression
Bae et al. Fingerprint image denoising and inpainting using convolutional neural network
KR102168937B1 (en) Bit string transforming method for fingerprint images using normalized regional structure and identifng method for two fingerprint images thereof
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
Tobji et al. A Synthetic Fusion Rule Based on FLDA and PCA for Iris Recognition Using 1D Log‐Gabor Filter
Akrout et al. Three‐Dimensional Head‐Pose Estimation for Smart Iris Recognition from a Calibrated Camera
KR20200119586A (en) Identification system and method based on ear recognition
Dhavale Robust iris recognition based on statistical properties of Walsh Hadamard transform domain
Hombalimath et al. Image quality assessment for iris recognition
Vora et al. Enhanced face recognition using 8-Connectivity-of-Skin-Region and Standard-Deviation-based-Pose-Detection as preprocessing techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant