KR20190109772A - Apparatus and method for detection presentaion attack for face recognition system - Google Patents
Apparatus and method for detection presentaion attack for face recognition system Download PDFInfo
- Publication number
- KR20190109772A KR20190109772A KR1020180024274A KR20180024274A KR20190109772A KR 20190109772 A KR20190109772 A KR 20190109772A KR 1020180024274 A KR1020180024274 A KR 1020180024274A KR 20180024274 A KR20180024274 A KR 20180024274A KR 20190109772 A KR20190109772 A KR 20190109772A
- Authority
- KR
- South Korea
- Prior art keywords
- feature vector
- extracting
- attack detection
- size
- handcrafted
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 76
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208140 Acer Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 얼굴 인식 시스템에 대한 위조 공격 여부를 판단하는 기술에 관한 것으로, 보다 상세하게는 이미지의 핸드크래프티드 특징과 딥 러닝 특징의 결합을 이용한 위조 공격 탐지 기술에 관한 것이다.The present invention relates to a technique for determining whether a forgery attack on a face recognition system, and more particularly, to a forgery attack detection technique using a combination of a handcrafted feature and a deep learning feature of an image.
최근 생체 인식 시스템은 도용하기 어렵고, 정확도가 높으며 사용자에게 편리하기 때문에 다양한 응용 시스템에서 사용되고 있다. 이러한 생체 인식 시스템은 현재까지 연구 결과에 따르면 열쇠와 카드를 이용하는 토큰 기반 방법이나 사용자 이름과 암호를 이용하는 지식 기반 방법들과 비교하여 인식 정확도와 사용자 편의성 향상에 더 적합하다고 한다. 하지만 생체 인식 시스템은 영상을 획득하는 과정에서 위조 영상에 취약하다.Recently, biometric systems have been used in various application systems because they are difficult to steal, have high accuracy, and are convenient for users. Until now, research has shown that such biometric systems are more suitable for improving recognition accuracy and user convenience compared to token-based methods using keys and cards or knowledge-based methods using usernames and passwords. However, biometric systems are vulnerable to fake images in the process of acquiring images.
따라서, 위조 영상을 이용한 위조 공격을 감지하는 presentation attack detection(PAD) 방법이 제안되고 있다. 기존에 제안된 PAD 방법은 대부분 Gabor filter, local binary pattern (LBP), local ternary pattern(LTP) 또는 histogram of oriented gradients(HOG)를 기반으로 핸드크래프티드 특징(handcrafted features)을 이용하는 방법이다. 그러나 이러한 특징들은 제한된 측면을 반영하여 정확도가 낮고, 위조된 얼굴 영상에 따라 정확도가 달라진다. 최근 딥 러닝 기술이 발전하면서 딥 러닝 기술을 이용한 특징 추출 방법은 handcrafted feature 추출 방법에 비하여 높은 분류 정확도를 보였다. 하지만 딥 러닝 기술을 이용한 특징 추출 방법은 생체 인식 시스템 중 지문 인식 시스템의 경우 handcrafted feature 추출 방법에 비하여 우수한 성능을 보이는 반면, 홍채 및 얼굴 인식 시스템의 경우에는 상대적으로 저조한 성능을 보이는 경우도 있다. Therefore, a presentation attack detection (PAD) method for detecting a forged attack using a fake image has been proposed. Most of the proposed PAD methods use handcrafted features based on Gabor filter, local binary pattern (LBP), local ternary pattern (LTP), or histogram of oriented gradients (HOG). However, these features reflect a limited aspect and have low accuracy, and the accuracy varies depending on the fake face image. With the recent development of deep learning technology, feature extraction method using deep learning technology has higher classification accuracy than handcrafted feature extraction method. However, the feature extraction method using the deep learning technology shows better performance than the handcrafted feature extraction method in the fingerprint recognition system of the biometric systems, while the iris and face recognition system may show relatively poor performance.
본 발명의 배경기술은 대한민국 공개특허 제2010-0125985호에 개시되어 있다.Background art of the present invention is disclosed in Korean Patent Publication No. 2010-0125985.
본 발명의 해결하고자 하는 과제는 얼굴 인식 시스템에 대한 위조 공격을 탐지하는 위조 공격 탐지 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide a counterfeit attack detection device and method for detecting a counterfeit attack on the face recognition system.
본 발명의 일 측면에 따르면, 얼굴 인식 시스템의 위조 공격 탐지 장치를 제공한다. According to an aspect of the present invention, a forgery attack detection apparatus of a face recognition system is provided.
본 발명의 일 실시 예에 따른 얼굴 인식 시스템의 위조 공격 탐지 장치는 입력 영상에 대해 전처리를 수행하여 얼굴 영상을 생성하는 전처리부, 상기 얼굴 영상으로부터 핸드크래프티드 특징 벡터를 추출하는 핸드크래프티드 특징 추출부, 상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 딥 특징 추출부, 상기 핸드크래프티드 특징 벡터 및 상기 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 생성하는 하이브리드 특징 산출부, 상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 주성분 분석부 및 상기 하이브리드 특징 벡터에 따라 공격 탐지 정보를 생성하는 공격 탐지부를 포함하는 위조 공격 탐지 장치가 제공된다.An apparatus for detecting forgery attack in a face recognition system according to an embodiment of the present invention includes a preprocessor for generating a face image by performing preprocessing on an input image, and handcrafted feature extraction for extracting a handcrafted feature vector from the face image. A deep feature extractor for extracting a deep feature vector from the face image, a hybrid feature calculator configured to connect the handcrafted feature vector and the deep feature vector to generate a hybrid feature vector, and remove noise of the hybrid feature vector. A counterfeit attack detection device is provided that includes a principal component analysis unit for reducing a dimension and an attack detection unit for generating attack detection information according to the hybrid feature vector.
상기 핸드크래프티드 특징 추출부는, MLBP(Modified Local Binary Patterns) 방법을 통해 상기 핸드크래프티드 특징 벡터를 추출할 수 있다.The handcrafted feature extractor may extract the handcrafted feature vector through a modified local binary pattern (MLBP) method.
상기 딥 특징 추출부는, CNN(Convolutional Neural Network)를 통해 상기 딥 특징 벡터를 추출할 수 있다.The deep feature extractor may extract the deep feature vector through a convolutional neural network (CNN).
상기 CCN은 16개의 컨벌루션 레이어, 5개의 풀링 레이어 및 2개의 완전 연결 레이어를 포함한 CNN 구조를 이용하되, 각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 3×3×3, 3×3×64, 3×3×128, 3×3×256 및 3×3×512 중 어느 하나이고, 패딩 사이즈는 1×1이고, 스트라이드 사이즈는 1×1이고, 필터의 수는 64, 128, 256 및 512 중 어느 하나이고, 각 상기 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2이고, 패딩 사이즈는 0일 수 있다.The CCN uses a CNN structure including 16 convolutional layers, 5 pooling layers, and 2 fully connected layers, wherein kernel sizes used in each of the convolutional layers are 3 × 3 × 3, 3 × 3 × 64, and 3 ×. Any one of 3 × 128, 3 × 3 × 256, and 3 × 3 × 512, padding size is 1 × 1, stride size is 1 × 1, and the number of filters is any of 64, 128, 256 and 512 Each of the pooling layer may have a filter size of 2 × 2, a stride size of 2 × 2, and a padding size of 0.
2개의 상기 완전 연결 레이어는 4096 개의 특징 맵을 각각 출력할 수 있다.The two fully connected layers may
상기 딥 특징 추출부는, 상기 완전 연결 레이어 중 마지막 완전 연결 레이어의 출력을 상기 딥 특징 벡터로 추출할 수 있다.The deep feature extractor may extract the output of the last fully connected layer of the fully connected layers as the deep feature vector.
상기 주성분 분석부는 PCA(Principal Component Analysis)를 적용하여 상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소할 수 있다.The principal component analyzer may remove noise of the hybrid feature vector and reduce the dimension by applying a principal component analysis (PCA).
본 발명의 다른 측면에 따르면, 얼굴 인식 시스템의 위조 공격 탐지 방법이 제공된다. According to another aspect of the present invention, a forgery attack detection method of a face recognition system is provided.
본 발명의 일 실시 예에 따른 얼굴 인식 시스템의 위조 공격 탐지 방법은 본 입력 영상에 대해 전처리를 수행하여 얼굴 영상을 생성하는 단계, 상기 얼굴 영상으로부터 핸드크래프티드 특징 벡터를 추출하는 단계, 상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 단계, 상기 핸드크래프티드 특징 벡터 및 상기 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 생성하는 단계, 상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 단계 및 상기 하이브리드 특징 벡터에 따라 공격 탐지 정보를 생성하는 단계를 포함하는 위조 공격 탐지 방법이 제공된다.In the forgery attack detection method of the face recognition system according to an embodiment of the present invention, generating a face image by performing a preprocessing on the input image, extracting a handcrafted feature vector from the face image, the face image Extracting a deep feature vector from the linker; concatenating the handcrafted feature vector and the deep feature vector to generate a hybrid feature vector; removing noise of the hybrid feature vector and reducing a dimension; and In accordance with the present invention, there is provided a forged attack detection method comprising generating attack detection information.
본 발명의 일 실시 예에 따르면, 얼굴 인식 시스템에 대한 위조 공격을 유효하게 탐지하여 얼굴 인식 시스템의 안전성을 보장할 수 있다.According to one embodiment of the present invention, it is possible to effectively detect the forgery attack on the face recognition system to ensure the safety of the face recognition system.
도 1은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 수행하는 전처리 과정을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 수행하는 MLBP를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 이용하는 CNN의 대략적인 구조를 예시한 도면.
도 5는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 이용하는 CNN의 구체적인 구조를 예시한 도면.
도 6은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 위조 공격을 탐지하는 과정을 예시한 순서도.
도 7은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 입력 영상의 위조 공격 탐지 정확도에 대한 테스트 결과를 예시한 도면.1 is a block diagram illustrating a counterfeit attack detection apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a preprocessing process performed by the forgery attack detection apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a MLBP performed by the forgery attack detection device according to an embodiment of the present invention.
Figure 4 illustrates the general structure of a CNN used by the forgery attack detection apparatus according to an embodiment of the present invention.
5 is a diagram illustrating a specific structure of the CNN used by the forgery attack detection apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating a process of detecting a forgery attack by the device forgery attack detection according to an embodiment of the present invention.
7 is a diagram illustrating a test result of the forgery attack detection accuracy of the input image in the forgery attack detection device according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, when it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Also, the singular forms used in the specification and claims are to be interpreted as generally meaning "one or more", unless stated otherwise.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals and redundant description thereof will be omitted. Shall be.
도 1은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 수행하는 전처리 과정을 예시한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 수행하는 MLBP를 예시한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 이용하는 CNN의 대략적인 구조를 예시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 이용하는 CNN의 구체적인 구조를 예시한 도면이다.1 is a block diagram illustrating a counterfeit attack detection device according to an embodiment of the present invention, FIG. 2 is a diagram illustrating a preprocessing process performed by a counterfeit attack detection device according to an embodiment of the present invention, FIG. FIG. 4 is a diagram illustrating an MLBP performed by a counterfeit attack detection device according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating a general structure of a CNN used by a counterfeit attack detection device according to an embodiment of the present invention. 5 is a diagram illustrating a specific structure of the CNN used by the forgery attack detection apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치는 전처리부(110), 핸드크래프티드 특징 추출부(120), 딥 특징 추출부(130), 하이브리드 특징 산출부(140), 주성분 분석부(150) 및 공격 탐지부(160)를 포함한다.1, a counterfeit attack detection device according to an embodiment of the present invention includes a
전처리부(110)는 사용자의 얼굴이 촬영된 영상(이하, 입력 영상이라 지칭)을 입력받고, 입력 영상에서 대해 전처리 프로세스를 수행하여 얼굴 영역을 검출하여 얼굴 영역을 포함하는 영상인 얼굴 영상을 생성한다. 예를 들어, 전처리부(110)는 도 2의 200과 같은 입력 영상에서 회기 트리(ensemble of regression tree)를 이용한 얼굴 특징점(facial feature point)을 검출할 수 있다. 즉, 전처리부(110)는 도 2의 210의 붉은 점과 같이 얼굴 특징점을 검출할 수 있다. 전처리부(110)는 검출된 얼굴 특징점 중 양 눈에 대응하는 특징점의 좌표를 이용하여 얼굴이 정면을 바라보도록 입력 영상을 도 2의 220과 같이 회전하고, 회전된 입력 영상에서 얼굴의 외곽에 위치하는 점을 특징점을 기준으로 얼굴 영역을 검출하고, 얼굴 영역이 포함된 얼굴 영상(도 2의 230)을 생성할 수 있다. 전처리부(110)는 얼굴 영상을 핸드크래프티드 특징 추출부(120) 및 딥 특징 추출부(130)로 전송한다.The
핸드크래프티드 특징 추출부(120)는 얼굴 영상으로부터 핸드크래프티드 특징 벡터(handcrafted feature vector)를 추출한다. 예를 들어, 핸드크래프티드 특징 추출부(120)는 도 3에 예시한 바와 같은 MLBP(Modified Local Binary Patterns) 방법을 통해 핸드크래프티드 특징 벡터를 추출할 수 있다.The
딥 특징 추출부(130)는 얼굴 영상으로부터 딥 특징 벡터(deep feature vector)를 추출한다. 예를 들어, 딥 특징 추출부(130)는 도 4에 예시한 바와 같은 구조의 CNN(Convolutional Neural Network)에 얼굴 영상을 입력하고, 딥 특징 벡터를 출력 받는다. 구체적으로, 딥 특징 추출부(130)가 이용하는 CNN은 16개의 컨벌루션 레이어, 5개의 풀링 레이어, 2개의 완전 연결 레이어를 포함할 수 있다. The
CNN의 예를 들면, 제1 컨벌루션 레이어는 224×224×3(너비, 높이 및 채널의 크기)의 입력에 대해 64개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제1 컨벌루션 레이어의 ReLU 층을 통하여 224×224×64를 출력할 수 있다. 제1 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×3이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.As an example of a CNN, the first convolutional layer generates a feature map using 64 filters for an input of 224 × 224 × 3 (width, height, and channel size). In the CNN, for example, the acquired feature map may output 224 × 224 × 64 through the ReLU layer of the first convolutional layer. The filter size used in the first convolutional layer may be 3 × 3 × 3, the stride size may be 1 × 1, and the padding size may be 1 × 1.
CNN의 예를 들면, 제2 컨벌루션 레이어는 224×224×64(너비, 높이 및 채널의 크기)의 입력에 대해 64개의 필터를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 제2 컨벌루션 레이어의 ReLU 층을 통과하고, 이후 최대 풀링 레이어를 통하여 112×112×64의 특징 맵이 출력될 수 있다. 이 때, 제2 컨벌루션 레이어로부터 특징 맵을 수신하는 최대 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2일 수 있다. 제2 컨벌루션 레이어에서 필터 사이즈는 3×3×64이고, 패딩 사이즈는 1×1이고, 및 스트라이드 사이즈는 1×1일 수 있다.As an example of a CNN, the second convolutional layer generates a feature map using 64 filters for an input of 224 × 224 × 64 (width, height, and channel size). The generated feature map may pass through the ReLU layer of the second convolutional layer, and then 112 × 112 × 64 feature maps may be output through the maximum pulling layer. In this case, the filter size of the maximum pooling layer that receives the feature map from the second convolutional layer may be 2 × 2, and the stride size may be 2 × 2. In the second convolutional layer, the filter size may be 3 × 3 × 64, the padding size is 1 × 1, and the stride size may be 1 × 1.
CNN의 예를 들면, 제3 컨벌루션 레이어는 112×112×64(너비, 높이 및 채널의 크기)의 입력에 대해 128개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제3 컨벌루션 레이어의 ReLU 층을 통하여 112×112×128를 출력할 수 있다. 제1 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×64이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.As an example of a CNN, the third convolutional layer generates a feature map using 128 filters for an input of 112 × 112 × 64 (width, height, and channel size). In the CNN, for example, the acquired feature map may output 112 × 112 × 128 through the ReLU layer of the third convolutional layer. The filter size used in the first convolutional layer may be 3 × 3 × 64, the stride size is 1 × 1, and the padding size may be 1 × 1.
CNN의 예를 들면, 제4 컨벌루션 레이어는 112×112×128(너비, 높이 및 채널의 크기)의 입력에 대해 128개의 필터를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 제4 컨벌루션 레이어의 ReLU 층을 통과하고, 이후 최대 풀링 레이어를 통하여 56×56×128의 특징 맵이 출력될 수 있다. 이 때, 제4 컨벌루션 레이어로부터 특징 맵을 수신하는 최대 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2일 수 있다. 제4 컨벌루션 레이어에서 필터 사이즈는 3×3×128이고, 패딩 사이즈는 1×1이고, 및 스트라이드 사이즈는 1×1일 수 있다.As an example of a CNN, the fourth convolutional layer generates a feature map using 128 filters for an input of 112 × 112 × 128 (width, height, and channel size). The generated feature map passes through the ReLU layer of the fourth convolution layer, and then a feature map of 56 × 56 × 128 may be output through the maximum pulling layer. In this case, the filter size of the maximum pooling layer that receives the feature map from the fourth convolutional layer may be 2 × 2, and the stride size may be 2 × 2. In the fourth convolution layer, the filter size may be 3 × 3 × 128, the padding size is 1 × 1, and the stride size may be 1 × 1.
CNN의 예를 들면, 제5 컨벌루션 레이어는 56×56×128(너비, 높이 및 채널의 크기)의 입력에 대해 256개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제5 컨벌루션 레이어의 ReLU 층을 통하여 56×56×256를 출력할 수 있다. 제5 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×128이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.As an example of a CNN, the fifth convolutional layer generates a feature map using 256 filters for 56 × 56 × 128 (width, height, and channel size) inputs. In the CNN, for example, the acquired feature map may output 56 × 56 × 256 through the ReLU layer of the fifth convolutional layer. The filter size used in the fifth convolutional layer may be 3 × 3 × 128, a stride size of 1 × 1, and a padding size of 1 × 1.
CNN의 예를 들면, 제6 및 제7 컨벌루션 레이어는 56×56×256(너비, 높이 및 채널의 크기)의 입력에 대해 256개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제6 및 제7 컨벌루션 레이어의 ReLU 층을 통하여 56×56×256를 출력할 수 있다. 제6 및 제7 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×256이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.For example, in the CNN, the sixth and seventh convolution layers generate a feature map using 256 filters for 56 × 56 × 256 inputs (width, height, and channel size). For example, in the CNN, the acquired feature map may output 56 × 56 × 256 through the ReLU layers of the sixth and seventh convolution layers. The filter sizes used in the sixth and seventh convolution layers may be 3 × 3 × 256, the stride size is 1 × 1, and the padding size may be 1 × 1.
CNN의 예를 들면, 제8 컨벌루션 레이어는 56×56×256(너비, 높이 및 채널의 크기)의 입력에 대해 256개의 필터를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 제8 컨벌루션 레이어의 ReLU 층을 통과하고, 이후 최대 풀링 레이어를 통하여 28×28×256의 특징 맵이 출력될 수 있다. 이 때, 제8 컨벌루션 레이어로부터 특징 맵을 수신하는 최대 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2일 수 있다. 제8 컨벌루션 레이어에서 필터 사이즈는 3×3×256이고, 패딩 사이즈는 1×1이고, 및 스트라이드 사이즈는 1×1일 수 있다.As an example of a CNN, an eighth convolutional layer generates a feature map using 256 filters for an input of 56 × 56 × 256 (width, height, and channel size). The generated feature map may pass through the ReLU layer of the eighth convolutional layer, and then a feature map of 28 × 28 × 256 may be output through the maximum pulling layer. In this case, the filter size of the maximum pooling layer that receives the feature map from the eighth convolutional layer may be 2 × 2, and the stride size may be 2 × 2. In the eighth convolutional layer, the filter size may be 3 × 3 × 256, the padding size is 1 × 1, and the stride size may be 1 × 1.
CNN의 예를 들면, 제9 컨벌루션 레이어는 28×28×256(너비, 높이 및 채널의 크기)의 입력에 대해 512개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제9 컨벌루션 레이어의 ReLU 층을 통하여 28×28×512를 출력할 수 있다. 제9 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×256이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.As an example of a CNN, a ninth convolutional layer generates a feature map using 512 filters for an input of 28 × 28 × 256 (width, height, and channel size). In the CNN, for example, the acquired feature map may output 28 × 28 × 512 through the ReLU layer of the ninth convolution layer. The filter size used in the ninth convolution layer may be 3 × 3 × 256, a stride size of 1 × 1, and a padding size of 1 × 1.
CNN의 예를 들면, 제10 및 제11 컨벌루션 레이어는 28×28×512(너비, 높이 및 채널의 크기)의 입력에 대해 512개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제10 및 제11 컨벌루션 레이어의 ReLU 층을 통하여 28×28×512를 출력할 수 있다. 제10 및 제11 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×512이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.For example, in the CNN, the tenth and eleventh convolutional layers generate a feature map using 512 filters for an input of 28 × 28 × 512 (width, height, and channel size). For example, in the CNN, the obtained feature map may output 28 × 28 × 512 through the ReLU layers of the tenth and eleventh convolutional layers. The filter sizes used in the tenth and eleventh convolution layers may be 3 × 3 × 512, a stride size of 1 × 1, and a padding size of 1 × 1.
CNN의 예를 들면, 제12 컨벌루션 레이어는 28×28×512(너비, 높이 및 채널의 크기)의 입력에 대해 512개의 필터를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 제12 컨벌루션 레이어의 ReLU 층을 통과하고, 이후 최대 풀링 레이어를 통하여 14×14×512의 특징 맵이 출력될 수 있다. 이 때, 제12 컨벌루션 레이어로부터 특징 맵을 수신하는 최대 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2일 수 있다. 제12 컨벌루션 레이어에서 필터 사이즈는 3×3×512이고, 패딩 사이즈는 1×1이고, 및 스트라이드 사이즈는 1×1일 수 있다.As an example of a CNN, a twelfth convolutional layer generates a feature map using 512 filters for an input of 28 × 28 × 512 (width, height, and channel size). The generated feature map may pass through the ReLU layer of the twelfth convolution layer, and then a feature map of 14 × 14 × 512 may be output through the maximum pulling layer. In this case, the filter size of the maximum pooling layer that receives the feature map from the twelfth convolution layer may be 2 × 2, and the stride size may be 2 × 2. In the twelfth convolution layer, the filter size may be 3 × 3 × 512, the padding size is 1 × 1, and the stride size may be 1 × 1.
CNN의 예를 들면, 제13 내지 제15 컨벌루션 레이어는 14×14×512(너비, 높이 및 채널의 크기)의 입력에 대해 512개의 필터를 이용하여 특징 맵을 생성한다. CNN에서 예를 들면, 획득된 특징 맵이 제13 내지 제15 컨벌루션 레이어의 ReLU 층을 통하여 14×14×512를 출력할 수 있다. 제13 및 제15 컨벌루션 레이어에서 이용된 필터 사이즈는 3×3×512이고, 스트라이드 사이즈는 1×1이고, 패딩 사이즈는 1×1일 수 있다.As an example of a CNN, the thirteenth to fifteenth convolution layers generate a feature map using 512 filters for an input of 14 × 14 × 512 (width, height, and channel size). For example, in the CNN, the acquired feature map may output 14 × 14 × 512 through the ReLU layer of the thirteenth to fifteenth convolution layers. The filter size used in the thirteenth and fifteenth convolution layers may be 3 × 3 × 512, a stride size of 1 × 1, and a padding size of 1 × 1.
CNN의 예를 들면, 제16 컨벌루션 레이어는 14×14×512(너비, 높이 및 채널의 크기)의 입력에 대해 512개의 필터를 이용하여 특징 맵을 생성한다. 생성된 특징 맵은 제16 컨벌루션 레이어의 ReLU 층을 통과하고, 이후 최대 풀링 레이어를 통하여 7×7×512의 특징 맵이 출력될 수 있다. 이 때, 제16 컨벌루션 레이어로부터 특징 맵을 수신하는 최대 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2일 수 있다. 제12 컨벌루션 레이어에서 필터 사이즈는 3×3×512이고, 패딩 사이즈는 1×1이고, 및 스트라이드 사이즈는 1×1일 수 있다.As an example of a CNN, a sixteenth convolutional layer generates a feature map using 512 filters for an input of 14 × 14 × 512 (width, height, and channel size). The generated feature map may pass through the ReLU layer of the sixteenth convolution layer, and then a feature map of 7 × 7 × 512 may be output through the maximum pulling layer. In this case, the filter size of the maximum pooling layer that receives the feature map from the sixteenth convolution layer may be 2 × 2, and the stride size may be 2 × 2. In the twelfth convolution layer, the filter size may be 3 × 3 × 512, the padding size is 1 × 1, and the stride size may be 1 × 1.
이후, CNN의 예를 들면, 추가적인 2개의 완전 연결 레이어들을 통하여 4096개의 특징 맵들을 각각 출력할 수 있다. 여기서, 제2의 완전 연결 레이어를 통해 출력된 특징 맵은 소프트맥스 함수로 입력되고, 소프트맥스 함수는 입력 영상의 위조 공격 여부를 판단할 수 있다. 소프트맥스 함수는 아래 수학식 1이 이용된다.Thereafter, for example, the CNN may
[수학식 1][Equation 1]
여기서, r은 출력 뉴런의 어레이이다.Where r is an array of output neurons.
딥 특징 추출부(130)는 CNN에서 제2 완전 연결 레이어에 의해 출력된 특징 맵을 딥 특징 벡터로 하이브리드 특징 산출부(140)로 출력한다. The
하이브리드 특징 산출부(140)는 핸드크래프티드 특징 벡터와 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 산출한다. 예를 들어, 하이브리드 특징 산출부(140)는 하기의 수식 (2)에 따라 하이브리드 특징 벡터를 산출할 수 있다The
[수학식 2][Equation 2]
f=[fh, fd]f = [f h, f d ]
이 때, fh는 핸드크래피티드 특징 벡터이고, fd는 딥 특징 벡터이고, f는 하이브리드 특징 벡터이다.In this case, f h is a handcrafted feature vector, f d is a deep feature vector, and f is a hybrid feature vector.
예를 들어, 핸드크래프티드 특징 벡터가 3732개이고, 딥 특징 벡터가 4096개인 경우, 하이브리드 특징 산출부(140)는 총 7828개의 하이브리드 특징 벡터를 산출할 수 있다.For example, when there are 3732 handcrafted feature vectors and 4096 deep feature vectors, the
하이브리드 특징 산출부(140)는 하이브리드 특징 벡터를 주성분 분석부(150)로 전송한다.The
주성분 분석부(150)는 하이브리드 특징 벡터에 대해 PCA(Principal component analysis)를 적용하여 하이브리드 특징 벡터의 노이즈를 제거하고, 차원을 축소시킨다. 주성분 분석부(150)는 처리된 하이브리드 특징 벡터를 공격 탐지부(160)로 전송한다.The
공격 탐지부(160)는 하이브리드 특징 벡터를 학습된 SVM(supportvector machine)에 입력하여 입력 영상이 위조 공격을 위한 영상인지 판단하고, 판단 결과를 나타내는 공격 탐지 정보를 생성 및 출력한다. The
도 6은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 위조 공격을 탐지하는 과정을 예시한 순서도이다. 이하 설명하는 각 단계는 위조 공격 탐지 장치를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 위조 공격 탐지 장치로 통칭하도록 한다.6 is a flowchart illustrating a process of detecting a counterfeit attack by the counterfeit attack detection apparatus according to an embodiment of the present invention. For each step described below, the subject of each step is collectively referred to as a counterfeit attack detection device for a concise and clear description of a process or invention performed through each functional unit constituting the counterfeit attack detection device.
도 6을 참조하면, 단계 610에서 위조 공격 탐지 장치는 입력 영상을 입력 받고, 입력 영상에 대한 전처리 과정을 수행하여 얼굴 영상을 생성한다. 전처리 과정에 대해서는 도 1을 참조하여 상술하였다.Referring to FIG. 6, in
단계 620에서 위조 공격 탐지 장치는 얼굴 영상에서 핸드크래프티드 특징 벡터를 추출한다. 예를 들어, 위조 공격 탐지 장치는 MLBP(Modified Local Binary Patterns) 방법을 통해 핸드크래프티드 특징 벡터를 추출할 수 있다.In
단계 630에서 위조 공격 탐지 장치는 얼굴 영상에서 딥 특징 벡터를 추출한다. 예를 들어, 위조 공격 탐지 장치는 CNN(Convolutional Neural Network)에 얼굴 영상을 입력하고, 딥 특징 벡터를 출력 받을 수 있다. 이 때, CNN의 구조에 대해서는 도 5 및 6일 참조하여 상술하였다.In
단계 640에서 위조 공격 탐지 장치는 핸드크래프티드 특징 벡터와 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 산출한다.In
단계 650에서 위조 공격 탐지 장치는 하이브리드 특징 벡터에 대해 PCA(Principal component analysis)를 적용하여 하이브리드 특징 벡터의 노이즈를 제거하고, 차원을 축소시킨다.In
단계 660에서 위조 공격 탐지 장치는 학습된 SVM에 하이브리드 특징 벡터를 입력하여 입력 영상의 위조 공격 여부를 나타내는 공격 탐지 정보를 생성한다.In
도 7은 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치가 입력 영상의 위조 공격 탐지 정확도에 대한 테스트 결과를 예시한 도면이다.7 is a diagram illustrating a test result of the forgery attack detection accuracy of the input image in the forgery attack detection device according to an embodiment of the present invention.
이 때, APCER(attack presentation classification error rate)은 위조 공격의 영상을 정당한 사용자의 영상으로 판단하는 확률이고, BPCER(bona fide presentation classification error rate)는 정당한 사용자의 영상을 위조 공격의 영상으로 판단하는 확률이고, ACER은 APCER과 BPCER의 평균을 의미한다. At this time, APCER (attack presentation class classification error rate) is the probability of judging the image of the forgery attack as a legitimate user's image, BPCER (bonna fide presentation class classification error rate) is the probability of judging the legitimate user's image as the image of the forgery attack ACER means the average of APCER and BPCER.
도 7에 예시한 바와 같이, 위조 공격 탐지 장치는 단독의 MLBP나 단독의 CNN을 이용한 경우에 비해 전반적으로 탐지 오류를 보여준다. 따라서, 본 발명의 일 실시 예에 따른 위조 공격 탐지 장치는 MLBP와 CNN를 통해 추출한 특징 벡터를 연결한 하이브리드 특징 벡터를 통해 위조 공격을 탐지하기 때문에 탐지 성능이 높다. 또한, 위조 공격 탐지 장치는 PCA를 통해 하이브리드 특징 벡터의 노이즈 제거 및 차원 축소를 하여, 탐지 성능에 영향을 줄이면서 탐지 과정의 부하를 줄일 수 있다.As illustrated in FIG. 7, the counterfeit attack detection device generally shows a detection error as compared to the case of using a single MLBP or a single CNN. Therefore, the counterfeit attack detection device according to an embodiment of the present invention has high detection performance because it detects a counterfeit attack through a hybrid feature vector connecting a feature vector extracted through MLBP and CNN. In addition, the fake attack detection device can reduce the load of the detection process while reducing the detection performance and noise reduction of the hybrid feature vector through the PCA.
본 발명의 실시 예에 따른 지폐 적합 판단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for determining a bill suitable for a bill according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like. In addition, the above-described medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
Claims (15)
상기 얼굴 영상으로부터 핸드크래프티드 특징 벡터를 추출하는 핸드크래프티드 특징 추출부;
상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 딥 특징 추출부;
상기 핸드크래프티드 특징 벡터 및 상기 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 생성하는 하이브리드 특징 산출부;
상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 주성분 분석부; 및
상기 하이브리드 특징 벡터에 따라 공격 탐지 정보를 생성하는 공격 탐지부를 포함하는 위조 공격 탐지 장치.
A preprocessor configured to generate a face image by performing preprocessing on the input image;
A handcrafted feature extraction unit for extracting a handcrafted feature vector from the face image;
A deep feature extractor extracting a deep feature vector from the face image;
A hybrid feature calculator configured to generate a hybrid feature vector by connecting the handcrafted feature vector and the deep feature vector;
A principal component analysis unit which removes noise of the hybrid feature vector and reduces the dimension; And
A forgery attack detection device including an attack detection unit for generating attack detection information according to the hybrid feature vector.
상기 핸드크래프티드 특징 추출부는,
MLBP(Modified Local Binary Patterns) 방법을 통해 상기 핸드크래프티드 특징 벡터를 추출하는 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 1,
The handcrafted feature extraction unit,
A fake attack detection device, characterized in that for extracting the handcrafted feature vector through a modified local binary pattern (MLBP) method.
상기 딥 특징 추출부는,
CNN(Convolutional Neural Network)를 통해 상기 딥 특징 벡터를 추출하는 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 1,
The dip feature extraction unit,
The forgery attack detection device, characterized in that for extracting the deep feature vector through a CNN (Convolutional Neural Network).
상기 CCN은
16개의 컨벌루션 레이어, 5개의 풀링 레이어 및 2개의 완전 연결 레이어를 포함한 CNN 구조를 이용하되,
각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 3×3×3, 3×3×64, 3×3×128, 3×3×256 및 3×3×512 중 어느 하나이고, 패딩 사이즈는 1×1이고, 스트라이드 사이즈는 1×1이고, 필터의 수는 64, 128, 256 및 512 중 어느 하나이고,
각 상기 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2이고, 패딩 사이즈는 0인 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 3,
The CCN is
Use a CNN structure with 16 convolutional layers, 5 pooling layers, and 2 fully connected layers,
The kernel size used in each of the convolution layers is any one of 3 × 3 × 3, 3 × 3 × 64, 3 × 3 × 128, 3 × 3 × 256, and 3 × 3 × 512, and the padding size is 1 × 1. Stride size is 1 × 1, and the number of filters is any one of 64, 128, 256, and 512,
The filter size of each of the pooling layer is 2 × 2, the stride size is 2 × 2, the padding size is a forgery attack detection device, characterized in that.
2개의 상기 완전 연결 레이어는 4096 개의 특징 맵을 각각 출력하는 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 4, wherein
And the two fully connected layers output 4096 feature maps, respectively.
상기 딥 특징 추출부는,
상기 완전 연결 레이어 중 마지막 완전 연결 레이어의 출력을 상기 딥 특징 벡터로 추출하는 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 5,
The dip feature extraction unit,
And extracting the output of the last fully connected layer of the fully connected layers as the deep feature vector.
상기 주성분 분석부는 PCA(Principal Component Analysis)를 적용하여 상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 것을 특징으로 하는 위조 공격 탐지 장치.
The method of claim 1,
The principal component analysis unit removes noise of the hybrid feature vector and reduces the dimension by applying a principal component analysis (PCA).
상기 얼굴 영상으로부터 핸드크래프티드 특징 벡터를 추출하는 단계;
상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 단계;
상기 핸드크래프티드 특징 벡터 및 상기 딥 특징 벡터를 연결하여 하이브리드 특징 벡터를 생성하는 단계;
상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 단계; 및
상기 하이브리드 특징 벡터에 따라 공격 탐지 정보를 생성하는 단계를 포함하는 위조 공격 탐지 방법.
Generating a face image by performing preprocessing on the input image;
Extracting a handcrafted feature vector from the face image;
Extracting a deep feature vector from the face image;
Concatenating the handcrafted feature vector and the deep feature vector to generate a hybrid feature vector;
Removing noise and reducing the dimension of the hybrid feature vector; And
And generating attack detection information according to the hybrid feature vector.
상기 얼굴 영상으로부터 핸드크래프티드 특징 벡터를 추출하는 단계는,
MLBP(Modified Local Binary Patterns) 방법을 통해 상기 핸드크래프티드 특징 벡터를 추출하는 단계인 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 8,
Extracting the handcrafted feature vector from the face image,
And extracting the handcrafted feature vector using a modified local binary pattern (MLBP) method.
상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 단계는,
CNN(Convolutional Neural Network)를 통해 상기 딥 특징 벡터를 추출하는 단계인 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 1,
Extracting the deep feature vector from the face image,
And extracting the deep feature vector through a convolutional neural network (CNN).
상기 CCN은
16개의 컨벌루션 레이어, 5개의 풀링 레이어 및 2개의 완전 연결 레이어를 포함한 CNN 구조를 포함하되,
각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 3×3×3, 3×3×64, 3×3×128, 3×3×256 및 3×3×512 중 어느 하나이고, 패딩 사이즈는 1×1이고, 스트라이드 사이즈는 1×1이고, 필터의 수는 64, 128, 256 및 512 중 어느 하나이고,
각 상기 풀링 레이어의 필터 사이즈는 2×2이고, 스트라이드 사이즈는 2×2이고, 패딩 사이즈는 0인 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 10,
The CCN is
Includes a CNN structure with 16 convolutional layers, 5 pooling layers, and 2 fully connected layers,
The kernel size used in each of the convolution layers is any one of 3 × 3 × 3, 3 × 3 × 64, 3 × 3 × 128, 3 × 3 × 256, and 3 × 3 × 512, and the padding size is 1 × 1. Stride size is 1 × 1, and the number of filters is any one of 64, 128, 256, and 512,
The filter size of each of the pooling layer is 2 × 2, the stride size is 2 × 2, the padding size is 0, characterized in that the fake attack detection method.
2개의 상기 완전 연결 레이어는 4096 개의 특징 맵을 각각 출력하는 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 11,
And the two fully connected layers output 4096 feature maps, respectively.
상기 얼굴 영상으로부터 딥 특징 벡터를 추출하는 단계는,
상기 완전 연결 레이어 중 마지막 완전 연결 레이어의 출력을 상기 딥 특징 벡터로 추출하는 단계인 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 12,
Extracting the deep feature vector from the face image,
Extracting the output of the last fully connected layer of the fully connected layers as the deep feature vector.
상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 단계는, PCA(Principal Component Analysis)를 적용하여 상기 하이브리드 특징 벡터의 노이즈를 제거하고 차원을 축소하는 단계인 것을 특징으로 하는 위조 공격 탐지 방법.
The method of claim 8,
The removing of the noise of the hybrid feature vector and reducing the dimension may include removing the noise of the hybrid feature vector and reducing the dimension by applying a principal component analysis (PCA).
A computer program for executing the forgery attack detection method of any one of claims 8 to 14 and recorded in a computer-readable recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180024274A KR102062708B1 (en) | 2018-02-28 | 2018-02-28 | Apparatus and method for detection presentaion attack for face recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180024274A KR102062708B1 (en) | 2018-02-28 | 2018-02-28 | Apparatus and method for detection presentaion attack for face recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190109772A true KR20190109772A (en) | 2019-09-27 |
KR102062708B1 KR102062708B1 (en) | 2020-02-21 |
Family
ID=68096856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180024274A KR102062708B1 (en) | 2018-02-28 | 2018-02-28 | Apparatus and method for detection presentaion attack for face recognition system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102062708B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642363A (en) * | 2020-05-11 | 2021-11-12 | 富士通株式会社 | Neural network and training method thereof |
CN116844198A (en) * | 2023-05-24 | 2023-10-03 | 北京优创新港科技股份有限公司 | Method and system for detecting face attack |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240083242A (en) * | 2022-12-02 | 2024-06-12 | 주식회사 Lg 경영개발원 | Apparatus and method for anomaly detection based on machine learning |
-
2018
- 2018-02-28 KR KR1020180024274A patent/KR102062708B1/en active IP Right Grant
Non-Patent Citations (3)
Title |
---|
Lei Li et al, "Face anti-spoofing via deep local binary patterns", 2017 IEEE International Conference on Image Processing, pp.101-105(2017.09.)* * |
Meng Xi, "Local binary pattern network: A deep learning approach for face recognition", Master Thesis(2016.07.)* * |
Patrik Kamencay et al, "A new method for face recognition using Convolutional Neural Network", 2017 Advances in Electrical and Electronic Engineering, Vol. 15, No. 4, pp.663-672(2017.)* * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642363A (en) * | 2020-05-11 | 2021-11-12 | 富士通株式会社 | Neural network and training method thereof |
CN116844198A (en) * | 2023-05-24 | 2023-10-03 | 北京优创新港科技股份有限公司 | Method and system for detecting face attack |
CN116844198B (en) * | 2023-05-24 | 2024-03-19 | 北京优创新港科技股份有限公司 | Method and system for detecting face attack |
Also Published As
Publication number | Publication date |
---|---|
KR102062708B1 (en) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113554089B (en) | Image classification countermeasure sample defense method and system and data processing terminal | |
CN108664782B (en) | Face verification method and device | |
CN108664880B (en) | Activity test method and apparatus | |
CN108629168B (en) | Face verification method and device and computing device | |
EP3509011B1 (en) | Apparatuses and methods for recognizing a facial expression robust against change in facial expression | |
US20190332851A1 (en) | Face verifying method and apparatus | |
KR100846500B1 (en) | Method and apparatus for recognizing face using extended Gabor wavelet features | |
KR100745980B1 (en) | Score fusion method and apparatus thereof for combining multiple classifiers | |
KR102062708B1 (en) | Apparatus and method for detection presentaion attack for face recognition system | |
US11244143B2 (en) | Method and apparatus for preprocessing fingerprint image | |
KR102111667B1 (en) | Apparatus of generating 2d image data set for deep learning through 3d design drawing data processing and system for searching simillar design drawing data based on deep learning using the same | |
JPH1139493A (en) | Device and method for pattern matching regarding distance and direction | |
CN114093022A (en) | Activity detection device, activity detection system, and activity detection method | |
Parasu et al. | Investigating Light-ResNet Architecture for Spoofing Detection Under Mismatched Conditions. | |
KR102138652B1 (en) | Apparatus and method for biometrics using finger vein feature and finger shape based on deep learning | |
US11380133B2 (en) | Domain adaptation-based object recognition apparatus and method | |
KR20120026232A (en) | Method and apparatus for generating an objected descriptor using extended curvature gabor filter | |
CN111275070B (en) | Signature verification method and device based on local feature matching | |
KR102174083B1 (en) | Apparatus and method for biometrics using finger vein feature based on deep learing | |
CN113255582A (en) | Handwriting identification method and device based on deep neural network and block chain | |
KR20200013271A (en) | Apparatus and method for identifying user using user body based on deep learning | |
CN106407942B (en) | Image processing method and device | |
KR20090005920A (en) | Method and apparatus for generating an object descriptor using curvature gabor filter | |
KR101954812B1 (en) | Device and method for handwriting recognition | |
US9633259B2 (en) | Apparatus and method for recognizing iris |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |