KR102316165B1 - 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법 - Google Patents

딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR102316165B1
KR102316165B1 KR1020190143624A KR20190143624A KR102316165B1 KR 102316165 B1 KR102316165 B1 KR 102316165B1 KR 1020190143624 A KR1020190143624 A KR 1020190143624A KR 20190143624 A KR20190143624 A KR 20190143624A KR 102316165 B1 KR102316165 B1 KR 102316165B1
Authority
KR
South Korea
Prior art keywords
image
attack
deep learning
recognition system
face recognition
Prior art date
Application number
KR1020190143624A
Other languages
English (en)
Other versions
KR20210056767A (ko
Inventor
류권상
최대선
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020190143624A priority Critical patent/KR102316165B1/ko
Publication of KR20210056767A publication Critical patent/KR20210056767A/ko
Application granted granted Critical
Publication of KR102316165B1 publication Critical patent/KR102316165B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치에 관한 것으로, 입력 이미지의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출하는 입력 벡터 추출부; 상기 입력 벡터를 입력받아 각기 지정된 역할을 수행하는 3개의 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성하는 GAN(Generative Adversarial Network) 처리부; 및 상기 생성된 공격용 이미지를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력하는 공격용 이미지 출력부;를 포함한다.

Description

딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING ATTACK IMAGE OF DEEP LEARNING BASED FACE RECOGNITION SYSTEM}
본 발명은 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반 얼굴 인식 시스템의 안전성을 검증하는 데 이용할 수 있도록 하는, 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법에 관한 것이다.
얼굴 검출(Face Detection)은 컴퓨터 비전의 한 분야로 영상에서 얼굴이 존재하는 위치를 알려주는 기술이다.
얼굴 검출과 유사한 기술로 얼굴 랜드마크(Landmark) 검출 및 얼굴 특징(Attributes) 추출 기술이 있다. 얼굴 랜드마크 검출은 얼굴에서 눈, 코, 잎 등의 위치를 검출하는 기술이고, 얼굴 인식은 얼굴 특징 추출 기반 신원(Identity)을 인식하는 기술이다.
최근에는 딥러닝 기반 얼굴 인식 시스템이 공항 출입국, 범죄사 식별, 얼굴 인증, 은행 등에서의 얼굴 인증과 같은 서비스에서 활용되고 있다.
따라서 이러한 딥러닝 기반 얼굴 인식 시스템의 안전성을 검증하는 것은 매우 중요하며, 실제 얼굴을 분장하는 것이 아니라, 검출된 얼굴 이미지에 대한 자연스러운 분장을 통해 타겟 딥러닝 기반 얼굴 인식 시스템을 속이는 기만 공격기술이 요구되고 있다.
본 발명의 배경기술은 대한민국 등록특허 10-2034248호(2019.10.14. 등록, GAN(Generative Adversarial Network)을 이용하는 이상 검출 방법, 장치 및 그 시스템)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 딥러닝 기반 얼굴 인식 시스템의 안전성을 검증하는 데 이용할 수 있도록 하는, 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치는, 입력 이미지의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출하는 입력 벡터 추출부; 상기 입력 벡터를 입력받아 각기 지정된 역할을 수행하는 3개의 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성하는 GAN(Generative Adversarial Network) 처리부; 및 상기 생성된 공격용 이미지를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력하는 공격용 이미지 출력부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 GAN 처리부는, 입력 이미지를 분장시키는 제1 GAN 처리부; 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지를 생성하는 제2 GAN 처리부; 및 상기 제1 및 제2 GAN 처리부에서 생성된 각각의 이미지를 합성하는 제3 GAN 처리부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 벡터는, [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는 입력 벡터인 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 이미지의 크기가 가로: 224, 세로: 224인 경우, 엣지 이미지, 컬러 이미지, 노이즈 이미지, 및 타겟 레이블에 대한 차원은,
입력 이미지*(1 - 분장 영역):(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
엣지 이미지*분장 영역 :(1, 224, 224, 1),
컬러 이미지*분장 영역 :(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
노이즈 이미지 * 분장영역 :(1, 224, 224, 1),
타겟 레이블 :(1, 224, 224, 1)인 것을 특징으로 한다.
본 발명에 있어서, 상기 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치는, 매뉴얼 방식으로 사용자가 원하는 대로 상기 공격용 이미지를 생성할 수 있으며, 이를 통해 제1 GAN 처리부에 대한 분장 이미지의 생성을 학습하게 할 수도 있도록 하는, 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스;를 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법은, 입력 벡터 추출부가 입력 이미지의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출하는 단계; GAN(Generative Adversarial Network) 처리부가 상기 입력 벡터를 입력받아 각기 지정된 역할을 수행하는 3개의 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성하는 단계; 및 공격용 이미지 출력부가 상기 생성된 공격용 이미지를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 공격용 이미지를 생성하는 단계에서, 상기 GAN 처리부는, 제1 GAN 처리부를 통해 입력 이미지를 분장시키는 단계; 제2 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지를 생성하는 단계; 및 제3 GAN 처리부를 통해 상기 제1 및 제2 GAN 처리부에서 생성된 각각의 이미지를 합성하는 단계;를 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 벡터는, [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는 입력 벡터인 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 이미지의 크기가 가로: 224, 세로: 224인 경우, 엣지 이미지, 컬러 이미지, 노이즈 이미지, 및 타겟 레이블에 대한 차원은,
입력 이미지*(1 - 분장 영역):(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
엣지 이미지*분장 영역 :(1, 224, 224, 1),
컬러 이미지*분장 영역 :(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
노이즈 이미지 * 분장영역 :(1, 224, 224, 1),
타겟 레이블 :(1, 224, 224, 1)인 것을 특징으로 한다.
본 발명에 있어서, 상기 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법은, 매뉴얼 방식으로 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스를 통하여, 사용자가 원하는 대로 상기 공격용 이미지를 생성할 수 있으며, 이를 통해 제1 GAN 처리부에 대한 분장 이미지의 생성을 학습하게 할 수도 있도록 구현되는 것을 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 딥러닝 기반 얼굴 인식 시스템의 안전성을 검증하는 데 이용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 입력 벡터 추출부의 기능을 설명하기 위한 예시도.
도 3은 상기 도 1에 있어서, 3개의 GAN 처리부의 연계 동작을 설명하기 위하여 보인 예시도.
도 4는 상기 도 1에 있어서, GAN 처리부가 내부적으로 사용하는 생성기를 설명하기 위하여 보인 예시도.
도 5는 상기 도 1에 있어서, GAN 처리부가 내부적으로 사용하는 식별기를 설명하기 위하여 보인 예시도.
도 6은 본 발명의 일 실시예에 따른 매뉴얼 방식으로 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스 화면을 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치는, 입력 벡터 추출부(110), GAN(Generative Adversarial Network) 처리부(120), 및 공격용 이미지 출력부(130)를 포함한다.
상기 입력 벡터 추출부(110)는 입력 이미지(즉, 얼굴 이미지)의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출한다.
예컨대 상기 미리 지정된 형태를 갖는 입력 벡터는, [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는 입력 벡터이다.
상기 GAN 처리부(120)는 각기 지정된 역할을 수행하는 3개의 GAN 처리부(121, 122, 123)를 포함한다.
제1 GAN 처리부(121)는 입력 이미지를 분장시킨다.
이때 상기 입력 이미지를 분장하는 방식은 미리 학습할 수 있으며, 상기 분장을 위한 학습은 분장 결과에 대하여 사람들에 의한 반복적인 피드백을 통하여 기준비율 이상으로 어색하지 않고 자연스러운 분장이 되도록 학습할 수 있다.
이하 상기 입력 이미지를 분장시킨 이미지를 제1 이미지라고 한다.
제2 GAN 처리부(122)는 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지를 생성한다.
예컨대 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지는, 조명이 비춘 이미지, 형광 얼룩무늬 안경테 이미지, 그림자 이미지, 및 수염 이미지 등, 기존에 딥러닝 기반 얼굴 인식 시스템에 공격이 성공했던 이미지들을 포함한다. 상기 속임수 이미지는 입력 이미지(즉, 얼굴 이미지)에 합성할 수 있다.
이하 상기 속임수 이미지를 제2 이미지라고 한다.
제3 GAN 처리부(123)는 상기 제1 및 제2 GAN 처리부(121, 122)에서 생성된 각각의 이미지(제1, 제2 이미지)를 조합(또는 합성)한다.
이하 상기 제1 및 제2 이미지가 합성된 이미지를 제3 이미지라고 한다.
즉, 상기 제3 GAN 처리부(123)는 상기 제1 및 제2 GAN 처리부(121, 122)에 상기 입력 벡터 추출부(110)에서 추출된 입력 벡터를 입력하며, 상기 입력 벡터를 이용하여 상기 제1 GAN 처리부(121)에서 분장된 얼굴 이미지(즉, 제1 이미지)에 상기 제2 GAN 처리부(122)에서 생성된 속임수 이미지(즉, 제2 이미지)가 합성된 합성 이미지(즉, 제3 이미지)를 생성한다.
이에 따라 상기 제3 이미지는 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는(즉, 공격할 수 있는) 공격용 이미지가 된다.
상기 공격용 이미지 출력부(130)는 상기 생성된 제3 이미지(즉, 공격용 이미지)를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력한다. 즉, 상기 제3 이미지(즉, 공격용 이미지)를 이용하여 타겟 딥러닝 기반 얼굴 인식 시스템을 기만 공격한다.
이하 상기 도 1의 구성요소들의 기능에 대해서 보다 구체적으로 설명한다.
상기 입력 벡터 추출부(110)는 입력 이미지(즉, 얼굴 이미지)의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출한다(도 2 참조).
도 2는 상기 도 1에 있어서, 입력 벡터 추출부의 기능을 설명하기 위한 예시도이고, 도 3은 상기 도 1에 있어서, 입력 벡터 추출부에서 전처리된 각 입력 벡터 이미지를 보인 예시도이다.
도 2의 (a)를 참조하면, 엣지 추출은 라플라시안 에지 검출(Laplacian edge detection) 방식을 이용하여 입력 이미지에 대해 엣지(edge)를 추출한다.
도 2의 (b)를 참조하면, 컬러(Color) 추출은 퀵 시프트(Quick shift)방식을 이용하여 이미지 분할 후 각 영역별 평균 색 사용한다.
도 2의 (c)를 참조하면, 분장 영역(또는 마스크 영역)은 랜덤하게 사각형 모양으로 설정된다. 이때 분장 영역은 1로 설정되고, 분장 영역이 아니면 0으로 설정되며, 분장 영역의 크기는 입력 이미지의 가로, 및 세로 길이의 절반에 해당한다.
그리고 도면에는 도시되어 있지 않지만, 노이즈는 표준 정규 분포에서 입력 이미지 모양과 동일하게 추출한다.
도 2의 (d)를 참조하면, 공격 레이블 설정은 원래 공격할 레이블은 모델의 클래스(class) 개수만큼 원하는 벡터로 표현되지만, 상기 추출된 정보들(예 : 엣지, 컬러, 분장 영역, 노이즈)의 차원과 일치 시켜야 하므로 이미지의 모든 행에 대해 공격 레이블에 해당하는 열은 1로 설정한다.
이에 따라 상기 입력 벡터 추출부(110)에서 추출되는 입력 벡터는, [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는다.
참고로 상기 입력 이미지, 엣지 이미지, 컬러 이미지, 노이즈 이미지, 및 타겟 레이블에 대한 차원을 정리하면 다음과 같다. 이때 입력 이미지의 크기는, 가로: 224, 세로: 224로 가정한다.
입력 이미지*(1 - 분장 영역):(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
엣지 이미지*분장 영역 :(1, 224, 224, 1),
컬러 이미지*분장 영역 :(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
노이즈 이미지 * 분장영역 :(1, 224, 224, 1),
타겟 레이블 :(1, 224, 224, 1),
다만, 여기서 도 2는 본 발명의 이해를 돕기 위해서 분류 경계 및 분류 영역을 매우 단순화시켜 가상으로 보인 예시도로서, 실제 분류 경계는 이미지 형태로 표현할 수 없을 정도로 매우 복잡하다는 점에 유의한다.
도 3은 상기 도 1에 있어서, 3개의 GAN 처리부의 연계 동작을 설명하기 위하여 보인 예시도로서, 입력 벡터 추출부(110)에서 추출된 정보(G_Inputs)를 GAN 처리부(120)에 입력받으면, 제1 GAN 처리부(121)의 생성기(G1)가 분장 이미지(즉, 제1 이미지 or 생성 이미지)를 생성하고, 식별기(D1)가 상기 분장 이미지(제1 이미지)의 진짜(Real)/가짜(Fake)를 식별하여 생성기(G1)에 피드백 함으로써 다음 번 이미지 생성에 반영한다(즉, 학습한다). 이때 상기 식별기(D1)는 입력 이미지에 대해 지정된 사이즈(예 : 3X3)별로 진짜(Real)/가짜(Fake)를 식별한다.
이와 마찬가지로, 제2 GAN 처리부(122)는 생성기(G2)를 통해 속임수 이미지(즉, 제2 이미지)를 생성하고, 식별기(D2)를 통해 상기 속임수 이미지(제2 이미지)의 진짜/가짜를 식별하여 생성기(G2)에 피드백 함으로써 다음 번 이미지 생성에 반영하며, 추가로 타겟 모델(즉, 타겟 딥러닝 기반의 얼굴 인식 시스템)에 대한 공격 성공/실패 정보를 피드백 받아 다음 번 이미지 생성에 반영한다(즉, 학습한다).
다음 제3 GAN 처리부(123)는 생성기(G3)를 통해 합성(병합) 이미지(즉, 제3 이미지)를 생성하고, 식별기(D3)를 통해 상기 합성 이미지(제3 이미지)의 진짜/가짜를 식별하여 생성기(G2)에 피드백 함으로써 다음 번 이미지 생성에 반영하며, 추가로 타겟 모델(즉, 타겟 딥러닝 기반의 얼굴 인식 시스템)에 대한 공격 성공/실패 정보를 피드백 받아 다음 번 이미지 생성에 반영한다(즉, 학습한다).
이하 상기 제1 GAN 처리부(121)의 손실 함수에 대해서 설명한다.
참고로 신경망 학습에서는 현재의 상태를 하나의 지표로 표현 할 수 있으며, 그 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색할 수 있다. 그리고 신경망도 하나의 지표를 기준으로 최적의 매개변수 값을 탐색하게 되는데, 이때 신경망 학습에서 사용하는 지표를 손실함수라고 한다.
상기 제1 GAN 처리부는 아래의 손실 함수들을 사용할 수 있다.
Figure 112019115539783-pat00001
: 생성 이미지에 대한 식별기의 진짜/가짜 틀린 정도의 점수,
Figure 112019115539783-pat00002
: 분장 영역에 대한 생성 이미지와 원본 이미지의 차이,
Figure 112019115539783-pat00003
: 분장 영역이 아닌 부분에 대해 생성 이미지와 원본 이미지의 차이,
Figure 112019115539783-pat00004
: 위의 식들을 더해 손실(loss)을 계산하여 학습한다.
Figure 112019115539783-pat00005
: 학습 능력을 향상시키기 위한 손실(loss),
Figure 112019115539783-pat00006
: 식별기의 손실(loss),
여기서
Figure 112019115539783-pat00007
: 원본 이미지,
Figure 112019115539783-pat00008
: 생성 이미지,
Figure 112019115539783-pat00009
: 분장 영역만 원본 이미지에 생성 이미지를 덮어쓴 이미지
Figure 112019115539783-pat00010
: 각 손실(loss)에 반영되는 정도,
Figure 112019115539783-pat00011
: 생성 이미지(
Figure 112019115539783-pat00012
)와 원본 이미지(
Figure 112019115539783-pat00013
)로부터 식별자 입력 사이에 일률적으로 직선을 따라 샘플링된 데이터 점. D : 식별기(Discriminator), E : 손실(loss)들의 평균, M : 마스크(분할 영역)을 의미함.
이하 상기 제2 GAN 처리부(122)는 아래의 손실 함수들을 사용할 수 있다.
Figure 112019115539783-pat00014
: 생성 이미지에 대한 식별자의 진짜/가짜 틀린 정도의 점수,
Figure 112019115539783-pat00015
: 원본 이미지와 생성 이미지의 차이,
Figure 112019115539783-pat00016
: 타겟 얼굴 인식 시스템의 출력 벡터에서 공격 레이블이 아닌 것들 중 최대값과 공격 레이블에 해당하는 값의 차이를 계산 후 계산된 값과 0의 최대 값,
Figure 112019115539783-pat00017
가 최소한의 변조,
Figure 112019115539783-pat00018
가 공격 레이블로 오인식하도록 하는 손실임.
식별 손실(Discriminator loss)은 상기 제1 GAN 처리부(121)의 식별 손실(Discriminator loss)과 동일하다.
이하 상기 제3 GAN 처리부(123)는 아래의 손실 함수들을 사용할 수 있다.
상기 제3 GAN 처리부(123)는 제1 및 제2 GAN 처리부(121, 122)에서 생성한 이미지를 모두 입력받는다.
Figure 112019115539783-pat00019
: 완성 이미지에 대한 식별자의 진짜/가짜 틀린 정도의 점수,
Figure 112019115539783-pat00020
: 분장 영역에 대해 생성 이미지와 원본 이미지의 차이,
Figure 112019115539783-pat00021
: 분장 영역이 아닌 부분에 대해 생성 이미지와 원본 이미지의 차이,
Figure 112019115539783-pat00022
: 타겟 얼굴 인식 시스템의 출력 벡터에서 공격 레이블이 아닌 것들 중 최대값과 공격 레이블에 해당하는 값의 차이를 계산 후 계산된 값과 0의 최대값,
Figure 112019115539783-pat00023
: 위의 식들을 더해 손실(loss)을 계산하여 학습,
식별 손실(Discriminator loss)은 상기 제1 및 제2 GAN 처리부(121, 122)의 식별 손실(Discriminator loss)과 동일하다.
참고로 상기 제1, 제2, 및 제3 GAN 처리부(121 ~ 123)에서 사용하는 생성기(Generator)는, 도 4에 도시된 바와 같은 U-Net 구조를 사용하며, 엔코더(Encoder)-디코더(Decoder) 구조의 데이터 손실을 방지하기 위해 엔코더(Encoder)의 출력값을 디코더(Decoder)의 입력에 병합한다. 이때 엔코더(Encoder)에서 스트라이드(stride)가 2인 커널 컨볼루션(kernel convolution)을 통해 7번의 다운샘플링(downsampling)을 수행한다. 그리고 디코더(Decoder)는 엔코더(Encoder)의 동일한 부분의 출력값을 받아 업샘플링(upsampling)을 수행한다. 한편 생성기의 구조는 SC-FEGAN의 생성기 구조와 동일하다. 한편 식별기(Discriminator)는 GAN 학습에 안정성을 더해주는 것으로서, 도 5에 도시된 바와 같은 SN-PatchGAN 구조를 사용하며, 3*3의 컨볼루션 커널(convolution kernel)을 사용한다.
상기와 같이 본 실시예는 상기 제1 내지 제3 GAN 처리부(121 ~ 123)를 통해 타겟 딥러닝 기반 얼굴 인식 시스템에 대한 공격용 이미지를 자동으로 생성할 수 있다.
이에 따라 공격용 이미지 출력부(130)를 통해 상기 공격용 이미지를 이용하여 타겟 딥러닝 기반 얼굴 인식 시스템을 공격할 수 있다.
다만 본 실시예에서는, 도 6에 도시된 바와 같이, 매뉴얼 방식으로 사용자가 원하는 대로 상기 공격용 이미지를 생성할 수 있으며, 이를 통해 상기 제1 GAN 처리부(121)에 대한 분장 이미지의 생성을 학습하게 할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 매뉴얼 방식으로 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스 화면을 보인 예시도이다.
본 실시예에 따른 공격용 이미지 생성 장치의 내부 제어부(미도시)는 상기 사용자 인터페이스 화면을 통해 사용자로부터 입력 장치(예 : 터치나 마우스)를 통해 명령(또는 메뉴 버튼)을 입력받는다.
도 6을 참조하면, “Open Image”버튼을 통해 입력 이미지(도 6의 좌측 이미지)를 불러온다.
예컨대 “Mask”버튼을 통해 분장 영역을 선택한다. 즉, 상기 분장 영역에 대해서 색을 칠할 수 있다. “Sketches”버튼을 통해 분장 영역 안에서 선(엣지)을 그릴 수 있다. “Color”버튼을 통해 분장 영역에 칠할 색상을 선택할 수 있다. “Palette”버튼을 통해 더 세밀하고 정교한 색상을 선택할 수 있다. “SaveImg”버튼을 통해 공격용 이미지를 저장할 수 있다. “Target_label”영역에 원하는 레이블 번호을 입력할 수 있다. “Clear”버튼을 통해 입력 이미지(즉, 원본 이미지)로 돌아갈 수 있다. “Undo”버튼을 통해 이전 작업으로 돌아갈 수 있다. “Arrange”버튼을 통해 조작한 부분을 부드럽게(즉, 픽셀간 단차가 발생하지 않도록 자연스럽게) 만들 수 있다. “Predicted_label”영역을 통해 타겟 딥러닝 기반 얼굴 인식 시스템이 분장된 얼굴(즉, 공격용 이미지)를 분류한 결과(예 : 진짜/가짜 or 성공/실패)를 표시할 수 있다. 그리고 “Complete”버튼이 입력되면 분장된 이미지가 우측에 표시된다(분장되기 전 처음에는 원본 이미지가 출력된다).
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 입력 벡터 추출부
120 : GAN 처리부
121 : 제1 GAN 처리부
122 : 제2 GAN 처리부
133 : 제3 GAN 처리부
130 : 공격용 이미지 출력부

Claims (10)

  1. 입력 이미지의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출하는 입력 벡터 추출부;
    상기 입력 벡터를 입력받아 각기 지정된 역할을 수행하는 3개의 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성하는 GAN(Generative Adversarial Network) 처리부; 및
    상기 생성된 공격용 이미지를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력하는 공격용 이미지 출력부;를 포함하되,
    상기 GAN 처리부는,
    입력 이미지를 분장시키는 제1 GAN 처리부;
    딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지를 생성하는 제2 GAN 처리부; 및
    상기 제1 및 제2 GAN 처리부에서 생성된 각각의 이미지를 합성하는 제3 GAN 처리부;를 포함하는 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 입력 벡터는,
    [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는 입력 벡터인 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치.
  4. 제 3항에 있어서,
    상기 입력 이미지의 크기가 가로: 224, 세로: 224인 경우,
    엣지 이미지, 컬러 이미지, 노이즈 이미지, 및 타겟 레이블에 대한 차원은,
    입력 이미지*(1 - 분장 영역):(1, 224, 224, 3), 3은 컬러(RGB)를 의미함
    엣지 이미지*분장 영역 :(1, 224, 224, 1)
    컬러 이미지*분장 영역 :(1, 224, 224, 3), 3은 컬러(RGB)를 의미함
    노이즈 이미지 * 분장영역 :(1, 224, 224, 1)
    타겟 레이블 :(1, 224, 224, 1)
    인 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치.
  5. 제 1항에 있어서,
    상기 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치는,
    매뉴얼 방식으로 사용자가 원하는 대로 상기 공격용 이미지를 생성할 수 있으며, 이를 통해 제1 GAN 처리부에 대한 분장 이미지의 생성을 학습하게 할 수도 있도록 하는, 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스;를 포함하는 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치.
  6. 입력 벡터 추출부가 입력 이미지의 전처리를 통해 미리 지정된 형태의 입력 벡터를 추출하는 단계;
    GAN(Generative Adversarial Network) 처리부가 상기 입력 벡터를 입력받아 각기 지정된 역할을 수행하는 3개의 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성하는 단계; 및
    공격용 이미지 출력부가 상기 생성된 공격용 이미지를 시험 대상이 되는 타겟 딥러닝 기반 얼굴 인식 시스템에 출력하는 단계;를 포함하되,
    상기 공격용 이미지를 생성하는 단계에서,
    상기 GAN 처리부는,
    제1 GAN 처리부를 통해 입력 이미지를 분장시키는 단계;
    제2 GAN 처리부를 통해 딥러닝 기반 얼굴 인식 시스템을 속일 수 있는 속임수 이미지를 생성하는 단계; 및
    제3 GAN 처리부를 통해 상기 제1 및 제2 GAN 처리부에서 생성된 각각의 이미지를 합성하는 단계;를 수행하는 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법.
  7. 삭제
  8. 제 6항에 있어서, 상기 입력 벡터는,
    [입력 이미지*(1 - 분장 영역), 엣지 이미지*분장 영역, 컬러 이미지*분장 영역, 노이즈 이미지*분장영역, 타겟 레이블]의 형태를 갖는 입력 벡터인 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법.
  9. 제 8항에 있어서,
    상기 입력 이미지의 크기가 가로: 224, 세로: 224인 경우,
    엣지 이미지, 컬러 이미지, 노이즈 이미지, 및 타겟 레이블에 대한 차원은,
    입력 이미지*(1 - 분장 영역):(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
    엣지 이미지*분장 영역 :(1, 224, 224, 1),
    컬러 이미지*분장 영역 :(1, 224, 224, 3), 3은 컬러(RGB)를 의미함,
    노이즈 이미지 * 분장영역 :(1, 224, 224, 1),
    타겟 레이블 :(1, 224, 224, 1),
    인 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법.
  10. 제 6항에 있어서,
    상기 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법은,
    매뉴얼 방식으로 타겟 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지를 생성할 수 있게 하는 사용자 인터페이스를 통하여,
    사용자가 원하는 대로 상기 공격용 이미지를 생성할 수 있으며, 이를 통해 제1 GAN 처리부에 대한 분장 이미지의 생성을 학습하게 할 수도 있도록 구현되는 것을 포함하는 것을 특징으로 하는 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 방법.
KR1020190143624A 2019-11-11 2019-11-11 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법 KR102316165B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190143624A KR102316165B1 (ko) 2019-11-11 2019-11-11 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143624A KR102316165B1 (ko) 2019-11-11 2019-11-11 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210056767A KR20210056767A (ko) 2021-05-20
KR102316165B1 true KR102316165B1 (ko) 2021-10-22

Family

ID=76143032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143624A KR102316165B1 (ko) 2019-11-11 2019-11-11 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102316165B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620083B1 (ko) * 2021-09-24 2023-12-29 경희대학교 산학협력단 태양 위성 관측 데이터 생성 방법 및 그 장치
KR102467907B1 (ko) * 2021-10-29 2022-11-16 주식회사 딥노이드 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법
KR102520839B1 (ko) * 2022-08-29 2023-04-11 안재관 인공지능 알고리즘에 기초하여 헤어 가상 피팅 서비스를 제공하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140130B (zh) * 2015-11-05 2019-10-18 谷歌有限责任公司 图像处理方法及非暂时性计算机可读介质

Also Published As

Publication number Publication date
KR20210056767A (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
Islam et al. Real time hand gesture recognition using different algorithms based on American sign language
KR102316165B1 (ko) 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
Chen et al. Contour matching for 3D ear recognition
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR20190001066A (ko) 얼굴 인증 방법 및 장치
CN109635752B (zh) 人脸关键点的定位方法、人脸图像处理方法和相关装置
Arcoverde Neto et al. Enhanced real-time head pose estimation system for mobile device
KR20190136349A (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
KR101081494B1 (ko) 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템
CN105335719A (zh) 活体检测方法及装置
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
KR20220042301A (ko) 이미지 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램
CN112396050B (zh) 图像的处理方法、设备以及存储介质
WO2022152116A1 (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN110599187A (zh) 一种基于人脸识别的支付方法、装置、计算机设备和存储介质
JP2000331167A (ja) 顔画像照合方法及び装置
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
Cambra et al. Towards robust and efficient text sign reading from a mobile phone
CN114359030A (zh) 一种人脸逆光图片的合成方法
KR101170490B1 (ko) 마커리스 환경에서 증강 현실 오브젝트 인식 장치 및 방법
JP2001331804A (ja) 画像領域検出装置及び方法
KR102374141B1 (ko) 유연한 가상 피팅 이미지 생성을 위한 의상영역 제거 방법
JP7414902B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant