KR20220159104A - 딥페이크 이미지 판별 장치 및 그 학습 방법 - Google Patents

딥페이크 이미지 판별 장치 및 그 학습 방법 Download PDF

Info

Publication number
KR20220159104A
KR20220159104A KR1020210067026A KR20210067026A KR20220159104A KR 20220159104 A KR20220159104 A KR 20220159104A KR 1020210067026 A KR1020210067026 A KR 1020210067026A KR 20210067026 A KR20210067026 A KR 20210067026A KR 20220159104 A KR20220159104 A KR 20220159104A
Authority
KR
South Korea
Prior art keywords
image
deepfake
fake
learning
real
Prior art date
Application number
KR1020210067026A
Other languages
English (en)
Inventor
김도연
최종원
김평건
정용현
노영민
Original Assignee
삼성에스디에스 주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사, 중앙대학교 산학협력단 filed Critical 삼성에스디에스 주식회사
Priority to KR1020210067026A priority Critical patent/KR20220159104A/ko
Priority to US17/824,158 priority patent/US20220383481A1/en
Publication of KR20220159104A publication Critical patent/KR20220159104A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

딥페이크 이미지를 판별하기 위한 장치 및 그 학습 방법이 개시된다. 일 실시예에 따른 딥페이크 이미지 판별 장치는 이미지 데이터가 입력되는 인터페이스부; 및 인터페이스부를 통하여 입력된 이미지 데이터가 딥페이크 이미지인지 판단하는 구분부(classifier)를 포함하며, 구분부는 진짜 이미지의 일부를 진짜 이미지를 자가복제하여 생성한 가짜 이미지로 교환(swap)하여 생성된 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습될 수 있다.

Description

딥페이크 이미지 판별 장치 및 그 학습 방법{Apparatus for Deep fake image discrimination and learning method thereof}
개시되는 실시예들은 딥페이크 이미지 판별 기술과 관련된다.
일반적으로, 종래의 딥페이크 검출 모델은 학습 데이터에 오버피팅되어 의존도가 높게 발생하며, 이로 인하여 비학습 데이터로 테스트 시 검출율이 크게 감소하는 '일반화 문제'를 가지고 있다. 이러한 문제를 해결하기 위하여 여러 GAN 모델, 오브젝트 카테고리 및 이미지 조작 유형의 가짜 이미지로 딥페이크 검출 모델을 학습시킬 수 있으나, 이러한 방법은 많은 시간과 비용이 소요된다.
대한민국 공개특허공보 제10-2021-0049570호 (2021.05.06. 공개)
개시되는 실시예들은 딥페이크 이미지를 판별하기 위한 장치 및 그 학습 방법을 제공하기 위한 것이다.
일 실시예에 따른 딥페이크 이미지 판별 장치는 이미지 데이터가 입력되는 인터페이스부; 및 인터페이스부를 통하여 입력된 이미지 데이터가 딥페이크 이미지인지 판단하는 구분부(classifier)를 포함하며, 구분부는 진짜 이미지의 일부를 진짜 이미지를 자가복제하여 생성한 가짜 이미지로 교환(swap)하여 생성된 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습될 수 있다.
구분부는 그라디언트 반전층(gradient reversal layer)을 통하여 수신된 합성 이미지를 기초로 학습될 수 있다.
가짜 이미지는 진짜 이미지를 자가복제하여 가짜 이미지를 생성하도록 학습된 오토인코더(autoencoder)를 통하여 생성되며, 합성 이미지는 소정 파라미터를 기초로 진짜 이미지의 일부를 가짜 이미지로 교환하여 합성 이미지를 생성하는 적응형 증강기(adaptive augmenter)를 통하여 생성될 수 있다.
오토인코더는 그라디언트 반전층으로부터 반전된 그라디언트를 수신하여 구분부가 딥페이크 이미지인지 판단하기 어려운 방향으로 업데이트될 수 있다.
소정 파라미터는 이미지를 교환할 부분을 마스킹하기 위한 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나 이상에 대한 설정값의 조합으로 구성될 수 있다.
구분부는 서로 다른 설정값을 가지는 하나 이상의 소정 파라미터에 따라 생성된 하나 이상의 합성 이미지 각각에 대한 신뢰 점수를 계산하여 적응형 증강기로 전달하며, 적응형 증강기는 신뢰 점수에 기초하여 하나 이상의 소정 파라미터 각각의 적용 빈도를 결정할 수 있다.
하나 이상의 소정 파라미터 각각의 적용 빈도는 신뢰 점수에 반비례하여 결정될 수 있다.
일 실시예에 따른 딥페이크 이미지를 판별하는 장치에 포함된 구분기(classifier)를 학습시키는 방법은 진짜 이미지를 자가복제하여 가짜 이미지를 생성하는 단계; 진짜 이미지의 일부를 가짜 이미지로 교환(swap)하여 합성 이미지를 생성하는 단계; 및 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습하는 단계를 포함할 수 있다.
개시되는 실시예들에 따르면, 학습 데이터에 대한 의존도를 낮추고 범용적 검출 성능을 가지는 딥페이크 판별 장치를 확보할 수 있다.
도 1은 일 실시예에 따른 딥페이크 이미지 판별 장치의 구성도
도 2는 일 실시예에 따른 딥페이크 이미지 판별 장치의 학습 프레임워크의 구조도
도 3은 일 실시예에 따른 딥페이크 이미지 판별 장치 학습 방법의 순서도
도 4는 일 실시예에 따른 딥페이크 이미지 판별 장치 학습 방법의 순서도
도 5은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 딥페이크 이미지 판별 장치의 구성도이다.
일 실시예에 따르면, 딥페이크 이미지 판별 장치(100)는 이미지 데이터가 입력되는 인터페이스부(110) 및 인터페이스부(110)를 통하여 입력된 이미지 데이터가 딥페이크 이미지인지 판단하는 구분부(classifier)(120)를 포함할 수 있다.
일 예에 따르면, 구분부(120)는 가짜 이미지와 진짜 이미지를 구분할 수 있는 구분기이며, 검출 결과에 대한 신뢰점수(Confidence)를 출력할 수 있다.
일 실시예에 따르면, 가짜 이미지는 진짜 이미지를 자가복제하여 가짜 이미지를 생성하도록 학습된 오토인코더(autoencoder) 를 통하여 생성될 수 있다.
일 예에 따르면, 오토인코더는 실제 피사체를 촬영한 '진짜 이미지'와 Generative model로 생성한 '가짜 이미지'를 학습에 함께 사용하였던 기존 GAN 모델과 달리 진짜 이미지로만 학습하고 이를 자가복제하여 진짜 이미지와 유사도가 높은 가짜 이미지를 생성할 수 있다. 이를 통하여 오토인코더는 진짜 이미지 개수만큼의 다양한 가짜 이미지를 생성할 수 있다.
일 예에 따르면, 오토인코더는 딥페이크 검출이 어려운 가짜 이미지의 규칙을 파악하여 이에 필요한 이미지를 자동 생성할 수 있다. 오토인코더는 그라디언트 반전층(Gradient Reversal Layer)으로부터 반전된 그라디언트(Gradient)를 수신하여 고난이도 가짜 이미지 생성할 수 있으며, 이렇게 생성된 고난이도 가짜 이미지를 이용하여 구분부(120)를 추가 학습시킴으로써 구분부(120)의 성능을 향상시킬 수 있다.
일 실시예에 따르면, 구분부(120)는 진짜 이미지의 일부를 진짜 이미지를 자가복제하여 생성한 가짜 이미지로 교환(swap)하여 생성된 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습될 수 있다.
도 2는 일 실시예에 따른 딥페이크 이미지 판별 장치의 학습 프레임워크의 구조도이다.
일 예에 따르면, 학습 프레임워크(200)는 구분부(120)가 판별하기 어려운 규칙을 중심으로 데이터의 증강 기법이 적용되도록 학습하여 점점 더 어려운 데이터 증강을 학습 데이터로 활용하도록 설계될 수 있다. 또한, 학습 프레임워크(200)는 특정 데이터 증강 기법과 특성에서 구분부(120)의 신뢰 점수가 낮게 확인될 경우 그 기법과 특성을 위주로 데이터 증강을 수행하도록 학습될 수 있다.
도 2를 참조하면, 오토인코더(210)는 진짜 이미지(i1)를 입력 받을 수 있으며, 입력된 진짜 이미지를 자가복제하여 가짜 이미지(i2)를 생성할 수 있다.
일 예에 따르면, 자가복제된 이미지는 특정 GAN 모델 또는 오브젝트 카테고리의 분포를 갖고 있지 않으며 가짜 이미지의 가장 일반적인 특성만을 갖을 수 있다. 이에 따라, 자가복제된 이미지를 기반으로 구분부(120)를 학습 시킬 경우 특정 분포에 대한 의존도를 낮춰 범용적 검출 성능을 향상시킬 수 있다.
일 예로, 하나의 GAN 모델이 여러 개의 오브젝트 카테고리 이미지를 생성할 경우, 각 오브젝트 카테고리별로 상이한 특성의 아티팩트가 생성되며, 이로 인해 학습 데이터에 대한 모델의 의존성이 발생할 수 있다. 또한, GAN 모델의 생성 범위가 확장되어 신규 오브젝트 카테고리가 등장하면 새로운 모델을 매 번 새롭게 학습시켜야 하는 바, 신규 GAN 모델에 따라 학습 범위가 확장되는 경우 학습 위해 많은 시간과 비용이 소요된다.
일 실시예에 따르면, 오토인코더(210)는 그라디언트 반전층(230)으로부터 반전된 그라디언트를 수신하여 구분부(120)가 딥페이크 이미지인지 판단하기 어려운 방향으로 업데이트될 수 있다.
일 예로, 그라디언트 반전층(230)이란 뉴럴 네트워크를 학습하는 과정에서 필수적으로 활용되는 Gradient Descent 알고리즘을 적용할 때, 그라디언트(Gradient) 의 방향을 뒤집어주는 레이어이다.
일 예에 따르면, 단순히 가짜 이미지를 생성하는 오토인코더(210)를 이용하여 구분부(120)를 지속적으로 학습시키면, 구분부(120)는 오토인코더(210)가 출력하는 특정 아티팩트에 집중하여 학습하게 되며, 이로 인하여 쉽게 Overfitting될 수 있다. 이에 따라, 그라디언트 반전층(230)을 구분부(120) 앞에 배치하여 구분부(120)가 가짜 이미지를 더 구분하지 못하는 방향(Reversal)으로 오토인코더(210)를 학습시킬 수 있다.
일 예로, 구분부(120)의 성능을 향상시키기 위하여 그라디언트 반전층(230) 앞의 뉴럴 네트워크는 구분부(120)의 성능이 떨어지도록 학습된다. 이 동작을 기반으로 오토인코더(210)는 구분부(120)의 성능을 저하시키는 방향으로 학습된다. 다시 말해, 오토인코더(210)는 구분부(120)가 더 맞추기 어려운 샘플들을 위주로 가짜 이미지를 생성하도록 업데이트된다.
일 실시예에 따르면, 구분부(120)는 그라디언트 반전층(gradient reversal layer)(230)을 통하여 합성 이미지를 수신할 수 있으며, 수신한 합성 이미지를 기초로 학습될 수 있다.
일 예에 따르면, 오토인코더(210)는 학습을 위한 카테고리 별로 가짜 이미지를 hard-negative와 easy-negative로 구분하고, 더 어려운 hard-negative 이미지 위주로 가짜 이미지를 생성하도록 미세 조정(fine-tuning)될 수 있다. 또한, 구분부(120)는 미세 조정된 오토인코더(210)에서 생성한 가짜 이미지를 기초로 학습함으로써 오브젝트 카테고리에 대한 의존도를 개선할 수 있으며, 이로 인하여 구분부(120)가 학습 단계에서 한 번도 접하지 않은 이미지까지 검출하는 것이 가능해 질 수 있다.
일 실시예에 따르면, 합성 이미지는 소정 파라미터를 기초로 진짜 이미지의 일부를 가짜 이미지로 교환하여 합성 이미지를 생성하는 적응형 증강기(adaptive augmenter)(220)를 통하여 생성될 수 있다.
일 예로, 적응형 증강기(220)는 합성 이미지를 생성하기 위하여 가짜 이미지와 진짜 이미지를 섞어주는 모듈이다. 일 예로, 적응형 증강기(220)는 단순히 랜덤으로 진짜 이미지와 가짜 이미지를 섞지 않고, 섞는 방법에 따라 다르게 생성된 합성 이미지에 대한 구분부(120)의 신뢰점수를 기반으로 구분부(120)가 합성 이미지를 더 구분하지 못하는 방향으로 더 자주 섞을 수 있도록 난이도를 조절할 수 있다.
일 예로, 전체 조작 이미지로만 구분부(120)를 학습시킬 경우, 사진 전체를 주목하도록 학습되어 부분 조작 이미지를 검출할 수 없다. 이에 따라, 부분 조작 유형에 대한 의존도를 개선하기 위하여 일 실시예에 따른 구분부(120)는 전체 조작 이미지 및 부분 조작 이미지 중 적어도 하나를 이용하여 학습될 수 있다. 일 예를 들어, 전체 조작 이미지는 오토인코더(210)를 통하여 생성된 가짜 이미지일 수 있으며, 부분 조작 이미지는 적응형 증강기(220)에서 진짜 이미지와 복제된 가짜 이미지를 부분적으로 결합하여 생성한 합성 이미지일 수 있다.
일 예로, 적응형 증강기(220)는 진짜 이미지(i1-1)의 일부분을 가짜 이미지(i2-1)로 교환하여 합성 이미지(i3)를 생성할 수 있다. 이때, 교환되어 삽입되는 가짜 이미지(i2-1)의 일부는 교환되어 제거되는 진짜 이미지(i1-1)의 일부분에 대응되는 위치의 이미지일 수 있다.
도 2를 참조하면, 합성 이미지(i3)는 복제된 가짜 이미지(i2)를 자르기(crop)한 후 진짜 이미지(i1)에 결합시켜 생성될 수 있으며, 가짜 이미지(i2)는 진짜 이미지(i1)와 매우 유사한 바 경계선이 자연스럽게 블렌딩 될 수 있다. 이에 따라, 적응형 증강기(220)는 rough 경계선을 남기는 기존 Face Swap 등의 방법 대비 검출 난이도가 높은 합성 이미지를 생성할 수 있다.
일 실시예에 따르면, 소정 파라미터는 이미지를 교환할 부분을 마스킹하기 위한 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나 이상에 대한 설정값의 조합으로 구성될 수 있다.
일 예에 따르면, 소정 파라미터는 마스크의 크기에 대한 설정값으로 구성될 수 있다. 예를 들어, 마스크의 크기는 마스크의 넓이일 수 있으며, 설정값은 1cm2, 1.5cm2, 2cm2 등과 같은 값을 가질 수 있다.
일 예에 따르면, 소정 파라미터는 마스크의 모양에 대한 설정값으로 구성될 수 있다. 예를 들어, 마스크의 모양은 사각형, 삼각형, 원형 등이 될 수 있으며, 각각의 설정값은 1, 2, 3과 같이 마스크 모양에 매칭된 소정 숫자일 수 있다.
일 예에 따르면, 소정 파라미터는 마스크 개수에 대한 설정값으로 구성될 수 있다. 예를 들어, 마스크의 개수는 한 개, 두 개, 세 개 등이 될 수 있으며, 설정값은 1, 2, 3과 같이 설정될 수 있다.
일 예에 따르면, 소정 파라미터는 마스크 위치에 대한 설정값으로 구성될 수 있다. 예를 들어, 마스크 위치는 이미지의 x축, y축 값으로 표시될 수 있으며, (1, 1), (1, 2) 등과 같이 설정될 수 있다.
일 예에 따르면, 소정 파라미터는 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나에 대한 설정값의 조합일 수 있다. 예를 들어, 소정 파라미터가 마스크의 크기 및 개수로 구성되는 경우, 소정 파라미터는 (크기, 개수)와 같이 구성될 수 있다. 예를 들어, 크기=1, 개수=2인 경우, 소정 파라미터는 (1, 2)와 같은 설정값을 가질 수 있다.
일 실시예에 따르면, 구분부(120)는 서로 다른 설정값을 가지는 하나 이상의 소정 파라미터에 따라 생성된 하나 이상의 합성 이미지 각각에 대한 신뢰 점수를 계산하여 적응형 증강기(220)로 전달할 수 있다.
일 예로, 적응형 증강기(220)는 두 이미지를 섞는 방법을 조절할 수 있는 여러 파라미터를 랜덤으로 선택하여 진짜 이미지와 가짜 이미지를 섞어 새로운 합성 이미지를 생성할 수 있다. 그러나, 구분부(120)가 충분히 학습되는 경우, 수많은 파라미터의 조합들 중 일부 조합은 구분부(120)가 쉽게 맞추는 반면, 특정 조합들은 구분부(120)가 쉽게 인지하지 못할 수 있다.
일 실시예에 따르면, 적응형 증강기(220)는 신뢰 점수에 기초하여 하나 이상의 소정 파라미터 각각의 적용 빈도를 결정할 수 있다. 일 예로, 여러 조합의 파라미터에 대해 구분부(120)는 신뢰 점수(ClassifierScore(X))를 계산할 수 있으며, 이를 기반으로 아래 수학식 1과 같이 역수 값을 증강 점수로 계산할 수 있다.
[수학식 1]
Figure pat00001
여기서, θ는 데이터 증강을 위한 특정 파라미터이고, A(X,θ)는 데이터 X가 입력되었을 때 θ의 증강 파라미터를 기반으로 데이터 증강을 한 데이터가 출력되는 함수이다.
일 실시예에 따르면, 하나 이상의 소정 파라미터 각각의 적용 빈도는 신뢰 점수에 반비례하여 결정될 수 있다. 예를 들어, 위의 수학식 1을 이용하는 경우, 구분부(120)에서 계산되는 신뢰점수가 높을수록 데이터 증강 파라미터는 더욱 작아지도록 설계되며, 이로 인하여, 적응형 증강기(220)는 쉬운 데이터 증강 방법보다는 더 어려운 데이터 증강 방법을 자주 선택하도록 업데이트 될 수 있다.
일 실시예에 따르면, 적응형 증강기(220)는 신뢰 점수에 기초하여 신뢰 점수가 소정값 이하인 신뢰 점수를 가지는 소정 파라미터만을 이용하도록 업데이트될 수 있다.
일 예에 따르면, 오토인코더(210)와 적응형 증강기(220)는 현재 학습된 구분부(120)가 딥페이크 이미지를 잘 판별하지 못하는 이미지를 생성하고 더 어려워하는 데이터 증강 방법을 중점적으로 데이터 증강을 시도하도록 업데이트될 수 있다. 이에 따라, 구분부(120)는 업데이트된 오토인코더(210)와 적응형 증강기(220)를 이용하여 새롭게 생성된 데이터를 학습 데이터로 활용할 수 있으며, 이를 통하여 추가 학습될 수 있다.
도 3은 일 실시예에 따른 딥페이크 이미지 판별 장치 학습 방법의 순서도이다.
일 실시예에 따르면, 딥페이크 이미지 판별 장치는 딥페이크 이미지를 판별하는 구분기(classifier)포함할 수 있다. 일 예에 따르면, 구분기는 가짜 이미지와 진짜 이미지를 구분할 수 있는 구분기이며, 검출 결과에 대한 신뢰점수(Confidence)를 출력할 수 있다.
일 실시예에 따른 학습 방법은 진짜 이미지를 자가복제하여 가짜 이미지를 생성하는 단계(310)를 포함할 수 있다. 일 예로, 가짜 이미지는 진짜 이미지를 자가복제하여 가짜 이미지를 생성하도록 학습된 오토인코더(autoencoder) 를 통하여 생성될 수 있다. 예를 들어, 오토인코더는 실제 피사체를 촬영한 '진짜 이미지'와 Generative model로 생성한 '가짜 이미지'를 학습에 함께 사용하였던 기존 GAN 모델과 달리 진짜 이미지로만 학습하고 이를 자가복제하여 진짜 이미지와 유사도가 높은 가짜 이미지를 생성할 수 있다.
일 실시예에 따르면, 오토인코더는 그라디언트 반전층으로부터 반전된 그라디언트를 수신하여 구분기가 딥페이크 이미지인지 판단하기 어려운 방향으로 업데이트될 수 있다.
일 예에 따르면, 오토인코더는 딥페이크 검출이 어려운 가짜 이미지의 규칙을 파악하여 이에 필요한 이미지를 자동 생성할 수 있다. 오토인코더는 그라디언트 반전층(Gradient Reversal Layer)으로부터 반전된 그라디언트(Gradient)를 수신하여 고난이도 가짜 이미지 생성할 수 있으며, 이렇게 생성된 고난이도 가짜 이미지를 이용하여 구분기를 추가 학습시킴으로써 구분기의 성능을 향상시킬 수 있다.
일 실시예에 따른 학습 방법은 진짜 이미지의 일부를 가짜 이미지로 교환(swap)하여 합성 이미지를 생성하는 단계(320)를 포함할 수 있다.
일 실시예에 따르면, 구분기는 진짜 이미지의 일부를 진짜 이미지를 자가복제하여 생성한 가짜 이미지로 교환(swap)하여 생성된 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습될 수 있다.
일 실시예에 따르면, 합성 이미지는 소정 파라미터를 기초로 진짜 이미지의 일부를 가짜 이미지로 교환하여 합성 이미지를 생성하는 적응형 증강기(adaptive augmenter)를 통하여 생성될 수 있다.
일 예로, 적응형 증강기는 진짜 이미지의 일부분을 가짜 이미지로 교환하여 합성 이미지를 생성할 수 있다. 이때, 교환되어 삽입되는 가짜 이미지의 일부는 교환되어 제거되는 진짜 이미지의 일부분에 대응되는 위치의 이미지일 수 있다.
일 실시예에 따르면, 소정 파라미터는 이미지를 교환할 부분을 마스킹하기 위한 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나 이상에 대한 설정값의 조합으로 구성될 수 있다.
일 예로, 적응형 증강기는 두 이미지를 섞는 방법을 조절할 수 있는 여러 파라미터를 랜덤으로 선택하여 진짜 이미지와 가짜 이미지를 섞어 새로운 합성 이미지를 생성할 수 있다. 그러나, 구분기가 충분히 학습되는 경우, 수많은 파라미터의 조합들 중 일부 조합은 구분기가 쉽게 맞추는 반면, 특정 조합들은 구분기가 쉽게 인지하지 못할 수 있다.
일 실시예에 따르면, 적응형 증강기는 신뢰 점수에 기초하여 하나 이상의 소정 파라미터 각각의 적용 빈도를 결정할 수 있다.
일 실시예에 따르면, 하나 이상의 소정 파라미터 각각의 적용 빈도는 신뢰 점수에 반비례하여 결정될 수 있다.
일 실시예에 따르면, 적응형 증강기는 신뢰 점수에 기초하여 신뢰 점수가 소정값 이하인 신뢰 점수를 가지는 소정 파라미터만을 이용하도록 업데이트될 수 있다.
일 실시예에 따른 학습 방법은 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습하는 단계(330)를 포함할 수 있다.
일 예에 따르면, 오토인코더와 적응형 증강기는 현재 학습된 구분기가 딥페이크 이미지를 잘 판별하지 못하는 이미지를 생성하고 더 어려워하는 데이터 증강 방법을 중점적으로 데이터 증강을 시도하도록 업데이트될 수 있다. 이에 따라, 구분기는 업데이트된 오토인코더와 적응형 증강기를 이용하여 새롭게 생성된 데이터를 학습 데이터로 활용할 수 있으며, 이를 통하여 추가 학습될 수 있다.
일 실시예에 따른 학습 방법 중 도 1 및 도 2를 참조하여 설명한 내용과 중복되는 설명은 생략한다.
도 4는 일 실시예에 따른 딥페이크 이미지 판별 장치 학습 방법의 순서도이다.
일 실시예에 따르면, 딥페이크 이미지 판별 장치를 학습 시키기 위한 학습 데이터를 생성하기 위하여 오토인코더를 이용하여 가짜 이미지를 생성할 수 있다(410). 이후, 적응형 증강기는 진짜 이미지 및 가짜 이미지를 이용하여 합성 이미지를 생성할 수 있다(420).
일 실시예에 따르면, 생성된 합성 이미지는 구분기 앞에 위치한 그라디언트 반전층을 통하여 반전 그라디언트가 계산될 수 있다(430).
일 실시예에 따르면, 합성 이미지는 구분기로 입력될 수 있으며, 구분기는 입력 받은 합성 이미지가 딥페이크 이미지인지 여부를 판별하며, 판별된 결과에 대한 신뢰 점수를 계산할 수 있다(440). 또한, 구분기는 합성 이미지를 이용하여 학습을 수행할 수 있다(450). 이때, 구분기의 유효성 오류(Classifier validation error)를 확인할 수 있으며, 구분기는 오류가 소정 기준값 이하가 될 때 까지 학습을 수행할 수 있다(460).
일 실시예에 따르면, 오토인코더 및 적응형 증강기는 앞에서 계산된 반전 그라디언트 및 신뢰점수를 기초로 업데이트 될 수 있다(47, 480). 이후, 업데이트된 오토인코더 및 적응형 증강기는 가짜 이미지와 합성 이미지를 다시 생성할 수 있으며, 다시 생성된 합성 이미지를 기초로 구분기를 학습시킬 수 있다.
일 실시예에 따르면, 위의 과정은 소정 반복 횟수까지 반복될 수 있으며(465), 소정 반복 횟수만큼 학습 과정이 반복된 경우, 학습이 완료된 구분기는 저장될 수 있다(490).
일 실시예에 따른 학습 방법 중 도 1 내지 도 3을 통하여 설명한 내용과 중복되는 내용은 생략한다.
도 5은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 딥페이크 이미지 판별 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 딥페이크 이미지 판별 장치
110: 인터페이스부
120: 구분부
210: 오토인코더
220: 적응형 증강기
230: 그라디언트 반전층

Claims (14)

  1. 이미지 데이터가 입력되는 인터페이스부; 및
    상기 인터페이스부를 통하여 입력된 상기 이미지 데이터가 딥페이크 이미지인지 판단하는 구분부(classifier)를 포함하며,
    상기 구분부는
    진짜 이미지의 일부를 상기 진짜 이미지를 자가복제하여 생성한 가짜 이미지로 교환(swap)하여 생성된 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습된, 딥페이크 이미지 판별 장치.
  2. 청구항 1에 있어서,
    상기 구분부는
    그라디언트 반전층(gradient reversal layer)을 통하여 수신된 상기 합성 이미지를 기초로 학습된, 딥페이크 이미지 판별 장치.
  3. 청구항 2에 있어서,
    상기 가짜 이미지는 진짜 이미지를 자가복제하여 가짜 이미지를 생성하도록 학습된 오토인코더(autoencoder)를 통하여 생성되며,
    상기 합성 이미지는 소정 파라미터를 기초로 상기 진짜 이미지의 일부를 상기 가짜 이미지로 교환하여 합성 이미지를 생성하는 적응형 증강기(adaptive augmenter)를 통하여 생성된, 딥페이크 이미지 판별 장치.
  4. 청구항 3에 있어서,
    상기 오토인코더는
    상기 그라디언트 반전층으로부터 반전된 그라디언트를 수신하여 상기 구분부가 딥페이크 이미지인지 판단하기 어려운 방향으로 업데이트되는, 딥페이크 이미지 판별 장치.
  5. 청구항 3에 있어서,
    상기 소정 파라미터는
    이미지를 교환할 부분을 마스킹하기 위한 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나 이상에 대한 설정값의 조합으로 구성되는, 딥페이크 이미지 판별 장치.
  6. 청구항 5에 있어서,
    상기 구분부는
    서로 다른 설정값을 가지는 하나 이상의 소정 파라미터에 따라 생성된 하나 이상의 합성 이미지 각각에 대한 신뢰 점수를 계산하여 상기 적응형 증강기로 전달하며,
    상기 적응형 증강기는
    상기 신뢰 점수에 기초하여 상기 하나 이상의 소정 파라미터 각각의 적용 빈도를 결정하는, 딥페이크 이미지 판별 장치.
  7. 청구항 6에 있어서,
    상기 하나 이상의 소정 파라미터 각각의 적용 빈도는 상기 신뢰 점수에 반비례하여 결정되는, 딥페이크 이미지 판별 장치.
  8. 딥페이크 이미지를 판별하는 장치에 포함된 구분기(classifier)를 학습시키는 방법에 있어서,
    진짜 이미지를 자가복제하여 가짜 이미지를 생성하는 단계;
    상기 진짜 이미지의 일부를 상기 가짜 이미지로 교환(swap)하여 합성 이미지를 생성하는 단계; 및
    상기 합성 이미지를 기초로 딥페이크 이미지를 판단하도록 학습하는 단계를 포함하는, 학습 방법.
  9. 청구항 8에 있어서,
    상기 구분기는
    그라디언트 반전층(gradient reversal layer)을 통하여 수신된 상기 합성 이미지를 기초로 학습된, 학습 방법.
  10. 청구항 9에 있어서,
    상기 가짜 이미지는 진짜 이미지를 자가복제하여 가짜 이미지를 생성하도록 학습된 오토인코더(autoencoder)를 통하여 생성되며,
    상기 합성 이미지는 소정 파라미터를 기초로 상기 진짜 이미지의 일부를 상기 가짜 이미지로 교환하여 합성 이미지를 생성하는 적응형 증강기(adaptive augmenter)를 통하여 생성된, 학습 방법.
  11. 청구항 10에 있어서,
    상기 오토인코더는
    상기 그라디언트 반전층으로부터 반전된 그라디언트를 수신하여 상기 구분기가 딥페이크 이미지인지 판단하기 어려운 방향으로 업데이트되는, 학습 방법.
  12. 청구항 10에 있어서,
    상기 소정 파라미터는
    이미지를 교환할 부분을 마스킹하기 위한 마스크의 크기, 모양, 개수 및 위치 중 적어도 하나 이상에 대한 설정값의 조합으로 구성되는, 학습 방법.
  13. 청구항 12에 있어서,
    상기 구분기는
    서로 다른 설정값을 가지는 하나 이상의 소정 파라미터에 따라 생성된 하나 이상의 합성 이미지 각각에 대한 신뢰 점수를 계산하여 상기 적응형 증강기로 전달하며,
    상기 적응형 증강기는
    상기 신뢰 점수에 기초하여 상기 하나 이상의 소정 파라미터 각각의 적용 빈도를 결정하는, 학습 방법.
  14. 청구항 13에 있어서,
    상기 하나 이상의 소정 파라미터 각각의 적용 빈도는 상기 신뢰 점수에 반비례하여 결정되는, 학습 방법.
KR1020210067026A 2021-05-25 2021-05-25 딥페이크 이미지 판별 장치 및 그 학습 방법 KR20220159104A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210067026A KR20220159104A (ko) 2021-05-25 2021-05-25 딥페이크 이미지 판별 장치 및 그 학습 방법
US17/824,158 US20220383481A1 (en) 2021-05-25 2022-05-25 Apparatus for deep fake image discrimination and learning method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210067026A KR20220159104A (ko) 2021-05-25 2021-05-25 딥페이크 이미지 판별 장치 및 그 학습 방법

Publications (1)

Publication Number Publication Date
KR20220159104A true KR20220159104A (ko) 2022-12-02

Family

ID=84193564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210067026A KR20220159104A (ko) 2021-05-25 2021-05-25 딥페이크 이미지 판별 장치 및 그 학습 방법

Country Status (2)

Country Link
US (1) US20220383481A1 (ko)
KR (1) KR20220159104A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580768B1 (ko) 2023-03-06 2023-09-20 (주)메타버즈 사용자 딥페이크 영상 분석 및 모니터링 서비스 제공방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210049570A (ko) 2019-10-25 2021-05-06 건국대학교 산학협력단 얼굴 위변조 검출 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210049570A (ko) 2019-10-25 2021-05-06 건국대학교 산학협력단 얼굴 위변조 검출 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580768B1 (ko) 2023-03-06 2023-09-20 (주)메타버즈 사용자 딥페이크 영상 분석 및 모니터링 서비스 제공방법

Also Published As

Publication number Publication date
US20220383481A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
EP3869385B1 (en) Method for extracting structural data from image, apparatus and device
US11436497B2 (en) System and method for optimization of deep learning model
EP3598288A1 (en) System and method for generating photorealistic synthetic images based on semantic information
US20200272726A1 (en) Method and apparatus for generating artificial intelligence resistant verification images
US20230274479A1 (en) Learning apparatus and method for creating image and apparatus and method for image creation
JP2017522635A (ja) ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体
US11468314B1 (en) Systems and methods of training neural networks against adversarial attacks
JP2020173808A (ja) ページ記述言語ジョブの解析によるニューラルネットワーク用光学式文字認識トレーニングデータの生成
US20220237943A1 (en) Method and apparatus for adjusting cabin environment
US20220188706A1 (en) Systems and methods for generating and applying a secure statistical classifier
WO2019146057A1 (ja) 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
CN112966112B (zh) 基于对抗学习的文本分类模型训练和文本分类方法及装置
JP2022161564A (ja) テキスト画像の文字を認識する機械学習モデルを訓練するシステム
CN113254927A (zh) 一种基于网络防御的模型处理方法、装置及存储介质
KR20220159104A (ko) 딥페이크 이미지 판별 장치 및 그 학습 방법
US20220121991A1 (en) Model building apparatus, model building method, computer program and recording medium
KR20230062251A (ko) 텍스트 기반의 문서분류 방법 및 문서분류 장치
CN113947209A (zh) 基于云边协同的集成学习方法、系统及存储介质
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
US11551434B2 (en) Apparatus and method for retraining object detection using undetected image
CN114003511B (zh) 针对模型解释工具的评测方法和装置
CN107644251B (zh) 对象分类方法、装置和系统
KR20220145707A (ko) 인물 이미지의 평준화를 수행하는 장치 및 이의 동작 방법
JP2021033707A (ja) 情報処理装置
Spreeuwers et al. Practical evaluation of face morphing attack detection methods