KR20190133582A - 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 - Google Patents

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 Download PDF

Info

Publication number
KR20190133582A
KR20190133582A KR1020180071835A KR20180071835A KR20190133582A KR 20190133582 A KR20190133582 A KR 20190133582A KR 1020180071835 A KR1020180071835 A KR 1020180071835A KR 20180071835 A KR20180071835 A KR 20180071835A KR 20190133582 A KR20190133582 A KR 20190133582A
Authority
KR
South Korea
Prior art keywords
data
information
fake
user
face
Prior art date
Application number
KR1020180071835A
Other languages
English (en)
Other versions
KR102085427B1 (ko
Inventor
이수영
신영훈
채명수
김준우
김태호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2018/007078 priority Critical patent/WO2019225799A1/ko
Publication of KR20190133582A publication Critical patent/KR20190133582A/ko
Application granted granted Critical
Publication of KR102085427B1 publication Critical patent/KR102085427B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치가 제시된다. 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계를 포함하여 이루어질 수 있다.

Description

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치{METHOD AND APPARATUS FOR REMOVAL OF PERSONAL IDENTIFICATION USING GENERATIVE MODEL}
아래의 실시예들은 사용자 정보 삭제 방법 및 장치에 관한 것으로, 더욱 상세하게는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치에 관한 것이다.
최근 인공지능(Artificial Intelligence, AI)과 딥러닝(Deep Learning)의 가파른 성장으로 인해 과거에는 하지 못했던 기술들이 새롭게 개발되고 있다. 생성 모델 (Generative Model)이 대표적인 예시이다.
생성 모델에는 생성적 적대 신경망(Generative Adversarial Network, GAN), VAE(Variational Autoencoder) 등의 종류가 있으며, 이러한 생성 모델은 이미지, 오디오와 같은 수학적으로 확률 분포를 정의하기 어려운 데이터에 대해서 데이터 내의 규칙을 학습하고 생성할 수 있는 능력을 가진 모델을 의미한다. 특히, 생성적 적대 신경망(GAN)은 산업 및 학계에서 주목을 받으며 급성장하고 있는 모델이다. 최근 발표된 CycleGAN 및 StarGAN의 경우 두 가지 이상의 도메인의 이미지 데이터가 있을 때, 하나의 도메인의 이미지를 다른 도메인으로 옮기는 생성 모델이다.
도 1은 종래의 생성 모델을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 예를 들어 종래의 생성 모델은 말 사진 데이터와 얼룩말 사진 데이터가 있을 경우 말을 얼룩말처럼 바꿀 수 있으며, 또한 얼룩말을 말로 바꿀 수 있다.
이러한 종래의 생성 모델의 기술을 응용할 경우 이미지에서 원하는 정보만 변형하고, 그 외의 데이터는 보존할 수 있다. 하지만, 종래의 생성 모델은 변형할 두 개의 도메인에 대한 데이터가 풍부해야 한다. 또한 종래의 생성 모델은 한 개인의 신원을 다른 '존재하는' 신원으로 변형하는 것을 목적으로 한다.
한국공개특허 10-2013-0142552호는 이러한 개인정보 삭제 서비스 모델에 관한 기술을 기재하고 있다.
한국공개특허 10-2013-0142552호
실시예들은 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치에 관하여 기술하며, 보다 구체적으로 프라이빗 생성적 적대 신경망(Private Generative Adversarial Network, PrivateGAN)을 활용한 사용자 정보 삭제 기술을 제공한다.
실시예들은 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계를 포함하여 이루어질 수 있다.
여기서, 상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거할 수 있다.
상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 단계를 더 포함할 수 있다.
상기 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계는, 제1 생성부에서 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계는, 판별부에서 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
상기 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계는, 사람 재식별부에서 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하며, 상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존할 수 있다.
다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 제1 생성부; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 사람 재식별부를 포함하여 이루어질 수 있다.
여기서, 상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거할 수 있다.
상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 제2 생성부를 더 포함할 수 있다.
상기 제1 생성부는, 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
상기 판별부는, 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존할 수 있다.
또 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는, 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성하는 제1 생성부; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사용자인지 여부를 판별하는 재식별부를 포함할 수 있다. 여기서, 상기 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 상기 특정 정보는 제거할 수 있다.
또한, 상기 가짜 데이터를 상기 실제 데이터로 변경하는 제2 생성부를 더 포함할 수 있다.
실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공할 수 있다.
또한, 실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 존재하는 신원이 아닌 존재하지 않는 임의의 신원으로 변형하고, 신원 정보를 제외한 정보를 보존할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공할 수 있다.
도 1은 종래의 생성 모델을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 소스 및 타겟 정보를 포함하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
인공지능, 머신러닝, 딥러닝의 발전에 가장 큰 기여를 한 것 중 한 가지는 데이터이다. 대량의 고품질 데이터를 이용해 학습한 결과로 좋은 성능을 얻을 수 있었다. 음성, 사진, 동영상 등 다양한 도메인의 데이터에 대해서 수집과 공개가 일어나지만 데이터의 종류에 따라 개인정보가 포함되는 경우 대량의 데이터를 수집하여 공개하기 어려운 경우가 있다. 예를 들어 개인의 얼굴이 포함된 사진을 수집하게 되는 경우 개인 정보에 대한 동의가 필수적이며, 본인의 사진이 공개되길 원하지 않는 경우도 있을 것이다.
아래의 실시예에서는 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 없애는 방법을 제공하고자 한다.
기존에 문제 해결에 있어 가장 간단한 방법은 얼굴을 모자이크 하거나, 눈을 가리는 등의 방법이 있다. 하지만 이러한 방법은 데이터를 표정 인식, 감정 인식 등 다양한 태스크(task)에 활용하기에 신원 정보를 비롯하여 많은 정보의 손실을 야기한다. 복원 불가능한 형태로 암호화를 할 수 있으나, 이러한 방법 또한 신원 정보 이외의 정보를 보존했다고 할 수 없다.
본 실시예에서는 프라이빗 생성적 적대 신경망(Private Generative Adversarial Network, PrivateGAN)을 활용한 사용자 정보 삭제 기술을 제공한다.
여기서, 생성적 적대 신경망(Generative Adversarial Network, GAN)은 생성 모델 중 하나로 공개된 기술이고, 특정 데이터 셋(dataset)이 주어졌을 때 해당 데이터 셋의 분포를 학습하고 분포에 해당되는 데이터를 생성할 수 있는 모델을 의미한다.
여기에서는 생성적 적대 신경망(GAN)을 변형하여, 프라이빗 생성적 적대 신경망(PrivateGAN)을 제안한다. 이 때, 데이터는 한 사람의 얼굴이 포함된 사진이 다양한 각도/조명 등의 환경에서 촬영된 여러 장이 있다고 가정한다. 프라이빗 생성적 적대 신경망(PrivateGAN)은 판별부(Discriminator, D), 생성부(Generator, G) 및 사람 재식별부(Person reidentification, P)로 구성될 수 있다.
도 2는 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 2를 참조하면, 생성부(G)(210) 및 판별부(D)(220)를 설명하기 위한 것으로, 기존의 생성적 적대 신경망(GAN)을 통해 생성부(G)(210) 및 판별부(D)(220)를 하나의 예를 들어 보다 구체적으로 설명할 수 있다.
생성부(G)(210)는 노이즈가 입력되어 실제 데이터(x)와 유사한 가짜 데이터(x’)를 생성할 수 있다.
보다 구체적으로, 생성부(G)(210)는 특정 확률 분포를 갖는 실제 데이터(x)를 이용해 학습시키면 실제 데이터(x)와 유사한 분포를 갖는 가짜 데이터(x’)를 생성할 수 있다. 이러한 생성부(G)(210)의 목표는 판별부(D)(220)를 속일 수 있을 정도로 실제 데이터(x)와 가짜 데이터(x’)의 구별이 불가능할 수준의 가짜 데이터(x’)를 만들어 내는 것이다.
판별부(D)(220)는 생성부(G)(210)가 생성한 데이터가 실제 데이터(x)인지 생성부(G)(210)가 생성한 가짜 데이터(x’)인지를 판별할 수 있다.
보다 구체적으로, 판별부(D)(220)는 실제 데이터(x)와 생성부(G)(210)가 생성한 가짜 데이터(x’)를 이용하여 학습하며, 데이터가 실제 데이터(x)인지 생성부(G)(210)가 생성한 가짜 데이터(x’)인지를 구별하는 역할을 할 수 있다. 판별부(D)(220)의 목표는 실제 데이터(x)와 가짜 데이터(x’) 사이에서 판별을 잘하는 것이다.
이러한 과정 속에서 생성부(G)(210) 및 판별부(D)(220)는 계속 학습을 하고, 생성부(G)(210)는 학습이 진행될수록 실제와 가까운 가짜 데이터(x’)를 생성하며, 판별부(D)(220)는 학습이 진행될수록 실제 데이터(x)와 가짜 데이터(x’)의 분별 능력이 개선될 수 있다.
도 3은 일 실시예에 따른 소스 및 타겟 정보를 포함하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 복수의 생성부(G)(310) 및 판별부(D)(320)를 통해 소스 정보(source(s)) 및 타겟 정보(targe(t))를 포함하는 방법을 설명할 수 있다.
생성부(G)(310)를 이용하여 실제 데이터(x)에 타겟 정보(targe(t))를 포함시키고, 소스 정보(source(s))가 포함된 가짜 데이터(x’)를 생성할 수 있다.
판별부(D)(320)는 소스 정보(source(s))가 포함된 가짜 데이터(x’)를 입력 받아 실제 데이터(x)인지 생성부(G)(310)가 생성한 가짜 데이터(x’)인지를 판별할 수 있다.
도 4는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부(G)(410), 판별부(D)(420) 및 사람 재식별부(P)(430)를 포함할 수 있다. 실시예에 따라 제2 생성부(G’)(411)를 더 포함하여 이루어질 수 있다. 여기서, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 프라이빗 생성적 적대 신경망(PrivateGAN)로 언급될 수 있다.
제1 생성부(G)(410)와 제2 생성부(G’)(411)는 한 사람 얼굴을 다른 사람으로 변형하는 네트워크이다. 제1 생성부(G)(410)는 주어진 얼굴을 익명의 얼굴로 바꾸는 역할을 하고, 제2 생성부(G’)(411)는 익명의 얼굴을 해당 사람으로 바꾸는 역할을 한다.
다시 말하면, 제1 생성부(G)(410)는 사용자의 얼굴인 실제 데이터(x)를 이용하여 다른 얼굴인 가짜 데이터(x’)를 생성할 수 있는 것으로, 노이즈가 입력되어 특정 확률 분포를 갖는 사용자의 얼굴인 실제 데이터(x)를 실제 데이터(x)와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터(x’)를 생성할 수 있다.
그리고 제2 생성부(G’)(411)는 다른 얼굴인 가짜 데이터(x’)를 사용자의 얼굴인 실제 데이터(x)로 변경할 수 있다.
판별부(D)(420)는 가짜 데이터(x')가 실제 데이터(x)의 분포를 가질 수 있도록 도와주는 적대 손실(Adversarial Loss)로, 가짜 데이터(x')가 실제 데이터(x)인지, 제1 생성부(G)(410)가 만들어낸 가짜 데이터(x’)인지 구분하는 역할을 한다.
다시 말하면, 판별부(D)(420)는 생성된 가짜 데이터(x’)가 실제 데이터(x)인지 여부를 판별하는 것으로, 가짜 데이터(x’)를 입력 받아 실제 데이터(x)인지 제1 생성부(G)(410)가 생성한 가짜 데이터(x’)인지 여부를 판별할 수 있다.
그리고 사람 재식별부(P)(430)는 주어진 두 사람 이미지의 실제 데이터(x)와 가짜 데이터(x')가 같은 사람인지 여부를 판별하는 네트워크이다. 즉, 사람 재식별부(P)(430)는 서로 다른 데이터인 실제 데이터(x)와 가짜 데이터(x’)가 동일한 사람인지 여부를 판별할 수 있다. 이 때, 데이터는 한 사람의 얼굴이 포함된 사진이 다양한 각도/조명 등의 환경에서 촬영된 여러 장이 있다고 가정한다.
여기서, 사용자의 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 신원 정보는 제거할 수 있다.
제1 생성부(G)(410)는 판별부(D)(420)와 사람 재식별부(P)(430)로부터 생성되는 손실(Loss)을 최대화하는 역할을 하고, 이에 따라 실제 데이터(x)와 가짜 데이터(x’)가 동일한 사람은 아니지만, 동일한 도메인 내의 정보(즉, 사용자의 다른 정보)를 최대한으로 보존하는 네트워크를 구성할 수 있다.
경우에 따라, 도 3에서 설명한 바와 같이, 제1 생성부(G)(410)와 제2 생성부(G’)(411)의 입력에 어떤 얼굴로 변형할 것인지에 대한 정보인 source(s), targe(t) 정보를 기재할 수 있다.
이와 같이, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 GAN(Generative Adversarial Network)을 변형한 PrivateGAN(Private Generative Adversarial Network)을 통해 사용자 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며 상기 신원 정보는 제거할 수 있다.
한편, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 사용자 정보 중 사용자의 얼굴뿐 아니라 다른 특정 정보를 제거하고 다른 정보를 보존할 수 있다.
다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부, 판별부 및 재식별부를 포함할 수 있다. 실시예에 따라 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제2 생성부를 더 포함할 수 있다. 이러한 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 구성은 앞에서 설명한 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 구성과 유사하여 차이점을 중심으로 간략히 설명하기로 한다. 예컨대, 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 제1 생성부, 판별부, 재식별부 및 제2 생성부는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 제1 생성부, 판별부, 사람 재식별부 및 제2 생성부에 각각 대응될 수 있다.
제1 생성부는 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성할 수 있다. 그리고 제2 생성부는 가짜 데이터를 실제 데이터로 변경할 수 있다.
판별부는 생성된 가짜 데이터가 실제 데이터인지 여부를 판별할 수 있으며, 재식별부는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사용자인지 여부를 판별할 수 있다. 여기서, 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 특정 정보는 제거할 수 있다.
도 5는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 나타내는 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계(510), 생성된 가짜 데이터가 실제 데이터인지 여부를 판별하는 단계(520), 및 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계(530)를 포함하여 이루어질 수 있다.
그리고, 다른 얼굴인 가짜 데이터를 사용자의 얼굴인 실제 데이터로 변경하는 단계(540)를 더 포함할 수 있다.
여기서 사용자의 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 신원 정보는 제거할 수 있다. 한편, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법에서 제시된 순서는 하나의 예시로써 설명하기 위한 것으로, 이에 제한되지는 않는다.
아래에서 하나의 예를 들어 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 보다 구체적으로 설명한다.
일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은 도 4에서 설명한 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 이용하여 보다 구체적으로 설명할 수 있다. 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부(G), 판별부(D) 및 사람 재식별부(P)를 포함할 수 있다. 실시예에 따라 제2 생성부(G')를 더 포함하여 이루어질 수 있다.
단계(510)에서, 제1 생성부(G)는 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성할 수 있다.
제1 생성부(G)는 노이즈가 입력되어 특정 확률 분포를 갖는 사용자의 얼굴인 실제 데이터를 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
단계(520)에서, 판별부(D)는 생성된 가짜 데이터가 실제 데이터인지 여부를 판별할 수 있다. 즉, 판별부(D)는 가짜 데이터를 입력 받아 실제 데이터인지 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
단계(530)에서, 사람 재식별부(P)는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별할 수 있다.
사람 재식별부(P)는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별하며, 제1 생성부는 판별부와 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 실제 데이터와 가짜 데이터가 동일한 사람이 아니되 사용자의 다른 정보를 보존할 수 있다.
그리고 단계(540)에서 제2 생성부(G')는 다른 얼굴인 가짜 데이터를 사용자의 얼굴인 실제 데이터로 변경할 수 있다. 경우에 따라, 제1 생성부(G)와 제2 생성부(G')의 입력에 어떤 얼굴로 변형할 것인지에 대한 정보인 source(s), targe(t) 정보를 기재할 수 있다.
이상과 같이, 실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있다.
또한 종래의 생성 모델은 한 개인의 신원을 다른 '존재하는' 신원으로 변형하는 것을 목적으로 한다. 하지만, 본 실시예에서는 '존재하는' 신원이 아닌 '존재하지 않는' 임의의 신원으로 변형할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계
    를 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  2. 제1항에 있어서,
    상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  3. 제1항에 있어서,
    상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 단계
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  4. 제3항에 있어서,
    상기 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계는,
    제1 생성부에서 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  5. 제4항에 있어서,
    상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계는,
    판별부에서 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  6. 제5항에 있어서,
    상기 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계는,
    사람 재식별부에서 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하며,
    상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  7. 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 제1 생성부;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 사람 재식별부
    를 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  8. 제7항에 있어서,
    상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  9. 제7항에 있어서,
    상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 제2 생성부
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  10. 제9항에 있어서,
    상기 제1 생성부는,
    노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  11. 제10항에 있어서,
    상기 판별부는,
    상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  12. 제11항에 있어서,
    상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  13. 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성하는 제1 생성부;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사용자인지 여부를 판별하는 재식별부
    를 포함하고,
    상기 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 상기 특정 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  14. 제13항에 있어서,
    상기 가짜 데이터를 상기 실제 데이터로 변경하는 제2 생성부
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
KR1020180071835A 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 KR102085427B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/007078 WO2019225799A1 (ko) 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180058075 2018-05-23
KR1020180058075 2018-05-23

Publications (2)

Publication Number Publication Date
KR20190133582A true KR20190133582A (ko) 2019-12-03
KR102085427B1 KR102085427B1 (ko) 2020-03-05

Family

ID=68838197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180071835A KR102085427B1 (ko) 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102085427B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083487A (ko) 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
KR20210083488A (ko) 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법
KR20230105814A (ko) * 2022-01-05 2023-07-12 세종대학교산학협력단 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
KR20120069922A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 얼굴 인식 장치 및 그 방법
KR20130142552A (ko) 2012-06-19 2013-12-30 김태혁 개인정보 삭제 서비스 모델
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
KR20120069922A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 얼굴 인식 장치 및 그 방법
KR20130142552A (ko) 2012-06-19 2013-12-30 김태혁 개인정보 삭제 서비스 모델
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
첨부1 이기창, "Advanced Gans", ratsgo's blog, 2017.12.21., url: https://ratsgo.github.io/generative%20model/2017/12/21/gans/. 2019.08.30일 검색. 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083487A (ko) 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
KR20210083488A (ko) 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법
KR20230105814A (ko) * 2022-01-05 2023-07-12 세종대학교산학협력단 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치 및 방법

Also Published As

Publication number Publication date
KR102085427B1 (ko) 2020-03-05

Similar Documents

Publication Publication Date Title
US11487999B2 (en) Spatial-temporal reasoning through pretrained language models for video-grounded dialogues
KR102085427B1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
US10984225B1 (en) Masked face recognition
US11645546B2 (en) System and method for predicting fine-grained adversarial multi-agent motion
EP4009278A1 (en) Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
KR20160091786A (ko) 사용자 관리 방법 및 사용자 관리 장치
KR20160072768A (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
JP2022546756A (ja) 機械学習モデルを堅牢化するための学習入力のプリプロセッシング
KR20210080064A (ko) 사용자를 인증하는 방법 및 시스템
KR20230038086A (ko) 영상 데이터에 포함된 얼굴 및 신체 비식별화 방법 및 이를 수행하기 위한 장치
Xie et al. Deepfake detection on publicly available datasets using modified AlexNet
WO2022188599A1 (en) Selective redaction of images
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
US20210012003A1 (en) Information processing apparatus and information processing method
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
Kang et al. Combining random forest with multi-block local binary pattern feature selection for multiclass head pose estimation
CN113239852B (zh) 一种基于隐私保护的隐私图像处理方法、装置及设备
JP7107441B2 (ja) 情報処理装置、方法およびプログラム
Maity et al. Preserving Privacy in Video Analytics: A Comprehensive Review of Face De-Identification and Background Blurring Techniques
Iqbal et al. Machine learning techniques for image manipulation detection: A review and analysis
Guo et al. Enhancing Mobile Privacy and Security: A Face Skin Patch-Based Anti-Spoofing Approach
Kuznetsov et al. Convolutional Neural Networks to Protect Against Spoofing Attacks on Biometric Face Authentication
US20230148112A1 (en) Sports Neural Network Codec
CN118071867B (zh) 将文本数据转换为图像数据的方法和装置
KR102698746B1 (ko) 영상 내 실제 얼굴에 가상 얼굴을 배정하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right