WO2019225799A1 - 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 - Google Patents

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 Download PDF

Info

Publication number
WO2019225799A1
WO2019225799A1 PCT/KR2018/007078 KR2018007078W WO2019225799A1 WO 2019225799 A1 WO2019225799 A1 WO 2019225799A1 KR 2018007078 W KR2018007078 W KR 2018007078W WO 2019225799 A1 WO2019225799 A1 WO 2019225799A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
fake
user
deep learning
Prior art date
Application number
PCT/KR2018/007078
Other languages
English (en)
French (fr)
Inventor
이수영
신영훈
채명수
김준우
김태호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority claimed from KR1020180071835A external-priority patent/KR102085427B1/ko
Publication of WO2019225799A1 publication Critical patent/WO2019225799A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the following embodiments relate to a method and apparatus for deleting user information, and more particularly, to a method and apparatus for deleting user information using a deep learning generation model.
  • the generative model is a typical example.
  • Generating models include Genetic Adversarial Networks (GANs) and Variety Autoencoders (VAEs), which generate rules for data that are difficult to mathematically define probability distributions such as images and audio.
  • GANs Genetic Adversarial Networks
  • VAEs Variety Autoencoders
  • GANs generative antagonistic neural networks
  • CycleGAN and StarGAN when there is image data of two or more domains, it is a generation model that moves an image of one domain to another domain.
  • 1 is a view for explaining a conventional generation model.
  • a conventional generation model may change a horse like a zebra when there is a horse photo data and zebra photo data, and may also change a zebra into a horse.
  • Korean Patent Laid-Open No. 10-2013-0142552 describes a technology related to such a personal information deletion service model.
  • Embodiments describe a method and apparatus for deleting user information using a deep learning generation model, and more specifically, provide a user information deletion technology using a private generative adversarial network (PrivateGAN).
  • PrimaryGAN private generative adversarial network
  • Embodiments provide a deep learning generation model that preserves information excluding identity information from a face-containing picture and removes identity information through a private generative antagonist network (GAN).
  • GAN private generative antagonist network
  • a method of deleting user information using a deep learning generation model may include generating fake data of another face using real data of a user's face; Determining whether the generated fake data is the actual data; And determining whether the real data and the fake data, which are different data, are the same person.
  • identity information may be preserved in the photo including the face of the user, and the identity information may be removed.
  • the method may further include changing fake data, which is the other face, to real data which is the face of the user.
  • Generating fake data which is another face using real data which is the face of the user may include inputting noise from the first generation unit to at least partially resemble real data which is the face of the user having a specific probability distribution. You can create fake data, another face with a distribution.
  • the determining of whether the fake data is the real data may include determining whether the fake data is the real data or the fake data generated by the first generator.
  • the determining whether the real data and the fake data are different people is the same person.
  • the person re-identification unit determines whether the real data and the fake data are different people are different from each other.
  • the first generation unit maximizes the loss generated from the determination unit and the person re-identification unit, so that the actual data and the fake data are not the same person, but may preserve other information of the user.
  • an apparatus for deleting user information using a deep learning generation model may include: a first generator configured to generate fake data, which is another face, using real data, which is a face of a user; A discriminating unit for determining whether the generated fake data is the actual data; And a person re-identification unit for determining whether the real data and the fake data, which are different data, are the same person.
  • identity information may be preserved in the photo including the face of the user, and the identity information may be removed.
  • the apparatus may further include a second generation unit configured to change fake data, which is the other face, into real data, which is the face of the user.
  • the first generator may generate fake data, which is another face having a distribution that is at least partially similar to real data, which is a face of the user having a specific probability distribution with noise input thereto.
  • the determination unit may receive the fake data and determine whether the actual data is fake data generated by the first generation unit.
  • the actual data and the fake data may not be the same person, but may preserve other information of the user. .
  • an apparatus for deleting user information using a deep learning generation model may include: a first generator configured to generate fake data using actual data of specific information among user information; A discriminating unit for determining whether the generated fake data is the actual data; And a re-identification unit for determining whether the actual data and the fake data, which are different data, are the same user.
  • a first generator configured to generate fake data using actual data of specific information among user information
  • a discriminating unit for determining whether the generated fake data is the actual data
  • a re-identification unit for determining whether the actual data and the fake data, which are different data, are the same user.
  • other information except for the specific information among the user information may be stored, and the specific information may be removed.
  • the apparatus may further include a second generator that changes the fake data into the actual data.
  • deep learning generation that preserves information except for identity information in a photograph including a face and removes identity information through a private generative antagonist network (GAN) modified private generative antagonist network (GAN).
  • GAN private generative antagonist network
  • GAN modified private generative antagonist network
  • the generated hostile neural network is transformed into an arbitrary non-existent identity instead of an existing identity through a private generated hostile neural network (Grivate GAN), and information other than the identity information is to be preserved.
  • GAN generated hostile neural network
  • Grivate GAN private generated hostile neural network
  • 1 is a view for explaining a conventional generation model.
  • FIG. 2 is a diagram for describing a generator and a determiner, according to an exemplary embodiment.
  • FIG. 3 is a diagram for describing a method of including source and target information, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating an apparatus for deleting user information using a deep learning generation model, according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a method of deleting user information using a deep learning generation model, according to an exemplary embodiment.
  • the present embodiment provides a technology for deleting user information using a private generative adversarial network (PrivateGAN).
  • PrimaryGAN private generative adversarial network
  • the generative adversarial network is a technology disclosed as one of generation models, and when a specific dataset is given, it can learn the distribution of the dataset and generate data corresponding to the distribution. I mean the model.
  • the private generative antagonist network may be composed of a discriminator (D), a generator (G), and a person reidentification (P).
  • FIG. 2 is a diagram for describing a generator and a determiner, according to an exemplary embodiment.
  • the generation unit (G) 210 and the determination unit (D) 220 may be described in more detail with one example.
  • the generation unit (G) 210 may generate fake data (x ′) similar to the actual data (x) by inputting noise.
  • the generator (G) 210 may generate fake data (x ′) having a distribution similar to the actual data (x) when learning using the actual data (x) having a specific probability distribution.
  • the goal of the generation unit (G) 210 is to generate the fake data (x ') at a level that cannot be distinguished from the actual data (x) and the fake data (x') enough to fool the discriminating unit (D) 220. To make it.
  • the determination unit (D) 220 may determine whether the data generated by the generation unit (G) 210 is actual data (x) or fake data (x ′) generated by the generation unit (G) 210. have.
  • the determination unit (D) 220 learns using the real data (x) and the fake data (x ') generated by the generation unit (G) 210, and whether the data is the actual data (x). It may play a role of distinguishing whether the fake data (x ') generated by the generation unit (G) 210.
  • the goal of the discriminating unit (D) 220 is to discriminate well between the actual data x and the fake data x '.
  • the generation unit (G) 210 and the determination unit (D) 220 continue to learn, and the generation unit (G) 210 generates fake data (x ') that is closer to reality as learning progresses.
  • the discriminating unit (D) 220 may improve the discrimination ability between the actual data x and the fake data x '.
  • FIG. 3 is a diagram for describing a method of including source and target information, according to an exemplary embodiment.
  • source information source (s) and target information targe (t) through a plurality of generation units (G) 310 and determination units (D) 320 will be described. can do.
  • Target information targe (t) is included in the actual data x using the generation unit G 310, and fake data x ′ including the source information source (s) may be generated. have.
  • the determination unit (D) 320 receives the fake data (x ') including the source information (source (s)) and receives the fake data (x) generated by the generation unit (G) 310 to determine whether the actual data (x). ') Can be determined.
  • FIG. 4 is a diagram illustrating an apparatus for deleting user information using a deep learning generation model, according to an exemplary embodiment.
  • the apparatus for deleting user information using the deep learning generation model may include a first generation unit (G) 410, a determination unit (D) 420, and a person re-identification unit (P) ( 430).
  • the second generator G ′ 411 may be further included.
  • the apparatus for deleting user information using the deep learning generation model may be referred to as a private generative hostile neural network.
  • the first generator (G) 410 and the second generator (G ′) 411 are networks that transform one face into another.
  • the first generation unit (G) 410 serves to replace a given face with an anonymous face
  • the second generation unit (G ′) 411 serves to change an anonymous face into a corresponding person.
  • the first generator (G) 410 may generate fake data (x '), which is another face, using real data (x), which is the user's face, and input a noise to generate a specific probability distribution. It is possible to generate fake data (x '), which is another face having at least some similar distribution with real data (x), which is the actual data (x) that is the user's face.
  • the second generator G ′ 411 may change the fake data x ′, which is another face, into real data x, which is the face of the user.
  • the determination unit (D) 420 is an Adversarial Loss that helps the fake data (x ') have a distribution of the actual data (x), and whether the fake data (x') is the actual data (x).
  • the first generation unit (G) serves to distinguish whether the fake data (x ') generated by the (410).
  • the determination unit (D) 420 determines whether the generated fake data (x ') is the actual data (x).
  • the generation unit (G) may determine whether or not the fake data (x ') generated.
  • the person re-identification unit (P) (430) is a network for determining whether the actual data (x) and fake data (x ') of the two given people image is the same person. That is, the person re-identification unit (P) 430 may determine whether the actual data x and the fake data x ′, which are different data, are the same person. At this time, the data assumes that there are several photographs in which one person's face is taken in various angles / lights and the like.
  • identity information may be preserved in the photo including the face of the user, and the identity information may be removed.
  • the first generation unit (G) 410 serves to maximize the loss (Loss) generated from the determination unit (D) 420 and the human re-identification unit (P) 430, and thus the actual data (x). ) And fake data (x ') are not the same person, but it is possible to construct a network that preserves as much information as possible within the same domain (i.e., other information of the user).
  • source (s) which is information on which face is to be transformed to the inputs of the first generator G 410 and the second generator G '411, targe (t) information can be entered.
  • the apparatus for deleting user information using the deep learning generation model may use identity information in a picture including a user's face among user information through a Private Generative Adversarial Network (GAN) modified from a GAN. Information is stored except for the identification information can be removed.
  • GAN Private Generative Adversarial Network
  • the apparatus for deleting user information using the deep learning generation model may remove not only the user's face but also other specific information from the user information and preserve other information.
  • an apparatus for deleting user information using a deep learning generation model may include a first generation unit, a determination unit, and a re-identification unit.
  • the apparatus for deleting user information using the deep learning generation model may further include a second generation unit.
  • the configuration of the user information deletion device using the deep learning generation model according to another embodiment is similar to the configuration of the user information deletion device using the deep learning generation model according to the above-described embodiment, and will be briefly described based on the differences. .
  • the first generation unit, the determination unit, the person re-identification unit, and the second generation unit may respectively correspond.
  • the first generation unit may generate the fake data using the actual data of the specific information among the user's information.
  • the second generation unit may change the fake data into actual data.
  • the determination unit may determine whether the generated fake data is real data, and the re-identification unit may determine whether the real data and the fake data that are different data are the same user.
  • other information except for the specific information of the user information may be stored, and the specific information may be removed.
  • FIG. 5 is a flowchart illustrating a method of deleting user information using a deep learning generation model, according to an exemplary embodiment.
  • generating fake data of another face using real data may be performed.
  • the method may include determining whether the data is real data (520), and determining whether the real data and the fake data that are different data are the same person (530).
  • the method may further include a step 540 of changing fake data, which is another face, into real data which is a face of the user.
  • the order presented in the method for deleting user information using the deep learning generation model is for illustrative purposes only and is not limited thereto.
  • a method of deleting user information using a deep learning generation model according to an embodiment may be described in more detail by using a user information deletion apparatus using the deep learning generation model described in FIG. 4.
  • the apparatus for deleting user information using the deep learning generation model according to an exemplary embodiment may include a first generator G, a determiner D, and a person re-identifier P.
  • the second generation unit G ′ may be further included.
  • the first generator G may generate fake data of another face using real data of a user's face.
  • the first generator G may generate fake data, which is another face having at least a portion of the distribution of real data, which is a face of a user having a specific probability distribution, by inputting noise.
  • the determination unit D may determine whether the generated fake data is real data. That is, the determination unit D may receive the fake data and determine whether the fake data is real data or fake data generated by the first generation unit.
  • the person re-identification unit P may determine whether the real data and the fake data that are different data are the same person.
  • the human re-identifier P determines whether the real data and the fake data that are different data are the same person, and the first generator maximizes the loss generated from the discriminator and the human re-identifier. Data and fake data are not the same person, but can preserve other information about the user.
  • the second generation unit G ′ may change fake data, which is another face, into real data, which is a face of the user.
  • source (s) and targe (t) information which is information on which face to be transformed, may be described in the inputs of the first generator G and the second generator G '.
  • information except for the identity information is preserved in the photograph including the face through the private generative antagonist network (Griv) modified private generative network (GAN), and the identity information may be removed.
  • Griv private generative antagonist network
  • GAN modified private generative network
  • the conventional generation model also aims to transform one's identity into another 'existent' identity.
  • the present invention may be modified to an 'non-existent' identity rather than an 'existent' identity.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • a processing device may be described as one being used, but a person skilled in the art will appreciate that the processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. It can be embodied in.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치가 제시된다. 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계를 포함하여 이루어질 수 있다.

Description

딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
아래의 실시예들은 사용자 정보 삭제 방법 및 장치에 관한 것으로, 더욱 상세하게는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치에 관한 것이다.
최근 인공지능(Artificial Intelligence, AI)과 딥러닝(Deep Learning)의 가파른 성장으로 인해 과거에는 하지 못했던 기술들이 새롭게 개발되고 있다. 생성 모델 (Generative Model)이 대표적인 예시이다.
생성 모델에는 생성적 적대 신경망(Generative Adversarial Network, GAN), VAE(Variational Autoencoder) 등의 종류가 있으며, 이러한 생성 모델은 이미지, 오디오와 같은 수학적으로 확률 분포를 정의하기 어려운 데이터에 대해서 데이터 내의 규칙을 학습하고 생성할 수 있는 능력을 가진 모델을 의미한다. 특히, 생성적 적대 신경망(GAN)은 산업 및 학계에서 주목을 받으며 급성장하고 있는 모델이다. 최근 발표된 CycleGAN 및 StarGAN의 경우 두 가지 이상의 도메인의 이미지 데이터가 있을 때, 하나의 도메인의 이미지를 다른 도메인으로 옮기는 생성 모델이다.
도 1은 종래의 생성 모델을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 예를 들어 종래의 생성 모델은 말 사진 데이터와 얼룩말 사진 데이터가 있을 경우 말을 얼룩말처럼 바꿀 수 있으며, 또한 얼룩말을 말로 바꿀 수 있다.
이러한 종래의 생성 모델의 기술을 응용할 경우 이미지에서 원하는 정보만 변형하고, 그 외의 데이터는 보존할 수 있다. 하지만, 종래의 생성 모델은 변형할 두 개의 도메인에 대한 데이터가 풍부해야 한다. 또한 종래의 생성 모델은 한 개인의 신원을 다른 '존재하는' 신원으로 변형하는 것을 목적으로 한다.
한국공개특허 10-2013-0142552호는 이러한 개인정보 삭제 서비스 모델에 관한 기술을 기재하고 있다.
실시예들은 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치에 관하여 기술하며, 보다 구체적으로 프라이빗 생성적 적대 신경망(Private Generative Adversarial Network, PrivateGAN)을 활용한 사용자 정보 삭제 기술을 제공한다.
실시예들은 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계를 포함하여 이루어질 수 있다.
여기서, 상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거할 수 있다.
상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 단계를 더 포함할 수 있다.
상기 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계는, 제1 생성부에서 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계는, 판별부에서 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
상기 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계는, 사람 재식별부에서 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하며, 상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존할 수 있다.
다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 제1 생성부; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 사람 재식별부를 포함하여 이루어질 수 있다.
여기서, 상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거할 수 있다.
상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 제2 생성부를 더 포함할 수 있다.
상기 제1 생성부는, 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
상기 판별부는, 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존할 수 있다.
또 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는, 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성하는 제1 생성부; 생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사용자인지 여부를 판별하는 재식별부를 포함할 수 있다. 여기서, 상기 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 상기 특정 정보는 제거할 수 있다.
또한, 상기 가짜 데이터를 상기 실제 데이터로 변경하는 제2 생성부를 더 포함할 수 있다.
실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공할 수 있다.
또한, 실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 존재하는 신원이 아닌 존재하지 않는 임의의 신원으로 변형하고, 신원 정보를 제외한 정보를 보존할 수 있는 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치를 제공할 수 있다.
도 1은 종래의 생성 모델을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 소스 및 타겟 정보를 포함하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
인공지능, 머신러닝, 딥러닝의 발전에 가장 큰 기여를 한 것 중 한 가지는 데이터이다. 대량의 고품질 데이터를 이용해 학습한 결과로 좋은 성능을 얻을 수 있었다. 음성, 사진, 동영상 등 다양한 도메인의 데이터에 대해서 수집과 공개가 일어나지만 데이터의 종류에 따라 개인정보가 포함되는 경우 대량의 데이터를 수집하여 공개하기 어려운 경우가 있다. 예를 들어 개인의 얼굴이 포함된 사진을 수집하게 되는 경우 개인 정보에 대한 동의가 필수적이며, 본인의 사진이 공개되길 원하지 않는 경우도 있을 것이다.
아래의 실시예에서는 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 없애는 방법을 제공하고자 한다.
기존에 문제 해결에 있어 가장 간단한 방법은 얼굴을 모자이크 하거나, 눈을 가리는 등의 방법이 있다. 하지만 이러한 방법은 데이터를 표정 인식, 감정 인식 등 다양한 태스크(task)에 활용하기에 신원 정보를 비롯하여 많은 정보의 손실을 야기한다. 복원 불가능한 형태로 암호화를 할 수 있으나, 이러한 방법 또한 신원 정보 이외의 정보를 보존했다고 할 수 없다.
본 실시예에서는 프라이빗 생성적 적대 신경망(Private Generative Adversarial Network, PrivateGAN)을 활용한 사용자 정보 삭제 기술을 제공한다.
여기서, 생성적 적대 신경망(Generative Adversarial Network, GAN)은 생성 모델 중 하나로 공개된 기술이고, 특정 데이터 셋(dataset)이 주어졌을 때 해당 데이터 셋의 분포를 학습하고 분포에 해당되는 데이터를 생성할 수 있는 모델을 의미한다.
여기에서는 생성적 적대 신경망(GAN)을 변형하여, 프라이빗 생성적 적대 신경망(PrivateGAN)을 제안한다. 이 때, 데이터는 한 사람의 얼굴이 포함된 사진이 다양한 각도/조명 등의 환경에서 촬영된 여러 장이 있다고 가정한다. 프라이빗 생성적 적대 신경망(PrivateGAN)은 판별부(Discriminator, D), 생성부(Generator, G) 및 사람 재식별부(Person reidentification, P)로 구성될 수 있다.
도 2는 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 2를 참조하면, 생성부(G)(210) 및 판별부(D)(220)를 설명하기 위한 것으로, 기존의 생성적 적대 신경망(GAN)을 통해 생성부(G)(210) 및 판별부(D)(220)를 하나의 예를 들어 보다 구체적으로 설명할 수 있다.
생성부(G)(210)는 노이즈가 입력되어 실제 데이터(x)와 유사한 가짜 데이터(x’)를 생성할 수 있다.
보다 구체적으로, 생성부(G)(210)는 특정 확률 분포를 갖는 실제 데이터(x)를 이용해 학습시키면 실제 데이터(x)와 유사한 분포를 갖는 가짜 데이터(x’)를 생성할 수 있다. 이러한 생성부(G)(210)의 목표는 판별부(D)(220)를 속일 수 있을 정도로 실제 데이터(x)와 가짜 데이터(x’)의 구별이 불가능할 수준의 가짜 데이터(x’)를 만들어 내는 것이다.
판별부(D)(220)는 생성부(G)(210)가 생성한 데이터가 실제 데이터(x)인지 생성부(G)(210)가 생성한 가짜 데이터(x’)인지를 판별할 수 있다.
보다 구체적으로, 판별부(D)(220)는 실제 데이터(x)와 생성부(G)(210)가 생성한 가짜 데이터(x’)를 이용하여 학습하며, 데이터가 실제 데이터(x)인지 생성부(G)(210)가 생성한 가짜 데이터(x’)인지를 구별하는 역할을 할 수 있다. 판별부(D)(220)의 목표는 실제 데이터(x)와 가짜 데이터(x’) 사이에서 판별을 잘하는 것이다.
이러한 과정 속에서 생성부(G)(210) 및 판별부(D)(220)는 계속 학습을 하고, 생성부(G)(210)는 학습이 진행될수록 실제와 가까운 가짜 데이터(x’)를 생성하며, 판별부(D)(220)는 학습이 진행될수록 실제 데이터(x)와 가짜 데이터(x’)의 분별 능력이 개선될 수 있다.
도 3은 일 실시예에 따른 소스 및 타겟 정보를 포함하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 복수의 생성부(G)(310) 및 판별부(D)(320)를 통해 소스 정보(source(s)) 및 타겟 정보(targe(t))를 포함하는 방법을 설명할 수 있다.
생성부(G)(310)를 이용하여 실제 데이터(x)에 타겟 정보(targe(t))를 포함시키고, 소스 정보(source(s))가 포함된 가짜 데이터(x’)를 생성할 수 있다.
판별부(D)(320)는 소스 정보(source(s))가 포함된 가짜 데이터(x’)를 입력 받아 실제 데이터(x)인지 생성부(G)(310)가 생성한 가짜 데이터(x’)인지를 판별할 수 있다.
도 4는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부(G)(410), 판별부(D)(420) 및 사람 재식별부(P)(430)를 포함할 수 있다. 실시예에 따라 제2 생성부(G’)(411)를 더 포함하여 이루어질 수 있다. 여기서, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 프라이빗 생성적 적대 신경망(PrivateGAN)로 언급될 수 있다.
제1 생성부(G)(410)와 제2 생성부(G’)(411)는 한 사람 얼굴을 다른 사람으로 변형하는 네트워크이다. 제1 생성부(G)(410)는 주어진 얼굴을 익명의 얼굴로 바꾸는 역할을 하고, 제2 생성부(G’)(411)는 익명의 얼굴을 해당 사람으로 바꾸는 역할을 한다.
다시 말하면, 제1 생성부(G)(410)는 사용자의 얼굴인 실제 데이터(x)를 이용하여 다른 얼굴인 가짜 데이터(x’)를 생성할 수 있는 것으로, 노이즈가 입력되어 특정 확률 분포를 갖는 사용자의 얼굴인 실제 데이터(x)를 실제 데이터(x)와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터(x’)를 생성할 수 있다.
그리고 제2 생성부(G’)(411)는 다른 얼굴인 가짜 데이터(x’)를 사용자의 얼굴인 실제 데이터(x)로 변경할 수 있다.
판별부(D)(420)는 가짜 데이터(x')가 실제 데이터(x)의 분포를 가질 수 있도록 도와주는 적대 손실(Adversarial Loss)로, 가짜 데이터(x')가 실제 데이터(x)인지, 제1 생성부(G)(410)가 만들어낸 가짜 데이터(x’)인지 구분하는 역할을 한다.
다시 말하면, 판별부(D)(420)는 생성된 가짜 데이터(x’)가 실제 데이터(x)인지 여부를 판별하는 것으로, 가짜 데이터(x’)를 입력 받아 실제 데이터(x)인지 제1 생성부(G)(410)가 생성한 가짜 데이터(x’)인지 여부를 판별할 수 있다.
그리고 사람 재식별부(P)(430)는 주어진 두 사람 이미지의 실제 데이터(x)와 가짜 데이터(x')가 같은 사람인지 여부를 판별하는 네트워크이다. 즉, 사람 재식별부(P)(430)는 서로 다른 데이터인 실제 데이터(x)와 가짜 데이터(x’)가 동일한 사람인지 여부를 판별할 수 있다. 이 때, 데이터는 한 사람의 얼굴이 포함된 사진이 다양한 각도/조명 등의 환경에서 촬영된 여러 장이 있다고 가정한다.
여기서, 사용자의 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 신원 정보는 제거할 수 있다.
제1 생성부(G)(410)는 판별부(D)(420)와 사람 재식별부(P)(430)로부터 생성되는 손실(Loss)을 최대화하는 역할을 하고, 이에 따라 실제 데이터(x)와 가짜 데이터(x’)가 동일한 사람은 아니지만, 동일한 도메인 내의 정보(즉, 사용자의 다른 정보)를 최대한으로 보존하는 네트워크를 구성할 수 있다.
경우에 따라, 도 3에서 설명한 바와 같이, 제1 생성부(G)(410)와 제2 생성부(G’)(411)의 입력에 어떤 얼굴로 변형할 것인지에 대한 정보인 source(s), targe(t) 정보를 기재할 수 있다.
이와 같이, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 GAN(Generative Adversarial Network)을 변형한 PrivateGAN(Private Generative Adversarial Network)을 통해 사용자 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며 상기 신원 정보는 제거할 수 있다.
한편, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 사용자 정보 중 사용자의 얼굴뿐 아니라 다른 특정 정보를 제거하고 다른 정보를 보존할 수 있다.
다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부, 판별부 및 재식별부를 포함할 수 있다. 실시예에 따라 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제2 생성부를 더 포함할 수 있다. 이러한 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 구성은 앞에서 설명한 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 구성과 유사하여 차이점을 중심으로 간략히 설명하기로 한다. 예컨대, 다른 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 제1 생성부, 판별부, 재식별부 및 제2 생성부는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치의 제1 생성부, 판별부, 사람 재식별부 및 제2 생성부에 각각 대응될 수 있다.
제1 생성부는 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성할 수 있다. 그리고 제2 생성부는 가짜 데이터를 실제 데이터로 변경할 수 있다.
판별부는 생성된 가짜 데이터가 실제 데이터인지 여부를 판별할 수 있으며, 재식별부는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사용자인지 여부를 판별할 수 있다. 여기서, 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 특정 정보는 제거할 수 있다.
도 5는 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 나타내는 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은, 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계(510), 생성된 가짜 데이터가 실제 데이터인지 여부를 판별하는 단계(520), 및 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계(530)를 포함하여 이루어질 수 있다.
그리고, 다른 얼굴인 가짜 데이터를 사용자의 얼굴인 실제 데이터로 변경하는 단계(540)를 더 포함할 수 있다.
여기서 사용자의 정보 중 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 신원 정보는 제거할 수 있다. 한편, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법에서 제시된 순서는 하나의 예시로써 설명하기 위한 것으로, 이에 제한되지는 않는다.
아래에서 하나의 예를 들어 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법을 보다 구체적으로 설명한다.
일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법은 도 4에서 설명한 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치를 이용하여 보다 구체적으로 설명할 수 있다. 일 실시예에 따른 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치는 제1 생성부(G), 판별부(D) 및 사람 재식별부(P)를 포함할 수 있다. 실시예에 따라 제2 생성부(G')를 더 포함하여 이루어질 수 있다.
단계(510)에서, 제1 생성부(G)는 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성할 수 있다.
제1 생성부(G)는 노이즈가 입력되어 특정 확률 분포를 갖는 사용자의 얼굴인 실제 데이터를 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성할 수 있다.
단계(520)에서, 판별부(D)는 생성된 가짜 데이터가 실제 데이터인지 여부를 판별할 수 있다. 즉, 판별부(D)는 가짜 데이터를 입력 받아 실제 데이터인지 제1 생성부가 생성한 가짜 데이터인지 여부를 판별할 수 있다.
단계(530)에서, 사람 재식별부(P)는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별할 수 있다.
사람 재식별부(P)는 서로 다른 데이터인 실제 데이터와 가짜 데이터가 동일한 사람인지 여부를 판별하며, 제1 생성부는 판별부와 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 실제 데이터와 가짜 데이터가 동일한 사람이 아니되 사용자의 다른 정보를 보존할 수 있다.
그리고 단계(540)에서 제2 생성부(G')는 다른 얼굴인 가짜 데이터를 사용자의 얼굴인 실제 데이터로 변경할 수 있다. 경우에 따라, 제1 생성부(G)와 제2 생성부(G')의 입력에 어떤 얼굴로 변형할 것인지에 대한 정보인 source(s), targe(t) 정보를 기재할 수 있다.
이상과 같이, 실시예들에 따르면 생성적 적대 신경망(GAN)을 변형한 프라이빗 생성적 적대 신경망(PrivateGAN)을 통해 얼굴이 포함된 사진에서 신원 정보를 제외한 정보를 보존하며, 신원 정보는 제거할 수 있다.
또한 종래의 생성 모델은 한 개인의 신원을 다른 '존재하는' 신원으로 변형하는 것을 목적으로 한다. 하지만, 본 실시예에서는 '존재하는' 신원이 아닌 '존재하지 않는' 임의의 신원으로 변형할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계
    를 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  2. 제1항에 있어서,
    상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  3. 제1항에 있어서,
    상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 단계
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  4. 제3항에 있어서,
    상기 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 단계는,
    제1 생성부에서 노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  5. 제4항에 있어서,
    상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 단계는,
    판별부에서 상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  6. 제5항에 있어서,
    상기 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 단계는,
    사람 재식별부에서 서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하며,
    상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  7. 사용자의 얼굴인 실제 데이터를 이용하여 다른 얼굴인 가짜 데이터를 생성하는 제1 생성부;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사람인지 여부를 판별하는 사람 재식별부
    를 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  8. 제7항에 있어서,
    상기 사용자의 정보 중 상기 사용자의 얼굴이 포함된 사진에서 신원 정보를 제외한 다른 정보를 보존하고, 상기 신원 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  9. 제7항에 있어서,
    상기 다른 얼굴인 가짜 데이터를 상기 사용자의 얼굴인 실제 데이터로 변경하는 제2 생성부
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  10. 제9항에 있어서,
    상기 제1 생성부는,
    노이즈가 입력되어 특정 확률 분포를 갖는 상기 사용자의 얼굴인 실제 데이터를 상기 실제 데이터와 적어도 일부 유사한 분포를 갖는 다른 얼굴인 가짜 데이터를 생성하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  11. 제10항에 있어서,
    상기 판별부는,
    상기 가짜 데이터를 입력 받아 상기 실제 데이터인지 상기 제1 생성부가 생성한 가짜 데이터인지 여부를 판별하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법.
  12. 제11항에 있어서,
    상기 제1 생성부는 상기 판별부와 상기 사람 재식별부로부터 생성되는 손실(Loss)을 최대화시킴에 따라 상기 실제 데이터와 상기 가짜 데이터가 상기 동일한 사람이 아니되 상기 사용자의 다른 정보를 보존하는 것
    을 특징으로 하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  13. 사용자의 정보 중 특정 정보의 실제 데이터를 이용하여 가짜 데이터를 생성하는 제1 생성부;
    생성된 상기 가짜 데이터가 상기 실제 데이터인지 여부를 판별하는 판별부; 및
    서로 다른 데이터인 상기 실제 데이터와 상기 가짜 데이터가 동일한 사용자인지 여부를 판별하는 재식별부
    를 포함하고,
    상기 사용자의 정보 중 특정 정보를 제외한 다른 정보를 보존하고, 상기 특정 정보는 제거하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
  14. 제13항에 있어서,
    상기 가짜 데이터를 상기 실제 데이터로 변경하는 제2 생성부
    를 더 포함하는, 딥러닝 생성 모델을 이용한 사용자 정보 삭제 장치.
PCT/KR2018/007078 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치 WO2019225799A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0058075 2018-05-23
KR20180058075 2018-05-23
KR1020180071835A KR102085427B1 (ko) 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
KR10-2018-0071835 2018-06-22

Publications (1)

Publication Number Publication Date
WO2019225799A1 true WO2019225799A1 (ko) 2019-11-28

Family

ID=68615611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/007078 WO2019225799A1 (ko) 2018-05-23 2018-06-22 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2019225799A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN113283403A (zh) * 2021-07-21 2021-08-20 武汉大学 基于对抗学习的伪造人脸视频检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119105A (ko) * 2006-06-14 2007-12-20 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
KR20120069922A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 얼굴 인식 장치 및 그 방법
KR101799335B1 (ko) * 2016-07-26 2017-11-20 주식회사 에스원 단안 카메라를 이용한 위조 얼굴 판별 시스템 및 이를 이용한 위조 얼굴 판별 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119105A (ko) * 2006-06-14 2007-12-20 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
KR20120069922A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 얼굴 인식 장치 및 그 방법
KR101799335B1 (ko) * 2016-07-26 2017-11-20 주식회사 에스원 단안 카메라를 이용한 위조 얼굴 판별 시스템 및 이를 이용한 위조 얼굴 판별 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ENGINEER WRITER: "GAN: Generative Adversarial Network.", SK BLOG, 12 September 2017 (2017-09-12), pages 1 - 6, XP055656257, Retrieved from the Internet <URL:https://m.blog.naver.com/PostView.nhn?blogId=skkim12345&logNo=221095458185&proxyReferer=https%3A%2F%2Fwww.google.com%2F> *
LEE, GICHANG: "Advanced GANs.", RATSGO'S BLOG, 21 December 2017 (2017-12-21), pages 1 - 15, XP055656234, Retrieved from the Internet <URL:https://ratsgo.github.io/generative%20model/2017/12/21/gans> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN113283403A (zh) * 2021-07-21 2021-08-20 武汉大学 基于对抗学习的伪造人脸视频检测方法
CN113283403B (zh) * 2021-07-21 2021-11-02 武汉大学 基于对抗学习的伪造人脸视频检测方法

Similar Documents

Publication Publication Date Title
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2018230832A1 (en) Image processing apparatus and method using multi-channel feature map
WO2020071701A1 (ko) 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2017138766A1 (ko) 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
WO2022131497A1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
WO2020166883A1 (ko) 인공지능을 이용한 문맥 파악 기반의 동영상 편집 방법 및 시스템
WO2019225799A1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2020032348A1 (ko) 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2020111776A1 (en) Electronic device for focus tracking photographing and method thereof
WO2020017829A1 (ko) 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
WO2018160039A1 (ko) 분할 기능을 이용한 자동 인증 처리 방법 및 시스템
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2020231035A1 (en) Image processing apparatus and operating method of the same
WO2020134114A1 (zh) 存储器、验证码实现方法、装置和设备
KR102085427B1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2019112084A1 (ko) Cnn을 이용한 압축 왜곡 제거 방법
WO2022158819A1 (en) Method and electronic device for determining motion saliency and video playback style in video
WO2021153889A1 (ko) 생체정보 분산관리 시스템 및 이를 이용한 생체인식 방법
WO2017195943A1 (ko) 인간관계와 시간성이 높은 서비스를 위한 스토리지 서버의 데이터 구분 방법 및 장치
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치
WO2019208869A1 (ko) 학습을 이용한 얼굴 특징점 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919919

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18919919

Country of ref document: EP

Kind code of ref document: A1