KR20230121974A - 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 - Google Patents

개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 Download PDF

Info

Publication number
KR20230121974A
KR20230121974A KR1020230103812A KR20230103812A KR20230121974A KR 20230121974 A KR20230121974 A KR 20230121974A KR 1020230103812 A KR1020230103812 A KR 1020230103812A KR 20230103812 A KR20230103812 A KR 20230103812A KR 20230121974 A KR20230121974 A KR 20230121974A
Authority
KR
South Korea
Prior art keywords
data
learning
network
task
modulation
Prior art date
Application number
KR1020230103812A
Other languages
English (en)
Inventor
정종후
Original Assignee
주식회사 딥핑소스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥핑소스 filed Critical 주식회사 딥핑소스
Publication of KR20230121974A publication Critical patent/KR20230121974A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D2041/1413—Controller structures or design
    • F02D2041/1432—Controller structures or design the system including a filter, e.g. a low pass or high pass filter
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/41—Servomotor, servo controller till figures
    • G05B2219/41166—Adaptive filter frequency as function of oscillation, rigidity, inertia load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer And Data Communications (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Storage Device Security (AREA)

Abstract

본 발명은 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법에 있어서, (a) 학습 장치가, 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 데이터의 주파수를 필터링하여 변조 데이터를 생성하도록 하는 단계; 및 (b) 상기 학습 장치가, 상기 변조 데이터를 특정 태스크를 수행하도록 설계된 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 특징 정보를 생성하도록 하고, 상기 특징 정보와 상기 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 상기 특징 정보를 이용하여 생성한 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 태스크 로스를 생성하며, 상기 태스크 로스를 이용한 백프로파게이션을 통해 상기 러닝 네트워크 및 상기 변조 네트워크 중 적어도 하나를 학습시키는 단계; 를 포함하는 방법에 관한 것이다.

Description

개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치{METHOD FOR TRAINING AND TESTING OBFUSCATION NETWORK FOR PROCESSING DATA TO BE OBFUSCATED FOR PRIVACY, AND TRAINING DEVICE AND TESTING DEVICE USING THEM}
본 발명은 개인 정보 보호를 위하여 원본 데이터를 변조(obfuscation)하는 변조 네트워크를 학습하는 방법 및 이를 이용한 학습 장치, 그리고, 개인 정보 보호를 위하여 원본 데이터를 변조 처리하기 위하여 학습된 변조 네트워크를 테스트하는 방법 및 이를 이용한 테스트 장치에 관한 것이다.
빅데이터(big data)란, 기존의 기업 환경이나 공공 기관에서 사용되는 정형화된 데이터는 물론, 전자 상거래 데이터, 메타 데이터, 웹 로드 데이터, 무선 식별(RFID: Radio Frequency Identification) 데이터, 센서 네트워크 데이터, 소셜 네트워크 데이터, 인터넷 텍스트와 문서에 관한 데이터, 인터넷 검색 인덱싱 데이터, 음성 데이터 등 기존에 미처 활용하지 못하던 비정형화 또는 반정형화된 데이터를 모두 포함하는 데이터로서, 이와 같은 데이터는 일반적으로 보통의 소프트웨어 툴 및 컴퓨터 시스템으로는 다루기 어려운 수준의 데이터 양을 갖게 된다는 의미에서 빅데이터라 칭하고 있다.
또한, 이러한 빅데이터는 그 자체만으로는 의미가 없을 수 있으나, 패턴 등에 대한 기계 학습을 통해 다양한 분야에서 새로운 데이터를 만들어내거나 판단 또는 예측을 하는데 유용하게 사용될 수 있다.
근래에 들어, 개인 정보 보호법 강화 등으로 인해 이러한 빅데이터를 거래 또는 공유하기 위해서는 해당 데이터의 개인 식별이 가능한 정보를 삭제하거나 해당 개인의 동의를 받는 것이 요구된다. 하지만, 상당한 양의 빅데이터 중 개인 식별이 가능한 정보가 있는지 여부를 일일이 확인하기도 어려울 뿐만 아니라 개인의 동의를 일일이 받는 것도 불가능하였기 때문에 이를 지원하기 위한 다양한 기술들이 등장하고 있다.
이에 관한 종래 기술의 일 예로서, 한국등록특허공보 제1861520호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 입력된 변형 대상 이미지에서 사람의 얼굴 영역을 검출하는 검출 단계, 상기 변형 대상 이미지에서 사람이 비식별 되도록 상기 검출된 얼굴 영역을 사람의 얼굴 형상이 아닌 왜곡된 제1 이미지로 변형하는 제1 비식별화 단계, 및 상기 제1 이미지를 토대로 소정의 얼굴 형성을 갖는 제2 이미지를 생성하고, 상기 변형 대상 이미지에서 상기 제1 이미지를 상기 제2 이미지로 변형시키되, 상기 제2 이미지는 상기 검출 단계에서 검출된 얼굴 영역의 형상과 상이한 얼굴 형상을 갖도록 생성되는 제2 식별화 단계를 포함하는 얼굴 비식별화 방법이 제공된다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 데이터 상에 얼굴, 텍스트 등의 식별 정보를 포함하는지 여부를 확인하고, 식별 정보에 해당하는 부분을 마스킹(masking) 또는 블러(blur) 처리하여 지우거나 가리는 방식이었기 때문에, 원본 데이터의 손상으로 인해 기계 학습에서 사용되기 어려웠고, 데이터 상에 예측하지 못한 식별 정보가 포함되어 이를 비식별화하지 못하는 경우도 종종 발생하였다. 특히, 종래의 보안 카메라(security camera)는 영상 이미지 내에 프레임 간 변화가 있는 모든 픽셀을 블러(blur) 처리하는 방식으로 비식별 처리를 수행하게 되는 데, 이러한 방식으로 비식별 처리를 수행하게 되면, 비식별된 얼굴의 표정 등 주요 정보가 원본 영상 이미지에 담긴 정보와 달라지게 될 뿐만 아니라 얼굴 검출 과정에서 누락된 개인 식별 정보가 원본 영상 이미지 상에 그대로 남게 되는 문제가 있었다.
이에 본 발명자(들)는, 원본 데이터와 상이하게 변조(obfuscation)된 변조 데이터를 생성하되, 러닝 모델에 원본 데이터가 입력됨에 따라 출력되는 결과와 러닝 모델에 변조 데이터가 입력됨에 따라 출력되는 결과가 서로 동일하거나 유사하게 되는 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 데이터 내에서 개인 식별 정보를 비교적 간편하면서도 정확하게 변조할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 원본 데이터로부터 비가역적으로 변조(obfuscation)하여 변조 데이터를 생성함으로써, 원본 데이터의 보안 및 프라이버시를 지킬 수 있는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 인간에게는 전혀 다르게 보이는 데이터이지만, 컴퓨터에게는 서로 동일하거나 유사하게 보이는 데이터를 생성하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 빅데이터 거래 시장을 보다 활성화시키는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법에 있어서, (a) 학습 장치가, 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 데이터의 주파수를 필터링하여 변조 데이터를 생성하도록 하는 단계; 및 (b) 상기 학습 장치가, 상기 변조 데이터를 특정 태스크를 수행하도록 설계된 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 특징 정보를 생성하도록 하고, 상기 특징 정보와 상기 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 상기 특징 정보를 이용하여 생성한 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 태스크 로스를 생성하며, 상기 태스크 로스를 이용한 백프로파게이션을 통해 상기 러닝 네트워크 및 상기 변조 네트워크 중 적어도 하나를 학습시키는 단계; 를 포함하는 방법이 제공된다.
상기 (a) 단계에서, 상기 학습 장치는, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 엔코딩 네트워크를 통해 상기 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 하이 패스 필터를 통해 상기 엔코디드 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 (b) 단계에서, 상기 학습 장치는, (i) 상기 변조 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 제1 백프로파게이션을 통해 상기 러닝 네트워크를 학습하여 상기 러닝 네트워크가 학습된 러닝 네트워크가 되도록 하고, (ii) 상기 변조 데이터를 상기 학습된 러닝 네트워크에 입력하여 상기 학습된 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제2 특징 정보를 생성하도록 하며, 상기 제2 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하고, 상기 제2 태스크 로스를 이용한 제2 백프로파게이션을 통해 상기 엔코딩 네트워크를 학습시킬 수 있다.
상기 (a) 단계에서, 상기 학습 장치는, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 (a) 단계에서, 상기 학습 장치는, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 엔코딩 네트워크를 통해 상기 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 밴드 리젝 필터를 통해 상기 엔코디드 데이터에서 기설정된 주파수 영역을 제거하도록 하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 (a) 단계에서, 상기 학습 장치는, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 밴드 리젝 필터를 통해 상기 학습 데이터에서 기설정된 주파수 영역을 제거하여 주파수 변조 데이터를 생성하도록 하며, 엔코딩 네트워크를 통해 상기 주파수 변조 데이터를 엔코딩하도록 하여 상기 변조 데이터를 생성하도록 할 수 있다.
본 발명의 다른 실시예에 따르면, 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 방법에 있어서, (a) 학습 장치에 의해, (i) 제1 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 제1 학습 데이터의 주파수를 필터링하여 제1 변조 데이터를 생성하도록 하는 프로세스, 및 (ii) 상기 제1 변조 데이터를 제1 태스크를 수행하도록 설계된 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 상기 제1 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 제1 학습 데이터에 대응되는 제1 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 제1 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 백프로파게이션을 통해 상기 제1 러닝 네트워크 및 상기 변조 네트워크 중 적어도 하나를 학습시키는 프로세스를 통해 상기 변조 네트워크를 학습시킨 상태에서, 테스트 장치가, 제2 학습 데이터를 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금 상기 제2 학습 데이터의 주파수를 필터링하여 제2 변조 데이터를 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, 상기 제2 변조 데이터를 제2 태스크를 수행하도록 설계된 제2 러닝 네트워크에 입력하여 상기 제2 러닝 네트워크로 하여금 상기 제2 변조 데이터를 러닝 연산하여 제2 특징 정보를 생성하도록 하고, 상기 제2 특징 정보와 상기 제2 학습 데이터에 대응되는 제2 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 제2 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하며, 상기 제2 태스크 로스를 이용한 백프로파게이션을 통해 상기 제2 러닝 네트워크를 학습시키는 단계; 를 포함하는 방법이 제공된다.
상기에서, (c) 상기 테스트 장치가, 제3 학습 데이터, 또는 상기 학습된 변조 네트워크를 통해 상기 제3 학습 데이터의 주파수를 필터링한 제3 변조 데이터를 학습된 제2 러닝 네트워크에 입력하여 상기 학습된 제2 러닝 네트워크로 하여금 상기 제3 학습 데이터 또는 상기 제3 변조 데이터를 러닝 연산하여 제3 특징 정보를 생성하도록 하고, 상기 제3 특징 정보 또는 상기 제3 특징 정보를 이용하여 생성한 제3 태스크 특정 출력을 이용하여 상기 학습된 제2 러닝 네트워크의 성능을 평가하는 단계; 를 더 포함할 수 있다.
상기 (a) 단계에서, 상기 테스트 장치는, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 학습된 엔코딩 네트워크를 통해 상기 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 하이 패스 필터를 통해 상기 엔코디드 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 제2 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 (a) 단계에서, 상기 테스트 장치는, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 제2 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 제2 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 (a) 단계에서, 상기 테스트 장치는, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 학습된 엔코딩 네트워크를 통해 상기 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 밴드 리젝 필터를 통해 상기 엔코디드 데이터에서 기설정된 주파수 영역을 제거하도록 하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 (a) 단계에서, 상기 테스트 장치는, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 밴드 리젝 필터를 통해 상기 제2 학습 데이터에서 기설정된 주파수 영역을 제거하여 주파수 변조 데이터를 생성하도록 하며, 학습된 엔코딩 네트워크를 통해 상기 주파수 변조 데이터를 엔코딩하도록 하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
본 발명의 또 다른 실시예에 따르면, 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 학습 장치에 있어서, 개인 정보를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 개인 정보를 위하여 원본 데이터를 변조하는 상기 변조 네트워크를 학습하기 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (I) 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 데이터의 주파수를 필터링하여 변조 데이터를 생성하도록 하는 프로세스, 및 (II) 상기 변조 데이터를 특정 태스크를 수행하도록 설계된 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 특징 정보를 생성하도록 하고, 상기 특징 정보와 상기 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 상기 특징 정보를 이용하여 생성한 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 태스크 로스를 생성하며, 상기 태스크 로스를 이용한 백프로파게이션을 통해 상기 러닝 네트워크 및 상기 변조 네트워크 중 적어도 하나를 학습시키는 프로세스를 수행하는 학습 장치가 제공된다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 엔코딩 네트워크를 통해 상기 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 하이 패스 필터를 통해 상기 엔코디드 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (II) 프로세스에서, (i) 상기 변조 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 제1 백프로파게이션을 통해 상기 러닝 네트워크를 학습하여 상기 러닝 네트워크가 학습된 러닝 네트워크가 되도록 하고, (ii) 상기 변조 데이터를 상기 학습된 러닝 네트워크에 입력하여 상기 학습된 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제2 특징 정보를 생성하도록 하며, 상기 제2 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하고, 상기 제2 태스크 로스를 이용한 제2 백프로파게이션을 통해 상기 엔코딩 네트워크를 학습시킬 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 엔코딩 네트워크를 통해 상기 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 밴드 리젝 필터를 통해 상기 엔코디드 데이터에서 기설정된 주파수 영역을 제거하도록 하여 상기 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 학습 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 밴드 리젝 필터를 통해 상기 학습 데이터에서 기설정된 주파수 영역을 제거하여 주파수 변조 데이터를 생성하도록 하며, 엔코딩 네트워크를 통해 상기 주파수 변조 데이터를 엔코딩하도록 하여 상기 변조 데이터를 생성하도록 할 수 있다.
본 발명의 또 다른 실시예에 따르면, 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 테스트 장치에 있어서, 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 개인 정보 보호를 위하여 원본 데이터를 변조하는 상기 변조 네트워크를 테스트하기 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (I) 학습 장치에 의해, (i) 제1 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 제1 학습 데이터의 주파수를 필터링하여 제1 변조 데이터를 생성하도록 하는 프로세스, 및 (ii) 상기 제1 변조 데이터를 제1 태스크를 수행하도록 설계된 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 상기 제1 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 제1 학습 데이터에 대응되는 제1 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 제1 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 백프로파게이션을 통해 상기 제1 러닝 네트워크 및 상기 변조 네트워크 중 적어도 하나를 학습시키는 프로세스를 통해 상기 변조 네트워크를 학습시킨 상태에서, 제2 학습 데이터를 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금 상기 제2 학습 데이터의 주파수를 필터링하여 제2 변조 데이터를 생성하도록 하는 프로세스, 및 (II) 상기 제2 변조 데이터를 제2 태스크를 수행하도록 설계된 제2 러닝 네트워크에 입력하여 상기 제2 러닝 네트워크로 하여금 상기 제2 변조 데이터를 러닝 연산하여 제2 특징 정보를 생성하도록 하고, 상기 제2 특징 정보와 상기 제2 학습 데이터에 대응되는 제2 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 제2 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하며, 상기 제2 태스크 로스를 이용한 백프로파게이션을 통해 상기 제2 러닝 네트워크를 학습시키는 프로세스를 수행하는 테스트 장치가 제공된다.
상기 프로세서는, (III) 제3 학습 데이터, 또는 상기 학습된 변조 네트워크를 통해 상기 제3 학습 데이터의 주파수를 필터링한 제3 변조 데이터를 학습된 제2 러닝 네트워크에 입력하여 상기 학습된 제2 러닝 네트워크로 하여금 상기 제3 학습 데이터 또는 상기 제3 변조 데이터를 러닝 연산하여 제3 특징 정보를 생성하도록 하고, 상기 제3 특징 정보 또는 상기 제3 특징 정보를 이용하여 생성한 제3 태스크 특정 출력을 이용하여 상기 학습된 제2 러닝 네트워크의 성능을 평가하는 프로세스를 더 수행할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 학습된 엔코딩 네트워크를 통해 상기 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 하이 패스 필터를 통해 상기 엔코디드 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 제2 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 제2 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 제2 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 학습된 엔코딩 네트워크를 통해 상기 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 밴드 리젝 필터를 통해 상기 엔코디드 데이터에서 기설정된 주파수 영역을 제거하도록 하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
상기 프로세서는, 상기 (I) 프로세스에서, 상기 제2 학습 데이터를 상기 학습된 변조 네트워크에 입력하여 상기 학습된 변조 네트워크로 하여금, 밴드 리젝 필터를 통해 상기 제2 학습 데이터에서 기설정된 주파수 영역을 제거하여 주파수 변조 데이터를 생성하도록 하며, 학습된 엔코딩 네트워크를 통해 상기 주파수 변조 데이터를 엔코딩하도록 하여 상기 제2 변조 데이터를 생성하도록 할 수 있다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 데이터 내에서 개인 식별 정보를 비교적 간편하면서도 정확하게 변조할 수 있게 된다.
또한, 본 발명에 의하면, 원본 데이터로부터 비가역적으로 변조(obfuscation)하여 변조 데이터를 생성함으로써, 데이터의 보안 및 프라이버시를 지킬 수 있게 된다.
또한, 본 발명에 의하면, 인간에게는 전혀 다르게 보이는 데이터이지만, 컴퓨터에게는 서로 동일하거나 유사하게 보이는 데이터를 생성할 수 있게 된다.
또한, 본 발명에 의하면, 빅데이터 거래 시장을 보다 활성화시킬 수 있게 된다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 원본 데이터를 변조하는 변조 네트워크를 학습하는 학습 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법을 개략적으로 도시한 것이고,
도 3 내지 도 5는 본 발명의 일 실시예에 따라 원본 데이터를 변조하는 변조 네트워크의 다른 실시예들을 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 학습된 변조 네트워크를 테스트하는 테스트 장치를 개략적으로 도시한 것이고,
도 7은 본 발명의 일 실시예에 따라 학습된 변조 네트워크를 테스트하는 방법을 개략적으로 도시한 것이고,
도 8은 본 발명의 일 실시예에 따라 학습된 변조 네트워크의 테스트에 의해 생성된 변조 데이터를 이용하여 사용자 러닝 네트워크를 학습시키는 방법을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 원본 데이터를 변조하는 변조 네트워크를 학습하는 학습 장치를 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 학습 장치(1000)는 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습시키기 위한 인스트럭션들이 저장된 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습시키는 동작을 수행하는 프로세서(1002)를 포함할 수 있다.
구체적으로, 학습 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 가능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
한편, 학습 장치(1000)의 프로세서(1002)는 학습 데이터가 획득되면 메모리(1001)에 저장된 인스트럭션들에 따라, 학습 데이터를 변조 네트워크에 입력하여 변조 네트워크로 하여금 학습 데이터의 주파수를 필터링하여 변조 데이터를 생성하도록 하며, 변조 데이터를 특정 태스크를 수행하도록 설계된 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 변조 데이터를 러닝 연산하여 특징 정보를 생성하도록 하고, 특징 정보와 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 특징 정보를 이용하여 생성한 태스크 특정 출력과 그라운드 트루스를 참조하여 태스크 로스를 생성하며, 태스크 로스를 이용한 백프로파게이션을 통해 러닝 네트워크 및 변조 네트워크 중 적어도 하나를 학습시킬 수 있다. 이때, 학습 장치(1000)의 프로세서(1002)는 러닝 네트워크와 변조 네트워크를 순차적으로 학습시킬 수 있다.
일 예로, 학습 장치(1000)의 프로세서(1002)는, 변조 데이터를 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 제1 특징 정보와 그라운드 트루스를 참조하거나, 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 제1 태스크 로스를 이용한 제1 백프로파게이션을 통해 러닝 네트워크를 학습하여 러닝 네트워크가 학습된 러닝 네트워크가 되도록 할 수 있다. 그리고, 학습 장치(1000)의 프로세서(1002)는, 변조 데이터를 학습된 러닝 네트워크에 입력하여 학습된 러닝 네트워크로 하여금 변조 데이터를 러닝 연산하여 제2 특징 정보를 생성하도록 하며, 제2 특징 정보와 그라운드 트루스를 참조하거나, 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하고, 제2 태스크 로스를 이용한 제2 백프로파게이션을 통해 변조 네트워크를 학습시킬 수 있다.
이를 통해, 학습 장치(1000)의 프로세서(1002)는 러닝 네트워크에서 학습 데이터의 결과와 동일하거나 유사한 결과가 출력되도록 학습 데이터를 변조 데이터로 변조하도록 변조 네트워크를 학습시킬 수 있다. 또한, 학습 장치(1000)의 프로세서(1002)는 변조 데이터를 이용하여 특정 태스크를 수행하도록 러닝 네트워크를 학습시킬 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 학습 장치(100)를 이용하여 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습시키는 방법을 도 2를 참조하여 설명하면 다음과 같다.
먼저, 학습 데이터(10)가 획득되면, 학습 장치(1000)는, 학습 데이터(10)를 변조 네트워크(1100)에 입력하여 변조 네트워크(1100)로 하여금 학습 데이터(10)의 주파수를 필터링하여 변조 데이터(40)를 생성하도록 할 수 있다.
일 예로, 변조 네트워크(1100)는 학습 데이터(10)를 엔코딩 네트워크(1110)에 입력하여 엔코딩 네트워크(1110)로 하여금 학습 데이터(10)를 엔코딩하여 엔코디드(encoded) 데이터를 생성하도록 할 수 있다.
이때, 엔코딩 네트워크(1110)는 학습 데이터(10)를 엔코딩하여 학습 데이터(10) 인식을 위한 임베딩(embeddings), 즉, 학습 데이터(10) 인식을 위한 측정값인 피처값들로 변환한 피처 데이터인 엔코디드 데이터를 생성할 수 있다. 그리고, 엔코딩 네트워크(1110)는 CNN(convolutional neural network)로 구성될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
또한, 변조 네트워크(1100)는 엔코디드 데이터를 하이 패스 필터(1120)로 입력하여 하이 패스 필터(1120)로 하여금 엔코디드 데이터에서 고주파 영역만을 통과시킨 고주파 데이터(20)를 생성하도록 할 수 있다.
이때, 고주파 영역은 학습 데이터(10) 또는 엔코디드 데이터 내에서 데이터 값이 많이 변화되는 영역일 수 있다. 일 예로, 학습 데이터(10)가 이미지일 경우, 고주파 영역은 밝기가 빨리 변화되는 영역으로 주로 이미지 내에서의 경계 부분이나 오브젝트의 모서리 부분일 수 있다.
또한, 변조 네트워크(1100)는 학습 데이터(10)를 로우 패스 필터(1130)로 입력하여 로우 패스 필터(1130)로 하여금 학습 데이터(10)에서 저주파 영역만을 통과시킨 저주파 데이터(30)를 생성하도록 할 수 있다.
이때, 저주파 영역은 학습 데이터(10) 내에서 데이터 값이 거의 변화지 않는 영역일 수 있다. 일 예로, 학습 데이터(10)가 이미지일 경우, 저주파 영역은 밝기가 거의 변화지 않는 영역으로 주로 이미지 내에서의 배경 부분이나 오브젝트의 내부 영역일 수 있다.
이후, 변조 네트워크(1100)는 고주파 데이터(20)와 저주파 데이터(30)를 컨캐이터네이터(concatenate)하여 변조 데이터(40)를 생성할 수 있다.
다음으로, 학습 장치(1000)는 변조 데이터(40)를 특정 태스크를 수행하도록 설계된 러닝 네트워크(1500)에 입력하여 러닝 네트워크(1500)로 하여금 특정 태스크를 수행하기 위하여 변조 데이터(40)를 러닝 연산하여 변조 데이터(40)에 대응하는 특징(characteristic) 정보를 생성하도록 하거나, 특징 정보를 이용하여 생성한 태스크 특정 출력(task specific output)을 생성하도록 할 수 있다.
이때, 러닝 네트워크(F)는 머신 러닝 네트워크를 포함할 수 있으나, 이에 한정되지 않으며, 변조 데이터(40)를 러닝 연산하여 특징 정보 또는 태스크 특정 정보를 출력하도록 하는 모든 러닝 네트워크를 포함할 수 있다. 그리고, 머신 러닝 네트워크는 K-최근접 이웃(k-Nearest Neighbors), 선형 회귀(Linear Regression), 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM, Support Vector Machine), 결정 트리(Decision Tree)와 랜덤 포레스트(Random Forest), 신경망(Neural Network), 군집(Clustering), 시각화(Visualization)와 차원 축소(Dimensionality Reduction), 연관 규칙 학습(Association Rule Learning), 심층 신뢰 신경망(Deep Belief Network), 강화 학습(Reinforcement Learning), 및 Deep learning 알고리즘 중 적어도 하나를 포함할 수 있으나, 머신 러닝 네트워크는 이에 한정되지 않으며 다양한 러닝 알고리즘을 포함할 수 있다. 또한, 변조 처리를 위한 대상은 학습 데이터(10), 즉, 원본 데이터에 포함된 개인 정보일 수 있으며, 개인 정보는 개인 식별 정보, 개인의 의료 정보, 생체 정보, 행동 정보 등 개인과 관련한 모든 정보를 포함할 수 있다.
그리고, 특징 정보는 변조 데이터(40)에 대한 피처(feature) 또는 로짓(logits) 일 수 있다. 또한, 특징 정보는 변조 데이터(40) 내 소정 특징과 연관된 피처 값, 또는 소정 특징과 관련한 벡터(vector), 행렬(matrix) 및 좌표(coordinate) 중 적어도 하나에 관한 값을 포함하는 로짓일 수 있다. 예를 들어, 학습 데이터(10)가 얼굴 이미지 데이터인 경우에, 위의 결과는 얼굴 인식을 위한 클래스, 얼굴 특징, 일 예로, 웃음에 대한 상태, 얼굴 특징점(landmark point, 예를 들어, 눈의 양 끝점)에 관한 좌표일 수 있다.
또한, 태스크 특정 출력은 러닝 네트워크(1500)가 수행하고자 하는 태스크에 대한 출력으로, 클래스 분류를 위한 클래스에 대한 probability, 위치 검출을 위한 리그레이션에 대한 좌표값 등 러닝 네트워크(1500)의 태스크에 따른 다양한 결과값을 가질 수 있으며, 러닝 네트워크(1500)에서 출력되는 특징 정보를 액티베이션 유닛(activation unit)의 액티베이션 함수를 이용하여 연산하여 러닝 네트워크(1500)에서 수행하고자 하는 태스크에 대응하여 태스크 특정 출력을 생성할 수 있다. 이때, 액티베이션 함수로는 sigmoid, linear, softmax, rlinear, square, sqrt, srlinear, abs, tanh, brlinear 등이 사용될 수 있으나, 본원발명이 이에 한정되지는 않는다.
일 예로, 러닝 네트워크(1500)가 클래스 분류를 위한 태스크를 수행하는 경우, 학습 장치(1000)는 러닝 네트워크(1500)에서 출력되는 특징 정보를 클래스별로 맵핑하여 변조 데이터(40)에 대한 클래스별 probability를 생성할 수 있다. 이때, 클래스별 probability는 설정된 클래스별로 러닝 네트워크(1500)에서 출력되는 특징 정보가 정답일 확률을 나타낼 수 있다. 예를 들어, 학습 데이터가 얼굴 이미지 데이터인 경우에, 얼굴이 웃는 상태일 probability는 0.75, 웃지 않는 상태일 probability는 0.25 등과 같이 출력될 수 있다. 이때, 러닝 네트워크(1500)에서 출력되는 특징 정보를 클래스별로 매핑하는 데 softmax를 사용할 수 있으나, 이에 한정되지 않으며, 특징 정보를 클래스별로 매핑하는 다양한 알고리즘이 이용될 수 있다.
다음으로, 학습 장치(1000)는 러닝 네트워크(1500)에서 출력된 특징 정보와 학습 데이터에 대응되는 그라운드 트루스(ground truth)를 참조하거나, 특징 정보를 이용하여 생성한 태스크 특정 출력과 그라운드 트루스를 참조하여 태스크 로스를 생성하며, 태스크 로스를 이용한 백프로파게이션(backpropagation)을 통해 러닝 네트워크(1500) 및 변조 네트워크(1100) 중 적어도 하나를 학습시킬 수 있다.
이때, 학습 장치(1000)는 변조 네트워크(1100)가 엔코딩 네트워크(1110), 하이 패스 필터(1120), 및 로우 패스 필터(1130)으로 구성될 경우, 러닝 네트워크(1500)와 엔코딩 네트워크(1110)를 순차적으로 학습시킬 수 있다.
일 예로, 학습 장치(1000)는 변조 데이터(40)를 러닝 네트워크(1500)에 입력하여 러닝 네트워크(1500)로 하여금 변조 데이터(40)를 러닝 연산하여 제1 특징 정보 또는 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력을 생성하도록 하며, 제1 특징 정보와 그라운드 트루스를 참조하거나, 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하고, 제1 태스크 로스를 이용한 백프로파게이션을 통해 러닝 네트워크(1500)를 학습하여 러닝 네트워크(1500)가 학습된 러닝 네트워크가 되도록 할 수 있다.
그리고, 학습 장치(1000)는 변조 데이터(40)를 학습된 러닝 네트워크에 입력하여 학습된 러닝 네트워크로 하여금 변조 데이터(40)를 러닝 연산하여 제2 특징 정보 또는 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력을 생성하도록 하며, 제2 특징 정보와 그라운드 트루스를 참조하거나, 제2 특징 정보를 이용한 생성한 제2 태스크 특정 출력과 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하고, 제2 태스크 로스를 이용한 백프로파게이션을 통해 엔코딩 네트워크(1110)를 학습시킬 수 있다.
한편, 상기에서는 특정 태스크를 수행하도록 설계된 하나의 러닝 네트워크를 이용하여 변조 네트워크를 학습하는 방법에 대하여 설명하였으나, 이와는 달리, 서로 다른 태스크를 수행하는 복수의 러닝 네트워크를 이용하여 변조 네트워크를 학습시킬 수도 있다.
이를 통해, 변조 네트워크는 입력되는 데이터를 변조하여 사람은 변조 데이터로부터 입력 데이터를 인식할 수 없으나, 러닝 네트워크는 변조 데이터로부터 입력 데이터를 인식할 수 있도록 할 수 있다. 그리고, 러닝 네트워크는 학습 데이터를 변조한 변조 데이터를 학습 이미지와 동일하거나 유사하게 인식할 수 있게 된다.
한편, 도 2에서는 엔코딩 네트워크(1110), 하이 패스 필터(1120), 및 로우 패스 필터(1130)을 이용하여 변조 네트워크(1100)를 구성하였으나, 이와는 달리, 변조 네트워크(1100)를 다양한 방법으로 구성할 수 있다.
즉, 도 3과 도4를 참조하면, 도 2에서 하이 패스 필터와 로우 패스 필터를 사용한 것과는 달리, 밴드 리젝트 필터(1150)를 이용하여 변조 이미지를 생성하도록 할 수 있다. 이때, 밴드 리젝트 필터(1150)는 입력되는 데이터에서의 특정 주파수 밴드 영역만을 제거하여 출력하여 줄 수 있다. 이때, 특정 주파수 밴드 영역은 단일 밴드 영역뿐만 아니라 복수의 밴드 영역일 수도 있다.
일 예로, 도 3을 참조하면, 변조 네트워크(1100)은 학습 데이터(10)를 엔코딩 네트워크(1110)에 입력하여 엔코딩 네트워크(1110)로 하여금 학습 데이터(10)를 엔코딩하여 엔코디드(encoded) 데이터를 생성하도록 할 수 있다. 그리고, 변조 네트워크(1100)는 엔코디드 데이터를 밴드 리젝트 필터(1150)로 입력하여 밴드 리젝트 필터(1150)로 하여금 엔코디드 데이터에서 기설정된 주파수 영역, 즉, 특정 밴드의 주파수 영역만을 제거하도록 하여 변조 데이터(40)를 출력하도록 할 수 있다.
다른 실시예로, 도 4를 참조하면, 변조 네트워크(1100)는 학습 데이터(10)를 밴드 리젝트 필터(1150)로 입력하여 밴드 리젝트 필터(1150)로 하여금 학습 데이터(10)에서의 기설정된 주파수 영역, 즉, 특정 밴드의 주파수 영역만을 제거하여 주파수 변조 데이터를 생성하도록 할 수 있다. 그리고, 변조 네트워크(1100)는 주파수 변조 데이터를 엔코딩 네트워크(1110)에 입력하여 엔코딩 네트워크(1110)로 하여금 주파수 변조 데이터를 엔코딩하여 변조 데이터(40)를 출력하도록 할 수 있다.
한편, 도 2 내지 도 4에서는 변조 네트워크(1100)를 엔코딩 네트워크를 포함하도록 구성하였으나, 이와는 달리, 하이 패스 필터와 로우 패스 필터만으로 변조 네트워크(1100)를 구성할 수도 있다.
일 예로, 도 5를 참조하면, 변조 네트워크(1100)는 학습 데이터(10)를 하이 패스 필터(1120)로 입력하여 하이 패스 필터(1120)로 하여금 학습 데이터(10)에서의 고주파 영역만을 출력하도록 하여 고주파 데이터(20)를 생성하도록 할 수 있다.
또한, 변조 네트워크(1100)는 학습 데이터(10)를 로우 패스 필터(1130)로 입력하여 로우 패스 필터(1130)로 하여금 학습 데이터(10)에서의 저주파 영역만을 출력하도록 하여 저주파 데이터(30)를 생성하도록 할 수 있다.
이후, 변조 네트워크(1100)는 고주파 데이터(20)와 저주파 데이터(30)를 컨캐이터네이터(concatenate)하여 변조 데이터(40)를 생성할 수 있다.
상기 도 2 및 도 5에서의 하이 패스 필터(1120)와 로우 패스 필터(1130)는 설정된 고주파 값과 저주파 값에 따라 단일 밴드 영역을 리젝트하도록 하거나, 멀티 밴드 영역을 리젝트할 수도 있다.
또한, 상기 도 2 내지 도 5에서의 각각 필터에서의 주파수 필터링을 위한 임계값은 다양한 방식으로 설정될 수 있으며, 입력 데이터에서 개인 정보 등이 삭제될 수 있는 주파수 범위를 설정할 수 있다.
일 예로, 개인 정보 등을 삭제할 수 있는 주파수 범위를 미리 확인하여 고정된 임계값을 사용하여, 단일 밴드, 멀티 밴드, 주파수의 arbitrary set 등을 통해 입력 데이터에서의 개인 정보 등이 삭제되도록 할 수 있다.
또한, 상황에 따라 임계값을 변경하여 주는 동적 임계값을 이용하여 입력 데이터에서의 개인 정보 등이 삭제되도록 할 수 있다. 예를 들면, 데이터, 즉, 이미지의 크기와 임계값 선형 관계를 이용하여 이미지의 크기에 따라 임계값을 변경하여 주거나, 데이터의 내용에 따라 임계값을 변경하여 줄 수 있다.
이에 더하여, 임계값을 학습을 통해 업데이트되도록 할 수 있다. 예를 들면, 변조가 잘된 데이터를 타겟으로 임계값 파라미터를 학습하도록 할 수 있다. 여기서 변조가 잘된 데이터는 변조 네트워크로부터 학습된 임계값 파라미터에 의해 획득된 임계값을 사용하여 주파수 필터링하여 생성된 변조 데이터일 수 있다. 예를 들면, 60 Hz 내지 80 Hz의 주파수 밴드를 통해 변조된 데이터가 변조가 잘 되지 않았을 경우에는 임계값 파라미터는 60 Hz 내지 80 Hz 주파수 밴드를 사용하지 않도록 학습됩니다. 반면에, 30 Hz 내지 40 Hz 주파수 밴드를 통해 변조된 데이터가 변조가 잘되었으면 임계값 파라미터는 30 Hz 내지 40 Hz 주파수 밴드를 사용하도록 학습되어 변조 데이터를 생성할 수 있도록 합니다. 변조가 잘된 데이터는 학습된 임계값 파라미터를 GT로 이용할 수 있습니다.
다음으로, 도 6은 본 발명의 일 실시예에 따라 학습된 변조 네트워크를 테스트하는 테스트 장치를 개략적으로 도시한 것이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 테스트 장치(2000)는 러닝 네트워크에서 원본 데이터의 결과와 동일하거나 유사한 결과가 출력되도록 원본데이터를 변조 데이터로 변조하도록 학습된 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리(2001)와 메모리(2001)에 저장된 인스트럭션들에 따라 개인 정보를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 동작을 수행하는 프로세서(2002)를 포함할 수 있다.
구체적으로, 테스트 장치(2000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 테스트 장치(2000)를 이용하여 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 방법을 도 7을 참조하여 설명하면 다음과 같다.
도 7을 참조하면, 테스트 장치(2000)가, 러닝 네트워크에서 원본 데이터의 결과와 동일하거나 유사한 결과가 출력되도록 원본 데이터를 변조 데이터로 변조하도록 학습된 변조 네트워크(1100)에 학습 데이터(11)를 입력하여 변조 네트워크(1100)로 하여금 학습 데이터(11)를 변조하여 변조 데이터(21)를 출력하도록 할 수 있다.
이때, 변조 네트워크(1100)는 학습 데이터를 이용하여 학습된 상태일 수 있다.
즉, 도 2 내지 도 5에서 설명한 바와 같이, 학습 장치에 의해, 제1 학습 데이터를 변조 네트워크에 입력하여 변조 네트워크로 하여금 제1 학습 데이터의 주파수를 필터링하여 제1 변조 데이터를 생성하도록 하는 프로세서와, 제1 변조 데이터를 제1 태스크를 수행하도록 설계된 제1 러닝 네트워크에 입력하여 제1 러닝 네트워크로 하여금 제1 변조 네트워크를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 제1 특징 정보와 제1 학습 데이터에 대응되는 제1 그라운드 트루스를 참조하거나, 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 제1 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 제1 태스크 로스를 이용한 백프로파게이션을 통해 제1 러닝 네트워크 및 변조 네트워크 중 적어도 하나를 학습시키는 프로세스를 통해 변조 네트워크가 학습된 상태일 수 있다.
이와 같이, 변조 네트워크가 학습되어 학습된 변조 네트워크(1100)가 된 상태에서, 테스트 장치(2000)가 제2 학습 데이터를 학습된 변조 네트워크(1100)에 입력하여 학습된 변조 네트워크로 하여금 제2 학습 데이터의 주파수를 필터링하여 제2 변조 데이터를 생성하도록 할 수 있다. 이때, 제2 학습 데이터는 제1 학습 데이터와 동일하거나, 제1 학습 데이터를 샘플링한 데이터베이스로부터 새롭게 샘플링한 학습 데이터일 수 있다.
이때, 테스트 장치(2000)는 학습 데이터, 즉, 제2 학습 데이터(11)를 학습된 변조 네트워크(1100)에 입력하여 학습된 변조 네트워크(1100)로 하여금, 학습된 엔코딩 네트워크를 통해 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 하이 패스 필터를 통해 엔코디드 데이터에서 고주파 영역만을 통화시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 제2 학습 데이터(11)에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 고주파 데이터와 저주파 데이터를 컨캐이터네이트하여 제2 변조 데이터를 생성하도록 할 수 있다.
또한, 테스트 장치(2000)는 제2 학습 데이터를 학습된 변조 네트워크(1100)에 입력하여 학습된 변조 네트워크(1100)로 하여금, 하이 패스 필터를 통해 제2 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 제2 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 고주파 데이터와 저주파 데이터를 컨캐이터네이트하여 제2 변조 데이터를 생성하도록 할 수 있다.
또한, 테스트 장치(2000)는 제2 학습 데이터를 학습된 변조 네트워크(1100)에 입력하여 학습된 변조 네트워크(1100)로 하여금, 학습된 엔코딩 네트워크를 통해 제2 학습 데이터를 엔코딩하여 엔코디드 데이터를 생성하도록 하고, 밴드 리젝 필터를 통해 엔코디드 데이터에서 기설정된 주파수 영역을 제거하도록 하여 제2 변조 데이터를 생성하도록 할 수 있다.
이에 더하여, 테스트 장치(200)는 제2 학습 데이터를 학습된 변조 네트워크(1100)에 입력하여 학습된 변조 네트워크(1100)로 하여금, 밴드 리젝 필터를 통해 제2 학습 데이터에서 기설정된 주파수 영역을 제거하여 주파수 변조 데이터를 생성하도록 하며, 학습된 엔코딩 네트워크를 통해 주파수 변조 데이터를 엔코딩하도록 하여 제2 변조 데이터를 생성하도록 할 수 있다.
다음으로, 도 8을 참조하면, 테스트 장치(2000)가 제2 변조 데이터를 제2 태스크를 수행하도록 설계된 사용자 러닝 네트워크, 즉, 제2 러닝 네트워크(2100)에 입력하여 제2 러닝 네트워크(2100)로 하여금 제2 변조 네트워크를 러닝 연산하여 제2 특징 정보를 생성하도록 할 수 있다.
이후, 테스트 장치(2000)가 제2 특징 정보와 제2 학습 데이터에 대응되는 제2 그라운드 트루스를 참조하거나, 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 제2 그라운드 트루스를 참조하여 태스크 로스, 즉, 제2 태스크 로스를 생성하며, 제2 태스크 로스를 이용한 백프로파게이션을 통해 제2 러닝 네트워크(2100)를 학습시킬 수 있다. 이를 통해, 사용자 러닝 네트워크는 변조 데이터를 이용하여 제2 태스크를 수행할 수 있게 된다.
또한, 테스트 장치는 제3 학습 데이터, 또는 학습된 변조 네트워크를 통해 제3 학습 데이터의 주파수를 필터링한 제3 변조 데이터를 이용하여 학습된 사용자 러닝 네트워크, 즉 학습된 제2 러닝 네트워크의 성능을 평가할 수 있다. 이때, 제3 학습 데이터 및 제3 변조 데이터는 제1 학습 데이터 및 제1 변조 데이터와 동일할 수 있다. 이와는 달리, 제3 학습 데이터는 제2 학습 데이터를 샘플링한 데이터베이스로부터 새롭게 샘플링한 학습 데이터이며, 제3 변조 데이터는 학습된 변조 네트워크를 통해 제3 학습 데이터를 변조하여 생성된 변조 데이터일 수 있다.
일 예로, 테스트 장치는, 제3 학습 데이터, 또는 학습된 변조 네트워크를 통해 제3 학습 데이터의 주파수를 필터링한 제3 변조 데이터를 학습된 제2 러닝 네트워크에 입력하여 학습된 제2 러닝 네트워크로 하여금 제3 학습 데이터 또는 제3 변조 데이터를 러닝 연산하여 제3 특징 정보를 생성하도록 하고, 제3 특징 정보 또는 제3 특징 정보를 이용하여 생성한 제3 태스크 특정 출력을 이용하여 학습된 제2 러닝 네트워크의 성능을 평가할 수 있다. 즉, 제3 특징 정보와 제3 학습 데이터에 대응되는 제3 그라운드 트루스를 참조하거나, 제3 특징 정보를 이용하여 생성한 제3 태스크 특정 출력과 제3 그라운드 트루스를 참조하여 제2 러닝 네트워크의 정확도(accuracy)를 측정하여 제2 러닝 네트워크의 성능을 평가할 수 있다.
한편, 본 발명의 실시예에 따라 학습된 변조 네트워크에서 변조 처리된 변조 데이터는 이미지 빅데이터 구매를 원하는 구매자에게 제공(또는 판매)될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 위의 구매자에게 변조 처리된 변조 데이터가 제공(또는 판매)되면서, 학습된 변조 네트워크를 테스트하는 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록되어 제공될 수 있다. 본 발명의 일 실시예에 따르면, 구매자는 기록 매체에 기록된 프로그램 명령어를 컴퓨팅 장치를 이용하여 실행함으로써, 자신이 별도로 보유하거나 다른 출처 또는 경로로부터 획득된 원본 데이터로부터 변조 데이터를 생성할 수 있으며, 변조 데이터를 자신의 러닝 네트워크에서 이용할 수 있게 된다. 또한, 구매자는 변조 데이터, 자신이 보유하거나 다른 출처 또는 경로로부터 획득된 원본 이미지 데이터, 및 위의 제공(또는 판매)받은 변조 데이터 중 적어도 둘 이상을 자신의 러닝 네트워크에서 함께 사용할 수도 있게 된다.
한편, 본 발명의 일 실시예에 따르면, 학습된 변조 네트워크를 테스트하는 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현한 경우, 정확도가 높게 설정되어 구매자의 컴퓨팅 장치에서는 컴퓨팅 오버 헤드(computational overhead)를 발생시킬 수 있으므로, 구매자가 설정을 통해 정확도를 감소시킬 수 있도록 하여 컴퓨팅 오버 헤드를 방지할 수 있도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 학습 장치,
1001: 메모리,
1002: 프로세서,
2000: 테스트 장치,
2001: 메모리,
2002: 프로세서

Claims (6)

  1. 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 방법에 있어서,
    (a) 테스트 장치가, 적어도 하나의 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 변조 데이터를 생성하도록 하는 단계; 및
    (b) 상기 테스트 장치가, 상기 변조 데이터를 제1 태스크를 수행하도록 설계된 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 백프로파게이션을 통해 상기 제1 러닝 네트워크를 학습시키는 프로세스 및 상기 변조 데이터를 학습 장치로 전송하여 상기 학습 장치로 하여금, 상기 변조 데이터를 제2 태스크를 수행하도록 설계된 제2 러닝 네트워크에 입력하여 상기 제2 러닝 네트워크를 통해 상기 변조 데이터를 러닝 연산한 제2 특징 정보를 생성하도록 하고, 상기 제2 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하도록 하며, 상기 제2 태스크 로스를 이용한 백프로파게이션을 통해 상기 제2 러닝 네트워크를 학습시키도록 하는 프로세스 중 적어도 하나의 프로세스를 수행하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    (c) 상기 테스트 장치가, 상기 제1 태스크 로스 및 상기 학습 장치로부터 수신한 상기 제2 태스크 로스 중 적어도 하나를 이용한 백프로파게이션을 통해 상기 변조 네트워크를 학습하는 단계;
    를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 테스트 장치는, 상기 하이 패스 필터 및 상기 로우 패스 필터 각각의 임계값 파라미터를 학습하는 방법.
  4. 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하는 테스트 장치에 있어서,
    개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 개인 정보 보호를 위하여 원본 데이터를 변조하는 상기 변조 네트워크를 테스트하기 위한 동작을 수행하는 프로세서;
    를 포함하며,
    상기 프로세서는, (I) 적어도 하나의 학습 데이터를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금, 하이 패스 필터를 통해 상기 학습 데이터에서 고주파 영역만을 통과시킨 고주파 데이터를 생성하도록 하며, 로우 패스 필터를 통해 상기 학습 데이터에서 저주파 영역만을 통과시킨 저주파 데이터를 생성하도록 하고, 상기 고주파 데이터와 상기 저주파 데이터를 컨캐이터네이트하여 변조 데이터를 생성하도록 하는 프로세스, 및 (II) 상기 변조 데이터를 제1 태스크를 수행하도록 설계된 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 상기 변조 데이터를 러닝 연산하여 제1 특징 정보를 생성하도록 하고, 상기 제1 특징 정보와 상기 학습 데이터에 대응되는 그라운드 트루스를 참조하거나, 상기 제1 특징 정보를 이용하여 생성한 제1 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제1 태스크 로스를 생성하며, 상기 제1 태스크 로스를 이용한 백프로파게이션을 통해 상기 제1 러닝 네트워크를 학습시키는 프로세스 및 상기 변조 데이터를 학습 장치로 전송하여 상기 학습 장치로 하여금, 상기 변조 데이터를 제2 태스크를 수행하도록 설계된 제2 러닝 네트워크에 입력하여 상기 제2 러닝 네트워크를 통해 상기 변조 데이터를 러닝 연산한 제2 특징 정보를 생성하도록 하고, 상기 제2 특징 정보와 상기 그라운드 트루스를 참조하거나, 상기 제2 특징 정보를 이용하여 생성한 제2 태스크 특정 출력과 상기 그라운드 트루스를 참조하여 제2 태스크 로스를 생성하도록 하며, 상기 제2 태스크 로스를 이용한 백프로파게이션을 통해 상기 제2 러닝 네트워크를 학습시키도록 하는 프로세스 중 적어도 하나의 프로세스를 수행하는 테스트 장치.
  5. 제4항에 있어서,
    상기 프로세서는, (III) 상기 제1 태스크 로스 및 상기 학습 장치로부터 수신한 상기 제2 태스크 로스 중 적어도 하나를 이용한 백프로파게이션을 통해 상기 변조 네트워크를 학습하는 프로세스를 더 수행하는 테스트 장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 하이 패스 필터 및 상기 로우 패스 필터 각각의 임계값 파라미터를 학습하는 테스트 장치.
KR1020230103812A 2021-11-29 2023-08-08 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 KR20230121974A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020210167791 2021-11-29
KR20210167791 2021-11-29
US17/720,553 2022-04-14
US17/720,553 US11669635B1 (en) 2021-11-29 2022-04-14 Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy and testing method and testing device using the same
KR1020220159792A KR102570932B1 (ko) 2021-11-29 2022-11-24 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220159792A Division KR102570932B1 (ko) 2021-11-29 2022-11-24 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Publications (1)

Publication Number Publication Date
KR20230121974A true KR20230121974A (ko) 2023-08-22

Family

ID=86500148

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220159792A KR102570932B1 (ko) 2021-11-29 2022-11-24 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
KR1020230103812A KR20230121974A (ko) 2021-11-29 2023-08-08 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220159792A KR102570932B1 (ko) 2021-11-29 2022-11-24 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Country Status (4)

Country Link
US (1) US11669635B1 (ko)
EP (1) EP4441694A1 (ko)
KR (2) KR102570932B1 (ko)
WO (1) WO2023096444A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886955B2 (en) 2022-02-16 2024-01-30 Protopia AI, Inc. Self-supervised data obfuscation in foundation models

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102035796B1 (ko) * 2018-07-26 2019-10-24 주식회사 딥핑소스 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11301966B2 (en) * 2018-12-10 2022-04-12 Apple Inc. Per-pixel filter
US10621379B1 (en) 2019-10-24 2020-04-14 Deeping Source Inc. Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
US10621378B1 (en) * 2019-10-24 2020-04-14 Deeping Source Inc. Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
US11017319B1 (en) * 2020-06-23 2021-05-25 Deeping Source Inc. Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
US11200342B1 (en) * 2020-10-21 2021-12-14 Deeping Source Inc. Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same
US11200494B1 (en) * 2020-10-21 2021-12-14 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same
KR102486493B1 (ko) 2020-12-29 2023-01-09 성균관대학교산학협력단 학습 이미지 데이터의 프라이버시 보존 위한 dcc 변환 방법 및 장치
US11366930B1 (en) * 2021-08-23 2022-06-21 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
US11308359B1 (en) * 2021-10-27 2022-04-19 Deeping Source Inc. Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same

Also Published As

Publication number Publication date
US11669635B1 (en) 2023-06-06
KR102570932B1 (ko) 2023-08-28
KR20230080331A (ko) 2023-06-07
US20230169205A1 (en) 2023-06-01
EP4441694A1 (en) 2024-10-09
WO2023096444A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
JP7040712B2 (ja) 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置
KR102183335B1 (ko) 프라이버시를 위하여 데이터를 컨실링 처리할 수 있는 변조 네트워크에 대응되는 적응 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
KR102412832B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
US11017319B1 (en) Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same
KR102412829B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
KR102389915B1 (ko) 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
KR102570955B1 (ko) 러닝 네트워크의 학습에 이용하기 위한 익명화 이미지를 생성하는 방법 및 이를 이용한 라벨링 장치
US10924632B2 (en) Apparatus and methods for determining and providing anonymized content within images
KR102395452B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
US11017320B1 (en) Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same
US11308359B1 (en) Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
US11366930B1 (en) Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
KR20230121974A (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
KR102260039B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
KR102244190B1 (ko) 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent