KR102244190B1 - 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 - Google Patents
데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 Download PDFInfo
- Publication number
- KR102244190B1 KR102244190B1 KR1020190099177A KR20190099177A KR102244190B1 KR 102244190 B1 KR102244190 B1 KR 102244190B1 KR 1020190099177 A KR1020190099177 A KR 1020190099177A KR 20190099177 A KR20190099177 A KR 20190099177A KR 102244190 B1 KR102244190 B1 KR 102244190B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- loss
- characteristic information
- original data
- network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 230000008569 process Effects 0.000 claims description 98
- 238000012935 Averaging Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G06T5/004—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Abstract
본 발명은 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 방법에 있어서, 데이터 변조 장치가, (a) 원본 데이터가 획득되면, 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 러닝 네트워크로 하여금 (i) 러닝 네트워크의 학습된 파라미터를 이용해 원본 데이터 또는 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터 또는 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 단계; 및 (b) (i) 특성 정보와 이에 대응되는 제1 GT(Ground Truth)를 참조하여 산출된 제1 로스와 (ii) (ii-1) 특성 정보를 이용하여 생성된 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응하는 제2 GT를 참조하여 산출된 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 변조된 데이터(Obfuscated Data)를 생성하는 단계;를 포함하는 방법이 제공된다.
Description
본 발명은 데이터를 컨실링(Concealing) 처리하는 방법 및 이를 이용한 데이터 변조 장치에 관한 것으로, 보다 상세하게는, 러닝 네트워크(Learning Network)에 입력되는 데이터에 포함되는 식별 정보를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치에 관한 것이다.
빅데이터(Big Data)란, 기존의 기업 환경이나 공공 기관에서 사용되는 정형화된 데이터는 물론, 전자 상거래 데이터, 메타 데이터, 웹 로그 데이터, 무선 식별(RFID: Radio Frequency Identification) 데이터, 센서 네트워크 데이터, 소셜 네트워크 데이터, 인터넷 텍스트와 문서에 관한 데이터, 인터넷 검색 인덱싱 데이터 등 기존에 미처 활용하지 못하던 비정형화 또는 반정형화된 데이터를 모두 포함하는 데이터로서, 이와 같은 데이터는 일반적으로 보통의 소프트웨어 툴 및 컴퓨터 시스템으로는 다루기 어려운 수준의 데이터 양을 갖게 된다는 의미에서 빅데이터라 칭하고 있다.
또한, 이러한 빅데이터는 그 자체만으로는 의미가 없을 수 있으나, 패턴 등에 대한 기계 학습을 통해 다양한 분야에서 새로운 데이터를 만들어내거나 판단 또는 예측을 하는데 유용하게 사용될 수 있다.
근래에 들어, 개인 정보 보호법 강화 등으로 인해 이러한 빅데이터를 거래 또는 공유하기 위해서는 해당 데이터의 개인 식별이 가능한 정보를 삭제하거나 해당 개인의 동의를 받는 것이 요구된다. 하지만, 상당한 양의 빅데이터 중 개인 식별이 가능한 정보가 있는지 여부를 일일이 확인하기도 어려울 뿐만 아니라 개인의 동의를 일일이 받는 것도 불가능하였기 때문에 이를 지원하기 위한 다양한 기술들이 등장하고 있다.
이에 관한 종래 기술의 일 예로서, 한국등록특허공보 제1861520호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 변형 대상 입력 이미지에서 사람의 얼굴 영역을 검출하는 검출 단계, 상기 입력 이미지에서 사람이 식별 되지 않도록 상기 검출된 얼굴 영역을 사람의 얼굴 형상이 아닌 왜곡된 제1 이미지로 변형하는 제1 컨실링화 단계, 및 상기 제1 이미지를 토대로 기설정된 얼굴 형성을 갖는 제2 이미지를 생성하고, 상기 입력 이미지에서 상기 제1 이미지를 상기 제2 이미지로 변형시키되, 상기 제2 이미지는 상기 검출 단계에서 검출된 얼굴 영역의 형상과 상이한 얼굴 형상을 갖도록 생성되는 제2 컨실링화 단계를 포함하는 얼굴-컨실링화 방법이 제공된다.
하지만, 위와 같은 기술을 비롯하여 종래의 기술에 의하면, 데이터 상에 얼굴, 텍스트 등의 식별 정보를 포함하는지 여부를 확인하고, 식별 정보에 해당하는 부분을 마스킹(Masking) 또는 블러(Blur) 처리하여 지우거나 가리는 방식이었기 때문에, 원본 데이터의 손상으로 인해 기계 학습에서 사용되기 어려웠고, 데이터 상에 예측하지 못한 식별 정보가 포함되어 이를 컨실링화(예를 들어 비식별)하지 못하는 경우도 종종 발생하였다. 특히, 종래의 보안 카메라(Security Camera)는 영상 이미지 내에 프레임 간 변화가 있는 모든 픽셀을 블러(Blur) 처리하는 방식으로 비식별 처리를 수행하게 되는데, 이러한 방식으로 비식별 처리를 수행하게 되면, 비식별된 얼굴의 표정 등 주요 정보가 원본 영상 이미지에 담긴 정보와 달라지게 될 뿐만 아니라 얼굴 검출 과정에서 누락된 개인 식별 정보가 원본 영상 이미지 상에 그대로 남게 되는 문제가 있었다. 또한, 블러 처리된 영상 이미지는 종래의 영상 디블러링(Deblurring) 기술 중 하나를 이용해 원상복귀 될 수도 있다.
이에 본 발명자(들)는, 원본 데이터와 상이하게 변조(Obfuscation)된 변조 데이터를 생성하되, 기계 학습 모델에 원본 데이터가 입력되어 출력되는 결과와 해당 기계 학습 모델에 위의 변조 데이터가 입력되어 출력되는 결과가 서로 동일하거나 유사하게 되는 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 데이터 내에서 개인 식별 정보를 찾는 작업이 요구되지 않으므로, 비교적 간편하면서도 정확하게 비식별(Anonymization) 작업을 수행할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 원본 데이터로부터 비가역적으로 변조(Obfuscation)하여 비식별(Anonymization) 처리된 데이터를 생성함으로써, 원본 데이터의 보안 및 프라이버시를 지킬 수 있는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 인간에게는 전혀 다르게 보이는 데이터이지만, 컴퓨터에게는 서로 동일하거나 유사하게 보이는 데이터를 생성하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 빅데이터 거래 시장을 보다 활성화시키는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 개인 정보 보호를 위하여 원본 데이터를 컨실링(Concealing) 처리하는 방법에 있어서, (a) 상기 원본 데이터가 획득되면, 데이터 변조 장치가, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 단계; 및 (b) 상기 데이터 변조 장치가, (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응하는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 단계;를 포함한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 각각 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (a) 단계에서, 상기 데이터 변조 장치는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크의 상기 제1 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 제1 특성 정보를 출력하도록 하며, 상기 (b) 단계에서, 상기 데이터 변조 장치는, (i) 상기 제1 특성 정보와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 산출된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 상기 제1 태스크 특정 출력에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터 또는 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고, 상기 데이터 변조 장치가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하며, (ii) (ii-1) 상기 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 생성된 적어도 하나의 제1_k 로스와, (ii-2) 상기 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 값 및 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성한다.
일 실시예에서, 상기 데이터 변조 장치는, (i) 상기 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 상기 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스 및 (iii) 상기 제1_1 로스 내지 제1_n 로스와 상기 제1_1 로스 내지 제1_n 로스 각각에 대응되는 상기 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성한다.
일 실시예에서, 상기 (b) 단계에서, 상기 데이터 변조 장치는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지한다.
일 실시예에서, 상기 (b) 단계에서, 상기 데이터 변조 장치는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 최소화하기 위한 적어도 하나의 로스 그래디언트(Loss Gradient)를 획득하고, 상기 로스 그래디언트를 상기 원본 데이터 또는 상기 변환 데이터로 백프로파게이션한다.
일 실시예에서, 상기 (a) 단계에서, 상기 데이터 변조 장치는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (a) 단계에서, 상기 데이터 변조 장치는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 하며, 상기 (b) 단계에서, 상기 데이터 변조 장치는, (i) 상기 제1 특성 정보 내지 상기 제n 특성 정보와 이에 각각 대응되는 적어도 하나의 제1_1 GT 내지 적어도 하나의 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스 중 하나, (ii) 상기 제1 특성 정보 내지 상기 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제2_1 GT 내지 적어도 하나의 제2_n GT를 참조하여 생성된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성한다.
본 발명의 다른 태양에 따르면, 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 방법에 있어서, (a) 상기 원본 데이터가 획득되면, 데이터 변조 장치가, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 단계; (b) 상기 데이터 변조 장치가, (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 단계; 및 (c) 상기 데이터 변조 장치가, (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 단계;를 포함한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (b) 단계에서, 상기 데이터 변조 장치는, (i) 상기 원본 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i-1) 상기 제1 러닝 네트워크의 적어도 하나의 제1 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (ii-1) 상기 제1 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2_1 특성 정보를 출력하도록 하며, 상기 (c) 단계에서, 상기 데이터 변조 장치는, (i) 상기 제1_1 특성 정보와 상기 제2_1 특성 정보를 참조하여 생성된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제2_1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제1 GT를 참조하여 생성된 적어도 하나의 제2_1 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 제1 데이터 로스를 이용한 백프로파게이션을 통해 상기 변환 데이터를 업데이트하여 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고, 상기 데이터 변조 장치가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 상기 원본 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_k 특성 정보를 출력하도록 하는 프로세스, (ii) 제k-1 변조된 데이터를 상기 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (ii-1) 상기 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 제k-1 변조된 데이터에 대한 제2_k 특성 정보를 출력하도록 하는 프로세스 및 (iii) (iii-1) 상기 제1_k 특성 정보와 상기 제2_k 특성 정보를 참조하여 산출된 적어도 하나의 제1_k 로스와, (iii-2) 상기 제2_k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 이에 대응되는 적어도 하나의 제k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 제k 데이터 로스를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성한다.
일 실시예에서, 상기 데이터 변조 장치는, 상기 제1 데이터 로스 내지 제n 데이터 로스를 평균한 적어도 하나의 평균 데이터 로스를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성한다.
일 실시예에서, (i) 상기 제1_1 로스 내지 상기 제1_n 로스를 평균한 적어도 하나의 평균을 제1 서브 로스(Sub Loss)로서 산출하고 (ii) 상기 특정 특성 정보와 상기 제2_1 로스 내지 상기 제2_n 로스를 평균한 평균값을 참조로 하여 제2 서브 로스를 산출한다.
일 실시예에서, 상기 (c) 단계에서, 상기 데이터 변조 장치는, 상기 데이터 로스를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지한다.
일 실시예에서, 상기 (a) 단계에서, 상기 데이터 변조 장치는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (b) 단계에서, 상기 데이터 변조 장치는, (i) 상기 원본 데이터 및 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 (ii) 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (ii-1) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 및 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii-2) 상기 원본 데이터에 대한 각각의 제1_1 특성 정보 내지 제1￢_n 특성 정보를 출력하도록 하며, (ii-3) 상기 변환 데이터에 대한 각각의 제2_1 특성 정보 내지 제2_n 특성 정보를 출력하도록 하며, 상기 (c) 단계에서, 상기 데이터 변조 장치는, (i) 상기 제1_1 특성 정보 내지 상기 제1_n 특성 정보와 이에 각각 대응되는 상기 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 상기 제1 로스 중 하나, (ii) 상기 제2_1 특성 정보 내지 상기 제2_n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제1 GT 내지 적어도 하나의 제n GT를 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 상기 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 상기 제2_1 로스 내지 상기 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성한다.
본 발명의 또 다른 태양에 따르면, 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치(Data Obfuscation Device)에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 상기 원본 데이터가 획득되면, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 프로세스; 및 (II) (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응되는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 각각 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크의 상기 제1 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 제1 특성 정보를 출력하도록 하며, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 제1 특성 정보와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 산출된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터 또는 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고, 상기 프로세서가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하며, (ii) (ii-1) 상기 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 생성된 적어도 하나의 제1_k 로스와, (ii-2) 상기 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 값 및 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성한다.
일 실시예에서, 상기 프로세서는, (i) 상기 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 상기 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스 및 (iii) 상기 제1_1 로스 내지 제1_n 로스와 상기 제1_1 로스 내지 제1_n 로스 각각에 대응되는 상기 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 최소화하기 위한 적어도 하나의 로스 그래디언트(Loss Gradient)를 획득하고, 상기 로스 그래디언트를 상기 원본 데이터 또는 상기 변환 데이터로 백프로파게이션한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 하며, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 제1 특성 정보 내지 상기 제n 특성 정보와 이에 각각 대응되는 적어도 하나의 제1_1 GT 내지 적어도 하나의 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스 중 하나, (ii) 상기 제1 특성 정보 내지 상기 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제2_1 GT 내지 적어도 하나의 제2_n GT를 참조하여 생성된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성한다.
본 발명의 또 다른 태양에 따르면, 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 상기 원본 데이터가 획득되면, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 프로세스; (II) (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 프로세스; 및 (III) (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하거나 타 장치로 하여금 실행하도록 구성된 적어도 하나의 프로세서;를 포함한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 원본 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i-1) 상기 제1 러닝 네트워크의 적어도 하나의 제1 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (ii-1) 상기 제1 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2_1 특성 정보를 출력하도록 하며, 상기 (III) 프로세스에서, 상기 프로세서는, (i) 상기 제1_1 특성 정보와 상기 제2_1 특성 정보를 참조하여 생성된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제2_1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제1 GT를 참조하여 생성된 적어도 하나의 제2_1 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 제1 데이터 로스를 이용한 백프로파게이션을 통해 상기 변환 데이터를 업데이트하여 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고, 상기 프로세서가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 상기 원본 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_k 특성 정보를 출력하도록 하는 프로세스, (ii) 제k-1 변조된 데이터를 상기 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (ii-1) 상기 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 제k-1 변조된 데이터에 대한 제2_k 특성 정보를 출력하도록 하는 프로세스 및 (iii) (iii-1) 상기 제1_k 특성 정보와 상기 제2_k 특성 정보를 참조하여 산출된 적어도 하나의 제1_k 로스와, (iii-2) 상기 제2_k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 이에 대응되는 적어도 하나의 제k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 제k 데이터 로스를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성한다.
일 실시예에서, 상기 데이터 변조 장치는, 상기 제1 데이터 로스 내지 제n 데이터 로스를 평균한 적어도 하나의 평균 데이터 로스를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성한다.
일 실시예에서, (i) 상기 제1_1 로스 내지 상기 제1_n 로스를 평균한 적어도 하나의 평균을 제1 서브 로스(Sub Loss)로서 산출하고 (ii) 상기 특정 특성 정보와 상기 제2_1 로스 내지 상기 제2_n 로스를 평균한 평균값을 참조로 하여 제2 서브 로스를 산출한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서는, 상기 데이터 로스를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성한다.
일 실시예에서, 상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때, 상기 (II) 프로세스에서, 상기 프로세서는, (i) 상기 원본 데이터 및 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 (ii) 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (ii-1) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 및 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii-2) 상기 원본 데이터에 대한 각각의 제1_1 특성 정보 내지 제1_n 특성 정보를 출력하도록 하며, (ii-3) 상기 변환 데이터에 대한 각각의 제2_1 특성 정보 내지 제2_n 특성 정보를 출력하도록 하며, 상기 (III) 프로세스에서, 상기 프로세서는, (i) 상기 제1_1 특성 정보 내지 상기 제1_n 특성 정보와 이에 각각 대응되는 상기 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 상기 제1 로스 중 하나, (ii) 상기 제2_1 특성 정보 내지 상기 제2_n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제1 GT 내지 적어도 하나의 제n GT를 더 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 상기 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 상기 제2_1 로스 내지 상기 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은, 데이터 내에서 개인 식별 정보를 찾는 작업이 요구되지 않으므로, 간편하면서도 정확하게 컨실링(Concealing) 작업을 수행할 수 있는 효과가 있다.
또한, 본 발명은, 원본 데이터로부터 비가역적으로 변조(Obfuscation)되고 컨실링 처리된 데이터를 생성함으로써, 원본 데이터의 보안 및 프라이버시를 지킬 수 있는 다른 효과가 있다.
또한, 본 발명은, 인간에게는 다르게 보이는 데이터이지만, 컴퓨터에게는 서로 동일하거나 유사하게 보이는 데이터를 생성할 수 있는 또 다른 효과가 있다.
또한, 본 발명은, 빅데이터 거래 시장을 보다 활성화시킬 수 있는 또 다른 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 데이터를 컨실링(Concealing) 처리하기 위한 데이터 변조 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 4는 본 발명의 다른 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 5는 본 발명의 다른 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 6은 본 발명의 또 다른 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 7은 본 발명의 또 다른 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 8a와 도 8b는 본 발명의 실시예에 따라 원본 데이터와 컨실링 처리된 원본 데이터를 개략적으로 도시한 것이다.
도 1은 본 발명의 일 실시예에 따라 데이터를 컨실링(Concealing) 처리하기 위한 데이터 변조 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 4는 본 발명의 다른 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 5는 본 발명의 다른 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 6은 본 발명의 또 다른 실시예에 따라 데이터를 컨실링 처리하는 방법을 개략적으로 도시한 것이고,
도 7은 본 발명의 또 다른 실시예에 따라 데이터를 컨실링 처리하는 다른 방법을 개략적으로 도시한 것이고,
도 8a와 도 8b는 본 발명의 실시예에 따라 원본 데이터와 컨실링 처리된 원본 데이터를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 기능, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명의 상세 설명과 청구항에 포함된 “포함하다”란 용어와 해당 용어의 다양한 표현은 다른 기술적 특징, 추가, 구성요소 또는 단계를 배제하는 것을 의미하지는 않는다. 본 발명의 다른 목적, 혜택 및 특징은 부분적으로는 명세서로부터 및 부분적으로는 본 발명의 이행으로부터 기술분야에서 통상의 지식을 가진 자에게 명백히 드러날 것이다. 다음의 예시들과 도면들은 예시로 나타나지만 본 발명이 이에 제한되는 것은 아니다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 데이터를 컨실링 처리하기 위한 데이터 변조 장치를 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 데이터 변조 장치(100)는 변조된 데이터(Obfuscated Data)를 컨실링 처리된 데이터(예를 들어 비식별 처리된 데이터)로서 생성하기 위한 인스트럭션들을 저장하는 메모리(110)와 메모리(110)에 저장된 인스트럭션들에 따라 원본 데이터에 대응하는 변조된 데이터를 생성하여 주는 프로세스를 수행하는 프로세서(120)를 포함할 수 있다. 이때, 변조된 데이터를 이용해 산출된 출력 결과는 원본 데이터를 이용해 산출된 출력 결과와 동일하거나 유사할 수 있다.
구체적으로, 데이터 변조 장치(100)는 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치, 출력 장치 또는 기타 기존의 컴퓨팅 장치의 구성요소); 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 일반적으로 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 프로세서, 메모리, 미디엄 또는 다른 컴퓨팅 요소의 임의 조합을 포함하는 통합 장치를 배제하는 것은 아니다.
한편, 원본 데이터가 획득되면, 메모리(110)에 저장된 인스트럭션에 따라 데이터 변조 장치(100)의 프로세서(120)가, (i) 원본 데이터 또는 이에 대응하는 변환 데이터(Modified Data)를 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 (i-1) 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 원본 데이터 또는 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 원본 데이터 또는 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 프로세스, 및 (ii) (ii-1) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와, (ii-2) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output)과 이에 대응되는 적어도 하나의 제2 GT를 참조하여 생성된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 원본 데이터 또는 변환 데이터를 업데이트하는 프로세스를 실행하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다. 이때, 러닝 네트워크는 학습된 파라미터를 가지는 네트워크일 수 있으며 해당 학습은 완료된 상태일 수 있다.
또한, 원본 데이터가 획득되면, 메모리(110)에 저장된 인스트럭션에 따라 데이터 변조 장치(100)의 프로세서(120)가, (i) 원본 데이터를 변환하여 변환 데이터를 생성하는 프로세스, (ii) 원본 데이터를 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 (ii-1) 러닝 네트워크의 학습된 파라미터를 이용해 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 원본 데이터에 대한 제1 특성 정보를 출력하도록 하는 프로세스, 및 (iii) 변환 데이터를 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 (iii-1) 학습된 파라미터를 이용해 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (iii-2) 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 프로세스를 수행할 수 있다. 이후, (i) 제1 특성 정보와 제2 특성 정보를 참조하여 생성된 적어도 하나의 제1 로스와, (ii) (ii-1) 제 2 특성 정보를 이용하여 생성된 태스크 특정 출력과 (ii-2) 이에 대응되는 GT를 참조하여 생성된 제2 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 데이터 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트 하는 프로세스를 수행하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 데이터 변조 장치(100)를 이용하여 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 방법을 도 2 내지 도 8을 참조하여 설명하면 다음과 같다.
도 2는 컨실링 처리된 데이터(예를 들어 비식별된 데이터)로서 변조된 데이터를 생성하는 방법을 간략하게 나타낸 도이다. 본 발명의 일 실시예에 따라 변조된 데이터를 이용해 산출된 출력 결과가 학습된 파라미터를 가지는 러닝 네트워크(130), 즉, 파라미터가 조정된 러닝 네트워크(130)를 이용하여, 원본 데이터를 이용해 산출된 출력 결과와 서로 동일하거나 유사할 수 있으므로, 원하는 결과가 트레이닝 데이터에서 출력된다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 러닝 네트워크(130)에 입력하여 러닝 네트워크(130)로 하여금 (i) 러닝 네트워크(130)의 적어도 하나의 학습된 파라미터를 이용해 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터에 대한 특성 정보(y)를 출력하도록 하는 프로세스를 수행할 수 있다.
즉, 컨실링 처리를 위한 원본 데이터(x)가 획득되면, 데이터 변환 장치(100)의 메모리(110)에 저장된 인스트럭션에 따라 데이터 변환 장치(100), 즉, 프로세서(120)가, 원본 데이터(x)를 러닝 네트워크(130)에 입력한다. 이때, 러닝 네트워크(130)는 머신 러닝 네트워크를 포함할 수 있으나, 이에 한정되지 않으며, 학습된 파라미터를 이용하여 입력되는 원본 데이터(x)에 대하여 네트워크 연산을 적용하도록 하여 출력을 생성하도록 하는 모든 러닝 네트워크를 포함할 수 있다. 그리고, 머신 러닝 네트워크는 k-최근접 이웃(k-Nearest Neighbors), 선형 리그레션(Linear Regression), 로지스틱 리그레션(Logistic Regression), 서포트 벡터 머신(SVM, Support Vector Machine), 결정 트리(Decision Tree)와 랜덤 포레스트(Random Forest), 신경망(Neural Network), 군집(Clustering), 시각화(Visualization)와 차원 축소(Dimensionality Reduction), 연관 규칙 학습(Association Rule Learning), 심층 신뢰망(Deep Belief Network), 강화 학습(Reinforcement Learning), 및 딥러닝 알고리즘(Deep Learning Algorithm) 중 적어도 하나를 포함할 수 있으나, 머신 러닝 네트워크는 이에 한정되지 않으며 다양한 러닝 알고리즘을 포함할 수 있다. 또한, 컨실링 처리를 위한 대상(예를 들어 비식별 대상)은 원본 데이터(x)에 포함된 개인 정보일 수 있으며, 이때, 개인 정보는 개인 식별 정보, 개인의 의료 정보, 개인의 생체 정보, 개인의 행동 정보 등 개인과 관련한 모든 정보를 포함할 수 있다. 다른 예로, 개인 정보는 하드웨어 회로도, 사업 기밀 등과 같은 민감한 정보나 내밀한 정보를 포함할 수 있다.
그러면, 러닝 네트워크(130)는 입력되는 원본 데이터(x)에 대하여 러닝 네트워크의 학습된 파라미터를 이용해 네트워크 연산을 적용하도록 하여 원본 데이터(x)에 대한 특성 정보(y)를 출력한다. 이때, 특성 정보(y)는 원본 데이터(x)에 대한 특징(Feature) 또는 로짓(Logit)일 수 있다. 또한, 특성 정보(y)는 원본 데이터 내 소정의 특징과 연관된 특징 값, 또는 소정의 특징과 관련한 벡터(Vector), 행렬(Matrix) 및 좌표(Coordinate) 중 적어도 하나에 관한 값을 포함하는 로짓일 수 있다. 예를 들어, 원본 데이터가 얼굴 이미지 데이터인 경우에, 위의 결과는 얼굴 인식을 위한 클래스, 얼굴 특징, 일 예로, 웃는 표정, 얼굴 특징점(Landmark Point, 예를 들어, 눈의 양 끝점)에 관한 좌표일 수 있다.
다음으로, 데이터 변조 장치(100)는 (i) 특성 정보(y)와 이에 대응되는 제1 GT를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 특성 정보(y)를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하는 프로세스를 수행하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이때, 데이터 변조 장치(100)는 제1 로스와 제2 로스 중 적어도 하나를 이용한 백프로파게이션 진행 중에 러닝 네트워크(130)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 원본 데이터에 대해서만 제1 로스와 제2 로스 중 적어도 일부를 최소화하도록 백프로파게이션을 수행함으로써 원본 데이터를 변조하게 된다. 그러면, 변조된 데이터는 사람에게는 원본 데이터와는 다른 데이터로 인식되지만, 러닝 네트워크에서는 원본 데이터와 동일하거나 유사한 데이터로 인식될 수 있다.
또한, 데이터 변조 장치(100)는 제1 로스와 제2 로스 중 적어도 일부를 이용한 백프로파게이션 진행 중에, 제1 로스와 제2 로스 중 적어도 일부를 최소화하기 위한 적어도 하나의 로스 그래디언트(Loss Gradient)를 획득하고, 로스 그래디언트를 원본 데이터로 백프로파게이션할 수 있다.
한편, 태스크 특정 출력은 러닝 네트워크(130)가 수행하고자 하는 태스크(Task)에 대한 출력으로, 클래스 분류를 위한 클래스에 대한 확률, 위치 검출을 위한 리그레이션으로 인한 좌표값 등과 같이 러닝 네트워크(130)에 의해 학습된 태스크에 따른 다양한 결과를 가질 수 있으며, 러닝 네트워크(130)에서 출력되는 특성 정보에 대하여 활성화 유닛(Activation Unit)의 활성화 함수(Activation Function)가 적용되어 러닝 네트워크(130)에서 수행하고자 하는 태스크에 따른 태스크 특정 출력을 생성할 수 있다. 이때, 활성화 함수로는 시그모이드(Sigmoid) 함수, 선형(Linear) 함수, 소프트맥스(Softmax) 함수, ReLU(Rlinear) 함수, 제곱(Square) 함수, SQRT 함수, Srlinear 함수, ABS 함수, TANH 함수, Brlinear 함수 등이 사용될 수 있으나, 이에 한정되지는 않는다.
일 예로, 러닝 네트워크(130)가 클래스 분류를 위한 태스크를 수행하는 경우, 데이터 변조 장치(100)의 프로세서(120)는 러닝 네트워크(130)에서 출력되는 특성 정보를 클래스 별로 맵핑하여 원본 데이터에 대해 클래스 별로 적어도 하나의 확률을 생성할 수 있다. 이때, 클래스별 확률은 클래스 별로 러닝 네트워크(130)에서 출력되는 특성 정보가 정답일 확률을 나타낼 수 있다. 예를 들어, 원본 데이터가 얼굴 이미지 데이터인 경우에, 얼굴이 웃는 상태일 확률은 0.75, 웃지 않는 상태일 확률은 0.25 등과 같이 출력될 수 있다. 이때, 러닝 네트워크(130)에서 출력되는 특성 정보를 클래스 별로 매핑하는 데 소프트맥스 알고리즘을 사용할 수 있으나, 이에 한정되지 않으며, 특성 정보를 클래스 별로 매핑하기 위해 다양한 알고리즘이 이용될 수 있다.
도 3은 제1 변조된 데이터 내지 제n 변조된 데이터를 컨실링 처리된 데이터로서 생성하기 위한 방법을 간략하게 나타낸 도이다. 본 발명의 일 실시예에 따라 제1 변조된 데이터 내지 제n 변조된 데이터를 이용해 산출된 출력 결과는, 학습된 파라미터를 가지는 다수의 러닝 네트워크(130_1, 130_2, …, 130_n)를 이용하여, 원본 데이터를 이용하여 산출되는 결과와 서로 동일하거나 유사할 수 있다. 이때, 다수의 러닝 네트워크(130_1, 130_2, …, 130_n) 각각은 적어도 부분적으로 서로 다른 태스크를 수행하도록 학습된 상태일 수 있다. 하기의 설명에서는 도 2의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 제1 러닝 네트워크(130_1)에 입력하여 제1 러닝 네트워크(130_1)로 하여금 (i) 제1 러닝 네트워크(130_1)의 적어도 하나의 제1 학습된 파라미터를 이용해 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터에 대한 제1 특성 정보(y)를 출력하도록 한다.
즉, 컨실링 처리를 위한 원본 데이터(x)가 획득되면, 데이터 변환 장치(100)의 메모리(110)에 저장된 인스트럭션에 따라 데이터 변환 장치(100), 즉, 프로세서(120)가, 원본 데이터(x)를 제1 러닝 네트워크(130_1)에 입력한다.
그러면, 제1 러닝 네트워크(130_1)는 입력되는 원본 데이터(x)에 대하여 제1 러닝 네트워크의 제1 학습된 파라미터를 이용해 네트워크 연산을 적용하도록 하여 원본 데이터(x)에 대한 제1 특성 정보(y1)를 출력한다.
다음으로, 데이터 변조 장치(100)는 (i) 제1 특성 정보(y)와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 획득한 적어도 하나의 제1_1 로스와, (ii) (ii-1) 제1 특성 정보(y1)를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하여 원본 데이터에 대응되는 제1 변조된 데이터를 생성할 수 있다.
이후, 데이터 변조 장치(100)는, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 제k 러닝 네트워크로 하여금 (i-1) 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하고, (ii) (ii-1) 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 산출된 적어도 하나의 제1_k 로스와, (ii-2) (ii-2a) 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 (ii-2b) 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 제k-1 변조된 데이터를 업데이트하여 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복한다.
이와 같은 방법에 의해, 데이터 변조 장치(100)는 제2 러닝 네트워크(130_2) 내지 제n 러닝 네트워크(130_n)으로 하여금 각각 이전 러닝 네트워크를 이용한 백프로파게이션에 의해 생성된 이전 변조된 데이터로서 입력하여 백프로파게이션을 수행하도록 하여 제n 변조된 데이터를 생성하는 프로세스를 반복한 결과, 원본 데이터에 대하여 컨실링된 변조된 데이터로서 제n 변조된 데이터를 생성할 수 있다.
또한, 상기에서는 원본 데이터에 대하여 컨실링된 변조된 데이터로서 제n 변조된 데이터를 생성하였으나, 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 제1_1 로스 내지 제1_n 로스와, 제2_1 내지 제2_n 로스를 이용하도록 하며 원본 데이터를 업데이트하여 원본 데이터에 대하여 컨실링 처리된 변조된 데이터를 생성할 수도 있다.
즉, 상기에서와 같은 과정을 통해 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)를 이용하여 데이터 변조 장치(100)는 (i) 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스, 및 (iii) 제1_1 로스 내지 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제2 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하여 원본 데이터에 대한 컨실링 처리된 변조된 데이터를 생성할 수 있다.
한편, 상기에 나타난 바와 같이 데이터 변조 장치(100)는 제2 러닝 네트워크(130_2) 내지 제n 러닝 네트워크(130_n) 각각으로 하여금 이전 러닝 네트워크를 이용한 백프로파게이션에 의해 생성된 이전 변조된 데이터로서 입력하여 백프로파게이션을 수행하도록 하여 변조된 데이터를 생성하였으나, 원본 데이터(x)를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하여 한번의 백프로파게이션을 통해 변조된 데이터를 생성할 수도 있다.
즉, 데이터 변조 장치(100)는 원본 데이터(x)를 제1 러닝 네트워크 내지 제n 러닝 네트워크 각각에 입력하여 각각의 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 (i) 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 각각 이용해 원본 데이터(x)에 대하여 네트워크 연산을 적용하도록 하여 (ii) 제1 학습된 파라미터 내지 제n 학습된 파라미터를 각각 이용해 원본 데이터(x)에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 한다. 그리고, 데이터 변조 장치(100)는 (i) 제1 특성 정보 내지 제n 특성 정보와 (ii) 이에 각각 대응되는 제1_1 GT 내지 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
또한, 데이터 변조 장치(100)는 (i) 제1 특성 정보 내지 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 (ii) 이에 각각 대응되는 적어도 하나의 제2_1 GT 내지 적어도 하나의 제2_n GT를 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이에 더하여, 데이터 변조 장치(100)는 제1_1 로스 내지 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스를 이용한 백프로파게이션을 통해 원본 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수도 있다.
도 4는 본 발명의 일 실시예에 따라, 원본 데이터를 변환하여 생성된 변환 데이터를 입력으로 하여 원본 데이터에 대응하는 변조된 데이터를 컨실링 처리된 데이터로서 생성하는 방법을 개략적으로 도시한 것이다. 하기의 설명에서는 도 2의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 변환하여 변환 데이터(x')를 생성한다.
이때, 변환 데이터(x')는 원본 데이터(x)에 랜덤 노이즈 생성 네트워크(미도시)를 통해 생성된 적어도 하나의 랜덤 노이즈를 추가하여 생성할 수 있다. 일 예로, 랜덤 노이즈 생성 네트워크로 하여금 정규분포 N(0, σ)를 갖는 랜덤 노이즈를 생성하도록 하며, 생성된 노이즈를 원본 데이터(x)에 추가하여 변환 데이터(x')를 생성할 수 있다. 또한, 변환 데이터(x')는 랜덤 노이즈 이외에도, 원본 데이터(x)를 블러(Blur) 처리하거나 원본 데이터(x)의 해상도를 변경하여 생성할 수 있으나, 이에 한정되지 않으며, 원본 데이터를 변환하는 다양한 방법이 적용될 수 있다.
다음으로, 데이터 변조 장치(100)는 변환 데이터(x')를 러닝 네트워크(130)에 입력하여 러닝 네트워크(130)로 하여금 (i) 러닝 네트워크(130)의 학습된 파라미터를 이용해 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터에 대한 특성 정보(y)를 출력하도록 할 수 있다.
즉, 컨실링 처리를 위한 원본 데이터(x)가 획득되면, 데이터 변환 장치(100)의 메모리(110)에 저장된 인스트럭션에 따라 데이터 변환 장치(100), 즉, 프로세서(120)가, 원본 데이터(x)를 변환 데이터(x')로 변환한 다음, 변환 데이터(x')를 러닝 네트워크(130)에 입력한다.
그러면, 러닝 네트워크(130)는 입력되는 변환 데이터(x')에 대하여 러닝 네트워크의 학습된 파라미터를 이용해 네트워크 연산을 적용하도록 하여 변환 데이터(x')에 대한 특성 정보(y)를 출력한다.
다음으로, 데이터 변조 장치(100)는 (i) 특성 정보(y)와 이에 대응되는 적어도 하나의 제1 GT를 참조하여 산출된 제1 로스와, (ii) (ii-1) 특성 정보(y)를 이용하여 생성된 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2 GT를 참조하여 산출된 제2 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하는 프로세스를 수행하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따라, 원본 데이터를 변환하여 생성된 변환 데이터를 입력으로 하여 원본 데이터에 대응하는 제1 변조된 데이터 내지 제n 변조된 데이터를 컨실링 처리된 데이터로서 생성하는 방법을 개략적으로 도시한 것이다. 하기의 설명에서는 도 2 내지 도 4의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 변환하여 변환 데이터(x')를 생성한다.
다음으로, 데이터 변조 장치(100)가, 변환 데이터(x')를 제1 러닝 네트워크(130_1)에 입력하여 제1 러닝 네트워크(130_1)로 하여금 (i) 제1 러닝 네트워크(130_1)의 제1 학습된 파라미터를 이용해 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터에 대한 제1 특성 정보(y)를 출력하도록 한다.
즉, 컨실링 처리를 위한 원본 데이터(x)가 획득되면, 데이터 변환 장치(100)의 메모리(110)에 저장된 인스트럭션에 따라 데이터 변환 장치(100), 즉, 프로세서(120)가, 원본 데이터(x)를 변환 데이터(x')로 변환한 다음, 변환 데이터(x')를 제1 러닝 네트워크(130_1)에 입력한다.
그러면, 제1 러닝 네트워크(130_1)는 입력되는 변환 데이터(x')에 대하여 제1 러닝 네트워크의 제1 학습된 파라미터를 이용해 네트워크 연산을 적용하도록 하여 변환 데이터(x')에 대한 제1 특성 정보(y1)를 출력한다.
다음으로, 데이터 변조 장치(100)는 (i) 제1 특성 정보(y1)와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 산출된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 제1 특성 정보(y1)를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 변환 데이터를 업데이트하여 변환 데이터에 대응되는 제1 변조된 데이터를 생성할 수 있다.
이후, 데이터 변조 장치(100)는, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 제k 러닝 네트워크로 하여금 (i-1) 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하고, (ii) (ii-1) 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 산출된 적어도 하나의 제1_k 로스와, (ii-2) (ii-2a) 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 (ii-2b) 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 제k-1 변조된 데이터를 업데이트하여 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복한다.
이와 같은 방법에 의해, 데이터 변조 장치(100)는 제2 러닝 네트워크(130_2) 내지 제n 러닝 네트워크(130_n)로 하여금 각각 이전 러닝 네트워크를 이용한 백프로파게이션에 의해 생성된 이전 변조된 데이터로서 입력하여 백프로파게이션을 각각 수행하도록 하여 제n 변조된 데이터를 생성하는 프로세스를 반복함으로써 원본 데이터에 대하여 컨실링된 제n 변조된 데이터를 생성할 수 있다.
또한, 상기에서는 원본 데이터에 대하여 컨실링된 변조된 데이터로서 제n 변조된 데이터를 생성하였으나, 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 제1_1 로스 내지 제1_n 로스와, 제2_1 로스 내지 제2_n 로스를 이용하도록 하여 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대하여 컨실링 처리된 변조된 데이터를 생성할 수도 있다.
즉, 데이터 변조 장치(100)는 상기에서와 같은 과정을 통해 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)를 이용해 (i) 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스, 및 (iii) 제1_1 로스 내지 제1_n 로스와 이에 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제2 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대한 컨실링 처리된 변조된 데이터를 생성할 수 있다.
한편, 상기에서는 제2 러닝 네트워크(130_2) 내지 제n 러닝 네트워크(130_n)로 하여금 각각 이전 러닝 네트워크를 이용한 백프로파게이션에 의해 생성된 이전 변조된 데이터로서 입력하여 백프로파게이션을 각각 수행하여 변조된 데이터를 생성하였으나, 변환 데이터(x')를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하여 한번의 백프로파게이션을 통해 변조된 데이터를 획득할 수도 있다.
즉, 데이터 변조 장치(100)는 변환 데이터(x')를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하고, 각각의 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 (i) 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 이용해 변환 데이터(x')에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터(x')에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 한다. 그리고, 데이터 변조 장치(100)는 (i) 제1 특성 정보 내지 제n 특성 정보와 (ii) 이에 각각 대응되는 제1_1 GT 내지 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
또한, 데이터 변조 장치(100)는 (i) 제1 특성 정보 내지 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 (ii) 이에 각각 대응되는 제2_1 GT 내지 제2_n GT를 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이에 더하여, 데이터 변조 장치(100)는 제1_1 로스 내지 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 각각 평균한 제3 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수도 있다.
도 6은 본 발명의 또 다른 실시예에 따라 데이터를 컨실링 처리하는 방법을 도시한 것이다. 이하의 설명에서 도 2 내지 도 5의 설명으로부터 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하도록 한다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 변환하여 변환 데이터(x')를 생성한다.
다음으로, 데이터 변조 장치(100)는 원본 데이터(x)를 러닝 네트워크(130)에 입력하여 러닝 네트워크로 하여금 (i) 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 원본 데이터(x)에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터에 대한 제1 특성 정보(y)를 출력하도록 한다. 또한, 데이터 변조 장치(100)는 변환 데이터(x')를 러닝 네트워크(130)에 입력하여 러닝 네트워크(130)로 하여금 (i) 학습된 파라미터를 이용해 변환 데이터(x')에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터(x)에 대한 제2 특성 정보(y')를 출력하도록 한다.
다음으로, 데이터 변조 장치(100)는 (i) 제1 특성 정보(y)와 제2 특성 정보(y')를 참조하여 생성된 적어도 하나의 제1 로스와, (ii) (ii-1) 제2 특성 정보(y')를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT를 참조하여 생성된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 산출된 데이터 로스를 이용한 백프로파게이션을 통해 원본 데이터(x) 또는 변환 데이터(x')를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이때, 제1 특성 정보와 제2 특성 정보를 참조하여 제1 로스를 산출함에 있어서, 데이터 변조 장치(100)는 제1 특성 정보와 제2 특성 정보 사이의 차이값, 일 예로, 노름(Norm) ||y-y'||를 이용해 제1 로스를 산출하거나, 제1 특성 정보와 제2 특성 정보 사이의 코사인 유사도(Cosine Similarity)를 이용해 제1 로스를 산출할 수 있으나, 이에 한정되지는 않는다.
또한, 데이터 변조 장치(100)는 데이터 로스를 이용한 백프로파게이션 진행 중에 러닝 네트워크(130)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 원본 데이터 또는 변환 데이터에 대해서만 제1 로스와 제2 로스 중 적어도 일부를 최소화하도록 백프로파게이션을 수행함으로써 원본 데이터를 변조할 수 있다. 그러면, 변조된 데이터는 사람에게는 원본 데이터와는 다른 데이터로 인식되지만, 러닝 네트워크에서는 원본 데이터와 동일하거나 유사한 데이터로 인식될 수 있다.
또한, 데이터 변조 장치(100)는 데이터 로스를 이용한 백프로파게이션 진행 중에, 데이터 로스를 이용하여 제1 로스와 제2 로스 중 적어도 일부를 최소화하기 위한 로스 그래디언트를 획득하고, 로스 그래디언트를 원본 데이터로 백프로파게이션할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따라 제1 변조된 데이터 내지 제n 변조된 데이터를 컨실링 처리된 데이터로 생성하는 방법을 간략하게 나타낸 도이다. 변조된 데이터를 이용하여 산출된 출력 결과는 본 발명의 또 다른 실시예에 따라 학습된 파라미터를 가지는 다수의 러닝 네트워크(130_1, 130_2, …, 130_n)을 이용하여, 원본 데이터를 이용해 산출된 출력 결과와 동일하거나 유사하다. 하기의 설명에서는 도 2 내지 도 6의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 원본 데이터(x)가 획득되면, 데이터 변조 장치(100)가, 원본 데이터(x)를 변환하여 변환 데이터(x')를 생성한다.
다음으로, 데이터 변조 장치(100)는 원본 데이터(x)를 제1 러닝 네트워크(130_1)에 입력하여 제1 러닝 네트워크(130_1)로 하여금 (i) 제1 러닝 네트워크(130_1)의 제1 학습된 파라미터를 이용해 원본 데이터(x)에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터에 대한 제1_1 특성 정보(y1)를 출력하도록 한다. 또한, 데이터 변조 장치(100)는 변환 데이터(x')를 제1 러닝 네트워크(130_1)에 입력하여 제1 러닝 네트워크(130_1)로 하여금 (i) 학습된 파라미터를 이용해 변환 데이터(x')에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터(x)에 대한 제2_1 특성 정보(y1')를 출력하도록 한다.
다음으로, 데이터 변조 장치(100)는 (i) 제1_1 특성 정보(y1)와 제2_1 특성 정보(y1')를 참조하여 생성된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 제2_1 특성 정보(y1')를 이용하여 생성한 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제1 GT를 참조하여 생성된 적어도 하나의 제2_1 로스 중 적어도 일부를 참조하여 산출된 제1 데이터 로스를 이용한 백프로파게이션을 통해 변환 데이터(x')를 업데이트하여 제1 변조된 데이터를 생성할 수 있다.
이후, 데이터 변조 장치(100)는, 정수인 k를 2부터 n까지 증가시켜가며, (i) 원본 데이터(x)를 제k 러닝 네트워크에 입력하여 제k 러닝 네트워크로 하여금 (i-1) 제k 러닝 네트워크의 제k 학습된 파라미터를 이용해 원본 데이터(x)에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 원본 데이터에 대한 제1_k 특성 정보(yk)를 출력하도록 하고, (ii) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 제k 러닝 네트워크로 하여금 (ii-1) 제k 러닝 네트워크의 제k 학습된 파라미터를 이용해 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 제k-1 변조된 데이터에 대한 제2_k 특성 정보(yk')를 출력하도록 하고, (iii) (iii-1) 제1_k 특성 정보(yk)와 제2_k 특성 정보(yk')를 참조하여 생성된 적어도 하나의 제1_k 로스와, (iii-2) (iii-2a) 제2_k 특성 정보(yk')를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 (iii-2b)이에 대응되는 적어도 하나의 제k GT를 참조하여 생성된 적어도 하나의 제2_k 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 제k 데이터 로스를 이용한 백프로파게이션을 통해 제k-1 변조된 데이터를 업데이트하여 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 원본 데이터에 대응되는 변조된 데이터인 제n 변조된 데이터를 생성할 수 있다.
또한, 상기에서는 원본 데이터에 대하여 컨실링된 변조된 데이터로서 제n 변조된 데이터를 생성하였으나, 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 제1 데이터 로스 내지 제n 데이터 로스를 이용하도록 하여 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대하여 컨실링 처리된 변조된 데이터를 생성할 수도 있다.
즉, 데이터 변조 장치(100)는 상기에서와 같은 과정을 통해 (i) 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)를 통한 제1 데이터 로스 내지 제n 데이터 로스를 획득하고, (ii) 획득된 제1 데이터 로스 내지 제n 데이터 로스를 평균한 적어도 하나의 평균 데이터 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대한 컨실링 처리된 변조된 데이터를 생성할 수 있다.
또한, 상기에서는 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 원본 이미지를 입력하여 원본 이미지에 대한 특성 정보를 획득하고, 이를 이용하여 제1_1 로스 내지 제1_n 로스를 산출하였으나, 원본 데이터를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 중 적어도 하나의 특정 러닝 네트워크에 입력하여 원본 데이터에 대한 특정 특성 정보를 획득하고, 이를 이용하여 원본 데이터 또는 변환 데이터를 업데이트할 수도 있다.
일 예로, 데이터 변조 장치(100)는, 원본 데이터(x)를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 중 적어도 하나의 특정 러닝 네트워크로 하여금 (i) 특정 러닝 네트워크의 적어도 하나의 특정 학습된 파라미터를 이용해 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터에 대한 특정 특성 정보를 출력하도록 한다.
그리고, 데이터 변조 장치(100)는, (i) 변환 데이터(x')를 제1 러닝 네트워크(130_1)에 입력하여 제1 러닝 네트워크(130_1)로 하여금 (i-1) 제1 학습된 파라미터를 이용해 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 변환 데이터에 대한 제2_1 특성 정보를 출력하도록 하며, (ii) 제2_1 특성 정보를 클래스 별로 맵핑하여 생성된 변환 데이터에 대한 적어도 하나의 제1 확률과 원본 데이터에 대응되는 적어도 하나의 GT를 참조하여 제1_1 로스를 산출하고, (iii) 상기 제1_1 로스를 이용한 백프로파게이션을 통해 변환 데이터를 업데이트하여 이에 대응되는 제1 변조된 데이터를 생성한다. 그리고, 데이터 변조 장치(100)는 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 제k 러닝 네트워크로 하여금 (i-1) 제k 러닝 네트워크의 제k 학습된 파라미터를 이용해 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 제k-1 변조된 데이터에 대한 제2_k 특성 정보를 출력하도록 하며, (ii) 제2_k 특성 정보를 클래스 별로 맵핑하여 생성된 제k-1 변조된 데이터에 대한 적어도 하나의 제k 확률과 원본 데이터에 대응되는 적어도 하나의 GT를 참조하여 제1_k 로스를 산출하고, (iii) 제1_k 로스를 이용한 백프로파게이션을 통해 제k-1 변조된 데이터를 업데이트하여 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복하여 제n 변조된 데이터를 생성한다.
이후, 데이터 변조 장치(100)는 (i) 제1_1 로스 내지 제1_n 로스를 참조하여 산출된 적어도 하나의 제1 서브 로스와, (ii) (ii-1) 특정 특성 정보와 (ii-2) 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 적어도 하나의 제2 서브 로스 중 적어도 일부를 이용하여 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응하는 변조된 데이터를 생성할 수 있다.
이때, 데이터 변조 장치(100)는 (i) 제1_1 로스 내지 제1_n 로스를 평균 로스를 적어도 하나의 제1 서브 로스로 생성하며, (ii) 제2_1 특성 정보 내지 제2_n 특성 정보의 평균과 특정 특성 정보를 참조하여 제2 서브 로스를 생성할 수 있다.
한편, 상기에서는 데이터 변조 장치(100)는 제2 러닝 네트워크(130_2) 내지 제n 러닝 네트워크(130_n) 각각으로 하여금 이전 러닝 네트워크를 이용한 백프로파게이션에 의해 생성된 이전 변조된 데이터를 입력하여 백프로파게이션을 각각 수행하여 변조된 데이터를 생성하였으나, 변환 데이터(x')를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하여 한번의 백프로파게이션을 통해 변조된 데이터를 생성할 수도 있다.
즉, 데이터 변조 장치(100)는 원본 데이터(x)를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하여 각각의 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 (i) 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 각각 이용해 원본 데이터(x)에 대하여 각각의 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 원본 데이터(x)에 대한 각각의 제1_1 특성 정보(y1) 내지 제1_n 특성 정보(yn)를 출력하도록 한다. 또한, 데이터 변환 장치(100)는 변환 데이터(x')를 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각에 입력하여 각각의 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n)로 하여금 (i) 제1 러닝 네트워크(130_1) 내지 제n 러닝 네트워크(130_n) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 각각 이용해 변환 데이터(x')에 대하여 각각의 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 제1 학습된 파라미터 내지 제n 학습된 파라미터를 각각 이용해 변환 데이터(x')에 대한 각각의 제2_1 특성 정보(y1') 내지 제2_n 특성 정보(yn')를 출력하도록 한다.
그리고, 데이터 변조 장치(100)는 (i) 제1_1 특성 정보 내지 제1_n 특성 정보와 (ii) 제1_1 특성 정보 내지 제1_n 특성 정보 각각에 대응되는 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
또한, 데이터 변조 장치(100)는 (i) 제2_1 특성 정보 내지 제2_n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 (ii) 이에 각각 대응되는 제1 GT 내지 제n GT를 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
이에 더하여, 데이터 변조 장치(100)는 제1_1 로스 내지 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스를 이용한 백프로파게이션을 통해 원본 데이터 또는 변환 데이터를 업데이트하여 원본 데이터에 대응되는 변조된 데이터를 생성할 수 있다.
도 8a 및 도 8b는 본 발명의 실시예에 따라 원본 데이터와 컨실링 처리된 원본 데이터를 개략적으로 도시한 것이다.
도 8a는 캐나다 고등 연구소(CIFAR: Canadian Institute for Advanced Research)에서 이미지 분류 문제 해결을 위해 수집해 정리한 데이터인 CIFAR-10 데이터 세트로부터 선정된 64개의 이미지 샘플을 예시적으로 나타내는 도면이다.
도 8a의 이미지 샘플을 원본 데이터로 하여 본 발명의 실시예에 따라 컨실링 처리한 변조된 데이터는 도 8b에서와 같이 나타내어진다.
도 8a 및 도 8b를 참조하면, 본 발명의 실시예에 따라 컨실링 처리된 도 8b의 64개의 변조된 데이터는, 도 8a의 64개의 원본 데이터와는 시각적으로 상이하나, 러닝 네트워크에 입력할 경우, 러닝 네트워크는 원본 데이터와 동일하거나 유사한 결과를 출력한다.
한편, 본 발명의 실시예에 따라 데이터 변조 장치(100)에서 컨실링 처리된 변조된 데이터는 이미지 빅데이터 구매자에게 제공 또는 판매될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 위의 구매자에게 컨실링 처리된 이미지 데이터가 제공 또는 판매되면서, 데이터 변조 장치(100)에서의 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 인스트럭션의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록되어 제공될 수 있다. 본 발명의 일 실시예에 따르면, 구매자는 기록 매체에 기록된 프로그램 인스트럭션을 컴퓨팅 장치를 이용하여 실행함으로써, 자신이 별도로 보유하거나 다른 출처로부터 획득된 원본 데이터로부터 컨실링 처리된 데이터를 생성할 수 있으며, 컨실링 처리된 데이터를 자신의 러닝 네트워크에서 이용할 수 있게 된다. 또한, 구매자는 그 컨실링 처리된 데이터, 자신이 보유하거나 다른 출처로부터 획득된 원본 이미지 데이터, 및 자신에게 제공 또는 판매된 컨실링 처리된 이미지 데이터 중 적어도 둘 이상을 자신의 러닝 네트워크에서 함께 사용할 수도 있게 된다.
한편, 본 발명의 일 실시예에 다르면, 데이터 변조 장치(100)의 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 인스트럭션의 형태로 구현한 경우, 정확도가 높게 설정되어 구매자의 컴퓨팅 장치에서는 컴퓨팅 오버 헤드(Computational Overhead)를 발생시킬 수 있으므로, 구매자가 설정을 통해 정확도를 감소시킬 수 있도록 하여 컴퓨팅 오버 헤드를 방지할 수 있도록 할 수 있다.
한편, 본 명세서에 명시된 “평균”은 가중 평균(Weighted Average)을 의미하지만, 이에 한정된 것은 아니다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 데이터 변조 장치,
110: 메모리,
120: 프로세서
110: 메모리,
120: 프로세서
Claims (28)
- 개인 정보 보호를 위하여 원본 데이터를 컨실링(Concealing) 처리하는 방법에 있어서,
(a) 상기 원본 데이터가 획득되면, 데이터 변조 장치(Data Obfuscation Device)가, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 단계; 및
(b) 상기 데이터 변조 장치가, (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응하는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 단계;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 각각 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (a) 단계에서,
상기 데이터 변조 장치는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크의 상기 제1 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 제1 특성 정보를 출력하도록 하며,
상기 (b) 단계에서,
상기 데이터 변조 장치는, (i) 상기 제1 특성 정보와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 산출된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 상기 제1 태스크 특정 출력에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터 또는 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고,
상기 데이터 변조 장치가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하며, (ii) (ii-1) 상기 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 생성된 적어도 하나의 제1_k 로스와, (ii-2) 상기 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 값 및 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성하는 방법. - 삭제
- 제 1 항에 있어서,
상기 데이터 변조 장치는, (i) 상기 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 상기 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스 및 (iii) 상기 제1_1 로스 내지 제1_n 로스와 상기 제1_1 로스 내지 제1_n 로스 각각에 대응되는 상기 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성하는 방법. - 제 1 항에 있어서,
상기 (b) 단계에서,
상기 데이터 변조 장치는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지하는 방법. - 제 1 항에 있어서,
상기 (b) 단계에서,
상기 데이터 변조 장치는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 최소화하기 위한 적어도 하나의 로스 그래디언트(Loss Gradient)를 획득하고, 상기 로스 그래디언트를 상기 원본 데이터 또는 상기 변환 데이터로 백프로파게이션하는 방법. - 제 1 항에 있어서,
상기 (a) 단계에서,
상기 데이터 변조 장치는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성하는 방법. - 개인 정보 보호를 위하여 원본 데이터를 컨실링(Concealing) 처리하는 방법에 있어서,
(a) 상기 원본 데이터가 획득되면, 데이터 변조 장치(Data Obfuscation Device)가, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 단계; 및
(b) 상기 데이터 변조 장치가, (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응하는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 단계;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (a) 단계에서,
상기 데이터 변조 장치는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 하며,
상기 (b) 단계에서,
상기 데이터 변조 장치는, (i) 상기 제1 특성 정보 내지 상기 제n 특성 정보와 이에 각각 대응되는 적어도 하나의 제1_1 GT 내지 적어도 하나의 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스 중 하나, (ii) 상기 제1 특성 정보 내지 상기 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제2_1 GT 내지 적어도 하나의 제2_n GT를 참조하여 생성된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성하는 방법. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 방법에 있어서,
(a) 상기 원본 데이터가 획득되면, 데이터 변조 장치가, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 단계;
(b) 상기 데이터 변조 장치가, (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 단계; 및
(c) 상기 데이터 변조 장치가, (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 단계;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (b) 단계에서,
상기 데이터 변조 장치는, (i) 상기 원본 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i-1) 상기 제1 러닝 네트워크의 적어도 하나의 제1 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (ii-1) 상기 제1 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2_1 특성 정보를 출력하도록 하며,
상기 (c) 단계에서,
상기 데이터 변조 장치는, (i) 상기 제1_1 특성 정보와 상기 제2_1 특성 정보를 참조하여 생성된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제2_1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제1 GT를 참조하여 생성된 적어도 하나의 제2_1 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 제1 데이터 로스를 이용한 백프로파게이션을 통해 상기 변환 데이터를 업데이트하여 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고,
상기 데이터 변조 장치가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 상기 원본 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_k 특성 정보를 출력하도록 하는 프로세스, (ii) 제k-1 변조된 데이터를 상기 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (ii-1) 상기 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 제k-1 변조된 데이터에 대한 제2_k 특성 정보를 출력하도록 하는 프로세스 및 (iii) (iii-1) 상기 제1_k 특성 정보와 상기 제2_k 특성 정보를 참조하여 산출된 적어도 하나의 제1_k 로스와, (iii-2) 상기 제2_k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 이에 대응되는 적어도 하나의 제k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 제k 데이터 로스를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성하는 방법. - 삭제
- 제 8 항에 있어서,
상기 데이터 변조 장치는, 상기 제1 데이터 로스 내지 제n 데이터 로스를 평균한 적어도 하나의 평균 데이터 로스를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성하는 방법. - 제 10 항에 있어서,
(i) 상기 제1_1 로스 내지 상기 제1_n 로스를 평균한 적어도 하나의 평균을 제1 서브 로스(Sub Loss)로서 산출하고 (ii) 특정 특성 정보와 상기 제2_1 로스 내지 상기 제2_n 로스를 평균한 평균값을 참조로 하여 제2 서브 로스를 산출하는 방법. - 제 8 항에 있어서,
상기 (c) 단계에서,
상기 데이터 변조 장치는, 상기 데이터 로스를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지하는 방법. - 제 8 항에 있어서,
상기 (a) 단계에서,
상기 데이터 변조 장치는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성하는 방법. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 방법에 있어서,
(a) 상기 원본 데이터가 획득되면, 데이터 변조 장치가, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 단계;
(b) 상기 데이터 변조 장치가, (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 단계; 및
(c) 상기 데이터 변조 장치가, (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 단계;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (b) 단계에서,
상기 데이터 변조 장치는, (i) 상기 원본 데이터 및 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 (ii) 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (ii-1) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 및 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii-2) 상기 원본 데이터에 대한 각각의 제1_1 특성 정보 내지 제1-_n 특성 정보를 출력하도록 하며, (ii-3) 상기 변환 데이터에 대한 각각의 제2_1 특성 정보 내지 제2_n 특성 정보를 출력하도록 하며,
상기 (c) 단계에서,
상기 데이터 변조 장치는, (i) 상기 제1_1 특성 정보 내지 상기 제1_n 특성 정보와 이에 각각 대응되는 상기 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 상기 제1 로스 중 하나, (ii) 상기 제2_1 특성 정보 내지 상기 제2_n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제1 GT 내지 적어도 하나의 제n GT를 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 상기 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 상기 제2_1 로스 내지 상기 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성하는 방법. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치(Data Obfuscation Device)에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 상기 원본 데이터가 획득되면, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 프로세스; 및 (II) (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응되는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 각각 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크의 상기 제1 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 제1 특성 정보를 출력하도록 하며,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 제1 특성 정보와 이에 대응되는 적어도 하나의 제1_1 GT를 참조하여 산출된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제2_1 GT를 참조하여 산출된 적어도 하나의 제2_1 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터 또는 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고,
상기 프로세서가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 제k-1 변조된 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 제k-1 변조된 데이터에 대한 제k 특성 정보를 출력하도록 하며, (ii) (ii-1) 상기 제k 특성 정보와 이에 대응되는 적어도 하나의 제1_k GT를 참조하여 생성된 적어도 하나의 제1_k 로스와, (ii-2) 상기 제k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 값 및 이에 대응되는 적어도 하나의 제2_k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성하는 데이터 변조 장치. - 삭제
- 제 15 항에 있어서,
상기 프로세서는, (i) 상기 제1_1 로스 내지 제1_n 로스를 평균한 제1 평균 로스, (ii) 상기 제2_1 로스 내지 제2_n 로스를 평균한 제2 평균 로스 및 (iii) 상기 제1_1 로스 내지 제1_n 로스와 상기 제1_1 로스 내지 제1_n 로스 각각에 대응되는 상기 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 평균 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성하는 데이터 변조 장치. - 제 15 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지하는 데이터 변조 장치. - 제 15 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 제1 로스와 상기 제2 로스 중 적어도 일부를 최소화하기 위한 적어도 하나의 로스 그래디언트(Loss Gradient)를 획득하고, 상기 로스 그래디언트를 상기 원본 데이터 또는 상기 변환 데이터로 백프로파게이션하는 데이터 변조 장치. - 제 15 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성하는 데이터 변조 장치. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치(Data Obfuscation Device)에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 상기 원본 데이터가 획득되면, 상기 원본 데이터 또는 이에 대응되는 변환 데이터(Modified Data)를 러닝 네트워크(Learning Network)에 입력하여 상기 러닝 네트워크로 하여금 (i) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 특성 정보(Characteristic Information)를 출력하도록 하는 프로세스; 및 (II) (i) 상기 특성 정보와 이에 대응되는 적어도 하나의 제1 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제1 로스와 (ii) (ii-1) 상기 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력(Task Specific Output) 및 (ii-2) 이에 대응되는 적어도 하나의 제2 GT를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터(Obfuscated Data)를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 원본 데이터 또는 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (i) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 또는 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii) 상기 원본 데이터 또는 상기 변환 데이터에 대한 각각의 제1 특성 정보 내지 제n 특성 정보를 출력하도록 하며,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 제1 특성 정보 내지 상기 제n 특성 정보와 이에 각각 대응되는 적어도 하나의 제1_1 GT 내지 적어도 하나의 제1_n GT를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 제1 로스 중 하나, (ii) 상기 제1 특성 정보 내지 상기 제n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제2_1 GT 내지 적어도 하나의 제2_n GT를 참조하여 생성된 제2_1 로스 내지 제2_n 로스의 평균인 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 제2_1 로스 내지 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성하는 데이터 변조 장치. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 상기 원본 데이터가 획득되면, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 프로세스; (II) (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 프로세스; 및 (III) (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하거나 타 장치로 하여금 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 원본 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (i-1) 상기 제1 러닝 네트워크의 적어도 하나의 제1 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 제1 러닝 네트워크에 입력하여 상기 제1 러닝 네트워크로 하여금 (ii-1) 상기 제1 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2_1 특성 정보를 출력하도록 하며,
상기 (III) 프로세스에서,
상기 프로세서는, (i) 상기 제1_1 특성 정보와 상기 제2_1 특성 정보를 참조하여 생성된 적어도 하나의 제1_1 로스와, (ii) (ii-1) 상기 제2_1 특성 정보를 이용하여 생성된 적어도 하나의 제1 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 제1 GT를 참조하여 생성된 적어도 하나의 제2_1 로스 중 적어도 일부를 참조하여 산출된 적어도 하나의 제1 데이터 로스를 이용한 백프로파게이션을 통해 상기 변환 데이터를 업데이트하여 상기 변환 데이터에 대응되는 제1 변조된 데이터를 생성하고,
상기 프로세서가, 정수인 k를 2부터 n까지 증가시켜가며, (i) 상기 원본 데이터를 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (i-1) 상기 제k 러닝 네트워크의 적어도 하나의 제k 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1_k 특성 정보를 출력하도록 하는 프로세스, (ii) 제k-1 변조된 데이터를 상기 제k 러닝 네트워크에 입력하여 상기 제k 러닝 네트워크로 하여금 (ii-1) 상기 제k 학습된 파라미터를 이용해 상기 제k-1 변조된 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 제k-1 변조된 데이터에 대한 제2_k 특성 정보를 출력하도록 하는 프로세스 및 (iii) (iii-1) 상기 제1_k 특성 정보와 상기 제2_k 특성 정보를 참조하여 산출된 적어도 하나의 제1_k 로스와, (iii-2) 상기 제2_k 특성 정보를 이용하여 생성된 적어도 하나의 제k 태스크 특정 출력과 이에 대응되는 적어도 하나의 제k GT를 참조하여 산출된 적어도 하나의 제2_k 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 제k 데이터 로스를 이용한 백프로파게이션을 통해 상기 제k-1 변조된 데이터를 업데이트하여 상기 제k-1 변조된 데이터에 대응되는 제k 변조된 데이터를 생성하는 프로세스를 반복함으로써, 상기 원본 데이터에 대응되는 상기 변조된 데이터인 제n 변조된 데이터를 생성하는 데이터 변조 장치. - 삭제
- 제 22 항에 있어서,
상기 데이터 변조 장치는, 상기 제1 데이터 로스 내지 제n 데이터 로스를 평균한 적어도 하나의 평균 데이터 로스를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 변조된 데이터를 생성하는 데이터 변조 장치. - 제 24 항에 있어서,
(i) 상기 제1_1 로스 내지 상기 제1_n 로스를 평균한 적어도 하나의 평균을 제1 서브 로스(Sub Loss)로서 산출하고 (ii) 특정 특성 정보와 상기 제2_1 로스 내지 상기 제2_n 로스를 평균한 평균값을 참조로 하여 제2 서브 로스를 산출하는 데이터 변조 장치. - 제 22 항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서는, 상기 데이터 로스를 이용한 백프로파게이션 진행 중에 상기 러닝 네트워크의 상기 학습된 파라미터를 고정된 값으로 유지하는 데이터 변조 장치. - 제 22 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 원본 데이터에 대한 랜덤 노이즈 생성 네트워크를 통해 생성된 랜덤 노이즈 추가 프로세스, 상기 원본 데이터에 대한 블러(Blur) 처리 프로세스 및 상기 원본 데이터의 해상도 변경 프로세스 중 적어도 하나의 프로세스를 수행하여 상기 원본 데이터에 대응되는 상기 변환 데이터를 생성하는 데이터 변조 장치. - 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 데이터 변조 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 상기 원본 데이터가 획득되면, 상기 원본 데이터를 변환하여 변환 데이터를 생성하는 프로세스; (II) (i) 상기 원본 데이터를 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (i-1) 상기 러닝 네트워크의 적어도 하나의 학습된 파라미터를 이용해 상기 원본 데이터에 대하여 네트워크 연산을 적용하도록 하여 (i-2) 상기 원본 데이터에 대한 제1 특성 정보를 출력하도록 하며, (ii) 상기 변환 데이터를 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 (ii-1) 상기 학습된 파라미터를 이용해 상기 변환 데이터에 대하여 네트워크 연산을 적용하도록 하여 (ii-2) 상기 변환 데이터에 대한 제2 특성 정보를 출력하도록 하는 프로세스; 및 (III) (i) 상기 제1 특성 정보와 상기 제2 특성 정보를 참조하여 산출된 적어도 하나의 제1 로스와, (ii) (ii-1) 상기 제 2 특성 정보를 이용하여 생성된 적어도 하나의 태스크 특정 출력과 (ii-2) 이에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 산출된 적어도 하나의 제2 로스 중 적어도 일부를 참조하여 생성된 적어도 하나의 데이터 로스를 이용한 백프로파게이션(Backpropagation)을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 변조된 데이터를 생성하는 프로세스;를 수행하기 위한 상기 인스트럭션을 실행하거나 타 장치로 하여금 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하며,
상기 러닝 네트워크는 적어도 하나의 제1 학습된 파라미터 내지 적어도 하나의 제n 학습된 파라미터를 가진 제1 러닝 네트워크 내지 제n 러닝 네트워크를 포함하며 상기 n은 1 이상의 정수일 때,
상기 (II) 프로세스에서,
상기 프로세서는, (i) 상기 원본 데이터 및 상기 변환 데이터를 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각에 입력하여 (ii) 각각의 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크로 하여금 (ii-1) 상기 제1 러닝 네트워크 내지 상기 제n 러닝 네트워크 각각의 상기 제1 학습된 파라미터 내지 상기 제n 학습된 파라미터를 이용해 상기 원본 데이터 및 상기 변환 데이터에 대하여 해당 러닝 네트워크에 대응하는 네트워크 연산을 적용하도록 하여 (ii-2) 상기 원본 데이터에 대한 각각의 제1_1 특성 정보 내지 제1_n 특성 정보를 출력하도록 하며, (ii-3) 상기 변환 데이터에 대한 각각의 제2_1 특성 정보 내지 제2_n 특성 정보를 출력하도록 하며,
상기 (III) 프로세스에서,
상기 프로세서는, (i) 상기 제1_1 특성 정보 내지 상기 제1_n 특성 정보와 이에 각각 대응되는 상기 제2_1 특성 정보 내지 제2_n 특성 정보를 참조하여 산출된 제1_1 로스 내지 제1_n 로스의 평균인 상기 제1 로스 중 하나, (ii) 상기 제2_1 특성 정보 내지 상기 제2_n 특성 정보 각각을 이용하여 생성된 제1 태스크 특정 출력 내지 제n 태스크 특정 출력과 이에 각각 대응되는 적어도 하나의 제1 GT 내지 적어도 하나의 제n GT를 더 참조하여 산출된 제2_1 로스 내지 제2_n 로스의 평균인 상기 제2 로스 중 하나, 및 (iii) 상기 제1_1 로스 내지 상기 제1_n 로스와 이에 각각 대응되는 상기 제2_1 로스 내지 상기 제2_n 로스를 각각 요소별 합산(Piecewise Summation)한 제1 합산 로스 내지 제n 합산 로스를 평균한 제3 로스 중 적어도 일부를 이용한 백프로파게이션을 통해 상기 원본 데이터 또는 상기 변환 데이터를 업데이트하여 상기 원본 데이터에 대응되는 상기 변조된 데이터를 생성하는 데이터 변조 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190099177A KR102244190B1 (ko) | 2019-08-13 | 2019-08-13 | 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190099177A KR102244190B1 (ko) | 2019-08-13 | 2019-08-13 | 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210019913A KR20210019913A (ko) | 2021-02-23 |
| KR102244190B1 true KR102244190B1 (ko) | 2021-04-26 |
Family
ID=74688397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190099177A KR102244190B1 (ko) | 2019-08-13 | 2019-08-13 | 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102244190B1 (ko) |
-
2019
- 2019-08-13 KR KR1020190099177A patent/KR102244190B1/ko active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| Chhabra. Generative Adversarial Networks for Image Anonymization. RWTH Aachen University Master Thesis, 2017년, pp. 1-59. 1부.* |
| Steve & Rathinakumar. Backpropagation for Energy Efficient Neuromorphic Computing. NIPS, 2015년, pp. 1-9. 1부.* |
| 오성탁 외 6명. 영상 데이터 익명화 기술 및 평가방안. 한국정보화진흥원, 2019년 2월, pp. 1-16. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210019913A (ko) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7041823B2 (ja) | データをコンシール処理する方法及びこれを利用したデータ変調装置 | |
| KR102183335B1 (ko) | 프라이버시를 위하여 데이터를 컨실링 처리할 수 있는 변조 네트워크에 대응되는 적응 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 | |
| KR102184787B1 (ko) | 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 | |
| US11017319B1 (en) | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same | |
| KR102412832B1 (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치 | |
| US11017320B1 (en) | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same | |
| US11200342B1 (en) | Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same | |
| US11366930B1 (en) | Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same | |
| US11244248B1 (en) | Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same | |
| US11308359B1 (en) | Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same | |
| KR102570955B1 (ko) | 러닝 네트워크의 학습에 이용하기 위한 익명화 이미지를 생성하는 방법 및 이를 이용한 라벨링 장치 | |
| KR20230121974A (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 | |
| KR102244190B1 (ko) | 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 | |
| Hewage et al. | Optimizing the trade-off between classification accuracy and data privacy in the area of data stream mining | |
| KR102260039B1 (ko) | 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |