KR102389915B1 - 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 - Google Patents

원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 Download PDF

Info

Publication number
KR102389915B1
KR102389915B1 KR1020210123556A KR20210123556A KR102389915B1 KR 102389915 B1 KR102389915 B1 KR 102389915B1 KR 1020210123556 A KR1020210123556 A KR 1020210123556A KR 20210123556 A KR20210123556 A KR 20210123556A KR 102389915 B1 KR102389915 B1 KR 102389915B1
Authority
KR
South Korea
Prior art keywords
image
learning
region
concealing
training
Prior art date
Application number
KR1020210123556A
Other languages
English (en)
Other versions
KR20220041743A (ko
Inventor
구본헌
Original Assignee
주식회사 딥핑소스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥핑소스 filed Critical 주식회사 딥핑소스
Publication of KR20220041743A publication Critical patent/KR20220041743A/ko
Application granted granted Critical
Publication of KR102389915B1 publication Critical patent/KR102389915B1/ko

Links

Images

Classifications

    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Facsimile Transmission Control (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 원본 이미지의 각 영역들에 대응한 특징적 컨실링 프로세스들을 혼합하여 원본 이미지를 컨실링 처리하여 변조 이미지를 생성함으로써 사람에게서는 변조 이미지가 원본 이미지와는 다른 것으로 인식되며 러닝 네트워크에서 변조 이미지가 원본 이미지로 인식될 수 있도록 하는 것이다.

Description

원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 {METHODS FOR TRAINING AND TESTING OBFUSCATION NETWORK CAPABLE OF PERFORMING DISTINCT CONCEALING PROCESSES FOR DISTINCT REGIONS OF ORIGINAL IMAGE AND LEARNING AND TESTING DEVICES USING THE SAME}
본 발명은 원본 이미지를 컨실링 처리하는 변조 네트워크(obfuscation network)에 관한 것으로, 보다 상세하게는, 원본 이미지의 각 영역들에 대응한 특징적 비식별화 프로세스들을 혼합하여 원본 이미지를 비식별화하는 비식별화 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치에 관한 것이다.
빅데이터(big data)란, 기존의 기업 환경이나 공공 기관에서 사용되는 정형화된 데이터는 물론, 전자 상거래 데이터, 메타 데이터, 웹 로그 데이터, 무선 식별(RFID: Radio Frequency Identification) 데이터, 센서 네트워크 데이터, 소셜 네트워크 데이터, 인터넷 텍스트와 문서에 관한 데이터, 인터넷 검색 인덱싱 데이터 등 기존에 미처 활용하지 못하던 비정형화 또는 반정형화된 데이터를 모두 포함하는 데이터로서, 이와 같은 데이터는 일반적으로 보통의 소프트웨어 툴 및 컴퓨터 시스템으로는 다루기 어려운 수준의 데이터 양을 갖게 된다는 의미에서 빅데이터라 칭하고 있다.
또한, 이러한 빅데이터는 그 자체만으로는 의미가 없을 수 있으나, 패턴 등에 대한 기계 학습을 통해 다양한 분야에서 새로운 데이터를 만들어내거나 판단 또는 예측을 하는데 유용하게 사용될 수 있다.
근래에 들어, 개인 정보 보호법 강화 등으로 인해 이러한 빅데이터를 거래 또는 공유하기 위해서는 해당 데이터의 개인 식별이 가능한 정보를 삭제하거나 해당 개인의 동의를 받는 것이 요구된다. 하지만, 상당한 양의 빅데이터 중 개인 식별이 가능한 정보가 있는지 여부를 일일이 확인하기도 어려울 뿐만 아니라 개인의 동의를 일일이 받는 것도 불가능하였기 때문에 이를 지원하기 위한 다양한 컨실링 기술들이 등장하고 있다.
이에 관한 종래 기술의 일 예로서, 한국등록특허공보 제1861520호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 입력된 변형 대상 이미지에서 사람의 얼굴 영역을 검출하는 검출 단계, 상기 변형 대상 이미지에서 사람이 컨실링 되도록 상기 검출된 얼굴 영역을 사람의 얼굴 형상이 아닌 왜곡된 제1 이미지로 변형하는 제1 컨실링 단계, 및 상기 제1 이미지를 토대로 소정의 얼굴 형성을 갖는 제2 이미지를 생성하고, 상기 변형 대상 이미지에서 상기 제1 이미지를 상기 제2 이미지로 변형시키되, 상기 제2 이미지는 상기 검출 단계에서 검출된 얼굴 영역의 형상과 상이한 얼굴 형상을 갖도록 생성되는 제2 컨실링 단계를 포함하는 얼굴 컨실링 방법이 제공된다.
위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 컨실링 기술은 우선 원본 이미지에서 컨실링 대상이 되는 얼굴, 텍스트 등의 식별 정보를 검출한 다음, 해당 식별 정보를 마스킹, 블러 또는 변형시켜 식별 정보로부터의 개인 정보 유출이 불가능하도록 하는 과정을 포함한다.
그러나, 종래의 컨실링 기술은 보통 컨실링 대상이 되는 식별 정보만을 컨실링 처리하기 때문에 식별 정보를 검출하는 과정에서 검출 대상에서 제외되거나 검출에 실패하여 누락된 식별 정보가 컨실링 되지 않을 경우 변조 이미지에 포함된 육안으로 식별 가능한 정보로부터 개인 정보가 누출될 위험을 가지고 있다는 단점이 있다.
반대로, 개인 정보 누출을 방지하기 위해 원본 이미지에서 식별 정보를 검출하고 이에 대한 컨실링 처리를 하여 변조 이미지를 생성하는 과정에서 원본 이미지 상의 식별 정보의 위치를 기준으로 높은 강도의 광범위한 컨실링을 진행하는 경우, 정보 손실로 인해 변조 이미지를 데이터로서 사용할 때 특정 목적에 필요한 정보를 추출하는 데에 어려움이 있을 수 있다는 한계가 존재한다.
따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 원본 이미지를 컨실링하여 변조 이미지를 생성하되, 변조 이미지가 인간의 육안으로는 다른 이미지로 인식되도록 하며 러닝 네트워크에서는 원본 이미지와 동일하게 인식되도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은 원본 이미지 복구를 통해 육안에 의한 원본 이미지 유추가 불가능하도록 충분한 컨실링 프로세스를 적용하되 데이터 분석에 필요한 중요 피쳐들은 보존함으로써, 머신 러닝 네트워크는 원본 이미지에 포함된 중요 피쳐들을 동일하거나 유사하게 출력하여 데이터 분석이 가능하도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 원본 이미지를 컨실리하여 변조 이미지를 생성하되, 변조 이미지가 인간의 육안으로는 다른 이미지로 인식되도록 하며, 변조 이미지의 특정 영역에 대해서는 러닝 네트워크가 원본 이미지에서와 동일하거나 유사하게 인식할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 제1 영역 내지 제n 영역을 포함하는 원본 이미지 전체에 걸쳐 비가역적인 컨실링 프로세스를 진행하여 변조 이미지를 생성함으로써 변조 이미지는 인간이 육안으로 식별 가능한 정보를 포함하지 않도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 원본 이미지의 영역별로 서로 다른 강도의 컨실링 프로세스를 진행하여 변조 이미지의 사용 용도에 따라 컨실링 처리 과정을 특화시킬 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 빅데이터 거래 시장을 보다 활성화시키는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법에 있어서, (a) 학습 장치가, 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및 (c) 상기 학습 장치가, 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 단계;를 포함하는 방법이 개시된다.
일례로서, (d) 상기 학습 장치가, 상기 제1 판별기 내지 상기 제n 판별기 각각이 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스를 각각 최소화하며, 상기 제1 판별기 내지 상기 제n 판별기에 각각 입력된 상기 제1 참조 이미지 내지 상기 제n 참조 이미지 각각에 대응되는 제1 참조 이미지 스코어 내지 제n 참조 이미지 스코어를 참조하여 생성한 제1_2 판별 로스 내지 제n_2 판별 로스를 각각 최대화하도록 상기 제1 판별기 내지 상기 제n 판별기 각각을 학습시키는 단계;를 더 포함하는 하는 것을 특징으로 하는 방법이 개시된다.
일례로서, (e) 상기 학습 장치가, 상기 정확도 로스를 최소화하도록 상기 이미지 식별 네트워크를 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 학습 장치는, 상기 합산 로스를 이용하여 상기 변조 네트워크의 학습을 진행할 때, 상기 학습용 제1 영역 내지 상기 학습용 제n 영역 중 어느 하나의 영역인 학습용 제k - 상기 k는 1보다 크거나 같으며 n보다 작거나 같은 정수임 - 영역에 대해서는, 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스 중 상기 학습용 제k 영역에 대응되는 제k_1 판별 로스에 가장 높은 가중치를 적용하여 학습을 진행하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 학습 장치는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 학습용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 학습용 제n 영역을 컨실링 처리하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 학습 장치는, 상기 학습 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 학습용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 학습용 제n 영역으로 설정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 학습 장치는, (i) 상기 학습 이미지에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 학습 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 학습 이미지에 대응되는 학습용 히트맵을 생성하도록 하며, 상기 학습용 히트맵으로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 방법에 있어서, (a) 학습 장치에 의해, (i) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 테스트 장치가, 적어도 하나의 테스트 이미지를 획득하는 단계; 및 (b) 상기 테스트 장치가, 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 단계;를 포함하는 방법이 개시된다.
일례로서, 상기 테스트 장치는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 테스트용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 테스트용 제n 영역을 컨실링 처리하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 테스트 장치는, 상기 테스트 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 테스트용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 테스트용 제n 영역으로 설정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 테스트 장치는, (i) 상기 테스트 이미지에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 테스트 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 테스트 이미지에 대응되는 테스트용 히트맵을 생성하도록 하며, 상기 테스트용 히트맵으로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 또 다른 태양에 따르면, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 학습 장치에 있어서, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 동작을 수행하는 프로세서;를 포함하되, 상기 프로세서는, (I) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 프로세스, (II) (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 프로세스, 및 (III) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 프로세스를 수행하는 학습 장치가 개시된다.
일례로서, (IV) 상기 프로세서가, 상기 제1 판별기 내지 상기 제n 판별기 각각이 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스를 각각 최소화하며, 상기 제1 판별기 내지 상기 제n 판별기에 각각 입력된 상기 제1 참조 이미지 내지 상기 제n 참조 이미지 각각에 대응되는 제1 참조 이미지 스코어 내지 제n 참조 이미지 스코어를 참조하여 생성한 제1_2 판별 로스 내지 제n_2 판별 로스를 각각 최대화하도록 상기 제1 판별기 내지 상기 제n 판별기 각각을 학습시키는 프로세스;를 더 포함하는 하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, (V) 상기 프로세서가, 상기 정확도 로스를 최소화하도록 상기 이미지 식별 네트워크를 학습시키는 프로세스;를 더 포함하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 합산 로스를 이용하여 상기 변조 네트워크의 학습을 진행할 때, 상기 학습용 제1 영역 내지 상기 학습용 제n 영역 중 어느 하나의 영역인 학습용 제k 영역에 대해서는, 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스 중 상기 학습용 제k - 상기 k는 1보다 크거나 같으며 n보다 작거나 같은 정수임 - 영역에 대응되는 제k_1 판별 로스에 가장 높은 가중치를 적용하여 학습을 진행하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 학습용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 학습용 제n 영역을 컨실링 처리하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 학습 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 학습용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 학습용 제n 영역으로 설정하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 프로세서는, (i) 상기 학습 이미지에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 학습 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 학습 이미지에 대응되는 학습용 히트맵을 생성하도록 하며, 상기 학습용 히트맵으로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 학습 장치가 개시된다.
본 발명의 또 다른 태양에 따르면, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 테스트 장치에 있어서, 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 동작을 수행하는 프로세서;를 포함하되, 상기 프로세서는, (I) 학습 장치에 의해, (i) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 적어도 하나의 테스트 이미지를 획득하는 프로세스, (II) 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 프로세스를 수행하는 테스트 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 테스트용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 테스트용 제n 영역을 컨실링 처리하는 것을 특징으로 하는 테스트 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 테스트 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 테스트용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 테스트용 제n 영역으로 설정하는 것을 특징으로 하는 테스트 장치가 개시된다.
일례로서, 상기 프로세서는, (i) 상기 테스트 이미지에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 테스트 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 테스트 이미지에 대응되는 테스트용 히트맵을 생성하도록 하며, 상기 테스트용 히트맵으로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 테스트 장치가 개시된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 원본 이미지를 컨실링하여 변조 이미지를 생성하되, 변조 이미지가 인간의 육안으로는 다른 이미지로 인식되도록 하며 러닝 네트워크에서는 원본 이미지와 동일하게 인식되도록 하는 효과가 있다.
또한, 본 발명은 원본 이미지 복구를 통해 육안에 의한 원본 이미지 유추가 불가능하도록 충분한 컨실링 프로세스를 적용하되 데이터 분석에 필요한 중요 피쳐들은 보존함으로써, 머신 러닝 네트워크는 원본 이미지에 포함된 중요 피쳐들을 동일하거나 유사하게 출력하여 데이터 분석이 가능하도록 하는 효과가 있다.
또한, 본 발명은 원본 이미지를 컨실리하여 변조 이미지를 생성하되, 변조 이미지가 인간의 육안으로는 다른 이미지로 인식되도록 하며, 변조 이미지의 특정 영역에 대해서는 러닝 네트워크가 원본 이미지에서와 동일하거나 유사하게 인식할 수 있도록 하는 효과가 있다.
또한, 본 발명은 제1 영역 내지 제n 영역을 포함하는 원본 이미지 전체에 걸쳐 비가역적인 컨실링 프로세스를 진행하여 변조 이미지를 생성함으로써 변조 이미지는 인간이 육안으로 식별 가능한 정보를 포함하지 않도록 하는 효과가 있다.
또한, 본 발명은 원본 이미지의 영역별로 서로 다른 강도의 컨실링 프로세스를 진행하여 변조 이미지의 사용 용도에 따라 컨실링 처리 과정을 특화시킬 수 있도록 하는 효과가 있다.
또한, 본 발명은 빅데이터 거래 시장을 보다 활성화시키는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(obfuscation network)를 학습시키는 학습 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법을 개략적으로 도시한 것이며,
도 3은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법에서 사용되는 학습 이미지, 학습용 라벨링 정보, 노이즈 기준값, 및 학습용 변조 이미지를 예시적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법에서 학습 이미지, 학습용 히트맵, 노이즈 기준값, 및 학습용 변조 이미지를 예시적으로 도시한 것이며,
도 5는 본 발명의 일 실시예에 따라 어텐션 네트워크가 이미지 상에서 attention 영역을 하이라이트한 상태를 예시적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법에서 판별기(discriminator)를 학습시키는 방법을 개략적으로 도시한 것이며,
도 7은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법에서 이미지 인식 네트워크(image recognition network)를 학습시키는 방법을 개략적으로 도시한 것이고,
도 8은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 테스트 장치를 개략적으로 도시한 것이고,
도 9는 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 방법을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(obfuscation network)를 학습시키는 학습 장치(1000)를 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 학습 장치(1000)는 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 동작을 수행하는 프로세서(1002)를 포함할 수 있다.
구체적으로, 학습 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
한편, 학습 장치(1000)는 원본 이미지에 대한 컨실링 프로세스를 진행하기 위한 장치이거나 서버일 수 있으며, 원본 이미지를 생산하는 서버, 단말, 기기 및 이와 연동된 컴퓨터 장치에 탑재되어 획득된 원본 이미지에 대한 컨실링 프로세스를 수행할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 학습 장치(1000)를 이용하여 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습시키는 방법을 도 2 내지 도 7을 참조하여 설명하면 다음과 같다.
여기서, 변조 네트워크(100)에 입력되는 원본 이미지는 컨실링 프로세스를 수행하여 변조 이미지를 생성할 수 있도록 학습, 테스트 및 인퍼런싱(inferencing) 과정에서 획득된 이미지일 수 있다. 따라서, 본 발명에서 원본 이미지는 학습 과정이나 테스트 과정에서 변조 네트워크(100)에 입력되는 학습 이미지 또는 테스트 이미지일 수 있다.
먼저, 도 2는 본 발명의 일 실시예에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(100)를 학습시키는 방법을 개략적으로 도시한 것이다. 즉, 도 2는 본 발명의 일 실시예에 따라 변조 네트워크(100)의 학습을 위해 학습 이미지(X)의 각 영역들에 대응한 특징적 컨실링 프로세스들을 혼합하여 학습 이미지(X)를 컨실링 처리하는 변조 네트워크(100)를 학습시키는 방법을 개략적으로 도시하고 있다.
먼저, 학습 이미지(X)가 획득되면, 학습 장치(1000)는 학습 이미지(X)를 변조 네트워크(100)에 입력하여 상기 변조 네트워크(100)로 하여금 상기 학습 이미지(X)의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지(X)에 대응되는 학습용 변조 이미지(X')를 생성하도록 할 수 있다.
이 때, 변조 네트워크(100)는 학습 이미지(X)의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 학습 이미지(X)를 학습용 변조 이미지(X')로 컨실링할 수 있으며, 일 예로, 변조 네트워크(100)는 학습 이미지(X)의 학습용 제1 영역 내지 학습용 제n 영역 별로 컨실링 정도가 다르게 수행된 학습용 변조 이미지(X')를 생성할 수 있다. 그리고, 변조 네트워크(100)는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 동시에 수행하여, 학습용 제1 영역 내지 학습용 제n 영역은 각각 제1 컨실링 프로세스 내지 제n 컨실링 프로세스에 의해 컨실링되도록 할 수 있다. 즉, 변조 네트워크(100)는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 혼합하여 학습 이미지(X)를 컨실링 처리함으로써 학습 이미지(X)에서의 학습용 제1 영역 내지 학습용 제n 영역은 각각 제1 컨실링 프로세스 내지 제n 컨실링 프로세스에 의해 컨실링 되도록 할 수 있다.
여기서, 학습 장치(1000)는 학습 이미지(X)의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 학습용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 학습용 제n 영역으로 설정하고, 변조 네트워크(100)로 하여금, 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 학습용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 학습용 제n 영역을 컨실링 처리하도록 할 수 있다.
이를 위해, 학습 장치(100)는 학습 이미지(X)에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 학습 이미지(X)의 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 획득하거나, 학습 이미지(X)를 어텐션 네트워크(attention network)로 입력하여 어텐션 네트워크로 하여금 학습 이미지(X)에 대응되는 학습용 히트맵(heatmap)을 생성하도록 하며, 학습용 히트맵으로부터 학습 이미지(X)의 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 획득하고, 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 변조 네트워크(100)로 입력하여 줄 수 있다.
이때, 학습 이미지(X)에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 학습 이미지(X)의 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 획득하는 과정에 있어서, 학습 이미지(X)의 학습용 제1 영역 정보 내지 학습용 제n 영역 정보는 휴먼 라벨러가 학습 이미지(X)에서 학습용 제1 영역 내지 학습용 제n 영역을 설정함으로써 생성될 수 있다. 또한, 학습용 라벨링 정보는 머신 러닝 기반의 세그먼테이션 네트워크를 통해 학습 이미지(X)를 학습용 제1 영역 내지 학습용 제n 영역으로 세그먼테이션함으로써 생성되거나 머신 러닝 기반의 리그레션(Regression) 네트워크를 통해 학습 이미지(X) 내 객체들에 대한 바운딩 박스들을 표시함으로써 생성될 수 있다.
이에 따라, 학습 장치(1000)는, 학습 이미지의 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 획득하면, 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 변조 네트워크(100)로 입력하여, 변조 네트워크(100)로 하여금 학습용 제1 영역 정보 내지 학습용 제n 영역 정보 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 수행하도록 할 수 있다.
일 예로, 도 3에서와 같이 학습용 라벨링 정보가 주어진다고 가정하면, 변조 네트워크(100)는 획득된 학습용 라벨링 정보를 참조하여 학습용 제1 영역(A1)에는 제1 노이즈 기준값(Noise_1)에 큰 웨이트를 적용하여, 학습용 제2 영역(A2)에는 제2 노이즈 기준값(Noise_2)에 큰 웨이트를 적용함으로써 학습용 변조 이미지(X')를 생성하였음을 알 수 있다. 도 3에서는 학습 이미지(X)의 전체 영역을 컨실링할 두 개의 학습 영역, 즉, A1과 A2로 나눔에 따라 생성된 학습용 변조 이미지(X')는 두 개의 노이즈 기준값, 즉, Noise_1과 Noise_2로 전체영역이 컨실링되었다. 그러나, 본 발명은 이에 한정되지 않으며, 학습 이미지(X)의 적어도 일부 영역을 학습용 제1 영역 내지 학습용 제n 영역으로 설정하여 학습용 제1 영역 내지 학습용 내n 영역으로 표현된 부분만을 제1 컨실링 프로세스 내지 제n 컨실링 프로세스로 각각 컨실링되도록 할 수 있다.
다음으로, 학습 이미지(X)를 어텐션 네트워크로 입력하여 어텐션 네트워크로 하여금 학습 이미지(X)에 대응되는 학습용 히트맵을 생성하도록 하는 과정에 있어서는, 학습 장치(1000)가 학습 이미지(X)를 어텐션 네트워크에 입력하여, 어텐션 네트워크로 하여금 학습 이미지(X)에서 latent features를 많이 포함하는 영역을 하이라이트하도록 할 수 있다. 여기서, latent features를 많이 포함하는 영역이란 기설정된 latent feature의 개수보다 많은 latent features를 포함하는 영역을 가리킬 수 있다. 또한, latent features가 많이 포함된 특정 영역엔 텍스트, 사람, 동물, 차량, 얼굴, 건물 등과 같은 분석 가능한 특징이 포함될 수 있다. 덧붙여, 학습용 변조 이미지(X')가 사용되는 목적에 따라 감지되는 latent features는 달라질 수 있다. 예를 들어, 학습용 변조 이미지(X')가 교통 영상 분석에 쓰이는 경우, 보행자, 차량, 도로 표지판, 차선 등의 특징이 학습 이미지(X) 상의 latent features로 감지될 수 있을 것이다. 이때, 학습용 히트맵 생성에 사용되는 어텐션 네트워크는 사전에 충분히 학습된 상태일 수 있다.
일 예로, 도 4에서와 같이 학습용 히트맵이 주어진다고 가정하면, 학습용 제1 영역(B1)에는 제1 노이즈 기준값(Noise_1)에 큰 웨이트를 적용하여, 학습용 제2 영역(B2)에는 제2 노이즈 기준값(Noise_2)에 큰 웨이트를 적용함으로써 학습용 변조 이미지(X')를 생성하였음을 알 수 있다. 도 4에서는 학습 이미지(X)의 전체 영역을 컨실링할 두 개의 학습 영역, 즉, A1과 A2로 나눔에 따라 생성된 학습용 변조 이미지(X')는 두 개의 노이즈 기준값, 즉, Noise_1과 Noise_2로 전체영역이 컨실링되었다. 그러나, 본 발명은 이에 한정되지 않으며, 학습 이미지(X)의 적어도 일부 영역을 학습용 제1 영역 내지 학습용 제n 영역으로 설정하여 학습용 제1 영역 내지 학습용 내n 영역으로 표현된 부분만을 제1 컨실링 프로세스 내지 제n 컨실링 프로세스로 각각 컨실링되도록 할 수 있다.
도 5를 참조하면, 위와 같은 학습용 히트맵을 생성하기 위해, 어텐션 네트워크는 latent features가 많이 포함된 영역을 판단함으로써 이미지 상에서 특징을 나타내는 영역을 하이라이트하여 줄 수 있다. 참고로, 도 5는, "Show, Attend and tell: Neural Image caption Generation with Visual Attention, Kelvin Xu et al, 2016" 논문에서 기재된 어텐션 네트워크와 관련하여 기재된 내용이다.
여기서, 본 발명에서 사용되는 어텐션 네트워크는 하이라이트된 영역을 참조하여 학습용 히트맵을 생성하는 특정 작업을 수행하는 데 필요한 특정 네트워크 구성에 포함될 수 있다. 또한, 본 발명에 따르면, 어텐션 네트워크는 외부에 위치하여 학습용 히트맵을 생성할 수 있지만, 학습용 히트맵을 직접 생성하기 위해 어텐션 네트워크가 변조 네트워크(100)에 포함되거나 연결되는 경우도 포함할 수 있다.
한편, 변조 네트워크(100)를 통해 생성된 학습용 변조 이미지(X')는 사람에게는 학습 이미지(X)와 다르게 인식되나, 러닝 네트워크에서는 학습 이미지(X)와 동일하거나 유사한 것으로 인식될 수 있다.
또한, 변조 네트워크(100)는 일 예로, 입력되는 학습 이미지(X)를 컨볼루션 연산하는 다수의 컨볼루션 레이어들을 포함하는 인코더(encoder)와, 인코더에서 출력되는 피처맵을 디컨볼루션하여 학습용 변조 이미지(X')를 출력하는 다수의 디컨볼루션 레이어들을 포함하는 디코더(decoder)를 포함할 수 있으나, 이에 한정되지 않으며, 입력되는 학습 이미지(X)를 학습용 변조 이미지(X')로 변조하는 다양한 구조의 러닝 네트워크를 포함할 수 있다.
다음으로, 다시 도 2를 참조하면, 학습 장치(1000)는, 학습 이미지(X)의 전체 영역에 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기(200_1) 내지 학습 이미지(X)의 전체 영역에 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기(200_n) 각각에 학습용 변조 이미지(X')를 입력하여, 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n) 각각으로 하여금, 상기 학습용 변조 이미지(X')가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스를 수행할 수 있다.
이때, 입력되는 이미지에 대해 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n)가 생성하는 이미지 스코어의 최대값은 입력되는 이미지를 진짜로 판단하는 1이며, 이미지 스코어의 최소값은 입력되는 이미지를 가짜로 판단하는 0일 수 있다.
또한, 학습 장치(1000)는, 학습용 변조 이미지(X)를 이미지 식별 네트워크(300)에 입력하여, 이미지 식별 네트워크(300)로 하여금, 학습용 변조 이미지(X')를 러닝 연산하여 학습용 변조 이미지(X')에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행할 수 있다.
이때, 이미지 식별 네트워크(300)는 머신 러닝 네트워크를 포함할 수 있으며, 머신 러닝 네트워크는 K-최근접 이웃(k-Nearest Neighbors), 선형 회귀(Linear Regression), 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM, Support Vector Machine), 결정 트리(Decision Tree)와 랜덤 포레스트(Random Forest), 신경망(Neural Network), 군집(Clustering), 시각화(Visualization)와 차원 축소(Dimensionality Reduction), 연관 규칙 학습(Association Rule Learning), 심층 신뢰 신경망(Deep Belief Network), 강화 학습(Reinforcement Learning), 및 Deep learning 알고리즘 중 적어도 하나를 포함할 수 있으나, 머신 러닝 네트워크는 이에 한정되지 않으며 다양한 러닝 알고리즘을 포함할 수 있다.
그리고, 학습용 특징 정보는 학습용 변조 이미지(X')에 대한 피처(feature) 또는 로짓(logits) 일 수 있다. 또한, 학습용 특징 정보는 학습용 변조 이미지(X') 내 소정 특징과 관련된 피처 값, 또는 소정 특징과 관련한 벡터(vector), 행렬(matrix) 및 좌표(coordinate) 중 적어도 하나에 관한 값을 포함하는 로짓일 수 있다.
이어서, 학습 장치(1000)는 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n), 및 이미지 식별 네트워크(300)으로부터 생성된 각각의 로스들을 이용하여 변조 네트워크(100), 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n), 및 이미지 식별 네트워크(300) 각각을 학습시킬 수 있다.
먼저, 학습 장치(1000)는, 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n)로 하여금, 각각 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 참조하여 제1_1 판별 로스 내지 제n_1 판별 로스를 생성하도록 하여, 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 생성할 수 있다.
여기서, 학습 장치(1000)는, 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 참조한 가중치에 대응하여 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산하여 합산 로스를 획득할 수 있다. 즉, 학습 장치(1000)는 학습용 라벨링 정보 및 학습용 히트맵에서 획득한 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 참조하여 제1_1 판별 로스 내지 제n_1 판별 로스에 대한 가중치를 결정할 수 있다. 또한, 학습용 제1 영역 정보 내지 학습용 제n 영역 정보를 참조한 가중치는 학습된 변조 네트워크(100)의 성능에 따라 추가로 조정될 수 있다.
한편, 위와 같이 합산 로스를 이용하여 변조 네트워크(100)의 학습을 진행할 때, 학습 장치(1000)는 학습용 제1 영역 내지 학습용 제n 영역 중 어느 하나의 영역인 학습용 제k 영역에 대해서는, 제1_1 판별 로스 내지 제n_1 판별 로스 중 학습용 제k 영역에 대응되는 제k_1 판별 로스에 가장 높은 가중치를 적용하여 학습을 진행할 수 있다. 즉, 학습용 제k 영역을 컨실링하는 제k 컨실링 프로세스에 대응되는 변조 네트워크(100)의 파라미터는 제k_1 판별 로스에 가중치를 높게 적용한 합산 로스를 이용한 백프로파게이션(backpropagation)에 의해 업데이트될 수 있다. 이에 따라, 학습 장치(1000)는 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n)가 변조 네트워크(100)의 출력인 학습용 변조 이미지(X')를 진짜인 것으로 판단하도록 하는 방향으로 변조 네트워크(100)를 학습시킬 수 있다.
또한, 학습 장치(1000)는, 이미지 식별 네트워크(300)로부터 이미지 식별 네트워크(300)의 학습용 특징 정보 또는 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 학습용 이미지에 대응되는 그라운드 트루스(ground truth)를 참조하여 생성한 정확도 로스를 생성하도록 할 수 있다. 여기서, 태스크 특정 출력은 학습용 특징 정보를 클래스별로 맵핑한 학습용 변조 이미지(X')에 대한 확률분포일 수 있으며, 태스크 특정 출력을 이용하여 학습 이미지 상의 학습용 제1 영역 내지 학습용 제n 영역에 대응되는 분류 정보 및 위치 정보 등을 파악할 수 있을 것이다.
구제적으로, 학습용 태스크 특정 출력은 이미지 식별 네트워크(300)가 수행하고자 하는 태스크에 대한 출력으로, 클래스 분류를 위한 클래스에 대한 확률, 위치 검출을 위한 리그레이션으로 인한 좌표값 등 이미지 식별 네트워크(300)의 학습된 태스크에 따른 다양한 결과값을 가질 수 있으며, 이미지 식별 네트워크(300)에서 출력되는 학습용 특징 정보를 활성화 유닛(Activation Unit)의 활성화 함수(Activation Function)가 적용되어 이미지 식별 네트워크(300)에서 수행하고자 하는 태스크에 따른 학습용 태스크 특정 출력을 생성할 수 있다. 이때, 활성화 함수로는 시그모이드(Sigmoid) 함수, 선형(Linear) 함수, 소프트맥스(Softmax) 함수, ReLU(Rlinear) 함수, 제곱(Square) 함수, SQRT 함수, Srlinear 함수, ABS 함수, TANH 함수, Brlinear 함수 등이 사용될 수 있으나, 이에 한정되지는 않는다.
일 예로, 이미지 식별 네트워크(300)가 클래스 분류를 위한 태스크를 수행하는 경우, 학습 장치(2000)는 이미지 식별 네트워크(300)에서 출력되는 학습용 특징 정보를 클래스 별로 맵핑하여 변조 학습이미지에 대한 클래스 별 확률을 생성할 수 있다.
이때, 클래스별 확률은 설정된 클래스 별로 이미지 식별 네트워크(300)에서 출력되는 학습용 특징 정보가 정답일 확률을 나타낼 수 있다. 예를 들어, 학습이미지가 얼굴 이미지 데이터인 경우에, 얼굴이 웃는 상태일 확률은 0.75, 웃지 않는 상태일 확률은 0.25 등과 같이 출력될 수 있다. 이때, 이미지 식별 네트워크(300)에서 출력되는 학습용 특징 정보를 클래스 별로 매핑하는 데에 소프트맥스 알고리즘을 사용할 수 있으나, 이에 한정되지 않으며, 학습용 특징 정보를 클래스 별로 매핑하는 다양한 알고리즘이 이용될 수 있다.
이에 따라, 학습 장치(1000)는, 합산 로스를 최대화하며, 정확도 로스를 최소화하도록 변조 네트워크(100)를 학습시킬 수 있다. 여기서, 변조 네트워크(100)에 대한 학습을 진행할 때, 변조 네트워크(100)의 파라미터를 위한 일반화 로스(regularization loss)를 더 포함하여 변조 네트워크(100)를 학습시킴으로써, 과적합(overfitting)을 예방하고 일반화(generalization) 성능을 높이도록 할 수 있다.
위와 같이 변조 네트워크(100)를 학습시키는 한편, 도 6을 참조하면, 학습 장치(1000)는, 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n) 각각이 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 각각 최소화하며, 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n)에 각각 입력된 제1 참조 이미지 내지 제n 참조 이미지 각각에 대응되는 제1 참조 이미지 스코어 내지 제n 참조 이미지 스코어를 참조하여 생성한 제1_2 판별 로스 내지 제n_2 판별 로스를 각각 최대화하도록 제1 판별기 내지 제n 판별기 각각을 학습시킬 수 있다. 즉, 학습 장치(1000)는 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n) 중 하나인 제k 판별기(200_k)에 대해서는 제k_1 판별 로스를 최소화하고 제k_2 판별 로스를 최대화하도록 학습을 진행할 수 있다. 이에 따라, 학습 장치(1000)는 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n) 각각이 제1 참조 이미지 내지 제n 참조 이미지는 진짜로 판단하고, 학습용 변조 이미지(X')는 가짜로 판단하도록 하는 방향으로 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n)을 학습시킬 수 있다.
이어서, 도 7을 참조하면, 학습 장치(1000)는 정확도 로스를 최소화하도록 이미지 식별 네트워크(300)를 학습시킬 수 있다. 한편, 이미지 식별 네트워크(300)는, 정확도 로스를 이용하여 학습시키는 것과는 달리, 학습 이미지(X)를 이용하여 미리 학습시킬 수도 있다.
이와 같은 학습 방법에 의해, 각 에포크(epoch)에서 각각의 배치(batch)에 대하여, 변조 네트워크(100), 제1 판별기 내지 제n 판별기(200_1, 200_2, ..., 200_n), 및 이미지 식별 네트워크(300)를 각각 업데이트할 수 있다.
그리고, 위와 같이 변조 네트워크(100)가 학습된 상태에서, 테스트 장치는 테스트 이미지를 학습이 완료된 변조 네트워크(100)에 입력하여 변조 네트워크(100)로 하여금 테스트 이미지를 변조하여, 사람에게는 테스트 이미지로 인식되지 않도록 하며, 이미지 식별 네트워크(300)는 테스트 이미지와 동일하거나 유사한 인식 결과를 출력할 수 있도록 하는 테스트용 변조 이미지를 생성하도록 할 수 있다.
이에 따라, 도 8은 본 발명의 일 실시예에 따라 하는 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(100)를 테스트하는 테스트 장치(2000)를 개략적으로 도시한 것이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 테스트 장치(2000)는 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(100)를 테스트하기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크(100)를 테스트하는 동작을 수행하는 프로세서(1002)를 포함할 수 있다.
구체적으로, 테스트 장치(2000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
한편, 테스트 장치(2000)는 원본 이미지에 대한 컨실링 프로세스를 진행하기 위한 스마트폰, 태블릿, PC(personal computer), CCTV, AI 카메라, IoT 장치, 데이터 가공 장치, 무인비행기의 컨트롤 장치, 자율주행 자동차의 컨트롤 장치, 자율주행 로봇의 컨트롤 장치 등과 같이 이미지를 처리하는 장치나 서버일 수 있으며, 원본 이미지를 생산하는 서버, 단말, 기기 및 이와 연동된 컴퓨터 장치에 탑재되어 획득된 원본 이미지에 대한 컨실링 프로세스를 수행할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 테스트 장치(2000)를 이용하여 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 방법을 도 9를 참조하여 설명하면 다음과 같다. 이하에서는 도 2 내지 도 7을 참조한 설명으로부터 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하도록 한다.
도 2 내지 도 7을 참조한 학습 방법에 의해 변조 네트워크(100)가 학습된 상태에서, 테스트 장치(2000)는, 테스트 이미지(X)가 획득되면, 획득된 테스트 이미지(X)를 변조 네트워크(100)에 입력하여, 변조 네트워크(100)로 하여금, 테스트 이미지(X)의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 테스트용 제1 영역 내지 테스트용 제n 영역에 수행하도록 하여 테스트 이미지(X)에 대응되는 테스트용 변조 이미지(X')를 생성하도록 할 수 있다.
이 때, 변조 네트워크(100)는 테스트 이미지(X)의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 테스트 이미지(X)를 테스트용 변조 이미지(X')로 컨실링할 수 있으며, 일 예로, 변조 네트워크(100)는 테스트 이미지(X)의 테스트용 제1 영역 내지 테스트용 제n 영역 별로 컨실링 정도가 다르게 수행된 테스트용 변조 이미지(X')를 생성할 수 있다. 그리고, 변조 네트워크(100)는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 동시에 수행하여, 테스트용 제1 영역 내지 테스트용 제n 영역은 각각 제1 컨실링 프로세스 내지 제n 컨실링 프로세스에 의해 컨실링되도록 할 수 있다. 즉, 변조 네트워크(100)는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 혼합하여 테스트 이미지(X)를 컨실링 처리함으로써 테스트 이미지(X)에서의 테스트용 제1 영역 내지 테스트용 제n 영역은 각각 제1 컨실링 프로세스 내지 제n 컨실링 프로세스에 의해 컨실링 되도록 할 수 있다.
여기서, 테스트 장치(2000)는 테스트 이미지(X)의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 테스트용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 테스트용 제n 영역으로 설정하고, 변조 네트워크(100)로 하여금, 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 테스트용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 테스트용 제n 영역을 컨실링 처리하도록 할 수 있다.
이를 위해, 테스트 장치(100)는 테스트 이미지(X)에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 테스트 이미지(X)의 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 획득하거나, 테스트 이미지(X)를 어텐션 네트워크로 입력하여 어텐션 네트워크로 하여금 테스트 이미지(X)에 대응되는 테스트용 히트맵을 생성하도록 하며, 테스트용 히트맵으로부터 테스트 이미지(X)의 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 획득하고, 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 변조 네트워크(100)로 입력하여 줄 수 있다.
이때, 테스트 이미지(X)에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 테스트 이미지(X)의 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 획득하는 과정에 있어서, 테스트 이미지(X)의 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보는 휴먼 라벨러가 테스트 이미지(X)에서 테스트용 제1 영역 내지 테스트용 제n 영역을 설정함으로써 생성되거나, 머신 러닝 기반의 세그먼테이션 네트워크를 통해 테스트 이미지(X)를 테스트용 제1 영역 내지 테스트용 제n 영역으로 세그먼테이션함으로써 생성될 수 있다.
이에 따라, 테스트 장치(1000)는, 테스트 이미지의 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 획득하면, 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 변조 네트워크(100)로 입력하여, 변조 네트워크(100)로 하여금 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스를 수행하도록 할 수 있다.
다음으로, 테스트 이미지(X)를 어텐션 네트워크로 입력하여 어텐션 네트워크로 하여금 테스트 이미지(X)에 대응되는 테스트용 히트맵을 생성하도록 하는 과정에 있어서는, 테스트 장치(1000)가 테스트 이미지(X)를 어텐션 네트워크에 입력하여, 어텐션 네트워크로 하여금 테스트 이미지(X)에서 latent features를 많이 포함하는 영역을 하이라이트하도록 할 수 있다. 여기서, latent features를 많이 포함하는 영역이란 기설정된 latent feature의 개수보다 많은 latent features를 포함하는 영역을 가리킬 수 있다. 또한, latent features가 많이 포함된 특정 영역엔 텍스트, 사람, 동물, 차량, 얼굴, 건물 등과 같은 분석 가능한 특징이 포함될 수 있다. 덧붙여, 테스트용 변조 이미지(X')가 사용되는 목적에 따라 감지되는 latent features는 달라질 수 있다. 예를 들어, 테스트용 변조 이미지(X')가 교통 영상 분석에 쓰이는 경우, 보행자, 차량, 도로 표지판, 차선 등의 특징이 테스트 이미지(X) 상의 latent features로 감지될 수 있을 것이다. 이때, 테스트용 히트맵 생성에 사용되는 어텐션 네트워크는 사전에 충분히 학습된 상태일 수 있다.
여기서, 본 발명에서 사용되는 어텐션 네트워크는 하이라이트된 영역을 참조하여 테스트용 히트맵을 생성하는 특정 작업을 수행하는 데 필요한 특정 네트워크 구성에 포함될 수 있다. 또한, 본 발명에 따르면, 어텐션 네트워크는 외부에 위치하여 테스트용 히트맵을 생성할 수 있지만, 테스트용 히트맵을 직접 생성하기 위해 어텐션 네트워크가 변조 네트워크(100)에 포함되거나 연결되는 경우도 포함할 수 있다.
d여기서, 본 발명은 테스트 이미지(X)의 적어도 일부 영역을 테스트용 제1 영역 내지 테스트용 제n 영역으로 설정하여 테스트용 제1 영역 내지 테스트용 내n 영역으로 표현된 부분만을 제1 컨실링 프로세스 내지 제n 컨실링 프로세스로 각각 컨실링되도록 할 수 있다. 즉, 변조 네트워크(100)는 각각의 컨실링 프로세스들을 이용하여 전체 또는 일부의 영역만이 컨실링된 테스트용 변조 이미지(X')를 생성할 수 있다.
여기서, 변조 네트워크(100)를 통해 생성된 테스트용 변조 이미지(X')는 사람에게는 테스트 이미지(X)와 다르게 인식되나, 러닝 네트워크에서는 테스트 이미지(X)와 동일하거나 유사한 것으로 인식될 수 있다.
한편, 상기에서는 테스트용 라벨링 정보나 테스트용 히트맵을 통해 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 획득하였으나, 이와는 달리, 변조 네트워크(100) 자체에서 테스트용 이미지로부터 테스트용 제1 영역 정보 내지 테스트용 제n 영역 정보를 인식하도록 할 수 있다.
한편, 본 발명의 실시예에 따라 학습된 변조 네트워크에서 컨실링 처리된 변조 데이터는 빅데이터 구매를 원하는 구매자에게 제공(또는 판매)될 수 있다. 또한, 변조 데이터는 제3자 또는 타 기관으로 전송되어, 제3자 또는 타 기관에서 변조 데이터를 이용하여 사용자의 개인 정보 등의 노출이 없는 상태에서 연구, 통계 분석 등의 목적으로 사용될 수 있도록 할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 위의 구매자에게 비식별 처리된 이미지 데이터가 제공(또는 판매)되면서, 학습된 obfuscation network를 테스팅하는 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록되어 제공될 수 있다. 본 발명의 일 실시예에 따르면, 구매자는 기록 매체에 기록된 프로그램 명령어를 컴퓨팅 장치를 이용하여 실행함으로써, 자신이 별도로 보유하거나 다른 출처 또는 경로로부터 획득된 원본 데이터로부터 비식별 처리된 데이터를 생성할 수 있으며, 비식별 처리된 데이터를 자신의 러닝 네트워크에서 이용할 수 있게 된다. 또한, 구매자는 그 비식별 처리된 데이터, 자신이 보유하거나 다른 출처 또는 경로로부터 획득된 원본 이미지 데이터, 및 위의 제공(또는 판매)받은 비식별 처리된 이미지 데이터 중 적어도 둘 이상을 자신의 러닝 네트워크에서 함께 사용할 수도 있게 된다.
한편, 본 발명의 일 실시예에 따르면, 학습된 obfuscation network를 테스팅하는 방법을 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현한 경우, 정확도가 높게 설정되어 구매자의 컴퓨팅 장치에서는 컴퓨팅 오버 헤드(computational overhead)를 발생시킬 수 있으므로, 구매자가 설정을 통해 정확도를 감소시킬 수 있도록 하여 컴퓨팅 오버 헤드를 방지할 수 있도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 학습 장치
1001: 학습 장치의 메모리
1002: 학습 장치의 프로세서
2000: 테스트 장치
2001: 테스트 장치의 메모리
2002: 테스트 장치의 프로세서
100: 변조 네트워크
200_1, 200_2, …, 200_n: 제1 판별기 내지 제n 판별기
300: 이미지 식별 네트워크

Claims (22)

  1. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법에 있어서,
    (a) 학습 장치가, 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 단계;
    를 포함하되,
    상기 학습 장치는, 상기 합산 로스를 이용하여 상기 변조 네트워크의 학습을 진행할 때, 상기 학습용 제1 영역 내지 상기 학습용 제n 영역 중 어느 하나의 영역인 학습용 제k - 상기 k는 1보다 크거나 같으며 n보다 작거나 같은 정수임 - 영역에 대해서는, 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스 중 상기 학습용 제k 영역에 대응되는 제k_1 판별 로스에 가장 높은 가중치를 적용하여 학습을 진행하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    (d) 상기 학습 장치가, 상기 제1 판별기 내지 상기 제n 판별기 각각이 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스를 각각 최소화하며, 상기 제1 판별기 내지 상기 제n 판별기에 각각 입력된 상기 제1 참조 이미지 내지 상기 제n 참조 이미지 각각에 대응되는 제1 참조 이미지 스코어 내지 제n 참조 이미지 스코어를 참조하여 생성한 제1_2 판별 로스 내지 제n_2 판별 로스를 각각 최대화하도록 상기 제1 판별기 내지 상기 제n 판별기 각각을 학습시키는 단계;
    를 더 포함하는 하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    (e) 상기 학습 장치가, 상기 정확도 로스를 최소화하도록 상기 이미지 식별 네트워크를 학습시키는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  4. 삭제
  5. 삭제
  6. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법에 있어서,
    (a) 학습 장치가, 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 단계;
    를 포함하되,
    상기 학습 장치는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 학습용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 학습용 제n 영역을 컨실링 처리하도록 하며,
    상기 학습 장치는, 상기 학습 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 학습용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 학습용 제n 영역으로 설정하는 것을 특징으로 하는 방법.
  7. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법에 있어서,
    (a) 학습 장치가, 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 단계;
    를 포함하되,
    상기 학습 장치는, (i) 상기 학습 이미지에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 학습 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 학습 이미지에 대응되는 학습용 히트맵을 생성하도록 하며, 상기 학습용 히트맵으로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 방법.
  8. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 방법에 있어서,
    (a) 학습 장치에 의해, (i) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 테스트 장치가, 적어도 하나의 테스트 이미지를 획득하는 단계; 및
    (b) 상기 테스트 장치가, 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 단계;
    를 포함하되,
    상기 테스트 장치는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 테스트용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 테스트용 제n 영역을 컨실링 처리하도록 하며,
    상기 테스트 장치는, 상기 테스트 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 테스트용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 테스트용 제n 영역으로 설정하는 것을 특징으로 하는 방법.
  9. 삭제
  10. 삭제
  11. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 방법에 있어서,
    (a) 학습 장치에 의해, (i) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 테스트 장치가, 적어도 하나의 테스트 이미지를 획득하는 단계; 및
    (b) 상기 테스트 장치가, 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 단계;
    를 포함하되,
    상기 테스트 장치는, (i) 상기 테스트 이미지에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 테스트 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 테스트 이미지에 대응되는 테스트용 히트맵을 생성하도록 하며, 상기 테스트용 히트맵으로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 방법.
  12. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 학습 장치에 있어서,
    원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 동작을 수행하는 프로세서;
    를 포함하되,
    상기 프로세서는, (I) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 프로세스, (II) (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 프로세스, 및 (III) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 프로세스를 수행하며,
    상기 프로세서는, 상기 합산 로스를 이용하여 상기 변조 네트워크의 학습을 진행할 때, 상기 학습용 제1 영역 내지 상기 학습용 제n 영역 중 어느 하나의 영역인 학습용 제k 영역에 대해서는, 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스 중 상기 학습용 제k - 상기 k는 1보다 크거나 같으며 n보다 작거나 같은 정수임 - 영역에 대응되는 제k_1 판별 로스에 가장 높은 가중치를 적용하여 학습을 진행하는 것을 특징으로 하는 학습 장치.
  13. 제12항에 있어서,
    (IV) 상기 프로세서가, 상기 제1 판별기 내지 상기 제n 판별기 각각이 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 상기 제1_1 판별 로스 내지 상기 제n_1 판별 로스를 각각 최소화하며, 상기 제1 판별기 내지 상기 제n 판별기에 각각 입력된 상기 제1 참조 이미지 내지 상기 제n 참조 이미지 각각에 대응되는 제1 참조 이미지 스코어 내지 제n 참조 이미지 스코어를 참조하여 생성한 제1_2 판별 로스 내지 제n_2 판별 로스를 각각 최대화하도록 상기 제1 판별기 내지 상기 제n 판별기 각각을 학습시키는 프로세스;
    를 더 포함하는 하는 것을 특징으로 하는 학습 장치.
  14. 제13항에 있어서,
    (V) 상기 프로세서가, 상기 정확도 로스를 최소화하도록 상기 이미지 식별 네트워크를 학습시키는 프로세스;
    를 더 포함하는 것을 특징으로 하는 학습 장치.
  15. 삭제
  16. 삭제
  17. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 학습 장치에 있어서,
    원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 동작을 수행하는 프로세서;
    를 포함하되,
    상기 프로세서는, (I) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 프로세스, (II) (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 프로세스, 및 (III) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 프로세스를 수행하며,
    상기 프로세서는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 학습용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 학습용 제n 영역을 컨실링 처리하도록 하고,
    상기 프로세서는, 상기 학습 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 학습용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 학습용 제n 영역으로 설정하는 것을 특징으로 하는 학습 장치.
  18. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 학습 장치에 있어서,
    원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하기 위한 동작을 수행하는 프로세서;
    를 포함하되,
    상기 프로세서는, (I) 적어도 하나의 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하는 프로세스, (II) (i) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지의 전체 영역에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기 각각으로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하는 프로세스, 및 (III) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시키는 프로세스를 수행하며,
    상기 프로세서는, (i) 상기 학습 이미지에서의 학습용 제1 영역 내지 학습용 제n 영역을 설정한 학습용 라벨링 정보로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 학습 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 학습 이미지에 대응되는 학습용 히트맵을 생성하도록 하며, 상기 학습용 히트맵으로부터 상기 학습 이미지의 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 획득하고, 상기 학습용 제1 영역 정보 내지 상기 학습용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 학습 장치.
  19. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 테스트 장치에 있어서,
    원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 동작을 수행하는 프로세서;
    를 포함하되,
    상기 프로세서는, (I) 학습 장치에 의해, (i) 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 적어도 하나의 테스트 이미지를 획득하는 프로세스, (II) 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 프로세스를 수행하며,
    상기 프로세서는, 상기 변조 네트워크로 하여금, 상기 제1 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 낮은 노이즈 밀도를 가지도록 상기 테스트용 제1 영역을 컨실링 처리하며, 컨실링 정도에 따른 노이즈 밀도를 점진적으로 증가하여 상기 제n 컨실링 프로세스를 통해 컨실링 정도에 따른 가장 높은 노이즈 밀도를 가지도록 상기 테스트용 제n 영역을 컨실링 처리하도록 하고,
    상기 프로세서는, 상기 테스트 이미지의 영역들 중, 가장 많은 latent feature를 가지는 영역을 상기 테스트용 제1 영역으로 설정하며, latent feature가 점진적으로 감소하여 가장 적은 latent feature를 가지는 영역을 상기 테스트용 제n 영역으로 설정하는 것을 특징으로 하는 테스트 장치.
  20. 삭제
  21. 삭제
  22. 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하는 테스트 장치에 있어서,
    원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 인스트럭션들이 저장된 메모리; 및
    상기 메모리에 저장된 상기 인스트럭션들에 따라 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 테스트하기 위한 동작을 수행하는 프로세서;
    를 포함하되,
    상기 프로세서는, (I) 학습 장치에 의해, (i) 학습 이미지를 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습 이미지의 학습용 제1 영역 내지 학습용 제n - 상기 n은 2 이상의 정수임 - 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 학습용 제1 영역 내지 상기 학습용 제n 영역에 수행하도록 하여 상기 학습 이미지에 대응되는 적어도 하나의 학습용 변조 이미지를 생성하도록 하고, (ii) (ii-1) 상기 학습 이미지의 전체 영역에 상기 제1 컨실링 프로세스를 진행한 제1 참조 이미지를 진짜로 판단하도록 하는 제1 판별기 내지 상기 학습 이미지 전체에 상기 제n 컨실링 프로세스를 진행한 제n 참조 이미지를 진짜로 판단하도록 하는 제n 판별기 각각에 상기 학습용 변조 이미지를 입력하여, 상기 제1 판별기 내지 상기 제n 판별기로 하여금, 상기 학습용 변조 이미지가 진짜인지 가짜인지를 판단한 제1 변조 이미지 스코어 내지 제n 변조 이미지 스코어를 출력하도록 하는 프로세스, 및 (ii-2) 상기 학습용 변조 이미지를 이미지 식별 네트워크에 입력하여, 상기 이미지 식별 네트워크로 하여금, 상기 학습용 변조 이미지를 러닝 연산하여 상기 학습용 변조 이미지에 대응되는 학습용 특징 정보를 출력하도록 하는 프로세스를 수행하며, (iii) 상기 제1 변조 이미지 스코어 내지 상기 제n 변조 이미지 스코어를 참조하여 생성한 제1_1 판별 로스 내지 제n_1 판별 로스를 가중 합산한 합산 로스를 최대화하며, 상기 이미지 식별 네트워크의 상기 학습용 특징 정보 또는 상기 학습용 특징 정보를 이용하여 생성한 태스크 특정 출력과, 상기 학습 이미지에 대응되는 그라운드 트루스를 참조하여 생성한 정확도 로스를 최소화하도록 상기 변조 네트워크를 학습시킨 상태에서, 적어도 하나의 테스트 이미지를 획득하는 프로세스, (II) 상기 테스트 이미지를 상기 변조 네트워크에 입력하여, 상기 변조 네트워크로 하여금, 상기 테스트 이미지의 테스트용 제1 영역 내지 테스트용 제n 영역 각각에 대응되는 제1 컨실링 프로세스 내지 제n 컨실링 프로세스 각각을 상기 테스트용 제1 영역 내지 상기 테스트용 제n 영역에 수행하도록 하여 상기 테스트 이미지에 대응되는 적어도 하나의 테스트용 변조 이미지를 생성하도록 하는 프로세스를 수행하며,
    상기 프로세서는, (i) 상기 테스트 이미지에서의 테스트용 제1 영역 내지 테스트용 제n 영역을 설정한 테스트용 라벨링 정보로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하거나, (ii) 상기 테스트 이미지를 어텐션 네트워크로 입력하여 상기 어텐션 네트워크로 하여금 상기 테스트 이미지에 대응되는 테스트용 히트맵을 생성하도록 하며, 상기 테스트용 히트맵으로부터 상기 테스트 이미지의 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 획득하고, 상기 테스트용 제1 영역 정보 내지 상기 테스트용 제n 영역 정보를 상기 변조 네트워크로 입력하는 것을 특징으로 하는 테스트 장치.
KR1020210123556A 2020-09-25 2021-09-15 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 KR102389915B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200124948 2020-09-25
KR1020200124948 2020-09-25
US17/127,811 US11023777B1 (en) 2020-09-25 2020-12-18 Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
US17/127,811 2020-12-18

Publications (2)

Publication Number Publication Date
KR20220041743A KR20220041743A (ko) 2022-04-01
KR102389915B1 true KR102389915B1 (ko) 2022-04-25

Family

ID=76094718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210123556A KR102389915B1 (ko) 2020-09-25 2021-09-15 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Country Status (3)

Country Link
US (1) US11023777B1 (ko)
KR (1) KR102389915B1 (ko)
WO (1) WO2022065817A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
US11200494B1 (en) * 2020-10-21 2021-12-14 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same
US11366930B1 (en) * 2021-08-23 2022-06-21 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
CN113689517B (zh) * 2021-09-08 2024-05-21 云南大学 一种多尺度通道注意力网络的图像纹理合成方法及系统
US11308359B1 (en) * 2021-10-27 2022-04-19 Deeping Source Inc. Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
US11669635B1 (en) * 2021-11-29 2023-06-06 Deeping Source Inc. Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy and testing method and testing device using the same
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same
US11886955B2 (en) 2022-02-16 2024-01-30 Protopia AI, Inc. Self-supervised data obfuscation in foundation models

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124559B2 (en) * 2013-01-23 2015-09-01 International Business Machines Corporation System and method for temporary obfuscation during collaborative communications
US9477913B2 (en) * 2014-11-12 2016-10-25 Xerox Corporation Print path obfuscation method and system for document content analytics assessment
KR101784265B1 (ko) * 2016-06-09 2017-10-12 주식회사 그리즐리 빅데이터의 비식별화 처리 방법
US10346721B2 (en) * 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
US10535120B2 (en) * 2017-12-15 2020-01-14 International Business Machines Corporation Adversarial learning of privacy protection layers for image recognition services
US11069030B2 (en) * 2018-03-22 2021-07-20 Adobe, Inc. Aesthetics-guided image enhancement
KR102035796B1 (ko) * 2018-07-26 2019-10-24 주식회사 딥핑소스 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10692002B1 (en) * 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
US10546216B1 (en) * 2019-04-11 2020-01-28 Seetree Systems Ltd. Recurrent pattern image classification and registration
US10621378B1 (en) * 2019-10-24 2020-04-14 Deeping Source Inc. Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same

Also Published As

Publication number Publication date
KR20220041743A (ko) 2022-04-01
US11023777B1 (en) 2021-06-01
WO2022065817A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
KR102389915B1 (ko) 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
JP7040712B2 (ja) 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置
KR102412832B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
US20230021661A1 (en) Forgery detection of face image
KR102412829B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
US11308359B1 (en) Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
KR102570955B1 (ko) 러닝 네트워크의 학습에 이용하기 위한 익명화 이미지를 생성하는 방법 및 이를 이용한 라벨링 장치
KR102395452B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
Kwon et al. Restricted evasion attack: Generation of restricted-area adversarial example
Das et al. Image splicing detection using low-dimensional feature vector of texture features and Haralick features based on Gray Level Co-occurrence Matrix
Usmani et al. Efficient deepfake detection using shallow vision transformer
KR20230121974A (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
CN112926574A (zh) 图像识别方法、图像识别装置和系统
Ghani et al. Securing synthetic faces: A GAN-blockchain approach to privacy-enhanced facial recognition
KR102531368B1 (ko) 원본 의료 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 의료 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
Mohamed A novel technique for human face recognition using fractal code and bi-dimensional subspace
De La Croix et al. FuzConvSteganalysis: Steganalysis via fuzzy logic and convolutional neural network
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
KR102260039B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
Koshy et al. YOLO-FORGERY: Forgery Detection in images via Deep Clifford gradient-based YOLOv4 Network
Das et al. High-Performance Image Splicing Detection utilizing Image Augmentation and Deep Learning
Bouhlel et al. Person re-identification from UAVs based on Deep hybrid features: Application for intelligent video surveillance
Kondekar et al. Enhancing Face Recognition Accuracy Using Digital Twins

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant