WO2020032348A1 - 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2020032348A1
WO2020032348A1 PCT/KR2019/005367 KR2019005367W WO2020032348A1 WO 2020032348 A1 WO2020032348 A1 WO 2020032348A1 KR 2019005367 W KR2019005367 W KR 2019005367W WO 2020032348 A1 WO2020032348 A1 WO 2020032348A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
original
learning model
input
original data
Prior art date
Application number
PCT/KR2019/005367
Other languages
English (en)
French (fr)
Inventor
김태훈
Original Assignee
주식회사 딥핑소스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥핑소스 filed Critical 주식회사 딥핑소스
Publication of WO2020032348A1 publication Critical patent/WO2020032348A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for identifying and processing data.
  • Big data means not only formalized data used in existing corporate environments or public institutions, but also e-commerce data, metadata, web log data, radio frequency identification (RFID) data, sensor network data, Data that includes all previously unstructured or semi-structured data, such as social network data, data about Internet texts and documents, and Internet search indexing data. Such data is typically common software tools and computer systems. It is called big data in the sense that it will have an unwieldy amount of data.
  • RFID radio frequency identification
  • the technique disclosed in Korean Patent Laid-Open Publication No. 2018-58116 may be exemplified.
  • the method may include converting a first audio signal to MCLT, and water into the MCLT converted first audio signal. Inserting a bit string of a mark, IMDCT transforming the first audio signal into which the bit string is inserted, and superimposing the IMDCT transformed signal with a neighboring frame signal to insert a watermark into the first audio signal.
  • an audio watermark embedding method comprising acquiring two audio signals.
  • the technique disclosed in Korean Patent No. 1837939 may be exemplified.
  • the first step of dividing a document to which a predetermined color is applied into a plurality of zones may be performed.
  • a second step of selectively inserting the watermark so as not to overlap each other in the document divided into sections, and correcting the watermark-inserted document to match the color of the document to which the predetermined color is applied, but correcting the color according to the hidden level of the watermark There is provided a method of embedding a watermark in a document, comprising a third step of correcting color by applying different values.
  • the inventor synthesizes the original data and the cover data to generate synthesized data that is recognized differently from the original data, but outputs the result of inputting the original data into the learning model and the above synthesized data to the corresponding learning model.
  • the inventor Proposes a technique that allows the output results to be the same or similar to each other as is input.
  • An object of the present invention is to solve all the problems of the prior art described above.
  • Another object of the present invention is to enable to obtain the same or similar results as the result of the machine learning through the original data even if the machine learning is performed through the identified data.
  • the present invention is another object that the original data and the processed data is recognized differently from a person, but the original data and the processed data are recognized by a computer the same or similarly.
  • a method for identifying data comprising: an original data acquisition unit for acquiring original data, and synthesized data generated by synthesizing mark data with the original data;
  • the method comprising the step of generating the synthetic data output the same or similar to the output result as the output as the input data to the learning model as the processed identification data, the label data
  • a system is provided that includes data for causing the composite data and the original data to be recognized differently by a person.
  • non-transitory computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.
  • the source of the data can be easily identified through the identified data.
  • the original data and the identified data are differently recognized by the person, but the original data and the identified data can be recognized by the computer in the same or similar manner.
  • FIG. 1 is a diagram schematically illustrating a configuration of an entire system for identifying data according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of an identification processing system according to an embodiment of the present invention.
  • 3 and 4 exemplarily illustrate a part of a process of identifying data according to an embodiment of the present invention.
  • FIG. 5 is a diagram exemplarily illustrating original image data and identified image data according to an embodiment of the present invention.
  • control unit 240 control unit
  • FIG. 1 is a diagram schematically illustrating a configuration of an entire system for identifying data according to an embodiment of the present invention.
  • the entire system may include a communication network 100, an identification processing system 200, and a device 300.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and may include a local area network (LAN) and a metropolitan area network (MAN; metropolitan area). Network, a wide area network (WAN), and the like.
  • the communication network 100 as used herein may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
  • the communication network 100 is a wireless data communication network, and includes Wi-Fi communication, Wi-Fi Direct communication, Long Term Evolution (LTE) communication, Bluetooth communication (more specifically, low power Bluetooth). (BLE; Bluetooth Low Energy), infrared communication, ultrasonic communication, and the like may be implemented at least in part.
  • Wi-Fi communication Wi-Fi Direct communication
  • LTE Long Term Evolution
  • Bluetooth communication more specifically, low power Bluetooth
  • BLE Bluetooth Low Energy
  • infrared communication ultrasonic communication, and the like may be implemented at least in part.
  • the identification processing system 200 can communicate with the device 300 to be described later through the communication network 100, obtain the original data, and mark the original data ( mark) Synthetic data generated by synthesizing data.
  • the synthetic data outputting the same or similar results as the output data when the original data is input to the learning model is output.
  • the function of generating as the processed data can be performed.
  • the identification processing system 200 according to an embodiment of the present invention may be a server system.
  • the original data according to an embodiment of the present invention may include various types of data such as text, an image, a video, and a sound.
  • the original data according to an embodiment of the present invention may include data used to learn through various learning models such as machine learning, deep learning, reinforcement learning, and the like.
  • the label data according to an embodiment of the present invention may include data that allows the synthesized data and the original data to be recognized differently by a person.
  • the label data according to an embodiment of the present invention may include data to be differently recognized by at least one sense of the human eye, hearing, and tactile sense.
  • such label data is not concealed and can be recognized by a person by a watermark or forensic mark that can be recognized by at least one of the senses of sight, hearing and touch. forensicmark).
  • the cover data may include information about the owner associated with the original data.
  • the information about the right holder, information about the producer, distributor or recipient of the original data or information on the production date, distribution date or receipt date, the original data Information about rights may be included.
  • the above learning model includes a machine learning model, a reinforcement learning model, a deep learning model, a neural network learning model, and the like. May be included.
  • identification processing system 200 The function of the identification processing system 200 will be described in more detail below. Meanwhile, although described above with respect to the identification processing system 200, this description is exemplary, and at least some of the functions or components required for the identification processing system 200 will be described later within the device 300 as needed. (Eg, at least some of the functions or components required for identification processing system 200 may be implemented by an IC chip (specifically, an IC chip included in device 300)) or external It will be apparent to those skilled in the art that they may be included in a system (not shown).
  • the device 300 is a digital device that includes a function to enable communication after connecting to the identification processing system 200 through the communication network 100, a smartphone, a tablet PC As long as a digital device having a memory means and a microprocessor equipped with computing power, the device 300 can be adopted as the device 300 according to the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of the identification processing system 200 according to an embodiment of the present invention.
  • the identification processing system 200 may include an original data acquisition unit 210, an identification processing data generation unit 220, a communication unit 230, and a control unit 240. Can be. According to an embodiment of the present invention, the original data acquisition unit 210, the identification processing data generation unit 220, the communication unit 230 and the control unit 240 at least some of them communicate with an external system (not shown) May be program modules. Such program modules may be included in the identification processing system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on a variety of known storage devices. Such program modules may also be stored in a remote storage device that can communicate with the identification processing system 200. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the original data acquisition unit 210 may perform a function of acquiring original data.
  • the identification processing data generation unit 220 is synthesized data generated by synthesizing the mark data with the original data, and is inputted to the learning model.
  • synthetic data outputting the same or similar results as the outputted results may be generated as the processed data.
  • the above result is one of probability, vector, matrix, and coordinates associated with a given feature in the data (ie, original data or composite data). It may include a value relating to at least one.
  • the original data is facial image data
  • the above results may be based on coordinates or facial feature points relative to a landmark point (eg, both endpoints of the eye). It may be a probability distribution value or a logits value.
  • the identification processing data generation unit 220 may generate candidate synthesis data by synthesizing the label data with the original data.
  • the identification processing data generation unit 220 according to an embodiment of the present invention is a result of outputting as the candidate synthesis data is input in the at least one learning model and the output is output as the original data is input. Can be calculated, and the candidate synthesis data can be corrected based on the calculated difference.
  • the identification processing data generator 220 may generate candidate synthesized data x 'by synthesizing the cover data w with the original data x.
  • the objective function of synthesizing the candidate synthesis data x 'by synthesizing the label data w with the original data x is W (x, w).
  • W (x, w) W (x, w).
  • the first learning model F 1 the difference between the result outputted as the candidate synthesis data x 'is input and the result outputted as the original data x is inputted.
  • the norm ie, "
  • the identification processing data generation unit 220 outputs the result as the original data is input to the first learning model F 1 based on the above error value and the above agent.
  • the objective function W (x, w) may be corrected to reduce (or minimize) the difference between the output results.
  • the identification processing data generation unit 220 may correct the above objective function W (x, w) such that the above error value becomes smaller than a predetermined level, and through this, is the difference between the first learning model F 1 the results and above that is output as the original data input to the first learning model F 1 candidate synthetic data in x 'results to be output as the input to be smaller (or minimized) can do.
  • the identification processing data generator 220 performs the same process as described above for the second to Nth learning models (that is, F 2 to F N ) after the above correction. It can be performed repeatedly, and the above-described process can be repeated to generate a result output as the original data x is input to the objective function W (x, w) corrected N times as identified data. Meanwhile, according to an embodiment of the present invention, the above N is output as the original data x is input to the N-th learning model F N and the candidate synthesis data x 'corrected N-1 times is input. The difference between the results can be determined to a value that is below a predetermined level.
  • the error value in the above N-th learning model F N in calculating the above error value (err), the error value in the above N-th learning model F N , the sum of norms in each of the first to N-th learning model It may be calculated based on.
  • the error value in the N-th learning model F N may be calculated based on ⁇ N
  • the identification processing system 200 outputs as the original data x is input to the above-mentioned N-times (or N-1 times) corrected objective function W (x, w).
  • the result to be generated can be generated as image data processed by identification.
  • the norm (specifically, the L1 norm) is used in the process of obtaining an error value based on the difference between the results, but is not limited thereto.
  • Other methods of calculating the distance difference may be used as long as the object of the present invention can be achieved.
  • the identification processing data generation unit 220 is output as the original data is input to the learning model and the result is output as the identification processing data is input to the learning model.
  • the above identified data can be generated by reducing (or minimizing) the difference between and increasing (or maximizing) the difference between the original data and the identified data.
  • the identification processing data generator 220 may generate candidate synthesized data x ′ by synthesizing the cover data w with the original data x.
  • the objective function of synthesizing the candidate synthesis data x 'by synthesizing the label data w with the original data x is W (x, w). It may be 310 (eg, the initial objective function may be preset).
  • the difference between the result output as the candidate synthesis data x 'is input and the result output as the original data x is input is determined.
  • the error value err can be calculated based on this.
  • such an error value err is ⁇ N ⁇ N loss function i (F N (x), F N (x ')) (in this case, the first learning model, N is May be 1).
  • the error value err according to an embodiment of the present invention is ⁇ N ⁇ N
  • the identification processing data generation unit 220 uses the difference maximization model D (for example, D (x to increase the difference between the original data x and the candidate synthesized data x '). , x ') or D (x, W (x, w))) may be used to correct the above error value err.
  • the difference maximization model D may be a model specified based on learning using adversarial training (eg, real / fake learning). From the model D, an output value for increasing (or maximizing) the difference between the original data x and the candidate synthesized data x 'to a predetermined level or more can be calculated, and the identification processing data generating unit 220 can determine the output value.
  • the above error value can be corrected. That is, by reflecting the above output value in the above error value, the difference between the original data x and the candidate synthesized data x 'is increased, whereby the original data x and the candidate synthesized data x' are visual, auditory and tactile to the human. It can be differently recognized by at least one of the senses.
  • the identification processing data generator 220 may use a similarity model S to increase the difference between the original data x and the candidate synthesized data x '.
  • the similarity model S is specified based on max (0, Margin-
  • the original data x and the candidate composite data x ' may be differently recognized by at least one of human sense of sight, hearing, and touch.
  • the identification processing data generation unit 220 outputs the result as the original data is input to the first learning model F 1 based on the corrected error value.
  • the candidate function W (x, w) may be corrected to reduce (or minimize) the difference between the outputted results as the candidate synthesis data x 'is input to the first training model F 1 of (360).
  • the identification processing data generation unit 220 may correct the objective function W (x, w) such that the above corrected error value becomes smaller than a predetermined level.
  • the identification processing data generator 220 performs the same process as described above for the second to Nth learning models (that is, F 2 to F N ) after the above correction.
  • the output of the original data x may be generated as the identified data by repeatedly inputting the original data x to the objective function W (x, w) corrected N times by repeating the above process.
  • the identification processing data generation unit 220 is to extract the original data by separating the cover data from the above synthesis data (or, the processed data identification) In order to prevent this from happening, some perturbation may be applied to the label data before it is synthesized with the original data.
  • the identification processing data generation unit 220 refers to the type (eg, image, sound, etc.) or characteristics (eg, pixel, frequency, etc.) of the original data. It is possible to determine the type of deformation to be applied on the label data of or the degree of the deformation.
  • the identification processing data generator 220 may perform a pixel-based blending factor on the cover data 410.
  • labeling data 420 to be used for the above synthesis by determining the degree of spatial distortion of the blending factor and sub-pixel-level, and modifying the labeling data 410 according to the determined degree. Can be generated.
  • the identification processing data generation unit 220 may be based on a predetermined cryptographic hash value (eg, SHA-256) extracted from the original data.
  • the degree of random perturbation to be applied on the label data can be determined, and the label data 420 to be used for synthesis can be generated by modifying the label data 410 above according to the determined degree.
  • the process generated by synthesizing the label data to the original data can be irreversible.
  • the communication unit 230 may perform a function to enable data transmission and reception to and from the original data acquisition unit 210 and the identification processing data generation unit 220.
  • control unit 240 may perform a function of controlling the flow of data between the original data acquisition unit 210, the identification processing data generation unit 220 and the communication unit 230. have. That is, the controller 240 according to the present invention controls the data flow from / to the outside of the identification processing system 200 or the data flow between each component of the identification processing system 200, thereby obtaining the original data acquisition unit 210.
  • the identification processing data generation unit 220 and the communication unit 230 may control to perform unique functions.
  • FIG. 5 is a diagram exemplarily illustrating original image data and identified image data according to an embodiment of the present invention.
  • the identification processing system 200 may acquire original image data x 510.
  • the identification processing system 200 refers to the type or characteristic of the original image data x and the pixel-based blending factor and portion to apply a deformation on the cover image data w.
  • the cover image data w 'to be used for synthesis can be generated.
  • the identification processing system 200 may generate candidate synthesized image data x 'by synthesizing the cover image data w' with the original image data x.
  • an objective function for synthesizing the candidate synthesized image data x 'by synthesizing the above cover image data w' with the original image data x is W (x, w '. Can be assumed.
  • a result is output as the candidate composite image data x 'is input and a result is output as the original image data x is input.
  • the error value err may be calculated based on the difference.
  • an error value err according to an embodiment of the present invention may be calculated based on ⁇ 1 w 1
  • the identification processing system 200 may increase the difference between the original image data x and the candidate composite image data x 'to increase the difference maximized model D (eg, D (x , x ') or D (x, W (x, w))) 330 and 340 may correct the above error value err.
  • D difference maximized model
  • the difference maximization model D is a model that is specified based on learning using adversarial training (for example, real / fake learning). Can be.
  • the relationship between the difference maximization model D and the above W (x, w ') may be set as in Equation 1 below.
  • V (W, D) is a value function that finds a value that satisfies the minimum of the objective function W (.) And the maximum of the difference maximization model D (.).
  • P desired and p x may mean a desired distribution and a data distribution, respectively.
  • the identification processing system 200 outputs the original image data as input to the first learning model F 1 based on the corrected error value, and the above.
  • the above W (x, w') function may be corrected to minimize the difference between the output results.
  • the identification processing system 200 is repeated by the same process for the second to N-th learning model (that is, F 2 to F N ) by repeating the W (x , w ') can be corrected again.
  • the above N is output as the original image data is input to the N-th learning model F N and the candidate composite image data x 'corrected N-1 times is output as input.
  • the difference between the results may be determined to be a value that is less than or equal to a predetermined level.
  • the identification processing system 200 inputs the original image data x to the above-mentioned N times (or N-1 times) corrected objective function W (x, w ').
  • the output result may be generated as the processed image data (520).
  • 5B is a diagram exemplarily illustrating a result of identification processing of original image data according to an exemplary embodiment of the present invention.
  • the image data of FIG. 5B and the original image data of FIG. 5A according to an embodiment of the present invention may be human. Although it may be visually different from each other, it may be image data capable of producing the same or similar results, regardless of which model is input.
  • the image data identified by the identification processing system 200 according to the present invention can be provided (or sold) to a buyer who wants to purchase a large amount of images for machine learning.
  • the above sold images are identified in accordance with an embodiment of the present invention, it is difficult not only to make unauthorized copying or duplication of the purchaser but also to be easily tracked in the future even if provided to third parties. It becomes possible.
  • the original image data can be recognized differently from the human by the person, by the machine (specifically, during machine learning) the same or similar to each other and the original image data It becomes possible.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components, and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • Hardware devices may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Technology Law (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 데이터를 식별(identification) 처리하는 방법으로서, 원본 데이터를 획득하는 단계, 및 상기 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 단계를 포함하고, 상기 표지 데이터는, 상기 합성 데이터와 상기 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함하는 방법이 제공된다.

Description

데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
빅데이터(big data)란, 기존의 기업 환경이나 공공 기관에서 사용되는 정형화된 데이터는 물론, 전자 상거래 데이터, 메타 데이터, 웹 로그 데이터, 무선 식별(RFID; Radio Frequency Identification) 데이터, 센서 네트워크 데이터, 소셜 네트워크 데이터, 인터넷 텍스트와 문서에 관한 데이터, 인터넷 검색 인덱싱 데이터 등 기존에 미처 활용되지 못하던 비정형화 또는 반정형화된 데이터를 모두 포함하는 데이터로서, 이와 같은 데이터는 일반적으로 보통의 소프트웨어 툴 및 컴퓨터 시스템으로는 다루기 어려운 수준의 데이터 양을 갖게 된다는 의미에서 빅데이터라 칭하고 있다.
근래에 들어, 인공 지능 기술에 대한 관심이 증대되면서, 그 기반이 되는 빅데이터의 거래 또는 공유가 활성화되고 있다.
하지만, 데이터의 특성(예를 들어, 데이터의 양이 방대하고 누구로부터 제공받은 데이터인지 특정되기 어려운 특성 등)상 일단 제3자에게 넘어가게 되면, 복제 또는 복사가 용이할 뿐만 아니라 권리가 없는 자에게 무단으로 넘기더라도 이를 적발해내기가 쉬운 일이 아니었다. 이를 보완하기 위해 데이터에 소정의 식별 처리(예를 들어, 워터마크(watermark))를 하는 기술들이 등장하였다.
이에 관한 종래 기술의 일 예로서, 한국공개특허공보 제2018-58116호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 제1 오디오 신호를 MCLT 변환하는 단계, 상기 MCLT 변환된 제1 오디오 신호에 워터마크의 비트열을 삽입하는 단계, 상기 비트열이 삽입된 제1 오디오 신호를 IMDCT 변환하는 단계, 및 상기 IMDCT 변환된 신호를 이웃 프레임 신호와 중첩 가산함으로써 제1 오디오 신호에 워터마크가 삽입된 제2 오디오 신호를 획득하는 단계를 포함하는 오디오 워터마크 삽입 방법이 제공된다.
또한, 이에 관한 다른 종래 기술의 일 예로서, 한국등록특허공보 제1837939호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 소정 색상이 적용되는 문서를 복수 개 구역으로 분할하는 제1 단계, 상기 복수 개 구역으로 분할된 문서에 서로 중첩되지 않도록 워터마크를 선택 삽입하는 제2 단계, 및 상기 소정 색상이 적용된 문서의 색상과 일치하도록 워터마크 삽입 문서를 보정하되, 워터마크의 히든 정도에 따라 색상 보정값을 달리 적용하여 색상을 보정하는 제3 단계로 이루어지는 것을 특징으로 하는 문서에 워터마크를 삽입하는 방법이 제공된다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 데이터에 식별 처리를 함으로써, 누구의 데이터인지 또는 누구로부터 받은 데이터인지 쉽게 식별될 수 있고, 무단 배포되는 것을 방지할 수 있었으나, 식별 처리 과정에서 원본 데이터의 변형 또는 손상을 야기시키게 되므로 인공 지능을 위한 기계 학습, 심층 학습 또는 강화 학습 시 오인식(misrecognized)되거나 사용되기 어려운 문제가 있었다.
이에 본 발명자(들)는, 원본 데이터와 표지 데이터를 합성하여 원본 데이터와 상이하게 인식되는 합성 데이터를 생성하되, 학습 모델에 원본 데이터가 입력됨에 따라 출력되는 결과와 해당 학습 모델에 위의 합성 데이터가 입력됨에 따라 출력되는 결과가 서로 동일하거나 유사하게 될 수 있도록 하는 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 식별 처리된 데이터를 통해 데이터의 출처를 쉽게 파악할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 식별 처리된 데이터를 통해 기계 학습을 수행하더라도 원본 데이터를 통해 기계 학습을 수행한 결과와 동일하거나 유사한 결과를 얻을 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 사람에게는 원본 데이터와 식별 처리된 데이터가 서로 다르게 인식되지만, 컴퓨터에게는 원본 데이터와 식별 처리된 데이터가 서로 동일하거나 유사하게 인식되는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 빅데이터 거래 시장에서 데이터 제공자가 안심하고 데이터를 거래 또는 공유할 수 있도록 지원하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 데이터를 식별(identification) 처리하는 방법으로서, 원본 데이터를 획득하는 단계, 및 상기 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 단계를 포함하고, 상기 표지 데이터는, 상기 합성 데이터와 상기 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 데이터를 식별(identification) 처리하는 방법으로서, 원본 데이터를 획득하는 원본 데이터 획득부, 및 상기 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 단계를 포함하고, 상기 표지 데이터는, 상기 합성 데이터와 상기 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 식별 처리된 데이터를 통해 데이터의 출처를 쉽게 파악할 수 있게 된다.
또한, 본 식별 처리된 데이터를 통해 기계 학습을 수행하더라도 원본 데이터를 통해 기계 학습을 수행한 결과와 동일하거나 유사한 결과를 얻을 수 있게 된다.
또한, 본 발명에 의하면, 사람에게는 원본 데이터와 식별 처리된 데이터가 서로 다르게 인식되지만, 컴퓨터에게는 원본 데이터와 식별 처리된 데이터가 서로 동일하거나 유사하게 인식될 수 있게 된다.
또한, 본 발명에 의하면, 빅데이터 거래 시장에서 데이터 제공자가 안심하고 데이터를 거래 또는 공유할 수 있도록 지원할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 데이터를 식별(identification) 처리하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 식별 처리 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 데이터가 식별 처리되는 과정의 일부를 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 원본 이미지 데이터와 식별 처리된 이미지 데이터를 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 식별 처리 시스템
210: 원본 데이터 획득부
220: 식별 처리 데이터 생성부
230: 통신부
240: 제어부
300: 디바이스
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 데이터를 식별(identification) 처리하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 식별(identification) 처리 시스템(200) 및 디바이스(300)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따르면, 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 통신망(100)을 통하여 후술할 디바이스(300)와 통신을 수행할 수 있고, 원본 데이터를 획득하고, 그 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 그 학습 모델에 위의 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 기능을 수행할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 서버 시스템일 수 있다.
또한, 본 발명의 일 실시예에 따른 원본 데이터는 텍스트, 이미지, 동영상, 소리 등 다양한 형태의 데이터를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 원본 데이터는 기계 학습, 심층 학습, 강화 학습 등의 다양한 학습 모델을 통해 학습시키는데 사용되는 데이터를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 표지 데이터는, 합성 데이터와 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 표지 데이터는 사람의 시각, 청각 및 촉각 중 적어도 하나의 감각에 의해 서로 다르게 인식되도록 하는 데이터를 포함할 수 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 이러한 표지 데이터는, 은닉되지 않고, 사람에 의해 시각, 청각 및 촉각 중 적어도 하나의 감각에 의해 인식될 수 있는 워터마크(watermark) 또는 포렌식마크(forensicmark) 등일 수 있다.
한편, 본 발명의 일 실시예에 따른 표지 데이터에는, 원본 데이터와 연관되는 권리자에 관한 정보가 포함될 수 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 위의 권리자에 관한 정보에는, 원본 데이터의 제작자, 배포자 또는 수령자에 관한 정보나 제작 일시, 배포 일시 또는 수령 일시에 관한 정보, 원본 데이터에 부여된 권리에 관한 정보 등이 포함될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위의 학습 모델에는 기계 학습(machine learning) 모델, 강화 학습(reinforcement learning) 모델, 딥 러닝(deep learning) 모델, 신경망 학습(neural network learning) 모델 등이 포함될 수 있다.
식별 처리 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 식별 처리 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 식별 처리 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 내에서 실현(예를 들어, 식별 처리 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 IC 칩(구체적으로는, 디바이스(300)에 포함된 IC 칩)에 의해 구현될 수 있다.)되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 통신망(100)을 통해 식별 처리 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 본 발명에 따른 데이터의 식별 처리를 지원하기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 식별 처리 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
식별 처리 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 식별 처리 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 식별 처리 시스템(200)의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 원본 데이터 획득부(210), 식별 처리 데이터 생성부(220), 통신부(230) 및 제어부(240)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 원본 데이터 획득부(210), 식별 처리 데이터 생성부(220), 통신부(230) 및 제어부(240)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 식별 처리 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 식별 처리 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 원본 데이터 획득부(210)는 원본 데이터를 획득하는 기능을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 그 학습 모델에 위의 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성할 수 있다. 본 발명의 일 실시예에 따르면, 위의 결과는 위의 데이터(즉, 원본 데이터 또는 합성 데이터) 내 소정 특징과 연관된 확률(probability), 벡터(vector), 행렬(matrix) 및 좌표(coordinate) 중 적어도 하나에 관한 값을 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 원본 데이터가 얼굴 이미지 데이터인 경우에, 위의 결과는, 얼굴 특징점(landmark point, 예를 들어, 눈의 양 끝점)에 관한 좌표 또는 얼굴 특징점에 관한 확률 분포(probability distribution)값 또는 로짓(logits)값일 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터에 표지 데이터를 합성하여 후보 합성 데이터를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 적어도 하나의 학습 모델에서 위의 후보 합성 데이터가 입력됨에 따라 출력되는 결과 및 위의 원본 데이터가 입력됨에 따라 출력되는 결과 사이의 차이를 산출하고, 그 산출되는 차이에 기초하여 위의 후보 합성 데이터를 보정할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터 x에 표지 데이터 w를 합성하여 후보 합성 데이터 x'을 생성할 수 있다. 이 경우에, 본 발명의 일 실시예에 따르면, 위의 원본 데이터 x에 위의 표지 데이터 w를 합성하여 위의 후보 합성 데이터 x'를 합성하는 목적 함수를 W(x, w)로 가정해 볼 수 있다. 그 다음에, 본 발명의 일 실시예에 따른 제1 학습 모델 F1에서 위의 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 및 위의 원본 데이터 x가 입력됨에 따라 출력되는 결과 사이의 차이의 노름(norm)(즉, "||F1(x)-F1(x')||")을 에러값(err)으로서 산출할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 에러값에 기초하여 위의 제1 학습 모델 F1에 원본 데이터가 입력됨에 따라 출력되는 결과와 위의 제1 학습 모델 F1에 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이를 감소(또는 최소화)시키도록 위의 목적 함수 W(x, w)를 보정할 수 있다. 즉, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 에러값이 소정 수준 이하로 작아지도록 위의 목적 함수 W(x, w)를 보정할 수 있고, 이를 통해, 위의 제1 학습 모델 F1에 원본 데이터가 입력됨에 따라 출력되는 결과와 위의 제1 학습 모델 F1에 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이가 작아지도록(또는 최소화되도록) 할 수 있다.
그 다음에, 위의 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 보정 이후에 제2 내지 제N 학습 모델(즉 F2 내지 FN)에 대하여도 위와 동일한 과정을 반복하여 수행할 수 있고, 위의 과정을 반복하여 N회 보정된 목적 함수 W(x, w)에 원본 데이터 x가 입력됨에 따라 출력되는 결과를 식별 처리된 데이터로서 생성할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 N은 제N 학습 모델 FN에 원본 데이터 x가 입력됨에 따라 출력되는 결과와 N-1회 보정된 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이가 소정 수준 이하가 되는 값으로 결정될 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 에러값(err)을 산출함에 있어서, 위의 제N 학습 모델 FN에서의 에러값은, 제1 내지 제N 학습 모델 각각에서의 노름의 합에 기초하여 산출될 수도 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 위의 제N 학습 모델 FN에서의 에러값은 ∑N||FN(x)-FN(x')||에 기초하여 산출될 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 식별 처리 시스템(200)은 위의 N회(또는 N-1회) 보정된 목적 함수 W(x, w)에 원본 데이터 x가 입력됨에 따라 출력되는 결과를 식별 처리된 이미지 데이터로서 생성할 수 있다.
한편, 앞서 살펴본 예에서는 결과 사이의 차이에 기초하여 에러값을 구하는 과정에서 노름(구체적으로는 L1 노름(norm))을 이용하였으나, 이에 한정되지 않고, 코사인 유사도(cosine similarity), L2 노름(norm) 등 거리 차이를 산출하는 다른 방식 또한 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 사용될 수 잇다.
한편, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 학습 모델에 원본 데이터가 입력됨에 따라 출력되는 결과와 위의 학습 모델에 식별 처리된 데이터가 입력됨에 따라 출력되는 결과 사이의 차이를 감소(또는 최소화)시키고, 원본 데이터와 식별 처리된 데이터 사이의 차이를 증가(또는 최대화)시키도록 하여 위의 식별 처리된 데이터를 생성할 수 있다.
예를 들어, 도 3을 참조하면, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터 x에 표지 데이터 w를 합성하여 후보 합성 데이터 x'을 생성할 수 있다. 이 경우에, 본 발명의 일 실시예에 따르면, 위의 원본 데이터 x에 위의 표지 데이터 w를 합성하여 위의 후보 합성 데이터 x'를 합성하는 목적 함수를 W(x, w)로 가정해 볼 수 있다(310)(예를 들어, 최초 목적 함수는 기설정될 수 있다.).
그 다음에, 본 발명의 일 실시예에 따른 제1 학습 모델 F1에서 위의 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 및 위의 원본 데이터 x가 입력됨에 따라 출력되는 결과 사이의 차이에 기초하여 에러값(err)을 산출할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면 이러한 에러값(err)은 ∑NωNloss functioni(FN(x), FN(x'))(이 경우, 제1 학습 모델이므로 N은 1일 수 있다.)(320)에 기초하여 산출될 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 에러값(err)은 ∑NωN||FN(x)-FN(x')||(이 경우, 제1 학습 모델이므로 N은 1일 수 있고, 가중치 ω1 내지 ωN은 기설정될 수 있다. 즉 ∑1ω1||F1(x)-F1(x')||)에 기초하여 산출될 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터 x와 후보 합성 데이터 x' 사이의 차이가 커지도록 하기 위하여 차이 극대화 모델 D(예를 들어, D(x, x') 또는 D(x, W(x, w)))에 기초하여 위의 에러값(err)을 보정할 수 있다(330, 340). 예를 들어, 본 발명의 일 실시예에 따른 차이 극대화 모델 D는 적대적 트레이닝(adversarial training)을 이용한 학습(예를 들어, 실제(real)/가짜(fake) 학습)에 기초하여 특정되는 모델일 수 있고, 그 모델 D로부터 원본 데이터 x 및 후보 합성 데이터 x' 사이의 차이를 소정 수준 이상으로 증가(또는 최대화)시키기 위한 출력값이 산출될 수 있으며, 식별 처리 데이터 생성부(220)가 그 출력값을 위의 에러값에 반영시킴으로써, 위의 에러값을 보정할 수 있다. 즉, 위의 에러값에 위의 출력값을 반영시킴으로써, 원본 데이터 x와 후보 합성 데이터 x' 사이의 차이를 증가시키고, 이를 통해, 원본 데이터 x와 후보 합성 데이터 x'가 사람의 시각, 청각 및 촉각 중 적어도 하나의 감각에 의해 다르게 인식되도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터 x와 후보 합성 데이터 x' 사이의 차이가 커지도록 하기 위하여 유사도 모델(similarity model) S를 사용할 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 유사도 모델 S는 max(0, Margin-||x-x'|| 또는 exp(-||x-x'||2/δ)에 기초하여 특정될 수 있고, 그 모델 S로부터 원본 데이터 x 및 후보 합성 데이터 x' 사이의 차이를 소정 수준 이상으로 증가(또는 최대화)시키기 위한 출력값이 산출될 수 있으며 식별 처리 데이터 생성부(220)가 그 출력값을 위의 에러값에 반영시킴으로써, 위의 에러값을 보정할 수 있다(350). 즉, 위의 에러값에 위의 출력값을 반영시킴으로써, 원본 데이터 x와 후보 합성 데이터 x' 사이의 차이를 증가시키고, 이를 통해, 원본 데이터 x와 후보 합성 데이터 x'가 사람의 시각, 청각 및 촉각 중 적어도 하나의 감각에 의해 다르게 인식될 수 있게 된다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 보정된 에러값에 기초하여 위의 제1 학습 모델 F1에 원본 데이터가 입력됨에 따라 출력되는 결과와 위의 제1 학습 모델 F1에 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이를 감소(또는 최소화)시키도록 위의 목적 함수 W(x, w)를 보정할 수 있다(360). 예를 들어, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 보정된 에러값이 소정 수준 이하로 작아지도록 목적 함수 W(x, w)를 보정할 수 있고, 이를 통해, 위의 제1 학습 모델 F1에 원본 데이터 x가 입력됨에 따라 출력되는 결과와 위의 제1 학습 모델 F1에 후보 합성 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이가 작아지도록(또는 최소화되도록) 할 수 있다.
그 다음에, 위의 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 보정 이후에 제2 내지 제N 학습 모델(즉 F2 내지 FN)에 대하여도 위와 동일한 과정을 반복하여 수행할 수 있고, 위의 과정을 반복하여 N회 보정된 목적 함수 W(x, w)에 원본 데이터 x가 입력됨에 따라 출력되는 결과를 식별 처리된 데이터로서 생성할 수 있다(370).
한편, 본 발명의 일 실시예에 따르면, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 위의 합성 데이터(또는, 식별 처리된 데이터)로부터 표지 데이터를 분리하여 원본 데이터가 추출되는 것을 방지하기 위하여 원본 데이터와 합성되기 전에 표지 데이터 상에 소정의 변형(perturbation)을 가할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터의 유형(예를 들어, 이미지, 소리 등)이나 특성(예를 들어, 픽셀, 주파수 등)을 참조하여 위의 표지 데이터 상에 가할 변형의 종류 또는 그 변형의 정도를 결정할 수 있다.
예를 들어, 도 4를 참조하면, 본 발명의 일 실시예에 따른 원본 데이터가 이미지인 경우에, 식별 처리 데이터 생성부(220)는 표지 데이터(410) 상에 변형을 가할 픽셀 기반의 블렌딩 팩터(blending factor) 및 부분 픽셀 레벨(sub-pixel-level)의 공간 왜곡(spatial distortion) 정도를 결정하고, 그 결정된 정도에 따라 표지 데이터(410)를 변형함으로써 위의 합성에 사용될 표지 데이터(420)를 생성할 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 식별 처리 데이터 생성부(220)는 원본 데이터로부터 추출되는 소정의 암호화 해시값(cryptographic hash value, 예를 들어, SHA-256)에 기초하여 위의 표지 데이터 상에 가할 임의 변형 정도(random perturbation)를 결정할 수 있고, 그 결정된 정도에 따라 위의 표지 데이터(410)를 변형함으로써 합성에 사용될 표지 데이터(420)를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 원본 데이터와 합성되는 표지 데이터 상에 위와 같은 변형(perturbation)을 가함으로써, 원본 데이터에 표지 데이터를 합성하여 생성되는 과정이 비가역적일 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따르면, 통신부(230)는 원본 데이터 획득부(210) 및 식별 처리 데이터 생성부(220)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따르면, 제어부(240)는 원본 데이터 획득부(210), 식별 처리 데이터 생성부(220) 및 통신부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 식별 처리 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 식별 처리 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 원본 데이터 획득부(210), 식별 처리 데이터 생성부(220) 및 통신부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 원본 이미지 데이터와 식별 처리된 이미지 데이터를 예시적으로 나타내는 도면이다.
도 5를 참조하면, 먼저, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 원본 이미지 데이터 x(510)를 획득할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 원본 이미지 데이터 x의 유형이나 특성을 참조하여 표지 이미지 데이터 w 상에 변형을 가할 픽셀 기반의 블렌딩 팩터(blending factor) 및 부분 픽셀 레벨(sub-pixel-level)의 공간 왜곡(spatial distortion) 정도를 결정하고, 그 결정된 정도에 따라 표지 이미지 데이터 w를 변형함으로써 합성에 사용될 표지 이미지 데이터 w'을 생성할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)는 원본 이미지 데이터 x에 표지 이미지 데이터 w'를 합성하여 후보 합성 이미지 데이터 x'을 생성할 수 있다. 이 경우에, 본 발명의 일 실시예에 따르면, 위의 원본 이미지 데이터 x에 위의 표지 이미지 데이터 w'을 합성하여 위의 후보 합성 이미지 데이터 x'를 합성하는 목적 함수를 W(x, w')로 가정해 볼 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 제1 학습 모델 F1에서 위의 후보 합성 이미지 데이터 x'이 입력됨에 따라 출력되는 결과 및 위의 원본 이미지 데이터 x가 입력됨에 따라 출력되는 결과 사이의 차이에 기초하여 에러값(err)을 산출할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 에러값(err)은 ∑1w1||F1(x)-F1(x')||에 기초하여 산출될 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)는 원본 이미지 데이터 x와 후보 합성 이미지 데이터 x' 사이의 차이가 커지도록 하기 위하여 차이 극대화 모델 D(예를 들어, D(x, x') 또는 D(x, W(x, w)))(330, 340)에 기초하여 위의 에러값(err)을 보정할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위의 차이 극대화 모델 D는 적대적 트레이닝(adversarial training)을 이용한 학습(예를 들어, 실제(real)/가짜(fake) 학습)에 기초하여 특정되는 모델일 수 있다. 또한, 차이 극대화 모델 D와 위의 W(x, w') 사이의 관계가 아래 수학식 1과 같이 설정될 수 있다.
Figure PCTKR2019005367-appb-M000001
이 경우에, 본 발명의 일 실시예에 따르면, V(W, D)는 목적 함수 W(.)의 최소 및 차이 극대화 모델 D(.)의 최대를 만족시키는 값을 찾는 가치 함수(value function)일 수 있고, pdesired 및 px는 각각 원하는 분포(desired distribution) 및 데이터 분포(data distribution)를 의미할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 식별 처리 시스템(200)은 위의 보정된 에러값에 기초하여 위의 제1 학습 모델 F1에 원본 이미지 데이터가 입력됨에 따라 출력되는 결과와 위의 제1 학습 모델 F1에 후보 합성 이미지 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이가 최소화되도록 위의 W(x, w') 함수를 보정할 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 식별 처리 시스템(200)은 제2 내지 제N 학습 모델(즉 F2 내지 FN)에 대하여도 위와 동일한 과정을 반복하여 수행함으로써, W(x, w') 함수를 재차 보정할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 N은 제N 학습 모델 FN에 원본 이미지 데이터가 입력됨에 따라 출력되는 결과와 N-1회 보정된 후보 합성 이미지 데이터 x'이 입력됨에 따라 출력되는 결과 사이의 차이가 소정 수준 이하가 되는 값으로 결정될 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 식별 처리 시스템(200)은 위의 N회(또는 N-1회) 보정된 목적 함수 W(x, w')에 원본 이미지 데이터 x가 입력됨에 따라 출력되는 결과를 식별 처리된 이미지 데이터로서 생성할 수 있다(520).
도 5의 (b)는 본 발명의 일 실시예에 따라 원본 이미지 데이터가 식별 처리된 결과를 예시적으로 나타내는 도면이다.
도 5의 (a) 및 도 5의 (b)를 참조하면, 본 발명의 일 실시예에 따른 도 5의 (b)의 식별 처리된 이미지 데이터와 도 5의 (a)의 원본 이미지 데이터는 사람에 의해 시각적으로 서로 다르게 인식될 수 있으나, 어느 학습 모델에 입력되더라도 동일하거나 유사한 결과를 산출할 수 있는 이미지 데이터일 수 있게 된다.
한편, 본 발명에 따른 식별 처리 시스템(200)에 의해 식별 처리된 이미지 데이터가 기계 학습을 위하여 대량의 이미지 구매를 원하는 구매자에게 제공(또는 판매)될 수 있다.
이 경우에, 본 발명의 일 실시예에 따라 위의 판매된 이미지들이 식별 처리되어 있으므로, 구매자의 무단 복사 또는 무단 복제를 어렵게 할 뿐만 아니라 제3자에게 무단으로 제공되더라도, 향후에 쉽게 추적이 될 수 있게 된다. 또한, 본 발명의 일 실시예에 따르면, 사람에 의해서는 원본 이미지 데이터와 서로 상이하게 인식될 수 있으나, 기계에 의해서는(구체적으로는, 기계 학습 시) 원본 이미지 데이터와 서로 동일하거나 유사하게 인식될 수 있게 된다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 데이터를 식별(identification) 처리하는 방법으로서,
    원본 데이터를 획득하는 단계, 및
    상기 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 단계를 포함하고,
    상기 표지 데이터는, 상기 합성 데이터와 상기 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 결과는, 상기 원본 데이터 또는 상기 합성 데이터 내 소정 특징과 연관된 확률(probability), 벡터(vector), 행렬(matrix) 및 좌표(coordinate) 중 적어도 하나에 관한 값을 포함하는
    방법.
  3. 제1항에 있어서,
    상기 표지 데이터에는 상기 원본 데이터와 연관되는 권리자에 관한 정보가 포함되는
    방법.
  4. 제1항에 있어서,
    상기 생성 단계에서, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 상기 학습 모델에 상기 식별 처리된 데이터가 입력됨에 따라 출력되는 결과 사이의 차이를 감소시키고, 상기 원본 데이터와 상기 식별 처리된 데이터 사이의 차이를 증가시켜 상기 식별 처리된 데이터를 생성하는
    방법.
  5. 제1항에 있어서,
    상기 생성 단계는, 상기 원본 데이터를 상기 표지 데이터와 합성하여 상기 합성 데이터를 생성하는 단계, 및
    적어도 하나의 학습 모델에서 상기 후보 합성 데이터가 입력됨에 따라 출력되는 결과 및 상기 원본 데이터가 입력됨에 따라 출력되는 결과 사이의 차이를 산출하고, 상기 산출되는 차이에 기초하여 상기 후보 합성 데이터를 보정하는 단계를 포함하는
    방법.
  6. 제1항에 있어서,
    상기 원본 데이터와 상기 표지 데이터 사이의 합성은 비가역적인
    방법.
  7. 제1항에 있어서,
    상기 학습 모델에는, 기계 학습(machine learning) 모델 및 신경망 학습(neural network learning) 모델 중 적어도 하나가 포함되는
    방법.
  8. 제1항에 있어서,
    상기 표지 데이터는 상기 사람의 시각, 청각 및 촉각 중 적어도 하나의 감각에 의해 서로 다르게 인식되도록 하는 데이터인
    방법.
  9. 제1항에 있어서,
    상기 데이터는 이미지에 관한 데이터이고, 상기 표지 데이터는 워터마크(watermark)에 관한 데이터인
    방법.
  10. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  11. 데이터를 식별(identification) 처리하는 방법으로서,
    원본 데이터를 획득하는 원본 데이터 획득부, 및
    상기 원본 데이터에 표지(mark) 데이터가 합성됨에 따라 생성되는 합성 데이터로서, 학습 모델(learning model)에 입력되면, 상기 학습 모델에 상기 원본 데이터가 입력됨에 따라 출력되는 결과와 서로 동일하거나 유사한 결과가 출력되는 합성 데이터를 식별 처리된 데이터로서 생성하는 단계를 포함하고,
    상기 표지 데이터는, 상기 합성 데이터와 상기 원본 데이터가 사람에 의해 서로 다르게 인식되도록 하는 데이터를 포함하는
    시스템.
PCT/KR2019/005367 2018-08-10 2019-05-03 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2020032348A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180093747A KR102107021B1 (ko) 2018-08-10 2018-08-10 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2018-0093747 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020032348A1 true WO2020032348A1 (ko) 2020-02-13

Family

ID=69406172

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2019/005367 WO2020032348A1 (ko) 2018-08-10 2019-05-03 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
PCT/KR2019/008944 WO2020032420A1 (en) 2018-08-10 2019-07-19 Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008944 WO2020032420A1 (en) 2018-08-10 2019-07-19 Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same

Country Status (6)

Country Link
US (1) US10789551B2 (ko)
EP (1) EP3834107A4 (ko)
JP (1) JP7140317B2 (ko)
KR (1) KR102107021B1 (ko)
CN (1) CN112313645B (ko)
WO (2) WO2020032348A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210216874A1 (en) * 2020-01-10 2021-07-15 Facebook Technologies, Llc Radioactive data generation
US11017320B1 (en) * 2020-06-24 2021-05-25 Deeping Source Inc. Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same
US11366930B1 (en) * 2021-08-23 2022-06-21 Deeping Source Inc. Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same
US11308359B1 (en) * 2021-10-27 2022-04-19 Deeping Source Inc. Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same
US11886955B2 (en) 2022-02-16 2024-01-30 Protopia AI, Inc. Self-supervised data obfuscation in foundation models

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269098A1 (en) * 2005-05-31 2006-11-30 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, medium, code reading apparatus, and program
KR20090109896A (ko) * 2008-04-16 2009-10-21 중앙대학교 산학협력단 배경 영상의 자동 교체 시스템 및 그 방법
KR20140147461A (ko) * 2013-06-20 2014-12-30 삼성전자주식회사 고유의 컨텐츠를 삽입하는 전자 장치 및 방법
KR20170089752A (ko) * 2016-01-27 2017-08-04 한국과학기술원 분할 기법을 이용한 3차원 메쉬 모델 워터마킹 방법 및 장치
KR20170092631A (ko) * 2014-12-30 2017-08-11 이베이 인크. 유사 물품 검출

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3611230B2 (ja) * 1997-06-12 2005-01-19 富士ゼロックス株式会社 情報処理方法
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
US7095872B2 (en) * 2001-08-28 2006-08-22 University Of North Carolina At Charlotte Automated digital watermarking methods using neural networks
US20030070075A1 (en) * 2001-10-04 2003-04-10 Frederic Deguillaume Secure hybrid robust watermarking resistant against tampering and copy-attack
CN1933391A (zh) * 2005-09-16 2007-03-21 北京书生国际信息技术有限公司 一种隐形编码嵌入和检测的方法
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
CN101661610A (zh) * 2009-09-17 2010-03-03 上海交通大学 具有主被动鉴别功能的数字图像防伪检测系统
WO2015017796A2 (en) * 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
KR102195627B1 (ko) * 2015-11-17 2020-12-28 삼성전자주식회사 통역 모델 생성 장치 및 방법과, 자동 통역 장치 및 방법
WO2018017467A1 (en) * 2016-07-18 2018-01-25 NantOmics, Inc. Distributed machine learning systems, apparatus, and methods
KR101837939B1 (ko) 2016-10-18 2018-03-13 주식회사 한글과컴퓨터 문서에 워터마크를 삽입하는 방법 및 그 장치와 워터마크가 삽입된 문서
CN109952583A (zh) * 2016-11-15 2019-06-28 谷歌有限责任公司 神经网络的半监督训练
KR20180058116A (ko) 2016-11-23 2018-05-31 부산대학교 산학협력단 가정용 에너지 관리 시스템에서의 수용가의 가전기기 자동 설정 방법
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
JP6567488B2 (ja) 2016-12-22 2019-08-28 日本電信電話株式会社 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム
EP3570222B1 (en) * 2017-01-12 2023-02-08 KDDI Corporation Information processing device and method, and computer readable storage medium
KR101861520B1 (ko) 2017-03-15 2018-05-28 광주과학기술원 얼굴 비식별화 방법
KR20180130925A (ko) * 2017-05-30 2018-12-10 국방과학연구소 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법
US20190286938A1 (en) * 2018-03-13 2019-09-19 Recogni Inc. Real-to-synthetic image domain transfer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269098A1 (en) * 2005-05-31 2006-11-30 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, medium, code reading apparatus, and program
KR20090109896A (ko) * 2008-04-16 2009-10-21 중앙대학교 산학협력단 배경 영상의 자동 교체 시스템 및 그 방법
KR20140147461A (ko) * 2013-06-20 2014-12-30 삼성전자주식회사 고유의 컨텐츠를 삽입하는 전자 장치 및 방법
KR20170092631A (ko) * 2014-12-30 2017-08-11 이베이 인크. 유사 물품 검출
KR20170089752A (ko) * 2016-01-27 2017-08-04 한국과학기술원 분할 기법을 이용한 3차원 메쉬 모델 워터마킹 방법 및 장치

Also Published As

Publication number Publication date
US10789551B2 (en) 2020-09-29
CN112313645B (zh) 2024-06-07
KR20200018031A (ko) 2020-02-19
CN112313645A (zh) 2021-02-02
EP3834107A1 (en) 2021-06-16
WO2020032420A1 (en) 2020-02-13
KR102107021B1 (ko) 2020-05-07
EP3834107A4 (en) 2022-05-04
US20200050962A1 (en) 2020-02-13
JP2021521566A (ja) 2021-08-26
JP7140317B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
WO2020032348A1 (ko) 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
US20200097764A1 (en) System and method for learning scene embeddings via visual semantics and application thereof
CN111886842A (zh) 使用基于阈值的匹配进行远程用户身份验证
WO2022131497A1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020060019A1 (ko) 글자 검출 장치, 방법 및 시스템
CN110446066A (zh) 用于生成视频的方法和装置
KR102052534B1 (ko) 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
WO2022250213A1 (ko) 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
EP3459009A2 (en) Adaptive quantization method for iris image encoding
CN113111369A (zh) 一种数据标注中的数据保护方法及系统
WO2021020876A1 (ko) 워터마크의 삽입을 위한 영상 합성 장치 및 방법
WO2021172668A1 (ko) 블록체인을 이용한 최초 저작권자 인증 시스템 및 그 방법
CN112232422A (zh) 一种目标行人的重识别方法、装置、电子设备和存储介质
WO2021221256A1 (ko) 전자 장치 및 그의 제어 방법
Ersoy et al. Reading and playing musical notes with image processing techniques with mobile application
WO2019225799A1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
CN110619883B (zh) 音乐的信息嵌入方法、提取方法、装置、终端及存储介质
WO2021256578A1 (ko) 이미지 캡션 자동 생성 장치 및 방법
KR20200018361A (ko) 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018008934A2 (en) Adaptive quantization method for iris image encoding
KR102247769B1 (ko) 원본 데이터와 마크 데이터를 합성하여 마킹된 데이터를 생성하는 데이터 임베딩 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
KR20090001442A (ko) 미디어 파일 필터링 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846191

Country of ref document: EP

Kind code of ref document: A1