KR102239771B1 - Apparatus and method for executing deep learning based watermark in various kinds of content environment - Google Patents

Apparatus and method for executing deep learning based watermark in various kinds of content environment Download PDF

Info

Publication number
KR102239771B1
KR102239771B1 KR1020190178551A KR20190178551A KR102239771B1 KR 102239771 B1 KR102239771 B1 KR 102239771B1 KR 1020190178551 A KR1020190178551 A KR 1020190178551A KR 20190178551 A KR20190178551 A KR 20190178551A KR 102239771 B1 KR102239771 B1 KR 102239771B1
Authority
KR
South Korea
Prior art keywords
watermark
content
weight
neural network
artificial neural
Prior art date
Application number
KR1020190178551A
Other languages
Korean (ko)
Inventor
윤은준
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority to KR1020190178551A priority Critical patent/KR102239771B1/en
Application granted granted Critical
Publication of KR102239771B1 publication Critical patent/KR102239771B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

An apparatus for executing deep learning-based watermark in various kinds of content environments according to the present invention includes: an artificial neural network including a plurality of layers in which a weight is applied to an operation result of a previous layer and inputted to an operation of the next layer; a training unit deriving a content weight that is a weight of the artificial neural network by training the artificial neural network using a training data set including original content, a protected content mapping with a watermark on the original content, and a plurality of damage protection contents applied with the different watermark attacks by executing a plurality of different watermark attacks to damage the watermark of the protected content, so as to determine that the original content, the protected content, and the damage protection contents are identical; and a mapping unit that generates a weighted watermark by performing an exclusive OR operation on the content weight and the watermark, and then maps the weighted watermark onto the original content to generate protected content.

Description

다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치 및 이를 위한 방법{Apparatus and method for executing deep learning based watermark in various kinds of content environment}Device and method for executing deep learning based watermark in various kinds of content environment {Apparatus and method for executing deep learning based watermark in various kinds of content environment}

본 발명은 워터마크 기술에 관한 것으로, 보다 상세하게는, 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a watermark technology, and more particularly, to an apparatus for executing a deep learning-based watermark in a multi-content environment and a method therefor.

새로운 유형의 콘텐츠에 저작권 보호를 위해 기존에 개발된 워터마킹 기술을 이용할 경우, 다양한 문제가 발생하게 된다. 첫째, 기존 워터마킹 기법은 자주 발생하는 특정한 공격을 정의하고 그에 대한 강인성을 가지도록 설계되므로, 정의되지 않은 공격에 취약하며 대응을 위해서는 알고리즘 수정 및 보완이 필요하기 때문에 신속한 대응이 어렵다. 둘째, 기존의 워터마킹 기술은 정지 이미지 또는 2D 동영상에 국한되어서 연구되었으며, 다양한 크기 및 형태의 영상들, 또한 새로운 유형의 콘텐츠에 맞춤형 워터마킹 기술이 필요로 하고 이로 인한 높은 개발 비용과 기간으로 인하여 저작권 보호 공백 기간이 발생한다. When using a watermarking technology previously developed for copyright protection for a new type of content, various problems arise. First, the existing watermarking technique defines a specific attack that occurs frequently and is designed to have robustness against it, so it is vulnerable to undefined attacks, and it is difficult to quickly respond because it requires algorithm modification and supplementation to respond. Second, the existing watermarking technology has been studied by being limited to still images or 2D video, and customized watermarking technology is required for images of various sizes and shapes, as well as new types of content. A period of copyright protection gap occurs.

한국공개특허 제2018-0065950호 2018년 06월 18일 공개 (명칭: 이미지 처리 시스템)Korean Patent Application Publication No. 2018-0065950 published on June 18, 2018 (Name: Image Processing System)

상술한 바와 같은 문제를 감안한 본 발명의 목적은 기존에 정의되지 않은 새로운 유형의 공격에 신속하게 대응가능하며, 3D 및 360°VR과 같이 새롭게 등장하는 다종 콘텐츠로 쉽게 확장할 수 있는 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치 및 이를 위한 방법을 제공함에 있다. The object of the present invention in consideration of the above-described problem is that it is possible to quickly respond to a new type of attack that has not been previously defined, and in a multi-content environment that can be easily expanded to newly emerging various contents such as 3D and 360° VR. It is to provide an apparatus for executing a deep learning-based watermark and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 학습부와, 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성한 후, 상기 가중치 워터마크를 상기 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 사상부를 포함한다. In the apparatus for executing a deep learning-based watermark in a multi-content environment according to a preferred embodiment of the present invention for achieving the above object, a weight is applied to the calculation result of the previous layer and input to the calculation of the next layer. An artificial neural network including a plurality of layers, the original of the content, the protected content that maps a watermark to the original of the content, and a plurality of different watermark attacks to damage the watermark of the protected content. The artificial neural network learns the artificial neural network using a learning data set including a plurality of damaged protected contents with different watermark attacks to determine that the original of the contents, the protected contents, and the plurality of damaged protected contents are the same. A learning unit that derives a content weight, which is a weight of a neural network, generates a weighted watermark by calculating an exclusive logical sum of the content weight and watermark, and then maps the weighted watermark to the original content to generate protected content. Includes wealth.

상기 학습부는 상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 것을 특징으로 한다. The learning unit executes a plurality of different watermark attacks to damage the watermark and the watermark, and uses a learning data set including a plurality of damaged watermarks in which a plurality of different watermark attacks are performed. A watermark weight, which is a weight of the artificial neural network, is derived by learning to determine that the watermark and the plurality of damaged watermarks are the same.

상기 장치는 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하고, 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하고, 추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 검출부를 더 포함한다. When the suspicious content is input, the device extracts the weighted watermark from the suspicious content, extracts the watermark by calculating an exclusive logical sum of the weighted watermark and the content weight, and inputs the extracted watermark into the artificial neural network. Thus, the watermark extracted according to the output of the artificial neural network and the watermark further comprises a detection unit to determine the identity of the original.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 방법은 학습부가 콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 마련하는 단계와, 상기 학습부가 상기 학습 데이터 세트를 이용하여 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 단계와, 사상부가 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성하는 단계와, 상기 사상부가 상기 가중치 워터마크를 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 단계를 포함한다. The method for executing a deep learning-based watermark in a multi-content environment according to a preferred embodiment of the present invention to achieve the above object is to protect the learning unit by mapping the original content and the watermark on the original content. Preparing a learning data set including content and a plurality of damaged content with a plurality of different watermark attacks by executing a plurality of different watermark attacks for damaging the watermark of the protected content; and The learning unit learns an artificial neural network including a plurality of layers input to the operation of the next layer by applying a weight to the calculation result of the previous layer using the training data set, and the original of the content, the protected content, and the plurality of damaged Deriving a content weight, which is a weight of the artificial neural network for determining that the protected content is the same, generating a weighted watermark by calculating an exclusive logical sum of the content weight and the watermark by a mapping unit, and generating a weighted watermark by the mapping unit And generating the protected content by mapping the mark to the original content.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 단계를 더 포함한다. The step of deriving the content weight includes a plurality of damaged watermarks in which a plurality of different watermark attacks are performed by the learning unit executing a plurality of different watermark attacks to damage the watermark and the watermark. And deriving a watermark weight, which is a weight of the artificial neural network, to determine that the watermark and the plurality of damaged watermarks are identical by learning the artificial neural network using a data set.

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하는 단계와, 상기 검출부가 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하는 단계와, 상기 검출부가 상기 추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 단계를 더 포함한다. The method includes the steps of extracting the weighted watermark from the suspicious content when a detection unit inputs suspicious content, and extracting a watermark by calculating an exclusive logical sum of the weighted watermark and the content weight by the detection unit, and the And determining, by the detection unit, the extracted watermark into the artificial neural network, and determining whether the extracted watermark and the original watermark are identical according to the output of the artificial neural network.

본 발명의 다른 견지에 따르면, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 콘텐츠의 원본에 워터마크를 사상하여 보호콘텐츠를 생성하는 사상부와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 생성하고, 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠를 포함하는 학습 데이터 세트를 생성한 후, 상기 학습 데이터 세트를 이용하여 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 학습부를 포함한다. According to another aspect of the present invention, in the apparatus for detecting images based on deep learning in a multi-content environment according to a preferred embodiment of the present invention for achieving the above-described object, a weight is applied to the calculation result of the previous layer. An artificial neural network including a plurality of layers input to the operation of the next layer, a mapping unit for generating protected content by mapping a watermark to the original content, and a plurality of different waters for damaging the watermark of the protected content After executing a mark attack to generate a plurality of damaged protected contents in which a plurality of different watermark attacks were made, and generating a learning data set including the original of the contents, the protected contents, and the plurality of damaged protected contents, the When any one of the protected content and the plurality of damaged protected content is input to the artificial neural network using a learning data set, the artificial neural network outputs the same probability between the input content and the original content. And a learning unit that learns and derives a content weight from the artificial neural network.

상기 학습부는 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역을 검출하고, 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 상기 콘텐츠 가중치를 도출하는 것을 특징으로 한다. When any one of the protected content and the plurality of damaged protected content is input to the artificial neural network, the learning unit detects the classes and object regions of a plurality of objects included in the input content, and the From the artificial neural network by learning the artificial neural network to output the class and object area of a plurality of objects included in the input content and the plurality of objects included in the original of the content with probability. It characterized in that the content weight is derived.

상기 장치는 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하여 상기 인공신경망이 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 검출부를 더 포함한다. When the device inputs suspicious content to the artificial neural network to which the content weight is applied and the artificial neural network outputs the sameness between the suspicious content and the original content with a probability, the suspicious content is It further includes a detection unit that determines whether or not it is the same as the original.

상기 검출부는 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하여 상기 인공신경망이 상기 의심 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 것을 특징으로 한다. The detection unit inputs suspicious content to the artificial neural network to which the content weight is applied, and the artificial neural network includes classes and object areas of a plurality of objects included in the suspicious content, and classes and object areas of a plurality of objects included in the original content. When the identity of is output as a probability, it is determined whether or not the suspected content is the same as the original of the content according to the output probability.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법은 사상부가 콘텐츠의 원본에 워터마크를 사상하여 보호콘텐츠를 생성하는 단계와, 학습부가 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 생성하고, 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠를 포함하는 학습 데이터 세트를 생성하는 단계와, 상기 학습부가 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 단계를 포함한다. A method for detecting a deep learning-based image in a multi-content environment according to a preferred embodiment of the present invention for achieving the above-described object includes the steps of creating a protected content by mapping a watermark to the original content by a mapping unit; , The learning unit executes a plurality of different watermark attacks to damage the watermark of the protected content to generate a plurality of damaged protected content in which a plurality of different watermark attacks are performed, and the original of the content, the protected content, and Generating a learning data set including the plurality of damaged protected contents, and the learning unit applies a weight to an operation result of a previous layer and inputs a weight to the operation of the next layer to an artificial neural network including a plurality of layers. And when any one of the plurality of damaged protected contents is input, the artificial neural network trains the artificial neural network so that the artificial neural network outputs the identity of the input content and the original content with a probability, so that the content weight is calculated from the artificial neural network. It includes the step of deriving.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역을 검출하고, 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 것을 특징으로 한다. In the deriving of the content weight, when the learning unit inputs any one of the protected content and the plurality of damaged protected content to the artificial neural network, the artificial neural network is a class of a plurality of objects included in the input content. And detecting an object area, and outputting the classes and object areas of a plurality of objects included in the input content and the plurality of objects included in the original of the content with probability of the sameness of the classes and object areas of the plurality of objects. It is characterized in that the content weight is derived from the artificial neural network by learning a neural network.

상기 인공신경망의 가중치를 도출하는 단계 후, 인공신경망에 상기 도출된 콘텐츠 가중치를 적용하는 단계와, 검출부가 의심 콘텐츠가 입력되면, 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하는 단계와, 검출부가 상기 콘텐츠 가중치가 적용된 인공신경망이 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 단계를 더 포함한다. After the step of deriving the weight of the artificial neural network, applying the derived content weight to the artificial neural network, inputting the suspicious content to the artificial neural network to which the content weight is applied when the detection unit inputs suspicious content, and the detection unit If the artificial neural network to which the content weight is applied outputs the same as the probability of the suspected content and the original of the content, determining whether the suspicious content is the same as the original of the content according to the output probability. Includes.

상기 판단하는 단계는 검출부가 상기 콘텐츠 가중치가 적용된 인공신경망이 상기 의심 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 것을 특징으로 한다. In the determining step, by the detection unit, the artificial neural network to which the content weight is applied is the same as the classes and object regions of a plurality of objects included in the suspicious content and a plurality of objects included in the original of the content, and the classes and object regions of the plurality of objects. When outputting with probability, it is characterized in that it is determined whether the suspicious content is the same as the original content according to the output probability.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹 시스템은 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 원본 콘텐츠와 상기 원본 콘텐츠에 워터마크가 사상된 보호콘텐츠와 상기 보호콘텐츠에 워터마크 공격이 이루어진 손상보호콘텐츠가 동일한 것으로 판별하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 학습부와, 상기 콘텐츠 가중치와 워터마크의 배타적논리합 연산에 의해 생성된 가중치 워터마크를 상기 원본 콘텐츠에 사상하여 보호콘텐츠를 생성하는 사상부를 포함한다. In the deep learning-based watermarking system for multi-content copyright protection according to a preferred embodiment of the present invention to achieve the above object, a weight is applied to the operation result of the previous layer, and a plurality of layers input to the operation of the next layer. An artificial neural network including, and learning to determine that the original content and the protected content with a watermark mapped to the original content and the damaged protected content with a watermark attack on the protected content are identical to derive a content weight from the artificial neural network. And a learning unit, and a mapping unit for generating protected content by mapping a weight watermark generated by an exclusive logical sum operation of the content weight and the watermark to the original content.

상기 시스템은 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠를 상기 콘텐츠 가중치가 적용된 인공신경망에 입력하여 상기 콘텐츠 가중치가 적용된 인공신경망의 출력에 따라 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 판단하는 검출부를 더 포함한다. The system, when suspicious content is input, inputs the suspicious content into an artificial neural network to which the content weight is applied, and a detection unit that determines the identity of the suspicious content and the original content according to the output of the artificial neural network to which the content weight is applied. Include more.

상기 학습부는 상기 워터마크와 상기 워터마크에 워터마크 공격이 이루어진 손상된 워터마크가 동일한 것으로 판별하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 워터마크 가중치를 도출하는 것을 특징으로 한다. The learning unit is characterized in that the learning unit learns the artificial neural network to determine that the watermark and the damaged watermark having a watermark attack on the watermark are the same to derive a watermark weight from the artificial neural network.

상기 검출부는 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하고, 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하고, 상기 추출된 워터마크를 상기 워터마크 가중치가 적용된 인공신경망에 입력하여 상기 워터마크 가중치가 적용된 인공신경망의 출력에 따라 상기 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 것을 특징으로 한다. The detection unit extracts the weighted watermark from the suspicious content, extracts the watermark by calculating an exclusive logical sum of the weighted watermark and the content weight, and inputs the extracted watermark into an artificial neural network to which the watermark weight is applied. Thus, according to the output of the artificial neural network to which the watermark weight is applied, the sameness between the extracted watermark and the original watermark is determined.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 위한 방법은 학습부가 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망을 원본 콘텐츠와 상기 원본 콘텐츠에 워터마크가 사상된 보호콘텐츠와 상기 보호콘텐츠에 워터마크 공격이 이루어진 손상보호콘텐츠가 동일한 것으로 판별하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 단계와, 사상부가 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성하는 단계와, 상기 사상부가 상기 가중치 워터마크를 상기 콘텐츠 원본에 사상하여 보호콘텐츠를 생성하는 단계를 포함한다. In the method for watermarking based on deep learning for protecting copyrights of multiple types of content according to a preferred embodiment of the present invention to achieve the above object, the learning unit applies a weight to the calculation result of the previous layer and inputs it to the calculation of the next layer. The artificial neural network including a plurality of layers is learned to determine that the original content and the protected content with a watermark mapped to the original content and the damaged protected content with a watermark attack on the protected content are the same, and weighted content from the artificial neural network. Deriving, and a mapping unit calculating an exclusive logical sum of the content weight and the watermark to generate a weighted watermark, and the mapping unit mapping the weighted watermark to the original content to generate a protected content. do.

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠를 상기 콘텐츠 가중치가 적용된 인공신경망에 입력하여 상기 콘텐츠 가중치가 적용된 인공신경망의 출력에 따라 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 판단하는 단계를 더 포함한다. In the method, when the detection unit inputs suspicious content, inputs the suspicious content into the artificial neural network to which the content weight is applied, and determines the identity of the suspicious content and the original content according to the output of the artificial neural network to which the content weight is applied. It further includes steps.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 워터마크와 상기 워터마크에 워터마크 공격이 이루어진 손상된 워터마크가 동일한 것으로 판별하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 워터마크 가중치를 도출하는 단계를 더 포함한다. The deriving of the content weight includes the step of learning the artificial neural network so that the learning unit determines that the watermark and the damaged watermark with a watermark attack are the same, and deriving a watermark weight from the artificial neural network. Include more.

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하는 단계와, 상기 검출부가 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하는 단계와, 상기 검출부가 상기 추출된 워터마크를 상기 워터마크 가중치가 적용된 인공신경망에 입력하여 상기 워터마크 가중치가 적용된 인공신경망의 출력에 따라 상기 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 단계를 더 포함한다. The method includes the steps of extracting the weighted watermark from the suspicious content when a detection unit inputs suspicious content, and extracting a watermark by calculating an exclusive logical sum of the weighted watermark and the content weight by the detection unit, and the A step of determining, by a detection unit, the extracted watermark into an artificial neural network to which the watermark weight is applied, and determining whether the extracted watermark and the original watermark are identical according to the output of the artificial neural network to which the watermark weight is applied. Include more.

본 발명에 따르면, 기존에 정의되지 않은 새로운 유형의 워터마크 공격에 신속하고 효과적으로 대응할 수 있다. 즉, 본 발명은 3D 및 360° VR과 같이 새롭게 등장하는 다종 콘텐츠에 대한 워터마크 공격에 신속하고 빠르게 대응하여 다종 콘텐츠에 대한 저작권 보호의 공백을 줄일 수 있다. According to the present invention, it is possible to respond quickly and effectively to a new type of watermark attack that has not been previously defined. That is, the present invention can quickly and quickly respond to a watermark attack on a variety of content, such as 3D and 360° VR, to reduce the gap in copyright protection for a variety of content.

도 1은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 구분망의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 출력층을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 생성하는 학습부의 동작을 설명하기 위한 도면이다.
도 7 내지 도 10은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 삽입부의 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 검출부의 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 실시예에 따른 워터마크 가중치를 도출하는 방법을 설명하기 위한 흐름도이다.
도 16은 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining the configuration of a system for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining the configuration of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple types of content according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining the configuration of a division network for executing deep learning-based watermarking for copyright protection of multiple types of content according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining the configuration of a discrimination network for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention.
5 is a diagram for explaining an output layer of a discrimination network for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an operation of a learning unit generating a training data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention.
7 to 10 are diagrams for explaining a training data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention according to an embodiment of the present invention.
11 is a diagram for explaining an operation of a detection unit for determining content identity for copyright protection of multiple types of content according to an embodiment of the present invention.
12 is a diagram illustrating an operation of an insertion unit for protecting copyrights of various types of contents according to an embodiment of the present invention.
13 is a diagram for explaining an operation of a detection unit for copyright protection of multiple types of content according to an embodiment of the present invention.
14 is a flowchart illustrating a learning method for detecting an image based on deep learning in a multi-content environment according to an embodiment of the present invention.
15 is a flowchart illustrating a method of deriving a watermark weight according to an embodiment of the present invention.
16 is a flowchart illustrating a method for detecting an image based on deep learning in a multi-content environment.
17 is a flowchart illustrating a method of executing a watermark based on deep learning for content protection according to an embodiment of the present invention.
18 is a flowchart illustrating a method of authenticating a copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, terms or words used in the present specification and claims to be described below should not be construed as being limited to their usual or dictionary meanings, and the inventors will use their own invention in the best way. For explanation, based on the principle that terms can be appropriately defined as the concept of terms, they should be interpreted as meanings and concepts consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, and thus various equivalents that can replace them at the time of application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as possible. In addition, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

먼저, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템(이하, '워터마킹시스템'으로 축약함)은 인공신경망(ANN: artificial neural network, 100), 학습부(200), 사상부(300) 및 검출부(400)를 포함한다. 이하, 인공신경망(100), 학습부(200), 사상부(300) 및 검출부(400) 각각의 구성 및 동작에 대해 보다 구체적으로 설명하기로 한다. First, a configuration of a system for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a system for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention. Referring to FIG. 1, a system for executing deep learning-based watermarking for protecting multi-content copyrights according to an embodiment of the present invention (hereinafter, abbreviated as'watermarking system') is an artificial neural network (ANN). , 100), a learning unit 200, a mapping unit 300, and a detection unit 400. Hereinafter, the configuration and operation of each of the artificial neural network 100, the learning unit 200, the mapping unit 300, and the detection unit 400 will be described in more detail.

먼저, 본 발명의 실시예에 따른 인공신경망(100)의 구성에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구분망의 구성을 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 판별망의 구성을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 출력층을 설명하기 위한 도면이다. First, the configuration of the artificial neural network 100 according to an embodiment of the present invention will be described. FIG. 2 is a diagram for explaining the configuration of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple types of content according to an embodiment of the present invention. FIG. 3 is a diagram for explaining the configuration of a division network of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple types of content according to an embodiment of the present invention. FIG. 4 is a diagram for explaining the configuration of a discrimination network of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple types of content according to an embodiment of the present invention. 5 is a diagram for explaining an output layer of a discrimination network for executing deep learning-based watermarking for copyright protection of various types of contents according to an embodiment of the present invention.

인공신경망(100)은 복수의 계층을 포함하며, 복수의 계층은 복수의 연산을 포함한다. 복수의 계층은 가중치로 연결되며, 이는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CVL: Convolution Layer), 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하는 풀링계층(PLL: Pooling Layer), 활성화함수에 의한 연산을 수행하는 완전연결층(FCL: Fully Connected Layer) 등을 포함한다. 컨볼루션, 다운샘플링 및 업샘플링 연산 각각은 소정의 행렬로 이루어진 커널을 이용하며, 이러한 커널을 이루는 행렬의 원소의 값들이 가중치(w)가 된다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. The artificial neural network 100 includes a plurality of layers, and the plurality of layers includes a plurality of operations. The plurality of layers are connected by weight, which means that the weight is applied to the operation result of the previous layer and input to the operation of the next layer. The plurality of layers is a convolution layer (CVL) that performs a convolution operation, a pooling layer (PLL) that performs a down-sampling operation or an up-sampling operation, It includes a fully connected layer (FCL) that performs an operation by an activation function. Each of the convolution, downsampling, and upsampling operations uses a kernel composed of a predetermined matrix, and the values of the elements of the matrix constituting the kernel become the weight (w). Here, the activation function may exemplify Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, etc. .

본 발명의 실시예에 따른 인공신경망(100)은 도 2에 도시된 바와 같이, 구분망(110)과 판별망(120)을 포함한다. The artificial neural network 100 according to an embodiment of the present invention includes a division network 110 and a discrimination network 120 as shown in FIG. 2.

구분망(110)은 컨볼루션(Convolution) 연산을 수행하는 적어도 하나의 컨볼루션계층(CVL: Convolution Layer) 및 활성화함수에 의한 연산을 수행하는적어도 하나의 완전연결층(FCL: Fully Connected Layer)을 포함한다. 또한, 구분망(110)은 선택적으로, 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하는 풀링계층(PLL)을 더 포함할 수 있다. 컨볼루션 연산은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 또한, 활성화함수에 의한 연산 결과 또한 가중치가 적용되어 다음 계층에 입력된다. The division network 110 includes at least one convolution layer (CVL) for performing a convolution operation and at least one fully connected layer (FCL) for performing an operation based on an activation function. Includes. In addition, the division network 110 may optionally further include a pooling layer (PLL) that performs a down-sampling operation or an up-sampling operation. The convolution operation uses a filter composed of a predetermined matrix, and the values of the elements of the matrix become weights. In addition, a weight is applied to the calculation result by the activation function and input to the next layer.

구분망(110)은 객체 영역을 도출하는 복수의 계층(111)과 도출된 객체 영역을 추출하여 출력하는 복수의 계층(112)을 포함한다. 구분망(110)은 객체 영역을 도출하는 복수의 계층(111)에서 컨벌루션(convolution) 연산을 통해 다중 바운딩 박스(multiple bounding box)에 대한 클래스 확률(class probability)을 산출한다. 클래스 확률은 해당 바운딩 박스가 소정의 객체에 속할 확률을 의미한다. 즉, 구분망(110)은 입력된 콘텐츠(C)를 N × N 크기의 그리드로 분할하여 복수의 바운딩 박스로 구분하고, 각 바운딩 박스가 소정의 객체의 클래스에 속할 확률을 산출한다. 그리고 소정의 객체의 클래스에 속하는 복수의 박스들의 집합을 나타내는 영역을 해당 클래스의 객체 영역으로 출력한다. 예컨대, 구분망(110)의 출력은 (x, y, w, h, confidence)와 같이 이루어진다. 여기서, x, y, w, h는 객체 영역을 정의하며, confidence는 해당 객체가 특정 클래스의 객체일 확률을 나타낸다. 이에 따라, 구분망(110)은 입력된 콘텐츠에서 특정 클래스의 객체일 확률이 소정 수치 이상인 객체 영역을 추출할 수 있다. 즉, 도 3의 실시예에서 구분망(110)은 4개의 객체를 구분하여 추출할 수 있다. 이에 따라, 구분망(110)의 객체 영역을 도출하는 복수의 계층(111)은 콘텐츠(C)가 입력되면, 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체의 영역(obj1, obj2, obj3, obj4)을 도출한다. 그러면, 도출된 객체 영역을 추출하여 출력하는 복수의 계층(112)은 도출된 복수의 객체의 영역(obj1, obj2, obj3, obj4)의 이미지를 추출하여 출력한다. The division network 110 includes a plurality of layers 111 for deriving an object area and a plurality of layers 112 for extracting and outputting the derived object area. The division network 110 calculates a class probability for a multiple bounding box through a convolution operation in a plurality of layers 111 for deriving an object region. The class probability means the probability that the corresponding bounding box belongs to a predetermined object. That is, the division network 110 divides the input content C into a grid of size N × N, divides it into a plurality of bounding boxes, and calculates a probability that each bounding box belongs to a class of a predetermined object. In addition, an area representing a set of a plurality of boxes belonging to a class of a predetermined object is output as an object area of the corresponding class. For example, the output of the division network 110 is made as (x, y, w, h, confidence). Here, x, y, w, and h define the object area, and confidence indicates the probability that the object is an object of a specific class. Accordingly, the division network 110 may extract an object region having a probability of being an object of a specific class in the input content being equal to or greater than a predetermined value. That is, in the embodiment of FIG. 3, the classification network 110 may classify and extract four objects. Accordingly, when the content C is input, the plurality of layers 111 for deriving the object area of the division network 110 are the areas of the content C and the plurality of objects included in the content C. , obj3, obj4). Then, the plurality of layers 112 that extract and output the derived object area extract and output images of the derived plurality of object areas (obj1, obj2, obj3, obj4).

판별망(120)은 도 4를 참조하면, 컨볼루션(Convolution) 연산을 수행하는 적어도 하나의 컨볼루션계층(CVL: Convolution Layer), 활성화함수에 의한 연산을 수행하는 적어도 하나의 완전연결층(FCL: Fully Connected Layer) 및 출력층(OUL: Output Layer)을 포함한다. 완전연결층(FCL)의 출력은 출력층(OUL: Output Layer)을 통해 출력된다. 컨볼루션 연산은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 또한, 활성화함수에 의한 연산 결과 또한 가중치가 적용되어 다음 계층에 입력된다. 일 실시예에 따르면, 판별망(120)은 콘텐츠의 원본과 입력된 콘텐츠의 동일성을 확률로 출력한다. 일 실시예에 따르면, 판별망(120)은 콘텐츠(C)가 입력되면, 입력된 콘텐츠와 콘텐츠의 원본과의 동일성을 확률로 출력한다. 다른 실시예에 따르면, 판별망(120)은 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체(obj1, obj2, obj3, obj4)가 입력되면, 입력된 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체(obj1, obj2, obj3, obj4) 각각과 대응하는 콘텐츠 원본과 콘텐츠 원본에 포함된 복수의 객체와의 동일성을 확률로 출력한다. Referring to FIG. 4, the discrimination network 120 includes at least one convolution layer (CVL) that performs a convolution operation, and at least one fully connected layer (FCL) that performs an operation based on an activation function. : Includes a Fully Connected Layer) and an output layer (OUL). The output of the complete connection layer (FCL) is output through an output layer (OUL). The convolution operation uses a filter composed of a predetermined matrix, and the values of the elements of the matrix become weights. In addition, a weight is applied to the calculation result by the activation function and input to the next layer. According to an embodiment, the discrimination network 120 outputs the identity of the original content and the input content as probability. According to an embodiment, when the content C is input, the discrimination network 120 outputs the same as the probability between the input content and the original content. According to another embodiment, when the content C and the plurality of objects obj1, obj2, obj3, obj4 included in the content C are input, the input content C and the content C ), the original content corresponding to each of the plurality of objects (obj1, obj2, obj3, obj4) and the plurality of objects included in the original content are output with probability.

도 5를 참조하면, 출력층(OUL)은 완전연결층(FCL)의 출력값을 저장한다. 출력층(OL)은 2개의 출력 노드(O1 및 O2)를 포함하며, 제1 출력노드(O1)는 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형되었을 확률(identical)에 대응한다. 반면, 제2 출력노드(O2)는 입력된 콘텐츠(C)가 학습 대상인 콘텐츠, 즉, 콘텐츠 원본과 동일하지 않으며, 콘텐츠 원본으로부터 변형된 것도 아닐 확률(otherness)에 대응한다. 예컨대, 인공신경망(100)의 가중치가 적용되는 복수의 연산이 이루어지고 최종적으로 완전연결층(FL)의 연산 결과에 따른 출력값, 즉, 제1 및 제2 출력 노드(O1 및 O2)의 값이 0.90 및 0.10이 될 수 있다. 이는 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형되었을 확률(identical)이 90%이고, 입력된 콘텐츠(C)가 학습 대상인 콘텐츠, 즉, 콘텐츠 원본과 동일하지 않으며, 콘텐츠 원본으로부터 변형된 것도 아닐 확률(otherness)이 10%임을 나타낸다. 이에 따라, 인공신경망(100)에 입력된 콘텐츠는 제1 출력노드(O1)의 확률이 제2 출력노드(O2)의 확률 보다 높기 때문에 인공신경망(100)에 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형된 것으로 판단할 수 있다. Referring to FIG. 5, the output layer OUL stores an output value of the complete connection layer FCL. The output layer OL includes two output nodes O1 and O2, and in the first output node O1, the input content C is the same as the content to be learned, that is, the content source, or is modified from the content source. Corresponds to the probability (identical). On the other hand, the second output node O2 corresponds to the probability that the input content C is not the same as the content to be learned, that is, the content source, and is not modified from the content source (otherness). For example, a plurality of calculations to which the weight of the artificial neural network 100 is applied are performed, and finally, the output values according to the calculation result of the fully connected layer FL, that is, the values of the first and second output nodes O1 and O2 It can be 0.90 and 0.10. This means that the input content (C) is the same as the content to be learned, that is, the probability that the content source has been transformed (identical) from the content source (identical) is 90%, and the input content (C) It is not the same and indicates that the probability of not being modified from the original content (otherness) is 10%. Accordingly, in the content input to the artificial neural network 100, since the probability of the first output node O1 is higher than that of the second output node O2, the content C input to the artificial neural network 100 is a learning target. It can be determined that the content, that is, the same as the original content or modified from the original content.

한편, 학습부(200)는 학습 데이터 세트를 생성하고, 생성된 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시키기 위한 것이다. 이러한 학습부(200)에 대해 보다 상세하게 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 생성하는 학습부의 동작을 설명하기 위한 도면이다. 도 7 내지 도 10은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 설명하기 위한 도면이다. Meanwhile, the learning unit 200 generates a training data set and trains the artificial neural network 100 using the generated training data set. This learning unit 200 will be described in more detail. FIG. 6 is a diagram illustrating an operation of a learning unit generating a training data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention. 7 to 10 are diagrams for explaining a training data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention according to an embodiment of the present invention.

도 6을 참조하면, 사상부(300)가 콘텐츠에 워터마크를 사상하여 보호 콘텐츠를 생성하면, 학습부(200)는 보호 콘텐츠에 대해 복수의 서로 다른 워터마크 공격 기법을 이용하여 워터마크 공격을 수행하여 복수의 손상된 보호 콘텐츠를 생성한다. 이러한 손상된 보호 콘텐츠의 예가 도 7 내지 도 10에 도시되었다. 도 7, 도 8 및 도 9에 각각 2D 환경 기반의 이미지에 대한 단일 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠, 2D 환경 기반의 이미지에 대한 복합 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠 및 2D 환경 기반의 비디오에 대한 단일 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠가 도시되었다. 또한, 도 10의 (A) 및 (B)에 3D 환경 기반의 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠 및 360°VR 환경 기반의 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠가 도시되었다. Referring to FIG. 6, when the mapping unit 300 maps a watermark to the content to generate protected content, the learning unit 200 performs a watermark attack on the protected content using a plurality of different watermark attack techniques. To create a plurality of damaged protected content. Examples of such damaged protected content are shown in FIGS. 7 to 10. In FIGS. 7, 8 and 9, a plurality of damaged protection contents generated by a single watermarking attack on an image based on a 2D environment, and a plurality of damaged protection generated by a complex watermarking attack on an image based on a 2D environment, respectively. A plurality of compromised protected content created by a single watermarking attack on content and video based on a 2D environment are shown. In addition, in (A) and (B) of Fig. 10, a plurality of damaged protected contents generated by a watermarking attack based on a 3D environment and a plurality of damaged protected contents generated by a watermarking attack based on a 360° VR environment are shown. Became.

학습부(200)는 복수의 손상된 보호 콘텐츠를 생성한 후, 콘텐츠 원본과, 보호 콘텐츠 및 복수의 손상된 보호 콘텐츠를 포함하는 학습 데이터 세트로 생성하고, 생성된 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시킨다. After generating a plurality of damaged protected content, the learning unit 200 generates a training data set including the original content, the protected content, and a plurality of damaged protected content, and uses the generated training data set to generate the artificial neural network 100 ) To learn.

이때, 학습부(200)는 콘텐츠 원본이 입력되면, 콘텐츠 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 콘텐츠 원본과 동일한 것으로 설정하고(identical = 1.00, otherness = 0.00), 콘텐츠 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. In this case, when the original content is input, the learning unit 200 trains the artificial neural network 100 to determine that it is the same as the original content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be the same as the original content (identical = 1.00, otherness = 0.00), and inputs the original content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which weights are applied to the original content. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 보호 콘텐츠가 입력되면, 보호 콘텐츠에 대해 원본과 동일성이 95% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 95% 이상인 것으로 설정하고(identical ≥ 0.95, otherness < 0.05), 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.79, otherness = 0.21)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. In addition, when the protected content is input, the learning unit 200 may train the artificial neural network 100 to have an identity of 95% or more with respect to the protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 95% or more identical to the original (identical ≥ 0.95, otherness <0.05), and inputs the protected content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the protected content. For example, assume that the output value is (identical = 0.79, otherness = 0.21). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 손상된 보호 콘텐츠가 입력되면, 손상된 보호 콘텐츠에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. In addition, when the damaged protected content is input, the learning unit 200 may train the artificial neural network 100 to have 90% or more identity with the original for the damaged protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness <0.10), and inputs damaged protected content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which weights are applied to the damaged protected content. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

이러한 학습부(200)의 학습에 따라 인공신경망(100)은 콘텐츠 원본과, 보호 콘텐츠 및 손상된 보호 콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 이러한 출력값은 적어도 콘텐츠 원본일 확률이 90%이상이며, 콘텐츠 원본이 아닐 확률이 10% 미만인 것(identical ≥ 0.90, otherness < 0.10)으로 출력될 것이다. According to the learning of the learning unit 200, the artificial neural network 100 will output an output value through a plurality of calculations to which a weight is applied when any one of the original content, the protected content, and the damaged protected content is input. This output value will be output as at least 90% of the probability of being the original content and less than 10% of the probability of not being the original content (identical ≥ 0.90, otherness <0.10).

학습이 완료된 후, 인공신경망(100)의 가중치가 도출되면, 학습부(200)는 인공신경망(100)의 도출된 가중치를 사상부(300) 및 검출부(400)에 제공할 수 있다. 이러한 가중치는 콘텐츠 원본인지 여부를 판별하기 위해 사용된다. 이와 같이, 콘텐츠 원본인지 여부를 판별하기 위해 사용되는 가중치를 콘텐츠 가중치라고 칭하기로 한다. After the learning is completed, when the weight of the artificial neural network 100 is derived, the learning unit 200 may provide the derived weight of the artificial neural network 100 to the mapping unit 300 and the detection unit 400. These weights are used to determine whether the content is the original. In this way, the weight used to determine whether the content is the original content will be referred to as a content weight.

한편, 본 발명의 실시예에서 학습을 통해 워터마크 가중치를 도출할 수 있다. 학습부(200)는 워터마크 및 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 학습 데이터 세트로 마련할 수 있다. 그런 다음, 학습부(200)는 워터마크 및 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 워터마크와 및 복수의 손상된 워터마크가 동일한 것으로 판별하도록 인공신경망(100)을 학습시킬 수 있다. 이러한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 워터마크 가중치를 도출할 수 있다. Meanwhile, in an embodiment of the present invention, a watermark weight can be derived through learning. The learning unit 200 may execute a watermark and a plurality of different watermark attacks to damage the watermark to prepare a plurality of damaged watermarks in which a plurality of different watermark attacks are performed as a training data set. Then, the learning unit 200 may train the artificial neural network 100 to determine that the watermark and the plurality of damaged watermarks are the same by using the training data set including the watermark and the damaged watermark. When such learning is completed, the learning unit 200 may derive a watermark weight from the artificial neural network 100.

다음으로, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기 위한 도면이다. Next, an operation of the detection unit to determine content identity for copyright protection of multiple types of content according to an embodiment of the present invention will be described. 11 is a diagram for explaining an operation of a detection unit for determining content identity for copyright protection of multiple types of content according to an embodiment of the present invention.

도 11을 참조하면, 검출부(400)는 인공신경망(100)에 콘텐츠 가중치를 적용한 후, 콘텐츠 가중치가 적용된 인공신경망(100)을 통해 임의의 콘텐츠와 콘텐츠 원본의 동일성 여부를 판별할 수 있다. 예컨대, 검출부(400)는 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠가 입력되면, 입력된 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Referring to FIG. 11, after applying a content weight to the artificial neural network 100, the detection unit 400 may determine whether an arbitrary content and an original content are identical through the artificial neural network 100 to which the content weight is applied. For example, when suspicious content suspected of being identical to the original content is input, the detection unit 400 inputs the input suspicious content into the artificial neural network 100 to which the content weight is applied. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 determines that the suspected content is a content originating from the original content. That is, the suspicious content may be the same as the original content, protected content in which a watermark is inserted in the original content, or damaged protected content in which a watermark attack has been applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 may determine that the suspected content is not the original content.

한편, 사상부(300)는 전술한 바와 같이 학습에 의해 생성된 콘텐츠 가중치를 이용하여 콘텐츠를 보호할 수 있다. 사상부(300)는 콘텐츠에 워터마크를 사상하기 위한 것이다. 본 발명의 실시예에 따르면, 워터마크 시, 추가로 콘텐츠 가중치를 같이 사상할 수 있다. 이에 대해 도 12를 참조하여 구체적으로 설명하기로 한다. 도 12는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 삽입부의 동작을 설명하기 위한 도면이다. 전술한 바와 같이, 학습부(200)에 의한 학습을 통해 인공신경망(100)으로부터 콘텐츠 가중치를 도출하였다고 가정한다. 그러면, 사상부(300)는 콘텐츠 가중치를 해싱하여 해시 가중치를 생성한다. 한편, 사상부(300)는 워터마크와 해시 가중치를 배타적논리합(XOR) 연산하여 가중치 워터마크를 생성한다. 그런 다음, 사상부(300)는 가중치 워터마크를 콘텐츠 원본에 사상하여 보호 콘텐츠를 생성할 수 있다. 특히, 콘텐츠에 워터마크를 사상할 때마다, 학습부(200)는 워터마크 및 손상된 워터마크를 학습 데이터로 이용하여 인공신경망(100)을 학습시킨 후, 워터마크 가중치를 도출할 수 있다. 이러한 워터마크 가중치 또한 콘텐츠의 저작권을 보호하기 위하여 워터마크의 동일성 여부를 판단하기 위하여 사용될 수 있다. Meanwhile, the mapping unit 300 may protect the content by using the content weight generated by learning as described above. The mapping unit 300 is for mapping a watermark to the content. According to an embodiment of the present invention, when watermarking, content weights may be additionally mapped together. This will be described in detail with reference to FIG. 12. 12 is a diagram illustrating an operation of an insertion unit for protecting copyrights of various types of contents according to an embodiment of the present invention. As described above, it is assumed that content weights are derived from the artificial neural network 100 through learning by the learning unit 200. Then, the mapping unit 300 generates a hash weight by hashing the content weight. Meanwhile, the mapping unit 300 generates a weighted watermark by calculating an exclusive logical sum (XOR) on the watermark and the hash weight. Then, the mapping unit 300 may generate the protected content by mapping the weighted watermark to the original content. Particularly, whenever a watermark is mapped to a content, the learning unit 200 may learn the artificial neural network 100 by using the watermark and the damaged watermark as training data, and then derive the watermark weight. This watermark weight can also be used to determine whether the watermark is identical in order to protect the copyright of the content.

한편, 검출부(400)는 전술한 콘텐츠 가중치 및 워터마크 가중치를 이용하여 콘텐츠의 저작권을 인증할 수 있다. 이에 대해 도 13을 참조하여 구체적으로 설명하기로 한다. 도 13은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 검출부의 동작을 설명하기 위한 도면이다. 검출부(400)는 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠가 입력되면, 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. 한편, 검출부(400)는 사상부(300)가 가중치 워터마크를 사상한 기법의 역으로 의심 콘텐츠로부터 가중치 워터마크를 추출할 수 있다. 그리고 검출부(400)는 콘텐츠 가중치에 해싱을 수행하여 해시 가중치를 생성한 후, 해시 가중치와 가중치 워터마크의 배타적논리합(XOR) 연산을 통해 가중치 워터마크로부터 워터마크를 추출할 수 있다. 그런 다음, 검출부(400)는 워터마크를 워터마크 가중치가 적용된 인공신경망(100)에 입력할 수 있다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면(즉, 출력값이 학습에 의해 목적된 출력값의 범위 내에 있다면), 검출부(400)는 해당 워터마크가 원본 콘텐츠에 삽입된 워터마크이거나, 그 워터마크로부터 비롯된 것으로 판별한다. 즉, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크 원본과 동일한 것이거나, 그 워터마크에 대해 워터마크 공격이 가해진 손상된 워터마크인 것으로 판단한다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우(즉, 출력값이 학습에 의해 목적된 출력값의 범위를 벗어나는 경우), 검출부(400)는 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크가 아닌 것으로 판별할 수 있다. Meanwhile, the detection unit 400 may authenticate the copyright of the content using the above-described content weight and watermark weight. This will be described in detail with reference to FIG. 13. 13 is a diagram for explaining an operation of a detection unit for copyright protection of multiple types of content according to an embodiment of the present invention. The detection unit 400 inputs the suspicious content into the artificial neural network 100 to which the content weight is applied when suspicious content suspected of being identical to the original content is input. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 determines that the suspected content is a content originating from the original content. That is, the suspicious content may be the same as the original content, protected content in which a watermark is inserted in the original content, or damaged protected content in which a watermark attack has been applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 may determine that the suspected content is not the original content. Meanwhile, the detection unit 400 may extract the weighted watermark from the suspicious content in reverse of a technique in which the mapping unit 300 maps the weighted watermark. In addition, after hashing the content weight to generate a hash weight, the detector 400 may extract a watermark from the weighted watermark through an exclusive logical sum (XOR) operation of the hash weight and the weighted watermark. Then, the detection unit 400 may input the watermark into the artificial neural network 100 to which the watermark weight is applied. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness <0.10 (that is, if the output value is within the range of the output value aimed by learning), the detection unit 400 is a watermark inserted in the original content, or It is determined to have originated from the watermark. That is, it is determined that the watermark is the same as the original watermark inserted by the insertion unit 300 into the original content, or is a damaged watermark to which a watermark attack has been applied to the watermark. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness <0.10 (that is, when the output value is out of the range of the output value intended by learning), the detection unit 400 indicates that the watermark is inserted into the content It can be determined that the watermark inserted in the original is not.

다음으로, 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법을 설명하기 위한 흐름도이다. Next, a learning method for detecting images based on deep learning in a multi-content environment will be described. 14 is a flowchart illustrating a learning method for detecting an image based on deep learning in a multi-content environment according to an embodiment of the present invention.

도 14를 참조하면, 사상부(300)는 S110 단계에서 저작권 보호 대상인 콘텐츠를 마련한다. 이러한 콘텐츠는 다종 콘텐츠로 2D 이미지, 2D 비디오, 3D 이미지, 360° VR 등의 콘텐츠가 될 수 있다. 이어서, 사상부(300)는 S120 단계에서 콘텐츠에 워터마크를 사상하여 보호 콘텐츠를 생성한다. Referring to FIG. 14, the mapping unit 300 prepares content subject to copyright protection in step S110. Such contents may be contents such as 2D images, 2D videos, 3D images, and 360° VR as a variety of contents. Subsequently, the mapping unit 300 creates protected content by mapping a watermark on the content in step S120.

다음으로, 학습부(200)는 S130 단계에서 콘텐츠 원본과, 보호 콘텐츠 및 복수의 손상된 보호 콘텐츠를 포함하는 학습 데이터 세트를 마련한다. 특히, 학습부(200)는 도 7 내지 도 10에 도시된 바와 같이, 보호 콘텐츠에 대해 복수의 서로 다른 워터마크 공격 기법을 이용하여 워터마크 공격을 수행하여 복수의 손상된 보호 콘텐츠를 생성할 수 있다. Next, the learning unit 200 prepares a learning data set including the original content, the protected content, and a plurality of damaged protected content in step S130. In particular, the learning unit 200 may generate a plurality of damaged protected content by performing a watermark attack on the protected content using a plurality of different watermark attack techniques, as shown in FIGS. 7 to 10. .

이어서, 학습부(200)는 S140 단계에서 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시킨다. 이때, 학습부(200)는 콘텐츠 원본이 입력되면, 콘텐츠 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 콘텐츠 원본과 동일한 것으로 설정하고(identical = 1.00, otherness = 0.00), 콘텐츠 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 또한, 학습부(200)는 보호 콘텐츠가 입력되면, 보호 콘텐츠에 대해 원본과 동일성이 95% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 95% 이상인 것으로 설정하고(identical ≥ 0.95, otherness < 0.05), 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.79, otherness = 0.21)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 그리고 학습부(200)는 손상된 보호 콘텐츠가 입력되면, 손상된 보호 콘텐츠에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 전술한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 콘텐츠 가중치를 추출한다. Subsequently, the learning unit 200 trains the artificial neural network 100 using the learning data set in step S140. In this case, when the original content is input, the learning unit 200 trains the artificial neural network 100 to determine that it is the same as the original content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be the same as the original content (identical = 1.00, otherness = 0.00), and inputs the original content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which weights are applied to the original content. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. In addition, when the protected content is input, the learning unit 200 may train the artificial neural network 100 to have an identity of 95% or more with respect to the protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 95% or more identical to the original (identical ≥ 0.95, otherness <0.05), and inputs the protected content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the protected content. For example, assume that the output value is (identical = 0.79, otherness = 0.21). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. In addition, when the damaged protected content is input, the learning unit 200 may train the artificial neural network 100 to have 90% or more identity with the original for the damaged protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness <0.10), and inputs damaged protected content into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which weights are applied to the damaged protected content. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. When the above-described learning is completed, the learning unit 200 extracts a content weight from the artificial neural network 100.

한편, 본 발명의 실시예에서 학습을 통해 워터마크 가중치를 도출할 수 있다. 이러한 방법에 대해서 설명하기로 한다. 도 15는 본 발명의 실시예에 따른 워터마크 가중치를 도출하는 방법을 설명하기 위한 흐름도이다. Meanwhile, in an embodiment of the present invention, a watermark weight can be derived through learning. This method will be described. 15 is a flowchart illustrating a method of deriving a watermark weight according to an embodiment of the present invention.

도 15를 참조하면, 학습부(200)는 S210 단계에서 워터마크를 마련하고, S220 단계에서 워터마크를 기초로 학습 데이터 세트를 생성한다. 이때, 학습부(200)는 워터마크에 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 생성할 수 있다. Referring to FIG. 15, the learning unit 200 prepares a watermark in step S210 and generates a training data set based on the watermark in step S220. In this case, the learning unit 200 may generate a plurality of damaged watermarks in which a plurality of different watermark attacks are performed by executing a plurality of different watermark attacks to damage the watermark on the watermark.

이때, 학습부(200)는 워터마크의 원본이 입력되면, 워터마크의 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 워터마크의 원본과 동일한 것으로 판단하도록 설정하고(identical = 1.00, otherness = 0.00), 워터마크 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 워터마크 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. In this case, when the original watermark is input, the learning unit 200 trains the artificial neural network 100 to determine that the original watermark is identical to the original watermark. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be determined to be the same as the original watermark (identical = 1.00, otherness = 0.00), and inputs the original watermark into the artificial neural network 100. . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the original watermark. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 손상된 워터마크가 입력되면, 손상된 워터마크에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 워터마크를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 워터마크에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 이와 같이, 학습부(200)는 워터마크 및 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 워터마크와 및 복수의 손상된 워터마크가 동일한 것으로 판별하도록 인공신경망(100)을 학습시킬 수 있다. 이러한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 워터마크 가중치를 도출한다. In addition, when a damaged watermark is input, the learning unit 200 may train the artificial neural network 100 to have 90% or more identity to the original with respect to the damaged watermark. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness <0.10), and inputs a damaged watermark into the artificial neural network 100. Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which weights are applied to the damaged watermark. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 modifies the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. In this way, the learning unit 200 may train the artificial neural network 100 to determine that the watermark and the plurality of damaged watermarks are the same by using the training data set including the watermark and the damaged watermark. When such learning is completed, the learning unit 200 derives a watermark weight from the artificial neural network 100.

다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법에 대해서 설명하기로 한다. 도 16은 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법을 설명하기 위한 흐름도이다. A method for detecting images based on deep learning in a multi-content environment will be described. 16 is a flowchart illustrating a method for detecting an image based on deep learning in a multi-content environment.

도 16을 참조하면, 검출부(400)는 S310 단계에서 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠를 입력 받을 수 있다. 그러면, 검출부(400)는 S320 단계에서 해당 콘텐츠 원본에 대한 학습 시, 도출된 콘텐츠 가중치를 인공신경망(100)에 적용한다. Referring to FIG. 16, the detection unit 400 may receive an input of suspicious content that is suspected of being identical to the original content in step S310. Then, the detection unit 400 applies the derived content weight to the artificial neural network 100 when learning about the original content in step S320.

그런 다음, 검출부(400)는 S330 단계에서 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)의 출력값을 획득한다. S330 단계에서 인공신경망(100)은 의심 콘텐츠가 입력되면, 의심 콘텐츠에 대해 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 검출부(400)는 이러한 인공신경망(100)의 출력값을 획득한다. Then, the detection unit 400 obtains an output value of the artificial neural network 100 by inputting the suspicious content into the artificial neural network 100 to which the content weight is applied in step S330. In step S330, when suspicious content is input, the artificial neural network 100 outputs an output value through a plurality of operations in which a content weight is applied to the suspicious content. The detection unit 400 obtains an output value of the artificial neural network 100.

다음으로, 검출부(400)는 S340 단계에서 인공신경망(100)의 출력값에 따라 의심 콘텐츠가 콘텐츠의 원본과 동일한 것인지 여부를 판별한다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the suspicious content is the same as the original content according to the output value of the artificial neural network 100 in step S340. For example, if the output value is within the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 determines that the suspected content is a content originating from the original content. That is, the suspicious content may be the same as the original content, protected content in which a watermark is inserted in the original content, or damaged protected content in which a watermark attack has been applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness <0.10, the detection unit 400 may determine that the suspected content is not the original content.

다음으로, 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법에 대해서 설명하기로 한다. 도 17은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법을 설명하기 위한 흐름도이다. Next, a method of executing a watermark based on deep learning for content protection according to an embodiment of the present invention will be described. 17 is a flowchart illustrating a method of executing a watermark based on deep learning for content protection according to an embodiment of the present invention.

도 17을 참조하면, 사상부(300)는 S410 단계에서 저작권 보호 대상인 콘텐츠와 워터마크를 마련한다. Referring to FIG. 17, the mapping unit 300 prepares a content subject to copyright protection and a watermark in step S410.

이때, 학습부(200)는 앞서 도 14를 참조로 설명된 실시예와 같이 보호 대상인 콘텐츠에 대해 학습을 수행하여 콘텐츠 가중치를 도출하고, 도 15를 참조로 설명된 실시예와 같이 워터마크에 대해 학습을 수행하여 워터마크 가중치를 도출한다. 이에 따라, 사상부(300)는 S420 단계에서 학습부(200)를 통해 학습부(200)가 도출한 콘텐츠 가중치 및 워터마크 가중치를 획득한다. In this case, the learning unit 200 derives a content weight by performing learning on the content to be protected as in the embodiment described with reference to FIG. 14, and for watermark as in the embodiment described with reference to FIG. 15. Learning is performed to derive the watermark weight. Accordingly, the mapping unit 300 acquires a content weight and a watermark weight derived by the learning unit 200 through the learning unit 200 in step S420.

그런 다음, 사상부(300)는 S430 단계에서 콘텐츠 가중치를 해싱하여 해시 가중치를 생성한다. 이어서, 사상부(300)는 S440 단계에서 워터마크와 해시 가중치를 배타적논리합(XOR) 연산하여 가중치 워터마크를 생성한다. 이어서, 사상부(300)는 S450 단계에서 가중치 워터마크를 콘텐츠 원본에 사상(embedding)하여 보호 콘텐츠를 생성한다. Then, the mapping unit 300 generates a hash weight by hashing the content weight in step S430. Subsequently, the mapping unit 300 generates a weight watermark by calculating an exclusive logical sum (XOR) on the watermark and the hash weight in step S440. Subsequently, the mapping unit 300 generates protected content by mapping the weighted watermark to the original content in step S450.

이러한 보호 콘텐츠는 저작권 보호를 위해 가중치 워터마크가 삽입된 상태이다. 그러면, 이러한 보호 콘텐츠에 대해 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법에 대해서 설명하기로 한다. 도 18은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법을 설명하기 위한 흐름도이다. In such protected content, a weighted watermark is inserted for copyright protection. Then, a method of authenticating copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention will be described with respect to such protected content. 18 is a flowchart illustrating a method of authenticating a copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention.

도 18을 참조하면, 검출부(400)는 S410 단계에서 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠를 입력 받을 수 있다. 이에 따라, 검출부(400)는 S420 단계에서 콘텐츠 원본에 대한 학습 시, 도출된 콘텐츠 가중치를 인공신경망(100)에 적용한다. Referring to FIG. 18, the detection unit 400 may receive an input of suspicious content that is suspected of being identical to the original content in step S410. Accordingly, the detection unit 400 applies the derived content weight to the artificial neural network 100 when learning about the original content in step S420.

그런 다음, 검출부(400)는 S430 단계에서 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)이 의심 콘텐츠에 대해 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력하면, 인공신경망(100)의 출력값을 획득한다. Then, when the detection unit 400 inputs the suspicious content into the artificial neural network 100 to which the content weight is applied in step S430 and the artificial neural network 100 outputs an output value through a plurality of calculations in which the content weight is applied to the suspicious content. , To obtain an output value of the artificial neural network 100.

다음으로, 검출부(400)는 S440 단계에서 인공신경망(100)의 출력값에 따라 의심 콘텐츠가 콘텐츠의 원본과 동일한 것인지 여부를 판별한다. 예컨대, 출력값이 콘텐츠 학습시(도 14 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별할 수 있다. 즉, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠인 것으로 판별할 수 있다. 반면, 검출부(400)는 출력값이 콘텐츠 학습시(도 14 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the suspicious content is the same as the original content according to the output value of the artificial neural network 100 in step S440. For example, if the output value is within a range intended for content learning (see FIG. 14), that is, identical ≥ 0.90 and otherness <0.10, the detection unit 400 may determine that the suspected content is a content originating from the original content. . That is, the detection unit 400 may determine that the suspicious content is the same as the original content, protected content in which a watermark is inserted in the original content, or damaged protected content in which a watermark attack has been applied to the protected content. On the other hand, the detection unit 400 may determine that the suspected content is not the original content, when the output value is out of the range of the intended range, that is, identical ≥ 0.90 and otherness <0.10 during content learning (refer to FIG. 14).

한편, 검출부(400)는 S450 단계에서 사상부(300)가 가중치 워터마크를 사상한 기법의 역으로 의심 콘텐츠로부터 가중치 워터마크를 추출할 수 있다. 그리고 검출부(400)는 S460 단계에서 콘텐츠 가중치에 해싱을 수행하여 해시 가중치를 생성한 후, S470 단계에서 해시 가중치와 가중치 워터마크의 배타적논리합(XOR) 연산을 통해 가중치 워터마크로부터 워터마크를 추출할 수 있다. Meanwhile, the detection unit 400 may extract the weighted watermark from the suspected content in reverse of a technique in which the mapping unit 300 maps the weighted watermark in step S450. In addition, the detection unit 400 generates a hash weight by performing hashing on the content weight in step S460, and then extracts the watermark from the weighted watermark through an exclusive logical sum (XOR) operation of the hash weight and the weighted watermark in step S470. I can.

다음으로, 검출부(400)는 S480 단계에서 워터마크 가중치를 인공신경망(100)에 적용한다. 그런 다음, 검출부(400)는 S490 단계에서 워터마크를 워터마크 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)이 워터마크의 가중치가 적용되는 복수의 연산을 통해 출력값을 출력하면 인공신경망(100)의 출력값을 획득한다. Next, the detection unit 400 applies the watermark weight to the artificial neural network 100 in step S480. Then, the detection unit 400 inputs the watermark to the artificial neural network 100 to which the watermark weight is applied in step S490, and the artificial neural network 100 outputs the output value through a plurality of calculations to which the watermark weight is applied. The output value of the neural network 100 is acquired.

다음으로, 검출부(400)는 S500 단계에서 인공신경망(100)의 출력값에 따라 워터마크가 콘텐츠의 원본에 삽입된 워터마크인지 여부를 판별한다. 예컨대, 출력값이 워터마크 학습시(도 15 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 워터마크가 원본 콘텐츠에 삽입된 워터마크이거나, 그 워터마크로부터 비롯된 것으로 판별한다. 즉, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크 원본과 동일한 것이거나, 그 워터마크에 대해 워터마크 공격이 가해진 손상된 워터마크인 것으로 판단한다. 반면, 검출부(400)는 출력값이 워터마크 학습시(도 15 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크가 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the watermark is a watermark inserted in the original content according to the output value of the artificial neural network 100 in step S500. For example, if the output value is within the range intended for watermark learning (refer to FIG. 15), that is, identical ≥ 0.90 and otherness <0.10, the detection unit 400 is It is determined that it originated from the watermark. That is, it is determined that the watermark is the same as the original watermark inserted by the insertion unit 300 into the original content, or is a damaged watermark to which a watermark attack has been applied to the watermark. On the other hand, when the output value is out of the range of the target when learning the watermark (refer to FIG. 15), that is, identical ≥ 0.90 and otherness <0.10, the watermark is inserted into the original content. It can be determined that it is not the inserted watermark.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program that can be read through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only a machine language such as produced by a compiler, but also a high-level language that can be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described using several preferred embodiments, these embodiments are illustrative and not limiting. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made according to the equivalence theory without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.

100: 인공신경망
110: 구분망
120: 판별망
200: 학습부
300: 사상부
400: 검출부 100: artificial neural network
110: separator net
120: discriminant network
200: Learning Department
300: thought part
400: detection unit

Claims (6)

다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치에 있어서,
이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망;
콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 학습부; 및
상기 콘텐츠 가중치를 해싱하여 해시 가중치를 생성하고, 생성된 해시 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성한 후, 상기 가중치 워터마크를 상기 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 사상부;
를 포함하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 장치. In a device for executing a deep learning-based watermark in a multi-content environment,
An artificial neural network including a plurality of layers to which a weight is applied to an operation result of a previous layer and input to an operation of a next layer;
A plurality of corruptions in which a plurality of different watermark attacks are performed by executing a plurality of different watermark attacks to damage the original content, the watermark mapped to the original content, and the watermark of the protected content Learning to derive a content weight, which is a weight of the artificial neural network, to determine that the original of the content, the protected content, and the plurality of damaged protected content are the same by learning the artificial neural network using a training data set including protected content part; And
A mapping of generating a hash weight by hashing the content weight, generating a weighted watermark by calculating an exclusive logical sum of the generated hash weight and a watermark, and mapping the weighted watermark to the original content to generate protected content part;
Characterized in that it comprises a
A device for running watermark based on deep learning. 제1항에 있어서,
상기 학습부는
상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 장치. The method of claim 1,
The learning unit
By executing a plurality of different watermark attacks to damage the watermark and the watermark, the artificial neural network is trained using a training data set including a plurality of damaged watermarks in which a plurality of different watermark attacks are performed. Deriving a watermark weight, which is a weight of the artificial neural network, to determine that the watermark and the plurality of damaged watermarks are the same.
A device for running watermark based on deep learning. 제2항에 있어서,
의심 콘텐츠가 입력되면,
상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하고,
상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하고,
추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라
추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는
검출부;를 더 포함하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 장치. The method of claim 2,
When suspicious content is entered,
Extracting the weighted watermark from the suspicious content,
Extracting a watermark by calculating an exclusive logical sum of the weight watermark and the content weight,
The extracted watermark is input to the artificial neural network and according to the output of the artificial neural network.
To determine the identity of the extracted watermark and the original watermark
It characterized in that it further comprises a detection unit;
A device for running watermark based on deep learning. 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 방법에 있어서,
학습부가 콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 마련하는 단계;
상기 학습부가 상기 학습 데이터 세트를 이용하여 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 단계;
사상부가 상기 콘텐츠 가중치를 해싱하여 해시 가중치를 생성하고, 생성된 해시 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성하는 단계; 및
상기 사상부가 상기 가중치 워터마크를 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 단계;
를 포함하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 방법. In a method for executing a deep learning-based watermark in a multi-content environment,
The learning unit executes a plurality of different watermark attacks to damage the original content, the protected content with a watermark mapped to the original content, and a plurality of different watermark attacks by executing a plurality of different watermark attacks to damage the watermark of the protected content. Preparing a learning data set including the damaged content of the;
The learning unit learns an artificial neural network including a plurality of layers that are input to the operation of the next layer by applying a weight to the calculation result of the previous layer using the training data set, so that the original content, the protected content, and the plurality of Deriving a content weight that is a weight of the artificial neural network for determining that the damaged protected content is the same;
Generating a hash weight by hashing the content weight by a mapping unit, and generating a weight watermark by calculating an exclusive logical sum of the generated hash weight and the watermark; And
Generating a protected content by mapping the weighted watermark to the original content by the mapping unit;
Characterized in that it comprises a
A method for executing a deep learning-based watermark. 제4항에 있어서,
상기 콘텐츠 가중치를 도출하는 단계는
상기 학습부가 상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 단계;를 더 포함하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 방법. The method of claim 4,
The step of deriving the content weight is
The artificial neural network using a learning data set including a plurality of damaged watermarks in which a plurality of different watermark attacks are performed by the learning unit executing a plurality of different watermark attacks to damage the watermark and the watermark. And deriving a watermark weight, which is a weight of the artificial neural network, for determining that the watermark and the plurality of damaged watermarks are identical by learning the watermark.
A method for executing a deep learning-based watermark. 제5항에 있어서,
검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하는 단계;
상기 검출부가 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하는 단계;
상기 검출부가 상기 추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 단계;를 더 포함하는 것을 특징으로 하는
딥러닝 기반의 워터마크를 실행하기 위한 방법. The method of claim 5,
Extracting the weighted watermark from the suspicious content when a detection unit inputs suspicious content;
Extracting a watermark by calculating, by the detection unit, an exclusive logical sum of the weighted watermark and the content weight;
And determining, by the detection unit, the extracted watermark into the artificial neural network and determining whether the extracted watermark and the original watermark are identical according to the output of the artificial neural network.
A method for executing a deep learning-based watermark.
KR1020190178551A 2019-12-30 2019-12-30 Apparatus and method for executing deep learning based watermark in various kinds of content environment KR102239771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190178551A KR102239771B1 (en) 2019-12-30 2019-12-30 Apparatus and method for executing deep learning based watermark in various kinds of content environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190178551A KR102239771B1 (en) 2019-12-30 2019-12-30 Apparatus and method for executing deep learning based watermark in various kinds of content environment

Publications (1)

Publication Number Publication Date
KR102239771B1 true KR102239771B1 (en) 2021-04-13

Family

ID=75482631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190178551A KR102239771B1 (en) 2019-12-30 2019-12-30 Apparatus and method for executing deep learning based watermark in various kinds of content environment

Country Status (1)

Country Link
KR (1) KR102239771B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064548A (en) * 2010-12-09 2012-06-19 한국전자통신연구원 Apparatus and method for copyright protection of digital contents
KR20180065950A (en) 2016-12-07 2018-06-18 아이데미아 아이덴티티 앤드 시큐리티 프랑스 System for processing images
KR101980886B1 (en) * 2018-04-11 2019-05-24 한국과학기술원 Method and apparatus for embedding watermark
KR20190098487A (en) * 2018-02-14 2019-08-22 경일대학교산학협력단 Apparatus for processing watermarking using artificial neural network which identifies watermarking attack, method thereof and computer recordable medium storing program to perform the method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064548A (en) * 2010-12-09 2012-06-19 한국전자통신연구원 Apparatus and method for copyright protection of digital contents
KR20180065950A (en) 2016-12-07 2018-06-18 아이데미아 아이덴티티 앤드 시큐리티 프랑스 System for processing images
KR20190098487A (en) * 2018-02-14 2019-08-22 경일대학교산학협력단 Apparatus for processing watermarking using artificial neural network which identifies watermarking attack, method thereof and computer recordable medium storing program to perform the method
KR101980886B1 (en) * 2018-04-11 2019-05-24 한국과학기술원 Method and apparatus for embedding watermark

Similar Documents

Publication Publication Date Title
CN106530200B (en) Steganographic image detection method and system based on deep learning model
KR101986912B1 (en) Apparatus for detecting and extracting image having hidden data using artificial neural network, method thereof and computer recordable medium storing program to perform the method
CA3114255C (en) Automatically detecting and isolating objects in images
KR102028825B1 (en) Apparatus for processing watermarking using artificial neural network which identifies watermarking attack, method thereof and computer recordable medium storing program to perform the method
KR102111667B1 (en) Apparatus of generating 2d image data set for deep learning through 3d design drawing data processing and system for searching simillar design drawing data based on deep learning using the same
Li et al. Noise doesn't lie: towards universal detection of deep inpainting
KR20230066278A (en) Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection
KR102315605B1 (en) Deep learning based watermarking system for various kinds of content copyright protection and method therefor
KR102387061B1 (en) Apparatus and method for detecting deep learning based image in various kinds of content environment
US20120154439A1 (en) Apparatus and method for operating multiple object of augmented reality system
Soni et al. multiCMFD: fast and efficient system for multiple copy-move forgeries detection in image
Shelke et al. DBFS: Dragonfly Bayes Fusion System to detect the tampered JPEG image for forensic analysis
KR102138681B1 (en) Apparatus and method for detecting object based on heterogeneous sensor
WO2021083110A1 (en) Carrier object processing and watermark embedding methods and apparatuses, and electronic device
KR102239771B1 (en) Apparatus and method for executing deep learning based watermark in various kinds of content environment
KR20230149279A (en) Method and apparatus for learning of forgery image judgement model
KR20220043340A (en) Apparatus and method for generating building defect image
JP6892844B2 (en) Information processing device, information processing method, watermark detection device, watermark detection method, and program
Molaei et al. A blind fragile watermarking method for 3D models based on geometric properties of triangles
KR102028824B1 (en) Apparatus for processing watermarking using artificial neural network which identifies objects, method thereof and computer recordable medium storing program to perform the method
Zhong et al. Steganographer detection via multi-scale embedding probability estimation
KR101106448B1 (en) Real-Time Moving Object Detection For Intelligent Visual Surveillance
KR102045140B1 (en) Apparatus for drawing watermarking attack technique using artificial neural network, method thereof and computer recordable medium storing program to perform the method
JPWO2020184006A1 (en) Image processing equipment, image processing methods and programs
KR102610353B1 (en) Method and device for detecting objects from depth images