KR102387061B1

KR102387061B1 - Apparatus and method for detecting deep learning based image in various kinds of content environment

Info

Publication number: KR102387061B1
Application number: KR1020190178465A
Authority: KR
Inventors: 윤은준
Original assignee: 경일대학교산학협력단
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2022-04-14
Also published as: KR20210085438A

Abstract

본 발명의 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 콘텐츠의 원본에 워터마크를 사상하여 보호콘텐츠를 생성하는 사상부와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 생성하고, 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠를 포함하는 학습 데이터 세트를 생성한 후, 상기 학습 데이터 세트를 이용하여 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 학습부를 포함한다. The apparatus for detecting a deep learning-based image in a multi-content environment of the present invention includes an artificial neural network including a plurality of layers in which a weight is applied to the operation result of the previous layer and input to the operation of the next layer, and the original content is water A mapping unit that maps a mark to generate protected content, and a plurality of different watermark attacks for damaging the watermark of the protected content are executed to generate a plurality of damaged protected content in which a plurality of different watermark attacks are made, , After generating a training data set including the original content, the protected content, and the plurality of damaged protected content, any one of the protected content and the plurality of damaged protected content is transmitted to the artificial neural network using the learning data set and a learning unit for deriving content weights from the artificial neural network by learning the artificial neural network so that, when one piece of content is input, the artificial neural network outputs the sameness between the inputted content and the original content as a probability.

Description

Apparatus and method for detecting deep learning based image in various kinds of content environment}

본 발명은 워터마크 기술에 관한 것으로, 보다 상세하게는, 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a watermark technology, and more particularly, to an apparatus and method for detecting a deep learning-based image in a multi-content environment.

새로운 유형의 콘텐츠에 저작권 보호를 위해 기존에 개발된 워터마킹 기술을 이용할 경우, 다양한 문제가 발생하게 된다. 첫째, 기존 워터마킹 기법은 자주 발생하는 특정한 공격을 정의하고 그에 대한 강인성을 가지도록 설계되므로, 정의되지 않은 공격에 취약하며 대응을 위해서는 알고리즘 수정 및 보완이 필요하기 때문에 신속한 대응이 어렵다. 둘째, 기존의 워터마킹 기술은 정지 이미지 또는 2D 동영상에 국한되어서 연구되었으며, 다양한 크기 및 형태의 영상들, 또한 새로운 유형의 콘텐츠에 맞춤형 워터마킹 기술이 필요로 하고 이로 인한 높은 개발 비용과 기간으로 인하여 저작권 보호 공백 기간이 발생한다. When using the previously developed watermarking technology for copyright protection for new types of content, various problems arise. First, the existing watermarking technique defines a specific attack that occurs frequently and is designed to have robustness against it, so it is vulnerable to an undefined attack, and it is difficult to respond quickly because it requires algorithm modification and supplementation to respond. Second, the existing watermarking technology has been limited to still images or 2D videos and has been researched, and customized watermarking technology is required for images of various sizes and shapes and new types of content. A period of copyright protection occurs.

한국공개특허 제2018-0065950호 2018년 06월 18일 공개 (명칭: 이미지 처리 시스템)Korean Patent Publication No. 2018-0065950 published on June 18, 2018 (Title: Image processing system)

상술한 바와 같은 문제를 감안한 본 발명의 목적은 기존에 정의되지 않은 새로운 유형의 공격에 신속하게 대응가능하며, 3D 및 360° VR과 같이 새롭게 등장하는 다종 콘텐츠로 쉽게 확장할 수 있는 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치 및 이를 위한 방법을 제공함에 있다. The object of the present invention in consideration of the above-mentioned problems is that it is possible to quickly respond to new types of attacks that are not previously defined, and in a multi-content environment that can be easily expanded to newly appearing multi-contents such as 3D and 360° VR. An object of the present invention is to provide an apparatus for detecting an image based on deep learning and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 장치는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 콘텐츠의 원본에 워터마크를 사상하여 보호콘텐츠를 생성하는 사상부와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 생성하고, 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠를 포함하는 학습 데이터 세트를 생성한 후, 상기 학습 데이터 세트를 이용하여 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 학습부를 포함한다. In an apparatus for detecting a deep learning-based image in a multi-content environment according to a preferred embodiment of the present invention for achieving the above object, a weight is applied to the operation result of the previous layer and input to the operation of the next layer An artificial neural network including a layer of , a mapping unit generating protected content by mapping a watermark to the original content, and executing a plurality of different watermark attacks to damage the watermark of the protected content to a plurality of each other After generating a plurality of damage protection contents subjected to different watermark attacks, and generating a training data set including the original content, the protection contents and the plurality of damaged protection contents, using the training data set, the artificial When any one of the protected content and the plurality of damaged protected content is input to the neural network, the artificial neural network learns to output the sameness between the inputted content and the original content with a probability of weighting the content from the neural network. Includes a learning unit that derives

상기 학습부는 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역을 검출하고, 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 상기 콘텐츠 가중치를 도출하는 것을 특징으로 한다. When any one of the protected content and the plurality of damaged protected content is input to the artificial neural network, the learning unit detects classes and object regions of a plurality of objects included in the inputted content by the artificial neural network, and The artificial neural network is trained to output the sameness of the classes and object regions of a plurality of objects included in the input content and the plurality of objects included in the original content with a probability of the classes and object regions of the plurality of objects. It is characterized in that the content weight is derived.

상기 장치는 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하여 상기 인공신경망이 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 검출부를 더 포함한다. The device inputs the suspicious content to the artificial neural network to which the content weight is applied, and when the artificial neural network outputs the identity of the suspicious content and the original content with a probability, the suspicious content is determined according to the output probability of the content. It further includes a detection unit for determining whether or not the same as the original.

상기 검출부는 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하여 상기 인공신경망이 상기 의심 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 것을 특징으로 한다. The detection unit inputs suspicious content to the artificial neural network to which the content weight is applied, and the artificial neural network determines the classes and object regions of a plurality of objects included in the suspicious content and the classes and object regions of a plurality of objects included in the original content of the content. When the identity of is output as a probability, it is characterized in that it is determined whether the suspicious content is the same as the original content according to the output probability.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법은 사상부가 콘텐츠의 원본에 워터마크를 사상하여 보호콘텐츠를 생성하는 단계와, 학습부가 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 생성하고, 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠를 포함하는 학습 데이터 세트를 생성하는 단계와, 상기 학습부가 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 단계를 포함한다. A method for detecting a deep learning-based image in a multi-content environment according to a preferred embodiment of the present invention for achieving the above object includes the steps of generating a protected content by mapping a watermark to the original content by a mapping unit; , the learning unit executes a plurality of different watermark attacks to damage the watermark of the protected content to generate a plurality of damage-protected content in which a plurality of different watermark attacks are made, and the original content, the protected content and Generating a learning data set including the plurality of damaged protected content, and the learning unit applied a weight to the operation result of the previous layer, the protected content in an artificial neural network including a plurality of layers that are input to the operation of the next layer and when any one of the plurality of damaged protected contents is input, the artificial neural network trains the artificial neural network to output the sameness between the inputted content and the original content with a probability, and calculates the content weight from the artificial neural network. It includes the step of deriving.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 인공신경망에 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 상기 인공신경망이 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역을 검출하고, 상기 입력된 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 것을 특징으로 한다. In the step of deriving the content weight, when any one of the protected content and the plurality of damaged protected content is input to the artificial neural network by the learning unit, the artificial neural network determines the class of a plurality of objects included in the inputted content. and detecting an object region, and outputting the class and object region of a plurality of objects included in the input content and a plurality of objects included in the original content of the content, the class of the plurality of objects, and the identity of the object region with probability. It is characterized in that the content weight is derived from the artificial neural network by learning the neural network.

상기 인공신경망의 가중치를 도출하는 단계 후, 인공신경망에 상기 도출된 콘텐츠 가중치를 적용하는 단계와, 검출부가 의심 콘텐츠가 입력되면, 상기 콘텐츠 가중치가 적용된 인공신경망에 의심 콘텐츠를 입력하는 단계와, 검출부가 상기 콘텐츠 가중치가 적용된 인공신경망이 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 단계를 더 포함한다. After deriving the weights of the artificial neural network, applying the derived content weights to the artificial neural network, and when the detection unit receives suspicious content, inputting the suspicious content into the artificial neural network to which the content weights are applied, the detection unit If the artificial neural network to which the content weight is applied outputs the sameness between the suspicious content and the original content as a probability, determining whether the suspicious content is the same as the original content according to the output probability is further performed. include

상기 판단하는 단계는 검출부가 상기 콘텐츠 가중치가 적용된 인공신경망이 상기 의심 콘텐츠에 포함된 복수의 객체의 클래스 및 객체 영역과 상기 콘텐츠의 원본에 포함된 복수의 객체 복수의 객체의 클래스 및 객체 영역의 동일성을 확률로 출력하면, 상기 출력된 확률에 따라 상기 의심 콘텐츠가 상기 콘텐츠의 원본과 동일한 것인지 여부를 판단하는 것을 특징으로 한다. In the determining step, the artificial neural network to which the content weight has been applied by the detection unit is identical to the class and object region of a plurality of objects included in the suspicious content and the plurality of objects included in the original content. is output with a probability, it is characterized in that it is determined whether the suspicious content is the same as the original content according to the output probability.

본 발명의 다른 견지에 따르면, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 장치는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 학습부와, 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성한 후, 상기 가중치 워터마크를 상기 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 사상부를 포함한다. According to another aspect of the present invention, in the apparatus for executing a deep learning-based watermark in a multi-content environment according to a preferred embodiment of the present invention for achieving the above object, a weight is applied to the operation result of the previous layer An artificial neural network including a plurality of layers that become and are input to the operation of the next layer, the original content, the protected content by mapping the watermark to the original content, and a plurality of different types for damaging the watermark of the protected content By executing a watermark attack, the artificial neural network is trained using a training data set including a plurality of damage-protected contents subjected to a plurality of different watermark attacks to learn the original content, the protected content, and the plurality of damaged protected contents. A learning unit for deriving a content weight, which is a weight of the artificial neural network to determine that is equal to, generates a weighted watermark by performing an exclusive logical sum operation on the content weight and the watermark, and then applies the weighted watermark to the original content. It includes a mapping unit for generating protected content by mapping.

상기 학습부는 상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 것을 특징으로 한다. The learning unit executes a plurality of different watermark attacks to damage the watermark and the watermark, and uses a training data set including a plurality of damaged watermarks to which a plurality of different watermark attacks are performed. It is characterized by deriving a watermark weight, which is a weight of the artificial neural network, by learning to determine that the watermark and the plurality of damaged watermarks are the same.

상기 장치는 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하고, 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하고, 추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 검출부를 더 포함한다. When the suspicious content is input, the apparatus extracts the weighted watermark from the suspicious content, extracts the watermark by performing an exclusive OR operation on the weighted watermark and the weight of the content, and inputs the extracted watermark to the artificial neural network to further include a detection unit that determines the sameness between the extracted watermark and the original watermark according to the output of the artificial neural network.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 워터마크를 실행하기 위한 방법은 학습부가 콘텐츠의 원본과, 콘텐츠의 원본에 워터마크를 사상한 보호콘텐츠와, 상기 보호콘텐츠의 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상보호콘텐츠를 포함하는 학습 데이터 세트를 마련하는 단계와, 상기 학습부가 상기 학습 데이터 세트를 이용하여 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망을 학습시켜 상기 콘텐츠의 원본, 상기 보호콘텐츠 및 상기 복수의 손상된 보호콘텐츠가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 콘텐츠 가중치를 도출하는 단계와, 사상부가 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성하는 단계와, 상기 사상부가 상기 가중치 워터마크를 콘텐츠의 원본에 사상하여 보호콘텐츠를 생성하는 단계를 포함한다. In a method for executing a deep learning-based watermark in a multi-content environment according to a preferred embodiment of the present invention for achieving the above object, the learning unit protects the original content and the watermark mapped to the original content. preparing a learning data set including content and a plurality of damage-protected content on which a plurality of different watermark attacks are performed by executing a plurality of different watermark attacks to damage the watermark of the protected content; A learning unit uses the learning data set to learn an artificial neural network including a plurality of layers that are applied to the calculation results of the previous layer and are input to the calculation of the next layer to learn the original content, the protected content, and the plurality of damaged deriving a content weight that is a weight of the artificial neural network for determining that protected content is the same; generating a weighted watermark by performing an exclusive OR operation on the content weight and the watermark by a mapping unit; and mapping the mark to the original content to generate protected content.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 워터마크와 상기 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 상기 인공신경망을 학습시켜 상기 워터마크와 및 상기 복수의 손상된 워터마크가 동일한 것으로 판별하도록 하는 상기 인공신경망의 가중치인 워터마크 가중치를 도출하는 단계를 더 포함한다. In the step of deriving the content weight, the learning unit executes a plurality of different watermark attacks to damage the watermark and the watermark, and a plurality of different watermark attacks are performed. Learning including a plurality of damaged watermarks The method further includes deriving a watermark weight, which is a weight of the artificial neural network, that trains the artificial neural network using a data set to determine that the watermark and the plurality of damaged watermarks are the same.

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하는 단계와, 상기 검출부가 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하는 단계와, 상기 검출부가 상기 추출된 워터마크를 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 단계를 더 포함한다. The method comprises the steps of: when a suspicious content is input by a detection unit, extracting the weighted watermark from the suspicious contents; The method further includes the step of inputting the extracted watermark into the artificial neural network, and determining, by a detector, the sameness between the extracted watermark and the original watermark according to an output of the artificial neural network.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹 시스템은 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망과, 원본 콘텐츠와 상기 원본 콘텐츠에 워터마크가 사상된 보호콘텐츠와 상기 보호콘텐츠에 워터마크 공격이 이루어진 손상보호콘텐츠가 동일한 것으로 판별하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 학습부와, 상기 콘텐츠 가중치와 워터마크의 배타적논리합 연산에 의해 생성된 가중치 워터마크를 상기 원본 콘텐츠에 사상하여 보호콘텐츠를 생성하는 사상부를 포함한다. A deep learning-based watermarking system for copyright protection of multiple contents according to a preferred embodiment of the present invention for achieving the above object is a plurality of layers that are input to the calculation of the next layer by applying a weight to the calculation result of the previous layer An artificial neural network comprising a, and learning to determine that the original content and the protected content in which the watermark is mapped to the original content and the damaged protected content in which the watermark attack is made on the protected content are the same to derive the content weight from the artificial neural network a learning unit; and a mapping unit generating protected content by mapping the weighted watermark generated by the exclusive logical sum operation of the content weight and the watermark onto the original content.

상기 시스템은 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠를 상기 콘텐츠 가중치가 적용된 인공신경망에 입력하여 상기 콘텐츠 가중치가 적용된 인공신경망의 출력에 따라 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 판단하는 검출부를 더 포함한다. When the suspicious content is input, the system inputs the suspicious content to the artificial neural network to which the content weight is applied, and a detection unit that determines the identity of the suspicious content and the original content according to the output of the artificial neural network to which the content weight is applied. include more

상기 학습부는 상기 워터마크와 상기 워터마크에 워터마크 공격이 이루어진 손상된 워터마크가 동일한 것으로 판별하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 워터마크 가중치를 도출하는 것을 특징으로 한다. The learning unit trains the artificial neural network to determine that the watermark and the damaged watermark subjected to a watermark attack are identical, and derives a watermark weight from the artificial neural network.

상기 검출부는 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하고, 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하고, 상기 추출된 워터마크를 상기 워터마크 가중치가 적용된 인공신경망에 입력하여 상기 워터마크 가중치가 적용된 인공신경망의 출력에 따라 상기 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 것을 특징으로 한다. The detection unit extracts the weighted watermark from the suspicious content, extracts the watermark by performing an exclusive OR operation on the weighted watermark and the content weight, and inputs the extracted watermark to an artificial neural network to which the watermark weight is applied. Thus, according to the output of the artificial neural network to which the watermark weight is applied, the extracted watermark and the original watermark are determined to be identical.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 위한 방법은 학습부가 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 복수의 계층을 포함하는 인공신경망을 원본 콘텐츠와 상기 원본 콘텐츠에 워터마크가 사상된 보호콘텐츠와 상기 보호콘텐츠에 워터마크 공격이 이루어진 손상보호콘텐츠가 동일한 것으로 판별하도록 학습시켜 상기 인공신경망으로부터 콘텐츠 가중치를 도출하는 단계와, 사상부가 상기 콘텐츠 가중치와 워터마크를 배타적논리합 연산하여 가중치 워터마크를 생성하는 단계와, 상기 사상부가 상기 가중치 워터마크를 상기 콘텐츠 원본에 사상하여 보호콘텐츠를 생성하는 단계를 포함한다. In the method for deep learning-based watermarking for copyright protection of multiple contents according to a preferred embodiment of the present invention for achieving the above object, a weight is applied to the operation result of the previous layer by the learning unit and input to the operation of the next layer An artificial neural network including a plurality of layers is trained to determine that the original content, the protected content in which the watermark is mapped to the original content, and the damaged protected content in which the watermark attack is made on the protected content are the same, and the content weight from the artificial neural network deriving, generating a weighted watermark by performing an exclusive logical sum operation on the content weight and the watermark by a mapping unit, and generating a protected content by mapping the weighted watermark to the original content by the mapping unit do.

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠를 상기 콘텐츠 가중치가 적용된 인공신경망에 입력하여 상기 콘텐츠 가중치가 적용된 인공신경망의 출력에 따라 상기 의심 콘텐츠와 상기 콘텐츠의 원본과의 동일성을 판단하는 단계를 더 포함한다. In the method, when the detection unit receives suspicious content, the suspicious content is input to the artificial neural network to which the content weight is applied, and the identity of the suspicious content and the original content is determined according to the output of the artificial neural network to which the content weight is applied. further comprising steps.

상기 콘텐츠 가중치를 도출하는 단계는 상기 학습부가 상기 워터마크와 상기 워터마크에 워터마크 공격이 이루어진 손상된 워터마크가 동일한 것으로 판별하도록 상기 인공신경망을 학습시켜 상기 인공신경망으로부터 워터마크 가중치를 도출하는 단계를 더 포함한다. The step of deriving the content weight includes the step of learning the artificial neural network so that the learning unit determines that the watermark and the damaged watermark subjected to a watermark attack are the same, and deriving the watermark weight from the artificial neural network. include more

상기 방법은 검출부가 의심 콘텐츠가 입력되면, 상기 의심 콘텐츠로부터 상기 가중치 워터마크를 추출하는 단계와, 상기 검출부가 상기 가중치 워터마크와 상기 콘텐츠 가중치를 배타적논리합 연산하여 워터마크를 추출하는 단계와, 상기 검출부가 상기 추출된 워터마크를 상기 워터마크 가중치가 적용된 인공신경망에 입력하여 상기 워터마크 가중치가 적용된 인공신경망의 출력에 따라 상기 추출된 워터마크와 상기 워터마크의 원본과의 동일성을 판단하는 단계를 더 포함한다. The method includes the steps of: when a suspicious content is input by a detection unit, extracting the weighted watermark from the suspicious contents; inputting the extracted watermark into the artificial neural network to which the watermark weight is applied, and determining, by a detector, the sameness between the extracted watermark and the original watermark according to the output of the artificial neural network to which the watermark weight is applied; include more

본 발명에 따르면, 기존에 정의되지 않은 새로운 유형의 워터마크 공격에 신속하고 효과적으로 대응할 수 있다. 즉, 본 발명은 3D 및 360° VR과 같이 새롭게 등장하는 다종 콘텐츠에 대한 워터마크 공격에 신속하고 빠르게 대응하여 다종 콘텐츠에 대한 저작권 보호의 공백을 줄일 수 있다. According to the present invention, it is possible to quickly and effectively respond to a new type of watermark attack that is not previously defined. That is, according to the present invention, it is possible to quickly and quickly respond to a watermark attack on various types of contents such as 3D and 360° VR, thereby reducing the gap in copyright protection for various types of contents.

도 1은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 구분망의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 출력층을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 생성하는 학습부의 동작을 설명하기 위한 도면이다.
도 7 내지 도 10은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 삽입부의 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 검출부의 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 실시예에 따른 워터마크 가중치를 도출하는 방법을 설명하기 위한 흐름도이다.
도 16은 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining the configuration of a system for executing deep learning-based watermarking for multi-content copyright protection according to an embodiment of the present invention.
2 is a diagram for explaining the configuration of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention.
3 is a diagram for explaining the configuration of a classification network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention.
4 is a diagram for explaining the configuration of a determination network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention.
5 is a diagram for explaining an output layer of a discrimination network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention.
6 is a view for explaining the operation of the learning unit for generating a learning data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention.
7 to 10 are diagrams for explaining a training data set for executing deep learning-based watermarking for multi-content copyright protection according to an embodiment of the present invention.
11 is a view for explaining the operation of the detection unit for determining the content identity for the protection of multiple content copyrights according to an embodiment of the present invention.
12 is a view for explaining the operation of the inserting unit for copyright protection of multiple contents according to an embodiment of the present invention.
13 is a diagram for explaining an operation of a detection unit for protecting multi-content copyright according to an embodiment of the present invention.
14 is a flowchart illustrating a learning method for detecting a deep learning-based image in a multi-content environment according to an embodiment of the present invention.
15 is a flowchart illustrating a method of deriving a watermark weight according to an embodiment of the present invention.
16 is a flowchart illustrating a method for detecting a deep learning-based image in a multi-content environment.
17 is a flowchart illustrating a method of executing a deep learning-based watermark for content protection according to an embodiment of the present invention.
18 is a flowchart illustrating a method of authenticating a copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term for explanation. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that in the accompanying drawings, the same components are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.

먼저, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 시스템(이하, '워터마킹시스템'으로 축약함)은 인공신경망(ANN: artificial neural network, 100), 학습부(200), 사상부(300) 및 검출부(400)를 포함한다. 이하, 인공신경망(100), 학습부(200), 사상부(300) 및 검출부(400) 각각의 구성 및 동작에 대해 보다 구체적으로 설명하기로 한다. First, the configuration of a system for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a system for executing deep learning-based watermarking for multi-content copyright protection according to an embodiment of the present invention. Referring to FIG. 1, a system (hereinafter, abbreviated as 'watermarking system') for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention is an artificial neural network (ANN). , 100 ), a learning unit 200 , a mapping unit 300 , and a detection unit 400 . Hereinafter, the configuration and operation of the artificial neural network 100 , the learning unit 200 , the mapping unit 300 , and the detection unit 400 will be described in more detail.

먼저, 본 발명의 실시예에 따른 인공신경망(100)의 구성에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구성을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 구분망의 구성을 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 인공신경망의 판별망의 구성을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 판별망의 출력층을 설명하기 위한 도면이다. First, the configuration of the artificial neural network 100 according to an embodiment of the present invention will be described. 2 is a diagram for explaining the configuration of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention. 3 is a diagram for explaining the configuration of a classification network of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention. 4 is a diagram for explaining the configuration of a determination network of an artificial neural network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention. 5 is a diagram for explaining an output layer of a discrimination network for executing deep learning-based watermarking for copyright protection of multiple contents according to an embodiment of the present invention.

인공신경망(100)은 복수의 계층을 포함하며, 복수의 계층은 복수의 연산을 포함한다. 복수의 계층은 가중치로 연결되며, 이는 이전 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CVL: Convolution Layer), 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하는 풀링계층(PLL: Pooling Layer), 활성화함수에 의한 연산을 수행하는 완전연결층(FCL: Fully Connected Layer) 등을 포함한다. 컨볼루션, 다운샘플링 및 업샘플링 연산 각각은 소정의 행렬로 이루어진 커널을 이용하며, 이러한 커널을 이루는 행렬의 원소의 값들이 가중치(w)가 된다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. The artificial neural network 100 includes a plurality of layers, and the plurality of layers includes a plurality of operations. A plurality of layers are connected by weights, which means that the weights are applied to the calculation results of the previous layer and input to the calculation of the next layer. A plurality of layers is a convolution layer (CVL) that performs a convolution operation, a pooling layer that performs a down sampling operation or an up sampling operation (PLL: Pooling Layer), It includes a fully connected layer (FCL) that performs an operation by an activation function, and the like. Each of the convolution, downsampling, and upsampling operations uses a kernel composed of a predetermined matrix, and values of elements of the matrix constituting the kernel become a weight w. Here, the activation function may be exemplified by Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, and the like. .

본 발명의 실시예에 따른 인공신경망(100)은 도 2에 도시된 바와 같이, 구분망(110)과 판별망(120)을 포함한다. As shown in FIG. 2 , the artificial neural network 100 according to the embodiment of the present invention includes a classification network 110 and a discrimination network 120 .

구분망(110)은 컨볼루션(Convolution) 연산을 수행하는 적어도 하나의 컨볼루션계층(CVL: Convolution Layer) 및 활성화함수에 의한 연산을 수행하는적어도 하나의 완전연결층(FCL: Fully Connected Layer)을 포함한다. 또한, 구분망(110)은 선택적으로, 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 수행하는 풀링계층(PLL)을 더 포함할 수 있다. 컨볼루션 연산은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 또한, 활성화함수에 의한 연산 결과 또한 가중치가 적용되어 다음 계층에 입력된다. The division network 110 includes at least one Convolution Layer (CVL) that performs a convolution operation and at least one Fully Connected Layer (FCL) that performs an operation by an activation function. include In addition, the classification network 110 may optionally further include a pooling layer (PLL) that performs a down-sampling operation or an up-sampling operation. The convolution operation uses a filter composed of a predetermined matrix, and values of elements of this matrix are weighted. In addition, the calculation result by the activation function is also weighted and input to the next layer.

구분망(110)은 객체 영역을 도출하는 복수의 계층(111)과 도출된 객체 영역을 추출하여 출력하는 복수의 계층(112)을 포함한다. 구분망(110)은 객체 영역을 도출하는 복수의 계층(111)에서 컨벌루션(convolution) 연산을 통해 다중 바운딩 박스(multiple bounding box)에 대한 클래스 확률(class probability)을 산출한다. 클래스 확률은 해당 바운딩 박스가 소정의 객체에 속할 확률을 의미한다. 즉, 구분망(110)은 입력된 콘텐츠(C)를 N × N 크기의 그리드로 분할하여 복수의 바운딩 박스로 구분하고, 각 바운딩 박스가 소정의 객체의 클래스에 속할 확률을 산출한다. 그리고 소정의 객체의 클래스에 속하는 복수의 박스들의 집합을 나타내는 영역을 해당 클래스의 객체 영역으로 출력한다. 예컨대, 구분망(110)의 출력은 (x, y, w, h, confidence)와 같이 이루어진다. 여기서, x, y, w, h는 객체 영역을 정의하며, confidence는 해당 객체가 특정 클래스의 객체일 확률을 나타낸다. 이에 따라, 구분망(110)은 입력된 콘텐츠에서 특정 클래스의 객체일 확률이 소정 수치 이상인 객체 영역을 추출할 수 있다. 즉, 도 3의 실시예에서 구분망(110)은 4개의 객체를 구분하여 추출할 수 있다. 이에 따라, 구분망(110)의 객체 영역을 도출하는 복수의 계층(111)은 콘텐츠(C)가 입력되면, 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체의 영역(obj1, obj2, obj3, obj4)을 도출한다. 그러면, 도출된 객체 영역을 추출하여 출력하는 복수의 계층(112)은 도출된 복수의 객체의 영역(obj1, obj2, obj3, obj4)의 이미지를 추출하여 출력한다. The classification network 110 includes a plurality of layers 111 for deriving an object area and a plurality of layers 112 for extracting and outputting the derived object area. The classification network 110 calculates a class probability for a multiple bounding box through a convolution operation in a plurality of layers 111 for deriving an object region. The class probability means the probability that the corresponding bounding box belongs to a predetermined object. That is, the classification network 110 divides the input content C into a grid of N × N size, divides it into a plurality of bounding boxes, and calculates a probability that each bounding box belongs to a class of a predetermined object. Then, an area indicating a set of a plurality of boxes belonging to a class of a given object is output as an object area of the corresponding class. For example, the output of the classification network 110 is made as (x, y, w, h, confidence). Here, x, y, w, and h define the object domain, and confidence represents the probability that the corresponding object is an object of a specific class. Accordingly, the classification network 110 may extract an object region in which the probability of being an object of a specific class is greater than or equal to a predetermined value from the inputted content. That is, in the embodiment of FIG. 3 , the classification network 110 may classify and extract four objects. Accordingly, when the content C is input, the plurality of layers 111 deriving the object region of the classification network 110 includes the content C and the regions obj1 and obj2 of a plurality of objects included in the content C. , obj3, obj4). Then, the plurality of layers 112 extracting and outputting the derived object regions extract and output images of the derived plurality of object regions obj1, obj2, obj3, and obj4.

판별망(120)은 도 4를 참조하면, 컨볼루션(Convolution) 연산을 수행하는 적어도 하나의 컨볼루션계층(CVL: Convolution Layer), 활성화함수에 의한 연산을 수행하는 적어도 하나의 완전연결층(FCL: Fully Connected Layer) 및 출력층(OUL: Output Layer)을 포함한다. 완전연결층(FCL)의 출력은 출력층(OUL: Output Layer)을 통해 출력된다. 컨볼루션 연산은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 또한, 활성화함수에 의한 연산 결과 또한 가중치가 적용되어 다음 계층에 입력된다. 일 실시예에 따르면, 판별망(120)은 콘텐츠의 원본과 입력된 콘텐츠의 동일성을 확률로 출력한다. 일 실시예에 따르면, 판별망(120)은 콘텐츠(C)가 입력되면, 입력된 콘텐츠와 콘텐츠의 원본과의 동일성을 확률로 출력한다. 다른 실시예에 따르면, 판별망(120)은 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체(obj1, obj2, obj3, obj4)가 입력되면, 입력된 콘텐츠(C)와 콘텐츠(C)에 포함된 복수의 객체(obj1, obj2, obj3, obj4) 각각과 대응하는 콘텐츠 원본과 콘텐츠 원본에 포함된 복수의 객체와의 동일성을 확률로 출력한다. 4 , the discriminant network 120 includes at least one convolution layer (CVL) for performing a convolution operation, and at least one fully connected layer (FCL) for performing an operation by an activation function. : Fully Connected Layer) and output layer (OUL: Output Layer). An output of the fully connected layer (FCL) is output through an output layer (OUL). The convolution operation uses a filter composed of a predetermined matrix, and values of elements of this matrix are weighted. In addition, the calculation result by the activation function is also weighted and input to the next layer. According to an embodiment, the determination network 120 outputs the identity of the original content and the input content as a probability. According to an embodiment, when the content C is input, the determination network 120 outputs the sameness between the input content and the original content as a probability. According to another embodiment, when a plurality of objects (obj1, obj2, obj3, obj4) included in the content (C) and the content (C) are input, the determination network 120 receives the inputted content C and the content C ) and output the identity of the plurality of objects included in the content source and the content source corresponding to each of the plurality of objects obj1, obj2, obj3, and obj4 included in the content source as a probability.

도 5를 참조하면, 출력층(OUL)은 완전연결층(FCL)의 출력값을 저장한다. 출력층(OL)은 2개의 출력 노드(O1 및 O2)를 포함하며, 제1 출력노드(O1)는 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형되었을 확률(identical)에 대응한다. 반면, 제2 출력노드(O2)는 입력된 콘텐츠(C)가 학습 대상인 콘텐츠, 즉, 콘텐츠 원본과 동일하지 않으며, 콘텐츠 원본으로부터 변형된 것도 아닐 확률(otherness)에 대응한다. 예컨대, 인공신경망(100)의 가중치가 적용되는 복수의 연산이 이루어지고 최종적으로 완전연결층(FL)의 연산 결과에 따른 출력값, 즉, 제1 및 제2 출력 노드(O1 및 O2)의 값이 0.90 및 0.10이 될 수 있다. 이는 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형되었을 확률(identical)이 90%이고, 입력된 콘텐츠(C)가 학습 대상인 콘텐츠, 즉, 콘텐츠 원본과 동일하지 않으며, 콘텐츠 원본으로부터 변형된 것도 아닐 확률(otherness)이 10%임을 나타낸다. 이에 따라, 인공신경망(100)에 입력된 콘텐츠는 제1 출력노드(O1)의 확률이 제2 출력노드(O2)의 확률 보다 높기 때문에 인공신경망(100)에 입력된 콘텐츠(C)가 학습 대상 콘텐츠, 즉, 콘텐츠 원본과 동일하거나, 콘텐츠 원본으로부터 변형된 것으로 판단할 수 있다. Referring to FIG. 5 , the output layer OUL stores the output value of the fully connected layer FCL. The output layer OL includes two output nodes O1 and O2, and the first output node O1 indicates that the input content C is the same as the learning target content, that is, the content source, or is modified from the content source. Corresponds to the probability (identical). On the other hand, the second output node O2 corresponds to the probability (otherness) that the input content C is not the same as the content to be learned, that is, is not the same as the content source and is not modified from the content source. For example, a plurality of calculations to which the weight of the artificial neural network 100 is applied is performed, and finally output values according to the calculation results of the fully connected layer FL, that is, the values of the first and second output nodes O1 and O2 are It can be 0.90 and 0.10. This means that the input content (C) has a 90% probability that the input content (C) is the same as the learning target content, that is, the same as or modified from the content source, and the input content (C) is the learning target content, that is, the content source and the content source. It is not the same, and the probability that it is not modified from the original content (otherness) is 10%. Accordingly, since the probability of the first output node O1 is higher than the probability of the second output node O2 for the content input to the artificial neural network 100, the content C input to the artificial neural network 100 is the learning target. It can be determined that the content, that is, the same as the original content, or modified from the original content.

한편, 학습부(200)는 학습 데이터 세트를 생성하고, 생성된 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시키기 위한 것이다. 이러한 학습부(200)에 대해 보다 상세하게 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 생성하는 학습부의 동작을 설명하기 위한 도면이다. 도 7 내지 도 10은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 딥러닝 기반 워터마킹을 실행하기 위한 학습 데이터 세트를 설명하기 위한 도면이다. On the other hand, the learning unit 200 is to generate a training data set, and to train the artificial neural network 100 using the generated training data set. The learning unit 200 will be described in more detail. 6 is a diagram for explaining the operation of the learning unit for generating a learning data set for executing deep learning-based watermarking for copyright protection of various types of content according to an embodiment of the present invention. 7 to 10 are diagrams for explaining a training data set for executing deep learning-based watermarking for multi-content copyright protection according to an embodiment of the present invention.

도 6을 참조하면, 사상부(300)가 콘텐츠에 워터마크를 사상하여 보호 콘텐츠를 생성하면, 학습부(200)는 보호 콘텐츠에 대해 복수의 서로 다른 워터마크 공격 기법을 이용하여 워터마크 공격을 수행하여 복수의 손상된 보호 콘텐츠를 생성한다. 이러한 손상된 보호 콘텐츠의 예가 도 7 내지 도 10에 도시되었다. 도 7, 도 8 및 도 9에 각각 2D 환경 기반의 이미지에 대한 단일 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠, 2D 환경 기반의 이미지에 대한 복합 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠 및 2D 환경 기반의 비디오에 대한 단일 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠가 도시되었다. 또한, 도 10의 (A) 및 (B)에 3D 환경 기반의 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠 및 360°VR 환경 기반의 워터마킹 공격에 의해 생성된 복수의 손상된 보호 콘텐츠가 도시되었다. Referring to FIG. 6 , when the mapping unit 300 maps the watermark to the content to generate the protected content, the learning unit 200 performs a watermark attack on the protected content by using a plurality of different watermark attack techniques. to create a plurality of damaged protected content. Examples of such compromised protected content are shown in FIGS. 7 to 10 . 7, 8, and 9, respectively, a plurality of compromised protection contents generated by a single watermarking attack on an image based on a 2D environment, and a plurality of compromised protections generated by a complex watermarking attack on an image based on a 2D environment, respectively A plurality of compromised protected content generated by a single watermarking attack on video based on content and 2D environment is shown. In addition, a plurality of damaged protection contents generated by a watermarking attack based on a 3D environment and a plurality of damaged protection contents generated by a watermarking attack based on a 360° VR environment are shown in FIGS. became

학습부(200)는 복수의 손상된 보호 콘텐츠를 생성한 후, 콘텐츠 원본과, 보호 콘텐츠 및 복수의 손상된 보호 콘텐츠를 포함하는 학습 데이터 세트로 생성하고, 생성된 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시킨다. After generating a plurality of damaged protected content, the learning unit 200 generates a training data set including the original content, the protected content and a plurality of damaged protected content, and uses the generated training data set to generate the artificial neural network 100 ) is learned.

이때, 학습부(200)는 콘텐츠 원본이 입력되면, 콘텐츠 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 콘텐츠 원본과 동일한 것으로 설정하고(identical = 1.00, otherness = 0.00), 콘텐츠 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. At this time, when the original content is input, the learning unit 200 trains the artificial neural network 100 to determine that it is the same as the original content. To this end, the learning unit 200 sets the expected value of the neural network 100 to be the same as the original content (identical = 1.00, otherness = 0.00), and inputs the original content to the neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the original content. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 보호 콘텐츠가 입력되면, 보호 콘텐츠에 대해 원본과 동일성이 95% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 95% 이상인 것으로 설정하고(identical ≥ 0.95, otherness < 0.05), 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.79, otherness = 0.21)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. Also, when the protected content is input, the learning unit 200 may train the artificial neural network 100 to have 95% or more identicalness to the original with respect to the protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to have 95% or more identical to the original (identical ≥ 0.95, otherness < 0.05), and inputs the protected content to the artificial neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the protected content. For example, assume that the output value is (identical = 0.79, otherness = 0.21). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 손상된 보호 콘텐츠가 입력되면, 손상된 보호 콘텐츠에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. Also, when the damaged protected content is input, the learning unit 200 may train the artificial neural network 100 so that the damaged protected content has 90% or more identical to the original. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness < 0.10), and inputs the damaged protected content to the artificial neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the damaged protected content. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

이러한 학습부(200)의 학습에 따라 인공신경망(100)은 콘텐츠 원본과, 보호 콘텐츠 및 손상된 보호 콘텐츠 중 어느 하나의 콘텐츠가 입력되면, 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 이러한 출력값은 적어도 콘텐츠 원본일 확률이 90%이상이며, 콘텐츠 원본이 아닐 확률이 10% 미만인 것(identical ≥ 0.90, otherness < 0.10)으로 출력될 것이다. According to the learning of the learning unit 200, the artificial neural network 100 will output an output value through a plurality of calculations to which weights are applied when any one of the original content, protected content, and damaged protected content is input. Such an output value will be output as having at least a 90% probability of being the original content and less than 10% probability of not being an original content (identical ≥ 0.90, otherness < 0.10).

학습이 완료된 후, 인공신경망(100)의 가중치가 도출되면, 학습부(200)는 인공신경망(100)의 도출된 가중치를 사상부(300) 및 검출부(400)에 제공할 수 있다. 이러한 가중치는 콘텐츠 원본인지 여부를 판별하기 위해 사용된다. 이와 같이, 콘텐츠 원본인지 여부를 판별하기 위해 사용되는 가중치를 콘텐츠 가중치라고 칭하기로 한다. After learning is completed, when the weights of the artificial neural network 100 are derived, the learning unit 200 may provide the derived weights of the artificial neural network 100 to the mapping unit 300 and the detection unit 400 . These weights are used to determine whether the content is original or not. In this way, a weight used to determine whether the content is original or not will be referred to as a content weight.

한편, 본 발명의 실시예에서 학습을 통해 워터마크 가중치를 도출할 수 있다. 학습부(200)는 워터마크 및 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 학습 데이터 세트로 마련할 수 있다. 그런 다음, 학습부(200)는 워터마크 및 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 워터마크와 및 복수의 손상된 워터마크가 동일한 것으로 판별하도록 인공신경망(100)을 학습시킬 수 있다. 이러한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 워터마크 가중치를 도출할 수 있다. Meanwhile, in an embodiment of the present invention, a watermark weight may be derived through learning. The learning unit 200 may perform a watermark and a plurality of different watermark attacks for damaging the watermark, and prepare a plurality of damaged watermarks that have been subjected to a plurality of different watermark attacks as a training data set. Then, the learning unit 200 may train the artificial neural network 100 to determine that the watermark and the plurality of damaged watermarks are identical by using the training data set including the watermark and the damaged watermark. When this learning is completed, the learning unit 200 may derive a watermark weight from the artificial neural network 100 .

다음으로, 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 콘텐츠 동일성을 판별하는 검출부의 동작을 설명하기 위한 도면이다. Next, an operation of the detection unit that determines the content identity for protecting multiple content copyrights according to an embodiment of the present invention will be described. 11 is a view for explaining the operation of the detection unit for determining the content identity for the protection of multiple content copyrights according to an embodiment of the present invention.

도 11을 참조하면, 검출부(400)는 인공신경망(100)에 콘텐츠 가중치를 적용한 후, 콘텐츠 가중치가 적용된 인공신경망(100)을 통해 임의의 콘텐츠와 콘텐츠 원본의 동일성 여부를 판별할 수 있다. 예컨대, 검출부(400)는 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠가 입력되면, 입력된 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Referring to FIG. 11 , after applying the content weight to the artificial neural network 100 , the detection unit 400 may determine whether arbitrary content is identical to the original content through the artificial neural network 100 to which the content weight is applied. For example, when suspicious content suspected of being identical to the original content is input, the detection unit 400 inputs the input suspicious content to the artificial neural network 100 to which the content weight is applied. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 determines that the suspicious content is content originating from the original content. That is, the suspicious content may be the same as the original content, protected content with a watermark inserted into the content source, or damaged protected content with a watermark attack applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 may determine that the suspect content is not the original content.

한편, 사상부(300)는 전술한 바와 같이 학습에 의해 생성된 콘텐츠 가중치를 이용하여 콘텐츠를 보호할 수 있다. 사상부(300)는 콘텐츠에 워터마크를 사상하기 위한 것이다. 본 발명의 실시예에 따르면, 워터마크 시, 추가로 콘텐츠 가중치를 같이 사상할 수 있다. 이에 대해 도 12를 참조하여 구체적으로 설명하기로 한다. 도 12는 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 삽입부의 동작을 설명하기 위한 도면이다. 전술한 바와 같이, 학습부(200)에 의한 학습을 통해 인공신경망(100)으로부터 콘텐츠 가중치를 도출하였다고 가정한다. 그러면, 사상부(300)는 콘텐츠 가중치를 해싱하여 해시 가중치를 생성한다. 한편, 사상부(300)는 워터마크와 해시 가중치를 배타적논리합(XOR) 연산하여 가중치 워터마크를 생성한다. 그런 다음, 사상부(300)는 가중치 워터마크를 콘텐츠 원본에 사상하여 보호 콘텐츠를 생성할 수 있다. 특히, 콘텐츠에 워터마크를 사상할 때마다, 학습부(200)는 워터마크 및 손상된 워터마크를 학습 데이터로 이용하여 인공신경망(100)을 학습시킨 후, 워터마크 가중치를 도출할 수 있다. 이러한 워터마크 가중치 또한 콘텐츠의 저작권을 보호하기 위하여 워터마크의 동일성 여부를 판단하기 위하여 사용될 수 있다. Meanwhile, the mapping unit 300 may protect the content by using the content weight generated by learning as described above. The mapping unit 300 is for mapping the watermark to the content. According to an embodiment of the present invention, when watermarking, a content weight may be additionally mapped. This will be described in detail with reference to FIG. 12 . 12 is a view for explaining the operation of the inserting unit for copyright protection of multiple contents according to an embodiment of the present invention. As described above, it is assumed that content weights are derived from the artificial neural network 100 through learning by the learning unit 200 . Then, the mapping unit 300 generates a hash weight by hashing the content weight. Meanwhile, the mapping unit 300 generates a weighted watermark by performing an exclusive logical sum (XOR) operation on the watermark and the hash weight. Then, the mapping unit 300 may generate the protected content by mapping the weighted watermark to the original content. In particular, whenever a watermark is mapped to content, the learning unit 200 may use the watermark and the damaged watermark as training data to train the artificial neural network 100 and then derive a watermark weight. This watermark weight may also be used to determine whether the watermark is the same in order to protect the copyright of the content.

한편, 검출부(400)는 전술한 콘텐츠 가중치 및 워터마크 가중치를 이용하여 콘텐츠의 저작권을 인증할 수 있다. 이에 대해 도 13을 참조하여 구체적으로 설명하기로 한다. 도 13은 본 발명의 실시예에 따른 다종 콘텐츠 저작권 보호를 위한 검출부의 동작을 설명하기 위한 도면이다. 검출부(400)는 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠가 입력되면, 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. 한편, 검출부(400)는 사상부(300)가 가중치 워터마크를 사상한 기법의 역으로 의심 콘텐츠로부터 가중치 워터마크를 추출할 수 있다. 그리고 검출부(400)는 콘텐츠 가중치에 해싱을 수행하여 해시 가중치를 생성한 후, 해시 가중치와 가중치 워터마크의 배타적논리합(XOR) 연산을 통해 가중치 워터마크로부터 워터마크를 추출할 수 있다. 그런 다음, 검출부(400)는 워터마크를 워터마크 가중치가 적용된 인공신경망(100)에 입력할 수 있다. 그러면, 인공신경망(100)은 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면(즉, 출력값이 학습에 의해 목적된 출력값의 범위 내에 있다면), 검출부(400)는 해당 워터마크가 원본 콘텐츠에 삽입된 워터마크이거나, 그 워터마크로부터 비롯된 것으로 판별한다. 즉, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크 원본과 동일한 것이거나, 그 워터마크에 대해 워터마크 공격이 가해진 손상된 워터마크인 것으로 판단한다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우(즉, 출력값이 학습에 의해 목적된 출력값의 범위를 벗어나는 경우), 검출부(400)는 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크가 아닌 것으로 판별할 수 있다. Meanwhile, the detection unit 400 may authenticate the copyright of the content by using the above-described content weight and watermark weight. This will be described in detail with reference to FIG. 13 . 13 is a diagram for explaining an operation of a detection unit for protecting multi-content copyright according to an embodiment of the present invention. When the suspicious content suspected of being identical to the original content is input, the detection unit 400 inputs the suspicious content to the artificial neural network 100 to which the content weight is applied. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 determines that the suspicious content is content originating from the original content. That is, the suspicious content may be the same as the original content, protected content with a watermark inserted into the content source, or damaged protected content with a watermark attack applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 may determine that the suspect content is not the original content. Meanwhile, the detection unit 400 may extract the weighted watermark from the suspicious content in the reverse of the technique in which the mapping unit 300 maps the weighted watermark. In addition, the detection unit 400 generates a hash weight by performing hashing on the content weight, and then may extract a watermark from the weighted watermark through an exclusive logical sum (XOR) operation of the hash weight and the weighted watermark. Then, the detector 400 may input the watermark to the artificial neural network 100 to which the watermark weight is applied. Then, the artificial neural network 100 will output an output value through a plurality of operations to which the content weight is applied. For example, if the output value is within the range of identical ≥ 0.90 and otherness < 0.10 (that is, if the output value is within the range of the output value targeted by learning), the detection unit 400 determines that the watermark is a watermark embedded in the original content, It is determined that it is derived from the watermark. That is, it is determined that the corresponding watermark is the same as the original watermark inserted by the embedding unit 300 into the original content, or that the watermark is a damaged watermark in which a watermark attack is applied to the watermark. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness < 0.10 (that is, when the output value is out of the range of the target output value by learning), the detector 400 detects that the watermark is inserted into the content It can be determined that it is not a watermark inserted into the original.

다음으로, 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 학습 방법을 설명하기 위한 흐름도이다. Next, a learning method for detecting images based on deep learning in a multi-content environment will be described. 14 is a flowchart illustrating a learning method for detecting a deep learning-based image in a multi-content environment according to an embodiment of the present invention.

도 14를 참조하면, 사상부(300)는 S110 단계에서 저작권 보호 대상인 콘텐츠를 마련한다. 이러한 콘텐츠는 다종 콘텐츠로 2D 이미지, 2D 비디오, 3D 이미지, 360° VR 등의 콘텐츠가 될 수 있다. 이어서, 사상부(300)는 S120 단계에서 콘텐츠에 워터마크를 사상하여 보호 콘텐츠를 생성한다. Referring to FIG. 14 , the mapping unit 300 prepares content subject to copyright protection in step S110 . Such content may be a variety of content, such as 2D images, 2D videos, 3D images, and 360° VR. Next, the mapping unit 300 maps the watermark to the content in step S120 to generate the protected content.

다음으로, 학습부(200)는 S130 단계에서 콘텐츠 원본과, 보호 콘텐츠 및 복수의 손상된 보호 콘텐츠를 포함하는 학습 데이터 세트를 마련한다. 특히, 학습부(200)는 도 7 내지 도 10에 도시된 바와 같이, 보호 콘텐츠에 대해 복수의 서로 다른 워터마크 공격 기법을 이용하여 워터마크 공격을 수행하여 복수의 손상된 보호 콘텐츠를 생성할 수 있다. Next, the learning unit 200 prepares a training data set including the original content, protected content, and a plurality of damaged protected content in step S130 . In particular, the learning unit 200 may generate a plurality of damaged protected content by performing a watermark attack on the protected content using a plurality of different watermark attack techniques, as shown in FIGS. 7 to 10 . .

이어서, 학습부(200)는 S140 단계에서 학습 데이터 세트를 이용하여 인공신경망(100)을 학습시킨다. 이때, 학습부(200)는 콘텐츠 원본이 입력되면, 콘텐츠 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 콘텐츠 원본과 동일한 것으로 설정하고(identical = 1.00, otherness = 0.00), 콘텐츠 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 콘텐츠 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 또한, 학습부(200)는 보호 콘텐츠가 입력되면, 보호 콘텐츠에 대해 원본과 동일성이 95% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 95% 이상인 것으로 설정하고(identical ≥ 0.95, otherness < 0.05), 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.79, otherness = 0.21)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 그리고 학습부(200)는 손상된 보호 콘텐츠가 입력되면, 손상된 보호 콘텐츠에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 보호 콘텐츠를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 보호 콘텐츠에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 전술한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 콘텐츠 가중치를 추출한다. Next, the learning unit 200 trains the artificial neural network 100 using the training data set in step S140 . At this time, when the original content is input, the learning unit 200 trains the artificial neural network 100 to determine that it is the same as the original content. To this end, the learning unit 200 sets the expected value of the neural network 100 to be the same as the original content (identical = 1.00, otherness = 0.00), and inputs the original content to the neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the original content. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. Also, when the protected content is input, the learning unit 200 may train the artificial neural network 100 to have 95% or more identicalness to the original with respect to the protected content. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to have 95% or more identical to the original (identical ≥ 0.95, otherness < 0.05), and inputs the protected content to the artificial neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the protected content. For example, assume that the output value is (identical = 0.79, otherness = 0.21). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. In addition, when the damaged protected content is input, the learning unit 200 may train the artificial neural network 100 so that the damaged protected content is identical to the original by 90% or more. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness < 0.10), and inputs the damaged protected content to the artificial neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the damaged protected content. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. When the above-described learning is completed, the learning unit 200 extracts a content weight from the artificial neural network 100 .

한편, 본 발명의 실시예에서 학습을 통해 워터마크 가중치를 도출할 수 있다. 이러한 방법에 대해서 설명하기로 한다. 도 15는 본 발명의 실시예에 따른 워터마크 가중치를 도출하는 방법을 설명하기 위한 흐름도이다. Meanwhile, in an embodiment of the present invention, a watermark weight may be derived through learning. These methods will be described. 15 is a flowchart illustrating a method of deriving a watermark weight according to an embodiment of the present invention.

도 15를 참조하면, 학습부(200)는 S210 단계에서 워터마크를 마련하고, S220 단계에서 워터마크를 기초로 학습 데이터 세트를 생성한다. 이때, 학습부(200)는 워터마크에 워터마크를 손상시키기 위한 복수의 서로 다른 워터마크 공격을 실행하여 복수의 서로 다른 워터마크 공격이 이루어진 복수의 손상된 워터마크를 생성할 수 있다. Referring to FIG. 15 , the learning unit 200 prepares a watermark in step S210 and generates a training data set based on the watermark in step S220. In this case, the learning unit 200 may generate a plurality of damaged watermarks in which a plurality of different watermark attacks are performed by executing a plurality of different watermark attacks for damaging the watermark in the watermark.

이때, 학습부(200)는 워터마크의 원본이 입력되면, 워터마크의 원본과 동일한 것으로 판별하도록 인공신경망(100)을 학습시킨다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 워터마크의 원본과 동일한 것으로 판단하도록 설정하고(identical = 1.00, otherness = 0.00), 워터마크 원본을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 워터마크 원본에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.80, otherness = 0.20)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. At this time, when the original watermark is input, the learning unit 200 trains the artificial neural network 100 to determine that it is the same as the original watermark. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be the same as the original watermark (identical = 1.00, otherness = 0.00), and inputs the original watermark to the artificial neural network 100 . . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the original watermark. For example, assume that the output value is (identical = 0.80, otherness = 0.20). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized.

또한, 학습부(200)는 손상된 워터마크가 입력되면, 손상된 워터마크에 대해 원본과 동일성이 90% 이상이 되도록 인공신경망(100)을 학습시킬 수 있다. 이를 위하여, 학습부(200)는 인공신경망(100)의 기댓값을 원본과 동일성이 90% 이상인 것으로 설정하고(identical ≥ 0.90, otherness < 0.10), 손상된 워터마크를 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 손상된 워터마크에 대해 가중치가 적용되는 복수의 계층의 복수의 연산을 수행하여 출력값을 출력할 것이다. 예컨대, 출력값이 (identical = 0.77, otherness = 0.23)이라고 가정한다. 그러면, 학습부(200)는 기댓값과 출력값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 이와 같이, 학습부(200)는 워터마크 및 손상된 워터마크를 포함하는 학습 데이터 세트를 이용하여 워터마크와 및 복수의 손상된 워터마크가 동일한 것으로 판별하도록 인공신경망(100)을 학습시킬 수 있다. 이러한 학습이 완료되면, 학습부(200)는 인공신경망(100)으로부터 워터마크 가중치를 도출한다. In addition, when a damaged watermark is input, the learning unit 200 may train the artificial neural network 100 to have 90% or more identicalness to the original watermark with respect to the damaged watermark. To this end, the learning unit 200 sets the expected value of the artificial neural network 100 to be 90% or more identical to the original (identical ≥ 0.90, otherness < 0.10), and inputs the damaged watermark into the artificial neural network 100 . Then, the artificial neural network 100 will output an output value by performing a plurality of operations of a plurality of layers to which a weight is applied to the damaged watermark. For example, assume that the output value is (identical = 0.77, otherness = 0.23). Then, the learning unit 200 corrects the weight of the artificial neural network 100 so that the difference between the expected value and the output value is minimized. As such, the learning unit 200 may train the artificial neural network 100 to determine that the watermark and the plurality of damaged watermarks are identical by using the training data set including the watermark and the damaged watermark. When this learning is completed, the learning unit 200 derives a watermark weight from the artificial neural network 100 .

다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법에 대해서 설명하기로 한다. 도 16은 다종 콘텐츠 환경에서 딥러닝 기반의 이미지를 탐지하기 위한 방법을 설명하기 위한 흐름도이다. A method for detecting images based on deep learning in a multi-content environment will be described. 16 is a flowchart illustrating a method for detecting a deep learning-based image in a multi-content environment.

도 16을 참조하면, 검출부(400)는 S310 단계에서 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠를 입력 받을 수 있다. 그러면, 검출부(400)는 S320 단계에서 해당 콘텐츠 원본에 대한 학습 시, 도출된 콘텐츠 가중치를 인공신경망(100)에 적용한다. Referring to FIG. 16 , the detection unit 400 may receive suspicious content suspected of being identical to the original content in step S310 . Then, the detection unit 400 applies the derived content weight to the artificial neural network 100 when learning about the original content in step S320 .

그런 다음, 검출부(400)는 S330 단계에서 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)의 출력값을 획득한다. S330 단계에서 인공신경망(100)은 의심 콘텐츠가 입력되면, 의심 콘텐츠에 대해 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력할 것이다. 검출부(400)는 이러한 인공신경망(100)의 출력값을 획득한다. Then, the detection unit 400 obtains an output value of the artificial neural network 100 by inputting the suspicious content into the artificial neural network 100 to which the content weight is applied in step S330 . In step S330 , when suspicious content is input, the artificial neural network 100 will output an output value through a plurality of operations in which a content weight is applied to the suspicious content. The detection unit 400 obtains an output value of the artificial neural network 100 .

다음으로, 검출부(400)는 S340 단계에서 인공신경망(100)의 출력값에 따라 의심 콘텐츠가 콘텐츠의 원본과 동일한 것인지 여부를 판별한다. 예컨대, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별한다. 즉, 해당 의심 콘텐츠는 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠일 수 있다. 반면, 출력값이 identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the suspicious content is the same as the original content according to the output value of the artificial neural network 100 in step S340 . For example, if the output value is within the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 determines that the suspicious content is content originating from the original content. That is, the suspicious content may be the same as the original content, protected content with a watermark inserted into the content source, or damaged protected content with a watermark attack applied to the protected content. On the other hand, when the output value is out of the range of identical ≥ 0.90 and otherness < 0.10, the detection unit 400 may determine that the suspect content is not the original content.

다음으로, 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법에 대해서 설명하기로 한다. 도 17은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 실행하는 방법을 설명하기 위한 흐름도이다. Next, a method of executing a deep learning-based watermark for content protection according to an embodiment of the present invention will be described. 17 is a flowchart illustrating a method of executing a deep learning-based watermark for content protection according to an embodiment of the present invention.

이때, 학습부(200)는 앞서 도 14를 참조로 설명된 실시예와 같이 보호 대상인 콘텐츠에 대해 학습을 수행하여 콘텐츠 가중치를 도출하고, 도 15를 참조로 설명된 실시예와 같이 워터마크에 대해 학습을 수행하여 워터마크 가중치를 도출한다. 이에 따라, 사상부(300)는 S420 단계에서 학습부(200)를 통해 학습부(200)가 도출한 콘텐츠 가중치 및 워터마크 가중치를 획득한다. At this time, the learning unit 200 derives a content weight by performing learning on the content to be protected as in the embodiment described with reference to FIG. 14 above, and for the watermark as in the embodiment described with reference to FIG. 15 . Learning is performed to derive watermark weights. Accordingly, the mapping unit 300 acquires the content weight and the watermark weight derived by the learning unit 200 through the learning unit 200 in step S420 .

그런 다음, 사상부(300)는 S430 단계에서 콘텐츠 가중치를 해싱하여 해시 가중치를 생성한다. 이어서, 사상부(300)는 S440 단계에서 워터마크와 해시 가중치를 배타적논리합(XOR) 연산하여 가중치 워터마크를 생성한다. 이어서, 사상부(300)는 S450 단계에서 가중치 워터마크를 콘텐츠 원본에 사상(embedding)하여 보호 콘텐츠를 생성한다. Then, the mapping unit 300 generates a hash weight by hashing the content weight in step S430. Next, the mapping unit 300 generates a weighted watermark by performing an exclusive logical sum (XOR) operation on the watermark and the hash weight in step S440. Next, the mapping unit 300 generates the protected content by embedding the weighted watermark on the original content in step S450.

이러한 보호 콘텐츠는 저작권 보호를 위해 가중치 워터마크가 삽입된 상태이다. 그러면, 이러한 보호 콘텐츠에 대해 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법에 대해서 설명하기로 한다. 도 18은 본 발명의 실시예에 따른 콘텐츠 보호를 위해 딥러닝 기반의 워터마크를 통해 저작권을 인증하는 방법을 설명하기 위한 흐름도이다. These protected contents are in a state in which a weighted watermark is inserted for copyright protection. Then, a method of authenticating copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention for such protected content will be described. 18 is a flowchart illustrating a method of authenticating a copyright through a deep learning-based watermark for content protection according to an embodiment of the present invention.

도 18을 참조하면, 검출부(400)는 S410 단계에서 콘텐츠 원본과 동일성 여부가 의심되는 의심 콘텐츠를 입력 받을 수 있다. 이에 따라, 검출부(400)는 S420 단계에서 콘텐츠 원본에 대한 학습 시, 도출된 콘텐츠 가중치를 인공신경망(100)에 적용한다. Referring to FIG. 18 , the detection unit 400 may receive suspicious content suspected of being identical to the original content in step S410 . Accordingly, the detection unit 400 applies the derived content weight to the artificial neural network 100 when learning about the original content in step S420 .

그런 다음, 검출부(400)는 S430 단계에서 의심 콘텐츠를 콘텐츠 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)이 의심 콘텐츠에 대해 콘텐츠 가중치가 적용되는 복수의 연산을 통해 출력값을 출력하면, 인공신경망(100)의 출력값을 획득한다. Then, the detection unit 400 inputs the suspicious content to the artificial neural network 100 to which the content weight is applied in step S430, and the artificial neural network 100 outputs an output value through a plurality of operations in which the content weight is applied to the suspicious content. , to obtain an output value of the artificial neural network 100 .

다음으로, 검출부(400)는 S440 단계에서 인공신경망(100)의 출력값에 따라 의심 콘텐츠가 콘텐츠의 원본과 동일한 것인지 여부를 판별한다. 예컨대, 출력값이 콘텐츠 학습시(도 14 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본으로부터 비롯된 콘텐츠인 것으로 판별할 수 있다. 즉, 검출부(400)는 해당 의심 콘텐츠가 콘텐츠 원본과 동일한 것이거나, 콘텐츠 원본에 워터마크가 삽입된 보호 콘텐츠이거나, 보호 콘텐츠에 대해 워터마크 공격이 가해진 손상된 보호 콘텐츠인 것으로 판별할 수 있다. 반면, 검출부(400)는 출력값이 콘텐츠 학습시(도 14 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 해당 의심 콘텐츠가 콘텐츠 원본이 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the suspicious content is the same as the original content according to the output value of the artificial neural network 100 in step S440 . For example, if the output value is within the target range during content learning (see FIG. 14), that is, identical ≥ 0.90, otherness < 0.10, the detection unit 400 may determine that the suspicious content is content originating from the original content. . That is, the detection unit 400 may determine that the suspect content is the same as the original content, protected content with a watermark inserted into the content original, or damaged protected content in which a watermark attack is applied to the protected content. On the other hand, when the output value is out of the target range, that is, identical ≥ 0.90 and otherness < 0.10 during content learning (see FIG. 14 ), the detector 400 may determine that the suspect content is not the original content.

한편, 검출부(400)는 S450 단계에서 사상부(300)가 가중치 워터마크를 사상한 기법의 역으로 의심 콘텐츠로부터 가중치 워터마크를 추출할 수 있다. 그리고 검출부(400)는 S460 단계에서 콘텐츠 가중치에 해싱을 수행하여 해시 가중치를 생성한 후, S470 단계에서 해시 가중치와 가중치 워터마크의 배타적논리합(XOR) 연산을 통해 가중치 워터마크로부터 워터마크를 추출할 수 있다. Meanwhile, the detection unit 400 may extract the weighted watermark from the suspicious content in the reverse of the technique in which the mapping unit 300 maps the weighted watermark in step S450 . The detection unit 400 generates a hash weight by performing hashing on the content weight in step S460, and then extracts a watermark from the weighted watermark through an exclusive logical sum (XOR) operation of the hash weight and the weighted watermark in step S470. can

다음으로, 검출부(400)는 S480 단계에서 워터마크 가중치를 인공신경망(100)에 적용한다. 그런 다음, 검출부(400)는 S490 단계에서 워터마크를 워터마크 가중치가 적용된 인공신경망(100)에 입력하여 인공신경망(100)이 워터마크의 가중치가 적용되는 복수의 연산을 통해 출력값을 출력하면 인공신경망(100)의 출력값을 획득한다. Next, the detector 400 applies the watermark weight to the artificial neural network 100 in step S480 . Then, the detection unit 400 inputs the watermark to the artificial neural network 100 to which the watermark weight is applied in step S490, and the artificial neural network 100 outputs an output value through a plurality of operations to which the watermark weight is applied. An output value of the neural network 100 is obtained.

다음으로, 검출부(400)는 S500 단계에서 인공신경망(100)의 출력값에 따라 워터마크가 콘텐츠의 원본에 삽입된 워터마크인지 여부를 판별한다. 예컨대, 출력값이 워터마크 학습시(도 15 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위 내에 있다면, 검출부(400)는 해당 워터마크가 원본 콘텐츠에 삽입된 워터마크이거나, 그 워터마크로부터 비롯된 것으로 판별한다. 즉, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크 원본과 동일한 것이거나, 그 워터마크에 대해 워터마크 공격이 가해진 손상된 워터마크인 것으로 판단한다. 반면, 검출부(400)는 출력값이 워터마크 학습시(도 15 참조) 목적된 범위, 즉, identical ≥ 0.90, otherness < 0.10의 범위를 벗어나는 경우, 해당 워터마크가 삽입부(300)가 콘텐츠 원본에 삽입한 워터마크가 아닌 것으로 판별할 수 있다. Next, the detection unit 400 determines whether the watermark is a watermark inserted into the original content according to the output value of the artificial neural network 100 in step S500 . For example, if the output value is within the target range when learning the watermark (refer to FIG. 15), that is, identical ≥ 0.90, otherness < 0.10, the detection unit 400 determines whether the watermark is a watermark embedded in the original content, or the It is determined that it is derived from the watermark. That is, it is determined that the corresponding watermark is the same as the original watermark inserted by the embedding unit 300 into the original content, or that the watermark is a damaged watermark in which a watermark attack is applied to the watermark. On the other hand, when the output value is out of the target range, that is, identical ≥ 0.90, otherness < 0.10 when the watermark is learned (refer to FIG. 15), the watermark insertion unit 300 inserts the watermark into the original content. It can be determined that it is not an embedded watermark.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level languages that can be executed by a computer using an interpreter or the like as well as machine language such as generated by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

100: 인공신경망
110: 구분망
120: 판별망
200: 학습부
300: 사상부
400: 검출부 100: artificial neural network
110: division network
120: discrimination network
200: study department
300: thought part
400: detection unit

Claims

A device for detecting images based on deep learning in a multi-content environment, comprising:
an artificial neural network including a plurality of layers in which a weight is applied to the operation result of the previous layer and input to the operation of the next layer;
a mapping unit for generating protected content by mapping a watermark to the original content; and
Execute a plurality of different watermark attacks to damage the watermark of the protected content to generate a plurality of damage-protected content in which a plurality of different watermark attacks are made,
After generating a training data set including the original content, the protected content, and the plurality of damaged protected content,
When any one of the protected content and the plurality of damaged protected content is input to the artificial neural network using the learning data set,
a learning unit for deriving content weights from the artificial neural network by learning the artificial neural network to output the sameness between the input content and the original content with a probability;
the learning unit
When any one of the protected content and the plurality of damaged protected content is input to the artificial neural network,
The artificial neural network detects classes and object regions of a plurality of objects included in the input content,
Classes and object areas of a plurality of objects included in the input content;
By learning the artificial neural network to output the identity of the class and object region of a plurality of objects included in the original content of the content with probability
Characterized in deriving the content weight from the artificial neural network
A device for detecting images based on deep learning in a multi-content environment.

delete

According to claim 1,
When the suspicious content is input to the artificial neural network to which the content weight is applied, and the artificial neural network outputs the identity of the suspicious content and the original content with a probability,
A detection unit that determines whether the suspicious content is the same as the original content according to the output probability; characterized in that it further comprises
A device for detecting images based on deep learning in a multi-content environment.

4. The method of claim 3,
the detection unit
By inputting suspicious content into the artificial neural network to which the content weight is applied, the artificial neural network determines the identity of the classes and object regions of the plurality of objects included in the suspicious content and the classes and object regions of the plurality of objects included in the original content of the content. If we output the probability,
characterized in that it is determined whether the suspicious content is the same as the original content according to the output probability
A device for detecting images based on deep learning in a multi-content environment.

In a method for detecting images based on deep learning in a multi-content environment,
generating protected content by mapping the watermark to the original content by the mapping unit;
The learning unit executes a plurality of different watermark attacks to damage the watermark of the protected content to generate a plurality of damage-protected content in which a plurality of different watermark attacks are performed, and the original content, the protected content and the generating a training data set including a plurality of damaged protected content; and
When any one of the protected content and the plurality of damaged protected content is input to an artificial neural network including a plurality of layers in which the learning unit is weighted to the operation result of the previous layer and input to the operation of the next layer, the artificial deriving content weights from the neural network by training the neural network to output the sameness between the inputted content and the original content as a probability;
includes,
The step of deriving the content weight is
When the learning unit inputs any one of the protected content and the plurality of damaged protected content to the artificial neural network,
The artificial neural network detects classes and object regions of a plurality of objects included in the input content,
Classes and object areas of a plurality of objects included in the input content;
By learning the artificial neural network to output the identity of the class and object region of a plurality of objects included in the original content of the content with probability
Characterized in deriving content weights from the artificial neural network
A method for detecting images based on deep learning in a multi-content environment.

delete

6. The method of claim 5,
After deriving the weight of the artificial neural network,
applying the derived content weight to an artificial neural network;
when the detection unit receives suspicious content, inputting the suspicious content into an artificial neural network to which the content weight is applied;
determining whether the suspicious content is the same as the original content according to the output probability when the artificial neural network to which the content weight is applied outputs the same as the probability of the suspicious content and the original content; characterized in that it further comprises
A method for detecting images based on deep learning in a multi-content environment.

8. The method of claim 7,
The judging step
If the detection unit outputs the identity of the classes and object regions of the plurality of objects included in the suspicious content and the classes and object regions of the plurality of objects included in the original content with the probability of the artificial neural network to which the content weight is applied, , characterized in that it is determined whether the suspicious content is the same as the original content according to the output probability
A method for detecting images based on deep learning in a multi-content environment.