KR102028824B1

KR102028824B1 - Apparatus for processing watermarking using artificial neural network which identifies objects, method thereof and computer recordable medium storing program to perform the method

Info

Publication number: KR102028824B1
Application number: KR1020180018503A
Authority: KR
Inventors: 윤은준
Original assignee: 경일대학교산학협력단
Priority date: 2018-02-14
Filing date: 2018-02-14
Publication date: 2019-10-04
Also published as: KR20190098486A

Abstract

본 발명은 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 대상 데이터에서 적어도 하나의 객체 영역을 설정하는 전처리부와, 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지며, 상기 객체 영역에 소정 객체가 포함되어 있는 확률을 출력하는 인공신경망과, 상기 객체 영역을 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 상기 객체 영역에 포함된 객체를 식별하고, 식별된 객체에 따라 워터마킹 영역을 도출하는 판단부와, 상기 워터마킹 영역에 삽입이미지를 워터마킹하는 가공부를 포함하는 것을 특징으로 하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치와, 그 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. The present invention relates to an apparatus for processing watermarking using an artificial neural network, a method therefor, and a computer-readable recording medium having recorded thereon a program for performing the method. The present invention relates to at least one object area in target data. An artificial neural network comprising a preprocessing unit configured to set a plurality of layers and a plurality of hierarchies each including a plurality of operations to which weights are applied, and outputting a probability that a predetermined object is included in the object region; A determination unit for inputting a neural network to identify an object included in the object region according to the output of the artificial neural network, deriving a watermarking region according to the identified object, and a processing unit for watermarking an embedded image in the watermarking region Apparatus for processing watermarking using an artificial neural network, comprising: It provides a method and how the program is recorded for performing the computer-readable recording medium.

Description

Apparatus for processing watermarking using artificial neural network which identifies objects, method, and apparatus for processing watermarking using an artificial neural network for identifying objects and computer recordable medium storing program to perform the method}

본 발명은 워터마킹 기술에 관한 것으로, 보다 상세하게는, 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. The present invention relates to a watermarking technology, and more particularly, to an apparatus for processing watermarking using an artificial neural network for identifying an object, a method therefor, and a computer-readable recording medium having recorded thereon a program for performing the method. It is about.

최근 인터넷과 컴퓨터의 발전으로 다양한 멀티미디어 콘텐츠가 새롭게 등장함에 따라 새로운 유형의 콘텐츠에 따른 맞춤형 저작권 보호기술이 요구되어 지고 있다. 새로운 유형의 콘텐츠에 저작권 보호를 하기 위해 기존에 개발된 워터마킹 기술을 이용할 경우, 다양한 문제가 발생하게 된다. 워터마킹 기법은 자주 발생하는 특정한 공격을 정의하고 그에 대한 강인성을 가지도록 설계되므로, 정의되지 않은 공격에 취약하다. Recently, with the development of the Internet and computers, various multimedia contents are newly introduced, and thus, personalized copyright protection technologies are required according to new types of contents. When using existing watermarking technology to protect copyright of new types of content, various problems arise. Watermarking techniques are vulnerable to undefined attacks because they are designed to define and robust to specific attacks that occur frequently.

한국공개특허 제2007-0107317호 2007년 11월 07일 공개 (명칭: 하이브리드 이미지 워터마킹 방법 및 장치)Korean Laid-Open Patent Publication No. 2007-0107317 Nov 07, 2007 (Name: Hybrid image watermarking method and apparatus)

본 발명의 목적은 워터마킹이 이루어진 영상에 워터마킹 공격이 가해진 경우에도 삽입된 이미지를 복원할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus capable of restoring an inserted image even when a watermarking attack is applied to a watermarked image, a method therefor, and a computer-readable recording medium having recorded thereon a program for performing the method. have.

본 발명의 다른 목적은 인공신경망을 통해 객체를 식별하여 워터마킹을 수행할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. Another object of the present invention is to provide an apparatus capable of performing watermarking by identifying an object through an artificial neural network, a method therefor, and a computer-readable recording medium having recorded thereon a program for performing the method.

본 발명의 다른 목적은 워터마킹이 이루어진 영상에 워터마킹 공격이 가해진 경우에도 워터마킹 공격 기법을 도출하고, 이를 통해 삽입된 이미지를 복원할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. Another object of the present invention is to derive a watermarking attack technique even when a watermarking attack is applied to a watermarked image, and to restore the inserted image through the same, a method therefor and a program for performing the method. The present invention provides a recorded computer readable recording medium.

본 발명의 또 다른 목적은 워터마킹 기법에 따라 가장 효율적으로 워터마킹 공격을 가할 수 있는 워터마킹 공격 기법을 도출할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. It is still another object of the present invention to provide a device capable of deriving a watermarking attack technique capable of applying a watermarking attack most efficiently according to a watermarking technique, a method therefor, and a computer-readable recording of a program for performing the method. In providing a recording medium.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 장치는 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지며, 복수의 블록으로 구분되는 영상인 대상 데이터가 입력되면, 상기 복수의 블록 각각에 비트 1이 삽입되었을 확률과 비트 0이 삽입되었을 확률을 출력하는 인공신경망과, 상기 출력에 따라 상기 영상의 각 블록에 삽입된 비트값을 결정하는 판단부와, 상기 결정된 비트값에 따라 삽입이미지를 재구성하는 가공부를 포함한다. Apparatus for processing watermarking using an artificial neural network according to a preferred embodiment of the present invention for achieving the object as described above is composed of a plurality of layers each including a plurality of operations that are weighted, When the target data, which is an image divided into blocks, is input, an artificial neural network outputting a probability that bit 1 and bit 0 are inserted into each of the plurality of blocks is inserted into each block of the image according to the output. And a determination unit for determining a bit value, and a processing unit for reconstructing the inserted image according to the determined bit value.

상기 가공부는 원본 데이터를 소정 크기의 블록 단위로 구분하고, 구분된 각 블록에 이진 데이터인 삽입이미지의 비트값을 삽입하는 워터마킹을 수행하며, 워터마킹이 이루어진 원본 데이터를 소정의 워터마킹 공격 기법에 따라 변형하여 학습 데이터를 생성하는 것을 특징으로 한다. The processing unit divides the original data into block units of a predetermined size, performs watermarking to insert a bit value of an embedded image, which is binary data, into each of the divided blocks, and performs a watermarking attack technique on the watermarked original data. The training data may be modified to generate learning data.

상기 장치는 상기 학습데이터를 상기 소정 크기의 블록 단위로 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 삽입된 비트값을 나타내는 기댓값과의 차이가 최소가 되도록 상기 가중치를 산출하는 학습부를 더 포함한다. The apparatus may further include a learning unit configured to input the training data into the artificial neural network in units of the predetermined size to calculate the weight such that the output value of the artificial neural network has a minimum difference from an expected value representing the inserted bit value. do.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법은 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지는 인공신경망이 복수의 블록으로 구분되는 영상인 대상 데이터가 입력되면, 상기 복수의 블록 각각에 비트 1이 삽입되었을 확률과 비트 0이 삽입되었을 확률을 출력하는 단계와, 판단부가 상기 출력에 따라 상기 영상의 각 블록에 삽입된 비트값을 결정하는 단계와, 가공부가 상기 결정된 비트값에 따라 삽입이미지를 재구성하는 단계를 포함한다. A method for processing watermarking using an artificial neural network according to a preferred embodiment of the present invention for achieving the above object is a plurality of artificial neural network comprising a plurality of layers each comprising a plurality of operations to which a weight is applied. Outputting a probability that bit 1 and a bit 0 are inserted into each of the plurality of blocks when the target data, which is an image divided into blocks of, is input, and a determination unit is applied to each block of the image according to the output. Determining an inserted bit value; and reconstructing, by the processing unit, the inserted image according to the determined bit value.

상기 방법은 상기 출력하는 단계 전, 상기 가공부가 원본 데이터를 소정 크기의 블록 단위로 구분하고, 구분된 각 블록에 이진 데이터인 삽입이미지의 비트값을 삽입하는 워터마킹을 수행하는 단계와, 상기 가공부가 상기 워터마킹이 이루어진 원본 데이터를 소정의 워터마킹 공격 기법에 따라 변형하여 학습 데이터를 생성하는 단계와, 학습부가 상기 학습데이터를 상기 소정 크기의 블록 단위로 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 삽입된 비트값을 나타내는 기댓값과의 차이가 최소가 되도록 상기 가중치를 산출하는 단계를 더 포함한다. The method may further include, before the outputting, performing a watermarking process of dividing the original data into block units having a predetermined size and inserting bit values of an embedded image, which is binary data, into each of the divided blocks. Generating the training data by modifying the original data on which the watermarking is performed according to a predetermined watermarking attack technique; and a learning unit inputs the training data to the artificial neural network in units of the predetermined size to block the artificial neural network. Calculating the weight such that an output value has a minimum difference from an expected value representing the inserted bit value.

또한, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 판독 가능한 기록매체는 전술한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 수행하기 위한 프로그램이 기록된다. In addition, the computer-readable recording medium according to a preferred embodiment of the present invention for achieving the above object is for performing a method for processing watermarking using an artificial neural network according to the preferred embodiment of the present invention described above The program is recorded.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치는 대상 데이터에서 적어도 하나의 객체 영역을 설정하는 전처리부와, 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지며, 상기 객체 영역에 소정 객체가 포함되어 있는 확률을 출력하는 인공신경망과, 상기 객체 영역을 상기 인공신경망에 입력하여 상기 인공신경망의 출력에 따라 상기 객체 영역에 포함된 객체를 식별하고, 식별된 객체에 따라 워터마킹 영역을 도출하는 판단부와, 상기 워터마킹 영역에 삽입이미지를 워터마킹하는 가공부를 포함한다. An apparatus for processing watermarking using an artificial neural network for identifying an object according to an exemplary embodiment of the present invention for achieving the above object includes a preprocessor configured to set at least one object region in target data, and An artificial neural network comprising a plurality of layers including a plurality of calculations to which weights are applied, and outputting a probability that a predetermined object is included in the object region, and outputting the artificial neural network by inputting the object region to the artificial neural network. And a determining unit for identifying an object included in the object area, deriving a watermarking area according to the identified object, and a processing unit for watermarking an inserted image in the watermarking area.

상기 판단부는 상기 식별된 객체를 소정의 규칙에 따라 워터마킹 객체 및 블라인드 객체로 구분하고, 워터마킹 객체가 포함된 객체 영역에서 블라인드 객체가 포함된 영역을 제외한 영역을 상기 워터마킹 영역으로 분류하고, 블라인드 객체가 포함된 영역을 블라인드 영역으로 분류하는 것을 특징으로 한다. The determination unit classifies the identified object into a watermarking object and a blind object according to a predetermined rule, classifies an area excluding the area including the blind object from the object area including the watermarking object as the watermarking area, The area including the blind object may be classified as a blind area.

알려진 소정 객체가 포함된 영상인 학습 데이터가 입력되면, 상기 인공신경망에 입력하고, 상기 인공신경망의 출력값이 상기 알려진 소정 객체를 나타내는 목표값과의 차이가 최소가 되도록 상기 가중치를 산출하는 학습부를 더 포함한다. When learning data that is an image including a known predetermined object is input, the learning unit is further inputted to the artificial neural network and calculates the weight such that an output value of the artificial neural network is minimized from a target value representing the known predetermined object. Include.

상기 가공부는 상기 워터마킹 영역으로부터 특징값을 추출하고, 로지스틱 사상으로부터 카오스값을 산출하고, 상기 특징값 및 카오스값을 이용하여 상기 삽입이미지를 워터마킹하고, 스테고키를 생성하는 것을 특징으로 한다. The processing unit extracts a feature value from the watermarking area, calculates a chaos value from logistic mapping, watermarks the embedded image using the feature value and the chaos value, and generates a stego key.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법은 전처리부가 대상 데이터에서 적어도 하나의 객체 영역을 설정하는 단계와, 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지는 인공신경망이 상기 객체 영역에 소정 객체가 포함되어 있는 확률을 출력하는 단계와, 판단부가 상기 인공신경망의 출력에 따라 상기 객체 영역에 포함된 객체를 식별하고, 식별된 객체에 따라 워터마킹 영역을 도출하는 단계와, 가공부가 상기 워터마킹 영역에 삽입이미지를 워터마킹하는 단계를 포함한다. According to a preferred embodiment of the present invention, there is provided a method for processing watermarking using an artificial neural network for identifying an object, the method including: setting, by a preprocessor, at least one object area in target data; Outputting a probability that a predetermined object is included in the object region by an artificial neural network including a plurality of layers including a plurality of operations to which the weight is applied, and a determining unit included in the object region according to the output of the artificial neural network; Identifying the identified object, deriving a watermarking area according to the identified object, and a processing unit watermarking an embedded image in the watermarking area.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치는 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지며, 영상인 대상 데이터가 입력되면, 상기 영상에 적용되었을 워터마킹 공격 기법을 확률로 출력하는 인공신경망과, 상기 출력에 따라 상기 영상에 적용된 워터마킹 공격 기법을 식별하는 판단부와, 상기 식별된 워터마킹 공격 기법을 이용하여 상기 영상을 역변환하고, 상기 역변환된 영상으로부터 삽입이미지를 추출하는 가공부를 포함한다. An apparatus for processing watermarking using an artificial neural network for identifying a watermarking attack according to a preferred embodiment of the present invention for achieving the above object includes a plurality of layers each including a plurality of operations that are weighted. An artificial neural network having a probability of outputting a watermarking attack technique that has been applied to the image, and a determination unit for identifying a watermarking attack technique applied to the image according to the output; And a processing unit which inversely transforms the image using the identified watermarking attack technique and extracts an embedded image from the inversely transformed image.

상기 가공부는 원본 데이터에 삽입이미지를 삽입하는 워터마킹을 수행하며, 소정의 워터마킹 공격 기법에 따라 상기 워터마킹이 수행된 원본 데이터를 변형하여 학습 데이터를 생성하는 것을 특징으로 한다. The processing unit performs watermarking to insert an inserted image into original data, and generates training data by modifying the original data on which the watermarking is performed according to a predetermined watermarking attack technique.

상기 학습 데이터를 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 워터마킹 공격 기법을 나타내는 기댓값과의 차이가 최소가 되도록 상기 가중치를 산출하는 학습부를 더 포함한다. The training unit may further include a learner configured to input the training data to the artificial neural network to calculate the weight such that the output value of the artificial neural network has a minimum difference from an expected value representing the watermarking attack technique.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법은 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어지는 인공신경망이 영상인 대상 데이터가 입력되면, 상기 영상에 적용되었을 워터마킹 공격 기법을 확률로 출력하는 단계와, 판단부가 상기 출력에 따라 상기 영상에 적용된 워터마킹 공격 기법을 식별하는 단계와, 가공부가 상기 식별된 워터마킹 공격 기법을 이용하여 상기 영상을 역변환하고, 상기 역변환된 영상으로부터 삽입이미지를 추출하는 단계를 포함한다. A method for processing watermarking using an artificial neural network for identifying a watermarking attack according to a preferred embodiment of the present invention for achieving the above object includes a plurality of layers each including a plurality of operations that are weighted. Outputting a watermarking attack technique that has been applied to the image with probability when the target data of the artificial neural network is an image, and determining the watermarking attack technique applied to the image according to the output; A processing unit inversely transforming the image using the identified watermarking attack technique, and extracting an embedded image from the inversely transformed image.

상기 출력하는 단계 전, 상기 가공부가 원본 데이터에 삽입이미지를 삽입하는 워터마킹을 수행하는 단계와, 상기 가공부가 소정의 워터마킹 공격 기법에 따라 상기 워터마킹이 수행된 원본 데이터를 변형하여 학습 데이터를 생성하는 단계와, 학습부가 상기 학습 데이터를 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 워터마킹 공격 기법을 나타내는 기댓값과의 차이가 최소가 되도록 상기 가중치를 산출하는 단계를 더 포함한다. Before the outputting step, the processing unit performs watermarking to insert the inserted image into the original data, and the processing unit transforms the original data on which the watermarking is performed according to a predetermined watermarking attack technique to generate training data. And generating, by a learning unit, the learning data by inputting the training data to the artificial neural network so that the output value of the artificial neural network has a minimum difference from an expected value representing the watermarking attack technique.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 워터마킹 공격 기법을 도출하기 위한 장치는 복수의 워터마킹 기법을 이용하여 원본 데이터에 삽입이미지를 삽입하는 워터마킹을 수행하고, 상기 복수의 워터마킹 기법 각각에 대응하여 복수의 워터마킹 공격 기법에 따라 상기 워터마킹이 수행된 원본 데이터를 변형하고, 상기 변형된 원본 데이터로부터 상기 삽입이미지를 추출하는 가공부와, 상기 워터마킹 공격 기법에 의해 변형된 상기 원본 데이터 및 상기 삽입 이미지의 손실 정도를 평가하고, 상기 평가 결과에 따라 상기 복수의 워터마킹 기법 각각에 대응하여 상기 원본 데이터의 손실이 가장 적으면서 상기 삽입 이미지의 손실이 가장 큰 워터마킹 공격 기법을 도출하는 평가부를 포함한다. An apparatus for deriving a watermarking attack technique according to a preferred embodiment of the present invention for achieving the object as described above performs a watermarking to insert the inserted image in the original data using a plurality of watermarking techniques, A processing unit for modifying the original data subjected to the watermarking according to a plurality of watermarking attack techniques and extracting the inserted image from the modified original data corresponding to each of the plurality of watermarking techniques, and the watermarking attack technique Evaluating the degree of loss of the original data and the embedded image deformed by the method, and corresponding to each of the plurality of watermarking techniques according to the evaluation result, the loss of the original image is the smallest and the loss of the embedded image is greatest. It includes an evaluation unit for deriving the watermarking attack technique.

상기 평가부는 원본 데이터 및 삽입 이미지 각각의 화질 손실 정보를 평가하기 위한 최대신호대잡음비(PSNR: Peak Signal-to-noise ratio), 원본 데이터 및 삽입 이미지 각각의 오류가 발생한 비트의 수를 평가하기 위한 비트 오류율(BER: Bit error rate) 및 원본 데이터 및 삽입 이미지 각각의 워터마킹 공격이 이루어지기 전과 후의 유사도를 평가하기 위한 정규상관계수(NCC: normalized correlation coefficient) 중 적어도 하나의 값을 산출하여 상기 평가를 수행하는 것을 특징으로 한다. The evaluation unit includes a peak signal-to-noise ratio (PSNR) for evaluating image quality loss information of each of the original data and the embedded image, and a bit for evaluating the number of bits in which the error of each of the original data and the embedded image has occurred. The evaluation is performed by calculating a value of at least one of a BER (Bit error rate) and a normalized correlation coefficient (NCC) for evaluating the similarity before and after each watermarking attack of the original data and the inserted image. It is characterized by performing.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 워터마킹 공격 기법을 도출하기 위한 방법은 가공부가 복수의 워터마킹 기법을 이용하여 원본 데이터에 삽입이미지를 삽입하는 워터마킹을 수행하는 단계와, 상기 가공부가 상기 복수의 워터마킹 기법 각각에 대응하여 복수의 워터마킹 공격 기법에 따라 상기 워터마킹이 수행된 원본 데이터를 변형하는 단계와, 상기 가공부가 상기 변형된 원본 데이터로부터 상기 삽입이미지를 추출하는 단계와, 평가부가 상기 워터마킹 공격 기법에 의해 변형된 상기 원본 데이터 및 상기 삽입 이미지의 손실 정도를 평가하는 단계와, 상기 평가부가 상기 평가 결과에 따라 상기 복수의 워터마킹 기법 각각에 대응하여 상기 원본 데이터의 손실이 가장 적으면서 상기 삽입 이미지의 손실이 가장 큰 워터마킹 공격 기법을 도출하는 단계를 포함한다. A method for deriving a watermarking attack technique according to a preferred embodiment of the present invention for achieving the object as described above is performed by the processing unit performs a watermarking to insert the inserted image in the original data using a plurality of watermarking techniques And modifying, by the processing unit, the original data subjected to the watermarking according to a plurality of watermarking attack techniques corresponding to each of the plurality of watermarking techniques, and by the processing unit from the modified original data. Extracting the data; evaluating, by the evaluator, the degree of loss of the original data and the embedded image modified by the watermarking attack technique; and evaluating, by the evaluator, each of the plurality of watermarking techniques according to the evaluation result. The loss of the inserted image is minimal while the loss of the original data is minimal. Deriving the largest watermarking attack technique.

상기 평가하는 단계는 상기 평가부가 원본 데이터 및 삽입 이미지 각각의 화질 손실 정보를 평가하기 위한 최대신호대잡음비(PSNR: Peak Signal-to-noise ratio), 원본 데이터 및 삽입 이미지 각각의 오류가 발생한 비트의 수를 평가하기 위한 비트 오류율(BER: Bit error rate) 및 원본 데이터 및 삽입 이미지 각각의 워터마킹 공격이 이루어지기 전과 후의 유사도를 평가하기 위한 정규상관계수(NCC: normalized correlation coefficient) 중 적어도 하나의 값을 산출하여 상기 평가를 수행하는 것을 특징으로 한다. The evaluating may include a peak signal-to-noise ratio (PSNR) for evaluating image quality loss information of each of the original data and the embedded image, and the number of bits of each of the original data and the embedded image. At least one value of a bit error rate (BER) and a normalized correlation coefficient (NCC) for evaluating the similarity before and after the watermarking attack of each of the original data and the inserted image is performed. It is characterized by performing the evaluation by calculating.

또한, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 판독 가능한 기록매체는 전술한 본 발명의 바람직한 실시예에 따른 워터마킹 공격 기법을 도출하기 위한 방법을 수행하기 위한 프로그램이 기록된다. In addition, the computer-readable recording medium according to a preferred embodiment of the present invention for achieving the above object is a program for performing a method for deriving a watermarking attack technique according to the preferred embodiment of the present invention described above. Is recorded.

본 발명에 따르면, 가장 효율적으로 워터마킹 공격을 가할 수 있는 워터마킹 공격 기법을 도출할 수 있다. 도출된 워터마킹 공격 기법을 비롯한 다양한 공격 기법을 이용하여 학습데이터로 활용하여, 워터마킹이 이루어진 영상에 워터마킹 공격이 가해진 경우에도 삽입된 이미지를 복원할 수 있다. 더욱이, 본 발명은 인공신경망을 통해 객체를 식별하여 워터마킹을 수행함으로써 워터마킹 공격에 강인한(robust) 워터마킹을 수행할 수 있다. 게다가, 본 발명에 따르면, 워터마킹이 이루어진 영상에 워터마킹 공격이 가해진 경우에도 워터마킹 공격 기법을 도출하고, 이를 통해 삽입된 이미지를 복원할 수 있다. According to the present invention, a watermarking attack technique capable of applying the watermarking attack most efficiently can be derived. By using various attack techniques including the derived watermarking attack technique as the training data, the inserted image can be restored even when a watermarking attack is applied to the watermarked image. Furthermore, the present invention can perform watermarking that is robust to watermarking attacks by performing watermarking by identifying objects through an artificial neural network. In addition, according to the present invention, even when a watermarking attack is applied to the watermarked image, a watermarking attack technique can be derived and the inserted image can be restored.

도 1은 본 발명의 실시예에 따른 인공신경망을 포함하는 데이터처리장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망의 구성을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 화면 예이다.
도 5는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 화면 예이다.
도 9는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 워터마킹 삽입 프로세스를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 워터마킹 추출 프로세스를 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 블록에 삽입된 비트값을 도출하는 인공신경망의 구성을 설명하기 위한 개념도이다.
도 13은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 14은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 실시예에 따른 워터마킹 공격을 식별하는 인공신경망의 구성을 설명하기 위한 개념도이다.
도 17은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 실시예에 따른 워터마킹 공격 기법을 도출하는 방법을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating a configuration of a data processing apparatus including an artificial neural network according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a configuration of an artificial neural network for identifying an object according to an embodiment of the present invention.
3 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention.
4 is a screen example for explaining a method for learning an artificial neural network according to an embodiment of the present invention.
5 is a flowchart illustrating a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention.
6 to 8 are screen examples for explaining a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention.
9 is a flowchart illustrating a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention.
10 is a view for explaining a watermarking insertion process according to an embodiment of the present invention.
11 is a view for explaining a watermarking extraction process according to an embodiment of the present invention.
12 is a conceptual diagram illustrating a configuration of an artificial neural network for deriving a bit value inserted into a block according to an embodiment of the present invention.
13 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention.
14 is a view for explaining a method of learning artificial neural network according to an embodiment of the present invention.
15 is a flowchart illustrating a method for processing watermarking using an artificial neural network according to an embodiment of the present invention.
16 is a conceptual diagram illustrating the configuration of an artificial neural network for identifying a watermarking attack according to an embodiment of the present invention.
17 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention.
18 is a flowchart illustrating a method for processing watermarking using an artificial neural network according to an embodiment of the present invention.
19 is a flowchart illustrating a method of deriving a watermarking attack technique according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the description of the present invention, the terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors should consider their own invention in the best way. For the purpose of explanation, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention on the basis of the principle that it can be appropriately defined as the concept of term. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, and various equivalents may be substituted for them at the time of the present application. It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that like elements are denoted by like reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may blur the gist of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

한편, 본 발명의 실시예에서 학습데이터와 관련된 정보에 대해 '알려진'이라는 표현이 사용될 수 있다. 이러한 표현은 본원발명의 실시예에 따른 인공신경망을 포함하는 장치가 해당 정보를 인식하고 있기 때문에 활용할 수 있다는 것을 의미하며, 저장매체 등을 통해 해당 정보를 저장하고, 데이터 처리, 예컨대, 학습(deep learning) 등을 위해 참조할 수 있다는 것을 의미한다. 가령, 학습데이터인 영상에 소정 객체가 포함된 것이 알려져 있다는 것은 학습데이터인 영상을 입력받는 장치가 입력되는 영상에 해당 객체가 포함되어 있다는 정보를 장치가 인식하고, 데이터 처리를 위해 활용할 수 있다는 것을 의미한다. Meanwhile, in the embodiment of the present invention, the expression 'known' may be used for information related to the learning data. This expression means that the apparatus including the artificial neural network according to the embodiment of the present invention can be utilized because it recognizes the information, and stores the information through a storage medium or the like, and processes the data, for example, deep ( for reference). For example, it is known that a predetermined object is included in an image, which is learning data, that a device that receives an image, which is learning data, can recognize that the object is included in the input image and can use it for data processing. it means.

먼저, 본 발명의 실시예에 따른 인공신경망을 포함하는 장치의 구성을 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 인공신경망을 포함하는 데이터처리장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 인공신경망을 포함하는 데이터처리장치(10)는 인공신경망(100), 전처리부(200), 학습부(300), 판단부(400), 가공부(500) 및 평가부(600)를 포함한다. First, the configuration of a device including an artificial neural network according to an embodiment of the present invention will be described. 1 is a block diagram illustrating a configuration of a data processing apparatus including an artificial neural network according to an embodiment of the present invention. Referring to FIG. 1, the data processing apparatus 10 including an artificial neural network according to an embodiment of the present invention may include an artificial neural network 100, a preprocessor 200, a learning unit 300, a determination unit 400, and a processing unit. The unit 500 and the evaluation unit 600 is included.

인공신경망(100)은 본 발명의 실시예에 따라 영상에 포함된 객체를 식별하거나, 영상의 블록에 삽입된 비트값을 식별하거나, 영상에 적용된 워터마킹 기법을 구분하거나, 영상에 적용된 워터마킹 공격 기법을 구분하기 위한 것이다. 각각의 구분을 위하여, 인공신경망(100)은 복수가 될 수 있다. The artificial neural network 100 identifies an object included in an image, identifies a bit value inserted into a block of an image, classifies a watermarking technique applied to an image, or applies a watermarking attack to an image according to an embodiment of the present invention. To distinguish between techniques. For each division, the artificial neural network 100 may be plural.

전처리부(200)는 선택적으로 실행되는 모듈이며, 영상에 포함된 객체가 알려지지 않은 대상 데이터가 입력되면, 대상 데이터에서 적어도 하나의 객체 후보 영역을 설정한다. 그리고 객체 후보 영역 각각을 판단부(400)에 제공한다. The preprocessor 200 is a module that is selectively executed. When the target data of which the object included in the image is unknown is input, the preprocessor 200 sets at least one object candidate region from the target data. Each object candidate area is provided to the determination unit 400.

학습부(300)는 인공신경망(100)에 학습 데이터를 입력하여 인공신경망(100)을 학습(machine learnig)시키기 위한 것이다. 이러한 학습은 영상에 포함된 객체를 식별하거나, 영상의 블록에 삽입된 비트값을 식별하거나, 영상에 적용된 워터마킹 기법을 구분하거나, 영상에 적용된 워터마킹 공격 기법을 구분하기 위한 것이다. The learning unit 300 inputs learning data into the artificial neural network 100 to machine learn the artificial neural network 100. Such learning is to identify an object included in an image, to identify a bit value inserted into a block of an image, to classify a watermarking technique applied to an image, or to distinguish a watermarking attack technique applied to an image.

판단부(400)는 인공신경망(100)이 충분히 학습된 경우, 인공신경망(100)에 임의의 영상인 대상 데이터를 입력하고, 인공신경망(100)의 출력에 따라 대상 데이터인 영상에 포함된 객체를 식별하거나, 영상의 블록에 삽입된 비트값을 식별하거나, 영상에 적용된 워터마킹 기법을 구분하거나, 영상에 적용된 워터마킹 공격 기법을 구분할 수 있다. When the neural network 100 is sufficiently learned, the determination unit 400 inputs the target data, which is an arbitrary image, to the artificial neural network 100, and an object included in the image, which is the target data, according to the output of the artificial neural network 100. May be identified, a bit value inserted into a block of an image, a watermarking technique applied to the image, or a watermarking attack technique applied to the image may be distinguished.

가공부(500)는 복수의 워터마킹 기법에 따라 영상에 삽입이미지를 워터마킹하거나, 영상에 삽입되어 있는 삽입이미지를 추출할 수 있다. 또한, 가공부(500)는 복수의 워터마킹 공격 기법에 따라 영상을 변형할 수 있다. 그리고 가공부(500)는 영상의 소정 영역을 블라인드 처리할 수 있다. The processing unit 500 may watermark the embedded image in the image or extract the embedded image embedded in the image according to a plurality of watermarking techniques. In addition, the processing unit 500 may transform the image according to a plurality of watermarking attack techniques. The processor 500 may blindly process a predetermined area of the image.

평가부(600)는 영상과 그 영상에 워터마킹된 삽입이미지가 워터마킹 공격 기법에 의해 변형된 손실 정도를 평가하기 위한 것이다. 이러한 평가를 위해 평가부(600)는 최대신호대잡음비(PSNR: Peak Signal-to-noise ratio), 비트 오류율(BER: Bit error rate) 및 정규상관계수(NCC: normalized correlation coefficient)의 값을 산출하여 산출된 값을 이용할 수 있다. The evaluation unit 600 is for evaluating the degree of loss of the image and the inserted image watermarked on the image by the watermarking attack technique. For this evaluation, the evaluation unit 600 calculates values of a peak signal-to-noise ratio (PSNR), a bit error rate (BER), and a normalized correlation coefficient (NCC). The calculated value can be used.

그러면, 전술한 데이터처리장치(10)의 인공신경망(100)을 이용한 워터마킹을 처리하는 다양한 실시예에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 객체를 식별하는 인공신경망(100)에 대해서 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망의 구성을 설명하기 위한 개념도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 인공신경망(100)은 복수의 계층을 포함한다. 인공신경망(100)은 입력계층(input layer: IL), 컨볼루션계층(convolution layer: CL), 풀링계층(pooling layer: PL), 완전연결계층(fully-connected layer: FL) 및 출력계층(output layer: OL)을 포함한다. Next, various embodiments of processing watermarking using the artificial neural network 100 of the data processing apparatus 10 described above will be described. First, the artificial neural network 100 identifying an object according to an embodiment of the present invention will be described in more detail. 2 is a conceptual diagram illustrating a configuration of an artificial neural network for identifying an object according to an embodiment of the present invention. Referring to Figure 2, the artificial neural network 100 according to an embodiment of the present invention includes a plurality of layers. The artificial neural network 100 includes an input layer (IL), a convolution layer (CL), a pooling layer (PL), a fully-connected layer (FL), and an output layer (output). layer: OL).

입력계층(IL)은 소정 크기의 행렬로 이루어진다. 입력계층(IL) 행렬의 각 원소는 영상의 각 픽셀에 대응한다. 학습부(300)는 학습 데이터를 입력계층(IL)의 행렬의 크기에 맞춰 가공한 후, 인공신경망(100)에 가공된 학습 데이터를 입력할 수 있다. 마찬가지로, 판단부(400)는 대상 데이터를 입력계층(IL)의 행렬의 크기에 맞춰 가공한 후, 인공신경망(100)에 가공된 대상 데이터를 입력할 수 있다. The input layer IL is composed of a matrix having a predetermined size. Each element of the input layer IL matrix corresponds to each pixel of the image. The learning unit 300 may process the learning data according to the size of the matrix of the input layer IL, and then input the processed learning data into the artificial neural network 100. Similarly, the determination unit 400 may process the target data according to the size of the matrix of the input layer IL, and then input the processed target data into the artificial neural network 100.

도 2에 도시된 바에 따르면, 인공신경망(100)은 제1 컨볼루션 계층(CL1), 제1 풀링 계층(PL1), 제2 컨볼루션 계층(CL2) 및 제2 풀링 계층(PL2)을 포함하여, 2 쌍으로 이루어진 것으로 도시하였지만, 본 발명은 이에 한정되지 않는다. 컨볼루션 계층(CL)과 풀링 계층(PL)은 각각 하나 또는 2 이상의 쌍으로 존재할 수 있다. 또한, 2 이상의 쌍으로 존재할 때, 컨볼루션 계층(CL)과 풀링 계층(PL)은 교번으로 배치된다. 컨볼루션계층(CL: CL1, CL2)과 풀링 계층(PL: PL1, PL2) 각각은 복수의 특징 지도(Feature Map)로 이루어지며, 이러한 특징 지도 각각은 소정 크기의 행렬이다. 특징 지도를 이루는 행렬의 원소 각각의 값은 이전 계층의 행렬 값에 커널(K)을 이용한 컨볼루션 연산(convolution) 혹은 풀링 연산(pooling 혹은 subsampling)을 적용하여 산출된다. 여기서, 여기서, 커널(K)은 소정 크기의 행렬이며, 커널(K)을 이루는 행렬의 각 원소의 값은 가중치(w)가 된다. As shown in FIG. 2, the neural network 100 includes a first convolutional layer CL1, a first pooling layer PL1, a second convolutional layer CL2, and a second pooling layer PL2. Although illustrated as consisting of two pairs, the present invention is not limited thereto. The convolutional layer CL and the pooling layer PL may each exist in one or two or more pairs. Also, when present in two or more pairs, the convolutional layer CL and the pooling layer PL are alternately arranged. Each of the convolutional layers CL: CL1 and CL2 and the pooling layers PL: PL1 and PL2 consists of a plurality of feature maps, each of which is a matrix of a predetermined size. The value of each element of the matrix constituting the feature map is calculated by applying convolution or pooling or subsampling using the kernel K to the matrix value of the previous layer. Here, the kernel K is a matrix having a predetermined size, and the value of each element of the matrix constituting the kernel K becomes a weight w.

완전연결계층(FL)은 복수의 노드(혹은 sigmoid: F1, F2, F3, ..., Fn)를 포함하며, 완전연결계층의 연산 또한 가중치(w)가 적용되어 출력계층(OL)의 복수의 노드(N1, N2, N3, ...)에 입력된다. The fully connected layer FL includes a plurality of nodes (or sigmoids: F1, F2, F3, ..., Fn), and the calculation of the fully connected layer is also applied with a weight w to apply the plurality of nodes of the output layer OL. Are input to nodes N1, N2, N3, ...

출력계층(OL)은 복수의 노드(혹은 sigmoid: N1, N2, N3, ...)로 구성될 수 있다. 복수의 출력 노드(N1, N2, N3, ...) 각각은 소정의 객체, 소정의 워터마킹 기법 또는 소정의 워터마킹 공격 기법에 대응한다. 이러한 복수의 출력 노드(N1, N2, N3, ...) 각각의 출력값은 확률값이다. The output layer OL may be composed of a plurality of nodes (or sigmoids: N1, N2, N3, ...). Each of the plurality of output nodes N1, N2, N3, ... corresponds to a predetermined object, a predetermined watermarking technique, or a predetermined watermarking attack technique. The output value of each of these output nodes N1, N2, N3, ... is a probability value.

예컨대, 제1 출력 노드(N1)는 객체 '말'에 대응하며, 제1 출력 노드(N1)의 출력값인 출력값 1은 학습 데이터 혹은 대상 데이터인 영상에 포함된 객체가 '말'일 확률을 나타내고, 제2 출력 노드(N2)는 객체 '사람'에 대응하며, 제2 출력 노드(N2)의 출력값인 출력값 2는 영상에 포함된 객체가 '사람'일 확률을 나타내며, 제3 출력 노드(N3)는 객체 '자동차'에 대응하며, 제3 출력 노드(N3)의 출력값인 출력값 3은 영상에 포함된 객체가 '자동차'일 확률을 나타낼 수 있다. For example, the first output node N1 corresponds to the object 'horse', and the output value 1 that is the output value of the first output node N1 represents the probability that the object included in the image that is the training data or the target data is the 'horse'. The second output node N2 corresponds to the object 'person', and the output value 2 that is the output value of the second output node N2 represents the probability that the object included in the image is the 'person', and the third output node N3. ) Corresponds to the object 'car', and the output value 3 which is an output value of the third output node N3 may represent a probability that the object included in the image is 'car'.

인공신경망(100)의 복수의 계층(IL, CL, PL, FL, OL) 각각은 복수의 연산을 포함한다. 특히, 인공신경망(100)의 복수의 계층의 복수의 연산 각각은 가중치(w)가 적용되어 그 결과가 다음 계층으로 전달되어 다음 계층의 입력이 된다. 좀 더 자세히, 도 2에 도시된 바를 예로 하여 인공신경망(100)의 각 계층의 연산과 그 가중치(w)에 대해 설명하기로 한다. Each of the plurality of layers IL, CL, PL, FL, and OL of the artificial neural network 100 includes a plurality of operations. In particular, each of a plurality of operations of a plurality of layers of the artificial neural network 100 is applied with a weight w, and the result is transferred to the next layer to be input to the next layer. In more detail, the operation of each layer of the artificial neural network 100 and its weight w will be described by using the example illustrated in FIG. 2.

예를 들어, 도 2에 도시된 바에 따르면, 입력계층(IL)은 32×32×3 크기의 행렬이 될 수 있다. 이에 따라, 학습부(300) 또는 판단부(400)는 입력되는 영상(학습 데이터 혹은 대상 데이터)을 32×32×3 크기의 행렬에 맞춰 가공하고, 가공된 영상을 입력한다. For example, as shown in FIG. 2, the input layer IL may be a matrix having a size of 32 × 32 × 3. Accordingly, the learner 300 or the determiner 400 processes the input image (learning data or target data) according to a 32 × 32 × 3 matrix, and inputs the processed image.

그러면, 입력계층 행렬에 대해 커널(K1)을 이용한 컨벌루션 연산(convolution)을 수행하여, 제1 컨벌루션 계층(CL1)의 복수의 특징지도에 입력된다. 여기서, 커널(K1)은 행렬의 원소가 5×5개의 가중치(w)인 5×5 크기의 행렬을 이용할 수 있다. 제1 컨벌루션 계층(CL1)의 복수의 특징지도 각각은 28×28 크기의 행렬이다. 그런 다음, 제1 컨벌루션 계층(CL1)의 복수의 특징 지도에 대해 행렬의 원소가 2×2 개의 가중치(w)로 이루어진 2×2 크기의 행렬인 커널(K2)을 이용한 풀링 연산(subsampling)을 수행하여 각각이 14×14 크기의 행렬인 6개의 특징 지도로 이루어진 제1 풀링 계층(PL1)을 구성한다. Then, a convolution operation using the kernel K1 is performed on the input layer matrix and input to the plurality of feature maps of the first convolutional layer CL1. Here, the kernel K1 may use a 5 × 5 matrix whose elements of the matrix are 5 × 5 weights w. Each of the plurality of feature maps of the first convolutional layer CL1 is a 28 × 28 matrix. Subsampling is then performed for a plurality of feature maps of the first convolutional layer CL1 using the kernel K2, which is a 2 × 2 matrix of elements having a 2 × 2 weight w. The first pooling layer PL1 includes six feature maps, each of which is a 14 × 14 matrix.

이어서, 제1 폴링 계층(PL1)의 복수의 특징 지도에 대해 행렬의 원소가 5×5 개의 가중치(w)로 이루어진 5×5 크기의 행렬인 커널(K3)을 이용한 컨벌루션 연산(convolution)을 수행하여, 각각이 10×10 크기의 행렬인 16개의 특징 지도로 이루어진 제2 컨벌루션 계층(CL2)을 구성한다. 다음으로, 제2 컨벌루션 계층(CL2)의 복수의 특징 지도에 대해 행렬의 원소가 2×2 개의 가중치(w)로 이루어진 2×2 크기의 행렬인 커널(K4)을 이용한 풀링 연산(subsampling)을 수행하여 각각이 5×5 크기의 행렬인 16개의 특징 지도로 이루어진 제2 풀링 계층(PL2)을 구성한다. 그런 다음, 제2 폴링 계층(PL2)의 복수의 특징 지도에 대해 행렬의 원소가 5×5 개의 가중치(w)로 이루어진 5×5 크기의 행렬인 커널(K5)을 이용한 컨벌루션 연산(convolution)을 수행하여, 완전연결계층(FL)의 복수의 노드(F1 내지 Fn)에 입력된다. Subsequently, a convolution operation is performed on the plurality of feature maps of the first polling layer PL1 using the kernel K3, which is a matrix of size 5 × 5 composed of 5 × 5 weights w. Thus, a second convolutional layer CL2 composed of 16 feature maps each of which is a 10 × 10 matrix. Next, for a plurality of feature maps of the second convolutional layer CL2, a subsampling operation using the kernel K4, which is a 2 × 2 matrix having 2 × 2 weights w, is performed. The second pooling layer PL2 includes 16 feature maps each having a 5 × 5 matrix. Then, for a plurality of feature maps of the second polling layer PL2, a convolution operation using a kernel K5, which is a 5 × 5 matrix of 5 × 5 weights w, is performed. The data is input to the plurality of nodes F1 to Fn of the complete connection layer FL.

완전연결계층(FL)의 복수의 노드(F1 내지 Fn) 각각은 제2 폴링 계층(PL2)으로부터 입력에 대해 전달함수 등을 이용한 소정의 연산을 수행하고, 그 연산에 가중치(w)를 적용하여 출력계층(OL)의 각 노드에 입력한다. 이에 따라, 출력계층(OL)의 복수의 노드(N1, N2, N3, ...)는 완전연결계층(FL)으로부터 입력된 값에 대해 소정의 연산을 수행하고, 그 결과를 출력한다. 전술한 바와 같이, 복수의 출력 노드(N1, N2, N3, ...) 각각의 출력값은 확률값이다. Each of the nodes F1 to Fn of the fully connected layer FL performs a predetermined operation using a transfer function or the like on an input from the second polling layer PL2, and applies a weight w to the operation. Input to each node of the output layer (OL). Accordingly, the plurality of nodes N1, N2, N3,... Of the output layer OL perform a predetermined operation on the value input from the fully connected layer FL, and output the result. As described above, the output values of each of the plurality of output nodes N1, N2, N3, ... are probability values.

예를 들면, 일실시예에 따르면, 출력값 1은 학습 데이터 혹은 대상 데이터인 영상에 포함된 객체가 '말'일 확률을 나타내고, 출력값 2는 영상에 포함된 객체가 '사람'일 확률을 나타내며, 출력값 3은 영상에 포함된 객체가 '자동차'일 확률을 나타낸다고 가정한다. 이때, 출력값 1이 출력값 2 및 3 각각에 비해 높은 값을 가지면, 영상에 포함된 객체가 '말'인 것으로 판단할 수 있다. For example, according to an embodiment, the output value 1 represents the probability that the object included in the image that is the training data or the target data is 'horse', and the output value 2 represents the probability that the object included in the image is the 'person', The output value 3 is assumed to represent the probability that the object included in the image is 'car'. In this case, when the output value 1 has a higher value than the output values 2 and 3, it may be determined that the object included in the image is a 'horse'.

인공신경망(100)이 본 발명의 실시예에 따라 영상에 포함된 객체를 식별하기 위하여 학습부(300)는 복수의 학습 데이터를 이용하여 인공신경망(100)을 학습(learning)시킨다. 이러한 학습 방법에 대해서 설명하기로 한다. In order for the artificial neural network 100 to identify an object included in an image according to an exemplary embodiment of the present invention, the learning unit 300 learns the artificial neural network 100 using a plurality of training data. This learning method will be described.

전술한 바와 같이, 인공신경망(100)의 복수의 계층 각각은 복수의 연산으로 이루어지며, 어느 하나의 계층의 그 연산 결과는 가중치(w)가 적용되어 다른 하나의 계층의 입력이 된다. 이때, 어느 하나의 계층의 출력은 가중치(w)가 곱해진 후, 다음 계층의 입력이 될 수 있다. 예컨대, 전술한 바와 같이, 32×32 크기의 행렬인 입력계층(IL)에 대해 5×5 크기의 행렬인 커널(K1)을 이용한 컨벌루션 연산을 수행하여, 각각이 28×28 크기의 행렬인 6개의 특징 지도로 이루어진 제1 컨벌루션 계층(CL1)을 구성한다. 이때, 커널의 크기 5×5, 입력 행렬의 수 1 그리고 특징 지도의 수 6을 고려하면, 1 × 5 × 5 × 6개의 가중치(w)가 존재한다. 다른 예로, 완전연결계층(FL)이 120개의 노드(F1~F120)로 이루어진 것으로 가정하면(n=120), 16개의 특징 지도를 가지는 제2 풀링계층(PL2)의 출력은 120개의 노드를 가지는 완전연결계층(FL)의 입력이 된다. 제2 풀링 계층(PL2)은 5×5 행렬로 이루어진 커널(K5)을 통해 컨볼루션 연산의 결과가 출력된다. 또한, 하나의 노드 당 16개의 입력이 있으며, 120개의 노드가 존재하기 때문에 5 × 16 × 120개의 가중치(w)가 존재한다. As described above, each of the plurality of layers of the artificial neural network 100 is composed of a plurality of operations, and the result of the calculation of one of the layers is applied to the other layer by applying a weight w. In this case, the output of one layer may be an input of the next layer after the weight w is multiplied. For example, as described above, a convolution operation is performed on the input layer IL, which is a matrix of size 32 × 32, using a kernel K1, which is a matrix of size 5 × 5, so that each matrix is 28 × 28. A first convolutional layer CL1 consisting of two feature maps is configured. In this case, considering the size of the kernel 5 × 5, the number of input matrices 1, and the number of feature maps 6, there are 1 × 5 × 5 × 6 weights w. As another example, assuming that the fully connected layer FL includes 120 nodes F1 to F120 (n = 120), the output of the second pooling layer PL2 having 16 feature maps has 120 nodes. It is the input of the complete connection layer (FL). The second pooling layer PL2 outputs the result of the convolution operation through the kernel K5 having a 5 × 5 matrix. In addition, there are 16 inputs per node, and since there are 120 nodes, there are 5 × 16 × 120 weights w.

또 다른 예로, 출력계층(OL) 노드가 30개의 노드(N1, N2, N3, ..., N30)로 이루어진 것으로 가정하면(m=30), 120개의 노드를 가지는 완전연결 계층(FL)의 출력은 30개의 출력노드(N1, N2, N3, ... N30)를 가지는 출력 계층에 입력된다. 이에 따라, 120 × 30개의 가중치(w)가 존재할 수 있다. As another example, assuming that the output layer (OL) node is composed of 30 nodes (N1, N2, N3, ..., N30) (m = 30), the fully connected layer (FL) having 120 nodes The output is input to an output layer having 30 output nodes N1, N2, N3, ... N30. Accordingly, there may be 120 × 30 weights w.

학습 데이터인 영상이 인공신경망(100)에 입력되면, 인공신경망(100)은 전술한 바와 같은 가중치(w)가 적용되는 복수의 연산을 통해 연산 결과를 출력할 것이다. When the image, which is training data, is input to the artificial neural network 100, the artificial neural network 100 will output the calculation result through a plurality of operations to which the weight w as described above is applied.

인공신경망(100)의 출력, 즉, 출력계층(OL)의 복수의 출력노드(N1, N2, N3, ..., Nm) 각각의 출력값은 입력된 영상(학습 데이터)이 해당 노드에 대응하는 객체이 영상일 확률을 나타낸다. 학습 데이터는 객체가 알려진 데이터이기 때문에, 학습부(300)가 학습 데이터인 영상을 인공신경망(100)에 입력했을 때, 인공신경망(100)의 출력은 대응하는 출력 노드의 출력값이 가장 높은 확률값이 출력될 것으로 기대할 수 있다. 이러한 기대에 따른 출력값을 기댓값이라고 한다. 하지만, 충분히 학습되지 않은 인공신경망(100)은 출력값과 기댓값의 차이가 있다. 따라서 학습부(300)는 학습 데이터를 입력할 때마다, 기댓값과 출력값의 차이가 최소가 되도록 역전파(Back-propagation) 알고리즘을 통해 인공신경망(100)의 가중치(W)를 수정하는 학습을 수행한다. 이와 같이, 본 발명의 실시예에 따른 학습(deep learning)은 입력되는 학습 데이터에 상응하는 기댓값을 정해 놓고, 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 연산에 적용되는 가중치(w)를 수정하는 것이다. The output of the artificial neural network 100, that is, the output value of each of the plurality of output nodes N1, N2, N3, ..., Nm of the output layer OL corresponds to the corresponding node of the input image (learning data). Indicates the probability that an object is an image. Since the learning data is the data of which the object is known, when the learning unit 300 inputs the image that is the learning data into the artificial neural network 100, the output of the artificial neural network 100 has a probability value having the highest output value of the corresponding output node. You can expect it to be printed. The output based on these expectations is called the expected value. However, the artificial neural network 100 that is not sufficiently learned has a difference between the output value and the expected value. Therefore, each time the learning unit 300 inputs the training data, the learning unit 300 learns to modify the weight W of the artificial neural network 100 through a back-propagation algorithm such that the difference between the expected value and the output value is minimized. do. As described above, in the deep learning according to an embodiment of the present invention, a weight value w is applied to the calculation of the artificial neural network 100 so as to set an expected value corresponding to the input learning data and minimize the difference between the output value and the expected value. ).

학습부(300)는 인공신경망(100)이 충분히 학습된 것으로 판단될 때까지, 전술한 바와 같은 학습(deep learning) 절차를 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행한다. 여기서, 학습부(300)는 기댓값과 출력값의 차이가 소정 수치 이하이면서 어떤 학습 데이터를 입력한 경우에도 출력값이 변동이 없으면, 인공신경망(100)이 충분히 학습된 것으로 판단할 수 있다. The learning unit 300 repeatedly performs the deep learning procedure as described above using a plurality of different learning data until it is determined that the artificial neural network 100 has been sufficiently learned. Here, the learning unit 300 may determine that the artificial neural network 100 has been sufficiently learned if the difference between the expected value and the output value is less than a predetermined value and the output value does not change even when any learning data is input.

그러면, 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 워터마킹은 객체를 식별한 후, 식별된 객체 영역에 워터마킹을 수행하기 때문에 인공신경망(100)이 객체를 식별할 수 있도록 학습을 수행한다. 이에 따라, 소정의 객체를 식별하도록 인공신경망(100)을 학습시키는 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 화면 예이다. Next, a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention will be described. First, since watermarking according to an embodiment of the present invention identifies an object and performs watermarking on the identified object region, the artificial neural network 100 performs learning to identify the object. Accordingly, a method of training the artificial neural network 100 to identify a predetermined object will be described. 3 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention. 4 is a screen example for explaining a method for learning an artificial neural network according to an embodiment of the present invention.

도 3을 참조하면, 학습부(300)는 S110 단계에서 학습 데이터를 입력 받아 인공신경망(100)에 입력한다. 여기서, 학습 데이터는 소정의 객체가 포함된 영상이 될 수 있다. 예컨대, 도 4에 도시된 바와 같이, 학습 데이터는 객체 '말'이 포함된 영상이 될 수 있다. 이에 따라, 기댓값은 복수의 출력노드(N1, N2, N3, ..., Nm) 중 객체 '말'에 대응하는 출력노드의 출력값이 가장 높은 값(확률값)을 가지는 것이 될 수 있다. Referring to FIG. 3, the learning unit 300 receives training data in step S110 and inputs it into the artificial neural network 100. Here, the training data may be an image including a predetermined object. For example, as shown in FIG. 4, the training data may be an image including an object 'horse'. Accordingly, the expected value may be one in which the output value of the output node corresponding to the object 'horse' among the plurality of output nodes N1, N2, N3,..., Nm has the highest value (probability value).

학습 데이터가 입력되면, 인공신경망(100)은 복수의 계층의 각각이 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 이에 따라, 학습부(300)는 S120 단계에서 인공신경망(100)의 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 전술한 S110 및 S120 단계는 복수의 객체 각각에 대해 복수의 학습 데이터를 입력하여 기댓값과 출력값의 차이가 최소가 되면서 출력값이 변동이 없을 때까지 반복하여 수행한다. 이러한 경우, 학습부(300)는 인공신경망(100)이 충분히 학습이 이루어진 것으로 판단한다. When the training data is input, the artificial neural network 100 calculates an output value through a plurality of operations in which each of the plurality of layers is weighted. Accordingly, the learning unit 300 modifies the weight of the artificial neural network 100 to minimize the difference between the output value and the expected value of the artificial neural network 100 in step S120. In the above-described steps S110 and S120, a plurality of pieces of learning data are input to each of the plurality of objects, and the difference between the expected value and the output value is minimized and the output value is repeatedly performed. In this case, the learning unit 300 determines that the artificial neural network 100 has been sufficiently learned.

전술한 바와 같이, 객체에 대해 충분히 학습된 경우, 본 발명의 실시예에 따른 워터마킹을 수행한다. 도 5는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다. 도 6 내지 도 8은 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 화면 예이다. As described above, when sufficiently learned about the object, watermarking according to an embodiment of the present invention is performed. 5 is a flowchart illustrating a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention. 6 to 8 are screen examples for explaining a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention.

도 5를 참조하면, 전처리부(200)는 대상 데이터를 입력 받으면, S210 단계에서 적어도 하나의 객체 영역을 설정한다. 여기서, 대상 데이터는 삽입 이미지를 삽입하기 위한 영상을 의미한다. 예컨대, 전처리부(200)는 도 6과 같은 영상이 대상 데이터로 입력되면, 5개의 객체 영역, 즉, 제1 내지 제5 객체 영역(O1, O2, O3, O4, O5)을 설정할 수 있다. 다른 예로, 전처리부(200)는 도 7과 같은 영상이 대상 데이터로 입력되면, 2개의 객체 영역, 즉, 제6 및 제7 객체 영역(O6, O7)을 설정할 수 있다. 전처리부(200)는 객체 영역을 설정하기 위하여 셀렉티브 검색(selective search) 알고리즘을 이용할 수 있다. 예컨대, 셀렉티브 검색은 색상이나 강도 패턴 등이 비슷한 인접한 픽셀을 합치는 방식이다. 셀렉티브 검색 알고리즘 이외에 다양한 알고리즘, 예컨대, 클러스터링 알고리즘 등을 객체 영역을 설정하기 위해 사용될 수 있다. Referring to FIG. 5, upon receiving target data, the preprocessor 200 sets at least one object area in operation S210. Here, the target data means an image for inserting the inserted image. For example, when the image shown in FIG. 6 is input as the target data, the preprocessor 200 may set five object regions, that is, the first to fifth object regions O1, O2, O3, O4, and O5. As another example, when the image of FIG. 7 is input as target data, the preprocessor 200 may set two object regions, that is, sixth and seventh object regions O6 and O7. The preprocessor 200 may use a selective search algorithm to set the object area. Selective search, for example, combines adjacent pixels with similar colors, intensity patterns, and so on. In addition to the selective search algorithm, various algorithms, such as a clustering algorithm, may be used to set the object area.

객체 영역을 설정한 후, 판단부(400)는 S230 단계에서 객체 영역 각각을 인공신경망(100)에 입력한다. 인공신경망(100)에 객체 영역이 입력되면, 충분히 학습된 인공신경망(100)의 복수의 출력값 중 객체 영역에 포함된 객체에 대응하는 출력노드의 출력값이 다른 출력노드의 출력값 보다 높은 값을 가질 것이다. 예를 들면, 제1 출력 노드(N1)는 객체 '말'에 대응하며, 출력값 1은 후보 영역에 포함된 객체가 '말'일 확률을 나타내고, 제2 출력 노드(N2)는 객체 '사람'에 대응하며, 출력값 2는 영상에 포함된 객체가 '말'일 확률을 나타내며, 제3 출력 노드(N3)는 객체 '자동차'에 대응하며, 출력값 3은 영상에 포함된 객체가 '자동차'일 확률을 나타낸다고 가정한다. 이때, 제3 객체 영역(O3)이 인공신경망(100)에 입력된 경우, 인공신경망(100)의 복수의 출력값 중 출력값 2가 다른 출력값 보다 더 높은 값을 가질 것이다. 따라서 판단부(400)는 S240 단계에서 인공신경망(100)의 출력에 따라 가장 높은 출력값을 가지는 출력노드에 대응하는 객체가 객체 영역에 포함된 것으로 판단할 수 있다. 다른 말로, 판단부(400)는 인공신경망(100)의 출력에 따라 객체 영역에 포함된 객체를 식별할 수 있다. After setting the object area, the determination unit 400 inputs each of the object areas to the artificial neural network 100 in step S230. If the object area is input to the artificial neural network 100, the output value of the output node corresponding to the object included in the object area among the plurality of sufficiently learned output values of the neural network 100 will have a higher value than the output value of the other output node. . For example, the first output node N1 corresponds to the object 'horse', the output value 1 indicates the probability that the object included in the candidate area is the 'horse', and the second output node N2 is the object 'person' The output value 2 indicates the probability that the object included in the image is a 'horse', the third output node N3 corresponds to the object 'car', and the output value 3 indicates that the object included in the image is a 'car'. Assume that it represents a probability. In this case, when the third object area O3 is input to the artificial neural network 100, the output value 2 of the plurality of output values of the artificial neural network 100 will have a higher value than the other output values. Therefore, the determination unit 400 may determine that the object corresponding to the output node having the highest output value is included in the object area according to the output of the artificial neural network 100 in step S240. In other words, the determination unit 400 may identify an object included in the object area according to the output of the artificial neural network 100.

이와 같이, 객체가 식별되면, 판단부(400)는 S250 단계에서 식별된 객체를 소정의 규칙에 따라 워터마킹 객체 및 블라인드 객체로 구분하고, 워터마킹 객체가 포함된 객체 영역에서 블라인드 객체가 포함된 영역을 제외한 영역을 워터마킹 영역으로 분류하고, 블라인드 객체가 포함된 영역을 블라인드 영역으로 분류한다. 워터마킹을 통해 저작권을 보호하기 위해서는 영상에 포함된 객체 중 해당 영상이 저작권으로써 가치를 나타내는 영역에 워터마킹을 행하는 것이 바람직하다. 예컨대, 도 7은 아프리카 어느 내전국의 소년병의 실태를 고발하기 위한 사진이라고 가정한다. 그러면, 소년병의 모습이 저작권의 주요 대상이 된다. 따라서 소년병의 모습에 대한 저작권을 보호하기 위해 사람 객체 '소년병'을 워터마킹 객체로 구분한다. 한편, 프라이버시 보호, 미성년자 보호 등을 이유로, 대상 데이터인 원본 영상 중 일부를 블라인드 처리해야 하는 객체 영역이 있을 수 있다. 예컨대, 개인의 얼굴, 주소, 자동차 번호판 등의 개인의 신상에 대한 정보를 나타내는 객체가 포함된 객체 영역, 총, 칼, 도끼 등의 폭력적인 장면을 나타내는 객체가 포함된 객체 영역, 나체, 성기 등의 음란 장면을 나타내는 객체가 포함된 객체 영역 등은 블라인드 처리가 이루어질 수 있다. 따라서 본 발명의 실시예에 따르면, 예컨대, 도 7에 도시된 바와 같이, 폭력적인 장면을 나타내는 총 객체를 블라인드 객체로 구분한다. 블라인드 객체는 스크램블링 등을 통해 원본 영상을 훼손하기 때문에 그 자체로 워터마킹에 대한 공격이 이루어질 수 있다. 따라서 워터마킹에 대한 공격을 회피하기 위하여 워터마킹 객체가 포함된 제6 객체 영역(O6)에서 블라인드 객체가 포함된 제7 객체 영역(O7)을 제외한 객체 영역에 삽입 이미지를 삽입하는 것이 바람직하다. 따라서 판단부(400)는 제6 객체 영역(O6)에서 제7 객체 영역(O7)을 제외한 영역을 워터마킹 영역으로 분류하고, 제7 객체 영역(O7)은 블라인드 영역으로 분류한다. As such, when the object is identified, the determination unit 400 classifies the object identified in operation S250 into a watermarking object and a blind object according to a predetermined rule, and includes the blind object in the object area including the watermarking object. Areas excluding the area are classified as watermarking areas, and areas including blind objects are classified as blind areas. In order to protect copyrights through watermarking, it is preferable to perform watermarking on a region of the object included in the image where the image represents the value as copyright. For example, it is assumed that FIG. 7 is a photograph for accusing the actual condition of juvenile disease in a civil war country in Africa. Then, the appearance of juvenile disease becomes the main object of copyright. Therefore, in order to protect the copyright on the appearance of juveniles, the human object 'boy bottle' is divided into watermarking objects. On the other hand, for privacy protection, protection of minors, and the like, there may be an object area in which a part of the original image, which is the target data, should be blindly processed. For example, an object area containing an object representing information of an individual such as an individual's face, an address, a license plate, an object area containing an object representing a violent scene such as a gun, a knife, an axe, a naked body, a penis, etc. An object area including an object representing an obscene scene may be blindly processed. Therefore, according to an embodiment of the present invention, for example, as shown in Figure 7, the total object representing the violent scene is divided into blind objects. Since the blind object damages the original image through scrambling or the like, an attack on the watermarking may be performed by itself. Therefore, in order to avoid an attack on watermarking, it is preferable to insert the inserted image in the sixth object area O6 including the watermarking object in the object area except the seventh object area O7 in which the blind object is included. Accordingly, the determination unit 400 classifies the sixth object area O6 except for the seventh object area O7 as a watermarking area, and classifies the seventh object area O7 as a blind area.

전술한 바와 같이, 대상 데이터를 워터마킹 영역과 블라인드 영역으로 분류한 후, 가공부(500)는 S260 단계에서 워터마킹 영역에 소정의 삽입 이미지를 삽입하는 워터마킹을 수행할 수 있다. 예컨대, 도 8에 도시된 바와 같이, 제6 객체 영역(O6)에서 제7 객체 영역(O7)을 제외한 영역을 워터마킹 영역으로 설정하고, 이러한 워터마킹 영역에 소정의 삽입 이미지를 워터마킹할 수 있다. As described above, after classifying the target data into the watermarking area and the blind area, the processing unit 500 may perform watermarking to insert a predetermined insertion image into the watermarking area in step S260. For example, as illustrated in FIG. 8, an area except for the seventh object area O7 in the sixth object area O6 may be set as a watermarking area, and a predetermined embedded image may be watermarked in the watermarking area. have.

마지막으로, 그리고 선택적으로, 가공부(500)는 S270 단계에서 블라인드 영역을 원본의 형태를 식별할 수 없도록 스크램블링 등의 처리를 통해 블라인드 처리할 수 있다. 예컨대, 도 8에 도시된 바와 같이, 제7 객체 영역(O7)을 블라이드 처리할 수 있다. Finally, and optionally, the processing unit 500 may blind process the blind area through a process such as scrambling so that the original form cannot be identified at step S270. For example, as illustrated in FIG. 8, the seventh object area O7 may be bled.

다음으로, 워터마킹이 이루어진 대상 데이터로부터 삽입 이미지를 추출하는 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다. Next, a method of extracting an embedded image from watermarked target data will be described. 9 is a flowchart illustrating a method for processing watermarking using an artificial neural network for identifying an object according to an embodiment of the present invention.

도 9를 참조하면, 전처리부(200)는 워터마킹이 이루어진 대상 데이터를 입력 받으면, S310 단계에서 적어도 하나의 객체 영역을 설정한다. 여기서, 대상 데이터는 앞서 도 5 내지 도 7에서 설명된 바에 따라 삽입 이미지가 삽입된 영역이다. 객체 영역을 설정한 후, 판단부(400)는 S330 단계에서 객체 영역 각각을 인공신경망(100)에 입력하고, S340 단계에서 인공신경망(100)의 출력에 따라 객체 영역에 포함된 객체를 식별할 수 있다. 이와 같이, 객체가 식별되면, 판단부(400)는 S350 단계에서 식별된 객체를 소정의 규칙에 따라 워터마킹 객체 및 블라인드 객체로 구분하고, 워터마킹 객체가 포함된 객체 영역에서 블라인드 객체가 포함된 영역을 제외한 영역을 워터마킹 영역으로 분류하고, 블라인드 객체가 포함된 영역을 블라인드 영역으로 분류한다. 전술한 S310 단계 내지 S350 단계는 S210 단계 내지 S250 단계와 동일하게 수행된다. 그런 다음, 가공부(500)는 S360 단계에서 워터마킹 영역으로부터 삽입 이미지를 추출할 수 있다. Referring to FIG. 9, when the preprocessing unit 200 receives target data subjected to watermarking, the preprocessor 200 sets at least one object area in operation S310. Here, the target data is an area where the inserted image is inserted as described above with reference to FIGS. 5 to 7. After setting the object area, the determination unit 400 inputs each of the object areas to the artificial neural network 100 in step S330, and identifies objects included in the object area according to the output of the artificial neural network 100 in step S340. Can be. As such, when the object is identified, the determination unit 400 classifies the object identified in operation S350 into a watermarking object and a blind object according to a predetermined rule, and includes the blind object in the object area including the watermarking object. Areas excluding the area are classified as watermarking areas, and areas including blind objects are classified as blind areas. Steps S310 to S350 described above are performed in the same manner as steps S210 to S250. Then, the processing unit 500 may extract the inserted image from the watermarking area in step S360.

다음으로, 전술한 S260 단계의 워터마킹 삽입 프로세스 및 S360 단계의 워터마킹 추출 프로세스에 대해서 보다 상세하게 설명하기로 한다. 도 10은 본 발명의 일 실시예에 따른 워터마킹 삽입 프로세스를 설명하기 위한 도면이다. 또한, 도 11은 본 발명의 일 실시예에 따른 워터마킹 추출 프로세스를 설명하기 위한 도면이다. Next, the watermarking insertion process of step S260 and the watermarking extraction process of step S360 will be described in more detail. 10 is a view for explaining a watermarking insertion process according to an embodiment of the present invention. 11 is a view for explaining a watermarking extraction process according to an embodiment of the present invention.

워터마킹 삽입 및 추출의 제1 실시예First embodiment of watermarking insertion and extraction

먼저, 도 10을 참조하여 제1 실시예에 따른 워터마킹 삽입 프로세스에 대해서 설명하기로 한다. First, a watermarking insertion process according to the first embodiment will be described with reference to FIG. 10.

(1) 우선, 가공부(500)는 원본 이미지로부터 특징값 I'을 추출한다. (1) First, the processing unit 500 extracts the feature value I 'from the original image.

가공부(500)는 다음의 수학식 1에 따라 원본이미지(워터마킹 영역) I로부터 원본이미지의 특징값 I'을 추출한다. 여기서, 특징값 I'는 블록안의 픽셀값들의 평균을 의미한다. The processing unit 500 extracts the feature value I 'of the original image from the original image (watermarking area) I according to Equation 1 below. Here, the feature value I 'means the average of pixel values in the block.

여기서, x, y는 원본 이미지(워터마킹 영역)의 픽셀 좌표이며, p와 q는 원본이미지(워터마킹 영역)의 블록 크기를 나타낸다. Here, x and y are pixel coordinates of the original image (watermarking area), and p and q represent block sizes of the original image (watermarking area).

(2) 다음으로, 가공부(500)는 로지스틱 사상(logistic maps)으로부터 카오스값을 산출한다. (2) Next, the processing unit 500 calculates a chaotic value from logistic maps.

카오스값 C은 매개변수 u가 (3.5699456,4]의 범위를 가지는 로지스틱 사상(logistic maps)을 기반으로 생성된다. 본 발명의 실시예에서 다음의 수학식 2와 같은 1차원 로지스틱 사상을 이용할 수 있다. The chaotic value C is generated based on logistic maps in which the parameter u has a range of (3.5699456,4) In an embodiment of the present invention, one-dimensional logistic mapping such as Equation 2 can be used. .

(3) 마지막으로, 가공부(500)는 삽입이미지 P를 워터마킹 삽입 프로세스에 따라 삽입하여 스테고키 K를 생성한다. (3) Finally, the processing unit 500 inserts the inserted image P according to the watermarking embedding process to generate stego key K.

(3-1) 이진키 Kb 생성 (3-1) Binary Key Kb Generation

가공부(500)는 의사 난수를 발생시켜 이진키 Kb를 생성한다. The processing unit 500 generates a pseudo-random number to generate a binary key Kb.

(3-2) 중간키 Ki 생성 (3-2) Create an intermediate key Ki

가공부(500)는 다음의 수학식 3에 따라 중간키 Ki를 산출한다. 즉, 수학식 3에서 이진키 Kb의 조건에 따라 삽입되는 정보(삽입 이미지) P와 원본 이미지(워터마킹 영역의 이미지) 특징값 I'에 의해 중간키 Ki를 산출한다. The processing unit 500 calculates the intermediate key Ki according to Equation 3 below. That is, in Equation 3, the intermediate key Ki is calculated from the information (inserted image) P and the original image (image of the watermarking region) characteristic value I 'inserted according to the condition of the binary key Kb.

여기서, x와 y는 원본이미지(워터마킹 영역) I의 픽셀 좌표이다. Here, x and y are pixel coordinates of the original image (watermarking region) I.

(3-3) 데이터키 Kd 생성 (3-3) Data Key Kd Generation

가공부(500)는 다음의 수학식 4를 통해 중간키 Ki와 카오스값 C를 이용하여 이진키 Kb의 조건에 따라 데이터키 Kd를 산출한다. The processing unit 500 calculates the data key Kd according to the condition of the binary key Kb using the intermediate key Ki and the chaos value C through the following Equation 4.

(3-3) 스테고키 K 생성 (3-3) Stegoki K Generation

이로써, 가공부(500)는 이진키 Kb 및 데이터키 Kd를 스테고키 K로 얻을 수 있다. As a result, the processing unit 500 can obtain the binary key Kb and the data key Kd as the stego key K.

다음으로, 도 11을 참조하여, 제1 실시예에 따른 워터마킹 추출 프로세스에 대해서 설명하기로 한다. Next, the watermarking extraction process according to the first embodiment will be described with reference to FIG. 11.

(1) 우선, 원본 이미지(워터마킹 영역)로부터 특징값을 추출한다. 가공부(500)는 전술한 수학식 1에 따라 원본이미지(워터마킹 영역) I로부터 원본이미지의 특징값 I'을 추출한다. (1) First, feature values are extracted from an original image (watermarking area). The processing unit 500 extracts the feature value I 'of the original image from the original image (watermarking region) I according to Equation 1 described above.

(2) 다음으로, 가공부(500)는 로지스틱 사상(logistic maps)으로부터 카오스값 C를 산출한다. 가공부(500)는 전술한 수학식 2에 따라 카오스값 C를 산출한다. (2) Next, the processing unit 500 calculates the chaotic value C from logistic maps. The processing unit 500 calculates the chaos value C according to the above equation (2).

(3) 가공부(500)는 특징값 I', 카오스값 C 및 스테고키 K를 이용하여 삽입이미지 P를 추출한다. (3) The processing unit 500 extracts the inserted image P using the feature value I ', the chaos value C, and the stego key K.

(3-1) 가공부(500)는 수학식 4를 통해 스테고키 K 중 데이터키 Kd와 카오스값 C를 이용하여 중간키 Ki를 구한다. (3-1) The processing unit 500 obtains the intermediate key Ki using the data key Kd and the chaos value C among the stego keys K through Equation (4).

(3-2) 가공부(500)는 수학식 3을 통해 스테고키 K 중 이진키 Kb, 중간키 Ki 및 특징값 I'을 이용하여 삽입이미지 P를 추출한다. (3-2) The processing unit 500 extracts the inserted image P using the binary key Kb, the intermediate key Ki, and the feature value I 'among the stego keys K through Equation 3.

워터마킹 삽입 및 추출의 제2 실시예Second Embodiment of Watermarking Insertion and Extraction

다음으로, 도 10을 참조하여 제2 실시예에 따른 워터마킹 삽입 프로세스에 대해서 설명하기로 한다. Next, a watermarking insertion process according to the second embodiment will be described with reference to FIG. 10.

(1) 우선, 가공부(500)는 원본이미지(워터마킹 영역) I로부터 특징값 I'을 추출한다. (1) First, the processing unit 500 extracts the feature value I 'from the original image (watermarking area) I.

(1-1) 가공부(500)는 원본이미지(워터마킹 영역) I로부터 다음의 수학식 5를 통해 에러값 ei를 산출한다. (1-1) The processing unit 500 calculates an error value ei from the original image (watermarking region) I through the following equation (5).

여기서, i는 원본이미지(워터마킹 영역)의 인덱스이고, di는 MED(median edge detection) 예측기법을 이용한 예측값이다. Here, i is an index of the original image (watermarking area), and di is a prediction value using a median edge detection (MED) prediction technique.

(1-2) 가공부(500)는 산출된 에러값 ei를 다음의 수학식 6에 적용하여 원본이미지(워터마킹 영역) I로부터 원본이미지(워터마킹 영역)의 특징값 I'을 추출한다. (1-2) The processing unit 500 extracts the feature value I 'of the original image (watermarking region) from the original image (watermarking region) I by applying the calculated error value ei to the following equation (6).

여기서, i는 원본이미지(워터마킹 영역)의 인덱스이고, TH는 임계값이다. Where i is the index of the original image (watermarking area) and TH is the threshold.

(2) 다음으로, 가공부(500)는 로지스틱 사상(logistic maps)으로부터 카오스값 C를 산출한다. 가공부(500)는 전술한 수학식 2를 통해 카오스값 C를 산출할 수 있다. (2) Next, the processing unit 500 calculates the chaotic value C from logistic maps. The processing unit 500 may calculate the chaos value C through the above Equation 2.

(3) 가공부(500)는 다음의 수학식 7에 따라 특징값 I' 및 카오스값 C를 이용하여 삽입이미지 P를 삽입하면서 스테고키 K를 생성한다. (3) The processing unit 500 generates stegokey K while inserting the insertion image P using the feature value I 'and the chaos value C according to Equation 7 below.

여기서, i는 원본이미지(워터마킹 영역)의 인덱스이다. Where i is the index of the original image (watermarking area).

다음으로, 도 11을 참조하여, 제2 실시예에 따른 워터마킹 추출 프로세스에 대해서 설명하기로 한다. Next, the watermarking extraction process according to the second embodiment will be described with reference to FIG. 11.

(1) 우선, 가공부(500)는 원본이미지(워터마킹 영역) I로부터 특징값 I'을 추출한다. 이때, 가공부(500)는 원본이미지(워터마킹 영역) I로부터 전술한 수학식 5를 통해 에러값 ei를 산출하고, 산출된 에러값 ei를 전술한 수학식 6에 적용하여 원본이미지(워터마킹 영역) I로부터 원본이미지(워터마킹 영역)의 특징값 I'을 추출한다. (1) First, the processing unit 500 extracts the feature value I 'from the original image (watermarking area) I. In this case, the processing unit 500 calculates an error value ei from the original image (watermarking region) I through Equation 5 described above, and applies the calculated error value ei to Equation 6 described above to the original image (watermarking). Region) I extracts the feature value I 'of the original image (watermarking region).

(2) 다음으로, 가공부(500)는 로지스틱 사상(logistic maps)으로부터 카오스값 C를 산출한다. 이때, 가공부(500)는 전술한 수학식 2를 통해 카오스값 C를 산출할 수 있다. (2) Next, the processing unit 500 calculates the chaotic value C from logistic maps. At this time, the processing unit 500 may calculate the chaos value C through the above-described equation (2).

(3) 마지막으로, 가공부(500)는 특징값 I', 카오스값 C 및 스테고키 K를 이용하여 삽입이미지 P를 추출한다. 이때, 가공부(500)는 다음의 수학식 8을 이용하여 삽입이미지 P를 추출할 수 있다. (3) Finally, the processing unit 500 extracts the inserted image P using the feature value I ', the chaos value C, and the stego key K. At this time, the processing unit 500 may extract the inserted image P using Equation 8 below.

다음으로, 본 발명의 다른 실시예에 따른 인공신경망을 이용한 워터마킹 처리 방법에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 블록에 삽입된 비트값을 도출하는 인공신경망(100)에 대해서 보다 상세하게 설명하기로 한다. 도 12는 본 발명의 실시예에 따른 블록에 삽입된 비트값을 도출하는 인공신경망의 구성을 설명하기 위한 개념도이다. 도 12의 인공신경망(100)은 따로 언급되지 않는 경우, 도 2의 인공신경망(100)의 기술적 특징과 동일하다는 점에 유의하여야 한다. 도 2와 마찬가지로, 도 10의 인공신경망(100) 또한 복수의 계층을 포함한다. 즉, 인공신경망(100)은 입력계층(IL), 컨볼루션계층(CL), 풀링계층(PL), 완전연결계층(FL) 및 출력계층(OL)을 포함한다. Next, a watermarking processing method using an artificial neural network according to another embodiment of the present invention will be described. First, the artificial neural network 100 for deriving a bit value inserted into a block according to an embodiment of the present invention will be described in more detail. 12 is a conceptual diagram illustrating a configuration of an artificial neural network for deriving a bit value inserted into a block according to an embodiment of the present invention. It should be noted that the artificial neural network 100 of FIG. 12 is identical to the technical features of the artificial neural network 100 of FIG. 2 unless otherwise noted. As in FIG. 2, the artificial neural network 100 of FIG. 10 also includes a plurality of layers. That is, the artificial neural network 100 includes an input layer IL, a convolutional layer CL, a pulling layer PL, a fully connected layer FL, and an output layer OL.

입력계층(IL)은 소정 크기의 행렬로 이루어진다. 입력계층(IL) 행렬의 각 원소는 영상의 각 픽셀에 대응한다. 학습부(300)는 학습 데이터를 입력계층(IL)의 행렬의 크기에 맞춰 가공한 후, 인공신경망(100)에 가공된 학습 데이터를 입력할 수 있다. 마찬가지로, 판단부(400)는 대상 데이터를 입력계층(IL)의 행렬의 크기에 맞춰 가공한 후, 인공신경망(100)에 가공된 대상 데이터를 입력할 수 있다. 인공신경망(100)은 제1 컨볼루션 계층(CL1), 제1 풀링 계층(PL1), 제2 컨볼루션 계층(CL2) 및 제2 풀링 계층(PL2)을 포함하여, 2 쌍으로 이루어진 것으로 도시하였지만, 본 발명은 이에 한정되지 않는다. 컨볼루션 계층(CL)과 풀링 계층(PL)은 각각 하나 또는 2 이상의 쌍으로 존재할 수 있다. 또한, 2 이상의 쌍으로 존재할 때, 컨볼루션 계층(CL)과 풀링 계층(PL)은 교번으로 배치된다. 컨볼루션계층(CL: CL1, CL2)과 풀링 계층(PL: PL1, PL2) 각각은 복수의 특징 지도(Feature Map)로 이루어지며, 이러한 특징 지도 각각은 소정 크기의 행렬이다. 특징 지도를 이루는 행렬의 원소 각각의 값은 이전 계층의 행렬 값에 커널(K)을 이용한 컨볼루션 연산(convolution) 혹은 풀링 연산(pooling 혹은 subsampling)을 적용하여 산출된다. 여기서, 여기서, 커널(K)은 소정 크기의 행렬이며, 커널(K)을 이루는 행렬의 각 원소의 값은 가중치(w)가 된다. 완전연결계층(FL)은 복수의 노드(혹은 sigmoid: F1, F2, F3, ..., Fn)를 포함하며, 완전연결계층의 연산 또한 가중치(w)가 적용되어 출력계층(OL)의 복수의 노드(N1, N2, N3, ...)에 입력된다. 출력계층(OL)은 2개의 노드(N1, N2)로 구성된다. 2개의 출력 노드(N1, N2) 각각은 입력된 데이터(학습 데이터 혹은 대상 데이터)에 비트 1 혹은 비트 0이 삽입되었을 확률을 나타낸다. 예를 들면, 제1 출력 노드(N1)는 비트 1에 대응하며, 제1 출력 노드(N1)의 출력값인 출력값 1은 입력되는 데이터, 즉, 학습 데이터 혹은 대상 데이터인 영상의 어느 한 블록에 비트 1이 삽입되었을 확률을 나타낸다. 제2 출력 노드(N2)는 비트 0에 대응하며, 제2 출력 노드(N2)의 출력값인 출력값 2는 영상의 어느 한 블록에 비트 0이 삽입되었을 확률을 나타낼 수 있다. The input layer IL is composed of a matrix having a predetermined size. Each element of the input layer IL matrix corresponds to each pixel of the image. The learning unit 300 may process the learning data according to the size of the matrix of the input layer IL, and then input the processed learning data into the artificial neural network 100. Similarly, the determination unit 400 may process the target data according to the size of the matrix of the input layer IL, and then input the processed target data into the artificial neural network 100. The artificial neural network 100 is illustrated as being composed of two pairs, including a first convolutional layer CL1, a first pooling layer PL1, a second convolutional layer CL2, and a second pooling layer PL2. The present invention is not limited to this. The convolutional layer CL and the pooling layer PL may each exist in one or two or more pairs. Also, when present in two or more pairs, the convolutional layer CL and the pooling layer PL are alternately arranged. Each of the convolutional layers CL: CL1 and CL2 and the pooling layers PL: PL1 and PL2 consists of a plurality of feature maps, each of which is a matrix of a predetermined size. The value of each element of the matrix constituting the feature map is calculated by applying convolution or pooling or subsampling using the kernel K to the matrix value of the previous layer. Here, the kernel K is a matrix having a predetermined size, and the value of each element of the matrix constituting the kernel K becomes a weight w. The fully connected layer FL includes a plurality of nodes (or sigmoids: F1, F2, F3, ..., Fn), and the calculation of the fully connected layer is also applied with a weight w to apply the plurality of nodes of the output layer OL. Are input to nodes N1, N2, N3, ... The output layer OL consists of two nodes N1 and N2. Each of the two output nodes N1 and N2 represents a probability that bit 1 or bit 0 has been inserted into the input data (learning data or target data). For example, the first output node N1 corresponds to bit 1, and output value 1, which is an output value of the first output node N1, is a bit in one block of the input data, that is, training data or target data. Indicates the probability that 1 was inserted. The second output node N2 corresponds to bit 0, and the output value 2 that is an output value of the second output node N2 may indicate a probability that bit 0 is inserted into any one block of the image.

인공신경망(100)의 복수의 계층(IL, CL, PL, FL, OL) 각각은 복수의 연산을 포함한다. 특히, 인공신경망(100)의 복수의 계층의 복수의 연산 각각은 가중치(w)가 적용되어 그 결과가 다음 계층으로 전달되어 다음 계층의 입력이 된다. Each of the plurality of layers IL, CL, PL, FL, and OL of the artificial neural network 100 includes a plurality of operations. In particular, each of a plurality of operations of a plurality of layers of the artificial neural network 100 is applied with a weight w, and the result is transferred to the next layer to be input to the next layer.

도 12를 참조로 하는 실시예에서 인공신경망(100)은 입력되는 영상(학습 데이터 혹은 대상 데이터)의 어느 한 블록에 비트 1이 삽입되었는지 혹은 비트 0이 삽입되었는지 여부를 판별한다. 이를 위하여, 학습부(300)는 복수의 학습 데이터를 이용하여 인공신경망(100)을 학습(learning)시킨다. 이러한 학습 방법에 대해서 설명하기로 한다. 학습 데이터는 영상이 미리 설정된 크기의 블록으로 구분되었을 때, 각 블록에 삽입된 비트의 값이 알려진 영상을 의미한다. 특히, 학습 데이터는 워터마킹이 이루어진 원본 데이터(원본 영상)에 소정의 워터마킹 공격 기법이 적용된 경우와 그렇지 않은 경우 모두를 학습 데이터로 이용할 수 있다. In the embodiment with reference to FIG. 12, the artificial neural network 100 determines whether bit 1 or bit 0 is inserted into any block of an input image (learning data or target data). To this end, the learning unit 300 learns the artificial neural network 100 using a plurality of learning data. This learning method will be described. The training data refers to an image in which a value of bits inserted in each block is known when the image is divided into blocks having a predetermined size. In particular, the training data may be used as the training data both when a predetermined watermarking attack technique is applied to the original data (the original image) where watermarking is applied and when it is not.

학습 데이터는 영상의 블록 단위로 입력되며, 이러한 블록 각각이 인공신경망(100)에 입력되면, 인공신경망(100)은 전술한 바와 같은 가중치(w)가 적용되는 복수의 연산을 통해 연산 결과를 출력할 것이다. 인공신경망(100)의 출력, 즉, 출력계층(OL)의 2개의 출력노드(N1, N2) 각각의 출력값은 해당 노드에 대응하는 비트값(0 혹은 1)이 해당 블록에 삽입되었을 확률을 나타낸다. 학습 데이터는 각 블록에 삽입된 비트의 값이 알려진 영상이기 때문에, 학습부(300)가 학습 데이터인 영상을 인공신경망(100)에 입력했을 때, 인공신경망(100)의 출력은 대응하는 출력 노드의 출력값이 가장 높은 확률값이 출력될 것으로 기대할 수 있다. 이러한 기대에 따른 출력값을 기댓값이라고 한다. 하지만, 충분히 학습되지 않은 인공신경망(100)은 출력값과 기댓값의 차이가 있다. 따라서 학습부(300)는 학습 데이터를 입력할 때마다, 기댓값과 출력값의 차이가 최소가 되도록 역전파(Back-propagation) 알고리즘을 통해 인공신경망(100)의 가중치(W)를 수정하는 학습을 수행한다. 이와 같이, 본 발명의 실시예에 따른 학습(deep learning)은 입력되는 학습 데이터에 상응하는 기댓값을 정해 놓고, 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 연산에 적용되는 가중치(w)를 수정하는 것이다. 학습부(300)는 인공신경망(100)이 충분히 학습된 것으로 판단될 때까지, 전술한 바와 같은 학습(deep learning) 절차를 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행한다. 여기서, 학습부(300)는 기댓값과 출력값의 차이가 소정 수치 이하이면서 어떤 학습 데이터를 입력한 경우에도 출력값이 변동이 없으면, 인공신경망(100)이 충분히 학습된 것으로 판단할 수 있다. The training data is input in units of blocks of an image, and when each of these blocks is input to the artificial neural network 100, the artificial neural network 100 outputs the calculation result through a plurality of operations to which the weight w as described above is applied. something to do. The output of the artificial neural network 100, that is, the output value of each of the two output nodes N1 and N2 of the output layer OL indicates the probability that a bit value (0 or 1) corresponding to the node is inserted into the corresponding block. . Since the training data is an image in which the value of the bit inserted in each block is known, when the learning unit 300 inputs an image of the training data into the artificial neural network 100, the output of the artificial neural network 100 is a corresponding output node. It can be expected that the output value of the highest probability value is output. The output based on these expectations is called the expected value. However, the artificial neural network 100 that is not sufficiently learned has a difference between the output value and the expected value. Therefore, each time the learning unit 300 inputs the training data, the learning unit 300 learns to modify the weight W of the artificial neural network 100 through a back-propagation algorithm such that the difference between the expected value and the output value is minimized. do. As described above, in the deep learning according to an embodiment of the present invention, a weight value w is applied to the calculation of the artificial neural network 100 so as to set an expected value corresponding to the input learning data and minimize the difference between the output value and the expected value. ). The learning unit 300 repeatedly performs the deep learning procedure as described above using a plurality of different learning data until it is determined that the artificial neural network 100 has been sufficiently learned. Here, the learning unit 300 may determine that the artificial neural network 100 has been sufficiently learned if the difference between the expected value and the output value is less than a predetermined value and the output value does not change even when any learning data is input.

그러면, 전술한 인공신경망(100)을 이용하여 워터마킹 처리를 수행하는 방법에 대해서 설명하기로 한다. 본 발명의 실시예에 따른 워터마킹 처리 방법은 삽입 이미지가 삽입된 영상에 워터마킹 공격이 이루어진 경우에도 삽입 이미지를 추출할 수 있는 방법을 제안한다. 이를 위하여, 먼저, 인공신경망에 대한 학습이 이루어져야 하며, 인공신경망(100)을 학습시키는 방법에 대해서 설명하기로 한다. 도 13은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다. 도 14은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 도면이다. Next, a method of performing a watermarking process using the above-described artificial neural network 100 will be described. The watermarking processing method according to an embodiment of the present invention proposes a method of extracting an embedded image even when a watermarking attack is made on the inserted image. To this end, first, learning about the artificial neural network should be made, and a method of learning the artificial neural network 100 will be described. 13 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention. 14 is a view for explaining a method of learning artificial neural network according to an embodiment of the present invention.

도 13 및 도 14를 참조하면, 먼저, 학습 데이터를 생성하기 위하여, 가공부(500)는 S410 단계에서 원본 데이터(원본 영상)가 입력되면, S420 단계에서 원본 데이터(원본 영상)에 대해 삽입 이미지를 삽입하는 워터마킹을 수행한다. 여기서, 삽입 이미지는 미리 결정된 크기의 복수의 이진 비트(예컨대, M×N개의 비트)로 이루어진 이미지이다. 삽입 이미지가 미리 결정된 크기를 가지기 때문에 이진 비트의 수 또한 미리 결정된다. 따라서 가공부(500)는 대상 데이터를 삽입 이미지의 이진 비트의 비트수에 따라 미리 결정된 복수의 블록(예컨대, M×N개의 블록)으로 구분한다. 그리고 가공부(500)는 구분된 각 블록에 소정의 워터마킹 기법에 따라 삽입 이미지의 각각의 비트를 순차로 삽입하는 워터마킹을 수행한다. 예컨대, 도 14의 (A)에 도시된 바와 같이, 대상 데이터(원본 영상)의 어느 하나의 블록(BL)에 대응하는 삽입 이미지의 비트(bit)가 순차로 삽입된다. 13 and 14, first, in order to generate the training data, the processing unit 500 inputs the original data (the original image) in step S410, and inserts the original data (the original image) in step S420. Perform watermarking to insert. Here, the embedded image is an image composed of a plurality of binary bits (eg, M × N bits) of a predetermined size. Since the embedded image has a predetermined size, the number of binary bits is also predetermined. Therefore, the processing unit 500 divides the target data into a plurality of blocks (eg, M × N blocks) predetermined according to the number of bits of the binary bit of the embedded image. In addition, the processing unit 500 performs watermarking to sequentially insert each bit of the inserted image into each divided block according to a predetermined watermarking technique. For example, as shown in Fig. 14A, bits of the inserted image corresponding to any one block BL of the target data (original image) are sequentially inserted.

다음으로, 가공부(500)은 S430 단계에서 워터마킹이 이루어진 대상 데이터에 대해 소정의 워터마킹 공격 기법을 적용하여 변형한다. 도 14의 (B)에 도시된 바와 같이, 예컨대, 아핀 변형(affine transform), JPEG 압축(JPEG compression), 가우시안 필터링(Gaussian filtering) 등 다양한 워터마킹 공격 기법들이 적용될 수 있다. 이러한 S430 단계는 선택적으로 수행될 수 있다. Next, the processing unit 500 applies a predetermined watermarking attack technique to the target data on which the watermarking is performed in step S430, and modifies it. As shown in FIG. 14B, various watermarking attack techniques such as affine transform, JPEG compression, and Gaussian filtering may be applied. This S430 step may be selectively performed.

도 13 및 도 14를 참조로 하는 실시예에서 학습 데이터를 생성할 때, 각 블록에 삽입된 비트의 값을 알 수 있기 때문에 도 13 및 도 14를 참조로 하는 실시예에서 학습 데이터는 영상이 미리 설정된 크기의 블록으로 구분되었을 때, 각 블록에 삽입된 비트의 값이 알려진 영상을 의미한다. 특히, 학습 데이터는 워터마킹이 이루어진 대상 데이터(원본 영상)에 소정의 워터마킹 공격 기법이 적용된 경우와 그렇지 않은 경우 모두를 학습 데이터로 이용할 수 있다. 13 and 14, when generating the training data, since the value of the bits inserted into each block can be known, the training data in the embodiment of FIG. 13 and FIG. When divided into blocks of a predetermined size, the value of a bit inserted in each block means a known image. In particular, the training data may be used as the training data both when a predetermined watermarking attack technique is applied to the target data (the original image) where watermarking is applied and when it is not.

학습부(300)는 S440 단계에서 학습 데이터를 입력 받아 미리 결정된 크기의 복수의 블록(예컨대, M×N개의 블록)으로 구분하고, S450 단계에서 각 블록을 인공신경망(100)에 입력한다. 이 실시예에서, 인공신경망(100)은 2개의 출력노드(N1, N2)를 가지며, 제1 출력노드(N1)의 출력값은 입력된 블록에 삽입된 비트값이 1일 확률을 나타내며, 제2 출력노드(N2)의 출력값은 입력된 블록에 삽입된 비트값이 0일 확률을 나타낸다. 이에 따라, 해당 블록에 비트값 1이 삽입된 경우, 기댓값은 2개의 출력노드 중 제1 출력노드(N1)의 출력값인 출력값 1이 제2 출력노드(N2)의 출력값인 출력값 2 보다 소정 수치 이상 높은 값을 가지는 것이고, 해당 블록에 비트값 0이 삽입된 경우, 기댓값은 2개의 출력노드 중 제2 출력노드(N2)의 출력값인 출력값 2가 제1 출력노드(N1)의 출력값인 출력값 1 보다 높은 값을 가지는 것이다. 학습 데이터가 입력되면, 인공신경망(100)은 복수의 계층의 각각이 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 이에 따라, 학습부(300)는 S460 단계에서 인공신경망(100)의 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 가중치를 수정한다. 전술한 S410 및 S460 단계는 복수의 워터마킹 기법, 복수의 워터마킹 공격 기법 각각에 대해 반복하여 수행되며, 복수의 학습 데이터를 입력하여 기댓값과 출력값의 차이가 최소가 되면서 출력값이 변동이 없을 때까지 반복하여 수행한다. 이러한 경우, 학습부(300)는 인공신경망(100)이 충분히 학습이 이루어진 것으로 판단한다. The learning unit 300 receives the training data in step S440, divides the blocks into a plurality of blocks having a predetermined size (for example, M × N blocks), and inputs each block to the artificial neural network 100 in step S450. In this embodiment, the artificial neural network 100 has two output nodes N1 and N2, and the output value of the first output node N1 represents the probability that the bit value inserted in the input block is 1, and the second The output value of the output node N2 represents the probability that the bit value inserted in the input block is zero. Accordingly, when the bit value 1 is inserted into the corresponding block, the expected value is that the output value 1, which is the output value of the first output node N1, of the two output nodes is greater than or equal to the output value 2, which is the output value of the second output node N2. When the bit value 0 is inserted into the corresponding block, the expected value is that the output value 2, which is the output value of the second output node N2, of the two output nodes is greater than the output value 1, which is the output value of the first output node N1. It has a high value. When the training data is input, the artificial neural network 100 calculates an output value through a plurality of operations in which each of the plurality of layers is weighted. Accordingly, the learning unit 300 modifies the weight of the artificial neural network 100 to minimize the difference between the output value and the expected value of the artificial neural network 100 in step S460. The above-described steps S410 and S460 are repeatedly performed for each of a plurality of watermarking techniques and a plurality of watermarking attack techniques, and the plurality of learning data are inputted until the difference between the expected value and the output value is minimized and the output value does not change. Do it repeatedly. In this case, the learning unit 300 determines that the artificial neural network 100 has been sufficiently learned.

전술한 바에 따라 인공신경망(100)이 블록별 비트값에 대해 충분히 학습된 경우, 본 발명의 실시예에 따라 워터마킹 공격이 이루어지거나 그렇지 않은 경우 모두에 대해서 삽입 이미지를 추출할 수 있다. 도 15는 본 발명의 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다. As described above, when the artificial neural network 100 is sufficiently learned about the bit value of each block, the embedded image may be extracted for both the watermarking attack and the non-watermarking attack according to the embodiment of the present invention. 15 is a flowchart illustrating a method for processing watermarking using an artificial neural network according to an embodiment of the present invention.

판단부(400)는 S510 단계에서 대상 데이터를 입력 받아 미리 결정된 크기의 복수의 블록(예컨대, M×N개의 블록)으로 구분한다. 여기서, 대상 데이터는 미리 결정된 크기의 블록으로 구분되어 워터마킹이 이루어진 영상이며, 워터마킹 기법에 대해서는 알려지지 않았으며, 워터마킹 공격이 이루어졌는지 여부도 알려지지 않은 영상이다. The determination unit 400 receives the target data in operation S510 and divides the target data into a plurality of blocks (eg, M × N blocks) having a predetermined size. Here, the target data is an image in which watermarking is divided into blocks having a predetermined size, which is unknown about the watermarking technique, and whether the watermarking attack has been performed.

다음으로, 판단부(400)는 S520 단계에서 앞서 구분된 각 블록을 인공신경망(100)에 입력한다. 대상 데이터의 각 블록이 입력되면, 인공신경망(100)은 복수의 계층의 각각이 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 인공신경망(100)의 출력값은 해당 블록에 삽입된 비트가 0인지 혹은 1인지 여부를 나타낼 수 있다. 즉, 해당 블록에 비트값 1이 삽입된 경우, 제1 출력노드(N1)의 출력값인 출력값 1이 제2 출력노드(N2)의 출력값인 출력값 2 보다 소정 수치 이상 높은 값을 출력할 것이고, 해당 블록에 비트값 0이 삽입된 경우, 제2 출력노드(N2)의 출력값인 출력값 2가 제1 출력노드(N1)의 출력값인 출력값 1 보다 높은 값을 출력할 것이다. 따라서 판단부(400)는 S530 단계에서 인공신경망(100)의 출력값에 따라 비트값을 식별하고, 식별된 비트값을 연결하여 소정 규격의 삽입 이미지를 재구성하여 생성할 수 있다. Next, the determination unit 400 inputs each of the blocks previously classified in step S520 to the artificial neural network (100). When each block of the target data is input, the artificial neural network 100 calculates an output value through a plurality of operations in which each of the plurality of layers is weighted. The output value of the artificial neural network 100 may indicate whether a bit inserted in the corresponding block is 0 or 1. That is, when the bit value 1 is inserted into the corresponding block, the output value 1, which is the output value of the first output node N1, will output a value higher than a predetermined value higher than the output value 2 which is the output value of the second output node N2. When the bit value 0 is inserted in the block, the output value 2 which is the output value of the second output node N2 will output a value higher than the output value 1 which is the output value of the first output node N1. Therefore, the determination unit 400 may identify the bit value according to the output value of the artificial neural network 100 in step S530, and may reconstruct and generate an inserted image of a predetermined standard by connecting the identified bit values.

다음으로, 본 발명의 실시예에 따른 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹 처리 방법에 대해서 설명하기로 한다. 즉, 이 실시예에 따르면, 인공신경망을 이용하여 워터마킹 공격 기법을 검출하고, 이에 따라, 삽입 이미지를 추출할 수 있다. 다른 말로, 이 실시예에 따른 워터마킹 처리 방법은 삽입 이미지가 삽입된 영상에 워터마킹 공격이 이루어진 경우에도 삽입 이미지를 추출할 수 있다. Next, a watermarking processing method using an artificial neural network for identifying a watermarking attack according to an embodiment of the present invention will be described. That is, according to this embodiment, the watermarking attack technique can be detected using an artificial neural network, and accordingly, an embedded image can be extracted. In other words, the watermarking processing method according to the present embodiment may extract the embedded image even when a watermarking attack is made on the inserted image.

먼저, 본 발명의 실시예에 따른 워터마킹 공격을 식별하는 인공신경망(100)에 대해서 보다 상세하게 설명하기로 한다. 도 16은 본 발명의 실시예에 따른 워터마킹 공격을 식별하는 인공신경망의 구성을 설명하기 위한 개념도이다. 도 16의 인공신경망(100)은 따로 언급되지 않는 경우, 도 2의 인공신경망(100)의 기술적 특징과 동일하다는 점에 유의하여야 한다. 도 2와 마찬가지로, 도 16의 인공신경망(100) 또한 복수의 계층을 포함한다. 즉, 인공신경망(100)은 입력계층(IL), 컨볼루션계층(CL), 풀링계층(PL), 완전연결계층(FL) 및 출력계층(OL)을 포함한다. First, the artificial neural network 100 for identifying a watermarking attack according to an embodiment of the present invention will be described in more detail. 16 is a conceptual diagram illustrating the configuration of an artificial neural network for identifying a watermarking attack according to an embodiment of the present invention. It should be noted that the artificial neural network 100 of FIG. 16 is identical to the technical features of the artificial neural network 100 of FIG. 2 unless otherwise noted. As in FIG. 2, the artificial neural network 100 of FIG. 16 also includes a plurality of layers. That is, the artificial neural network 100 includes an input layer IL, a convolutional layer CL, a pulling layer PL, a fully connected layer FL, and an output layer OL.

입력계층(IL)은 소정 크기의 행렬로 이루어진다. 인공신경망(100)은 제1 컨볼루션 계층(CL1), 제1 풀링 계층(PL1), 제2 컨볼루션 계층(CL2) 및 제2 풀링 계층(PL2)을 포함하여, 2 쌍으로 이루어진 것으로 도시하였지만, 본 발명은 이에 한정되지 않는다. 컨볼루션 계층(CL)과 풀링 계층(PL)은 각각 하나 또는 2 이상의 쌍으로 존재할 수 있다. 또한, 2 이상의 쌍으로 존재할 때, 컨볼루션 계층(CL)과 풀링 계층(PL)은 교번으로 배치된다. 컨볼루션계층(CL: CL1, CL2)과 풀링 계층(PL: PL1, PL2) 각각은 복수의 특징 지도(Feature Map)로 이루어지며, 이러한 특징 지도 각각은 소정 크기의 행렬이다. 특징 지도를 이루는 행렬의 원소 각각의 값은 이전 계층의 행렬 값에 커널(K)을 이용한 컨볼루션 연산(convolution) 혹은 풀링 연산(pooling 혹은 subsampling)을 적용하여 산출된다. 여기서, 여기서, 커널(K)은 소정 크기의 행렬이며, 커널(K)을 이루는 행렬의 각 원소의 값은 가중치(w)가 된다. 완전연결계층(FL)은 복수의 노드(혹은 sigmoid: F1, F2, F3, ..., Fn)를 포함하며, 완전연결계층의 연산 또한 가중치(w)가 적용되어 출력계층(OL)의 복수의 출력노드(N1, N2, ..., Nm)에 입력된다. The input layer IL is composed of a matrix having a predetermined size. The artificial neural network 100 is illustrated as being composed of two pairs, including a first convolutional layer CL1, a first pooling layer PL1, a second convolutional layer CL2, and a second pooling layer PL2. The present invention is not limited to this. The convolutional layer CL and the pooling layer PL may each exist in one or two or more pairs. Also, when present in two or more pairs, the convolutional layer CL and the pooling layer PL are alternately arranged. Each of the convolutional layers CL: CL1 and CL2 and the pooling layers PL: PL1 and PL2 consists of a plurality of feature maps, each of which is a matrix of a predetermined size. The value of each element of the matrix constituting the feature map is calculated by applying convolution or pooling or subsampling using the kernel K to the matrix value of the previous layer. Here, the kernel K is a matrix having a predetermined size, and the value of each element of the matrix constituting the kernel K becomes a weight w. The fully connected layer FL includes a plurality of nodes (or sigmoids: F1, F2, F3, ..., Fn), and the calculation of the fully connected layer is also applied with a weight w to apply the plurality of nodes of the output layer OL. Are input to the output nodes N1, N2, ..., Nm.

출력계층(OL)은 복수개의 출력노드(N1, N2, ..., Nm)로 구성된다. 복수의 출력노드(N1, N2, ..., Nm) 각각은 워터마킹 공격 기법에 대응하며, 복수의 출력노드(N1, N2, ..., Nm) 각각의 출력값은 입력된 영상(학습 데이터 혹은 대상 데이터)이 해당 출력노드에 대응하는 워터마킹 공격 기법(이하, '공격 기법'으로 축약함)에 따라 변형되었을 확률을 나타낸다. 예를 들면, 제1 출력 노드(N1)는 공격 기법 1(예컨대, affine transform)에 대응하며, 제1 출력 노드(N1)의 출력값인 출력값 1은 입력되는 데이터, 즉, 학습 데이터 혹은 대상 데이터인 영상이 공격 기법 1에 의해 변형되었을 확률을 나타낸다. 다른 예로, 제m 출력 노드(Nm)는 공격 기법 m(예컨대, Gaussian filtering)에 대응하며, 제m 출력 노드(Nm)의 출력값인 출력값 m은 입력되는 데이터, 즉, 학습 데이터 혹은 대상 데이터인 영상이 공격 기법 m에 의해 변형되었을 확률을 나타낸다. The output layer OL is composed of a plurality of output nodes N1, N2, ..., Nm. Each of the plurality of output nodes N1, N2, ..., Nm corresponds to a watermarking attack technique, and output values of each of the plurality of output nodes N1, N2, ..., Nm are inputted images (learning data). Or target data), which represents the probability that the target data has been modified according to the watermarking attack technique (hereinafter, abbreviated as 'attack technique') corresponding to the corresponding output node. For example, the first output node N1 corresponds to attack technique 1 (eg, affine transform), and output value 1, which is an output value of the first output node N1, is input data, that is, training data or target data. Indicates the probability that the image was modified by the attack technique 1. As another example, the m th output node Nm corresponds to the attack technique m (eg, Gaussian filtering), and an output value m that is an output value of the m th output node Nm is input data, that is, image data that is training data or target data. Shows the probability of being modified by this attack technique m.

인공신경망(100)의 복수의 계층(IL, CL, PL, FL, OL) 각각은 복수의 연산을 포함한다. 특히, 인공신경망(100)의 복수의 계층의 복수의 연산 각각은 가중치(w)가 적용되어 그 결과가 다음 계층으로 전달되어 다음 계층의 입력이 된다. 인공신경망(100)이 본 발명의 실시예에 따라 영상에 적용된 공격 기법을 식별하기 위하여 학습부(300)는 복수의 학습 데이터를 이용하여 인공신경망(100)을 학습(learning)시킨다. 이러한 학습 방법에 대해서 설명하기로 한다. 학습 데이터인 영상이 인공신경망(100)에 입력되면, 인공신경망(100)은 전술한 바와 같은 가중치(w)가 적용되는 복수의 연산을 통해 연산 결과를 출력할 것이다. 학습 데이터는 워터마킹 공격 기법이 알려진 영상이기 때문에, 학습부(300)가 학습 데이터인 영상을 인공신경망(100)에 입력했을 때, 인공신경망(100)의 출력은 해당 공격기법에 대응하는 출력노드의 출력값이 가장 높은 확률값이 출력될 것으로 기대할 수 있다. 이러한 기대에 따른 출력값을 기댓값이라고 한다. 하지만, 충분히 학습되지 않은 인공신경망(100)은 출력값과 기댓값의 차이가 있다. 따라서 학습부(300)는 학습 데이터를 입력할 때마다, 기댓값과 출력값의 차이가 최소가 되도록 역전파(Back-propagation) 알고리즘을 통해 인공신경망(100)의 가중치(W)를 수정하는 학습을 수행한다. 이와 같이, 본 발명의 실시예에 따른 학습(deep learning)은 입력되는 학습 데이터에 상응하는 기댓값을 정해 놓고, 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 연산에 적용되는 가중치(w)를 수정하는 것이다. 학습부(300)는 인공신경망(100)이 충분히 학습된 것으로 판단될 때까지, 전술한 바와 같은 학습(deep learning) 절차를 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행한다. 여기서, 학습부(300)는 기댓값과 출력값의 차이가 소정 수치 이하이면서 어떤 학습 데이터를 입력한 경우에도 출력값이 변동이 없으면, 인공신경망(100)이 충분히 학습된 것으로 판단할 수 있다. Each of the plurality of layers IL, CL, PL, FL, and OL of the artificial neural network 100 includes a plurality of operations. In particular, each of a plurality of operations of a plurality of layers of the artificial neural network 100 is applied with a weight w, and the result is transferred to the next layer to be input to the next layer. In order for the artificial neural network 100 to identify an attack technique applied to an image according to an exemplary embodiment of the present invention, the learning unit 300 learns the artificial neural network 100 using a plurality of training data. This learning method will be described. When the image, which is training data, is input to the artificial neural network 100, the artificial neural network 100 will output the calculation result through a plurality of operations to which the weight w as described above is applied. Since the training data is an image of which a watermarking attack technique is known, when the learning unit 300 inputs an image, which is training data, to the artificial neural network 100, the output of the artificial neural network 100 is an output node corresponding to the attack technique. It can be expected that the output value of the highest probability value is output. The output based on these expectations is called the expected value. However, the artificial neural network 100 that is not sufficiently learned has a difference between the output value and the expected value. Therefore, each time the learning unit 300 inputs the training data, the learning unit 300 learns to modify the weight W of the artificial neural network 100 through a back-propagation algorithm such that the difference between the expected value and the output value is minimized. do. As described above, in the deep learning according to an embodiment of the present invention, a weight value w is applied to the calculation of the artificial neural network 100 so as to set an expected value corresponding to the input learning data and minimize the difference between the output value and the expected value. ). The learning unit 300 repeatedly performs the deep learning procedure as described above using a plurality of different learning data until it is determined that the artificial neural network 100 has been sufficiently learned. Here, the learning unit 300 may determine that the artificial neural network 100 has been sufficiently learned if the difference between the expected value and the output value is less than a predetermined value and the output value does not change even when any learning data is input.

다음으로, 본 발명의 실시예에 따른 인공신경망을 이용한 워터마킹 공격 기법을 검출하고, 이에 따라, 삽입 이미지를 추출하는 방법에 대해서 설명하기로 한다. 이를 위하여, 먼저, 인공신경망에 대한 학습이 이루어져야 하며, 이러한 학습 방법에 대해서 설명하기로 한다. 도 17은 본 발명의 실시예에 따른 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다. Next, a method of detecting a watermarking attack technique using an artificial neural network according to an embodiment of the present invention and, accordingly, extracting an embedded image will be described. To this end, first, the neural network must be learned, and this learning method will be described. 17 is a flowchart illustrating a method of learning an artificial neural network according to an embodiment of the present invention.

도 17을 참조하면, 가공부(500)는 S610 단계에서 대상 데이터(원본 영상)가 입력되면, S620 단계에서 소정의 워터마킹 기법을 적용하여 대상 데이터(원본 영상)에 대해 삽입 이미지를 삽입하는 워터마킹을 수행한다. 다음으로, 가공부(500)은 S630 단계에서 소정의 워터마킹 공격 기법을 적용하여 워터마킹이 이루어진 대상 데이터를 변형한다. 이때, 다양한 워터마킹 공격 기법들이 적용될 수 있다. 워터마킹 공격 기법은 아핀 변형(affine transform), JPEG 압축(JPEG compression), 가우시안 필터링(Gaussian filtering) 등을 예시할 수 있다. 도 17을 참조로 하는 실시예에서 학습 데이터는 적어도 워터마킹 공격 기법이 알려진 영상을 의미한다. Referring to FIG. 17, when the target data (original image) is input in step S610, the processing unit 500 inserts an inserted image into the target data (original image) by applying a predetermined watermarking technique in step S620. Perform marking Next, the processing unit 500 applies a predetermined watermarking attack technique in step S630 to modify the target data is watermarked. In this case, various watermarking attack techniques may be applied. The watermarking attack technique may illustrate an affine transform, JPEG compression, Gaussian filtering, and the like. In the embodiment with reference to FIG. 17, the training data refers to an image at which a watermarking attack technique is known.

다음으로, 학습부(300)는 S640 단계에서 학습 데이터를 입력 받고, 입력된 학습 데이터를 인공신경망(100)에 입력한다. 이 실시예에서, 인공신경망(100)은 복수의 출력노드(N1, N2, N3, ..., Nm)를 가지며, 복수의 출력노드(N1, N2, N3, ..., Nm) 각각은 워터마킹 공격 기법에 대응하며, 복수의 출력노드(N1, N2, N3, ..., Nm) 각각의 출력값은 학습 데이터가 해당 출력노드에 대응하는 워터마킹 공격 기법이 적용되어 변형되었을 확률을 나타낸다. 이에 따라, 기댓값은 학습 데이터의 알려진 워터마킹 공격 기법에 대응하는 출력노드의 출력값이 다른 출력노드 각각의 출력값 보다 소정 수치 이상 높은 값을 가지는 것이 될 수 있다. 따라서 인공신경망(100)은 학습 데이터가 입력되면, 복수의 계층의 각각이 가중치(w)가 적용되는 복수의 연산을 통해 출력값을 산출한다. 이에 따라, 학습부(300)는 S650 단계에서 인공신경망(100)의 출력값과 기댓값의 차이가 최소가 되도록 인공신경망(100)의 가중치(w)를 수정한다. Next, the learning unit 300 receives the learning data in step S640, and inputs the input learning data into the artificial neural network 100. In this embodiment, the artificial neural network 100 has a plurality of output nodes (N1, N2, N3, ..., Nm), each of the plurality of output nodes (N1, N2, N3, ..., Nm) Corresponding to the watermarking attack technique, the output value of each of the plurality of output nodes N1, N2, N3, ..., Nm indicates the probability that the training data has been modified by applying the watermarking attack technique corresponding to the corresponding output node. . Accordingly, the expected value may be such that the output value of the output node corresponding to the known watermarking attack technique of the training data has a predetermined value higher than the output value of each of the other output nodes. Therefore, when the training data is input, the artificial neural network 100 calculates an output value through a plurality of operations in which weights w are applied to each of the plurality of layers. Accordingly, the learning unit 300 modifies the weight w of the artificial neural network 100 to minimize the difference between the output value and the expected value of the artificial neural network 100 in step S650.

전술한 S610 및 S650 단계는 적어도 하나의 워터마킹 기법, 복수의 워터마킹 공격 기법 각각에 대해 반복하여 수행되며, 복수의 학습 데이터를 입력하여 기댓값과 출력값의 차이가 최소가 되면서 출력값이 변동이 없을 때까지 반복하여 수행한다. 이러한 경우, 학습부(300)는 인공신경망(100)이 충분히 학습이 이루어진 것으로 판단한다. Steps S610 and S650 described above are repeatedly performed for each of at least one watermarking technique and a plurality of watermarking attack techniques, and when the output value is unchanged while the difference between the expected value and the output value is minimized by inputting the plurality of learning data. Repeat until. In this case, the learning unit 300 determines that the artificial neural network 100 has been sufficiently learned.

전술한 바와 같이, 인공신경망(100)이 영상에 적용된 워터마킹 공격 기법에 대해 충분히 학습된 경우, 본 발명의 실시예에 따라 워터마킹 공격이 이루어진 경우에도 삽입 이미지를 추출할 수 있다. 도 18은 본 발명의 실시예에 따른 인공신경망을 이용한 워터마킹을 처리하기 위한 방법을 설명하기 위한 흐름도이다. As described above, when the artificial neural network 100 is sufficiently learned about the watermarking attack technique applied to the image, the inserted image may be extracted even when the watermarking attack is performed according to an embodiment of the present invention. 18 is a flowchart illustrating a method for processing watermarking using an artificial neural network according to an embodiment of the present invention.

판단부(400)는 S710 단계에서 대상 데이터를 입력 받으면, 입력된 대상 데이터를 인공신경망(100)에 입력한다. 여기서, 대상 데이터는 워터마킹이 이루어지고, 워터마킹 기법이 알려져 있어, 삽입 이미지 추출을 시도했지만, 삽입 이미지가 추출되지 않거나, 식별 불가능한 상태로 추출된 영상이고, 그 워터마킹 공격 기법을 알 수 없는 워터마킹 공격이 의심되는 영상이 될 수 있다. 대상 데이터가 입력되면, 인공신경망(100)은 복수의 계층의 각각이 가중치가 적용되는 복수의 연산을 수행하여 출력값을 산출한다. 인공신경망(100)의 출력값은 워터마킹 공격 기법을 나타낸다. 예를 들면, 대상 데이터는 제1 워터마킹 공격 기법(예컨대, affine transform)에 의해 변형된 상태라고 가정한다. 또한, 제1 워터마킹 공격 기법에 대응하는 출력 노드는 제1 출력노드(N1)이며, 제1 출력노드(N1)의 출력값이 다른 출력 노드의 출력값 보다 소정 수치 이상 높은 값으로 출력될 것이다. 따라서 판단부(400)는 S720 단계에서 인공신경망(100)의 출력값에 따라 워터마킹 공격 기법을 식별한다. When the determination unit 400 receives the target data in operation S710, the determination unit 400 inputs the input target data into the artificial neural network 100. Here, the target data is watermarked, the watermarking technique is known, and an attempt was made to extract the inserted image, but the inserted image was not extracted or was extracted in an unidentifiable state, and the watermarking attack technique was unknown. The watermarking attack may be suspected. When the target data is input, the artificial neural network 100 calculates an output value by performing a plurality of operations in which each of the plurality of layers is weighted. The output value of the artificial neural network 100 represents a watermarking attack technique. For example, it is assumed that the target data is modified by a first watermarking attack technique (eg, an affine transform). In addition, the output node corresponding to the first watermarking attack technique is the first output node N1, and the output value of the first output node N1 will be output to a value higher than a predetermined value by the output value of the other output node. Therefore, the determination unit 400 identifies the watermarking attack technique according to the output value of the artificial neural network 100 in step S720.

이어서, 가공부(500)는 S730 단계에서 앞서 식별된 워터마킹 공격 기법에 따라 대상 데이터를 복원한다. 즉, 가공부(500)는 워터마킹 공격 기법에 따라 변환된 대상 데이터를 워터마킹 공격 기법을 이용하여 역변환한다. 다음으로, 가공부(500)는 S740 단계에서 역변환된 대상 데이터에서 알려진 워터마킹 기법에 따라 삽입 이미지를 추출한다. Subsequently, the processing unit 500 restores the target data according to the watermarking attack technique previously identified in operation S730. That is, the processing unit 500 inversely converts the target data converted according to the watermarking attack technique using the watermarking attack technique. Next, the processing unit 500 extracts an embedded image according to a known watermarking technique from the target data inversely transformed in operation S740.

다음으로, 본 발명의 다른 실시예에 따른 워터마킹 공격 기법 도출 방법에 대해서 설명하기로 한다. 도 19는 본 발명의 실시예에 따른 워터마킹 공격 기법을 도출하는 방법을 설명하기 위한 흐름도이다. Next, a method of deriving a watermarking attack method according to another embodiment of the present invention will be described. 19 is a flowchart illustrating a method of deriving a watermarking attack technique according to an embodiment of the present invention.

도 19를 참조하면, 가공부(500)는 S800 단계에서 임의의 영상인 원본 데이터에 대해 복수의 워터마킹 기법 및 복수의 워터마킹 공격 기법을 적용하고, 평가한다. 구체적으로, 가공부(500)는 원본 데이터가 입력되면, S810 단계에서 워터마킹 기법을 적용하여 원본 데이터에 삽입 이미지를 삽입하는 워터마킹을 수행한다. 다음으로, 가공부(500)는 S820 단계에서 워터마킹 공격 기법을 적용하여 워터마킹이 이루어진 원본 데이터를 변형한다. 다음으로, 가공부(500)는 워터마킹 공격 기법에 따라 변형된 원본 데이터로부터 앞서(S810) 적용된 워터마킹 기법을 이용하여 삽입이미지를 추출한다. Referring to FIG. 19, in operation S800, the processing unit 500 applies and evaluates a plurality of watermarking techniques and a plurality of watermarking attack techniques on original data that is an image. In detail, when the original data is input, the processing unit 500 performs watermarking by inserting an inserted image into the original data by applying a watermarking technique in step S810. Next, the processing unit 500 applies the watermarking attack technique in step S820 to modify the original data is watermarking. Next, the processing unit 500 extracts the inserted image from the original data modified according to the watermarking attack technique (S810) using the watermarking technique applied earlier.

그런 다음, 평가부(600)는 S840 단계에서 원본 데이터와 워터마킹 공격 기법에 의해 변형된 원본 데이터를 비교하고, 삽입이미지와 워터마킹 공격 기법에 의해 변형된 삽입이미지를 비교하여 이러한 평가는 워터마킹 공격 기법에 의해 변형된 원본 데이터 및 삽입 이미지의 손실 정도를 평가한다. 구체적으로, 평가부(600)는 원본 데이터 및 삽입 이미지 각각의 화질 손실 정보를 평가하기 위한 최대신호대잡음비(PSNR: Peak Signal-to-noise ratio), 원본 데이터 및 삽입 이미지 각각의 오류가 발생한 비트의 수를 평가하기 위한 비트 오류율(BER: Bit error rate), 그리고, 원본 데이터 및 삽입 이미지 각각의 워터마킹 공격이 이루어지기 전과 후의 유사도를 평가하기 위한 정규상관계수(NCC: normalized correlation coefficient)의 값을 산출하여 평가를 수행한다. Then, the evaluator 600 compares the original data and the original data modified by the watermarking attack technique in step S840, and compares the inserted image and the inserted image modified by the watermarking attack technique. The degree of loss of the original data and the embedded image modified by the attack technique is evaluated. In detail, the evaluation unit 600 may determine a peak signal-to-noise ratio (PSNR) for evaluating image quality loss information of each of the original data and the embedded image, and a bit in which an error occurs in each of the original data and the embedded image. Bit error rate (BER) to evaluate the number, and normalized correlation coefficient (NCC) to evaluate the similarity before and after the watermarking attack of each of the original data and the embedded image. Calculate and perform the evaluation.

전술한 S810 단계 내지 S840 단계를 포함하는 S800 단계는 서로 다른 복수의 워터마킹 기법과 서로 다른 복수의 워터마킹 공격 기법을 이용하여 반복하여 수행된다. Step S800 including the above-described steps S810 to S840 is repeatedly performed using a plurality of different watermarking techniques and a plurality of different watermarking attack techniques.

전술한 S800 단계 후, 평가부(600)는 S900 단계에서 각 워터마킹 기법에 대응하여 워터마킹 공격에 따라 원본 데이터의 손실이 가장 적으면서 추출된 삽입이미지의 손실이 가장 큰 워터마킹 공격 기법을 도출한다. 즉, 각 워터마킹 기법에 대응하여 가장 효과적인 워터마킹 공격 기법을 도출한다. 도출된 워터마킹 공격 기법은 앞서 도 1 내지 도 18을 통해 설명된 다양한 실시예의 학습 데이터를 생성하는 데에 사용될 수 있다. After the above-described step S800, the evaluator 600 derives the watermarking attack technique having the largest loss of the extracted image while the loss of the original data is the least according to the watermarking attack in response to each watermarking technique in step S900. do. In other words, the most effective watermarking attack method is derived corresponding to each watermarking method. The derived watermarking attack technique can be used to generate the training data of the various embodiments described above with reference to FIGS. 1-18.

한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable through various computer means may be recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. For example, the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs, DVDs, or magnetic-optical media such as floptical disks. magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level languages that can be executed by a computer using an interpreter, as well as machine languages such as those produced by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the invention has been described using some preferred embodiments, these embodiments are illustrative and not restrictive. As such, those of ordinary skill in the art will appreciate that various changes and modifications may be made according to equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

100: 인공신경망
IL: 입력계층
CL: 컨볼루션계층
PL: 풀링계층
FL: 완전연결계층
OL: 출력계층
200: 전처리부
300: 학습부
400: 판단부
500: 가공부
600: 평가부100: artificial neural network
IL: input layer
CL: Convolutional Layer
PL: Pooling Layer
FL: fully connected layer
OL: output layer
200: preprocessing unit
300: learning unit
400: judgment
500: machining
600: evaluation unit

Claims

An apparatus for processing watermarking using an artificial neural network for identifying an object,
A preprocessor configured to set at least one object area in the target data;
An artificial neural network comprising a plurality of layers each including a plurality of operations to which weights are applied, and outputting a probability that a predetermined object is included in the object area;
A determination unit for inputting the object region to the artificial neural network, identifying an object included in the object region according to the output of the artificial neural network, and deriving a watermarking region according to the identified object; And
And a processing unit for watermarking the inserted image in the watermarking area.
The artificial neural network
Including an input layer, a convolutional layer, a pooling layer, a fully connected layer, and an output layer,
The output layer is composed of a plurality of nodes,
Each of the plurality of nodes corresponds to a predetermined object,
And each of the plurality of nodes outputs a probability value that includes a predetermined object corresponding to the object region.

The method of claim 1,
The determination unit
The identified object is classified into a watermarking object and a blind object according to a predetermined rule, and an area excluding the area containing the blind object is classified as the watermarking area in the object area including the watermarking object. Apparatus for processing watermarking, characterized in that the included area is classified into a blind area.

The method of claim 1,
A learning unit configured to input learning data, which is an image including a known predetermined object, to input to the artificial neural network, and calculate the weight such that an output value of the artificial neural network has a minimum difference from a target value representing the known predetermined object; Apparatus for processing watermarking further comprising.

The method of claim 1,
The processing part
Watermark processing, characterized in that to extract a feature value from the watermarking area, to calculate a chaos value from logistic mapping, to watermark the inserted image using the feature value and the chaos value, and to generate a stego key Device for

A method for identifying water and processing watermarking using an artificial neural network comprising an input layer, a convolutional layer, a pooling layer, a fully connected layer, and an output layer,
Setting, by the preprocessor, at least one object area in the target data;
An artificial neural network comprising a plurality of hierarchies each including a plurality of operations that are weighted outputs a probability that a predetermined object is included in the object region, wherein the output layer is composed of a plurality of nodes. Outputting a probability value corresponding to each of the predetermined objects and including the predetermined object in the object area;
Determining, by the determination unit, an object included in the object area according to the output of the artificial neural network, and deriving a watermarking area according to the identified object; And
And a processing unit watermarking the inserted image in the watermarking area.

A computer-readable recording medium having recorded thereon a program for performing a method for processing watermarking using an artificial neural network according to claim 5.