KR20110101577A

KR20110101577A - The video watermarking system for inaccessible contents using overlay channel and the method thereof

Info

Publication number: KR20110101577A
Application number: KR1020100020668A
Authority: KR
Inventors: 이흥규; 이지원; 오태우; 이민정; 김경수; 김희동
Original assignee: 한국과학기술원
Priority date: 2010-03-09
Filing date: 2010-03-09
Publication date: 2011-09-16
Also published as: KR101104649B1

Abstract

본 발명은 동영상 워터마킹 시스템 및 방법에 관한 것으로서, 디지털 멀티미디어 재생 기기의 오버레이채널을 이용한 인지시각시스템을 기반으로 하여 워터마크패턴을 생성 및 삽입할 수 있어, 셋톱박스와 같이 동영상 콘텐츠의 원본 데이터에 접근이 불가능하도록 제작된 경우에도, 원본 영상 없이도 동영상 워터마킹 시스템 및 방법을 구현할 수 있다.
또한, 기하학적 왜곡을 비롯한 복합적 공격을 내재하고 있는 캠코더 촬영 공격에 대해 강인성을 가지고, 촬영된 영상을 다양한 크기의 다른 영상 포맷으로 변환하는 공격에도 강인성을 지니는 동영상 워터마킹 시스템 및 방법을 구현할 수 있다.The present invention relates to a video watermarking system and method, which can generate and insert a watermark pattern based on a cognitive visual system using an overlay channel of a digital multimedia playback device. Even if it is made inaccessible, the video watermarking system and method can be implemented without the original video.
In addition, it is possible to implement a video watermarking system and method having robustness against a camcorder shooting attack incorporating a complex attack including geometric distortion, and having a robustness against an attack of converting a captured image into different image formats of various sizes.

Description

The Video Watermarking System for Inaccessible Contents Using Overlay Channel and the Method Thereof}

본 발명은 동영상 워터마킹 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 접근 불가능한 콘텐츠를 위해 원본 영상 위에 원본 영상과는 무관한 워터마킹 정보를 반투명하게 삽입하는 오버레이채널을 이용한 동영상 워터마킹 시스템 및 그 방법에 관한 것이다.
The present invention relates to a video watermarking system and a method thereof, and more particularly, to a video watermarking system using an overlay channel for semi-transparently inserting watermarking information irrelevant to the original video onto an original video for inaccessible content. It is about a method.

최근 초고속 인터넷을 이용하여 미디어 콘텐츠 서비스 및 방송 등을 텔레비전 수상기로 제공하는 양방향 서비스인 IPTV(Internet Protocol TeleVision)가 많은 관심을 받고 있다. IPTV는 시청자가 자신이 원하는 시간에 보고 싶은 프로그램만 볼 수 있다는 점에서 케이블 방송과는 다르다고 할 수 있다. Recently, the Internet Protocol TeleVision (IPTV), an interactive service that provides media content services and broadcasts to a television receiver using high-speed Internet, has received much attention. IPTV differs from cable broadcasting in that viewers can only watch the programs they want to watch at their desired time.

IPTV를 이용하기 위해서는 텔레비전 수상기 외에 셋톱박스(settop box, STB)와 인터넷 회선이 필요하다. 사용자가 시청하기 원하는 미디어 콘텐츠를 선택하게 되면 셋톱박스를 통하여 서비스 제공자(service provider)에게 그 정보가 전송되고, 서비스 제공자는 사용자가 원하는 미디어 콘텐츠를 인터넷 회선을 이용하여 셋톱박스로 전송해줌으로써 사용자는 원하는 미디어 콘텐츠를 시청할 수 있게 된다. 이렇게 보내진 미디어 콘텐츠의 대부분은 저작권 보호가 필요한 것이다. 즉, IPTV에서 제공하는 미디어 콘텐츠들이 불법적으로 녹화되고 유통될 경우 사회적, 경제적으로 여러 문제들이 생길 수 있다. In order to use IPTV, a set top box (STB) and an internet line are required in addition to a television receiver. When the user selects the media content that they want to watch, the information is transmitted to the service provider through the set-top box, and the service provider transmits the desired media content to the set-top box using the Internet line. You can watch the desired media content. Most of the media content sent in this way requires copyright protection. In other words, if media contents provided by IPTV are illegally recorded and distributed, various problems may occur socially and economically.

하지만, 아직까지 IPTV에서 제공하는 미디어 콘텐츠에 대한 저작권 보호 정책 수립 및 관련 기술에 대한 연구 개발이 미흡한 실정이다. 따라서 IPTV의 특성에 적합한 디지털 워터마킹과 같은 저작권 보호 기술의 개발이 조속히 이루어져야 한다.However, it is still insufficient to establish a copyright protection policy and related technologies for media content provided by IPTV. Therefore, the development of copyright protection technology such as digital watermarking suitable for the characteristics of IPTV should be done at once.

게다가 현재 상용화되고 있는 셋톱박스는 재생되고 있는 미디어 콘텐츠를 직접적으로 녹화하지 못하게 설계되어 있는 것이 대부분이다. 이와 같은 환경 하에서는 고해상도 캠코더를 이용하여 텔레비전 수상기를 직접 촬영하는 방법으로 디지털 콘텐츠를 불법 유통시키는 방법이 주로 행해진다. In addition, most commercially available set-top boxes are designed to not directly record the media content being played. Under such circumstances, a method of illegally distributing digital content is mainly performed by directly photographing a television receiver using a high resolution camcorder.

일반적으로 동영상 콘텐츠의 저작권을 보호하기 위해 콘텐츠의 원본 데이터를 이용하여 워터마크패턴을 생성하고 삽입하는 워터마킹 기술은 많이 개발되어 있다. 그러나 대부분의 셋톱박스에서는 원본 미디어 콘텐츠의 고유한 값에 접근하거나 그 값을 수정할 수 없어서, 원본 데이터를 이용하는 워터마킹 기술을 이용할 수 없는 문제점이 있다.In general, watermarking techniques for generating and inserting a watermark pattern using the original data of the content have been developed to protect the copyright of the video content. However, most set-top boxes cannot access or modify unique values of original media content, and thus there is a problem in that watermarking technology using original data cannot be used.

또한 셋톱박스 등에 적용될 워터마킹 시스템은 기하학적 왜곡을 비롯한 복합적 공격을 내재하고 있는 캠코더 촬영 공격에 대해 강인성을 가져야 하며, 촬영된 영상을 다양한 크기의 다른 영상 포맷으로 변환하는 공격에도 강인성을 지녀야 한다.
In addition, the watermarking system to be applied to set-top boxes should be robust against camcorder shooting attacks incorporating a complex attack including geometric distortion, and it should also be robust against an attack that converts the captured video into different image formats of various sizes.

본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 디지털 멀티미디어 재생 기기의 오버레이채널을 이용하고 인지시각시스템(Human Visual System, HVS)을 기반으로 하여 워터마크패턴을 생성 및 삽입할 수 있어, 셋톱박스와 같이 동영상 콘텐츠의 원본 데이터에 접근이 불가능하도록 제작된 경우에도, 원본 데이터 없이 동영상 워터마킹 시스템 및 방법을 구현하는 것에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has an object of solving the above technical problem, and generates and inserts a watermark pattern using an overlay channel of a digital multimedia playback device and based on a human visual system (HVS). Even if the original data of the video content, such as a set-top box is made inaccessible, the purpose is to implement a video watermarking system and method without the original data.

또한, 기하학적 왜곡을 비롯한 복합적 공격을 내재하고 있는 캠코더 촬영 공격에 대해 강인성을 가지고, 촬영된 영상을 다양한 크기의 다른 영상 포맷으로 변환하는 공격에도 강인성을 지니는 동영상 워터마킹 시스템 및 방법을 구현하는 것에 그 목적이 있다.In addition, the video watermarking system and method which is robust against the camcorder shooting attack incorporating the complex attack including the geometric distortion, and also has the robustness against the attack that converts the captured video into different image formats of various sizes, There is a purpose.

본 발명의 일실시예에 따른 오버레이채널을 이용한 동영상 워터마킹 시스템은 워터마크삽입시스템과 워터마크검출시스템을 포함한다. A video watermarking system using an overlay channel according to an embodiment of the present invention includes a watermark insertion system and a watermark detection system.

상기 워터마크삽입시스템의 바람직한 일실시예는 워터마크패턴 보안을 위해 비밀키를 생성하고, 생성된 비밀키를 이용하여 스펙트럼 확산(Spread Spectrum) 워터마킹 기법에 의해 기본워터마크패턴을 생성하고, 워터마크변조모듈의 입력 정보량에 맞추어 기본워터마크패턴을 가공한 워터마크패턴을 만드는 워터마크생성모듈; 상기 워터마크생성모듈에 의해 생성된 워터마크패턴을 인지시각시스템을 이용하여 변조하는 워터마크변조모듈; 및 상기 워터마크변조모듈로부터의 워터마크패턴이 정해진 위치 및 시간에 오버레이채널로 삽입될 수 있도록 조절하고, 오버레이채널에 삽입된 워터마크패턴과 원본 영상을 결합하여 워터마킹된 영상을 작성하는 워터마크제어모듈;을 포함한다.According to an embodiment of the watermark insertion system, a secret key is generated for security of a watermark pattern, and a basic watermark pattern is generated by a spread spectrum watermarking technique using the generated secret key. A watermark generation module for creating a watermark pattern obtained by processing the basic watermark pattern according to the input information amount of the mark modulation module; A watermark modulation module for modulating the watermark pattern generated by the watermark generation module using a recognition visual system; And adjusting the watermark pattern from the watermark modulation module to be inserted into the overlay channel at a predetermined position and time, and combining the watermark pattern inserted into the overlay channel with the original image to create a watermarked image. It includes a control module.

상기 워터마크생성모듈에서의 워터마크패턴의 생성은 사용자로부터 입력받은 초기 비밀키로부터 기본워터마크패턴을 생성하는 기본워터마크패턴의 생성단계; 페이로드패턴의 확장단계에 입력할 정보량에 맞추기 위해 상기 기본워터마크패턴을 변형하는 페이로드패턴의 생성단계; 상기 워터마크 페이로드패턴의 패턴 사이즈를 확장하는 페이로드패턴의 확장단계; 및 상기 확장된 워터마크 페이로드패턴을 반복하는 페이로드패턴의 반복단계;를 포함하는 것이 바람직하다.Generating a watermark pattern in the watermark generation module comprises the steps of: generating a basic watermark pattern from an initial secret key received from a user; Generating a payload pattern which deforms the basic watermark pattern to fit the amount of information to be input in the expansion step of the payload pattern; Expanding the payload pattern to expand the pattern size of the watermark payload pattern; And repeating the payload pattern for repeating the extended watermark payload pattern.

상기 기본워터마크패턴의 생성단계의 바람직한 일실시예는, 사용자로부터 입력받은 초기 비밀키를 이용한 첫번째 기본워터마크패턴 생성단계; 상기 초기 비밀키와 상기 첫번째 기본워터마크패턴의 정보의 합에 의해 두번째 비밀키를 생성하고, 상기 두번째 비밀키를 이용한 두번째 기본워터마크패턴 생성단계; 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴 및 상기 두번째 기본워터마크패턴의 정보의 합에 의해 세번째 비밀키를 생성하고, 상기 세번째 비밀키를 이용한 세번째 기본워터마크패턴 생성단계; 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴, 상기 두번째 기본워터마크패턴 및 상기 세번째 기본워터마크패턴의 정보의 합에 의해 네번째 비밀키를 생성하고, 상기 네번째 비밀키를 이용한 네번째 기본워터마크패턴 생성단계; 및 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴, 상기 두번째 기본워터마크패턴, 상기 세번째 기본워터마크패턴 및 상기 네번째 기본워터마크패턴의 정보의 합에 의해 다섯번째 비밀키를 생성하고, 상기 다섯번째 비밀키를 이용한 다섯번째 기본워터마크패턴 생성단계;를 포함한다.One preferred embodiment of the step of generating the basic watermark pattern, the first basic watermark pattern generation step using the initial secret key received from the user; Generating a second secret key based on the sum of the information of the initial secret key and the first basic water mark pattern, and generating a second basic water mark pattern using the second secret key; Generating a third secret key based on the sum of the information of the initial secret key, the first basic water mark pattern, and the second basic water mark pattern, and generating a third basic water mark pattern using the third secret key; A fourth secret key is generated based on the sum of the information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, and the third basic water mark pattern, and a fourth basic water mark pattern is generated using the fourth secret key. step; And a fifth secret key is generated by the sum of information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, the third basic water mark pattern, and the fourth basic water mark pattern. And a fifth basic watermark pattern generation step using a secret key.

또한 상기의 비밀키는 시간 축에 기반한 순환적 키 생성기를 이용하여 비밀키를 생성하며, 비밀키의 컨트롤은 워터마크패턴의 반복 시간에 의해 이루어지는 것을 특징으로 한다.In addition, the secret key generates a secret key using a recursive key generator based on a time axis, and the control of the secret key is performed by the repetition time of the watermark pattern.

그리고 상기 페이로드패턴의 생성단계는 페이로드패턴의 확장단계에 입력할 정보량에 맞추기 위해 상기 기본워터마크패턴을 순환시프트 및 패턴 플립하는 방법에 의해 변형하는 것을 특징으로 한다.In the generating of the payload pattern, the basic watermark pattern is deformed by cyclic shifting and pattern flipping to match the amount of information to be input in the expanding step of the payload pattern.

아울러 상기 워터마크생성모듈은 상기 워터마크제어모듈이 실시간으로 오버레이채널에 워터마크패턴을 삽입할 수 있도록 연산을 수행하기 위하여 정수 연산으로 패턴을 생성하는 것이 바람직하다.In addition, the watermark generation module preferably generates a pattern by an integer operation in order to perform the operation so that the watermark control module inserts a watermark pattern in the overlay channel in real time.

상기 워터마크변조모듈의 바람직한 일실시예는 밝기 영역을 이용하여 워터마크패턴의 색상을 선택하고, 밝기 마스킹을 이용하여 워터마크패턴의 투명도를 결정하고, 마하밴드 효과를 고려하여 패딩을 삽입하는 것을 특징으로 한다.One preferred embodiment of the watermark modulation module is to select the color of the watermark pattern using the brightness region, determine the transparency of the watermark pattern using the brightness masking, and insert padding in consideration of the Mach band effect. It features.

또한 상기 워터마크변조모듈은 기존에 계산 되어 있는 워터마크패턴의 임의의 부분을 재사용함으로써 계산량을 줄이고, 실수 연산을 배제하고 정수 연산으로만 계산을 수행함으로써, 상기 워터마크제어모듈이 오버레이채널을 이용하여 원본 영상에 워터마크패턴을 실시간으로 삽입하도록 하는 것이 바람직하다.In addition, the watermark modulation module reduces the calculation amount by reusing an arbitrary portion of the previously calculated watermark pattern, excludes a real operation and performs calculation only by integer operation, so that the watermark control module uses an overlay channel. It is desirable to insert the watermark pattern in the original image in real time.

아울러 상기 워터마크변조모듈은 메모리의 내용을 가져오거나 쓸 때 언제나 같은 범위를 가져오도록 메모리 정렬을 수행하고, 명령어 파싱을 수행하여 최대한 적은 사이클 내에 해당 오퍼레이션이 수행될 수 있도록 하고, 명령어 스톨을 줄이기 위해 명령어들을 재배치하는 것을 특징으로 한다.In addition, the watermark modulation module performs memory alignment so that the same range is always obtained when the contents of the memory are imported or written, and the instruction parsing so that the operation can be performed in as few cycles as possible, and to reduce the instruction stall. It is characterized by rearranging the instructions.

상기 워터마크제어모듈은 상기 워터마크변조모듈로부터의 워터마크패턴을 출력되는 스크린에서 가로축으로는 정중앙, 세로축으로는 3분의 2의 위치에 위치하도록 정렬하는 것을 특징으로 한다.
The watermark control module aligns the watermark pattern from the watermark modulation module such that the watermark pattern is positioned at a center position on the horizontal axis and two thirds on the vertical axis.

상기 워터마크검출시스템의 바람직한 일실시예는 적응성 위너필터에 의한 노이즈 제거 방식으로 워터마크패턴을 추정하고, 다수의 패턴을 축적하는 워터마크추정및축적모듈; 삽입된 워터마크패턴을 추출하는 워터마크추출모듈; 삽입된 워터마크패턴의 변형정도를 계산하기 위한 참조워터마크패턴을 생성하는 참조워터마크생성모듈; 및 상기 워터마크추출모듈로부터 추출된 추출워터마크패턴과 상기 참조워터마크패턴을 비교하여 워터마크패턴이 삽입되어 있는지를 판단하는 워터마크삽입여부판단모듈;을 포함한다.One preferred embodiment of the watermark detection system includes: a watermark estimation and accumulation module for estimating a watermark pattern in a noise removing method by an adaptive Wiener filter and accumulating a plurality of patterns; A watermark extraction module for extracting the inserted watermark pattern; A reference watermark generation module for generating a reference watermark pattern for calculating a degree of deformation of the inserted watermark pattern; And a watermark insertion determining module for comparing the extracted watermark pattern extracted from the watermark extraction module with the reference watermark pattern to determine whether a watermark pattern is inserted.

아울러 상기 참조워터마크생성모듈은 기본워터마크패턴을 먼저 세로축으로 덧붙인 후, 다시 가로축으로 덧붙이는 방법에 의해 기본워터마크패턴의 4배의 패턴을 만들되, 왼쪽에 덧붙여지는 2개의 패턴은 아랫방향으로 16만큼 순환 시프트하여 만드는 것을 특징으로 한다.In addition, the reference watermark generation module creates a pattern four times larger than the basic watermark pattern by first adding the basic watermark pattern to the vertical axis and then adding the horizontal watermark pattern to the horizontal axis, but the two patterns added to the left side are directed downward. It is characterized by making a cyclic shift by 16.

또한 상기 워터마크삽입여부판단모듈의 바람직한 일실시예는 추출워터마크패턴과 상기 참조워터마크패턴 사이의 정규화 상호 상관 연산을 수행하고, 상호 상관값의 절대값을 임계치와 비교하는 것에 의해 워터마크패턴의 삽입유무를 판단하고, 상호 상관값에 의해 추출워터마크패턴이 기본워터마크패턴에서 순환 시프트된 거리를 구하는 것을 특징으로 한다. In addition, a preferred embodiment of the watermark insertion determination module includes performing a normalized cross-correlation operation between the extracted watermark pattern and the reference watermark pattern, and comparing the absolute value of the cross-correlation value with a threshold to the watermark pattern. And determining the distance between the extracted watermark pattern and the cyclic shift of the basic watermark pattern based on the cross-correlation value.

그리고 상기 워터마크삽입여부판단모듈은 상기 정규화 상호 상관 연산의 복잡도를 줄이기 위해 고속퓨리에변환을 사용하는 것이 바람직하다.In addition, the watermark insertion determination module preferably uses a fast Fourier transform to reduce the complexity of the normalized cross-correlation operation.

또한, 상기 워터마크삽입여부판단모듈은 추출워터마크패턴이 기본워터마크패턴에서 순환 시프트된 거리는 추출워터마크패턴을 참조워터마크패턴 2개에 대해 왼쪽 위부터 오른쪽 아래로 한 픽셀씩 이동하면서 상호 상관값을 구하여 임계치를 넘는 값 중 가장 큰 값을 가진 위치로 정해지는 것을 특징으로 한다.In addition, the watermark insertion determination module cross-correlates the distance of the extracted watermark pattern from the basic watermark pattern by moving one pixel from the top left to the bottom right with respect to the two watermark patterns. It is characterized by determining the position having the largest value among the values exceeding the threshold by obtaining the value.

아울러 상기 워터마크삽입여부판단모듈의 바람직한 일실시예는 상기 추출워터마크패턴과 상기 참조워터마크패턴의 상호 상관값이 가장 높게 나온 위치에서 상하좌우 6픽셀 거리 내에서 블록을 맞출 수 있는 곳의 위치 정보를 삽입 시 사용된 위치로 판단하여 정보를 추출하는 것을 특징으로 한다.In addition, a preferred embodiment of the watermark insertion determination module is a position where the block can be aligned within a 6 pixel distance from the top, bottom, left and right at the position where the correlation value between the extracted watermark pattern and the reference watermark pattern is highest. The information is determined by extracting the information by determining the position used when the information is inserted.

또한, 본 동영상 워터마킹시스템의 바람직한 일실시예는 워터마크패턴이 삽입된 워터마킹된 영상과 복제된 영상 사이에 시간적 차이가 나는 경우 시간 동기화를 맞추기 위하여 오버레이채널에 워터마크패턴을 삽입 시에, 제1일정시간동안 같은 메시지를 반복하도록 하고, 상기 제1일정시간의 2분의 1에 해당하는 제2일정시간 단위로 같은 메시지를 추출하도록 하는 것을 특징으로 한다.
In addition, according to an embodiment of the present video watermarking system, when a watermark pattern is inserted into the overlay channel to adjust time synchronization when there is a time difference between the watermarked image and the duplicated image, The same message may be repeated for a first predetermined time, and the same message may be extracted in a second predetermined time unit corresponding to one half of the first predetermined time.

본 발명은 동영상 워터마킹 시스템 및 그 방법에 관한 것으로서, 디지털 멀티미디어 재생 기기의 오버레이채널을 이용하고 인지시각시스템을 기반으로 하여 워터마크패턴을 생성 및 삽입할 수 있어, 셋톱박스와 같이 동영상 콘텐츠의 원본 데이터에 접근이 불가능하도록 제작된 경우에도 원본 데이터 없이 동영상 워터마킹 시스템 및 방법을 구현할 수 있다.The present invention relates to a video watermarking system and a method thereof, by using an overlay channel of a digital multimedia playback device and generating and inserting a watermark pattern based on a cognitive visual system. Even if the data is made inaccessible, the video watermarking system and method can be implemented without the original data.

또한, 기하학적 왜곡을 비롯한 복합적 공격을 내재하고 있는 캠코더 촬영 공격에 대해 강인성을 가지고, 촬영된 영상을 다양한 크기의 다른 영상 포맷으로 변환하는 공격에도 강인성을 지니는 동영상 워터마킹 시스템 및 방법을 구현할 수 있다.In addition, it is possible to implement a video watermarking system and method having robustness against a camcorder shooting attack incorporating a complex attack including geometric distortion, and having a robustness against an attack of converting a captured image into different image formats of various sizes.

도 1은 워터마크삽입시스템의 일실시예의 구성블럭도이다.
도 2는 워터마크생성모듈의 흐름도이다.
도 3은 기본워터마크패턴 생성용 비밀키 생성 및 기본워터마크패턴의 생성방법에 대한 흐름도를 나타낸다.
도 4는 시간 축에 기반한 순환적 키 생성기(temporal based circular key generator)를 나타낸다.
도 5는 비밀키 반복 컨트롤의 예제이다.
도 6은 워터마크의 페이로드 패턴을 생성하는 방법 및 예제를 나타낸다.
도 7은 오버레이채널의 밝기가 0일 때와 255일 때, 배경 영상 밝기에 따른 배경 영상 밝기와 오버레이채널 영상의 밝기 차이를 나타낸다.
도 8은 인지시각시스템을 고려한 밝기 값에 따른 허용 가능 변화량을 나타낸다.
도 9는 허용 가능 밝기 변화량에 따른 투명도 설정 방법을 나타낸다.
도 10은 실제 밝기 값(왼쪽)과 마하밴드 효과로 인해 사람에게 인식되는 밝기 값(오른쪽)을 나타낸다.
도 11은 마하밴드 효과를 고려한 워터마크패턴의 패딩영역을 나타낸다.
도 12는 워터마크검출시스템의 일실시예의 구성블럭도이다.
도 13은 워터마크패턴 축적 시나리오를 나타낸다.
도 14는 워터마크추출모듈에서의 추출 과정을 나타낸다.
도 15는 참조워터마크패턴 생성 방법을 나타낸다.
도 16은 추출워터마크패턴의 시프트 정보를 추출하는 방법을 나타낸다.
도 17은 원본 영상에 삽입한 워터마크패턴에서 추출워터마크패턴이 약간의 이동이 있을 경우의 추출워터마크패턴을 구하는 방법을 나타낸다.
도 18은 워터마크패턴의 삽입과 추출에 있어서, 시간동기화 문제의 해결 방법을 나타낸다.1 is a block diagram of an embodiment of a watermark insertion system.
2 is a flowchart of a watermark generation module.
3 is a flowchart illustrating a method of generating a secret key for generating a basic watermark pattern and a method of generating a basic watermark pattern.
4 illustrates a temporal based circular key generator.
5 is an example of a secret key repetition control.
6 shows a method and an example of generating a payload pattern of a watermark.
7 illustrates the difference between the brightness of the background image and the brightness of the overlay channel according to the background image brightness when the brightness of the overlay channel is 0 and 255. FIG.
8 shows an allowable change amount according to the brightness value considering the cognitive visual system.
9 illustrates a method of setting transparency according to an allowable brightness change amount.
10 shows the actual brightness value (left) and the brightness value (right) recognized by a person due to the Mach band effect.
11 illustrates a padding area of a watermark pattern in consideration of the Mach band effect.
12 is a block diagram of an embodiment of a watermark detection system.
13 shows a watermark pattern accumulation scenario.
14 shows an extraction process in the watermark extraction module.
15 shows a method of generating a reference watermark pattern.
16 illustrates a method of extracting shift information of an extracted watermark pattern.
FIG. 17 shows a method of obtaining an extracted watermark pattern when the extracted watermark pattern is slightly shifted from the watermark pattern inserted into the original image.
18 illustrates a method of solving the time synchronization problem in inserting and extracting a watermark pattern.

이하, 첨부된 도면을 참조하면서 본 발명의 일실시예에 따른 접근 불가능 콘텐츠를 위한 오버레이채널을 이용한 동영상 워터마킹 시스템 및 그 방법에 대해 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail a video watermarking system and method using an overlay channel for inaccessible content according to an embodiment of the present invention.

본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
The following examples of the present invention are intended to embody the present invention, but not to limit or limit the scope of the present invention. What can be easily inferred by those skilled in the art from the detailed description and the embodiments of the present invention is interpreted as belonging to the scope of the present invention.

본 발명의 일실시예에 따른 오버레이채널을 이용한 동영상 워터마킹 시스템은 워터마크삽입시스템(100)과 워터마크검출시스템(200)을 포함한다. 상기 워터마크삽입시스템(100)은 원본 영상의 재생 시에 상기 원본 영상에의 직접적인 접근이 불가능한 경우에 오버레이채널을 이용하여 실시간으로 워터마크패턴을 삽입하는 시스템이다. 상기 워터마크삽입시스템(100)에 의해 워터마킹된 영상을 캠코더 등과 같은 동영상 촬영기를 이용하여 불법 복제하고, 불법 복제된 영상을 재생 시에 상기 워터마크검출시스템(200)에서 워터마크패턴을 검출하여 불법 복제 여부를 판단하게 된다.The video watermarking system using the overlay channel according to an embodiment of the present invention includes a watermark insertion system 100 and a watermark detection system 200. The watermark insertion system 100 is a system for inserting a watermark pattern in real time using an overlay channel when direct access to the original image is impossible when the original image is reproduced. By illegally copying the watermarked image by the watermark insertion system 100 using a video camera such as a camcorder, and detecting the watermark pattern in the watermark detection system 200 when playing the illegally copied image It will determine whether it is illegal copying.

하기에 각 구성 요소별 동작 및 작용에 대해 좀 더 상세히 알아보기로 한다.
Hereinafter, the operation and action of each component will be described in more detail.

워터마크삽입시스템Watermark Insertion System

우선, 도 1은 오버레이채널을 이용한 동영상 워터마킹 시스템에 있어서, 상기 워터마크삽입시스템(100)의 일실시예의 구성블럭도이다. First, FIG. 1 is a block diagram of an embodiment of the watermark insertion system 100 in a video watermarking system using an overlay channel.

동영상 데이터를 연속된 정지 영상의 시퀀스로 생각하여 각각의 정지 영상에 워터마크패턴을 삽입하는 방식은 삽입하는 영역에 따라 공간 영역(spatial domain) 워터마킹 기법과 주파수 영역(frequency domain) 워터마킹 기법으로 나눌 수 있다. 하지만 오버레이채널을 이용하여 워터마크패턴을 삽입하는 본 발명에서는 셋톱박스 등의 동영상재생기의 계산량 및 오버레이채널의 특성을 고려하여 실시간성을 만족시키기 위해 공간 영역으로 삽입 영역이 제한된다. The method of inserting a watermark pattern into each still image by considering the moving image data as a sequence of continuous still images is divided into a spatial domain watermarking technique and a frequency domain watermarking technique according to the insertion region. Can be divided. However, in the present invention in which the watermark pattern is inserted using the overlay channel, the insertion region is limited to the spatial region in order to satisfy the real-time property in consideration of the amount of computation of the video player such as a set-top box and the characteristics of the overlay channel.

상기 워터마크삽입시스템(100)은 셋톱박스 등 동영상 재생기 내부에서 구동되며, 재생되는 원본 영상과 무관한 오버레이채널에 반투명하게 워터마크패턴을 삽입한 후 화면에 뿌려주게 된다. The watermark insertion system 100 is driven inside a video player such as a set-top box, and inserts a watermark pattern on the overlay channel irrelevant to the original video to be sprayed on the screen.

상기 오버레이채널은 투명도를 포함한 ARGB(Alpha, Red, Green, Blue)로 한 픽셀이 표현되는 채널로서, 기본적으로는 아무 값을 가지지 않으며 원본 영상이 출력되는 채널의 앞쪽에 위치하고 있다.The overlay channel is a channel in which one pixel is expressed in ARGB (Alpha, Red, Green, Blue) including transparency, and basically has no value and is located in front of the channel where the original image is output.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 오버레이채널을 이용한 동영상 워터마킹 시스템에 있어서, 상기 워터마크삽입시스템(100)은 워터마크생성모듈(10), 워터마크변조모듈(20) 및 워터마크제어모듈(30)을 포함한다.As shown in FIG. 1, in a video watermarking system using an overlay channel according to an embodiment of the present invention, the watermark insertion system 100 includes a watermark generation module 10 and a watermark modulation module 20. And a watermark control module 30.

먼저, 상기 워터마크삽입시스템(100)의 전체적인 흐름을 상기의 각 모듈별 기능에 의해 설명하기로 한다. First, the overall flow of the watermark insertion system 100 will be described by the functions of the respective modules.

상기 워터마크생성모듈(10)은 워터마크패턴 보안을 위해 비밀키 생성기를 이용하여 비밀키를 생성하고, 생성된 비밀키를 이용하여 스펙트럼 확산 워터마킹 기법에 의해 기본워터마크패턴을 생성하고, 상기 워터마크변조모듈(20)의 입력 정보량에 맞추어 기본워터마크패턴을 가공한 워터마크패턴을 만드는 역할을 한다. 상기 워터마크생성모듈(10)로부터의 워터마크패턴은 인지시각시스템을 이용하여 상기 워터마크변조모듈(20)에 의해 변조된다. 상기 워터마크제어모듈(30)은 변조된 워터마크패턴이 정해진 위치 및 시간에 오버레이채널로 삽입될 수 있도록 조절하고, 오버레이채널에 삽입된 워터마크패턴과 원본 영상을 결합하여 워터마킹된 영상을 생성하는 역할을 한다.
The watermark generation module 10 generates a secret key using a secret key generator to secure the watermark pattern, and generates a basic watermark pattern by using a spread spectrum watermarking technique using the generated secret key. The watermark modulation module 20 serves to create a watermark pattern obtained by processing the basic watermark pattern in accordance with the amount of input information. The watermark pattern from the watermark generation module 10 is modulated by the watermark modulation module 20 using the recognition visual system. The watermark control module 30 adjusts the modulated watermark pattern to be inserted into the overlay channel at a predetermined position and time, and generates a watermarked image by combining the original image with the watermark pattern inserted into the overlay channel. It plays a role.

워터마크생성모듈Watermark Generation Module

상기 워터마크생성모듈(10)의 동작에 대해 보다 자세히 설명하기로 한다. The operation of the watermark generation module 10 will be described in more detail.

먼저, 상기 워터마크생성모듈(10)의 전체적인 흐름은 도 2에 나타낸 바와 같다. First, the overall flow of the watermark generation module 10 is as shown in FIG.

즉, 상기 워터마크생성모듈(10)은 사용자로부터 입력받은 초기 비밀키로부터 기본워터마크패턴의 생성단계(S110); 페이로드패턴의 확장단계에 입력할 정보량에 맞추기 위해 상기 기본워터마크패턴을 변형하는 페이로드패턴의 생성단계(S115); 상기 워터마크 페이로드패턴의 패턴 사이즈를 확장하는 페이로드패턴의 확장단계(S120); 및 상기 확장된 워터마크 페이로드패턴을 반복하는 페이로드패턴의 반복단계(S125);를 포함하여 상기 워터마크변조모듈에 입력될 워터마크패턴을 생성하는 것을 특징으로 한다.
That is, the watermark generation module 10 generates a basic watermark pattern from the initial secret key received from the user (S110); Generating a payload pattern in which the basic water mark pattern is modified in accordance with the amount of information to be input in the expansion step of the payload pattern (S115); Expanding the payload pattern to expand the pattern size of the watermark payload pattern (S120); And repeating the payload pattern repeating the extended watermark payload pattern (S125). The watermark pattern to be input to the watermark modulation module is generated.

상기 기본워터마크패턴의 생성단계(S110)의 동작에 대해 보다 상세히 설명하기로 한다.An operation of the generation of the basic water mark pattern (S110) will be described in more detail.

본 발명에서 워터마크패턴을 생성하는 방법은 스펙트럼 확산 워터마킹 기법이다. 한 프레임에 삽입할 워터마크패턴을 생성하기 위하여 우선 비밀키에 의해 생성되는 0과 1의 조합으로 이루어진 256x128 크기의 블록을 만든다. 이 크기는 종래 사용되는 블록 크기에 비해 아주 큰 크기인데 이는 랜덤 패턴이 길수록 상호 상관 연산 시 계산되는 거짓 양성 비율(false positive rate)을 낮추는 역할을 하게 되므로 상관 연산 결과가 낮더라도 정확한 검출을 가능하게 하기 위함이다.The method for generating a watermark pattern in the present invention is a spread spectrum watermarking technique. In order to create a watermark pattern to be inserted in one frame, first, a 256x128 block composed of a combination of 0's and 1's generated by a secret key is created. This size is much larger than the conventional block size. The longer the random pattern plays a role of lowering the false positive rate calculated during the cross-correlation operation, thus enabling accurate detection even with low correlation results. To do this.

한 워터마크패턴이 대변하는 정보량은 8bit이기 때문에 총 페이로드 40bit를 삽입하기 위해서는 총 5개의 서로 다른 워터마크패턴이 삽입되어야 한다. 워터마크패턴 삽입 시 다른 8bit를 삽입하기 위해 5개의 서로 다른 패턴과 그 패턴들을 생성하기 위한 5개의 비밀 키를 사용한다. 이는 여러 명의 평균화 공격에 대한 견고성을 갖기 위함이다. 5개의 서로 다른 비밀 키는 워터마크패턴 추출 시에 추가 정보 없이도 알아낼 수 있도록 하기 위해 삽입할 워터마크패턴 자체의 정보와 5개로 나눠진 워터마크패턴 비트 정보의 합성으로 생성된다.
Since the amount of information represented by one watermark pattern is 8 bits, a total of five different watermark patterns must be inserted to insert 40 bits of the total payload. When inserting a watermark pattern, 5 different patterns are used to insert another 8 bits and 5 secret keys for generating the patterns. This is to ensure robustness against multiple averaging attacks. Five different secret keys are generated by combining the information of the watermark pattern itself to be inserted and the divided watermark pattern bit information into five pieces in order to be able to find out without additional information when extracting the watermark pattern.

기본워터마크패턴의 생성단계(S110)에 관한 상기 과정을 보다 이해하기 쉽도록, 도 3에 워터마크 생성용 비밀키 생성 및 기본워터마크패턴의 생성방법에 대한 흐름도를 나타내었다.In order to more easily understand the above process of generating the basic watermark pattern (S110), a flowchart of a method of generating a secret key for generating a watermark and a method of generating a basic watermark pattern is shown in FIG. 3.

즉, 페이로드 생성단계(S115)에 입력할 40bit의 정보량을 맞추기 위한 워터마크 생성용 비밀키 생성 및 기본워터마크패턴의 생성방법은 사용자로부터 입력받은 초기 비밀키(8bit)를 이용한 첫번째 기본워터마크패턴 생성단계(S210); 상기 초기 비밀키와 상기 첫번째 기본워터마크패턴의 정보의 합에 의해 두번째 비밀키를 생성하고, 상기 두번째 비밀키를 이용한 두번째 기본워터마크패턴 생성단계(S215); 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴 및 상기 두번째 기본워터마크패턴의 정보의 합에 의해 세번째 비밀키를 생성하고, 상기 세번째 비밀키를 이용한 세번째 기본워터마크패턴 생성단계(S220); 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴, 상기 두번째 기본워터마크패턴 및 상기 세번째 기본워터마크패턴의 정보의 합에 의해 네번째 비밀키를 생성하고, 상기 네번째 비밀키를 이용한 네번째 기본워터마크패턴 생성단계(S225); 및 상기 초기 비밀키, 상기 첫번째 기본워터마크패턴, 상기 두번째 기본워터마크패턴, 상기 세번째 기본워터마크패턴 및 상기 네번째 기본워터마크패턴의 정보의 합에 의해 다섯번째 비밀키를 생성하고, 상기 다섯번째 비밀키를 이용한 다섯번째 기본워터마크패턴 생성단계(S230);를 포함하는 것을 특징으로 한다.
That is, the watermark generation secret key generation method and the basic watermark pattern generation method for matching the amount of information of 40 bits to be input in the payload generation step (S115) are the first basic watermark using the initial secret key (8bit) received from the user. Pattern generation step (S210); Generating a second secret key based on the sum of the information of the initial secret key and the first basic water mark pattern, and generating a second basic water mark pattern using the second secret key (S215); Generating a third secret key based on the sum of the information of the initial secret key, the first basic water mark pattern and the second basic water mark pattern, and generating a third basic water mark pattern using the third secret key (S220); A fourth secret key is generated based on the sum of the information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, and the third basic water mark pattern, and a fourth basic water mark pattern is generated using the fourth secret key. Step S225; And a fifth secret key is generated by the sum of information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, the third basic water mark pattern, and the fourth basic water mark pattern. And a fifth basic watermark pattern generation step (S230) using a secret key.

본 발명에서는 공모 공격에 견디기 위해, 비밀키 생성기를 통하여 비밀키가 컨트롤된다. 비밀키 생성기의 형태는 도 4에 도시된 바와 같이, 시간 축에 기반한 순환적 키 생성기를 이용하였다. In the present invention, the secret key is controlled through a secret key generator to withstand collusion attacks. As shown in FIG. 4, the secret key generator uses a cyclic key generator based on a time axis.

비밀키의 컨트롤은 하나의 매개변수에 의해 결정되며, 본 발명에서는 워터마크패턴의 반복 시간(repeat factor : a)을 매개변수로 하였다. 즉 a는 한 워터마크패턴이 오버레이채널에서 뿌려지는 시간이라고 할 수 있다. 도 5는 이러한 비밀키 반복 컨트롤의 예제이다. 여기에서 a=12초로 설정되어 있다. 도 5의 (a)는 삽입한 비디오 프레임을 시간 축으로 보여주는 것이고, (b)는 공격 후 3번째 워터마크패턴에서 에러가 발생했을 경우, (c)는 공격 후, 3,4,5번 워터마크패턴에서 메시지를 찾지 못하고, 다시 6 시작 위치에서 워터마크패턴 시작 동기점을 찾아내는 것을 보여준다. 심지어는 공격이 일어나지 않았음에도 불구하고, 워터마크검출시스템(200)의 성능에 따라 비밀키에 의한 워터마크패턴 검출이 실패하는 경우도 있다. 상기와 같은 비밀키 컨트롤에 의해 만약 공모 공격이 일어났을 경우, 서로 다른 비밀키에 의한 워터마크패턴이 삽입되었기 때문에 워터마크패턴 검출이 어렵다고 할 수 있다.
Control of the secret key is determined by one parameter, and in the present invention, the repeat factor (a) of the watermark pattern is used as a parameter. That is, a may be a time when a watermark pattern is sprayed on the overlay channel. 5 is an example of such a secret key repetition control. Here, a = 12 seconds is set. Figure 5 (a) shows the inserted video frame on the time axis, (b) when the error occurs in the third watermark pattern after the attack, (c) after the attack, water 3, 4, 5 It shows that the message is not found in the mark pattern, and again finds the watermark pattern start sync point at the 6 start position. Even though the attack has not occurred, the watermark pattern detection by the secret key may fail depending on the performance of the watermark detection system 200. If a collusion attack occurs by the secret key control as described above, it is difficult to detect the watermark pattern because watermark patterns using different secret keys are inserted.

상기 페이로드패턴의 생성단계(S115)에 대해 보다 자세히 설명하기로 한다.The generation of the payload pattern (S115) will be described in more detail.

상기 페이로드패턴의 생성단계(S115)는 페이로드패턴의 확장단계(S120)에 입력할 정보량에 맞추기 위해 상기 기본워터마크패턴을 순환시프트 및 패턴 플립하는 방법에 의해 변형하는 것을 특징으로 한다. 즉, 한 워터마크패턴이 가져야 하는 정보량은 8bit이므로 총 256가지의 값을 가져야 한다. 이 때 0부터 127에 해당하는 정보는 기본 패턴을 16x16 블록 단위로 순환 시프트하는 것에 의해 나타내고, 128부터 255에 해당하는 정보는 기본워터마크패턴을 뒤집은 후 16x16 블록 단위로 순환 시프트하는 것에 의해 나타냄으로써 워터마크 페이로드패턴을 완성한다. 도 6은 워터마크의 페이로드패턴을 생성하는 방법 및 예제를 나타내고 있다.
In the generating of the payload pattern (S115), the basic watermark pattern is deformed by a cyclic shift and a pattern flip method to match the amount of information to be input in the expanding of the payload pattern (S120). That is, since the amount of information that a watermark pattern should have is 8 bits, it should have a total of 256 values. In this case, information corresponding to 0 to 127 is represented by cyclic shifting the basic pattern in units of 16x16 blocks, and information corresponding to 128 to 255 is represented by cyclically shifting the basic watermark patterns in units of 16x16 blocks after inverting the basic watermark pattern. Complete the watermark payload pattern. 6 shows a method and an example of generating a payload pattern of a watermark.

상기 페이로드패턴의 확장단계(S120)에 대해 보다 자세히 설명하기로 한다.An extension step S120 of the payload pattern will be described in more detail.

상기 페이로드패턴의 생성단계(S115)에서 만들어진 256x128 크기의 워터마크 페이로드패턴을 가로로 2배, 세로로 2배 확장하여 512x256 크기의 패턴으로 만든다. 블록을 2배 확장하는 이유는 패턴에 저주파 특성을 강화하여 원본 영상을 캠코터 촬영 시 수반되는 D-A(Digital to Analog)/A-D(Analog to Digital) 변환에 대한 강인성을 부여하기 위함이다. 또한 이와 같은 확장은 크기 변환 공격에 대한 강인성을 높여준다. 이론적으로 1920x1080 사이즈의 풀에이치디(Full-HD) 영상에 제안된 방식으로 워터마크패턴을 삽입하였을 경우 가로, 세로 각각 2분의 1씩 축소한 960x540 사이즈의 영상에서도 삽입된 워터마크패턴이 검출될 수 있다. 패턴 확장의 또 다른 장점은 영상의 이동(translation) 공격에 대한 강인성을 높일 수 있다는 것이다. The watermark payload pattern having a size of 256x128 made in the generation of the payload pattern (S115) is expanded twice in the horizontal direction and twice in the vertical direction to form a 512x256 size pattern. The reason for doubling the block is to reinforce the low frequency characteristics of the pattern to give the robustness to digital-to-analog (A-D) / ana- to-digit (A-D) conversion when the original image is camcoated. This expansion also increases the robustness against size transformation attacks. Theoretically, when a watermark pattern is inserted into a 1920x1080 full-HD image in the proposed method, the inserted watermark pattern may be detected even in a 960x540 sized image that is reduced by 1/2 of each of the width and length. Can be. Another advantage of pattern expansion is that it can increase the robustness against image translation attacks.

본 동영상 워터마킹 시스템의 워터마크검출시스템(200)은 뒤에 설명하는 것과 같이 추출워터마크패턴과 참조워터마크패턴과의 상호 상관값(cross correlation coefficient)을 이용하여 워터마크삽입여부판단모듈에서 워터마크패턴 삽입 유무를 결정하게 된다. 워터마크패턴을 가로 세로 n배 확장할 경우 좌, 우, 상, 하 방향으로 각각 n-1배까지 상대적으로 높은 상호 상관값을 가질 수 있다. 만약 2배를 확장하게 되면 상, 하, 좌, 우 1 픽셀 정도의 이동으로 인한 동기성 파괴문제를 해결할 수 있게 된다.
The watermark detection system 200 of the video watermarking system uses a cross correlation coefficient between the extracted watermark pattern and the reference watermark pattern as described later. The pattern insertion decision is made. When the watermark pattern is extended n times in width and length, it may have a relatively high cross correlation value up to n-1 times in the left, right, up, and down directions, respectively. If you expand twice, you can solve the problem of synchronous destruction caused by one pixel up, down, left, and right movement.

상기 페이로드패턴의 반복단계(S125)에 대해 보다 자세히 설명하기로 한다.The repetition step (S125) of the payload pattern will be described in more detail.

즉, 상기 페이로드패턴의 확장단계(S120)로부터 입력받은 512x256 크기의 패턴을 가로로 2번, 세로로 2번 반복시켜서 최종적으로 1024x512 크기의 워터마크패턴을 만든다. 반복된 패턴은 상기 워터마크검출시스템(200)에서 워터마크패턴을 검출 시 동일한 시간에 추출되는 추출워터마크패턴의 양을 4배로 늘려주게 되어 참조워터마크패턴과의 상관 연산 시 워터마크패턴이 삽입된 경우 높은 상관치를 갖게 해준다. That is, the 512x256 size pattern received from the payload pattern expansion step (S120) is repeated twice horizontally and twice vertically to finally form a watermark pattern of 1024x512 size. The repeated pattern increases the amount of the extracted watermark pattern extracted by 4 times at the same time when the watermark detection system 200 detects the watermark pattern, so that the watermark pattern is inserted during the correlation calculation with the reference watermark pattern. If you have a high correlation.

또한, 배경 원본 영상의 내용을 판단할 수 없기 때문에 워터마크패턴이 상대적으로 약하게 들어가게 됨으로써 생기는 단점을 공간적으로 동일한 워터마크패턴을 삽입하는 것에 의해 보완함으로써 검출을 더욱 용이하게 해준다. 이렇게 반복해서 만들어진 워터마크패턴의 크기는 1024x512로 셋톱박스에서 크기가 1920x1080 크기의 풀에이치디 규격의 동영상을 출력할 때 동영상 위에 오버레이되는 패턴의 크기이다.
In addition, since the content of the background original image cannot be determined, the disadvantage caused by entering the watermark pattern relatively weakly is compensated by inserting the spatially identical watermark pattern, thereby making detection easier. The repeated watermark pattern is 1024x512, which is the size of the pattern that is overlaid on the video when the full-hHD video of 1920x1080 size is output from the set-top box.

워터마크변조모듈Watermark Modulation Module

상기 워터마크변조모듈(20)은 원본 영상의 정보 없이 비가시성을 만족하면서 워터마크패턴을 강하게 삽입하기 위해서, 상기 워터마크생성모듈(10)로 부터의 워터마크패턴을 오버레이채널에 삽입할 때 인지시각시스템에 기초를 두고 패턴의 투명도, 색상 및 모양을 결정해야 하며 또한 현재 재생되고 있는 배경 동영상에 대한 정보가 없으므로 워터마크패턴이 가장 잘 보이는 환경으로 가정한 후 삽입을 수행해야 한다. The watermark modulation module 20 recognizes when inserting a watermark pattern from the watermark generation module 10 into an overlay channel to strongly insert a watermark pattern while satisfying invisibility without the information of the original image. The transparency, color, and shape of the pattern should be determined based on the visual system. Also, since there is no information on the background video being played, the insertion should be performed after assuming that the watermark pattern is the most visible.

인지시각시스템에 기반한 동영상 워터마킹 시스템을 구현하기 위하여 상기 워터마크변조모듈(20)은 밝기 영역을 이용하여 워터마크패턴의 색상선택파트, 밝기 마스킹을 이용한 워터마크패턴의 투명도결정파트 및 마하밴드 효과를 고려한 패딩삽입파트에 의해 구현될 수 있다.In order to implement a video watermarking system based on a cognitive visual system, the watermark modulation module 20 uses a brightness region to select a color of the watermark pattern, a transparency determination part of the watermark pattern using brightness masking, and a Mach band effect. It can be implemented by the padding insertion part in consideration of.

하기에 상기 워터마크변조모듈(20)의 상기의 각 파트별로 상세히 설명하기로 한다.
Hereinafter, each part of the watermark modulation module 20 will be described in detail.

워터마크패턴의 색상선택파트Color selection part of watermark pattern

먼저, 상기 워터마크패턴의 색상선택파트에 대해 보다 자세히 설명하기로 한다. First, the color selection part of the watermark pattern will be described in more detail.

셋톱박스의 오버레이채널의 각 픽셀 값은 ARGB로 구성되어 있고 인지시각시스템의 특성에 따르면 RGB 모델에서 블루 채널(blue channel)값의 변화 인지도가 다른 두 채널의 인지도에 비해 현저히 떨어지므로 블루 채널에 워터마크패턴 삽입 시 비가시성을 확보하기 용이하나 본 발명의 목표 중 하나인 캠코더 촬영 공격을 통한 포맷 변환 시 블루 채널의 정보가 많이 소실된다는 단점이 있어 차후 워터마크패턴 검출 과정에서 문제가 생기므로 블루 채널을 활용하기 어렵다. Each pixel value of the overlay channel of the set-top box is composed of ARGB, and according to the characteristics of the cognitive visual system, the change of the blue channel value in the RGB model is significantly lower than that of the other two channels. It is easy to secure the invisibility when inserting the mark pattern, but the blue channel is lost because the information of the blue channel is lost when the format conversion through the camcorder shooting attack which is one of the objectives of the present invention occurs. Is difficult to utilize.

따라서 본 발명에서는 캠코더 촬영 공격에 강인하면서 인지시각시스템 측면에서 연구가 많이 진행된 밝기 영역(luminance area)에 워터마크패턴을 삽입한다. 셋톱박스의 오버레이채널의 각 픽셀 값은 ARGB로 구성되어 있으므로 직접적으로 밝기 영역의 값을 결정할 수 없다. 그래서 본 발명에서는 0을 삽입할 경우 검정색, 1을 삽입할 경우 흰색을 오버레이채널 픽셀에 표현함으로써 밝기를 대변하였다.
Therefore, in the present invention, a watermark pattern is inserted into a luminance area that is robust against camcorder shooting attacks and has been studied in terms of cognitive visual system. Since each pixel value of the overlay channel of the set-top box is composed of ARGB, the value of the brightness range cannot be directly determined. Therefore, in the present invention, the brightness is represented by expressing black on the overlay channel pixel when 0 is inserted and white when 1 is inserted.

워터마크패턴의 투명도결정파트Transparency Determination Part of Watermark Pattern

상기 워터마크패턴의 투명도결정파트에 대해 보다 자세히 설명하기로 한다. The transparency determination part of the watermark pattern will be described in more detail.

워터마크패턴의 삽입 강도를 조절하기 위해서는 먼저 투명도에 따른 오버레이채널의 색상과 배경 영상의 색상이 조합된 색상을 알아야 한다. 본 발명에서는 셋톱박스에서 오버레이채널의 각 픽셀의 투명도를 조절함으로써 삽입하는 워터마크패턴의 세기를 결정할 수 있다. 수학식 1은 일반적으로 가장 널리 사용되는 한 채널 픽셀 값의 투명도 조합 공식이다.
In order to adjust the embedding strength of the watermark pattern, first, the color of the overlay channel color and the background image according to the transparency must be known. In the present invention, the strength of the inserted watermark pattern may be determined by adjusting the transparency of each pixel of the overlay channel in the set top box. Equation 1 is a formula for combining transparency of one channel pixel value.

수학식 1에서 b, o는 배경 영상 B와 오버레이 채널 영상 O의 픽셀 값을 의미하고 α는 0부터 255 사이의 정수로서 투명도를 의미한다. 그리고 i′은 최종적으로 계산된 영상 I의 픽셀 값을 의미한다. In Equation 1, b and o denote pixel values of the background image B and the overlay channel image O, and α denotes transparency as an integer between 0 and 255. And i 'means the pixel value of the image I finally calculated.

수학식 1을 밝기 채널의 입장에서 봤을 때 오버레이 되는 밝기가 0이거나 255일 경우 즉, 검정색이나 흰색이 오버레이 되는 경우 배경 영상의 밝기가 변함에 따른 배경 영상 밝기와 오버레이 영역의 밝기 차이의 절대값을 그래프로 나타내면 도 7과 같다. 도 7에서 α는 5를 사용하였고 이 때 배경 영상의 밝기 값과 오버레이된 영역의 밝기 값의 차이가 최소 0부터 최대 α만큼 난다는 사실을 알 수 있다.When Equation 1 is viewed from the viewpoint of the brightness channel, when the brightness to be overlaid is 0 or 255, that is, when black or white are overlaid, the absolute value of the difference between the brightness of the background image and the brightness of the overlay area as the brightness of the background image changes is determined. 7 is shown as a graph. In FIG. 7, 5 is used, and it can be seen that the difference between the brightness value of the background image and the brightness value of the overlaid region ranges from minimum 0 to maximum α.

일반적으로 인간의 눈은 픽셀의 밝기가 상대적으로 어둡거나 밝은 곳에서 노이즈에 둔감한 특성을 가진다. 도 8은 인지시각시스템을 고려한 밝기 값에 따른 허용 가능 변화량을 나타내고 있다. 도 8에 따르면 0부터 255까지의 픽셀 값 중에서 약 128 부근의 값들이 노이즈에 가장 민감하고, 0이나 255에 가까운 픽셀 값에서 노이즈 변화에 둔감하다는 것을 알 수 있다. 이런 특성을 이용하여 워터마크패턴에서 사용하는 흰색과 검정색의 패턴의 투명도를 조절하여 주변 픽셀 값과의 차이가 도 6에서 제시하는 허용 가능 변화량을 넘지 않는 범위에서 가장 큰 투명도를 결정하여 워터마크 패턴 투명도에 할당함으로써 워터마크패턴의 비가시성과 강인성을 동시에 만족시킬 수 있도록 구현하였다.In general, the human eye is insensitive to noise in a place where the brightness of a pixel is relatively dark or bright. 8 illustrates an allowable change amount according to the brightness value considering the cognitive visual system. According to FIG. 8, it can be seen that values of about 128 of the pixel values from 0 to 255 are most sensitive to noise, and are insensitive to noise change at pixel values close to 0 or 255. By using these characteristics, the transparency of the white and black patterns used in the watermark pattern is adjusted to determine the largest transparency within the range where the difference from the surrounding pixel values does not exceed the allowable variation shown in FIG. By assigning transparency, the invisibility and robustness of the watermark pattern are simultaneously satisfied.

도 9에 도시한 바와 같이 워터마크패턴의 값이 0인 경우 검정색을 오버레이하게 되는데 이런 경우 허용 가능 변화량을 넘지 않는 범위에서 가장 큰 정수 값인 3을 투명도로 결정하였고, 이와 마찬가지로 워터마크패턴의 값이 1인 경우 흰색을 오버레이하게 되어 최대 투명도를 2로 결정하였다. 이렇게 결정된 투명도 값을 이용하여 워터마크패턴을 생성하고 삽입하여 주관적 평가(subjective test)를 실시한 결과 비가시성을 충분히 만족함을 확인할 수 있었다.
As shown in FIG. 9, when the value of the watermark pattern is 0, black is overlaid. In this case, the largest integer value 3 within the range not exceeding the allowable change amount is determined as transparency. In the case of 1, white was overlaid to determine the maximum transparency as 2. As a result of performing a subjective test by generating and inserting a watermark pattern using the determined transparency value, it was confirmed that the invisibility was sufficiently satisfied.

마하밴드 효과를 고려한 패딩삽입파트Padding insertion part considering Mach band effect

다음으로 상기 마하밴드 효과를 고려한 패딩삽입파트에 대해 설명하기로 한다.Next, the padding insertion part considering the Mach band effect will be described.

마하밴드 효과는 도 10에서 확인할 수 있듯이 밝기가 갑자기 변하는 부분이 있을 때 실제 밝기가 변화하는 경계에서 밝은 부분에서는 더 밝게 인식하고 어두운 부분에서는 더 어둡게 인식하게 되는 효과를 말한다. 따라서 일반적인 방법으로 워터마크패턴을 삽입하게 되면 삽입한 곳과 삽입하지 않은 곳의 경계에 마하밴드 효과가 나타나게 되어 삽입된 영역이 눈에 잘 띄게 된다. 이러한 문제를 경감시키기 위해서는 밝기 값을 천천히 변화시킴으로써 밝기 값의 경계를 만들지 않아야 한다. As can be seen in FIG. 10, the Mach band effect refers to an effect of recognizing a brighter part in a bright part and a darker part in a dark part when there is a sudden change in brightness. Therefore, when the watermark pattern is inserted in a general manner, the Mach band effect appears at the boundary between the inserted and non-inserted areas, thereby making the inserted area stand out. To alleviate this problem, the brightness value should be changed slowly so that no boundary of the brightness value is created.

따라서 본 발명에서는 도 11에 도시한 바와 같이 워터마크패턴 주위에 노이즈를 이용한 패딩 영역을 추가하여 패딩 영역의 밝기를 서서히 줄이고 노이즈의 빈도 역시 서서히 줄이는 방법을 사용하여 마하밴드 효과를 피해가도록 워터마크패턴을 설계하였다. 설계된 워터마크패턴은 도 11에서 확인할 수 있듯이 패딩 영역을 총 10단계로 나누어 점차적으로 투명도를 줄이는 과정을 거치게 되어 서서히 워터마크패턴이 사라지는 효과를 만들었고 이와 동시에 노이즈의 빈도 역시 10단계로 나누어 서서히 사라지도록 설계하여 워터마크패턴의 비가시성을 높였다.
Therefore, in the present invention, as shown in FIG. 11, the watermark pattern is avoided by adding a padding area using noise around the watermark pattern to gradually reduce the brightness of the padding area and gradually reduce the frequency of the noise. Was designed. As shown in FIG. 11, the designed watermark pattern is divided into a total of 10 steps of padding areas to gradually reduce the transparency, so that the watermark pattern disappears gradually. The design improves the invisibility of the watermark pattern.

워터마크제어모듈Watermark Control Module

상기 워터마크제어모듈(30)은 워터마크변조모듈(30)로 부터의 워터마크패턴이 정해진 위치 및 시간에 오버레이채널로 삽입될 수 있도록 조절하고, 오버레이채널에 삽입된 워터마크패턴과 원본 영상을 결합하여 워터마킹된 영상을 생성하는 역할을 한다.The watermark control module 30 adjusts the watermark pattern from the watermark modulation module 30 to be inserted into the overlay channel at a predetermined position and time, and adjusts the watermark pattern and the original image inserted into the overlay channel. Combine to create a watermarked image.

먼저, 워터마크패턴의 삽입 방법에 대해 자세히 설명하기로 한다.First, a method of embedding a watermark pattern will be described in detail.

상기 워터마크변조모듈(20)에서 여러 기법을 통해 나온 투명도를 적용한 워터마크패턴을 생성한 후 오버레이채널에 적용하게 된다. 이렇게 삽입된 워터마크패턴은 배경 영상의 종류나 밝기에 상관없이 비가시성을 만족시키게 된다. 본 발명에서 제시한 워터마크삽입시스템(100)에 적용된 여러 기법들은 또한 촬영된 영상에 대해서도 삽입된 워터마크패턴이 검출될 수 있는 강인성을 부여한다. 워터마크패턴 W는 투명도 α를 가지고 오버레이채널 O에 삽입된 후 배경 영상 채널 B와 더해져서 워터마킹된 영상 I가 된다. 우리가 사용한 워터마크패턴 W는 0이 삽입될 경우 검은색으로 오버레이 채널 O의 값은 0을 갖게 되고 W에 1이 삽입될 경우 흰색으로 O의 값은 255를 갖게 된다. 수학식 2는 이 과정을 나타낸다.
The watermark modulation module 20 generates a watermark pattern to which transparency is applied through various techniques and applies the overlay to the overlay channel. The inserted watermark pattern satisfies the invisibility regardless of the type or brightness of the background image. Various techniques applied to the watermark insertion system 100 proposed in the present invention also impart robustness in which an inserted watermark pattern can be detected even for a captured image. The watermark pattern W is inserted into the overlay channel O with transparency α and then added to the background image channel B to become a watermarked image I. The watermark pattern W we used is black when 0 is inserted, and the value of the overlay channel O is 0, and when 1 is inserted into W, white is O and the value of O is 255. Equation 2 shows this process.

본 발명에서 제시하고 있는 동영상 워터마킹 시스템은 셋톱박스 환경에서 풀에이치디급 고화질 영상이 배경 영상으로 재생되고 있을 때 오버레이채널을 이용한 실시간 워터마크패턴 삽입을 위해 셋톱박스의 특성에 최적화된 효율적 알고리즘을 구현하고 적용하였다. 일반적으로 워터마크삽입시스템(100)에서 가장 계산 복잡도가 높은 부분은 워터마크패턴을 생성하는 부분이다. 종래에는 가우시안을 따르는 실수 형태의 워터마크패턴을 사용하여 삽입 및 검출을 수행하였지만 셋톱박스에서 종래의 방법을 따르게 되면 너무 많은 실수 연산으로 인해 실시간으로 워터마크패턴을 생성할 수 없게 되어 적용을 할 수 없었다. The video watermarking system proposed in the present invention implements an efficient algorithm optimized for the characteristics of a set-top box for inserting a real-time watermark pattern using an overlay channel when a full HD high quality image is played as a background image in a set-top box environment. And applied. In general, the part with the highest computational complexity in the watermark insertion system 100 is a part for generating a watermark pattern. Conventionally, insertion and detection are performed using a real watermark pattern that follows a Gaussian. However, if a conventional method is used in a set-top box, it is impossible to generate a watermark pattern in real time due to too many real calculations. There was no.

따라서 본 발명에서는 삽입되는 패턴을 0과 1로 제한하여 정수 연산으로 패턴을 생성함으로써 실시간성을 만족할 수 있었다. 또한 패딩 영역을 생성하는 경우에서 기존에 계산이 되어있는 워터마크패턴의 임의의 부분을 재사용함으로써 계산량을 줄였고 서서히 투명도가 낮아지는 부분과 패딩 영역의 발생 빈도를 조절하는 부분에서도 실수 연산을 배제하고 정수 연산으로만 계산을 수행함으로써 실시간 삽입을 가능하게 하였다. Therefore, in the present invention, the pattern to be inserted is limited to 0 and 1 to generate a pattern by integer operation, thereby satisfying real-time. In addition, in the case of creating a padding area, the calculation amount is reduced by reusing an arbitrary part of the watermark pattern that has been previously calculated, and the integer operation is excluded and integers are excluded even in the part where the transparency is gradually lowered and the frequency of occurrence of the padding area is adjusted. Real-time insertion is possible by performing calculations only with operations.

이외에도 메모리의 내용을 가져오거나 쓸 때 항상 같은 범위를 가져오도록 메모리 정렬(memory alignment)을 수행하고, 명령어 파싱(instruction paring)을 수행하여 최대한 적은 사이클 내에 해당 오퍼레이션(operation)이 수행될 수 있도록 하였다. 또한, 명령어 스톨(instruction stall)을 줄이기 위해 명령어들을 재배치하는 등 최대한 시간을 줄이도록 노력하였다.
In addition, memory alignment is performed so that the same range is always obtained when the contents of the memory are imported or written, and instruction paring is performed so that the operation can be performed in as few cycles as possible. In addition, efforts were made to save as much time as possible, such as rearranging instructions to reduce instruction stalls.

또한, 워터마크패턴의 삽입 영역은 출력 스크린에서 가로축으로는 정 중앙, 세로축으로는 3분의 2의 높이에 위치한다. 그 이유는 셋톱박스의 특성과 관련되어 있다. 일반적으로 셋톱박스에서 메뉴 바나 볼륨 바 등을 오버레이채널을 이용하여 화면에 출력해주게 되는데 현재 출시된 셋톱박스의 대부분이 메뉴 바는 화면 아래쪽에 위치하고 볼륨 바는 화면 위쪽에 위치한다. 그런데 볼륨 바에 비해 메뉴 바의 크기가 상대적으로 크고 또한 워터마크패턴이 삽입된 오버레이채널 보다 앞에 위치할 경우 워터마크패턴이 가려져서 삽입이 원활이 이루어질 수 없다. 따라서 워터마크패턴을 정 중앙에서 세로축으로 약간 올려줌으로써 이러한 문제를 완화시킬 수 있다.
In addition, the insertion area of the watermark pattern is positioned at the center of the horizontal axis and at a height of two thirds on the vertical axis of the output screen. The reason is related to the characteristics of set-top boxes. In general, a set-top box outputs a menu bar or a volume bar to the screen using an overlay channel. Most of the set-top boxes currently released are located at the bottom of the screen and the volume bar is located at the top of the screen. However, when the size of the menu bar is relatively larger than that of the volume bar, and the watermark pattern is positioned before the overlay channel into which the watermark pattern is inserted, the watermark pattern is hidden so that the insertion cannot be performed smoothly. Therefore, this problem can be alleviated by raising the watermark pattern slightly from the center to the vertical axis.

워터마크검출시스템Watermark Detection System

우선, 도 12는 오버레이채널을 이용한 동영상 워터마킹 시스템에 있어서, 상기 워터마크검출시스템(200)의 일실시예의 구성블럭도이다. First, FIG. 12 is a block diagram of an embodiment of the watermark detection system 200 in a video watermarking system using an overlay channel.

워터마크 검출 기법은 워터마크 추정 방식에 따라 크게 인폼드(informed) 워터마크 검출 기법과 블라인드(blind) 워터마크 검출 기법으로 나눌 수 있다. 추출과정에서 원본 영상을 사용하는 인폼드 워터마크 검출 기법은 삽입 영상에서 단순히 원본 영상을 빼줌으로써 워터마크 추정 영상을 구할 수 있기 때문에 좀 더 나은 추출 성능을 보일 수 있지만 원본 영상을 보관하고 있어야 한다는 제약 조건이 있기 때문에 현실적으로 실용성이 떨어진다. 따라서 본 발명에서 제시하고 있는 워터마크검출시스템(200)은 원본 영상 없이도 삽입된 워터마크를 추정 할 수 있는 블라인드 워터마크 검출 방식을 사용한다.The watermark detection technique can be largely classified into an informed watermark detection technique and a blind watermark detection technique according to the watermark estimation method. Informed watermark detection technique using the original image in the extraction process can provide better extraction performance because the watermark estimation image can be obtained by simply subtracting the original image from the embedded image, but the constraint that the original image should be kept Because of the conditions, practicality is not practical. Therefore, the watermark detection system 200 proposed in the present invention uses a blind watermark detection method that can estimate the inserted watermark without the original image.

상기 워터마크검출시스템(200)은 적응성 위너필터에 의한 노이즈 제거 방식으로 워터마크패턴을 추정하고 다수의 패턴을 축적하는 워터마크추정및축적모듈(40), 삽입된 워터마크패턴을 추출하는 워터마크추출모듈(50), 삽입된 워터마크패턴의 변형정도를 계산하기 위한 참조워터마크패턴을 생성하는 참조워터마크생성모듈(60) 및 상기 워터마크추출모듈(50)로부터의 추출워터마크패턴과 상기 참조워터마크패턴을 비교하여 워터마크패턴이 삽입되어 있는 지를 판단하는 워터마크삽입여부판단모듈(70)을 포함하는 것을 특징으로 한다.
The watermark detection system 200 estimates the watermark pattern by the noise elimination method by the adaptive Wiener filter, and accumulates a plurality of patterns, the watermark estimation and accumulation module 40, and extracts the inserted watermark pattern. The extraction water mark pattern from the extraction module 50, the reference water mark generation module 60 for generating a reference water mark pattern for calculating the degree of deformation of the inserted watermark pattern, and the watermark extraction module 50, and And a watermark insertion determination module 70 which compares the reference watermark pattern to determine whether the watermark pattern is inserted.

워터마크추정및축적모듈Watermark Estimation and Accumulation Module

워터마크추정및축적모듈(40)에 대해 아래에서 자세히 설명하기로 한다.The watermark estimation and accumulation module 40 will be described in detail below.

캠코더로 촬영된 영상에 삽입된 워터마크패턴을 추정하기 위하여 적응적 위너 펄터(adaptive wiener filter)를 사용한다. 적응적 위너 필터는 영상에서 잡음을 제거하기 위한 디노이즈(denoise) 필터 역할을 수행한다. 저작권 정보를 나타내기 위해 동영상에 오버레이채널에 삽입된 워터마크패턴은 일종의 잡음(noise)이며, 촬영된 영상의 각 프레임에 위너 필터를 적용한 후 추출된 잡음은 워터마크패턴 데이터를 다량 포함하고 있다. 따라서 적응적 위너 필터를 이용한 노이즈 제거방식으로 삽입된 영상으로부터 추정된 워터마크패턴을 구한다. 적응적 위너 필터의 계산은 수학식 3에 나타낸 바와 같다.
An adaptive wiener filter is used to estimate a watermark pattern inserted in an image captured by a camcorder. The adaptive Wiener filter serves as a denoise filter for removing noise from an image. The watermark pattern inserted in the overlay channel in the video to represent copyright information is a kind of noise. The noise extracted after applying the Wiener filter to each frame of the captured image contains a large amount of watermark pattern data. Therefore, the estimated watermark pattern is obtained from the inserted image by the noise removing method using the adaptive Wiener filter. The calculation of the adaptive Wiener filter is as shown in equation (3).

수학식 3에서

는 워터마킹된 영상,

는 잡음이 제거된 영상을 표시하며,

와

는 각각

의 지역 평균, 지역 분산을 의미한다.

은 잡음의 분산을 의미하는데, 여기서는

의 지역 분산들의 평균값을 이용한다. In equation (3)

Is a watermarked image,

Displays the noise-free image.

Wow

Respectively

Means regional mean, regional variance.

Means variance of noise, where

Use the average of the regional variances of

추정된 워터마크패턴을 구하기 위해서는 워터마킹된 영상

로부터 잡음이 제거된 영상

를 빼줘야 한다. 수학식 4는 워터마크패턴 추정 영상

를 구하는 계산을 나타낸다.Watermarked Image to Obtain Estimated Watermark Pattern

Noise removed from images

Must be subtracted. Equation 4 is a watermark pattern estimation image

The calculation to find

워터마크추정및축적모듈(40)은 효율성을 높이기 위해 N개의 추정된 패턴을 축적하게 된다. 도 13은 워터마크패턴 축적 시나리오를 보여주고 있다.
The watermark estimation and accumulation module 40 accumulates N estimated patterns to increase efficiency. 13 shows a watermark pattern accumulation scenario.

워터마크추출모듈Watermark Extraction Module

다음으로 워터마크추출모듈(50)에 대해 보다 상세히 설명하기로 한다.Next, the watermark extraction module 50 will be described in more detail.

워터마크패턴 삽입 시 일정한 블록 크기의 기본 패턴을 반복 삽입한 점을 이용하여 도 14와 같이 추정된 전체 영역의 워터마크패턴을 먼저 512x256 크기로 폴딩(folding)한 후 다시 기본워터마크패턴 블록과 같은 크기인 256x128 크기로 축소한다. 이 방법은 영상을 폴딩하고 축소함으로써 계산하고자 하는 영상의 크기를 줄여 워터마크삽입여부판단모듈(70)에서 상관값을 구하는 복잡도를 줄이고 워터마크패턴의 견고함을 증가시키기 위해 사용한다. 이렇게 폴딩되고 축소된 워터마크패턴을 그 기호에 따라 기호가 음수인 경우 0로, 양수인 경우 1로 계산하여 최종적으로 추출워터마크패턴을 만들게 된다.
When the watermark pattern is inserted, the watermark pattern of the entire estimated area is first folded to a size of 512x256 as shown in FIG. 14 by repeatedly inserting the basic pattern of a predetermined block size, and then again the same as the basic watermark pattern block. Reduce the size to 256x128. This method is used to reduce the complexity of calculating the correlation value in the watermark insertion determination module 70 by increasing the size of the image to be calculated by folding and reducing the image and increasing the robustness of the watermark pattern. The folded and reduced watermark pattern is calculated as 0 when the symbol is negative and 1 when the symbol is positive according to the symbol, thereby finally creating an extracted watermark pattern.

참조워터마크생성모듈Reference Watermark Generation Module

삽입에 사용된 워터마크패턴은 기본워터마크패턴에서 순환 시프트와 패턴 플립을 거쳐서 변형된 워터마크패턴이다. 즉, 참조워터마크패턴은 기본워터마크패턴이 얼마나 변형이 되었는지를 파악할 수 있도록 만들어져야 한다. 참조워터마크패턴을 생성하는 자세한 방법은 다음과 같다. The watermark pattern used for embedding is a watermark pattern transformed through a cyclic shift and a pattern flip from the basic watermark pattern. That is, the reference watermark pattern should be made so as to determine how the basic watermark pattern is deformed. A detailed method of generating the reference watermark pattern is as follows.

삽입 시 기본워터마크패턴은 패턴 플립을 하거나 하지 않은 채 순환 시프트가 됨으로써 8 bit의 정보를 갖게 된다. 패턴 플립이 되지 않은 순환 시프트의 경우에는 기본워터마크 턴과 삽입된 워터마크패턴을 서로 중첩(convolution)하여 상호 상관 연산을 이용함으로써 순환 시프트된 위치를 찾아 삽입된 8bit 정보를 추출할 수 있지만, 패턴 플립이 된 경우에는 기본워터마크패턴을 그대로 사용한 참조워터마크패턴이 아닌 기본워터마크패턴을 플립하여 만든 참조워터마크패턴으로 삽입된 워터마크패턴과의 상호 상관값을 구해야만 삽입된 정보를 추출할 수 있다. 따라서 한 기본워터마크패턴당 패턴 플립이 되었을 경우와 되지 않았을 경우에 따른 각각의 참조워터마크패턴이 필요하게 된다. When inserted, the basic watermark pattern has 8 bits of information by performing a cyclic shift with or without pattern flipping. In the case of a cyclic shift without a pattern flip, the 8-bit information can be extracted by searching for a cyclically shifted position by using a cross correlation operation by convoluting the basic watermark turn and the inserted watermark pattern. In case of flipping, the inserted information cannot be extracted until the cross-correlation value with the watermark pattern inserted as the reference watermark pattern created by flipping the basic watermark pattern is used instead of the reference watermark pattern using the basic watermark pattern as it is. Can be. Therefore, each reference watermark pattern is required when the pattern flips per basic watermark pattern or not.

도 15에 패턴 플립이 되지 않은 참조워터마크패턴의 생성 과정을 나타낸다. 15 illustrates a process of generating a reference watermark pattern without pattern flip.

즉 패턴 플립이 되지 않은 경우의 참조워터마크패턴 생성 과정을 살펴보면 다음과 같다. 본 발명에서 제안하는 참조워터마크패턴의 크기는 기본워터마크패턴의 크기의 2배이다. 기본워터마크패턴의 크기가 256x128이었으므로 참조워터마크패턴의 크기는 512x256이 된다. 참조워터마크패턴은 기본워터마크패턴을 4번 사용해서 만들게 되는데 먼저 기본워터마크패턴을 세로축으로 2번 덧붙이고 이렇게 덧붙인 패턴을 가로축으로 덧붙이되 왼쪽에 덧붙이는 2개의 패턴이 아래 방향으로 16만큼 순환 시프트가 되도록 만든다. 이렇게 함으로써 기본워터마크패턴이 순환 시프트가 된 후에도 참조워터마크패턴과 중첩하여 상호 상관 연산을 할 경우 높은 상호 상관값이 나오는 위치를 파악함으로 삽입된 정보를 추출할 수 있게 된다. That is, the process of generating the reference watermark pattern when the pattern is not flipped is as follows. The size of the reference watermark pattern proposed in the present invention is twice the size of the basic watermark pattern. Since the size of the basic watermark pattern was 256x128, the size of the reference watermark pattern is 512x256. The reference watermark pattern is created by using the basic watermark pattern four times. First, the basic watermark pattern is added two times on the vertical axis, and the added pattern is added on the horizontal axis, but the two patterns on the left are cyclically shifted by 16 downwards. To be In this way, even when the basic watermark pattern is cyclically shifted, when the cross-correlation operation is overlapped with the reference watermark pattern, the inserted information can be extracted by identifying a position where a high cross-correlation value appears.

패턴 플립이 된 경우의 참조워터마크패턴의 생성 과정도 기본워터마크패턴을 패턴 플립한 후 도 15의 방법을 그대로 사용하여 만들 수 있다. A process of generating a reference watermark pattern in the case of a pattern flip may also be made by flipping the basic watermark pattern and using the method of FIG. 15 as it is.

워터마크삽입여부판단모듈Watermark Insertion Judgment Module

상기 워터마크추출모듈(50)로부터의 추출된 추출워터마크패턴과 상기 참조워터마크생성모듈(50)에서 생성된 참조워터마크패턴을 비교하여 워터마크패턴이 삽입되어 있는 지를 판단하는 워터마크삽입여부판단모듈(70)에 대해 자세히 살펴보기로 한다.Whether to insert a watermark to determine whether a watermark pattern is inserted by comparing the extracted watermark pattern extracted from the watermark extraction module 50 and the reference watermark pattern generated by the reference watermark generation module 50 The determination module 70 will be described in detail.

워터마크패턴 삽입여부를 판단하기 위해 추출워터마크패턴 W_f와 비밀키에 의해 생성된 참조워터마크패턴 W_r사이의 정규화 상호 상관 연산(normalized cross correlation)을 수행한다. 상호 상관 연산은 단순한 상관 연산보다 이동 공격에 대해 좀 더 신뢰성 있는 결과를 얻을 수 있다. 수학식 5는 정규화 상호 상관 연산을 나타낸다.
It performs an extraction of the watermark pattern reference watermark pattern normalized cross-correlation between W _r W _f generated by a secret key (normalized cross correlation) to determine whether the watermark pattern insertion. Cross-correlation operations can yield more reliable results for mobile attacks than simple correlations. Equation 5 represents a normalized cross correlation operation.

이 식에서 H와 W는 각각 기본워터마크패턴의 높이와 너비를 의미한다. 수학식 5의 경우 연산에 대한 계산 복잡도가 매우 크다. 하지만 수학식 6과 같이 FFT(Fast Fourier Transform)를 사용함으로써 복잡도를 크게 줄일 수 있다.
In this equation, H and W are the height and width of the basic watermark pattern, respectively. In the case of Equation 5, the calculation complexity for the operation is very large. However, the complexity can be greatly reduced by using the Fast Fourier Transform (FFT) as shown in Equation 6.

수학식 5의 복잡도는 n을 계산될 픽셀 수라고 하였을 때 O(n²)이지만, FFT를 사용하여 구한 수학식 6의 경우에는 O(n log n)이 된다. The complexity of Equation 5 is O (n ² ) when n is the number of pixels to be calculated, but in Equation 6 obtained using FFT, it is O (n log n).

워터마크패턴의 삽입 유무를 판단하기 위해서 이와 같은 식으로 계산된 상호 상관 값 중에서 최대값을 임계치와 비교를 한다. 수학식 7에서 DR(Detect Response)은 계산된 상호 상관 값 중에서 최대값을 의미한다.
In order to determine whether a watermark pattern is inserted, the maximum value of the cross-correlation values calculated in this manner is compared with a threshold. In Equation 7, DR (Detect Response) refers to a maximum value among the calculated cross-correlation values.

만약 이 값이 임계치보다 크다면 워터마크패턴이 삽입되어 있다고 판단을 하게 되고, 작다면 삽입되지 않았다고 판단하게 된다. 이 때 임계치

에 대한 계산은 식 수학식 8을 통해 이루어진다.
If the value is larger than the threshold value, it is determined that the watermark pattern is inserted, and if it is small, it is determined that it is not inserted. At this time

The calculation for is made through the equation (8).

수학식 8에서

와

는 각각

의 평균과 표준편차,

는 거짓 양성 오류(false positive error)에 따라 결정된다.In equation (8)

Wow

Respectively

Mean and standard deviation,

Is determined according to a false positive error.

추출워터마크패턴을 참조워터마크패턴과의 상호 상관 연산을 이용하여 기본워터마크패턴에서 순환 시프트 된 거리를 구해야 한다. 순환 시프트 된 거리를 구하는 방법은 간단하다. 추출워터마크패턴을 참조워터마크패턴 2개에 대해 왼쪽 위부터 오른쪽 아래로 한 픽셀씩 이동하면서 상호 상관값을 구하여 임계치를 넘는 값 중 가장 큰 값을 가진 위치를 순환 시프트 된 위치라고 결정하고 계산하는 방식이다. The cyclically shifted distance from the basic watermark pattern should be obtained using cross-correlation with the extracted watermark pattern. To find the cyclically shifted distance is simple. Cross-correlation value is obtained by moving the extracted watermark pattern by one pixel from the top left to the bottom right for two reference watermark patterns to determine and calculate the position having the largest value over the threshold as the cyclically shifted position. That's the way.

도 16의 예를 이용해서 시프트 정보를 추출하는 방법을 좀 더 자세히 알아보기로 한다.A method of extracting shift information using the example of FIG. 16 will be described in more detail.

추출워터마크패턴을 살펴보게 되면 첫 번째 블록에 해당하는 값(파란색 블록)이 한 줄 아래 세 번째 칸에 위치하고 있음을 알 수 있다. 즉, 아래로 한 블록, 오른쪽으로 두 블록 이동해 있다. 한 줄은 16개의 블록이 들어갈 수 있고 아래 두 칸이 더 이동되었으므로 삽입된 정보는 16 + 2 가 되어 18이 됨을 알 수 있다. 이렇게 추출워터마크패턴을 참조워터마크패턴 위에서 한 픽셀씩 이동시키면서 상호 상관 관계를 계산하게 되면 도 16에서 볼 수 있듯이 참조워터마크패턴 위에 빨간색 위치에 추출워터마크패턴이 위치할 때 가장 큰 상호 상관값을 갖게 됨을 알 수 있다. 이는 추출워터마크패턴이 오른쪽 아래로부터 위로 한 블록, 왼쪽으로 두 블록 이동된 위치임을 알 수 있다. 이를 반대로 유추하여 계산하게 되면 추출워터마크패턴이 기본워터마크패턴에서 얼마나 순환 시프트 되었는지를 계산할 수 있게 되고 따라서 삽입된 정보가 무엇인지 추출할 수 있게 된다. Looking at the extracted watermark pattern, it can be seen that the value (blue block) corresponding to the first block is located in the third column under one line. That is, one block down and two blocks to the right. One line can hold 16 blocks, and the next two spaces have been moved so that the inserted information is 16 + 2, which is 18. When the extracted watermark pattern is moved by one pixel on the reference watermark pattern and the cross correlation is calculated, as shown in FIG. 16, the largest cross-correlation value is obtained when the extracted watermark pattern is located at the red position on the reference watermark pattern. It can be seen that It can be seen that the extracted watermark pattern is moved one block up from the bottom right and two blocks to the left. By inferring the above calculation, it is possible to calculate how cyclically shifted the extracted watermark pattern is from the basic watermark pattern, and thus extract the inserted information.

이 과정을 패턴 플립을 수행한 참조워터마크패턴과 패턴 플립을 수행하지 않은 참조워터마크패턴에 모두 적용시켜 가장 큰 상호 상관값을 갖는 위치를 순환 시프트 된 위치로 결정하고 삽입된 정보를 추출하게 된다.
This process is applied to both the reference watermark pattern that performed the pattern flip and the reference watermark pattern that does not perform the pattern flip to determine the position having the largest cross correlation value as the cyclically shifted position and extract the inserted information. .

여기에서 고려해야 할 사항이 한 가지 더 있다. 추출워터마크패턴은 원본 동영상을 캠코더 촬영 공격을 가한 후 얻은 동영상에서 추출한 정보이므로 촬영을 정교하게 하더라도 추출워터마크패턴은 삽입 시 사용한 워터마크패턴에서 약간의 이동이 있게 된다. 따라서 추출워터마크패턴과 참조워터마크패턴의 상호 상관값이 가장 높게 나온 위치에서 상하좌우 6픽셀 거리 내에서 블록을 맞출 수 있는 곳의 위치 정보를 사용자가 삽입을 할 때 의도한 위치로 판단하여 정보를 추출하게 된다. There is one more thing to consider here. Since the extracted watermark pattern is extracted from the video obtained after the camcorder shooting attack, the extracted watermark pattern is slightly shifted from the watermark pattern used during insertion. Therefore, when the user inserts the position information of the position where the block can be aligned within 6 pixels of the top, bottom, left and right from the position where the correlation between the extracted watermark pattern and the reference watermark pattern is highest, Will be extracted.

도 17의 예에서 볼 수 있듯이 추출워터마크패턴의 상호 상관값이 참조워터마크 패턴의 정확한 격자와 맞지 않더라도 상하좌우 6픽셀 거리 내에서 만날 수 있는 블록의 위치가 삽입 시 사용된 위치로 판단하여(빨간색 블록) 해당 값으로 정보를 추출함으로써 캠코더 촬영 공격으로 인한 약간의 이동에 대한 보정 효과를 갖는다.
As shown in the example of FIG. 17, even though the cross-correlation value of the extracted watermark pattern does not match the exact grid of the reference watermark pattern, it is determined that the position of the block that can be met within 6 pixels of up, down, left, and right is used as the insertion position. Red block) By extracting the information to the corresponding value, it has a correction effect for slight movement caused by the camcorder shooting attack.

D-A/A-D 변환 공격에서의 시간적 동기화Temporal Synchronization in D-A / A-D Translation Attacks

캠코더 촬영을 하게 될 경우 D-A/A-D 변환 공격이 이루어지면 워터마킹된 영상과 그 영상을 찍는 캠코더 사이에 시간적인 차이가 생기게 된다. 1차적 차이로는 워터마킹된 영상의 시작 부분을 캠코더가 늦게 촬영할 수도 있고 혹은 촬영하지 못하여 캠코더 녹화 영상에 포함되지 않을 수도 있다. 이런 점에서 시간적 동기화를 맞춰야 하는 문제가 생기게 된다. 2차적 차이는 워터마킹된 영상을 출력하는 LCD나 PDP가 빛을 쏘는 속도와 시작 시각과 이를 촬영하는 캠코더가 녹화하는 속도와 시작 시각이 맞지 않을 때 깜빡임(flickering)이 생기는 문제가 있다. Camcorder shooting When a D-A / A-D conversion attack is made, there is a time difference between the watermarked video and the camcorder taking the video. The primary difference is that the camcorder may shoot late at the beginning of the watermarked image or may not be included in the camcorder recorded image because it could not capture it. In this regard, there is a problem of time synchronization. The second difference is that flickering occurs when the LCD or PDP outputting the watermarked image shoots at the speed and start time of the light, and when the recording time and start time of the camcorder recording the image do not match.

본 발명에서는 1차적 시간 동기화를 맞추기 위하여 워터마크패턴 삽입 시 12초간 같은 메시지를 반복하도록 하고 6초 단위로 같은 메시지를 추출하도록 하는 방법으로 이를 해결하였다. 도 18에서 위에서 설명한 시간 동기화 문제 해결 방법을 나타내고 있다. (a)의 경우는 시간 동기화가 맞춰진, 즉 D-A/A-D 변환이 이루어지지 않은 워터마크패턴이 들어간 영상에서의 워터마크패턴의 추출을 보여주고 있다. 이 경우에서는 12초간 들어간 메시지를 정확히 6초씩 2번으로 나뉘어 추출할 수 있다. (b)의 경우는 시간 동기화가 맞춰지지 않은, 즉 대개 D-A/A-D 변환에서 일어날 수 있는 프레임의 시간적인 어긋남을 보여주고 있다. 이 경우에는 12초간 정확히 2번의 메시지를 추출할 수 없다 하더라도 6초 중 2번 중의 한번은 워터마크패턴을 삽입한 12초의 범위 안에 포함되기 때문에 같은 순서의 워터마크패턴을 추출 할 수 있다.
The present invention solves this problem by repeating the same message for 12 seconds and extracting the same message every 6 seconds in order to match the primary time synchronization. 18 illustrates a method for solving the time synchronization problem described above. In the case of (a), the watermark pattern is extracted from an image containing a watermark pattern that is time-synchronized, that is, without DA / AD conversion. In this case, the message entered for 12 seconds can be extracted by dividing the message into two times of exactly six seconds. The case (b) shows the temporal misalignment of frames that are not synchronized in time, that is, in general, possible in DA / AD conversion. In this case, even if two messages cannot be extracted exactly for 12 seconds, one of two times out of six seconds is included in the range of 12 seconds into which the watermark pattern is inserted, so that the watermark patterns in the same order can be extracted.

100 : 워터마크삽입시스템 200 : 워터마크검출시스템
10 : 워터마크생성모듈 20 : 워터마크변조모듈
30 : 워터마크제어모듈 40 : 워터마크추정및축적모듈
50 : 워터마크추출모듈 60 : 참조워터마크생성모듈
70 : 워터마크삽입여부판단모듈100: watermark insertion system 200: watermark detection system
10: watermark generation module 20: watermark modulation module
30: watermark control module 40: watermark estimation and accumulation module
50: watermark extraction module 60: reference watermark generation module
70: watermark insertion module

Claims

In the watermark insertion system,
A secret key is generated to secure the watermark pattern, a basic watermark pattern is generated by using a spread spectrum watermarking technique using the generated secret key, and the basic watermark pattern is processed according to the input information amount of the watermark modulation module. A watermark generation module for creating a watermark pattern;
A watermark modulation module for modulating the watermark pattern generated by the watermark generation module using a recognition visual system; And
Watermark control to adjust the watermark pattern from the watermark modulation module to be inserted into the overlay channel at a predetermined position and time, and to create a watermarked image by combining the watermark pattern inserted in the overlay channel with the original image Video watermark insertion system using an overlay channel comprising a; module.

The method of claim 1, wherein the watermark generation module,
And the watermark control module generates a pattern by an integer operation in order to perform a calculation so that the watermark control module can insert a watermark pattern in an overlay channel in real time.

The watermark control module of claim 1, wherein the watermark control module comprises:
And a watermark pattern from the watermark modulation module is arranged at a position centered on the horizontal axis and two-thirds on the vertical axis.

The watermark modulation module of claim 1, wherein the watermark modulation module comprises:
Video watermark insertion using an overlay channel, characterized by selecting the color of the watermark pattern using the brightness region, determining the transparency of the watermark pattern using the brightness masking, and inserting padding in consideration of the Mach band effect. system.

The method of claim 4, wherein the watermark modulation module,
By reducing the amount of computation by reusing any portion of the watermark pattern that has been previously calculated, eliminating the real operation and performing the calculation only by integer operation, the watermark control module uses the overlay channel to display the watermark pattern on the original image. Video watermark insertion system using an overlay channel, characterized in that to insert in real time.

The method of claim 5, wherein the watermark modulation module,
When fetching or writing the contents of memory, memory alignment is performed so that the same range is always obtained, instruction parsing is performed so that the operation can be performed in as few cycles as possible, and instructions are rearranged to reduce instruction stall. Video watermark insertion system using an overlay channel.

The method of claim 4, wherein the watermark modulation module,
When fetching or writing the contents of memory, memory alignment is performed so that the same range is always obtained, instruction parsing is performed so that the operation can be performed in as few cycles as possible, and instructions are rearranged to reduce instruction stall. Video watermark insertion system using an overlay channel.

In the video watermark insertion method using a video watermark insertion system including a watermark generation module, a watermark modulation module and a watermark control module,
Generating a basic watermark pattern from an initial secret key received from a user;
Generating a payload pattern which deforms the basic watermark pattern to fit the amount of information to be input in the expansion step of the payload pattern;
Expanding the payload pattern to expand the pattern size of the watermark payload pattern; And
Repeating the payload pattern to repeat the extended watermark payload pattern; Video watermark insertion method using an overlay channel, characterized in that for generating a watermark pattern to be input to the watermark modulation module.

The method of claim 8, wherein the generating of the payload pattern comprises:
A video watermark insertion method using an overlay channel, wherein the basic watermark pattern is deformed by a cyclic shift and a pattern flip to match the amount of information to be input in the expansion step of the payload pattern.

The method of claim 8, wherein the generating of the basic water mark pattern comprises:
Generating a first basic watermark pattern using an initial secret key received from a user;
Generating a second secret key based on the sum of the information of the initial secret key and the first basic water mark pattern, and generating a second basic water mark pattern using the second secret key;
Generating a third secret key based on the sum of the information of the initial secret key, the first basic water mark pattern, and the second basic water mark pattern, and generating a third basic water mark pattern using the third secret key;
A fourth secret key is generated based on the sum of the information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, and the third basic water mark pattern, and a fourth basic water mark pattern is generated using the fourth secret key. step; And
A fifth secret key is generated by a sum of information of the initial secret key, the first basic water mark pattern, the second basic water mark pattern, the third basic water mark pattern, and the fourth basic water mark pattern, and the fifth secret key And a fifth basic watermark pattern generation step using a key.

The method of claim 10,
The secret key is generated using a recursive key generator based on a time axis, and the control of the secret key is performed by the repetition time of the watermark pattern.

In the video watermarking system including a watermark insertion system and a watermark detection system,
The watermark insertion system includes: a watermark generation module for generating a watermark pattern; A watermark modulation module for modulating the generated watermark pattern and inserting it into an overlay channel; And a watermark control module for combining the inserted watermark pattern with the original image to create a watermarked image.
The watermark detection system,
A watermark estimation and accumulation module for estimating a watermark pattern and accumulating a plurality of patterns by a noise removing method by an adaptive Wiener filter;
A watermark extraction module for extracting the inserted watermark pattern;
A reference watermark generation module for generating a reference watermark pattern for calculating a degree of deformation of the inserted watermark pattern; And
And a watermark insertion determining module for comparing the extracted watermark pattern extracted from the watermark extraction module and the reference watermark pattern to determine whether a watermark pattern is inserted. Watermarking system.

The method of claim 12, wherein the reference watermark generation module,
The basic watermark pattern is added to the vertical axis first, and then the horizontal water axis pattern is added to make 4 times the pattern of the basic watermark pattern, but the two patterns added to the left are made by rotating the shift 16 downwards. Video watermarking system using an overlay channel.

The method of claim 12,
If there is a temporal difference between the watermarked image and the duplicated image with the watermark pattern inserted, the same message is repeated for a first predetermined time when the watermark pattern is inserted into the overlay channel for time synchronization. The video watermarking system using the overlay channel, characterized in that for extracting the same message in a second predetermined time unit corresponding to one half of the first predetermined time.

The method of claim 12, wherein the watermark insertion determination module,
A normalized cross-correlation operation between the extracted watermark pattern and the reference watermark pattern is performed, and the presence or absence of a watermark pattern is determined by comparing an absolute value of the cross-correlation value with a threshold value, and extracted based on the cross-correlation value. Video watermarking system using an overlay channel, characterized in that the watermark pattern is to obtain a cyclically shifted distance from the basic watermark pattern.

16. The method of claim 15,
The video watermarking system using the overlay channel, characterized in that to use a fast Fourier transform to reduce the complexity of the normalized cross-correlation operation.

The method according to claim 15 or 16,
The distance from which the extracted watermark pattern is cyclically shifted from the basic watermark pattern is obtained by crossing the extracted watermark pattern by one pixel from the upper left to the lower right with respect to the two reference watermark patterns to obtain a cross correlation value. Video watermarking system using an overlay channel, characterized in that the position having the largest value among the values.

The method of claim 17,
Extracting the information by judging the position information used when inserting the position information where the block can be aligned within 6 pixels of the top, bottom, left and right from the position where the extracted watermark pattern and the reference watermark pattern have the highest correlation value Video watermarking system using an overlay channel, characterized in that.