KR101054823B1 - Watermarking System and Method in Various Illuminance Environments - Google Patents
Watermarking System and Method in Various Illuminance Environments Download PDFInfo
- Publication number
- KR101054823B1 KR101054823B1 KR1020090061260A KR20090061260A KR101054823B1 KR 101054823 B1 KR101054823 B1 KR 101054823B1 KR 1020090061260 A KR1020090061260 A KR 1020090061260A KR 20090061260 A KR20090061260 A KR 20090061260A KR 101054823 B1 KR101054823 B1 KR 101054823B1
- Authority
- KR
- South Korea
- Prior art keywords
- masking
- watermark
- weight
- value
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
- H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
- H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
본 발명은 위치오차 다양한 조도 환경에서의 워터마킹 시스템 및 그 방법에 관한 것으로서, 비밀키와 메시지를 이용하여, 한 프레임에 삽입할 워터마크 기본패턴을 생성하고, 기본패턴을 반복시킨 소정크기의 최종패턴을 생성하는 워터마크 생성부; 원본 영상 프레임을 바탕으로, 워터마크 삽입 위치에 해당하는 영역의 밝기 정보 데이터를 분석하여 복합적 마스킹 값을 구하는 마스킹부; 상기 마스킹부를 통해 계산된 각각의 가중치를 이용하여 최종적인 복합적 마스킹 가중치를 계산하는 복합적 마스킹 가중치 계산부; 및 상기 복합적 마스킹 가중치 계산부를 통해 계산된 값을 바탕으로, 원본 영상 프레임을 더해 워터마크 삽입 프레임를 생성하는 워터마크 삽입부; 를 포함하는 것을 특징으로 한다.The present invention relates to a watermarking system and a method thereof in various illumination environments, and generates a watermark basic pattern to be inserted into one frame by using a secret key and a message, and repeats the basic pattern in a predetermined size. A watermark generator for generating a pattern; A masking unit which obtains a complex masking value by analyzing brightness information data of an area corresponding to a watermark insertion position based on an original image frame; A composite masking weight calculator configured to calculate a final composite masking weight using each weight calculated by the masking unit; And a watermark inserting unit generating a watermark embedding frame by adding an original image frame based on a value calculated by the complex masking weight calculator. Characterized in that it comprises a.
워터마크, 복합적 마스킹, 가중치 Watermark, Complex Masking, Weight
Description
본 발명은 다양한 조도에서의 캠코더 공격에 대한 강인성을 지닌 비디오 워터마킹 기술로서, 더욱 상세하게는 비디오 각 프레임의 공간 영역에 삽입되는 워터마크의 강인성과 비가시성을 보장할 수 있도록 인지시각체계 분석을 기반으로 복합적 마스킹을 사용하는 다양한 조도 환경에서의 워터마킹 시스템 및 그 방법에 관한 것이다. The present invention is a video watermarking technique having robustness against camcorder attack in various illuminance, and more specifically, it analyzes the cognitive visual system to ensure the robustness and invisibility of the watermark inserted into the spatial region of each video frame. The present invention relates to a watermarking system and a method thereof in various illumination environments using complex masking.
유·무선 네트워크를 기반으로 한 정보 통신 기술의 눈부신 성장과 인터넷의 대중화는 디지털 음성이나 정지영상, 동영상과 같은 멀티미디어 콘텐츠 서비스 제공 기술 발전의 기폭제 역할을 하고 있다. The remarkable growth of information and communication technology based on wired and wireless networks and the popularization of the Internet are acting as a catalyst for the development of multimedia content service providing technology such as digital voice, still image, and video.
또한, 기존의 아날로그형 브라운관에서 디지털 LCD나 PDP로 진화한 대형 디스플레이 시장의 확대로 고품질 디지털 콘텐츠에 대한 사용자들의 요구가 늘어나 고 있고, 이에 발맞추어 제공되는 고품질 디지털 콘텐츠의 종류와 양도 급격히 증가하고 있다. In addition, with the expansion of the large display market that has evolved from the analog CRT to digital LCD or PDP, users' demand for high-quality digital contents is increasing, and the type and quantity of high-quality digital contents provided in accordance with this are rapidly increasing. .
지상파 및 케이블 TV 에서는 본격적으로 Full-HD급 방송 영상을 송출하기 시 작하였고, 영화 시장에서도 전통적인 아날로그 필름 대신 고품질의 영화 상영을 가능하게 하는 '디지털 시네마' 시장을 넓혀가고 있다. 하지만 이와 같은 경향은 디지털 콘텐츠에 대한 불법복제나 불법유통을 가속화 시키고 있다. 디지털 콘텐츠는 기존의 아날로그 콘텐츠에 비해 편집, 저장, 전송이 쉬우며, 화질의 열화 없이 원본과 동일한 사본을 대량으로 쉽게 생산 및 보급할 수 있기 때문이다. 따라서 고품질 디지털 콘텐츠의 불법 복제 및 배포 방지를 위한 기술 개발이 시급한 실정이다.Terrestrial and cable TV began to broadcast full-HD broadcast video in earnest, and the movie market is expanding the 'digital cinema' market, which enables high-quality movie screening instead of traditional analog film. However, this trend is accelerating piracy and illegal distribution of digital content. Digital content is easier to edit, store, and transmit than existing analog content, and it is easy to produce and disseminate the same copy as the original without the deterioration of image quality. Therefore, it is urgent to develop a technology for preventing illegal copying and distribution of high quality digital contents.
최근 디지털 동영상 콘텐츠에 대한 DRM(Digital Right Management) 기술로 워터마킹 기술이 각광을 받고 있다. 하지만, 기존의 동영상 워터마킹 기술은 다양한 형식의 디지털 영상 콘텐츠 보호 역할을 완벽하게 수행하지 못하고 있다. 특히 고품질 동영상 콘텐츠의 경우, 고해상도 LCD 디스플레이 장치뿐만 아니라 PMP(Portable Multimedia Player)나 PDA(Personal Digital Assistants) 같은 휴대용 장치에 적합하게 변환, 편집되면서 삽입된 워터마크가 쉽게 제거되는 문제점이 있었다. 또한 '디지털 시네마' 산업이 성장하면서 늘어난 불법적 캠코더 촬영으로 일어나는 기하학적 변형 및 조도 변화에 대한 견고성도 떨어진다. 따라서 새롭게 제안되는 고품질 비디오 워터마킹 기술은 이와 같은 종합적이고 복합적인 공격에도 살아남을 수 있어야 한다.Recently, watermarking technology has been in the spotlight as DRM (Digital Right Management) technology for digital video contents. However, the existing video watermarking technology does not fully play a role of protecting various types of digital video contents. Particularly, in case of high quality video content, the inserted watermark is easily removed while being converted and edited for a high resolution LCD display device as well as a portable device such as a portable multimedia player (PMP) or a personal digital assistant (PDA). In addition, the growth of the 'digital cinema' industry is also less robust to geometric variations and illuminance changes caused by illegal camcorder shooting. Therefore, the newly proposed high quality video watermarking technology must survive such a complex and complex attack.
고품질 동영상에 적용되는 디지털 워터마킹 기술은, 비가시성(invisibility), 강인성(robustness), 그리고 실시간성(real-time)의 특성을 동시에 만족 시켜야 한다.Digital watermarking technology applied to high quality video must satisfy the characteristics of invisibility, robustness, and real-time simultaneously.
비가시성은 삽입된 워터마크가 인간의 시각에 의하여 감지되지 않아야 하고, 삽입된 콘텐츠의 원본 대비 손상이 적어야 함을 의미한다. 최근 보급되는 디지털 콘텐츠의 경우 Full- HD급 동영상의 비율이 높고, 실제로 고해상도 LCD나 PDP에서 디스플레이 되는 경우가 많기 때문에 비가시성이 매우 중요하다. 강인성은 삽입된 워터마크가 의도적인 공격 또는 비의도적인 공격을 받은 후에도 검출이 가능해야 함을 의미한다. 동영상에 대한 비의도적인 공격은 삽입된 워터마크를 제거하려는 목적이 아닌 행위에 의해 워터마크가 제거되거나 약화되는 것을 의미한다. 동영상 배포 및 저장을 쉽게 하기 위한 포맷 변환, 사이즈 변환, 프레임률(frame rate) 변환 등이 비의도적인 공격 유형에 속한다. Invisibility means that the inserted watermark should not be detected by human vision, and the damage of the inserted content should be less than that of the original. In the case of digital contents that are recently being distributed, invisibility is very important because the ratio of full-HD video is high and is often displayed on a high resolution LCD or PDP. Robustness means that the inserted watermark should be detectable even after intentional or unintentional attack. Unintentional attacks on moving images mean that the watermark is removed or weakened by an action other than the purpose of removing the inserted watermark. Format changes, size conversions, and frame rate conversions are examples of unintended attacks that make video distribution and storage easier.
그리고 캠코더 촬영 시에 일어나는 디지털-아날로그/아날로그-디지털 변환에 의한 공격도 여기에 속한다. 캠코더 촬영에 의한 비의도적 공격은 촬영 시에 일어날수 있는 복합적 기하학 변형 및 다양한 조도에 따른 촬영 영상물의 왜곡을 초래한다. 의도적인 공격은 워터마크를 제거하려는 목적으로 동영상 콘텐츠에 가해지는 행위를 의미한다. 공모 공격이나 워터마크 제거를 위한 디노이징 필터링(denoising filtering) 공격 등이 여기에 속한다. 일반적으로 워터마킹 기술에서 요구되는 비가시성과 강인성은 서로 상충(trade off)되는 성격을 가지고 있다. 비가시성을 높이기 위해 워터마크의 세기를 약하게 하면 강인성이 낮아지고, 강인성을 높이기 위해 워터마크의 세기를 강하게 하면 비가시성이 낮아지게 된다. 따라서 두 가지 특성을 최대한 만족시킬 수 있는 동영상 워터마킹 알고리즘 개발이 필요하다. Also included are attacks by digital-to-analog / analog-to-digital conversion that occur during camcorder photography. Unintentional attacks by camcorder shooting cause complex geometrical deformations and distortions in the photographed image according to various illuminances that may occur during shooting. Intentional attack refers to the acts on video content for the purpose of removing the watermark. This includes collusion attacks and denoising filtering attacks to remove watermarks. In general, the invisibility and toughness required for watermarking technology are traded off. Increasing the strength of the watermark to increase the invisibility lowers the toughness, while increasing the strength of the watermark to increase the invisibility lowers the visibility. Therefore, it is necessary to develop a video watermarking algorithm that satisfies the two characteristics.
마지막으로, 비디오 워터마킹 알고리즘의 실시간성은 비디오 콘텐츠의 크기가 커지면서 점점 더 중요하게 부각되고 있는 특성이다. IPTV(Internet Protocol Television)의 셋톱박스(set-top box)나 디지털 시네마와 같은 실제 워터마크 적용 분야에서는 영상의 상영과 동시에 워터마크가 삽입되어야하기 때문에 삽입 알고리즘의 실시간성이 검출 알고리즘의 실시간성 보다 조금 더 중요하게 여겨지고 있다.Finally, the real-time nature of the video watermarking algorithm is an increasingly important feature as the size of video content increases. In actual watermark applications such as IPTV (set-top box) or digital cinema, the watermark must be inserted at the same time as the image is displayed, so the real time of the insertion algorithm is more than the real time of the detection algorithm. A little more important.
기존 고품질 동영상 워터마킹 기법 중에 캠코더 촬영 및 복합적 변환 공격에 대한 워터마크 검출 문제를 해결하기 위한 몇 가지 워터마킹 기법들이 있다.Among the existing high quality video watermarking techniques, there are several watermarking techniques to solve the watermark detection problem for camcorder shooting and complex transformation attack.
Haitsma & Kalker는 영상을 1차원 시간축의 신호로 보고 각 프레임의 밝기 값을 조절함으로써 워터마크를 삽입하였다. 이 방법은 영상의 기하학적 왜곡에 강인하고 알고리즘이 간단하다는 장점을 갖고 있지만, 프레임 간의 밝기 변화로 인한 깜빡임 현상이 생기는 문제점이 있다.Haitsma & Kalker inserted the watermark by viewing the image as a signal on the 1D time axis and adjusting the brightness value of each frame. This method has the advantage of being robust to geometric distortion of the image and the simple algorithm, but has a problem of flickering due to the brightness change between frames.
Delannay는 캠코더 촬영시 생기는 기하학적 변환을 보정할 수 있는 워터마킹 기법을 제안하였다. 하지만 워터마크 검출을 위해서 원본 영상이 필요하기 때문에 실용성이 떨어진다. 또한, 워터마크 검출을 위해서는 캠코더 촬영된 비디오와 원본 비디오 사이의 시간 동기화 작업올 해야 한다는 단점을 갖고 있다. Delannay proposed a watermarking technique that can compensate for geometrical transformations that occur during camcorder photography. However, since the original image is needed for watermark detection, it is not practical. In addition, watermark detection has a disadvantage in that a time synchronization operation between the camcorder video and the original video must be performed.
Honsinger는 반복된 워터마크 패턴과 자기 상관 함수를 적용하여 캠코더 촬영 공격에 강인한 기법을 제안하였지만, 비가시성 측면에서 좋지 않은 결과를 보인다. Lubin은 비가시성, 강인성, 그리고 불법적인 워터마크 제거에도 안전하게 하기 위해 워터마크 패턴을 시간적, 공간적으로 낮은 주파수 대역에 삽입하는 워터마킹 방법을 제안하였다. 이상 언급된 기존 워터마킹 기법들 모두 워터마크의 비가시성과공격에 대한 강인성을 고려하고 있지만 캠코더 촬영 및 변환공격을 완벽히 해결하지 못하고 있다.Honsinger proposed a robust technique against camcorder shooting attacks by applying repeated watermark patterns and autocorrelation functions, but shows poor results in terms of invisibility. Lubin proposed a watermarking method that inserts watermark patterns into low frequency bands temporally and spatially to ensure invisibility, robustness, and illegal watermark removal. All of the existing watermarking techniques mentioned above consider the watermark's invisibility and robustness against attack, but do not completely solve camcorder shooting and conversion attack.
기존 동영상 워터마킹 알고리즘은 비가시성을 만족시키기 위해 HVS(Human Visual System)를 이용한 다양한 지각 모델(perceptual model)을 사용하고 있다. 그중에서 Voloshynov-skiy가 정지영상에 적용한 NVF(Noise Visibility Function)가 비교적 좋은 성능을 보인다. 하지만 NVF는 계산 복잡도가 높기 때문에 Full-HD급 영상에 적용시키기 어렵다. 왜냐하면 HD급 비디오 워터마킹에서는 실시간 워터마크 삽입요건이 만족되어야 하기 때문이다. Existing video watermarking algorithms use various perceptual models using the Human Visual System (HVS) to satisfy invisibility. Among them, Voloshynov-skiy's Noise Visibility Function (NVF) applied to still images shows relatively good performance. However, NVF is difficult to apply to Full-HD video because of its high computational complexity. This is because real-time watermark embedding requirements must be satisfied in HD video watermarking.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 비디오 각 프레임의 공간 영역에 삽입되는 워터마크의 강인성과 비가시성을 보장할 수 있도록 인지시각체계 분석을 기반으로 복합적 마스킹을 사용하는 다양한 조도 환경에서의 워터마킹 시스템 및 그 방법을 제공함에 그 특징적인 목적이 있다. The present invention has been made in view of the above problems, and various illumination environments using complex masking based on cognitive visual system analysis to ensure the robustness and invisibility of a watermark inserted into a spatial region of each video frame Its purpose is to provide a watermarking system and method thereof.
이러한 기술적 과제를 달성하기 위한 본 발명은 다양한 조도 환경에서의 워터마킹 시스템에 관한 것으로서, 비밀키와 메시지를 이용하여, 한 프레임에 삽입할 워터마크 기본패턴을 생성하고, 기본패턴을 반복시킨 소정크기의 최종패턴을 생성하는 워터마크 생성부; 원본 영상 프레임을 바탕으로, 워터마크 삽입 위치에 해당하는 영역의 밝기 정보 데이터를 분석하여 복합적 마스킹 값을 구하는 마스킹부; 상기 마스킹부를 통해 계산된 각각의 가중치를 이용하여 최종적인 복합적 마스킹 가중치를 계산하는 복합적 마스킹 가중치 계산부; 및 상기 복합적 마스킹 가중치 계산부를 통해 계산된 값을 바탕으로, 원본 영상 프레임을 더해 워터마크 삽입 프레임를 생성하는 워터마크 삽입부; 를 포함한다. The present invention for achieving the technical problem relates to a watermarking system in a variety of illuminance environment, using a secret key and a message, to generate a watermark basic pattern to be inserted into a frame, a predetermined size that repeats the basic pattern A watermark generator for generating a final pattern of the watermark; A masking unit which obtains a complex masking value by analyzing brightness information data of an area corresponding to a watermark insertion position based on an original image frame; A composite masking weight calculator configured to calculate a final composite masking weight using each weight calculated by the masking unit; And a watermark inserting unit generating a watermark embedding frame by adding an original image frame based on a value calculated by the complex masking weight calculator. It includes.
한편, 본 발명은 다양한 조도 환경에서의 워터마킹 방법에 관한 것으로서, (a) 워터마크 생성부가 비밀키와 메시지를 이용하여, 한 프레임에 삽입할 워터마크 기본패턴을 생성하고, 기본패턴을 반복시킨 소정크기의 최종패턴을 생성하는 과정; (b) 마스킹부가 원본 영상 프레임을 바탕으로, 워터마크 삽입 위치에 해당하는 영 역의 밝기 정보 데이터를 분석하여 복합적 마스킹 값을 구하는 과정; (c) 복합적 마스킹 가중치 계산부가 상기 마스킹부를 통해 계산된 각각의 가중치를 이용하여 최종적인 복합적 마스킹 가중치를 계산하는 과정; 및 (d) 워터마크 삽입부가 상기 복합적 마스킹 가중치 계산부를 통해 계산된 값에 원본 영상 프레임을 더해 워터마크 삽입 프레임을 생성하는 과정; 을 포함하는 것을 특징으로 한다. Meanwhile, the present invention relates to a watermarking method in various illuminance environments, wherein (a) the watermark generator generates a watermark basic pattern to be inserted into one frame using a secret key and a message, and repeats the basic pattern. Generating a final pattern of a predetermined size; (b) a process of obtaining, by the masking unit, a complex masking value by analyzing brightness information data of a region corresponding to a watermark insertion position based on the original image frame; (c) calculating, by the complex masking weight calculator, the final complex masking weight using the respective weights calculated by the masking unit; And (d) generating a watermark embedding frame by adding an original image frame to a value calculated by the complex masking weight calculating unit by a watermark embedding unit; Characterized in that it comprises a.
상기와 같은 본 발명에 따르면, 복합적 마스킹을 이용함으로써, 인간의 눈이 잡음에 둔감한 영역에 워터마크를 강하게 삽입하는 것을 가능하게 하며, 워터마크 확장 반복 패턴을 사용하여 D-A/A-D 변환 공격 및 기하학적 변형 공격에 대한 강인성을 높일 수 있는 효과가 있다. According to the present invention as described above, by using complex masking, it is possible to strongly insert the watermark in the area where the human eye is insensitive to noise, and by using the watermark extension repeating pattern, the DA / AD conversion attack and the geometric There is an effect that can increase the robustness against deformation attacks.
그리고 본 발명에 따르면 고화질 콘텐츠 불법 복제 및 유통 방지를 위한 기술로서 활용될 수 있으며, PC뿐 아니라 휴대폰, PMP, 셋톱박스 등과 같이 제한된 성능의 디스플레이 장치에 대한 적용도 가능한 효과도 있다. In addition, the present invention can be utilized as a technology for preventing illegal copying and distribution of high-definition content, and it is also possible to apply not only a PC but also a display device having limited performance such as a mobile phone, a PMP, a set-top box, and the like.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. In the meantime, when it is determined that the detailed description of the known functions and configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description is omitted.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.
본 발명에 따른 다양한 조도 환경에서의 워터마킹 시스템 및 그 방법에 관하 여 도 1 내지 도 7 을 참조하여 설명하면 다음과 같다. The watermarking system and its method in various illuminance environments according to the present invention will be described with reference to FIGS. 1 to 7.
도 1 은 본 발명에 따른 다양한 조도 환경에서의 워터마킹 시스템(이하, '워터마킹 시스템')(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 워터마크 생성부(100), 마스킹부(200), 복합적 마스킹 가중치 계산부(300) 및 워터마크 삽입부(400)를 포함하여 이루어진다. 1 is an overall configuration diagram conceptually illustrating a watermarking system (hereinafter, referred to as a 'watermarking system') S in various illuminance environments according to the present invention, as shown in FIG. The
워터마크 생성부(100)는 비밀키와 메시지를 이용하여, 한 프레임에 삽입할 워터마크 기본패턴을 생성하고, 기본패턴을 반복시킨 소정크기의 최종패턴을 생성하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 기본패턴 생성모듈(110) 및 최종패턴 생성모듈(120)을 포함한다. The
기본패턴 생성모듈(110)은 한 프레임에 삽입할 워터마크 기본패턴을 생성하기 위하여, 비밀 키와 메시지를 이용하여 평균이 0이고 분산이 1인 가우시안 분포(Gaussian distribution)를 따르는 48 x 48 크기의 블록을 생성하고, 48 x 48 크기의 블록을 가로, 세로로 각각 3배씩 확장하여 144 x 144 크기의 워터마크 기본패턴을 생성한다. In order to generate a watermark basic pattern to be inserted into one frame, the basic
여기서, 블록을 3배 확장하는 이유는 패턴의 저주파 특성을 강화하여 D→A/A→D(디지털→아날로그/아날로그→디지털) 변환에 대한 강인성을 부여하기 위함이다. 또한 이와 같은 확장은 크기 변환 공격에 대한 강인성을 높여준다. Here, the reason for extending the block three times is to enhance the low frequency characteristics of the pattern and to provide the robustness for D → A / A → D (digital → analog / analog → digital) conversion. This expansion also increases the robustness against size transformation attacks.
이론적으로 1920 x 1080 사이즈의 Full-HD(High Definition) 영상에 제안된 방식으로 워터마크를 삽입하였을 경우, 가로, 세로 각각 1/3씩 축소한 640 x 360 사이즈의 영상에서도 삽입된 워터마크가 검출될 수 있다. Theoretically, when a watermark is inserted into a Full-HD (High Definition) image of 1920 x 1080 size, the inserted watermark is detected even in a 640 x 360 size image reduced by 1/3 in width and height. Can be.
패턴 확장의 또 다른 장점은 영상의 이동(translation) 공격에 대한 강인성을 높일 수 있다는 것이다. 워터마크 검출 시스템에서는 추정된 워터마크와 참조 워터마크 패턴과의 상호 상관계수(cross correlation coefficient)를 이용하여 워터마크 삽입 유무를 결정하게 된다.Another advantage of pattern expansion is that it can increase the robustness against image translation attacks. The watermark detection system determines whether a watermark is inserted using a cross correlation coefficient between the estimated watermark and the reference watermark pattern.
워터마크 패턴을 가로 세로 n배 확장할 경우 좌, 우, 상, 하 방향으로 각각 n-1배까지 상대적으로 높은 상호 상관 계수값을 가질 수 있다. 만약 3배를 확장하게 되면 상, 하, 좌, 우 2픽셀 정도의 이동으로 인한 동기성 파괴문제를 해결할 수 있게 된다. 이 방법은 자기 상관 계수를 이용한 방법과 결합되어 캠코더 촬영으로 인한 동기성 손실 문제를 해결할 수 있다. 하지만 이 방법은 워터마크 패턴을 블록화하기 때문에 비가시성을 저해시킨다는 단점을 갖고 있다. When the watermark pattern is expanded n times in width and length, it may have a relatively high cross-correlation coefficient value up to n-1 times in the left, right, up, and down directions, respectively. If you expand 3 times, you can solve the problem of synchronous destruction caused by 2 pixels of movement up, down, left, and right. This method is combined with the method using autocorrelation coefficients to solve the problem of loss of synchronization due to camcorder shooting. However, this method has a disadvantage of impairing visibility because it blocks the watermark pattern.
따라서, 본 발명에 따른 기본패턴 생성모듈(110)은 이러한 문제를 해결하기 위해서, 도 2 에 도시된 바와 같이 확장된 패턴에 대해 저주파 통과 필터(low pass filter)(111)를 포함한다. 이러한 저주파 통과 필터(111)를 통해 확장 및 반복으로 인한 블로킹 현상을 줄일 수 있다.Accordingly, in order to solve this problem, the basic
도 2 는 워터마크 패턴의 생성과 확장, 반복, 그리고 삽입영역을 나타내고 있는 일예시도로서, 최종패턴 생성모듈(120)은 기본패턴 생성모듈(110)을 통해 생성된 144 x 144 크기의 워터마크 기본패턴을 도시된 바와 같이 가로로 5번, 세로로 5번 반복시켜서 최종적으로 720 x 720 사이즈의 워터마크 최종패턴을 생성한다. 2 illustrates an example of generating, extending, repeating, and inserting a watermark pattern. The final
이러한, 반복된 패턴은 일정 주기마다 높은 자기 상관성을 보이는 특성을 가지게 되어, 자기 상관함수 연산을 이용한 기하학적 변환 추정에 이용될 수 있다. 또한 영상의 일부가 소설될 경우에도 나머지 반복된 워터마크 패턴을 이용할 수 있으므로 절삭(cropping) 공격에도 강인성을 갖는다. The repeated pattern has a characteristic that shows high autocorrelation at regular intervals, and thus may be used for geometric transformation estimation using autocorrelation function calculation. In addition, even if a part of the image is novel, the remaining repeated watermark pattern can be used, so that it is robust to a cropping attack.
반복해서 생성된 최종 패턴의 크기는 720 x 720이다. 이 크기는 1920x 1080 크기의 Full- HD 영상을 기준으로 한사이즈기 때문에 입력영상이 Full- HD 보다 작거나 클 경우, 최종 패턴의 크기를 변경시켜야 할 필요가 있다. The size of the final pattern generated repeatedly is 720 x 720. Since this size is based on a 1920x1080 Full-HD image, if the input image is smaller or larger than Full-HD, it is necessary to change the size of the final pattern.
크기는 Full-HD 규격을 기준으로 입력 비디오와의 상대 비율을 계산하여 비례적으로 정하게 된다. 이와 같은 과정으로 생성된 패턴은 입력 비디오 밝기 정보의 정 중앙에 위치하게 된다. The size is determined proportionally by calculating the relative ratio with the input video based on the Full-HD standard. The pattern generated by this process is located at the center of the input video brightness information.
또한, 마스킹부(200)는 원본 영상 프레임을 바탕으로, 워터마크 삽입 위치에 해당하는 영역의 밝기 정보 데이터를 분석하여 복합적 마스킹 값을 구하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 NVF 마스킹 모듈(210), 밝기 마스킹 모듈(220) 및 움직임 마스킹 모듈(230)을 포함한다. In addition, the
이러한 복합적 마스킹의 목적은 삽입할 워터마크를 인간의 눈에 띄지 않으면서 최대한 강하게 삽입하는 것이다. 따라서, 복합적 마스킹을 구성하는 세가지 마스킹 모두 HVS(Human Visual System)을 고려하고 있다. The purpose of this complex masking is to insert the watermark to be inserted as strongly as possible without being noticed by humans. Therefore, all three masks that make up complex masking consider the Human Visual System (HVS).
이러한, 복합적 마스킹 기법은, 워터마크의 비가시성을 높이는 동시에 캠촬영시에 일어날 수 있는 조도 변화 공격에도 워터마크가 살아남을 수 있는 강인성을 보장한다.This complex masking technique increases the invisibility of the watermark and at the same time ensures the robustness of the watermark to survive the illuminance change attack that may occur during cam shooting.
먼저, NVF(Noise Visibility Fuction) 마스킹 모듈(210)은 영상에 잡 음(noise)을 넣었을 때 잡음이 보이는 정도(NVF)를 나타내는 함수로서 계산한다. First, the Noise Visibility Fuction (NVF) masking
이때, 영상의 지역별 특성에 따라 다른 값을 가지며 그 값은 0과 1사이이다.이러한 NVF의 결과 값은 영상의 변화가 거의 없는 지역(flat regions)에서 1에 가깝고, 윤곽 부근이나 거친 지역(edges or textured regions)에서는 0에 근접한다. NVF를 이용한 마스크는 라플라시안(Laplacian) 필터에 비해 노이즈 제거 공격에 강인하고, 워터마크 삽입 영상에 대한 비가시성이 우수하다.At this time, the image has different values depending on the region characteristics of the image, and the value is between 0 and 1. The resulting value of the NVF is close to 1 in flat regions where there is little change of the image, and near the contour or the rough edges. or textured regions). Masks using NVF are more robust against noise rejection than Laplacian filters, and are more invisible to watermark embedded images.
즉, NVF 마스킹 모듈(210)은 다음의 [수식 1] 을 통해 NVF를 계산한다. 여기서, 는 지역별 분산(local variance)을, 는 영상에서의 최대 지역별 분산(maximum local variance)을, D [50, 150] 는 실험적 조정 값을 나타내고 있다.That is, the
[수식 1][Equation 1]
또한, NVF 마스킹 모듈(210)은 구하고자 하는 지역 텍스쳐 마스킹 가중치 를 다음의 [수식 2] 에 의해 계산한다. In addition, the
식에서 S0 과 S1 은 각각 지역 성분값의 변화가 적은 영역과 많은 영역에 따라 워터마크 삽입강도를 결정한다. 즉, 지역 성분값으로부터 구해진 NVF 값과 적절한 두 값(S0 과 S1)을 이용한 계산으로 지역 텍스쳐 마스킹 가중치 를 구한다.In the equation, S 0 and S 1 determine the watermark embedding strength according to the regions where the change of the local component values is small and the regions where the variation is small. In other words, the local texture masking weights are calculated by using NVF values obtained from local component values and two appropriate values (S 0 and S 1 ). .
[수식 2][Equation 2]
이후에서도 설명하겠으나, NVF 마스킹 모듈(210)을 통해 계산되는 지역 텍스쳐 마스킹 가중치는, 다른 두 마스킹을 통해 나온 가중치 값과의 연산 후 워터마크에 최종적으로 곱해지게 된다.As will be described later, the local texture masking weight calculated by the
본 발명에 따른 워터마킹 시스템(S)은 워터마크 삽입 후의 강인성, PSNR(Peak Signal to Noise Rate), 그리고 주관적인 질적 수준을 고려하여 S0=5.0, S1=1.0 으로 선택하였다.The watermarking system S according to the present invention was selected as S 0 = 5.0 and S 1 = 1.0 in consideration of the robustness after the watermark insertion, the peak signal to noise rate (PSNR), and the subjective quality level.
이와 같은 NVF을 통해 마스크 값을 구하는 과정의 계산 복잡도는 상당히 큰 편이다. 따라서, 본 발명에 따른 NVF 마스킹 모듈(210)은 도 3 에 도시된 바와 같이 워터마크 삽입과정에서 HD급의 영상에서 워터마크 삽입에 대한 실시간성을 만족시키기 위해서, 720 x 720 크기의 삽입 영역을 가로 1/2, 세로 1/2의 크기로 축소한 후 NVF를 계산하며, 축소된 크기의 NVF값을 다시 원본 삽입 영역 크기로 확대하여 적용한다. The computational complexity of obtaining mask values from these NVFs is quite large. Therefore, the
한편, 인간의 눈은 픽셀의 주변의 밝기가 상대적으로 어둡거나 밝은 곳에서 해당 픽셀 변화량에 둔감한 특성을 가진다. 도 4 는 HVS(Human Visual System) 측면을 고려한 픽셀 주변 밝기 값에 따른 허용가능 변화량을 나타내고 있다. 도 4 의 그래프에 따르면 어떤 픽셀의 주변 밝기 값이 75 부근일 때 해당 픽셀 변화량에 가 장 민감하고, 0이나 255에 가까운 주변 밝기 값에서 해당 픽셀 변화에 둔감하다는 것을 알 수 있다. 이런 특성을 이용하여 픽셀 값에 따라 워터마크 값의 세기를 조절한 후 삽입을 하게 되면, 눈에 띄지 않으면서 좀 더 강하게 삽입하는 것이 가능해진다. On the other hand, the human eye has a characteristic insensitive to the amount of change in the pixel where the brightness around the pixel is relatively dark or bright. FIG. 4 illustrates an allowable change amount according to a peripheral brightness value of a pixel in consideration of a human visual system (HVS) side. According to the graph of FIG. 4, it can be seen that when the ambient brightness value of a pixel is around 75, it is most sensitive to the corresponding pixel change amount, and is insensitive to the corresponding pixel change at an ambient brightness value close to 0 or 255. By using this feature, if you insert the watermark value after adjusting the intensity of the watermark value according to the pixel value, it becomes possible to insert more strongly without being noticeable.
아래의 [수식 3] 은 t번째 프레임에서 (x, y)위치에 있는 특정 픽셀 의 주변 밝기 값 을 구하는 수식이다. Equation 3 below is a specific pixel at position (x, y) in frame t. Ambient brightness value of Is the formula to obtain.
[수식 3] [Equation 3]
이때, 5x5 사이즈의 B(i, j)는 다음과 같다. At this time, B (i, j) of the 5x5 size is as follows.
본 발명에 따른 워터마킹 시스템(S)은 실시간성을 만족시키기 위해 밝기 마스킹 값을 구할 때 테이블 참조 방식을 사용한다. 즉, 밝기 마스킹 모듈(220)은 밝기 값에 따른 허용 가능 변화량 그래프인 도 4 의 그래프 모양에 따라 정의된 가중치 테이블을 미리 작성한 후, 삽입 시에는 간단히 테이블을 참조하여 밝기 가중치 값 을 계산한다.The watermarking system S according to the present invention uses a table reference method when obtaining a brightness masking value to satisfy real-time. That is, the
[수식 4][Equation 4]
한편, 동영상에 대한 HVS에 따르면 인간의 눈은 움직임이 적은 영역에 비해 움직임이 많은 영역에서 노이즈에 대한 민감성이 떨어진다. 움직임 마스킹 기법은 이와 같은 특성을 이용한 것으로 전, 후 프레임을 비교하여 움직임이 큰 영역에 워터마크를 세게 삽입하고, 움직임이 작은 영역에 약하게 삽입하게 된다. MPEG이나 H.264와 같은 동영상 압축 기법에서는 현재 프레임에서 각 영역의 움직임 여부를 판단하는 방법으로 움직임 벡터(motion vector)를 사용한다. On the other hand, according to the HVS for video, the human eye is less sensitive to noise in a region with a lot of motion than a region with a little movement. The motion masking technique uses such characteristics to compare the before and after frames, inserting the watermark hard in the region with large motion, and weakly inserting the region in the small motion. In video compression techniques such as MPEG and H.264, motion vectors are used as a method of determining whether each region moves in the current frame.
이 기법은 영상을 일정 크기의 블록으로 나눈 후, 움직임 여부를 측정하고자하는 현재 프레임의 블록과 이전 또는 이후 프레임에서 그 위치 주변의 블록 값을 비교함으로써 움직임을 예측하는 방법이다. 하지만 계산 복잡도가 매우 크기 때문에 실시간 고화질 동영상 워터마킹 기법에 적용하기 힘들다. This technique is a method of predicting motion by dividing an image into blocks of a certain size and then comparing the block of the current frame to measure the motion with the block value around the position in the previous or subsequent frame. However, the computational complexity is so large that it is difficult to apply to real time high quality video watermarking techniques.
따라서, 본 발명에 따른 움직임 마스킹 모듈(230)은 실시간성을 만족시키기 위해서, 전, 후 프레임의 지역 평균 값을 이용하여 지역 영역의 움직임 여부를 판단하였다. 즉, 움직임 마스킹 모듈(230)은 아래의 [수식 5] 를 통해 이전 프레임 대비 현재 프레임의 움직임 량을 구하고, 도 5 의 그래프를 테이블화 하여 [수식 6] 을 통해 움직임 마스킹 가중치() 를 계산한다. Therefore, in order to satisfy real time, the motion masking module 230 according to the present invention determines the motion of the local area by using the local average value of the before and after frames. That is, the motion masking module 230 obtains the motion amount of the current frame compared to the previous frame through the following [Equation 5], and tabulates the graph of FIG. ) Is calculated.
구체적으로, 아래와 같은 [수식 5] 에 의해 md(x,y,t) 값을 구하고, 도 5 의 그래프를 테이블화한 후, [수식 6] 을 이용하여 움직임 마스킹 가중치를 구한다.Specifically, the value of md (x, y, t) is obtained by the following [Equation 5], the graph of FIG. 5 is tabulated, and the motion masking weight is obtained by using [Equation 6].
[수식 5][Equation 5]
[수식 6][Equation 6]
여기서, 값은 따로 구할 필요 없이 밝기 마스킹을 계산할 때 구해진 값을 사용하면 되기 때문에 움직임 마스킹 가중치 계산 복잡도는 매우 낮아진다. here, The complexity of the motion masking weight calculation is very low because the calculated value can be used when calculating the brightness masking without any value.
그리고 복합적 마스킹 가중치 계산부(300)는 마스킹부(200)를 통해 계산된 각각의 가중치를 이용하여 최종적인 복합적 마스킹 가중치()를 계산한 후, 워터마크 생성부(100)를 통해 생성된 워터마크 최종패턴(W)과 곱을 수행한다.The complex
즉, 마스킹부(200)를 통해 계산된 각각의 가중치를 다음의 [수식 7] 에 적용함으로써, 최종적인 복합적 마스킹 가중치()를 계산한다. That is, by applying each weight calculated through the
[수식 7][Formula 7]
여기서 와 값은 최종 복합적 마스킹 가중치의 세기를 조절하는 값으로서 0부터 1 사이의 값을 갖게 된다. 이렇게 계산된 최종 복합적 마스킹 가중치()는 삽입할 워터마크 패턴을 영상의 거친 지역, 밝기가 상대적으로 어둡거나 밝은 부분, 그리고 프레임간 움직임이 심한 곳에 좀 더 강하게 삽입될 수 있도록 하는 역할을 한다.here Wow The value adjusts the strength of the final complex masking weight and has a value between 0 and 1. The final composite masking weight calculated this way ( ) Allows the watermark pattern to be inserted more strongly to be inserted in the rough area of the image, the relatively dark or bright part of the image, and the place where the movement between the frames is severe.
이와 같이 본 발명에서 제시한 워터마크 시스템(S)에 적용된 복합적 마스킹 기법은, 다양한 조도 환경에서 촬영된 영상에 대해서도 삽입된 워터마크가 검출될 수 있는 강인성을 부여한다.As described above, the complex masking technique applied to the watermark system S proposed in the present invention imparts robustness in which an inserted watermark can be detected even for an image photographed in various illumination environments.
이후, 복합적 마스킹 가중치 계산부(300)는 상기 복합적 마스킹 가중치()와, 워터마크 생성부(100)를 통해 생성된 워터마크 최종패턴(W)과 곱을 수행한다. Afterwards, the complex masking
그리고, 워터마크 삽입부(400)는 복합적 마스킹 가중치 계산부(300)를 통해 계산된 값에 원본 영상 프레임(X)을 더해 워터마크 삽입 프레임(Y)을 생성하는 기능을 수행한다. The
상술한 바와 같은 과정은 [수식 8] 과 같이 나타낼 수 있다. The process as described above may be represented as in [Equation 8].
[수식 8] [Equation 8]
상술한 시스템(S)을 이용한 워터마킹 방법에 관하여 도 6 내지 도 8 을 참조하여 설명하면 다음과 같다. The watermarking method using the above-described system S will be described with reference to FIGS. 6 to 8 as follows.
도 6 은 본 발명에 따른 다양한 조도 환경에서의 워터마킹 방법에 관한 전체 흐름도이며, 도 7 은 본 발명에 따른 워터마크 최종패턴을 생성하는 과정에 관한 세부 흐름도이며, 도 8 은 본 발명에 따른 복합적 마스킹 값을 구하는 과정에 관한 세부 흐름도이다. 6 is a flowchart illustrating a watermarking method in various illuminance environments according to the present invention, FIG. 7 is a detailed flowchart illustrating a process of generating a watermark final pattern according to the present invention, and FIG. 8 is a complex diagram according to the present invention. A detailed flow chart of the process of obtaining masking values.
도 6 에 도시된 바와 같이, 워터마크 생성부(100)는 비밀키와 메시지를 이용하여, 한 프레임에 삽입할 워터마크 기본패턴을 생성하고, 기본패턴을 반복시킨 소정크기의 최종패턴을 생성하는 과정을 수행한다(S100). As shown in FIG. 6, the
구체적으로, 도 7 에 도시된 바와 같이 워터마크 생성부(100)의 기본패턴 생성모듈(110)은, 한 프레임에 삽입할 워터마크 기본패턴을 생성하기 위하여, 비밀 키와 메시지를 이용하여 평균이 0이고 분산이 1인 가우시안 분포(Gaussian distribution)를 따르는 48 x 48 크기의 블록을 생성하고, 48 x 48 크기의 블록을 가로, 세로로 각각 3배씩 확장하여 144 x 144 크기의 워터마크 기본패턴을 생성한다(S110). 이때, 이러한 패턴의 블록화로 인하여 비가시성을 저해시키는 것을 방지하기 위하여, 저주파 통과 필터(111)를 통해 블로킹 현상을 줄인다(S120).In detail, as illustrated in FIG. 7, the basic
이후, 최종패턴 생성모듈(120)은 기본패턴 생성모듈(110)을 통해 생성된 144 x 144 크기의 워터마크 기본패턴을 가로로 5번, 세로로 5번 반복시켜서 최종적으로 720 x 720 사이즈의 워터마크 최종패턴을 생성한다(S130). Thereafter, the final
다음으로, 상기 도 6 에 도시된 바와 같이 마스킹부(200)는 원본 영상 프레임을 바탕으로, 워터마크 삽입 위치에 해당하는 영역의 밝기 정보 데이터를 분석하여 복합적 마스킹 값을 구하는 과정을 수행한다(S200).Next, as shown in FIG. 6, the
구체적으로, 도 8 에 도시된 바와 같이 마스킹부(200)의 NVF 마스킹 모듈(210)은 상기 [수식 1] 을 통해 영상에 잡음을 넣었을 때 잡음이 보이는 정도 즉, NVF를 계산한다(S210). 이후, NVF 마스킹 모듈(210)은 구하고자 하는 지역 텍스쳐 마스킹 가중치() 를 상기 [수식 2] 에 의해 계산한다(S220). In detail, as illustrated in FIG. 8, the
또한, 밝기 마스킹 모듈(220)은 HVS(Human Visual System) 측면을 고려하여 밝기 값에 따른 허용 가능 변화량 그래프 모양에 따라 정의된 가중치 테이블을 미리 작성한 후, 삽입 시에는 이러한 테이블을 참조하여 밝기 가중치()를 계산한다(S230).In addition, the
또한, 움직임 마스킹 모듈(230)은 [수식 5] 와 [수식 6] 을 이용하여 이전 프레임 대비 움직임 량을 구하여 움직임 마스킹 가중치() 를 계산한다(S240).In addition, the motion masking module 230 obtains the motion amount compared to the previous frame by using [Equation 5] and [Equation 6] motion masking weight ( ) Is calculated (S240).
다음으로, 상기 도 6 에 도시된 바와 같이 복합적 마스킹 가중치 계산부(300)는 마스킹부(200)를 통해 계산된 각각의 가중치를 이용하여 최종적인 복합적 마스킹 가중치()를 계산한 후, 워터마크 생성부(100)를 통해 생성된 워터마크 최종패턴(W)과 곱을 수행한다(S300).Next, as illustrated in FIG. 6, the complex masking
즉, 복합적 마스킹 가중치 계산부(300)는 가중치 , , 을 이용하여, 상기 [수식 7] 에 의해 계산된 복합적 마스킹 가중치()와, 워터마크 생성부(100)를 통해 생성된 워터마크 최종패턴(W)과 곱을 수행한다. That is, the complex masking
그리고, 상기 도 6 에 도시된 바와 같이 워터마크 삽입부(400)는 복합적 마스킹 가중치 계산부(300)를 통해 계산된 값에 원본 영상 프레임(X)을 더해 워터마 크 삽입 프레임(Y)을 생성한다(S400).As shown in FIG. 6, the
상술한 구성과 특징적인 기능을 갖는 워터마킹 시스템(S)은, Full- HD급 고화질 영상에 대한 실시간 워터마크 삽입을 위해 효율적 알고리즘을 구현하고, 하드웨어적인 가속화 기능을 적용하였다.The watermarking system (S) having the above-described configuration and characteristic functions implements an efficient algorithm for real-time watermark insertion for Full-HD-quality high-definition images and applies hardware acceleration functions.
워터마킹 삽입 시스템에서 가장 계산 복잡도가 높은 부분은 복합적인 마스킹 가중치를 구하는 부분이다. 이 부분에 대한 계산량을 줄이기 위해서 도 2 와 같이 축소된 영역을 대상으로 연산을 하였고, 밝기 마스킹 가중치를 구할 때는 테이블 참조 방식으로 속도를 높였다. The most complex computational part of the watermarking insertion system is the complex masking weight. In order to reduce the amount of calculation for this part, the calculation was performed on the reduced area as shown in FIG. 2, and the speed was increased by a table reference method to obtain the brightness masking weight.
움직임 마스킹을 구할 때는 전, 후 프레임의 지역 평균 값을 기준으로 움직임 여부를 판단하였다. 이때, 지역 평균값은 밝기 마스킹을 계산할 때 구해놓은 값을 이용함으로써 효율적이고 빠른 연산을 가능하게 하였다. When motion masking was calculated, the motion was judged based on the local mean value of the front and back frames. At this time, the local average value was obtained by using the value obtained when calculating the brightness masking to enable efficient and fast calculation.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. As described above and described with reference to a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it is a deviation from the scope of the technical idea It will be understood by those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes and modifications and equivalents should be considered to be within the scope of the present invention.
도 1 은 본 발명에 따른 다양한 조도 환경에서의 워터마킹 시스템을 개념적으로 도시한 전체 구성도. 1 is an overall configuration diagram conceptually showing a watermarking system in various illuminance environments according to the present invention.
도 2 는 본 발명에 따른 워터마크 패턴의 생성과 확장, 반복, 그리고 삽입영역을 나타내고 있는 일예시도.2 is an exemplary view showing generation, extension, repetition, and insertion area of a watermark pattern according to the present invention;
도 3 은 본 발명에 따른 HD급 영상에서 워터마크 삽입의 실시간성을 만족시키기 위한 NVF 계산 과정을 보이는 일예시도.Figure 3 is an exemplary view showing the NVF calculation process for satisfying the real-time properties of watermark embedding in HD-quality video according to the present invention.
도 4 는 본 발명에 따른 HVS 측면을 고려한 밝기 값에 따른 허용가능 변화량을 보이는 그래프.Figure 4 is a graph showing the allowable amount of change in accordance with the brightness value in consideration of the HVS side according to the present invention.
도 5 는 본 발명에 따른 HVS 측면을 고려한 전 후 프레임의 지역 밝기 값을 이용한 연산 값에 따른 움직임 가중치를 나타내는 그래프.5 is a graph showing a motion weight according to an operation value using local brightness values of a frame before and after considering an HVS aspect according to the present invention.
도 6 은 본 발명에 따른 다양한 조도 환경에서의 워터마킹 방법에 관한 전체 흐름도.6 is an overall flowchart of a watermarking method in various illuminance environments according to the present invention;
도 7 은 본 발명에 따른 워터마크 최종패턴을 생성하는 과정에 관한 세부 흐름도.7 is a detailed flowchart of a process of generating a watermark final pattern according to the present invention;
도 8 은 본 발명에 따른 복합적 마스킹 값을 구하는 과정에 관한 세부 흐름도. 8 is a detailed flowchart of a process of obtaining a complex masking value according to the present invention.
** 도면의 주요 부분에 대한 부호의 설명 **** Description of symbols for the main parts of the drawing **
100: 워터마크 생성부 200: 마스킹부100: watermark generation unit 200: masking unit
300: 복합적 마스킹 가중치 계산부 400: 워터마크 삽입부300: complex masking weight calculation unit 400: watermark insertion unit
110: 기본패턴 생성모듈 120: 최종패턴 생성모듈110: basic pattern generation module 120: final pattern generation module
210: NVF 마스킹 모듈 220: 밝기 마스킹 모듈 210: NVF masking module 220: brightness masking module
230: 움직임 마스킹 모듈230: motion masking module
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090061260A KR101054823B1 (en) | 2009-07-06 | 2009-07-06 | Watermarking System and Method in Various Illuminance Environments |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090061260A KR101054823B1 (en) | 2009-07-06 | 2009-07-06 | Watermarking System and Method in Various Illuminance Environments |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110003809A KR20110003809A (en) | 2011-01-13 |
KR101054823B1 true KR101054823B1 (en) | 2011-08-05 |
Family
ID=43611514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090061260A KR101054823B1 (en) | 2009-07-06 | 2009-07-06 | Watermarking System and Method in Various Illuminance Environments |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101054823B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101220420B1 (en) * | 2011-04-01 | 2013-01-10 | 한국과학기술원 | Hybrid video forensic watermarking system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010106815A (en) * | 2000-05-23 | 2001-12-07 | 서평원 | Watermarking method and apparatus in still picture with moving picture |
KR20050040639A (en) * | 2003-10-29 | 2005-05-03 | 한국전자통신연구원 | The method for embedding and extracting blindly watermarks by using wavelet transform and hvs |
KR20070082098A (en) * | 2006-02-15 | 2007-08-21 | 한국과학기술원 | Scalable digital fingerprinting for high-definition video streaming service |
-
2009
- 2009-07-06 KR KR1020090061260A patent/KR101054823B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010106815A (en) * | 2000-05-23 | 2001-12-07 | 서평원 | Watermarking method and apparatus in still picture with moving picture |
KR20050040639A (en) * | 2003-10-29 | 2005-05-03 | 한국전자통신연구원 | The method for embedding and extracting blindly watermarks by using wavelet transform and hvs |
KR20070082098A (en) * | 2006-02-15 | 2007-08-21 | 한국과학기술원 | Scalable digital fingerprinting for high-definition video streaming service |
Non-Patent Citations (1)
Title |
---|
논문3:1999 IEEE TENCON* |
Also Published As
Publication number | Publication date |
---|---|
KR20110003809A (en) | 2011-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10176545B2 (en) | Signal encoding to reduce perceptibility of changes over time | |
TWI480842B (en) | Electronic floating watermark detection method, electronic floating watermark detection device, program, and recording media | |
KR100841848B1 (en) | Electronic watermark detecting method, apparatus and recording medium for recording program | |
JP2002262066A (en) | System and method foe embedding watermark signal that contain message data in digital image | |
JP2012205168A (en) | Device, method and program for video processing | |
CN110232650B (en) | Color image watermark embedding method, detection method and system | |
CN105635575B (en) | Imaging method, imaging device and terminal | |
KR101140700B1 (en) | System for complex masking high-definition video watermarking take care of visibility improve | |
JP2009514305A (en) | How to embed data in an information signal | |
Hong et al. | An improved human visual system based reversible data hiding method using adaptive histogram modification | |
KR20050091094A (en) | Watermark embedding and detection of a motion image signal | |
CN111127291B (en) | Image watermark embedding and extracting method and system based on space-frequency domain JND conversion | |
CN104766269A (en) | Spread transform dither modulation watermarking method based on JND brightness model | |
KR20040098770A (en) | Image Watermarking Method Using Human Visual System | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
US10664940B2 (en) | Signal encoding to reduce perceptibility of changes over time | |
JP2009521181A (en) | Blind detection for digital cinema | |
Kim et al. | An entropy masking model for multimedia content watermarking | |
US20050105763A1 (en) | Real time video watermarking method using frame averages | |
KR101054823B1 (en) | Watermarking System and Method in Various Illuminance Environments | |
JP3731741B2 (en) | Color moving image processing method and processing apparatus | |
KR101104649B1 (en) | The Video Watermarking System for Inaccessible Contents Using Overlay Channel and the Method Thereof | |
KR20010106815A (en) | Watermarking method and apparatus in still picture with moving picture | |
CN111654701B (en) | Video coding preprocessing method, device, equipment and computer readable storage medium | |
KR101025311B1 (en) | Robust high definition video watermarking system based on self synchronizing siginal against composite distortions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140724 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |