KR20110068042A - An watermarking method for digital contents using digital holography - Google Patents
An watermarking method for digital contents using digital holography Download PDFInfo
- Publication number
- KR20110068042A KR20110068042A KR1020090124866A KR20090124866A KR20110068042A KR 20110068042 A KR20110068042 A KR 20110068042A KR 1020090124866 A KR1020090124866 A KR 1020090124866A KR 20090124866 A KR20090124866 A KR 20090124866A KR 20110068042 A KR20110068042 A KR 20110068042A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- holmark
- digital
- watermarking
- watermark
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001093 holography Methods 0.000 title 1
- 230000003287 optical effect Effects 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 16
- 238000006467 substitution reaction Methods 0.000 claims 1
- 238000003780 insertion Methods 0.000 abstract description 17
- 230000037431 insertion Effects 0.000 abstract description 17
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H1/0011—Adaptation of holography to specific applications for security or authentication
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H1/0011—Adaptation of holography to specific applications for security or authentication
- G03H2001/0027—Being copy-protected against fraudulent replication, e.g. by layering a filter rejecting laser lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 디지털 콘텐츠의 영상에 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 홀로마크를 생성하고, 홀로마크를 워터마크로서 삽입하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 관한 것이다.The present invention relates to a watermarking method of digital content using a digital hologram that converts a depth image watermark into a digital hologram to generate a holmark and inserts the holmark as a watermark.
특히, 본 발명은 디지털 콘텐츠 영상을 2차원 이산 웨이블릿 변환(2DDWT)하여 생성된 부대역별 영상 중 하나를 홀로마크로 치환하여 워터마킹하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 관한 것이다.In particular, the present invention relates to a watermarking method of digital content using a digital hologram for watermarking by substituting a holographic mark for one of the subband-specific images generated by two-dimensional discrete wavelet transform (2DDWT).
또한, 본 발명은 워터마크로서 홀로마크가 삽입된 콘텐츠 영상을 바로 홀로그램으로 재생하여 재생된 홀로그래픽 영상을 워터마크와 비교하여 워터마킹을 확인하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 관한 것이다.The present invention also relates to a watermarking method of digital content using a digital hologram for confirming watermarking by comparing a reproduced holographic image with a watermark by directly reproducing the content image with the holmark inserted as a watermark. .
최근 다양한 멀티미디어 서비스 모델의 사용자들에 의한 디지털 콘텐츠의 불법적인 유통과 조작이 성행하고 있고, DVR(digital video recorder)와 웹 카메라 등을 이용한 보안응용 시스템 분야에서의 위/변조와 이에 따른 지적소유권 문제가 크게 부각되고 있다. 이런 불법적인 복제 및 조작을 방지하고 소유권을 효과적으로 보호하기 위한 저작권 보호기술이 요구되고 있으며, 디지털 워터마킹 기술은 이러한 지적재산권을 보호하고 저작권을 주장할 수 있는 근거를 제시할 수 있도록 하는 기술로서 현재 많은 연구와 응용이 이루어지고 있다.Recently, illegal distribution and manipulation of digital contents by users of various multimedia service models have been prevalent, and forgery / modulation in the field of security application systems using digital video recorders (DVRs) and web cameras, and the intellectual property rights problem. Is highlighted. Copyright protection technology is required to prevent such illegal copying and manipulation and effectively protect ownership. Digital watermarking technology is a technology that can provide a basis for protecting such intellectual property rights and claiming copyright. Much research and application is being done.
디지털 워터마킹에 사용되는 워터마크는 콘텐츠 소유자의 저작권을 증명할 수 있는 고유의 로고(영상 데이터) 혹은 데이터 조합(이진 데이터)을 사용한다. 이런 워터마크들은 삽입 후 외부에서 가해지는 악의적/비악의적인 공격들에 의해 변형 혹은 삭제될 수 가능성이 있다. 이런 문제를 해결하기 위해 워터마크를 주파수영역에서 삽입하거나 워터마크 자체에 강인성을 부여하는 기법들이 연구되고 있는 것이다.The watermark used for digital watermarking uses a unique logo (video data) or data combination (binary data) that can prove the copyright of the content owner. These watermarks are likely to be altered or deleted by malicious or non-malicious attacks from outside after insertion. To solve this problem, techniques for embedding a watermark in the frequency domain or giving robustness to the watermark itself are being studied.
즉, 디지털 워터마킹 기술이 발달함에 따라서 워터마크 적용영역은 공간영역(spatial domain)에서 주파수영역(frequency domain)으로 옮겨졌는데, 주파수영역에서의 기법은 공간영역에서 적용되던 방식에 비해 공격에 강한 특징을 가지지만 주파수 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있다.That is, with the development of digital watermarking technology, the watermark application area has been moved from the spatial domain to the frequency domain, and the technique in the frequency domain is more resistant to attack than the method applied in the spatial domain. However, there is a disadvantage in that the watermark insertion position cannot be accurately selected due to the frequency characteristics.
주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것으로 Ruanaidh는 DFT(discrete fourier transform)를 이용하여 위상성분에 워터마크를 삽입하였고, Cox와 Barni는 DCT(discrete cosine transform)를 이용하여 주파수 영역에서 중요한 계수들을 선정하여 워터마크를 삽입하는 방법을 제안하였다. Seo는 2DDWT을 이용하여 DCT에서 발생하는 블록화 현상(blocking effect)을 제거하 면서 워터마크를 삽입하는 방법을 제안하였다.Watermarking in the frequency domain inserts a watermark by changing the frequency coefficient. Ruanaidh inserts a watermark into the phase component using a discrete fourier transform (DFT), and Cox and Barni use a discrete cosine transform (DCT). We proposed a method of inserting a watermark by selecting important coefficients in the frequency domain. Seo proposed a method of inserting a watermark using 2DDWT while removing the blocking effect that occurs in DCT.
이런 주파수영역에서 수행되는 워터마킹 기법들의 워터마크 추출을 위해서는 워터마킹된 자연영상을 주파수 변환해야만 한다. Cheng이 제안한 광학시스템을 이용한 워터마킹 기법은 워터마킹 된 영상의 화질이 크게 떨어져 비가시성을 만족하지 못하고 몽롱화(burring)와 같은 공격에 매우 취약하다는 단점이 있다.Watermarking of watermarking techniques performed in such a frequency domain requires frequency conversion of the watermarked natural image. The watermarking technique using the optical system proposed by Cheng has a disadvantage in that the quality of the watermarked image is greatly reduced, which does not satisfy the invisibility and is very vulnerable to attacks such as burring.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 디지털 워터마킹 알고리듬의 강인성을 향상시킬 수 있는 있도록, 압축, 잡음첨가, 기하학적 변형 등과 같은 외부의 공격들에 대한 강인성이 입증된 디지털 홀로그램을 워터마크로 사용하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 제공하는 것이다.Disclosure of Invention An object of the present invention is to solve the problems described above, and to prove the robustness of the digital watermarking algorithm, the digital hologram has been proved to be robust against external attacks such as compression, noise addition, and geometric deformation. To provide a watermarking method of digital content using a digital hologram using a watermark.
특히, 본 발명의 목적은 디지털 콘텐츠의 영상에 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 홀로마크를 생성하고, 홀로마크를 워터마크로서 삽입하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 제공하는 것이다.In particular, it is an object of the present invention to provide a watermarking method of digital content using a digital hologram that converts a depth image watermark into a digital hologram in an image of the digital content to generate a holmark and insert the holmark as a watermark. .
또, 본 발명의 목적은 디지털 콘텐츠 영상을 2차원 이산 웨이블릿 변환(2DDWT)하여 생성된 부대역별 영상 중 에너지 분포가 가장 비슷한 하나를 홀로마크로 치환하여 워터마킹하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 제공하는 것이다.In addition, an object of the present invention is a watermarking method of digital content using a digital hologram for watermarking by substituting a holmark with one having the most similar energy distribution among the subband images generated by two-dimensional discrete wavelet transform (2DDWT). To provide.
본 발명의 또 다른 목적은 워터마크로서 홀로마크가 삽입된 콘텐츠 영상을 바로 홀로그래픽 영상으로 재생하여 재생된 홀로그램을 워터마크와 비교하여 워터마킹을 확인하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 제공하는 것이다.It is still another object of the present invention to provide a watermarking method of digital content using a digital hologram that checks watermarking by comparing a reproduced hologram with a watermark by directly reproducing a content image having a holmark embedded therein as a watermark. To provide.
즉, 본 발명의 목적은 전자적인 워터마크 추출방식과 광학시스템을 이용한 하이브리드 방식으로 워터마크 추출하고, 특히, PC를 기반으로 하는 전자적인 추출방식과 광학시스템을 이용하여 실제 공간상에 워터마크로 사용된 디지털 홀로그래픽 3차원 복원영상을 재생하는 방식을 병행하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 제공하는 것이다.That is, the object of the present invention is to extract the watermark by a hybrid method using an electronic watermark extraction method and an optical system, and in particular, to use a watermark on the actual space using an electronic extraction method and an optical system based on a PC. To provide a watermarking method of digital content using a digital hologram in parallel with a method of playing a digital holographic 3D reconstructed image.
상기 목적을 달성하기 위해 본 발명은 디지털 콘텐츠의 영상에 깊이영상 워터마크를 삽입하는 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 관한 것으로서, (a) 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 홀로마크를 생성하는 단계; (b) 상기 콘텐츠 영상을 2차원 이산 웨이블릿 변환(2DDWT)으로 적어도 4개의 부대역별 영상들로 분해하는 단계; 및 (c) 상기 부대역별 영상 중 하나의 부대역별 영상(이하 치환대상 영상)을 상기 홀로마크로 치환하여 홀로마크 삽입 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention relates to a watermarking method of digital content using a digital hologram that inserts a depth image watermark into an image of digital content. Generating a; (b) decomposing the content image into at least four subband images by two-dimensional discrete wavelet transform (2DDWT); And (c) generating a holmark embedding image by substituting one subband image (hereinafter referred to as a substituting image) among the subband images by the holmark.
또, 본 발명은 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 있어서, 상기 (a)단계에서, 다음 [수식 1]에 의하여 상기 깊이영상 워터마크에서 상기 홀로마크를 생성하는 것을 특징으로 한다.In the watermarking method of digital content using a digital hologram, in step (a), the holmark is generated from the depth image watermark according to
[수식 1][Equation 1]
단, α와 j는 홀로마크와 깊이영상, k는 참조파(reference)의 파수(wave number)로 2π/λ 로 정의되고, Aj는 원본객체의 밝기값(intensity), N은 깊이정보 영상의 전체 화소수, p는 디스플레이 장치의 화소 크기, xα와 yα는 홀로마크의 좌표, xj, yj, 및 zj는 깊이정보 영상의 좌표.Where α and j are the holmark and depth image, k is the wave number of reference, and 2π / λ is defined, A j is the intensity of the original object, and N is the depth information image. Where p is the pixel size of the display device, x α and y α are the coordinates of the holmark, and x j , y j , and z j are the coordinates of the depth information image.
또, 본 발명은 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 있어서, 상기 (c)단계에서, 상기 부대역별 영상 중에서 상기 홀로마크와 영상 에너지 분포가 가장 유사한 부대역별 영상과 치환하는 것을 특징으로 한다. In addition, the present invention provides a watermarking method of digital content using a digital hologram, in the step (c), it is characterized in that to replace the sub-band image with the most similar to the holmark and the image energy distribution of the sub-band image. .
또, 본 발명은 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 있어서, 상기 (c)단계에서, 상기 부대역별 영상 중에서 HH 부대역별 영상을 상기 홀로마크와 치환하는 것을 특징으로 한다.In the watermarking method of digital content using a digital hologram, in the step (c), the HH subband image among the subband images may be replaced with the holmark.
또, 본 발명은 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 있어서, 상기 방법은, (d) 홀로마크 삽입 영상을 2차원 이산 웨이블릿 변환(2DDWT)으로 부대역별 영상들로 필터링하여, 상기 홀로마크를 추출하여 워터마킹을 확인하는 단계를 더 포함하는 것을 특징으로 한다.In another aspect, the present invention provides a watermarking method of digital content using a digital hologram, wherein the method comprises: (d) filtering a holographic embedded image into sub-band images by a 2D discrete wavelet transform (2DDWT), and displaying the holmark. And extracting the watermark to check the watermarking.
또, 본 발명은 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 있어서, 상기 방법은, (d) 홀로마크 삽입 영상을 홀로그래픽 광학시스템에 의하여 재생하여, 재생된 홀로그래픽 영상과 깊이영상 워터마크와 비교하여 워터마킹을 확인하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the present invention provides a watermarking method of digital content using a digital hologram, the method comprising the steps of (d) reproducing a holographic embedded image by a holographic optical system to reproduce the reproduced holographic image and depth image watermark; And comparing the watermarking with watermarking.
또한, 본 발명은 상기 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention also relates to a computer-readable recording medium having recorded thereon a program for performing a watermarking method of digital content using the digital hologram.
상술한 바와 같이, 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 의하면, 2차원 이산 웨이블릿 변환(2DDWT)하여 생성된 부대역별 영상 중 에너지 분포(또는 계수 분포) 특성이 가장 유사한 하나를 홀로마크로 치환함으로써, 삽입된 워터마크(또는 홀로마크)로 인한 디지털 콘텐츠 영상의 변질이 없는 비가시성을 만족하고, 디지털 콘텐츠 영상을 변환하여 불법으로 사용하는 공격에도 워터마크를 확인할 수 있는 강인성을 가지는 효과가 얻어진다.As described above, according to the watermarking method of the digital content using the digital hologram according to the present invention, one of the subband images generated by the two-dimensional discrete wavelet transform (2DDWT) has the most similar energy distribution (or coefficient distribution) characteristics. By substituting with a holmark, it satisfies the invisibility without altering the digital content image due to the inserted watermark (or the holmark), and has the robustness to check the watermark even when an illegally used attack by converting the digital content image. Effect is obtained.
특히, 비가시성 실험결과 삽입된 홀로마크는 충분한 비가시성을 만족하는 것으로 나타났다. 또, 강인성 검증을 위해 Gaussian 잡음첨가, JPEG 압축, JPEG2000 압축, 자름, 선명화, 몽롱화, 회전 등과 같은 다양한 공격을 수행하였고, 그 결과 추출된 홀로마크는 콘텐츠 소유자의 저작권을 확인할 만큼 충분한 정보를 갖고 있었으며, 디지털 카메라와 같은 광학기기를 이용한 공격들에서도 만족할 만한 결과 를 얻었다.In particular, the invisibility test results showed that the inserted holmark satisfies sufficient invisibility. Also, to verify the robustness, various attacks such as Gaussian noise addition, JPEG compression, JPEG2000 compression, cropping, sharpening, illusion, rotation, etc. were executed. In addition, satisfactory results were obtained from attacks using optical devices such as digital cameras.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.
먼저, 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 실시하기 위한 전체 시스템의 구성을 도 1을 참조하여 설명한다.First, a configuration of an entire system for implementing a watermarking method of digital content using a digital hologram according to the present invention will be described with reference to FIG. 1.
도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 콘텐츠 영상(70)에 워터마크를 삽입하는 워터마킹 시스템(30)과, 콘텐츠 영상(70)에 삽입된 워터마크를 확인하는 워터마크 확인시스템(40)으로 구성된다.As shown in FIG. 1, the entire system for implementing the present invention includes a
일실시예로서, 워터마킹 시스템(30) 또는 워터마크 확인시스템(40)은 컴퓨터 단말(10)에 설치되어 수행하는 소프트웨어 도구로서 구현될 수 있다. 컴퓨터 단말(11,12)은 통상의 컴퓨팅 단말기이다. 컴퓨터 단말의 예로는 PC, 노트북, PDA, 서버 등이 있으며, 그 구성 및 작동원리는 본 분야에서 통상으로 사용되는 공지 기술이므로 구체적 설명은 생략한다.As an example, the
또 다른 실시예로서, 워터마킹 시스템(30) 또는 워터마크 확인시스템(40)은 하나의 제어회로로 구성되어 칩 등으로 제작될 수도 있다.As another embodiment, the
워터마킹 시스템(30)은 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 홀로마크(또는 원 홀로마크)를 생성하고, 생성된 홀로마크를 콘텐츠 영상(70)에 삽입하여 유통시킨다. 홀로마크가 삽입된 콘텐츠 영상(80, 이하 홀로마크 삽입영상)은 온라인 또는 오프라인으로 유통된다.The
워터마크 확인시스템(40)은 홀로그래픽 광학시스템(50)를 통해 홀로마크 삽입영상(80)을 홀로그래픽 복원영상으로 재생하여 홀로마크를 추출하고, 추출된 홀로마크와 비교하여 저작권 여부를 확인한다.The
이때, 워터마크 확인시스템(40)은 컴퓨터 단말(12)에 연결된 공간 광변조기(51, SLM, spatial light modulator) 상에 홀로마크 삽입영상(80)을 디스플레이하면, 홀로그래픽 광학시스템(50)에 의해 홀로마크 삽입영상(80)에 삽입된 홀로마크가 홀로그래픽 복원영상으로 재생된다.In this case, when the
다음으로, 본 발명의 일실시예에 따른 워터마킹 시스템(30)과 워터마크 확인시스템(40)의 구성을 도 2를 참조하여 설명한다.Next, the configuration of the
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 워터마킹 시스템(30)은 홀로마크 생성부(31), 웨이블릿 변환부(32), 홀로마크 삽입부(33)를 포함하여 구성된다.As shown in FIG. 2, the
홀로마크 생성부(31)는 깊이영상 워터마크(60)를 디지털 홀로그램으로 변환하여 홀로마크(61)(또는 원 홀로마크)를 생성한다.The
도 3a에서 보는 바와 같이, 깊이영상 워터마크(60)는 깊이정보로 구성된 영상이다. 도 3a는 200 X 200 크기와, 깊이를 회색조로 표현한 깊이영상이다.As shown in FIG. 3A, the
도 3b에서 보는 바와 같이, 홀로마크 생성부(31)는 상기 깊이영상 워터마크(60)를 디지털 홀로그램으로 변환한다. 이때, 변환된 디지털 홀로그램을 "홀로마크(HoloMark)"라 부르기로 한다. 즉, 홀로마크는 디지털 홀로그램으로 변환된 워터마크의 의미를 갖는다. 홀로마크도 하나의 워터마크의 역할을 한다는 의미이다.As shown in FIG. 3B, the
일례로, 도 3b는 프레즈널(Fresnel)변환에 의해 생성한 홀로마크(61)로서, 256 X 256의 크기의 이진수로 구해진 디지털 홀로그램이다.For example, FIG. 3B is a
이때, 홀로마크(61)는 다음 [수학식 1]을 이용하여 생성한다. 이 식은 홀로그램의 생성원리를 근사화한 후 수학적인 연산으로 디지털 홀로그램을 얻을 수 있도록 한 것이다.At this time, the
[수학식 1][Equation 1]
단, α와 j는 홀로마크와 깊이영상, k는 참조파(reference)의 파수(wave number)로 2π/λ 로 정의되고, Aj는 원본객체의 밝기값(intensity), N은 깊이정보 영상의 전체 화소수, p는 디스플레이 장치의 화소 크기, xα와 yα는 홀로마크의 좌표, xj, yj, 및 zj는 깊이정보 영상의 좌표이다. HMα는 xα와 yα 에서의 홀로그램 값이다.Where α and j are the holmark and depth image, k is the wave number of reference, and 2π / λ is defined, A j is the intensity of the original object, and N is the depth information image. Where p is the pixel size of the display device, x α and y α are the coordinates of the holmark, and x j , y j , and z j are the coordinates of the depth information image. HM α is the hologram value at x α and y α .
웨이블릿 변환부(32)는 콘텐츠 영상(70)을 2차원 이산 웨이블릿 변환(2DDWT) 으로 적어도 4개의 부대역별 영상(71)들로 분해한다.The
도 4는 이산 웨이블릿 변환의 일례를 나타낸 도면이다. 여기서, L(x)은 저주파 통과 필터링(LPF; low pass filtering) 함수를 나타내고, H(x)는 고주파 통과 필터링(HPF; high pass filtering) 함수를 나타낸다.4 is a diagram illustrating an example of discrete wavelet transform. Here, L (x) represents a low pass filtering (LPF) function, and H (x) represents a high pass filtering (HPF) function.
콘텐츠 영상(70)에 대해서 수평 방향으로 저주파 통과 필터링(L1(x))과 고주파 통과 필터링(H1(x))을 수행한다. 그리고 이후 다운 샘플링을 통해 처리된 영상을 반씩 버린 1차 저주파 통과 필터링 영상(L)과 1차 고주파 통과 필터링 영상(H)를 획득한다.The low pass filtering L1 (x) and the high pass filtering H1 (x) are performed in the horizontal direction on the
그리고 1차 저주파 통과 필터링 영상(L)과 1차 고주파 통과 필터링 영상(H)를 각각 수직 방향으로 저주파 통과 필터링(L2(x))과 고주파 통과 필터링(H2(x))을 수행한다. 그리고 이후 다운 샘플링을 통해 처리된 영상을 반씩 버린 2차 저주파 통과 필터링 영상(LL, HL)과 2차 고주파 통과 필터링 영상(LH, HH)을 획득하게 된다. 즉, LL, LH, HL, HH의 4가지 주파수 대역에 대한 부대역별 영상(71)을 얻게 된다.In addition, the low pass filtering L2 (x) and the high pass filtering H2 (x) are performed in the vertical direction on the first low pass filtering image L and the first high pass filtering image H, respectively. Subsequently, second and second low pass filtered images LL and HL discarded images processed through down sampling and second high pass filtered images LH and HH are obtained. That is, the
홀로마크 삽입부(33)는 상기 부대역별 영상(71) 중 하나의 부대역별 영상(이하 치환대상 영상)을 상기 홀로마크(61)로 치환하여 홀로마크 삽입 영상(80)을 생성한다.The
도 5에서 보는 바와 같이, 일실시예로서, 4개의 부대역별 영상(71) 중 HH 부대역별 영상을 홀로마크(61)로 치환한 후, 역 이산 웨이블릿 변환을 통해 홀로마크 삽입 영상(80)을 획득한다.As shown in FIG. 5, after replacing the HH subband image among the four
즉, LL, LH, HL의 부대역별 영상(71)과 홀로마크(61)의 4가지 주파수 대역에 대한 영상인 2차 필터링 영상에 대해서 수직 방향으로 업 샘플링을 수행한다. 2차 필터링 영상의 픽셀을 패딩(padding)하는 방법으로 영상을 2배로 늘려준다. 그리고 역 저주파 통과 필터링(L3(x))과 역 고주파 통과 필터링(H3(x))을 수행하여 1차 필터링 영상(L, H)을 획득한다. 그리고 1차 필터링 영상(L, H)에 대해서 수평 방향으로 업 샘플링을 수행하고, 1차 필터링 영상의 픽셀을 패딩(padding)하는 방법으로 이미지를 2배로 늘려준다. 역 저주파 통과 필터링(L4(x))과 역 고주파 통과 필터링(H4(x))을 수행하여 홀로마크 삽입 영상(80)을 획득한다.That is, up-sampling is performed in the vertical direction with respect to the secondary-filtered image that is the image for the four frequency bands of the
바람직하게는, 홀로마크 삽입부(33)는 상기 부대역별 영상(71) 중에서 상기 홀로마크(61)와 영상 에너지 분포가 가장 유사한 부대역별 영상과 치환한다.Preferably, the
즉, 홀로마크(61)의 삽입위치를 선정하기 위해 콘텐츠 영상(70)을 1-레벨 2차원 이산 웨이블릿 변환(2DDWT)한 후 각 부대역별 영상(71)의 계수분포(또는 에너지 분포) 특성을 분석한 후 홀로마크(61)를 삽입한다.That is, the coefficient distribution (or energy distribution) characteristic of the
도 6에서 보는 바와 같이, [수학식 1]을 이용하여 생성한 홀로마크(61)의 계수분포 특성을 분석해보면, 2DDWT된 부대역별 영상(71)들 중에서 HH 부대역별 영상과 매우 유사하다. 도 6a는 홀로마크의 계수분포이고, 도 6b는 부대역별 영상의 분포이다. 따라서 본 발명에서는 워터마킹의 비가시성(invisibility)을 만족시킬 수 있는 2DDWT된 영상의 HH 부대역별 영상을 워터마크 삽입 위치로 선정한다.As shown in FIG. 6, when analyzing coefficient distribution characteristics of the
본 발명의 일실시예에 따른 홀로마크 삽입에 따른 시각적인 영향(비가시성)에 대하여 도 7을 참조하여 보다 구체적으로 설명한다. 도 7은 1-레벨 2DDWT한 후 각 부대역별(LL1, HL1, LH1, HH1) 영상에 홀로마크(61)를 치환 삽입한 결과들을 보이고 있다. 즉, 도 7은 홀로마크(61)를 삽입한 후 역 2DDWT한 영상들이다.A visual effect (invisibility) according to the holomark insertion according to an embodiment of the present invention will be described in more detail with reference to FIG. 7. FIG. 7 shows the results of replacing and inserting the
도 7의 LL1은 도 5에서 LL 부대역별 영상을 홀로마크(61)로 치환하여 획득한 홀로마크 삽입 영상(80)이다. 나머지 도 7의 LH1, HL1, HH1은 도 5에서 각각 LH, HL, HH 부대역별 영상을 홀로마크(61)로 치환하여 획득한 홀로마크 삽입 영상(80)이다.LL1 of FIG. 7 is a holmark embedded
도 7에서 보는 바와 같이, LL1, HL1, LH1 부대역별 영상에 치환 삽입한 홀로마크(61)는 공간영역에서 시각적으로 인지가 되고 화질에 영향을 미치지만 HH1 부대역에서 수행한 워터마킹 결과는 비가시성을 충분히 만족함을 확인할 수 있다.As shown in FIG. 7, the
다시 도 2 및 도 8을 참조하여, 본 발명의 일실시예에 따른 워터마킹 확인시스템(40)을 설명한다. 도 2에서 보는 바와 같이, 워터마킹 확인시스템(40)은 웨이블릿 변환부(41) 또는 홀로그래픽 재생부(32)를 포함하여 구성되고, 비교부(33)를 더 포함하여 구성될 수 있다.2 and 8, a
도 8a에서 보는 바와 같이, 제1 실시예로서, 워터마킹 확인시스템(40)은 홀로마크 삽입 영상(80)을 2차원 이산 웨이블릿 변환(2DDWT)으로 부대역별 영상들로 필터링하여, 삽입된 홀로마크(81)를 추출하여 워터마킹을 확인한다.As shown in FIG. 8A, as a first embodiment, the
즉, 도 5에서 보는 바와 같이, 홀로마크 삽입 영상(80)은 LL, LH, HL의 부대 역별 영상(71)과 홀로마크(61)의 4가지 주파수 대역에 대한 영상에 대해서 역 이산 웨이블릿 변환을 통해 획득된 것이므로, 홀로마크 삽입 영상(80)을 다시 이산 웨이블릿 변환을 하면, HH 부대역에서 삽입된 홀로마크(81)를 추출할 수 있다.That is, as shown in FIG. 5, the holmark embedded
따라서 워터마킹 확인시스템(40)은 웨이블릿 변환부(41)를 통해, 홀로마크 삽입 영상(80)을 이산 웨이블릿 변환하여 HH 부대역에서 삽입된 홀로마크(81)를 추출한다.Accordingly, the
비교부(33)는 삽입된 홀로마크(81)와 원 홀로마크(61)를 비교하여 워터마크 삽입여부를 확인한다.The
도 8b에서 보는 바와 같이, 제2 실시예로서, 워터마킹 확인시스템(40)은 홀로마크 삽입 영상(80)을 2차원 이산 웨이블릿 변환(2DDWT)으로 부대역별 영상들로 필터링하여 홀로마크(81)를 추출하고, 추출된 홀로마크(81)를 홀로그래픽 영상으로 재생하여 워터마킹을 확인한다.As shown in FIG. 8B, as a second embodiment, the
즉, 제1 실시예와 동일하게 삽입된 홀로마크(81)를 추출한다. 이후, 홀로그래픽 재생부(42)는 추출된 홀로마크(81)를 홀로그래픽 광학시스템(50)를 이용하여 재생한다. 비교부(43)는 재생된 홀로그래픽 영상(82)을 깊이영상 워터마크(60)와 비교하여 워터마크 삽입여부를 결정한다. 이하에서 홀로그래픽 광학시스템(50)를 구체적으로 설명한다.In other words, the inserted
도 8c에서 보는 바와 같이, 제3 실시예로서, 워터마킹 확인시스템(40)은 홀로마크 삽입 영상(80)을 홀로그래픽 광학시스템(50)에 의하여 재생하여, 재생된 홀로그래픽 영상(82)과 깊이영상 워터마크(60)와 비교하여 워터마킹을 확인한다. 즉, 제3 실시예는 2차원 이산 웨이블릿 변환(2DDWT)을 실행하지 않고 바로 홀로마크 삽입영상(80)을 홀로그래픽 재생부(42)에 의해 바로 홀로그래픽 재생한다.As shown in FIG. 8C, as a third embodiment, the
도 9에서 보는 바와 같이, 홀로그래픽 광학시스템(50)는 PC에 연결된 공간 광변조기(51, SLM, spatial light modulator) 상에 홀로마크가 삽입된 영상(80)을 디스플레이 한 후 광학시스템을 이용하여 레이저광(참조파, reference wave)을 조사하면 공간상에 홀로그래픽 복원영상이 재생된다. 도 3의 예로 들면, 홀로그래픽 광학시스템(50)는 워터마크(도 3a)로부터 생성된 홀로마크(61)(도 3b)를 홀로그래픽 광학시스템(50)에 의해 재생하여, 도 3c와 같은 결과를 출력한다.As shown in FIG. 9, the holographic
한편, 도 10은 제3 실시예에 따라 도 7의 각각의 홀로마크 삽입영상(80)을 홀로그래픽 광학시스템(50)에 의해 재생한 영상이다. 즉, 도 10은 도 7을 도 9의 홀로그래픽 광학시스템(50)를 이용해 실제 공간상에서 복원한 홀로그래픽 영상(82)(또는 홀로그래픽 3D 객체)들이다. 특히, 도 10의 영상들은 시각적인 화질 비교위해 객체부분만을 캡쳐한 후 해상도를 동일하게 조절한 영상들이다.10 is an image of each of the holmark embedded
홀로그래픽 광학시스템(50)에서 복원한 도 10의 영상들을 살펴보면, 각 부대역의 주파수 특성에 따라 복원되는 홀로그래픽 영상(82)의 위치는 달라지지만 시각적으로 인지 가능(저작권을 주장할 수 있는)함을 알 수 있다. 실험결과를 보면 웨이블릿 영역의 HH1 부대역을 홀로마크 삽입위치로 선택하는 것이 가장 좋은 방법임을 확인할 수 있다. 전자적인 워터마킹 삽입과정의 역순으로 추출한 홀로마크는 외부의 악의적/비악의적 공격이 없는 경우 100% 추출되므로 별도로 설명하지 않는다.Looking at the images of FIG. 10 reconstructed by the holographic
제3 실시예는 계산을 많이 하는 이차원 이산 웨이블릿 변환(2DDWT)을 하지 않아도 된다는 장점이 있다.The third embodiment has the advantage that it is not necessary to perform a two-dimensional discrete wavelet transform (2DDWT) that requires a lot of calculation.
상기와 같이, 재생한 홀로그래픽 복원영상과 전자적인 워터마킹 삽입과정의 역순으로 추출한 홀로마크가 원 영상의 저작권을 주장할 수 있는 근거가 된다.As described above, the reproduced holographic reconstructed image and the holomark extracted in the reverse order of the electronic watermarking insertion process are the basis for claiming the copyright of the original image.
다음으로, 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 도 11을 참조하여 설명한다.Next, a watermarking method of digital content using a digital hologram according to the present invention will be described with reference to FIG.
도 11에서 보는 바와 같이, 본 발명의 일실시예에 따른 디지털 콘텐츠의 워터마킹 방법은 (a) 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 홀로마크(또는 원 홀로마크)를 생성하는 단계(S10); (b) 콘텐츠 영상을 2차원 이산 웨이블릿 변환(2DDWT)으로 적어도 4개의 부대역별 영상들로 필터링하는 단계(S10); 및 (c) 상기 부대역별 영상 중 하나의 부대역별 영상(이하 치환대상 영상)을 상기 홀로마크로 치환하여 홀로마크 삽입 영상을 생성하는 단계(S10)로 구분된다. 또, (d) 홀로마크 삽입 영상을 2차원 이산 웨이블릿 변환(2DDWT)으로 부대역별 영상들로 필터링하여 상기 홀로마크를 추출하고 추출된 홀로마크와 원 홀로마크를 비교하거나, 홀로마크 삽입 영상을 홀로그래픽 광학시스템에 의하여 재생하여, 재생된 홀로그래픽 영상과 깊이영상 워터마크와 비교하여 워터마킹을 확인하는 단계(S10)를 더 포함할 수 있다. As shown in Figure 11, the watermarking method of digital content according to an embodiment of the present invention (a) step of converting the depth image watermark to a digital hologram to generate a holmark (or one holmark) (S10) ; (b) filtering the content image into at least four subband images by two-dimensional discrete wavelet transform (2DDWT) (S10); And (c) generating a holmark embedding image by substituting one subband image (hereinafter referred to as a substituting image) among the subband images by the holmark (S10). In addition, (d) the holmark insertion image is filtered by sub-band images by 2D discrete wavelet transform (2DDWT) to extract the holmark and compare the extracted holmark with the original holmark, or holo insert the holmark image. The method may further include a step (S10) of reproducing by the graphic optical system and comparing the reproduced holographic image and the depth image watermark (S10).
특히, 상기 (a)단계에서, [수학식 1]에 의하여 상기 깊이영상 워터마크에서 상기 홀로마크를 생성한다.Particularly, in the step (a), the holmark is generated from the depth image watermark according to [Equation 1].
또, 상기 (c)단계에서, 상기 부대역별 영상 중에서 상기 홀로마크와 영상 에 너지 분포가 가장 유사한 부대역별 영상, 바람직하게는 HH 부대역별 영상과 치환한다.Further, in the step (c), the sub-band image having the most similar distribution of the holmark and the image energy among the sub-band images is replaced with an HH sub-band image.
상기 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법에 대한 설명 중 생략된 부분은 앞서 설명한 워터마킹 시스템과 워터마크 확인시스템에 대한 설명을 참고한다.In the description of the watermarking method of the digital content using the digital hologram, the description of the watermarking system and the watermark verification system described above will be referred to.
다음으로, 본 발명에 따른 홀로마크의 강인성에 대하여 도 12를 참조하여 설명한다. 도 12는 디지털 홀로그램을 서브샘플링한 후 복원 결과로서, 각각 (a) 원 영상, (b) 1화소 단위, (c) 64ㅧ64 블록 단위, (c) 128ㅧ128 블록 단위의 복원결과의 영상들이다.Next, the toughness of the holomark according to the present invention will be described with reference to FIG. 12 is a reconstruction result after subsampling a digital hologram, and includes reconstruction results of (a) the original image, (b) one pixel unit, (c) 64 × 64 block unit, and (c) 128 × 128 block unit, respectively. admit.
일반적으로 디지털 워터마킹에 사용되는 워터마크는 콘텐츠 소유자의 저작권을 증명할 수 있는 고유의 로고(영상 데이터) 혹은 데이터 조합(이진 데이터)을 사용한다. 이런 워터마크들은 삽입 후 외부에서 가해지는 악의적/비악의적인 공격들에 의해 변형 혹은 삭제될 수 가능성이 있다. 이런 문제를 해결하기 위해 워터마크를 주파수영역에서 삽입하거나 워터마크 자체에 강인성을 부여하여야 한다. 본 발명에서는 삽입하는 워터마크 자체에 강인성을 부여하기 위해 기하학적 변형, 자름(cropping), 잡음 등에 매우 강한 특성을 보이는 디지털 홀로그램, 즉, 홀로마크를 워터마크로 사용하고 있다.In general, watermarks used for digital watermarking use unique logos (video data) or data combinations (binary data) that can prove the copyright of the content owner. These watermarks are likely to be altered or deleted by malicious or non-malicious attacks from outside after insertion. In order to solve this problem, a watermark must be inserted in the frequency domain or toughness must be given to the watermark itself. In the present invention, in order to give toughness to the watermark itself to be inserted, a digital hologram, that is, a holmark that exhibits very strong characteristics such as geometric deformation, cropping and noise, is used as a watermark.
본 발명에 따른 홀로마크의 경우 영상 전체를 대상으로 하는 압축, 잡음첨 가, 자름, 회전 등의 공격에는 매우 강인한 특성을 보이지만 화소 단위의 서브샘플링(sub-sampling)을 수행하면 원 영상 혹은 원 객체의 정보를 거의 소실하는 결과를 가져온다. 이를 도 12b에서 보이고 있다.In the case of the holomark according to the present invention, it is very robust against attacks such as compression, noise addition, cutting, and rotation of the entire image, but the sub-sampling of the pixel unit results in the original image or the original object. This results in little loss of information. This is shown in Figure 12b.
그러나 도 12c, 12d에서 보이는 것과 같이 서브샘플링을 블록 단위로 수행한 후 다시 원래의 영상과 동일한 공간적인 해상도를 취하면 원 영상에서 고주파가 제거된 형태의 몽롱화된 영상이 생성된다. 즉, 서브샘플링 블록 단위가 클수록 원 객체와 더 유사한 영상을 복원한다. 이것은 홀로마크의 각 국부영역이 전체 객체에 대한 정보를 모두 가지며, 선택된 영역의 크기가 커질수록 복원결과가 우수하다는 것을 보여준다.However, as shown in FIGS. 12C and 12D, if the subsampling is performed in units of blocks and then takes the same spatial resolution as that of the original image, a hazed image having a high frequency removed from the original image is generated. That is, the larger the subsampling block unit, the more reconstructed the image similar to the original object. This shows that each local area of the holomark has all the information about the entire object, and the restoration result is superior as the size of the selected area is increased.
도 12b, 12c, 12d는 모두 동일한 양의 데이터를 서브 샘플링한 것이지만 복원 결과는 전혀 다르다는 것을 확인할 수 있다. 이런 결과로부터 디지털 홀로그램(홀로마크)을 구성하는 인접 화소들은 상관도가 거의 없고 각각이 독립적인 정보를 포함하고 있다고 볼 수 있다. 따라서 본 발명에서는 공간영역이나 주파수영역에서 영상 전체를 대상으로 워터마크를 삽입하는 기존의 일반적인 워터마킹 기법을 사용하지 않고 홀로마크의 특성을 고려하여 2DDWT된 주파수영역 전체를 대상으로 홀로마크와 치환하는 워터마킹 기법을 사용하고 있는 것이다.12B, 12C, and 12D all subsample the same amount of data, but it can be seen that the restoration results are completely different. From these results, it can be seen that the adjacent pixels constituting the digital hologram (holmark) have little correlation and each contain independent information. Therefore, the present invention replaces the holmark with the entire 2DDWT frequency domain in consideration of the characteristics of the holmark without using the conventional general watermarking technique of inserting the watermark into the entire image in the spatial domain or the frequency domain. Watermarking technique is used.
한편, 디지털 홀로그램, 즉 홀로마크의 경우 원 객체, 복원거리, 광원의 종류, SLM(spatial light modulator)의 화소 크기(pixel pitch) 등과 같은 인자들에 따라 각 화소의 값들이 크게 바뀌므로 저작권을 주장할 수 있는 워터마크로써 매우 적절한 데이터이다.On the other hand, in the case of digital hologram, that is, the holmark, the value of each pixel is greatly changed according to factors such as original object, restoration distance, type of light source, and pixel pitch of spatial light modulator (SLM). It is a very suitable data as a watermark.
다음으로, 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법과 종래의 워터마킹 방법의 비교결과를 도 13을 참조하여 설명한다.Next, a comparison result of the watermarking method of the digital content using the digital hologram according to the present invention and the conventional watermarking method will be described with reference to FIG.
도 13은 Cheng이 제안한 광학시스템을 이용한 워터마킹 기법의 실험결과와 본 발명에서 제안한 기법의 결과를 비교하고 있다. Cheng이 제안한 광학시스템을 이용한 워터마킹의 경우 도 13a에서 확인할 수 있듯이 워터마킹된 영상은 고주파 성분들이 많이 존재하는 부분에서 화질열화가 발생하였고 영상 전체의 명암값이 변했다. 또한, 광학시스템에서 복원한 홀로그래픽 복원영상의 해상도가 상당히 떨어진 것을 확인할 수 있다.FIG. 13 compares the experimental results of the watermarking technique using the optical system proposed by Cheng with the results of the proposed technique. In the case of watermarking using the optical system proposed by Cheng, as shown in FIG. 13A, the watermarked image has a deterioration in image quality where a large number of high frequency components exist and the contrast value of the entire image is changed. In addition, it can be seen that the resolution of the holographic reconstructed image restored by the optical system is considerably lowered.
도 13b에서는 본 발명에서 제안한 기법의 실험결과들을 보이고 있다. 도 13b의 좌측영상은 워터마킹된 영상, 우측 영상은 워터마킹된 영상을 광학시스템에서 복원한 홀로그래픽 복원영상이다. 도 13a와 도 13b를 비교해 보면 본 발명에서 제안한 기법이 이전 기법에 비해 상당히 향상되었음을 확인할 수 있다.Figure 13b shows the experimental results of the technique proposed in the present invention. The left image of FIG. 13B is a watermarked image, and the right image is a holographic reconstruction image of a watermarked image reconstructed by an optical system. Comparing FIG. 13A and FIG. 13B, it can be seen that the technique proposed in the present invention is significantly improved compared to the previous technique.
다음으로, 본 발명의 다양한 공격에 대한 강인성 검증을 도 14와 도 15를 참조하여 설명한다.Next, the robustness verification for various attacks of the present invention will be described with reference to FIGS. 14 and 15.
제안한 워터마킹 알고리듬의 강인성을 검증하기 위해 워터마킹한 영상을 대상으로 가우시안(Gaussian) 잡음 첨가, 자름, 선명화(sharpening), 몽롱화 및 기하학적 변형 공격을 수행하였다. 다양한 공격을 위해 Adobe사의 Photoshop과 StirMark 4.0을 병행하였다. 제안한 워터마킹 기법의 강인성 검증을 위해 전자적인 기법으로 추출한 홀로마크들을 대상으로 에러율(error ratio)을 측정하는 수치적인 비교와 광학시스템(또는 홀로그래픽 광학시스템)을 이용한 홀로그래픽 3D 복원영상들의 시각적인 화질저하의 측정을 병행하였다. 추출한 홀로마크는 PC 시뮬레이션을 통해 홀로그래픽 복원영상으로 재생한 후 원본 홀로마크의 홀로그래픽 복원영상과의 에러율을 측정하였다.In order to verify the robustness of the proposed watermarking algorithm, Gaussian noise addition, cropping, sharpening, dreaming, and geometric deformation attack were performed on the watermarked images. Adobe's Photoshop and StirMark 4.0 were combined for various attacks. In order to verify the robustness of the proposed watermarking technique, the numerical comparison of the error marks of the holmarks extracted by electronic techniques and the visual representation of holographic 3D reconstructed images using an optical system (or holographic optical system) The measurement of image quality deterioration was performed in parallel. The extracted holmark was reproduced as a holographic reconstructed image through PC simulation and the error rate of the original holographic reconstruction with the holographic reconstructed image was measured.
일반적으로 강인성 실험결과는 검출된 워터마크의 원 워터마크에 대한 에러율이나 NC(normalized correlation) 값으로 나타내는데, 본 발명에서는 다음 수학식 2와 같은 에러율로 나타내었다.In general, the robustness test results are represented by an error rate or NC (normalized correlation) value of the original watermark of the detected watermark. In the present invention, it is represented by an error rate as shown in
[수학식 2][Equation 2]
여기서 W(i)와 Wex(i)는 i번째의 원 워터마크 비트와 추출된 워터마크 비트를 의미하며, M X N은 워터마크의 총 비트 수를 나타낸다. Here, W (i) and Wex (i) mean the i-th original watermark bit and the extracted watermark bit, and M X N represents the total number of bits of the watermark.
도 14에서 다양한 공격에 대한 에러율들을 보이고 있다. 실험결과를 살펴보면 JPEG 압축 공격에 대해서는 JPEG Quality 2에서부터 에러가 발생하였고, JP2K(JPEG2000) 압축 공격의 경우 50:1의 압축율에서 에러가 발생하였다. 가우시안 잡음 첨가 공격에 대해서는 비교적 높은 에러율을 보였다. 또한, 자름과 회전 후 자름(rotation crop)과 같은 기하학적인 공격에도 상당히 높은 에러율을 보였다. 하지만, 실제 영상에서 가우시안 잡음이 10%이상 첨가될 가능성은 그리 높지 않고, JPEG Quality를 2로 설정하거나 혹은 50:1 이상의 압축율로 영상을 압축하는 경우도 흔치 않기 때문에 제안한 기법으로 홀로마크를 삽입한 결과는 우수하다고 볼 수 있다.Figure 14 shows the error rates for various attacks. Experimental results showed that the JPEG compression attack resulted in an error from
기학학적인 공격에 대한 취약성은 도 15와 같은 광학시스템을 이용한 추출 기법들로 보완할 수 있다. 도 15는 광학시스템을 이용하여 복원한 홀로그래픽 복원영상으로서, 각각은 (a) 원본 (공격 없음), JP2K 압축; (b) 50:1, (c) 100:1, (d) Gaussian 잡음 첨가 (15%), (e) 자름 (25%), (f) 회전 후 자름 (2ㅀ) 에 대한 영상들이다.Vulnerability to geometrical attacks can be compensated by extraction techniques using the optical system as shown in FIG. 15 is a holographic reconstructed image reconstructed using an optical system, each of (a) original (no attack), JP2K compression; (b) 50: 1, (c) 100: 1, (d) Gaussian noise added (15%), (e) cut (25%), and (f) cut after rotation (회전 2).
100:1의 압축율에서도 시각적으로 식별이 가능한 홀로그래픽 복원영상을 재생하였고, 15%의 Gaussian 잡음 첨가, 자름, 회전 후 자름 등의 공격에서 20% 이상의 높은 에러율을 보였지만 도 15d ~ 도 15f에서 보이듯이 시각적으로 인지할 수 있는 복원영상을 재생하였다. 따라서 전자적인 홀로마크의 추출기법과 광학시스템을 이용한 추출기법을 병행할 경우 훌륭한 저작권 보호 방법이 될 수 있다.Visually recognizable holographic reconstructed images were reproduced even at a compression ratio of 100: 1, and the error rate was higher than 20% in 15% Gaussian noise addition, cutting, and cutting after rotation, but as shown in FIGS. 15D to 15F. The reconstructed image is visually recognizable. Therefore, it can be an excellent copyright protection method when the extraction method using the electronic holomark extraction technique and the optical system are combined.
다음으로, 본 발명의 광학기기를 이용한 불법적인 영상획득 공격에 대한 결과를 도 16을 참조하여 설명한다. 도16은 디지털 카메라를 이용해 촬영한 영상들과 이를 광학시스템에서 재생한 복원영상들로서, 도16a는 일반적인 촬영, 도16b는 영상의 일부분만을 촬영, 도16c는 카메라 앵글이 왼쪽으로 기울어진 경우의 영상이 다.Next, the result of the illegal image acquisition attack using the optical device of the present invention will be described with reference to FIG. Fig. 16 shows images taken using a digital camera and reconstructed images reproduced by an optical system. Fig. 16A shows a general image, Fig. 16B shows a portion of an image, and Fig. 16C shows an image when the camera angle is tilted to the left. to be.
최근 핸드폰, 디지털 카메라, 캠코더와 같은 영상획득기기들의 사용이 일반화되어 극장, 공연장, 전시회 등에서 콘텐츠의 불법적인 촬영과 이를 인터넷을 통해 배포 및 공유하여 콘텐츠 소유자의 저작권을 심각하게 침해하는 상황이 증가하고 있다.Recently, the use of video acquisition devices such as mobile phones, digital cameras, and camcorders is becoming more common, and illegal recording of content in theaters, performance halls, exhibitions, and the like is distributed and shared over the Internet, which seriously infringes the copyright of the content owner. have.
본 발명에서 제안한 홀로마크를 이용한 워터마킹 알고리듬이 스캐너, 캠코더, 디지털 카메라 등과 같은 광학기기들을 이용한 영상 캡쳐 공격에 대한 강인성을 측정하기 위해 자연영상을 대상으로 제안한 워터마킹 알고리듬을 이용하여 워터마킹한 후 디지털 카메라를 이용하여 영상을 촬영하는 공격을 수행하였다. 촬영한 영상은 광학시스템을 이용하여 홀로그래픽 복원영상을 재생하였다.The watermarking algorithm using the holomark proposed in the present invention is watermarked using a watermarking algorithm proposed for natural video to measure the robustness against image capture attack using optical devices such as scanners, camcorders, digital cameras, etc. The attack was performed using a digital camera to capture the image. The photographed image reproduced the holographic reconstructed image using an optical system.
그 결과들을 도 16에서 보이고 있다. 도16a는 촬영한 전체영상(좌측)에서 유효한 영역만을 선택한 후 해상도를 SLM에 맞도록 조정한 후 광학시스템에서 복원한 영상, 도16b는 촬영한 전체영상의 해상도만을 조정하여 복원한 영상, 그리고 도16c는 촬영한 전체영상에서 유효한 영역만을 선택한 후 우측으로 회전시킨 다음 복원한 영상이다. 복원된 영상을 살펴보면 세 가지 실험결과 모두 시각적으로 인지 가능한 수준임을 확인할 수 있다.The results are shown in FIG. FIG. 16A is an image restored by the optical system after selecting only a valid area in the entire captured image (left) and adjusting the resolution to SLM, FIG. 16B is an image restored by adjusting only the resolution of the entire captured image, and FIG. 16c is a reconstructed image after selecting only a valid area of the entire captured image and rotating it to the right. Looking at the reconstructed image, it can be seen that all three experimental results are visually recognizable.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example, Of course, a various change is possible in the range which does not deviate from the summary.
본 발명은 디지털 콘텐츠의 영상에 깊이영상 워터마크를 디지털 홀로그램으로 변환하여 삽입하는 디지털 콘텐츠의 워터마킹 시스템 개발에 적용이 가능하다.The present invention is applicable to the development of a watermarking system for digital content that converts and inserts a depth image watermark into a digital hologram in an image of the digital content.
도 1은 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.1 is a diagram showing the configuration of an entire system for implementing a watermarking method of digital content using a digital hologram according to the present invention.
도 2는 본 발명의 일실시예에 따른 워터마킹 시스템과 워터마크 확인시스템의 구성을 도시한 도면이다.2 is a diagram illustrating the configuration of a watermarking system and a watermark checking system according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 깊이영상 워터마크, 홀로마크, 복원한 홀로그래픽 영상을 예시한 도면이다.3 is a diagram illustrating a depth image watermark, a holmark, and a reconstructed holographic image according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따라 이차원 이산 웨이블릿 변환을 예시한 도면이다.4 illustrates a two-dimensional discrete wavelet transform according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따라 역 이차원 이산 웨이블릿 변환을 예시한 도면이다.5 illustrates an inverse two-dimensional discrete wavelet transform according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 홀로마크 및 부대역별 영상의 에너지 분포를 예시한 도면이다.6 is a diagram illustrating energy distribution of an image of a holmark and subbands according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 각 부대역별 영상에 홀로마크 삽입에 따른 시각적인 영향(비가시성)의 결과를 예시한 것이다.FIG. 7 illustrates a result of visual influence (invisibility) according to the insertion of a holomark in each subband image according to an embodiment of the present invention.
도 8은 본 발명에 따른 워터마크 확인시스템의 3가지 실시예의 구성에 대한 블록도이다.8 is a block diagram showing the configuration of three embodiments of a watermark checking system according to the present invention.
도 9는 본 발명의 일실시예에 따른 홀로그래픽 광학시스템의 구성에 대한 블록도이다.9 is a block diagram of a configuration of a holographic optical system according to an embodiment of the present invention.
도 10은 본 발명의 일실시예에 따라 홀로마크 삽입영상을 홀로그래픽 광학시 스템에 의해 재생한 영상을 예시한 도면이다.FIG. 10 illustrates an image of a holmark embedded image reproduced by a holographic optical system according to an exemplary embodiment of the present invention.
도 11은 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법을 설명한 흐름도이다.11 is a flowchart illustrating a watermarking method of digital content using a digital hologram according to the present invention.
도 12는 본 발명에 따른 홀로마크의 강인성을 설명하기 위한 도면이다.12 is a view for explaining the toughness of the holomark according to the present invention.
도 13은 본 발명에 따른 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법과 종래의 워터마킹 방법의 비교결과를 예시한 도면이다.FIG. 13 is a diagram illustrating a comparison result between a watermarking method of digital content using a digital hologram and a conventional watermarking method according to the present invention.
도 14는 본 발명에 따른 홀로마크 삽입영상을 공격한 결과에 대한 표이다.14 is a table showing the results of attacking the embedded holmark image according to the present invention.
도 15는 본 발명에 따른 광학시스템(홀로그래픽 광학시스템)을 이용하여 복원한 홀로그래픽 복원영상을 예시한 도면이다.15 is a diagram illustrating a holographic reconstructed image reconstructed using an optical system (holographic optical system) according to the present invention.
도 16은 본 발명의 광학기기를 이용한 불법적인 영상획득 공격에 대한 결과를 예시한 도면이다.16 is a diagram illustrating a result of an illegal image acquisition attack using the optical device of the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
11,12 : 컴퓨터 단말 20 : 네트워크11,12: computer terminal 20: network
30 : 홀로마킹 시스템 31 : 홀로마크 생성부30: holomarking system 31: holomark generating unit
32 : 웨이블릿 변환부 33 : 홀로마크 삽입부32: wavelet converter 33: holmark insertion unit
40 : 홀로마크 확인시스템 41 : 웨이블릿 변환부40: Holo mark confirmation system 41: Wavelet conversion unit
42 : 홀로그래픽 재생부 43 : 비교부42: holographic playback unit 43: comparison unit
50 : 홀로그래픽 광학시스템 51 : 공간광변조기(SLM)50: holographic optical system 51: spatial light modulator (SLM)
60 : 깊이영상 워터마크 61 : 홀로마크60: depth image watermark 61: holomark
70 : 콘텐츠 영상 71 : 부대역별 영상70: content footage 71: video by sub-station
80 : 홀로마크 삽입영상 81 : 치환되는 부대역별 영상80: embedded holmark image 81: subband image to be replaced
82 : 홀로그래픽 영상82: holographic image
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090124866A KR101094809B1 (en) | 2009-12-15 | 2009-12-15 | An watermarking method for digital contents using digital holography |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090124866A KR101094809B1 (en) | 2009-12-15 | 2009-12-15 | An watermarking method for digital contents using digital holography |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110068042A true KR20110068042A (en) | 2011-06-22 |
KR101094809B1 KR101094809B1 (en) | 2011-12-16 |
Family
ID=44400369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090124866A KR101094809B1 (en) | 2009-12-15 | 2009-12-15 | An watermarking method for digital contents using digital holography |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101094809B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101289283B1 (en) * | 2012-03-13 | 2013-08-09 | 안양대학교 산학협력단 | A holographic display method using a hybrid image acquisition system |
KR20150136320A (en) | 2014-05-27 | 2015-12-07 | 한밭대학교 산학협력단 | System and Method for Embedding and Extracting Digital Watermark Using QR Code |
KR101588858B1 (en) * | 2014-09-23 | 2016-01-28 | 광운대학교 산학협력단 | A Method of Hologram Watermarking Using Fresnel Diffraction Model |
-
2009
- 2009-12-15 KR KR1020090124866A patent/KR101094809B1/en not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101289283B1 (en) * | 2012-03-13 | 2013-08-09 | 안양대학교 산학협력단 | A holographic display method using a hybrid image acquisition system |
KR20150136320A (en) | 2014-05-27 | 2015-12-07 | 한밭대학교 산학협력단 | System and Method for Embedding and Extracting Digital Watermark Using QR Code |
KR101588858B1 (en) * | 2014-09-23 | 2016-01-28 | 광운대학교 산학협력단 | A Method of Hologram Watermarking Using Fresnel Diffraction Model |
Also Published As
Publication number | Publication date |
---|---|
KR101094809B1 (en) | 2011-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tao et al. | Robust image watermarking theories and techniques: A review | |
Singh et al. | A survey of digital watermarking techniques, applications and attacks | |
De Vleeschouwer et al. | Invisibility and application functionalities in perceptual watermarking an overview | |
Nikolaidis et al. | Digital image watermarking: an overview | |
EP1917625B1 (en) | Covert and robust mark for media identification | |
Roy et al. | A hybrid domain color image watermarking based on DWT–SVD | |
EP1112636A1 (en) | Watermarking of digital images using wavelet and discrete cosine transforms | |
Kannan et al. | An extensive research on robust digital image watermarking techniques: A review | |
KR101094809B1 (en) | An watermarking method for digital contents using digital holography | |
Zhao et al. | An introduction to robust transform based image watermarking techniques | |
Rao et al. | R,“Digital watermarking: applications, techniques and attacks” | |
Soppari et al. | Study of digital watermarking algorithms for digital rights management and their attacks | |
Roy et al. | A robust reversible image watermarking scheme in DCT domain using Arnold scrambling and histogram modification | |
Martin et al. | An interpolation-based watermarking scheme | |
D’Angelo et al. | Watermark-based authentication | |
KR20110017090A (en) | Holomarking: digital watermarking method using fresnel hologram | |
Riad et al. | A print-scan resilient watermarking based on fourier transform and image restoration | |
Gupta | Improving Security for Video Watermarking | |
Barkat et al. | Time-frequency and time-scale-based fragile watermarking methods for image authentication | |
Adimoolam et al. | Anti-piracy for movies using forensic watermarking | |
Guo | Methodologies in digital watermarking: Robust and reversible watermarking techniques for authentication, security and privacy protection | |
Joe | ENCRYPTION BASED WATERMARKING TECHNIQUE FOR SECURITY OF MEDICAL IMAGE | |
Alghamdi et al. | An Efficient Image Watermarking Method Based on Discrete Cosine Transform | |
Moti | Effects of Different Manipulations on Images and Audio with a Watermark Embedded | |
Al-juboori | Imperceptibility and Robustness Improvement using segmented DWT Watermarking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |