KR20110017090A - 홀로마킹:Fresnel 홀로그램을 이용한 디지털 워터마킹 기법 - Google Patents

Abstract

본 특허에서는 디지털 콘텐츠의 위변조, 불법사용 및 복제를 방지하기 위하여 비가시성과 공격에 대한 강인성을 동시에 만족하는 디지털 워터마킹 방법을 소개한다. 이 방법은 워터마크 자체의 강인성을 향상시키기 위해 Fresnel 변환을 이용하여 생성한 워터마크(디지털 홀로그램)를 삽입한다. 워터마크의 삽입위치는 원 영상의 주파수 특성과 워터마크로 사용되는 디지털 홀로그램의 특성을 고려하여 선정한다. 또한 삽입할 워터마크의 양은 2DDWT(2-dimensional discrete wavelet transform)의 변환 레벨을 고려하여 결정한다. 본 알고리듬은 C++을 이용하여 구현하였으며, 자체 제작한 광학 시스템을 테스트 베드로 하여 비가시성과 강인성을 실험하였다. 실험결과 삽입한 워터마크의 비가시성이 충분히 만족되었고, 일반적인 공격방법에 대해 추출된 워터마크의 에러율이 15% 이하의 강인성을 보였다.

디지털 워터마킹, 디지털 홀로그램, 콘텐츠 보안, {Digital Watermarking, Digital Hologram, Content Security, Fresnel Transform, DWT}

Description

홀로마킹:Fresnel 홀로그램을 이용한 디지털 워터마킹 기법{HoloMarking: Digital Watermarking Method using Fresnel Hologram}

Fresnel 홀로그램을 이용한 디지털 워터마킹 기법

[문헌1] 한국전자통신연구원 이동통신 연구소 2003년 연차보고서 (http:// www.etri.re.kr ), 2003.

[문헌2] J. O. Ruanaidh, W. J. Dowling, and F. M. Boland, "Phase Watermarking of Digital Image", in Proc. ICIP'97, vol. 1, pp. 239-242, Sep. 1996.

[문헌3] I. J. Cox, J. Kilian, F. T. Leighton, and T. Shamoon, "Secure Spread Spectrum Watermarking for Multimedia", IEEE Transactions on Image Processing, vol. 6, pp. 1673-1687, Dec. 1997.

[문헌4] M. Barni, "Image Watermarking of Secure Transmission over Public Networks", Proceedings of COST 254 Workshop on Emerging Techniques for Communication Terminals, Toulouse, France, pp. 290-294, Jul. 1997.

[문헌5] 서영호, 최현준, 최순영, 이창열, 김동욱, “양자화기의 편의이 동에 의한 적응적인 블라인드 워터마킹 기술”, 대한전자공학회 논문지, 제 42권 SP 제 2호, pp. 49-58, 2005. 11.

[문헌6] C. J. Cheng, L. C. Lin, W. T. Dai, "Construction and detection of digital holographic watermarks", Optics Communications, vol. 248, pp. 105-116, Sep. 2005.

[문헌7] D. W. Kim, H. J. Choi, Y. G. Choi, J. S. Yoo, and Y. H. Seo, "Information hiding for digital holograms by electronic partial encryption methos," Optics Communications, vol. 277, pp. 277-287, Sep. 2007.

[문헌8] T. Shimobaba, A. Shiraki, Y. Ichihashi, N. Masuda, and T. Ito, "Interactive color electroholography using the FPGA technology and time division switching method," Electronics Express, vol. 5, no. 8, pp. 271-277, April 2008.

최근 다양한 멀티미디어 서비스 모델의 사용자들에 의한 디지털 콘텐츠의 불법적인 유통과 조작이 성행하고 있고, DVR(digital video recorder)와 웹 카메라 등을 이용한 보안응용 시스템 분야에서의 위/변조와 이에 따른 지적소유권 문제가 크게 부각되고 있다. 이런 불법적인 복제 및 조작을 방지하고 소유권을 효과적으로 보호하기 위한 저작권 보호기술이 요구되고 있으며, 디지털 워터마킹 기술은 이러한 지적재산권을 보호하고 저작권을 주장할 수 있는 근거를 제시할 수 있도록 하는 기술로서 현재 많은 연구와 응용이 이루어지고 있다.

디지털 워터마킹 기술이 발달함에 따라서 워터마크 적용영역은 공간영역(spatial domain)에서 주파수영역(frequency domain)으로 옮겨졌는데, 주파수영역에서의 기법은 공간영역에서 적용되던 방식에 비해 공격에 강한 특징을 가지지만 주파수 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있다. 주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것으로 Ruanaidh는 DFT(discrete fourier transform)를 이용하여 위상성분에 워터마크를 삽입하였고, Cox와 Barni는 DCT(discrete cosine transform)를 이용하여 주파수 영역에서 중요한 계수들을 선정하여 워터마크를 삽입하는 방법을 제안하였다. Seo는 2DDWT을 이용하여 DCT에서 발생하는 블록화 현상(blocking effect)을 제거하면서 워터마크를 삽입하는 방법을 제안하였다. 이런 주파수영역에서 수행되는 워터마킹 기법들의 워터마크 추출을 위해서는 워터마킹된 자연영상을 주파수 변환해야만 한다. Cheng이 제안한 광학시스템을 이용한 워터마킹 기법은 워터마킹 된 영상의 화질이 크게 떨어져 비가시성을 만족하지 못하고 몽롱화(burring)와 같은 공격에 매우 취약하다는 단점이 있다.

본 발명에서는 디지털 워터마킹 알고리듬의 강인성을 향상시킬 수 있는 방법으로 압축, 잡음첨가, 기하학적 변형 등과 같은 외부의 공격들에 대한 강인성이 입증된 디지털 홀로그램을 워터마크로 사용하여 그 가능성을 살펴본다. 워터마크의 삽입위치 선정과 추출기법은 디지털 홀로그램의 특성을 분석한 후 기존의 2DDWT 영역에서 수행되던 기법을 도입하였다. 또한 전자적인 워터마크 추출기법과 광학시스템을 이용한 하이브리드 방식의 워터마크 추출 기법을 소개한다. 이 방식은 PC를 기반으로 하는 이전의 전자적인 추출방식과 광학시스템을 이용하여 실제 공간상에 워터마크로 사용된 디지털 홀로그램의 3차원 복원영상을 재생하는 기법을 병행하는 것이다.

본 발명에서는 영상의 웨이블릿 영역에서 홀로마크를 이용하는 디지털 워터마킹 알고리듬과 PC를 기반으로 하는 전자적인 홀로마크 추출과 광학시스템을 이용한 광학적인 추출을 병행하는 기법을 제안하였다. 제안한 워터마킹 기법은 워터마크의 비가시성을 위해 2DDWT영역의 부대역들과 홀로마크의 계수 분포 특성을 분석하여 서로 유사한 특성을 보이는 부대역을 선택한 후 이들을 치환하는 기법을 사용하였다.

제안한 알고리듬의 비가시성 실험결과 삽입된 홀로마크는 충분한 비가시성을 만족하였고, 강인성 검증을 위해 Gaussian 잡음첨가, JPEG 압축, JPEG2000 압축, 자름, 선명화, 몽롱화, 회전 등과 같은 다양한 공격을 수행하였다. 그 결과 추출된 홀로마크는 콘텐츠 소유자의 저작권을 확인할 만큼 충분한 정보를 갖고 있었다. 또한 디지털 카메라와 같은 광학기기를 이용한 공격들에서도 만족할 만한 결과를 얻을 수 있었다.

본 발명에서 제안한 홀로마크 삽입기법의 역순으로 수행되는 전자적인 추출기법과 광학시스템을 이용한 추출기법을 병행할 경우 기존의 디지털 워터마킹 기법을 보완할 수 있는 새로운 방법이 될 수 있음을 확인하였다. 또한 일반적인 공격방법에 대해 추출된 워터마크의 에러율이 15% 이하의 강인성을 보였다

1. 워터마크(홀로마크)의 생성

일반적으로 디지털 워터마킹에 사용되는 워터마크는 콘텐츠 소유자의 저작권을 증명할 수 있는 고유의 로고(영상 데이터) 혹은 데이터 조합(이진 데이터)을 사용한다. 이런 워터마크들은 삽입 후 외부에서 가해지는 악의적/비악의적인 공격들에 의해 변형 혹은 삭제될 수 가능성이 있다. 이런 문제를 해결하기 위해 워터마크를 주파수영역에서 삽입하거나 워터마크 자체에 강인성을 부여하는 기법들이 연구되고 있는 것이다. 본 발명에서는 삽입하는 워터마크 자체에 강인성을 부여하기 위해 기하학적 변형, 자름(cropping), 잡음 등에 매우 강한 특성을 보이는 디지털 홀 로그램을 워터마크로 사용하고 이를 “홀로마크(HoloMark)”, 홀로마크를 사용한 워터마킹 기법을 “홀로마킹(HoloMarking)”이라고 명명한다. 디지털 홀로그램의 경우 원 객체, 복원거리, 광원의 종류, SLM(spatial light modulator)의 화소 크기(pixel pitch) 등과 같은 인자들에 따라 각 화소의 값들이 크게 바뀌므로 저작권을 주장할 수 있는 워터마크로써 매우 적절한 데이터이다.

도1 에서 본 발명에서 사용하는 예제영상들을 보이고 있다. 도 1(a)는 홀로마크를 생성하기 위한 깊이정보 영상(200×200, 회색조), (b)는 Fresnel 변환을 통해 생성한 홀로마크(256×256, 이진), (c)는 (b)를 PC 시뮬레이션으로 복원한 3차원 홀로그래픽 영상이다.

이때, 도 1(b)의 홀로마크는 아래의 Fresnel 변환식을 이용하여 생성한다[8]. 이 식은 홀로그램의 생성원리를 근사화한 후 PC상에서 수학적인 연산으로 디지털 홀로그램을 얻을 수 있도록 한 것이다.

여기서 α와 j는 홀로마크와 depth-map, k는 참조파(reference)의 파수(wave number)로 로 정의되고, Aj는 원본객체의 밝기값(intensity), N은 깊이정보 영상의 전체 화소수, p는 디스플레이 장치의 화소 크기, 와 는 홀로마크의 좌표, , , 및 는 깊이정보 영상의 좌표를 나타낸다.

2. 홀로마크의 특성을 고려한 주파수 영역에서의 워터마킹 알고리듬

본 발명에서는 원 영상을 2DDWT하여 주파수영역에서 워터마크를 삽입하는 알고리듬을 제안한다. 2DDWT 영역에서의 워터마킹 순서는 도 2와 같다. 제안한 기법은 워터마크의 삽입위치를 선정하기 위해 원본영상을 1-레벨 2DDWT한 후 각 부대역의 계수분포 특성을 분석한 후 워터마크를 삽입한다. 식 (1)을 이용하여 생성한 홀로마크의 계수분포 특성을 분석해보면 2DDWT된 영상의 부대역들 중에서 HH 부대역과 매우 유사하다. 따라서 본 발명에서는 워터마킹의 비가시성(invisibility)을 만족시킬 수 있는 2DDWT된 영상의 HH 부대역을 워터마크 삽입 위치로 선정하였다. 2DDWT 영역에서의 워터마킹 삽입은 원본영상을 1-레벨 2DDWT한 후 HH1 부대역과 워터마크를 치환하는 기법이다. 이는 홀로마크의 경우 영상 전체를 대상으로 하는 압축, 잡음첨가, 자름, 회전 등의 공격에는 매우 강인한 특성을 보이지만 화소 단위의 서브샘플링(sub-sampling)을 수행하면 원 영상 혹은 원 객체의 정보를 거의 소실하는 결과를 가져온다. 이를 도 3(b)에서 보이고 있다. 그러나 도 3(c), (d)에서 보이는 것과 같이 서브샘플링을 블록 단위로 수행한 후 다시 원래의 영상과 동일한 공간적인 해상도를 취하면 원 영상에서 고주파가 제거된 형태의 몽롱화된 영상이 생성된다. 즉, 서브샘플링 블록 단위가 클수록 원 객체와 더 유사한 영상을 복원한다. 이것은 홀로마크의 각 국부영역이 전체 객체에 대한 정보를 모두 가지며, 선택된 영역의 크기가 커질수록 복원결과가 우수하다는 것을 보여준다. 도 3의 (b), (c), (d)는 모두 동일한 양의 데이터를 서브 샘플링한 것이지만 복원 결과는 전혀 다르다는 것을 확인할 수 있다. 이런 결과로부터 디지털 홀로그램(홀로마크)을 구성하는 인접 화소들은 상관도가 거의 없고 각각이 독립적인 정보를 포함하고 있다고 볼 수 있다. 따라서 본 발명에서는 공간영역이나 주파수영역에서 영상 전체를 대상으로 워터마크를 삽입하는 기존의 일반적인 워터마킹 기법을 사용하지 않고 홀로마크의 특성을 고려하여 2DDWT된 주파수영역 전체를 대상으로 홀로마크와 치환하는 워터마킹 기법을 제안한다.

3. 하이브리드 워터마크 추출

본 발명에서 제안한 하이브리드 워터마크 추출을 위해 개발한 광학시스템의 구성도를 도 4에서 보이고 있다. PC에 연결된 SLM(spatial light modulator) 상에 홀로마크가 삽입된 영상을 디스플레이 한 후 광학시스템을 이용하여 레이저광(참조파, reference wave)을 조사하면 공간상에 도 1(c)와 같은 홀로그래픽 복원영상이 재생된다. 이렇게 재생한 홀로그래픽 복원영상과 전자적인 워터마킹 삽입과정의 역순으로 추출한 홀로마크가 원 영상의 저작권을 주장할 수 있는 근거가 된다.

도 5에서는 1-레벨 2DDWT한 후 각 부대역별(LL1, HL1, LH1, HH1)로 홀로마크를 삽입한 결과들을 보이고 있다. 도 5(a)는 워터마크 삽입에 따른 시각적인 영향(비가시성)을 비교하기 위해 각 부대역별로 홀로마크를 삽입한 후 역 2DDWT한 영상들이고, 5(b)는 5(a)를 도 4의 광학시스템을 이용해 실제 공간상에서 복원한 홀로그래픽 3D 객체들로 시각적인 화질 비교위해 객체부분만을 캡쳐한 후 해상도를 동일하게 조절한 영상들이다. 도 5(a)를 보면 LL1, HL1, LH1 부대역에 삽입한 홀로마 크는 공간영역에서 시각적으로 인지가 되고 화질에 영향을 미치지만 HH1 부대역에서 수행한 워터마킹 결과는 비가시성을 충분히 만족함을 확인할 수 있다. 광학시스템에서 복원한 도 5(b)의 영상들을 살펴보면, 각 부대역의 주파수 특성에 따라 복원되는 홀로그래픽 3D 객체의 위치는 달라지지만 시각적으로 인지 가능(저작권을 주장할 수 있는)함을 알 수 있다. 실험결과를 보면 웨이블릿 영역의 HH1 부대역을 홀로마크 삽입위치로 선택하는 것이 가장 좋은 방법임을 확인할 수 있다. 전자적인 워터마킹 삽입과정의 역순으로 추출한 홀로마크는 외부의 악의적/비악의적 공격이 없는 경우 100% 추출되므로 별도로 설명하지 않는다.

도 6에서는 Cheng이 제안한 광학시스템을 이용한 워터마킹 기법[6]의 실험결과와 본 발명에서 제안한 기법의 결과를 비교하고 있다. Cheng이 제안한 광학시스템을 이용한 워터마킹의 경우 도 6(a)에서 확인할 수 있듯이 워터마킹된 영상은 고주파 성분들이 많이 존재하는 부분에서 화질열화가 발생하였고 영상 전체의 명암값이 변했다. 또한, 광학시스템에서 복원한 홀로그래픽 복원영상의 해상도가 상당히 떨어진 것을 확인할 수 있다. 도 6(b)에서는 본 발명에서 제안한 기법의 실험결과들을 보이고 있다. 도 6(b)의 좌측영상은 워터마킹된 영상, 우측 영상은 워터마킹된 영상을 광학시스템에서 복원한 홀로그래픽 복원영상이다. 도 6(a)와 (b)를 비교해 보면 본 발명에서 제안한 기법이 이전 기법에 비해 상당히 향상되었음을 확인할 수 있다.

4. 다양한 공격에 대한 강인성 검증

제안한 워터마킹 알고리듬의 강인성을 검증하기 위해 워터마킹한 영상을 대 상으로 가우시안(Gaussian) 잡음 첨가, 자름, 선명화(sharpening), 몽롱화 및 기하학적 변형 공격을 수행하였다. 다양한 공격을 위해 Adobe사의 Photoshop과 StirMark 4.0을 병행하였다. 제안한 워터마킹 기법의 강인성 검증을 위해 전자적인 기법으로 추출한 홀로마크들을 대상으로 에러율(error ratio)을 측정하는 수치적인 비교와 광학시스템을 이용한 홀로그래픽 3D 복원영상들의 시각적인 화질저하의 측정을 병행하였다. 추출한 홀로마크는 PC 시뮬레이션을 통해 홀로그래픽 복원영상으로 재생한 후 원본 홀로마크의 홀로그래픽 복원영상과의 에러율을 측정하였다.

일반적으로 강인성 실험결과는 검출된 워터마크의 원 워터마크에 대한 에러율이나 NC(normalized correlation) 값으로 나타내는데, 본 발명에서는 식 (2)와 같은 에러율로 나타내었다.

여기서 W(i)와 Wex(i)는 i번째의 원 워터마크 비트와 추출된 워터마크 비트를 의미하며, M×N은 워터마크의 총 비트 수를 나타낸다.

Attack		Error rates(%)
JEPG quality	6	0
	4	0
	2	0.5
	0	1.6
JP2K compression rate	10	0
	50	1.2
	100	2.5
Gaussian noise addition(%)	5	0
	10	4.1
	15	21.6
Cropping(25%)		12.7
Rotation crop(-2)		22.
Sharpening		0
Blurring		0

표 1에서 다양한 공격에 대한 에러율들을 보이고 있다. 실험결과를 살펴보면 JPEG 압축 공격에 대해서는 JPEG Quality 2에서부터 에러가 발생하였고, JP2K(JPEG2000) 압축 공격의 경우 50:1의 압축율에서 에러가 발생하였다. 가우시안 잡음 첨가 공격에 대해서는 비교적 높은 에러율을 보였다. 또한, 자름과 회전 후 자름(rotation crop)과 같은 기하학적인 공격에도 상당히 높은 에러율을 보였다. 하지만, 실제 영상에서 가우시안 잡음이 10%이상 첨가될 가능성은 그리 높지 않고, JPEG Quality를 2로 설정하거나 혹은 50:1 이상의 압축율로 영상을 압축하는 경우도 흔치 않기 때문에 제안한 기법으로 홀로마크를 삽입한 결과는 우수하다고 볼 수 있다.

기학학적인 공격에 대한 취약성은 도 7과 같은 광학시스템을 이용한 추출 기법들로 보완할 수 있다. 100:1의 압축율에서도 시각적으로 식별이 가능한 홀로그래픽 복원영상을 재생하였고, 15%의 Gaussian 잡음 첨가, 자름, 회전 후 자름 등의 공격에서 20% 이상의 높은 에러율을 보였지만 도 7(d)~(f)에서 보이듯이 시각적으로 인지할 수 있는 복원영상을 재생하였다. 따라서 전자적인 홀로마크의 추출기법과 광학시스템을 이용한 추출기법을 병행할 경우 훌륭한 저작권 보호 방법이 될 수 있다.

5. 광학기기를 이용한 불법적인 영상획득 공격에 대한 결과

최근 핸드폰, 디지털 카메라, 캠코더와 같은 영상획득기기들의 사용이 일반화되어 극장, 공연장, 전시회 등에서 콘텐츠의 불법적인 촬영과 이를 인터넷을 통해 배포 및 공유하여 콘텐츠 소유자의 저작권을 심각하게 침해하는 상황이 증가하고 있다.

본 발명에서 제안한 홀로마크를 이용한 워터마킹 알고리듬이 스캐너, 캠코더, 디지털 카메라 등과 같은 광학기기들을 이용한 영상 캡쳐 공격에 대한 강인성을 측정하기 위해 자연영상을 대상으로 제안한 워터마킹 알고리듬을 이용하여 워터마킹한 후 디지털 카메라를 이용하여 영상을 촬영하는 공격을 수행하였다. 촬영한 영상은 광학시스템을 이용하여 홀로그래픽 복원영상을 재생하였다. 그 결과들을 도 8에서 보이고 있다. 도 8(a)는 촬영한 전체영상(좌측)에서 유효한 영역만을 선택한 후 해상도를 SLM에 맞도록 조정한 후 광학시스템에서 복원한 영상, 8(b)는 촬영한 전체영상의 해상도만을 조정하여 복원한 영상, 그리고 8(c)는 촬영한 전체영상에서 유효한 영역만을 선택한 후 우측으로 회전시킨 다음 복원한 영상이다. 복원된 영상을 살펴보면 세 가지 실험결과 모두 시각적으로 인지 가능한 수준임을 확인할 수 있다.

도 1. 예제영상들 (a) 홀로마크를 생성하기 위한 깊이정보 영상, (b) (a)로 생성한 홀로마크, (c) (b)를 복원한 3차원 홀로그래픽 영상

도 2. 2DDWT 영역에서의 워터마킹 순서

도 3. 디지털 홀로그램을 서브샘플링한 후 복원 결과 (a) 원 영상, (b) 1­화소 단위, (c) 64×64 블록 단위, (c) 128×128 블록 단위

도 4. 하이브리드 워터마크 추출을 위한 광학시스템

도 5. 주파수영역에서의 워터마킹 결과 (a) 워터마크를 삽입한 영상들, (b) (a)의 영상들을 광학시스템을 이용하여 복원한 결과들

도 6. 이전 연구결과와의 비교 (a) Cheng이 제안한 기법, (b) 본 발명에서 제안한 기법

도 7. 광학시스템을 이용하여 복원한 홀로그래픽 복원영상 (a) 원본 (공격 없음), JP2K 압축; (b) 50:1, (c) 100:1, (d) Gaussian 잡음 첨가 (15%), (e) 자름 (25%), (f) 회전 후 자름 (­2°)

도 8. 디지털 카메라를 이용해 촬영한 영상들과 이를 광학시스템에서 재생한 복원영상들 (a) 일반적인 촬영, (b) 영상의 일부분만을 촬영, (c) 카메라 앵글이 왼쪽으로 기울어진 경우

Claims (1)

1. 홀로마크 삽입기법의 역순으로 수행되는 전자적인 추출기법과 광학시스템을 이용한 추출기법을 병행하는 기법

Images