KR20150104305A

KR20150104305A - 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법

Info

Publication number: KR20150104305A
Application number: KR1020140025858A
Authority: KR
Inventors: 서영호; 김보라; 김동욱
Original assignee: 광운대학교 산학협력단
Priority date: 2014-03-05
Filing date: 2014-03-05
Publication date: 2015-09-15
Also published as: KR101580987B1

Abstract

깊이 영상 및 텍스쳐 영상으로 구성된 입체 영상을 입력받아 상기 입체 영상에 워터마크를 삽입하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 관한 것으로서, (a) 상기 깊이영상에서 스테레오 영상을 생성할 때 폐색영역으로 나타날 가능성이 있는 영역(이하 폐색가능 영역)을 검출하는 단계; (b) 상기 텍스쳐 영상에서 윤곽선 영역을 추출하는 단계; (c) 상기 윤곽선 영역에서 상기 폐색가능 영역을 제외하여, 워터마크가 삽입될 영역(이하 선택 영역)을 추출하는 단계; (d) 상기 텍스쳐 영상의 블록들 중 상기 선택 영역이 포함된 블록(이하 삽입 블록)을 선택하고, 상기 삽입 블록을 DCT(이산코사인변환)로 변환하는 단계; (e) 상기 변환된 삽입 블록의 주파수 계수에 워터마크를 삽입하는 단계; 및, (f) 워터마크가 삽입된 블록을 텍스쳐 영상 블록으로 복원하여, 워터마크가 삽입된 텍스쳐 영상을 구하는 단계를 포함하는 구성을 마련한다.
상기와 같은 워터마킹 방법에 의하여, 삽입된 워터마크는 확인이 되지 않기 때문에 비가시성을 확인할 수 있고, 일반적인 영상처리 공격에 대해 강인한 워터마크를 삽입할 수 있다.

Description

깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법 { A watermarking method for 3D stereoscopic image based on depth and texture images }

본 발명은 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 방법으로서, 3D 워핑(warping)을 이용한 DIBR(depth-image-based rendering)을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에, 2차원 DCT(이산 코사인 변환, discrete cosine transform)를 통해서 텍스쳐 영상을 주파수 계수로 변환하고, 변환된 계수의 일부를 양자화하여 워터마크를 삽입하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 관한 것이다.

3차원 입체 영상(stereoscopic image)은 다양한 방식으로 생성될 수 있다. 가장 보편화된 방법으로는 스테레오 및 다시점(multiview) 카메라를 이용하여 다수 개의 영상을 획득한 후에 이를 이용하여 3차원 입체 영상을 만드는 것이다. 최근에는 깊이 영상을 이용하여 원하는 시점의 영상을 생성한 후에 이 영상들을 이용하여 3차원 입체 영상을 만드는 것이 보편화되고 있다. 또한 다수의 영상과 깊이 영상을 활용한 3차원 입체 영상도 이용되고 있다.

이러한 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상을 부호화하기 위한 연구가 활발히 이루어지고 있다[비특허문헌 1]. 기본적으로 영상과 같은 디지털 정보는 이동, 저장이 용이하다는 장점을 가진 반면, 복제 및 변조가 용이하다는 단점 또한 갖고 있다. 따라서 불법적 복제 및 위/변조를 방지하고 소유권을 효과적으로 보호하기 위한 디지털 워터마킹(digital watermarking) 기술에 대한 연구가 깊이영상과 텍스쳐 영상 기반의 3차원 입체 영상에서도 이루어지고 있다[비특허문헌 2][비특허문헌 3][비특허문헌 4].

1990년도 초반, Tanaka[비특허문헌 4], Caronni[비특허문헌 5] 등이 디지털 영상에 워터마킹을 도입하면서 이에 대한 연구가 시작되었고, Tirkel에 의해 처음으로 워터마킹이라는 용어가 사용되었다. 초기의 연구는 영상의 공간정보를 이용하여 워터마킹을 수행하는 방법이 주로 사용되었다. 이 방법은 공간영역 상에서 영상의 화소 값을 직접 변화시켜 워터마킹을 수행하는 방식이었다. 영상을 크기가 같은 두 집합으로 나누고 두 집합에 속한 화소들의 차를 이용하여 검출하는 방법이 Pitas[비특허문헌 7]에 의해 제안되었다. 또한 Kutter[비특허문헌 8]는 특정 화소의 정보를 변화시켜 이웃 화소들과 비교함으로 워터마크를 검출하는 방법을 제시하였다. 그러나 공간 영역에서의 워터마킹은 공격에 약한 단점을 가진다.

워터마킹 기술이 발달함에 따라 워터마크 적용영역이 공간영역에서 주파수 영역으로 점차 변화하였다. 공간영역에서의 방식에 비해 주파수영역에서 수행되는 방식이 공격에 강한 특성을 가지지만 주파수의 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있었다. 주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것이다. Ruanidh[비특허문헌 9]은 DFT(Discrete Fourier Transform)를 이용하여 위상에 워터마크를 삽입하는 방법을 제안하였고, Cox[비특허문헌 10]와 Barni[비특허문헌 11]등은 DCT(Discrete Cosine Transform)를 이용하여 주파수 영역의 중요한 계수를 선택한 후 계수의 크기 순으로 워터마크를 삽입하는 방법을 제안하였다.

한편, 다시점 및 자유시점 비디오 서비스는 사용자의 요구에 따라 새로운 가상시점을 제공한다. 이때 가장 중요한 요소 중의 하나는 정확한 깊이정보인데, 여기에 사용된 깊이정보는 공간상에서 카메라 시점을 기준으로 대상 물체까지의 거리로 정의된다. 깊이정보 추출의 기본원리는 각각의 눈에서 따로 관찰되는 물체의 상을 대뇌에서 분석 및 종합하여 물체의 원근을 인지하는 인각 시각 시스템(Human Visual System, HVS)에 근거를 두고 있다. 망막에 맺힌 각각 다른 물체의 상을 공학적으로 해석한 것이 스테레오 영상이다.

3차원 입체 영상이 보편화되기 시작하면서 스테레오 영상에 대한 보호에 대한 연구들이 진행되어 왔다[비특허문헌 2-4][비특허문헌 12-14]. 이들 중에서 본 발명에서 제안한 기술 분야와 관련이 있는 것들에 대해서 간단히 설명하면 다음과 같다.

Lee[비특허문헌 2]는 DT-CWT(dual-tree complex wavelet transform)를 수행한 후에 DIBR(depth-image-based rendering)의 특성을 고려하여 계수들을 선택하고 이들을 양자화하여 워터마킹을 수행하였다. Niu[비특허문헌 3]은 SIFT(scale invariant feature transform)를 이용하여 다양한 공격에 대해서 거의 변화하지 않는 영역을 선정하고, 이 영역에 대해 DCT를 수행한 후에 계수들에 스프레드 스펙트럼 기법을 이용하여 워터마크를 삽입하였다. Wu[비특허문헌 4]는 DIBR로부터 생성된 임의의 시점에서의 영상에서 삽입된 워터마크가 훼손되지 않게 하기 위해 깊이 정보를 이용하여 전경에 해당하는 부분을 선택하고 이 중에서 객체에 해당하는 정보를 추출하여 워터마크를 삽입하는 기법을 제안하였다.

[비특허문헌 1] Yo-Sung Ho, "3D video encoding trend of standard technology", TTA Journal , Vol.142, pp. 89-94,2012. [비특허문헌 2] Hee-Dong Kim, Ji-Won Lee, Tae-Woo Oh, and Heung-Kyu Lee, "Robust DT-CWT Watermarking for DIBR 3D Images," Broadcasting, IEEE Transactions on, vol.58, no.4, pp.533-543, Dec. 2012. [비특허문헌 3] Shen Wang, Chen Cui, and Xiamu Niu, "Watermarking for DIBR 3D images based on SIFT feature points," Measurement, Vol. 48, pp. 54-62, Feb. 2014. [비특허문헌 4] Yu-Hsun Lin and Ja-Ling Wu, "A Digital Blind Watermarking for Depth-Image-Based Rendering 3D Images," Broadcasting, IEEE Transactions on, vol.57, no.2, pp.602-611, Jun. 2011. [비특허문헌 5] K. Tanaka, Y. Nakamura and K.Matsui, "Embedding Secret Information into a Dithererd Multilevel Image", Proceeding of 1990 IEEE Military Communications Conference, pp. 216-220, 1990. [비특허문헌 6] G. Caronni, "Ermitteln Unauthorisierter Verteiler von Maschinenlesbaren Datch", Technical Report, ETH Zurich, 1993. [비특허문헌 7] I. Pitas, "A Method for Signature Casting on Digital Image", Proceeding of IEEE conference on Image Processing, pp. 215-218, 1995. [비특허문헌 8] M. Kutter, F. Jordan and F. Bosson, "Digital Signature of Color Images using Amplitude Modulation", Proceeding of SPIE, Vol. 3022, pp. 518-526, 1997. [비특허문헌 9] J. O. Ruanaidh, W. I. Dowling and F. M. Boland, "Phase Watermarking of Digital Images", Proceeding of ICIP'97, Vol. 1, pp. 239-242, 1996. [비특허문헌 10] I. J. Cox, et al., "Secure Spread Spectrum Watermarking for Multimedia", IEEE Transactions on Image Processing, Vol. 6, pp. 1673-1687, 1997. [비특허문헌 11] M. Barni, "Image Watermarking of Secure Transmission over Public Networks", Proceeding of COST 254 Workshop on Emerging Techniques for Communication Terminal, Toulouse, Francem pp. 290-294, 1997. [비특허문헌 12] Yaqing Niu, Souidene, W., Beghdadi, A., , "A visual sensitivity model based stereo image watermarking scheme," Visual Information Processing (EUVIP), 2011 3rd European Workshop on , vol., no., pp.211-215, 4-6 July 2011 [비특허문헌 13] Min-Jeong Lee, Ji-Won Lee, Heung-Kyu Lee, , "Perceptual Watermarking for 3D Stereoscopic Video Using Depth Information," Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2011 Seventh International Conference on , vol., no., pp.81-84, 14-16 Oct. 2011 [비특허문헌 14] Young-Ho Seo,Ja-Myung Koo,Dong-Wook Kim,"A New Watermarking Algorithm for Copyright Protection of Stereoscopic Image",The Korea institute of information and communication engineering,Vol16,no 8,pp1663-1674,2012. [비특허문헌 15] X. G. Xia, C. G. Boncelet and G. R. Arce, "A Multiresolution Watermark for Digital Images", Proc. of IEEE ICIP, vol. 3, pp. 548~551, 1997. [비특허문헌 16] Richard Hartley and Andrew Zisserman, "Multiple View Geometry," Cambridge University, pp.152~247, Second Edition 2003. [비특허문헌 17] Y. Mori, N. Fukushima, T. Fujii, M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV," 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 28-30 May 2008 Page(s): 229-232

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 3D 워핑(warping)을 이용한 DIBR(depth-image-based rendering)을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에, 2차원 DCT(이산 코사인 변환, discrete cosine transform)를 통해서 텍스쳐 영상을 주파수 계수로 변환하고, 변환된 계수의 일부를 양자화하여 워터마크를 삽입하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 깊이 영상 및 텍스쳐 영상으로 구성된 입체 영상을 입력받아 상기 입체 영상에 워터마크를 삽입하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 관한 것으로서, (a) 상기 깊이영상에서 스테레오 영상을 생성할 때 폐색영역으로 나타날 가능성이 있는 영역(이하 폐색가능 영역)을 검출하는 단계; (b) 상기 텍스쳐 영상에서 윤곽선 영역을 추출하는 단계; (c) 상기 윤곽선 영역에서 상기 폐색가능 영역을 제외하여, 워터마크가 삽입될 영역(이하 선택 영역)을 추출하는 단계; (d) 상기 텍스쳐 영상의 블록들 중 상기 선택 영역이 포함된 블록(이하 삽입 블록)을 선택하고, 상기 삽입 블록을 DCT(이산코사인변환)로 변환하는 단계; (e) 상기 변환된 삽입 블록의 주파수 계수에 워터마크를 삽입하는 단계; 및, (f) 워터마크가 삽입된 블록을 텍스쳐 영상 블록으로 복원하여, 워터마크가 삽입된 텍스쳐 영상을 구하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (a)단계에서, 상기 깊이 영상을 왼쪽과 오른쪽으로 3D 워핑을 수행하여 좌시점 영상 및 우시점 영상을 생성하고, 상기 좌우 시점의 영상에 의해 상기 깊이 영상에 겹쳐지는 영역을 폐색가능 영역으로 검출하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (b)단계에서, 상기 텍스쳐 영상에서 열 단위로 에지를 검출하여 윤곽선 영역을 검출하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (d)단계에서, 상기 선택영역이 가장 많이 포함된 블록을 상기 삽입 블록으로 선정하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (d)단계에서, 상기 삽입 블록을 YCrCb 포맷으로 변환을 한 후 DCT 변환을 수행하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 상기 선택 영역에 해당하는 부분에만 워터마크를 삽입하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 중간 주파수 대역에 해당하는 계수를 가지는 부분에만 워터마크를 삽입하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (e)단계에서, 상기 변환된 삽입 블록의 주파수 계수를 양자화하여 워터마크를 삽입하는 것을 특징으로 한다.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 변환된 주파수 계수 중 AC(Alternate Current) 계수이고, 다음 [수식 1]을 만족하는 계수에 대해서만 워터마크를 삽입하는 것을 특징으로 한다.

[수식 1]

C(x,y) mod q ≠ 0, and 3 < C(x,y) < q

단, C(x,y)는 (x,y)좌표의 계수이고, q는 양자화 크기.

또, 본 발명은 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서, 양자화의 크기에 의하여 워터마킹의 강인도를 조절하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 의하면, 2차원 DCT로 텍스쳐 영상을 주파수 계수로 변환하여 그 일부를 양자화하여 워터마크를 삽입함으로써, 삽입된 워터마크는 확인이 되지 않기 때문에 비가시성을 확인할 수 있고, 일반적인 영상처리 공격에 대해 강인한 워터마크를 삽입할 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명에서 사용되는 다시점 카메라와 가상시점 카메라 시스템의 일례를 나타낸 도면.
도 3은 본 발명에 사용되는 가상시점 영상 방법에 따른, 기저선상에 생성된 가상시점 영상의 예로서, (a) 홀이 있는 경우, (b) 홀 처리된 경우의 영상의 예시도.
도 4는 본 발명에 사용되는 깊이 및 텍스쳐 영상의 예시도.
도 5는 본 발명에 사용되는 다시점 영상 생성 방법에 의하여, 생성된 다시점 영상(사물)의 예로서, (a) -6 (b) -4 (c) -2 (d) 중간 (e) +2 (f) +4 (g) +6시점의 영상 예시도.
도 6은 본 발명에 사용되는 다시점 영상 생성 방법에 의하여, 생성된 다시점 영상(사람)의 예로서, (a) -6 (b) -3 (c) 중간 (d) +3 (e) +6시점의 영상 예시도.
도 7은 본 발명의 제1 실시예에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법을 설명하는 흐름도.
도 8은 본 발명의 제1 실시예에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법을 설명하는 세부 흐름도.
도 9는 본 발명에 따른 시점생성에 의한 비폐색영역의 예로서, (a) 깊이 영상의 한 단면 (b) 텍스쳐 영상, (c) 우영상, (d) 좌영상의 예시도.
도 10은 본 발명의 일실시예에 따라 양자화를 통해 워터마크를 삽입하는 단계를 설명하는 알고리즘.
도 11은 본 발명의 일실시예에 따라 시점생성에 대한 강인성을 나타내는 영상의 예로서, (a) 텍스쳐 영상, (b) 깊이 영상, (c) 다시점 공통영역의 영상의 예시도.
도 12는 본 발명의 일실시예에 따라 워터마크 삽입의 과정을 나타내는 영상의 예로서, (a) 경계추출, (b) 경계 및 저변화도 공통영역, (b) 워터마킹 영역의 영상의 예시도.
도 13은 본 발명의 일실시예에 따른 워터마킹 영역 선택 및 추출 방법을 설명하는 세부 흐름도.
도 14는 본 발명의 일실시예에 따른 워터마크 추출 알고리즘을 도시한 흐름도.
도 15는 본 발명의 일실시예에 따른 워터마킹에 의한 값의 조정(q=13)을 나타낸 표.
도 16은 본 발명의 실험에 따른 Poznan street(1,920×1,080)에 대한 실험 결과 (Edge_TH : 70, q = 15)로서, (a) 텍스쳐, (b) 깊이, (c) 다시점 공통, (d) 경계, (e) 경계 및 저변화 공통, (f) 워터마킹 영역의 영상.
도 17은 본 발명의 실험에 따른 Poznan carpark(1,024×768)에 대한 실험 결과 (Edge_TH : 70, q = 15)로서, (a) 텍스쳐, (b) 깊이, (c) 다시점 공통, (d) 경계, (e) 경계 및 저변화 공통, (f) 워터마킹 영역의 영상.
도 18은 본 발명의 실험에 따른 워터마킹 삽입 결과로서, (a) Y, (b) 컬러 영상 (PSNR : 38,76, 52.46, 51,26).
도 19는 본 발명의 실험에 따른 공격이후의 영상으로서, (a) 원래 영상, (b) JPEG(15), (c) median(3), (d) 선명화 영상.
도 20은 본 발명의 실험에 따른 강인성 실험 결과를 나타낸 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법은 깊이 및 텍스쳐 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대한 워터마킹을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 워터마킹 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 상기 워터마킹 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이 및 텍스쳐 영상(또는 이미지)의 워터마킹 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 워터마킹 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

다음으로, 본 발명의 일실시예에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법을 구체적으로 설명하기 전에, 본 발명에 이용되는 워터마킹과 3D 워핑을 이용한 3차원 입체 영상을 생성하는 방법에 대하여 도 2 내지 도 6을 참조하여 설명한다.

먼저, 디지털 워터마킹에 대하여 설명한다.

워터마킹 방법은 영상 및 음성을 비롯한 멀티미디어 데이터 안에 특정한 정보를 은폐시키는 기술을 말하며, 멀티미디어 저작권에 관한 효과적인 보호를 할 수 있는 차세대 수단이다. 워터마크는 단지 파일 뒤에 첨가되는 것이 아니라 완전히 파일의 내용과 함께 뒤섞이게 되므로 원래 파일에서 용량의 증가와 파일 포맷의 변화가 일어나지 않는다.

워터마크 삽입 과정은 원래의 정보 I에 대해 원래의 정보와 추가하고자 하는 정보 W, 그리고 이들의 함수적 관계 f(I, W)에 의한 값을 원래의 정보에 삽입하는 방법이라 할 수 있다. 이때 워터마킹이 수행된 정보 I'은 다음 [수학식 1]과 같이 표현된다.

[수학식 1]

워터마킹을 효과적으로 사용하기 위해서 여러 가지 특징이 요구되는데 기본적으로 세 가지 정도의 조건을 만족해야 한다. 먼저 외부에서 가해지는 필터링, 기하학적 변형, 그리고 여러 형태의 압축 등과 같은 공격에 강해야 하는데 이를 강인성(Robustness)이라 한다. 둘째로 원래의 정보에 워터마크가 삽입되었는지 안되었는지를 인간의 지각에 의해 판별할 수 없는 비가시성(Invisibility)을 가져야 한다. 마지막으로 문제 발생 시 추출된 워터 마크의 확실한 소유권을 판별할 수 있는 명확성(Unambiguity) 및 낮은 에러확률(Low Error Probability)을 가져야 한다[비특허문헌 15].

다음으로, 카메라의 기하학적 구조에 의한 가상시점 영상을 생성하는 방법을 설명한다. 3D 워핑은 촬영된 깊이와 텍스쳐 영상이 있을 때, 이 영상들을 이용하여 원래의 3차원 공간을 재구성하고, 특정한 시점에 카메라를 위치시킨 후에 재구성된 3차원 공간을 촬영하여 특정한 시점에서 촬영된 영상을 획득하는 것이다. 여기서 원래 촬영된 깊이와 텍스쳐 영상, 3차원 공간, 그리고 특정 시점에 위치시킨 카메라들간의 위치적인 관계를 카메라 기하학적 구조라고 표현한 것이다.

카메라의 기하학적 구조에 기반한 가상시점 영상을 생성하기 위해서는 영상의 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 실제 3차원 좌표를 산출하고, 가상 카메라를 정의하여 가상 카메라 위치에 산출된 3차원 좌표를 투영하면 가상시점 영상이 생성된다.

영상을 획득하는 카메라의 기하학적 구조는 도 2의 핀홀 카메라(pinhole camera) 모델로 설명된다. 도 2(a)는 핀홀 카메라의 3차원 구조를 나타내고, 도 2(b)는 2차원 구조를 나타낸다. 일반적으로 핀홀 카메라에 맺히는 상은 Z축의 -f 위치에 역상으로 생긴다. 하지만 이 경우 3차원 좌표 상에서 해석하기가 쉽지 않기 때문에 영상이 맺히는 평면을 Z축상의 카메라 초점 거리 f로 옮겨 해석한다.

실제로 3차원 좌표상의 물체가 영상 평면에 투영되는 관계는 도 2(b)와 같이 삼각 비례 법으로 해석이 가능하고, 수식으로 표현하면 [수학식 2]와 같다[비특허문헌 16].

[수학식 2]

여기서 x, y는 영상 평면에 물체가 투영되는 2차원 좌표이고, K는 카메라 내부(intrinsic) 파라미터, R과 T는 카메라의 회전(rotation)과 이동(translation)에 대한 카메라 외부(extrinsic) 파라미터로 [수학식 3]과 같이 나타낼 수 있다.

[수학식 3]

그리고 X, Y, Z는 투영되는 물체의 3차원 좌표를 나타낸다. 일반적으로 깊이 영상은 물체의 깊이를 0~255의 값으로 변환하여 표현한다. 가상시점 영상을 생성하기 위해서는 영상의 실제 3차원 좌표 X, Y, Z를 획득해야 하는데, 이때 Z를 산출하기 위하여 [수학식 4]를 이용한다.

[수학식 4]

여기서 Z(i, j)는 카메라에서 객체까지의 실제 거리를 나타내고, P(i, j)는 깊이 영상의 화소 값이다. MinZ와 MaxZ는 Z값이 가지는 최소, 최댓값을 나타낸다.

영상의 실제 3차원 좌표를 산출하기 위해서 [수학식 2]의 양변에 K의 역행렬을 이용하여 [수학식 5]를 구하고, R은 직교행렬이므로, 양변에 R의 전치행렬을 적용하여 에 관한 [수학식 6]을 유도한다. 이때, α, β, γ는 [수학식 6]의 중간 항에 의해 산출 되고, [수학식 7]과 [수학식 8]로 나타낼 수 있다.

[수학식 5]

[수학식 6]

[수학식 7]

[수학식 8]

[수학식 7], [수학식 8]을 X, Y에 관하여 정리하면 [수학식 9], [수학식 10]과 같다.

[수학식 9]

[수학식 10]

다음으로, 가상시점으로 영상을 투영시키기 위해서는 먼저 가상시점 카메라를 정의하고, [수학식 9], [수학식 10]을 통해 산출된 영상의 실제 3차원 좌표 X, Y, Z와 카메라 내, 외부 파라미터를 이용해서 실제 기준시점의 영상을 가상시점 카메라 위치로 투영시켜 생성한다.

도 3은 다시점 카메라와 가상시점 카메라를 나타낸 그림이다. 1, 2, 3번 카메라는 실제 기준시점 카메라이고, 4번 카메라는 기저선상의 중간시점 카메라를 나타낸다. 그리고 5번 카메라는 기저선상 외의 가상시점 카메라를 나타낸다.

기저선상의 중간시점 영상을 생성하기 위하여 먼저 가상시점 카메라를 정의해야 한다. 가상시점 카메라는 좌, 우의 기준시점 카메라 사이에 위치하고, 카메라 내, 외부 파라미터는 좌, 우 카메라의 파라미터를 이용하여 선형적으로 생성한다. [수학식 11]은 가상시점 카메라의 내, 외부 파라미터를 구하는 식이다.

[수학식 11]

여기서 v는 가상시점을, L, R은 각각 좌, 우 시점을 의미한다. r은 0부터 1까지의 값을 가지며 좌, 우 카메라 사이의 거리 비율을 의미한다. 생성된 가상시점 카메라의 내, 외부 파라미터를 가지고 [수학식 12]를 이용하여 가상시점 영상을 생성한다[비특허문헌 17].

[수학식 12]

[수학식 13]

도 4는 깊이와 텍스쳐 영상의 예를 나타낸다. 이 영상들은 깊이 카메라와 RGB 카메라를 이용하여 촬영하고 후처리한 것이다. 도 4(a)와 (c)는 깊이 영상이고 도 4(b)와 (d)는 텍스쳐 영상이다.

도 5는 도 4(a)와 (b)를 이용하여 깊이와 텍스쳐 영상에 의해서 생성된 다시점 영상의 예를 나타내고 있고, 도 6은 도 4(c)와 (d)를 이용하여 생성된 다시점 영상의 예를 나타낸다. 다시점 영상은 3D 워핑을 이용하여 DIBR을 수행한 것이다.

다음으로, 본 발명의 일실시예에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법을 도 7 내지 도 12를 참조하여 설명한다.

도 7에서 보는 바와 같이, 본 발명에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법은 (a) 깊이영상에서 폐색가능 영역을 검출하는 단계(S10), (b) 텍스쳐 영상에서 윤곽선 영역을 검출하는 단계(S20), (c) 윤곽선 영역에서 폐색가능영역을 제외한 선택영역을 선정하는 단계(S30), (d) 선택영역을 많이 포함하는 텍스쳐 영상 블록을 DCT로 변환하는 단계(S40), (e) 변환된 영상 블록의 주파수 계수에 워터마크를 삽입하는 단계(S50), (f) 주파수 계수의 영상을 복원하는 단계(S60)로 구성된다.

한편, 도 8은 본 발명에 따른 방법을 도식화한 세부 흐름도이다.

먼저, 깊이영상에서 스테레오 영상을 생성할 때 폐색영역으로 나타날 가능성이 있는 영역(이하 폐색가능 영역)을 검출한다(S10). 즉, 깊이 영상은 가능한 먼 시점으로 왼쪽 및 오른쪽으로 3D 워핑을 수행하여, 좌시점 영상 및 우시점 영상을 생성한다. 각각 상기 좌우 시점의 영상에 의해 원래의 깊이 영상에 겹쳐지는 영역(overlapping) 영역, 즉, 폐색 영역을 검출한다. 즉, 상기 좌우 시점의 영상에서 겹쳐져서 DIBR에 의해 사라질 가능성이 있는 영역을 검출한다.

도 9(a)가 깊이 영상에서 어느 에피폴라 선의 단면을 나타내고 있다고 가정하자. 이 깊이 영상은 중간 시점이라 할 수 있는데 이 깊이 영상을 이용하여 도 9(b)의 텍스쳐 영상에 대해 3D 워핑을 수행하여 좌와 우 시점을 생성한다면 도 9(c) 및 (d)와 같은 스테레오 영상을 얻을 수 있다.

도 9(c)와 (d)에서 검은색 부분은 안보이던 영역이 새롭게 나타나는 것을 의미한다. 도 9(c)에서 오른쪽으로 시점을 이동하게 되면 깊이 차이에 의해서 중간 시점에서는 안 보이던 부분이 나타나게 된다. 이 영역은 비폐색영역이라 하고 다양한 영상처리 기법을 이용하여 보상한다. 이러한 영역이 나타나는 것과 동시에 보이던 영역이 안보이게 되는 폐색영역이 함께 존재하게 된다. 도 9(c)에서는 빨간색 영역이 일부 사라졌고, 도 9(d)에서는 파란색 영역이 일부 사라졌다.

다시 설명하면, 도 9(c)가 오른쪽에서 바라본 경우인데 이러면 초록색 부분이 높기 때문에 초록색 부분에 의해서 빨간색 부분이 잘 안보이게 된다. 이 부분이 앞서 설명한 "겹친다(overlapping)"는 의미이다. 마찬가지로 도 9(d)는 왼쪽에서 바라본 경우인데 이번에는 파란색 부분의 일부가 보이지 않게 된다. 이러한 영역이 폐색가능 영역이다.

즉, DIBR(depth-image-based rendering, 깊이영상 기반 렌더링) 과정에서 시점의 이동으로 인해 일부 영역이 사라지게 되는데 이 영역에 워터마크가 삽입된다면 시점 이동과 함께 자동으로 워터마크가 훼손되는 것이므로 이러한 가능성이 있는 영역(또는 폐색가능 영역)은 워터마크 삽입 영역에서 제외되어야 한다.

다음으로, 텍스쳐 영상에서 열 단위로 에지를 검출을 통해 윤곽선 영역을 추출한다(S20).

즉, 텍스쳐 영상에 대하여 가로 방향으로만 윤곽선 추출 과정을 수행한다. DIRB의 시점 이동은 가로 방향으로만 수행되기 때문에 세로 방향으로 윤곽선 추출 과정을 통해 생성된 정보는 필요없기 때문이다.

다음으로, 상기 윤곽선 영역에서 상기 폐색가능 영역을 제외하여, 워터마크를 삽입할 영역(이하 선택 영역)을 선정한다(S30).

앞서 단계에서 깊이 영상과 텍스쳐 영상으로부터 얻어진 정보를 결합하여 워터마크를 삽입할 영역을 선정한다. 즉, DIBR 과정을 통해서도 사라지지 않으면서 적절한 변화율을 갖는 영역을 워터마킹 영역을 선정하는 것이다. 변화율이 높은 영역은 윤곽선 영역에 해당하는데 텍스쳐의 변화에 의한 윤곽선 영역은 좋은 워터마킹 영역이 될 수 있다. 그러나 이것이 다른 거리에 있는 부분에 해당한다면 폐색영역이 되어서 좋은 워터마킹 영역이 될 수 없기 때문에 이러한 영역을 선택하는 것이다.

다음으로, 상기 선택 영역을 많이 포함하는 상기 텍스쳐 영상의 블록(이하 삽입 블록)을 선택하고, 상기 삽입 블록을 이산코사인변환(DCT)으로 변환한다(S40).

바람직하게는, 선택된 영역을 최대한 포함하는 블록에 대해서 DCT를 수행한다. 소정의 개수의 블록에 워터마크를 삽입하는 경우, 선택 영역을 많이 포함하는 순으로서 소정의 개수의 블록을 선정한다.

또한, 바람직하게는, 상기 텍스쳐 영상(또는 영상 블록)을 YCrCb 포맷의 영상(또는 영상 블록)으로 변환을 하고, 변환된 영상(또는 영상 블록)에 대하여 DCT 변환을 수행한다.

그리고 상기 변환된 영상 블록(또는 삽입 블록)의 주파수 계수에 워터마크를 삽입한다(S50).

바람직하게는, 변환된 영상 중에서 중간 주파수 대역에 해당하는 계수에 워터마크를 삽입한다. 중간 주파수 대역은 영상(또는 블록)의 전체 주파수 대역 대비 약 10 ~ 30% 정도의 크기의 대역폭을 갖고, 상기 전체 주파수 대역의 중간에 위치하는 대역을 말한다. 주파수 변환을 하면 공간 정보가 주파수 정보로 변환된다. 변환된 계수들은 위치에 따라서 각각 특정 주파수 대역에 대한 크기를 나타낸다. 예를들면 1Hz에서 10Hz 사이의 주파수 계수로 나타난다면 중간 주파수 영역은 4~6 Hz 정도로 설정한다.

또한, 상기 변환된 삽입 블록 중 선택 영역에 해당하는 부분에만 워터마크를 삽입한다. 또한, 주파수 계수를 양자화하여 워터마크로 삽입한다.

워터마크를 삽입하는 방식은 도 10과 같다. 도 10의 과정은 양자화 과정에 해당한다. Celing()/floor()는 가장 가까운 큰/작은 정수로 만드는 함수이고, q는 양자화 크기를 의미한다. C는 워터마크가 삽입된 계수를 나타낸다. 예를 들어 계수가 48.3이고 q가 32일 때 워터마크가 0이면 C는 40이고, 워터마크가 1이면 C는 50이 된다.

특히, 바람직하게는, 변환된 주파수 계수 중 DC(Dircet Current) 계수가 아닌 AC(Alternate Current) 계수 중에서 다음 조건을 만족하는 계수에 대해서만 워터마크를 수행한다.

[수학식 14]

C(x,y) mod q ≠ 0, and 3 < C(x,y) < q

단, C(x,y)는 (x,y)좌표의 계수이고, q는 양자화 크기이다.

마지막으로, 워터마크가 삽입된 주파수 계수의 영상 블록을 복원하여 워터마크가 삽입된 텍스쳐 영상으로 복원한다(S60). 즉, 주파수 계수의 영상 블록을 역 DCT 변환을 통해 원래의 텍스쳐 영상(또는 블록)으로 복원한다. 복원된 블록을 원래의 텍스쳐 영상에 포함시켜 워터마크가 삽입된 텍스쳐 영상으로 복원한다. YCrCb 포맷도 원래의 텍스쳐 영상 포맷으로 복원한다.

도 11에는 DIBR을 통해서 생성된 영역에 대한 예를 나타낸다. 도 11(a)는 텍스쳐 영상이고, 도 11(b)는 깊이 영상이다. 도 11(c)는 DIBR을 통해 얻어진 좌우시점의 스테레오 영상을 겹쳐서 워터마크가 삽입되어서는 안되는 영역을 나타냈다. 도 11(c)의 영역에서 검은색으로 표시된 부분에 워터마크가 삽입된다면 시점의 이동과 함께 자동으로 워터마크가 소실되는 결과를 가져온다.

도 12에는 가로방향으로 윤곽선 추출 기법을 적용한 결과이다. 도 12(a)는 윤곽선 추출을 수행한 결과이고, 도 12(b)는 추출된 윤곽선 정보에서 비교적 변화율이 낮은, 즉 3D 워핑에서 사라지지 않을 정도의 깊이를 가지면서 다소 고주파 성분을 가지고 있는, 영역을 선택한 것이다. 도 11(c)와 도 12(b)의 교집합을 구한 것이 도 12(c)에 해당한다. 이 영역이 워터마크가 삽입될 영역의 기준이 되는 위치에 해당한다.

다음으로, 본 발명의 일실시예에 따른 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마크를 추출하는 방법을 도 13 내지 도 15를 참조하여 설명한다.

워터마크의 추출 과정은 기본적으로 워터마크의 생성과정과 거의 유사하다. 워터마크 삽입 과정과 동일하게 워터마크가 삽입된 영역(또는 블록)을 선정하고 그 영역에 대해서 DCT를 수행한다. 그리고 워터마크 추출 과정을 통해서 워터마크를 찾아내어 영상의 소유권을 확인한다. 워터마크 추출 과정은 도 13에 나타냈는데 도면의 윗 부분은 워터마크 삽입 과정(도 8)과 동일한 것을 볼 수 있다.

도 14는 워터마크를 추출 알고리즘에 해당한다. 앞서 예를 든 것과 같이 DCT 계수가 40이라면 판별기준에 의해서 (40 mod 32)는 8이므로 16보다 작게 되어 참이되고, 판별된 워터마크는 0에 해당한다. DCT 계수가 50이라면 (50 mod 32)는 18이므로 16보다 크기 때문에 판별기준에 따라 거짓 조건이 되어 워터마크는 1로 판별된다.

이와 같이 워터마크를 판별할 수 있는데 이때 워터마크가 삽입된 계수가 훼손되어도 양자화 영역안에 포함된다면 워터마크의 판별이 가능하다. 그러나 양자화 영역을 벗어나서 다른 양자화 영역에 속하게 된다면 워터마크는 잘못 판별될 것이다. 이때 양자화 크기인 q의 크기를 크게 해준다면 양자화 영역의 크기가 커지기 때문에 워터마크의 강인성은 커지게 된다. 즉, q의 크기를 통해서 워터마킹 방법의 강인도를 조절할 수 있다.

도 15에는 q가 13인 경우에 다양한 DCT 계수에 대한 워터마킹 결과를 예시하고 있다.

다음으로, 실험결과를 통한 본 발명의 효과를 도 16 내지 도 20을 참조하여 보다 구체적으로 설명한다.

본 발명의 효과를 설명하기 위하여, 몇 가지 영상에 대해 본 발명에 따른 방법에 대한 실험을 수행한 결과를 나타냈다. 도 16은 1,920×1,080 크기의 Poznan street 영상에 대한 결과이다. 워터마크의 삽입과 추출에 Edge_TH는 70을 사용하였고, 양자화 크기 q는 15를 사용하였다. 3D 워핑에서 좌 및 우 영상을 만들 때 각각 4.77907의 크기만큼 이동한 시점을 생성하였다. 도 16(a)와 (b)는 각각 텍스쳐 영상과 깊이 영상을 나타내고, 도 16(c)와 (d)는 스테레오 영상으로부터 얻어진 워터마크 영역과 텍스쳐 영상으로부터 얻어진 윤곽선 추출 영역을 나타낸다. 도 16(e)는 도 16(d)를 이용하여 얻어진 정보이고 이들을 바탕으로 도 16(f)의 워터마킹 대상 영역이 얻어진다.

도 17은 1,024×768 크기의 Poznan carpark 영상인데 Edge_TH는 70을 사용하였고, 마찬가지로 q는 15를 사용하였다. 3D 워핑에서는 좌우 영상의 생성에 대해서 7.965116과 4.77907의 값을 사용하였다. 도 17의 각 영상에 대한 소개는 도 16의 영상과 동일하므로 생략하도록 한다.

도 18에는 세 가지 영상에 대해서 워터마크를 삽입한 결과를 나타냈다. 원래 RGB 컬러 영상을 YUV로 변형한 후에 워터마킹을 수행하고 이를 다시 RGB 컬러 영상으로 변환한다. 도 18(a)는 Y 영상이고 도 18(b)는 RGB 영상이다. 컬러 포맷을 변형하면서 일부 화소 크기의 변화가 발생하여 워터마크의 훼손이 발생하는 문제가 있을 수 있다. 이러한 컬러 포맷의 변환이 워터마킹 알고리즘 성능에 중요한 역할을 할 수 있기 때문에 정교한 변환식을 사용해야 한다. q를 15로 사용했기 때문에 비교적 약한 수준의 양자화를 수행한 것이라 할 수 있다. 따라서 영상에서 워터마크의 삽입 정도를 전혀 확인하기 어렵다.

도 19에는 워터마크를 삽입한 이후에 몇 가지 공격을 수행한 결과를 나타낸다. 도 19(a)는 원래의 영상이고 도 19(b)는 JPEG 압축을 수행한 것이다. JPEG 압축은 Stirmark를 이용하였고, 강도는 15이다. 도 19(c)와 (d)는 각각 median 필터와 선명화 필터를 적용한 결과이다. 도 20의 표는 각 공격에 대한 강인성을 나타내고 있다. JPEG 공격에 대해서는 추출된 워터마크가 5.91의 오차율을 보였고, median 필터를 적용한 경우에는 4.55, 그리고 선명화 공격에 대해서는 3.51의 오차율을 보였다.

본 발명에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 방법을 제안하였다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 3D 워핑을 수행한 후에 영역을 겹쳐서 DIBR 과정에 의해서 사라지지 않을 영역을 선택하고 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환하였다. 이 계수의 일부를 양자화하여 워터마크를 삽입하였다. 삽입된 워터마크는 비가시적인 특성을 보였고, 일반적인 영상처리 공격에 의해서 평균 4.7의 오차율을 보여 강인함을 확인할 수 있었다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 깊이 및 텍스쳐 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

깊이 영상 및 텍스쳐 영상으로 구성된 입체 영상을 입력받아 상기 입체 영상에 워터마크를 삽입하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법에 있어서,
(a) 상기 깊이영상에서 스테레오 영상을 생성할 때 폐색영역으로 나타날 가능성이 있는 영역(이하 폐색가능 영역)을 검출하는 단계;
(b) 상기 텍스쳐 영상에서 윤곽선 영역을 추출하는 단계;
(c) 상기 윤곽선 영역에서 상기 폐색가능 영역을 제외하여, 워터마크가 삽입될 영역(이하 선택 영역)을 추출하는 단계;
(d) 상기 텍스쳐 영상의 블록들 중 상기 선택 영역이 포함된 블록(이하 삽입 블록)을 선택하고, 상기 삽입 블록을 DCT(이산코사인변환)로 변환하는 단계;
(e) 상기 변환된 삽입 블록의 주파수 계수에 워터마크를 삽입하는 단계; 및,
(f) 워터마크가 삽입된 블록을 텍스쳐 영상 블록으로 복원하여, 워터마크가 삽입된 텍스쳐 영상을 구하는 단계를 포함하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (a)단계에서, 상기 깊이 영상을 왼쪽과 오른쪽으로 3D 워핑을 수행하여 좌시점 영상 및 우시점 영상을 생성하고, 상기 좌우 시점의 영상에 의해 상기 깊이 영상에 겹쳐지는 영역을 폐색가능 영역으로 검출하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (b)단계에서, 상기 텍스쳐 영상에서 열 단위로 에지를 검출하여 윤곽선 영역을 검출하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (d)단계에서, 상기 선택영역이 가장 많이 포함된 블록을 상기 삽입 블록으로 선정하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (d)단계에서, 상기 삽입 블록을 YCrCb 포맷으로 변환을 한 후 DCT 변환을 수행하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 상기 선택 영역에 해당하는 부분에만 워터마크를 삽입하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 중간 주파수 대역에 해당하는 계수를 가지는 부분에만 워터마크를 삽입하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제1항에 있어서,
상기 (e)단계에서, 상기 변환된 삽입 블록의 주파수 계수를 양자화하여 워터마크를 삽입하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
제8항에 있어서,
상기 (e)단계에서, 상기 변환된 삽입 블록 내에서 변환된 주파수 계수 중 AC(Alternate Current) 계수이고, 다음 [수식 1]을 만족하는 계수에 대해서만 워터마크를 삽입하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.
[수식 1]
C(x,y) mod q ≠ 0, and 3 < C(x,y) < q
단, C(x,y)는 (x,y)좌표의 계수이고, q는 양자화 크기.
제8항에 있어서,
양자화의 크기에 의하여 워터마킹의 강인도를 조절하는 것을 특징으로 하는 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법.