KR101321896B1 - 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법 - Google Patents

스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법 Download PDF

Info

Publication number
KR101321896B1
KR101321896B1 KR1020120054772A KR20120054772A KR101321896B1 KR 101321896 B1 KR101321896 B1 KR 101321896B1 KR 1020120054772 A KR1020120054772 A KR 1020120054772A KR 20120054772 A KR20120054772 A KR 20120054772A KR 101321896 B1 KR101321896 B1 KR 101321896B1
Authority
KR
South Korea
Prior art keywords
image
watermark
watermarking
stereo
subband
Prior art date
Application number
KR1020120054772A
Other languages
English (en)
Inventor
서영호
김동욱
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020120054772A priority Critical patent/KR101321896B1/ko
Application granted granted Critical
Publication of KR101321896B1 publication Critical patent/KR101321896B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

스테레오 정합을 통해 변위 영상을 획득하고 변위 영상의 폐색 영역에 대응되는 스테레오 영상에 워터마킹을 삽입하되, 이산 웨이블릿 변환(FDWT)에 의한 스테레오 영상의 부대역에 스칼라 양자화로 워터마크를 삽입하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 관한 것으로서, (a) 스테레오 영상을 입력받아, 하나의 영상을 기준 영상으로 정하고, 다른 하나의 영상을 대상 영상으로 정하는 단계; (b) 기준 영상을 기준으로 대상 영상에 스테레오 정합을 수행하여 대상 영상의 변위 영상을 획득하는 단계; (c) 기준 영상에 정방향 이산 웨이블릿 변환(FDWT)을 수행하여 부대역을 구하고, 변위 영상을 부대역의 크기로 스케일링하는 단계; (d) 스케일링된 변위 영상의 폐색영역에 대응되는 부대역의 영역에 워터마크를 삽입하는 단계; 및, (e) 워터마크가 삽입된 부대역을 역방향 이산 웨이블릿 변환(FDWT)으로 대상 영상으로 복원하는 단계를 포함하는 구성을 마련한다.
상기와 같은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 의하여, 다양한 공격에 강인한 워터마크를 스테레오 영상에 삽입할 수 있고, 워터마킹을 위한 지연시간을 거의 요구하지 않고 고속 또는 실시간으로 동작할 수 있다.

Description

스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법{ A Watermarking Method based on occlusion for Copyright Protection of Stereoscopic Image }
본 발명은 스테레오 정합을 통해 변위 영상을 획득하고 변위 영상의 폐색 영역에 대응되는 스테레오 영상에 워터마킹을 삽입하되, 이산 웨이블릿 변환(FDWT)에 의한 스테레오 영상의 부대역에 스칼라 양자화로 워터마크를 삽입하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 관한 것이다.
인터넷 등 정보통신망의 급속한 발전 및 보급에 따라 문자, 영상, 오디오, 비디오 등의 정보전달 매체들이 복합적으로 형성된 멀티미디어가 사용되는 비율이 급격히 증가하고 있다. 디지털 데이터는 이동, 저장이 용이하다는 장점을 가진 반면, 복제 및 변조가 용이하다는 단점 또한 갖고 있다[문헌 1].
대다수 인터넷 사용자들의 디지털 컨텐츠들의 불법적 사용이 확산되고 있으며, 특히 JPEG 및 MPEG 기반의 영상/비디오의 위/변조와 이에 따른 지적소유권 문제가 크게 부각되고 있다. 따라서 소유권자의 동의가 없는 불법적 복제 및 위/변조를 방지하고 소유권을 효과적으로 보호하기 위한 디지털 워터마킹(Digital Watermarking) 기술은 지적재산권을 보호하는 기술로서 가장 각광받고 있으며, 현재 많은 연구와 실제적 응용으로의 접근이 이루어지고 있다[문헌 2][문헌 3].
1990년도 초반, Tanaka[문헌 4], Caronni[문헌 5], Tirkel[문헌 6]이 디지털 영상에 워터마킹을 도입하면서 이에 대한 연구가 시작되었고, Tirkel에 의해 처음으로 워터마킹(watermarking)이라는 용어가 사용되었다. 초기의 연구는 영상의 공간정보를 이용하여 워터마킹을 수행하는 방법이 주로 사용되었다. 이 방법은 공간영역 상에서 영상의 화소 값을 직접 변화시켜 워터마킹을 수행하는 방식이었다. 영상을 크기가 같은 두 집합으로 나누고 두 집합에 속한 화소들의 차를 이용하여 검출하는 방법이 Pitas[문헌 7]에 의해 제안되었다. 또한 Kutter[문헌 8]는 특정 화소의 정보를 변화시켜 이웃 화소들과 비교함으로 워터마크를 검출하는 방법을 제시하였다. 그러나 공간 영역에서의 워터마킹은 공격에 약한 단점을 가진다.
워터마킹 기술이 발달함에 따라 워터마크 적용영역이 공간영역에서 주파수 영역으로 점차 변화하였다. 공간영역에서의 방식에 비해 주파수영역에서 수행되는 방식이 공격에 강한 특성을 가지지만 주파수의 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있었다. 주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것이다. Ruanidh[문헌 9]은 DFT(Discrete Fourier Transform)를 이용하여 위상에 워터마크를 삽입하는 방법을 제안하였고, Cox[문헌 10]와 Barni[문헌 11]등은 DCT(Discrete Cosine Transform)를 이용하여 주파수 영역의 중요한 계수를 선택한 후 계수의 크기 순으로 워터마크를 삽입하는 방법을 제안하였다.
차세대 비디오 서비스로 주목되고 있는 다시점 및 자유시점 비디오 서비스는 사용자의 요구에 따라 새로운 가상시점을 제공한다. 이때 가장 중요한 요소 중의 하나는 정확한 깊이정보인데, 여기에 사용된 깊이정보는 공간상에서 카메라 시점을 기준으로 대상 물체까지의 거리로 정의된다. 깊이정보 추출의 기본원리는 각각의 눈에서 따로 관찰되는 물체의 상을 대뇌에서 분석 및 종합하여 물체의 원근을 인지하는 인각 시각 시스템(Human Visual System, HVS)에 근거를 두고 있다. 망막에 맺힌 각각 다른 물체의 상을 공학적으로 해석한 것이 스테레오 영상(stereoscopic image)이다.
3차원 영상이 주목을 받기 시작하면서 스테레오 영상에 대한 보호에 대한 연구들도 조금씩 진행이 되고 있다[문헌 12][문헌 13]. 아직까지 많은 연구가 진행되지 않고 있어서 스테레오 영상에 대한 워터마킹이나 암호화와 같은 분야에 대해서 참조할만한 연구가 많지 않다. 하지만 3차원 영상이 현재와 같이 발전해 나간다면 3차원 영상의 보호에 대한 이슈도 계속적으로 발전해 나갈 것으로 사료된다.
따라서 스테레오 영상 형태의 3차원 영상의 소유권 보호를 위한 워터마킹 기술이 필요하다. 아직까지 스테레오 영상에 대한 워터마킹의 연구에 대해 참조할만한 이전 연구가 많지 않고 연구 초기 단계이기 때문에 워터마킹이 실제 입체감이나 스테레오 효과에 미치는 영향 등에 대한 분석도 필요하다.
[문헌 1] 한국전자통신연구원 이동통신 연구소 2003년 연차보고서 (http://www.etri.re.kr), 2003. [문헌 2] Digital Watermarkin world (http://www.watermarkingworld.org), 2004. [문헌 3] Watermarker Community (http://mad.sarang.ner), 2004. [문헌 4] K.Tanaka, Y. Nakamura and K.Matsui, "Embedding Secret Information into a Dithererd Multilevel Image", Proceeding of 1990 IEEE Military Communications Conference, pp. 216-220, 1990. [문헌 5] G. Caronni, "Ermitteln Unauthorisierter Verteiler von Maschinenlesbaren Datch", Technical Report, ETH Zurich, 1993. [문헌 6] A. Tirkel, et al., "Electric Water Mark", Proceeding of DICTA, pp. 666-672, 1993. [문헌 7] I. Pitas, "A Method for Signature Casting on Digital Image", Proceeding of IEEE conference on Image Processing, pp. 215-218, 1995. [문헌 8] M. Kutter, F. Jordan and F. Bosson, "Digital Signature of Color Images using Amplitude Modulation", Proceeding of SPIE, Vol. 3022, pp. 518-526, 1997. [문헌 9] J. O. Ruanaidh, W. I. Dowling and F. M. Boland, "Phase Watermarking of Digital Images", Proceeding of ICIP'97, Vol. 1, pp. 239-242, 1996. [문헌 10] I. J. Cox, et al., "Secure Spread Spectrum Watermarking for Multimedia", IEEE Transactions on Image Processing, Vol. 6, pp. 1673-1687, 1997. [문헌 11] M. Barni, "Image Watermarking of Secure Transmission over Public Networks", Proceeding of COST 254 Workshop on Emerging Techniques for Communication Terminal, Toulouse, Francem pp. 290-294, 1997. [문헌 12] Yaqing Niu, Souidene, W., Beghdadi, A., , "A visual sensitivity model based stereo image watermarking scheme," Visual Information Processing (EUVIP), 2011 3rd European Workshop on , vol., no., pp.211-215, 4-6 July 2011 [문헌 13] Min-Jeong Lee, Ji-Won Lee, Heung-Kyu Lee, , "Perceptual Watermarking for 3D Stereoscopic Video Using Depth Information," Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2011 Seventh International Conference on , vol., no., pp.81-84, 14-16 Oct. 2011 [문헌 14] X. G. Xia, C. G. Boncelet and G. R. Arce, "A Multiresolution Watermark for Digital Images", Proc. of IEEE ICIP, vol. 3, pp. 548~551, 1997. [문헌 15] I. Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting schemes," J. Fourier Anal. Appl., Vol. 4, pp. 247-269, 1998.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 스테레오 영상의 텍스쳐 균일 여부를 나타내는 변화도 및 이산 웨이블릿 변환(DWT) 영역에서의 주파수 정보를 이용하여 정합창의 크기 및 형태를 결정하여 스테레오 매칭을 수행하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 제공하는 것이다.
특히, 본 발명의 목적은 공간 영역에서 영상의 국부적인 특성, 즉, 텍스쳐 균일 여부를 나타내는 변화도를 분석하여 정합창의 크기를 결정하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 제공하는 것이다.
또한, 본 발명의 목적은 주파수 영역에서 영상의 주파수 특성을 분석하여 정합창의 형태 및 스케일링 요소를 결정하되, 주파수 영역에 대한 정보를 이용하기 위해서 로컬 DWT(이산 웨이블릿 변환)와 전역 DWT를 활용하는 방법을 모두 적용하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 관한 것으로서, (a) 스테레오 영상을 입력받아, 하나의 영상을 기준 영상으로 정하고, 다른 하나의 영상을 대상 영상으로 정하는 단계; (b) 상기 기준 영상을 기준으로 상기 대상 영상에 스테레오 정합을 수행하여 상기 대상 영상의 변위 영상을 획득하는 단계; (c) 상기 대상 영상에 정방향 이산 웨이블릿 변환(FDWT)을 수행하여 부대역을 구하고, 상기 변위 영상을 상기 부대역의 크기로 스케일링하는 단계; (d) 상기 스케일링된 변위 영상의 폐색영역에 대응되는 상기 부대역의 영역에 워터마크를 삽입하는 단계; 및, (e) 상기 워터마크가 삽입된 부대역을 역방향 이산 웨이블릿 변환(IDWT)으로 상기 대상 영상으로 복원하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 (b)단계에서, 상기 스테레오 영상의 텍스쳐 균일 여부를 나타내는 변화도(variance)를 연산하고 상기 스테레오 영상에 이산 웨이블릿 변환(DWT)을 적용하여 부대역을 획득하여, 상기 변화도(variance) 및, 상기 부대역의 에너지에 따라 정합창의 크기 및 형태를 결정하고, 상기 정합창에 의해 스테레오 정합을 수행하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 (d)단계에서, 상기 부대역 중 저-고 주파수 부대역(이하 LH 부대역)에 상기 워터마크를 삽입하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 LH 부대역 중 주파수 계수가 사전에 정해진 범위 내의 값을 가지는 계수에만 상기 워터마크를 삽입하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, (d)단계에서, 상기 워터마크를 LFSR(Linear feedback shift register) 레지스터로 재배열하여 사용하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 (d)단계에서, 상기 부대역의 주파수 계수를 스칼라 양자화하여 워터마크를 삽입하는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 (d)단계에서, 상기 부대역의 주파수 계수 ab(u,v)를 양자화한 계수(이하 양자화 계수)
Figure 112012041287481-pat00001
의 최소유효비트(LSB)가 '0'인 경우, 해당 워터마크 비트가 0이면 [수식 1]에 의해 워터마킹이 수행되고, 상기 워터마크 비트가 1이면 [수식 2]에 의해 워터마킹이 수행되고, 상기 최소유효비트가 '1'인 경우, 해당 워터마크 비트가 0이면 [수식 2]에 의해 워터마킹이 수행되고, 상기 워터마크 비트가 1이면 [수식 1]에 의해 워터마킹이 수행되는 것을 특징으로 한다.
[수식 1]
Figure 112012041287481-pat00002
[수식 2]
Figure 112012041287481-pat00003
단, ab(u,v)'는 워터마크된 주파수 계수,
△b는 양자화 단계 크기.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 방법은, (f) 상기 복원된 대상 영상에서 워터마크를 추출하되, 추출된 워터마크가 짝수의 양자화 단계값에 속하면 해당 워터마크 비트는 '0'으로, 홀수의 양자화 단계값에 속하면 워터마크 비트는 '1'로 판별되는 것을 특징으로 한다.
또, 본 발명은 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서, 상기 (f)단계에서, 추출된 워터마크 wi'을 반올림하여 양자화 단계 크기 △b 로 판별하되, 판별된 워터마크 wi''은 [수식 3]에 의해서 결정되는 것을 특징으로 한다.
[수식 3]
Figure 112012041287481-pat00004
단, n은 임의의 양자화 단계에 해당하는 값임.
또한, 본 발명은 상기 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 의하면, 공격에 의한 값의 변화가 양자화 단계 크기 이내의 경우 정확하게 워터마크로 추출할 수 있기 때문에, Gaussian 잡음, JPEG 압축, 흐림효과, 또는 선명효과와 같은 비악의적인 공격 등에도 강인한 워터마크를 스테레오 영상에 삽입할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 의하면, 워터마크를 위한 양자화 과정에서 워터마크 비트에 따라 양자화 값을 결정할 뿐 워터마킹을 위한 추가적인 연산이 필요 없기 때문에, 워터마킹을 위한 지연시간을 거의 요구하지 않고 고속 또는 실시간 동작할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명에 이용되는 정방향/역방향 리프팅 방식의 구조도이다.
도 3은 본 발명에 이용되는 3-레벨 DWT 결과를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 설명하는 흐름도이다.
도 5는 본 발명에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 도식화한 것이다.
도 6은 본 발명에 따른 가변 부정합창를 이용한 스테레오 정합 단계를 설명하는 흐름도이다.
도 7은 본 발명에 따른 가변 부정합창를 선택하는 방법을 도식화한 것이다.
도 8은 본 발명에 따른 전역 DWT를 이용한 부정합창 업데이트 정보 추출하는 방법을 설명하는 흐름도이다.
도 9는 본 발명에 따른 가변 부정합창를 선택하는 방법을 도식화한 것이다.
도 10은 본 발명에 따른 전역 수정된 스테레오 정합 방법을 설명하는 흐름도이다.
도 11은 본 발명에 따른 워터마크 재배열을 위한 32-비트 LFSR의 블록 다이어그램이다.
도 12는 본 발명의 일실시예에 따른 워터마크를 재배열하는 알고리즘이다.
도 13은 본 발명에 따른 워터마크 삽입 방법을 표시한 것이다.
도 14는 본 발명에 따른 워터마크 삽입 알고리즘을 표시한 것이다.
도 15는 본 발명에 따른 워터마크의 추출 시 추출된 워터마크의 판별 방법을 표시한 것이다.
도 16은 본 발명에 따른 워터마크 추출 알고리즘을 표시한 것이다.
도 17은 본 발명의 실험에 따른 워터마크 삽입 결과를 도시한 것이다.
도 18은 본 발명의 실험에 따른 테스트 영상에 워터마크를 삽입한 이후에 PSNR 결과를 나타낸 표이다.
도 19는 본 발명의 실험에 따른 워터마크 삽입 이후에 venus 영상에 대해서 공격을 가한 결과 영상을 도시한 것이다.
도 20은 본 발명의 실험에 따른 공격 이후에 워터마크를 추출했을 때 추출된 워터마크에단 추출율을 나타낸 표이다.
도 21과 도 22는 본 발명의 실험에 따른 3D TV를 이용하여 시각적인 인지성에 대해 테스트를 수행한 결과 영상이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법은 스테레오 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대한 워터마킹을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 워터마킹 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 상기 워터마킹 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 스테레오 영상(또는 이미지)의 워터마킹 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 폐색 영역 기반 스테레오 영상의 워터마킹 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
다음으로, 본 발명의 일실시예에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 구체적으로 설명하기 전에, 본 발명에 이용되는 워터마킹과 이산 웨이블릿 변환(DWT)에 대하여 도 2 내지 도 3을 참조하여 설명한다.
먼저, 워터마킹에 대하여 설명한다.
워터마킹 방법은 영상 및 음성을 비롯한 멀티미디어 데이터 안에 특정한 정보를 은폐시키는 기술을 말하며, 멀티미디어 저작권에 관한 효과적인 보호를 할 수 있는 차세대 수단이다. 워터마크는 단지 파일 뒤에 첨가되는 것이 아니라 완전히 파일의 내용과 함께 뒤섞이게 되므로 원래 파일에서 용량의 증가와 파일 포맷의 변화가 일어나지 않는다.
워터마크 삽입 과정은 원래의 정보 I에 대해 원래의 정보와 추가하고자 하는 정보 W, 그리고 이들의 함수적 관계 f(I, W)에 의한 값을 원래의 정보 에 삽입하는 방법이라 할 수 있다. 이때 워터마킹이 수행된 정보 I'은 다음 [수학식 1]과 같이 표현된다.
[수학식 1]
I' = I + f(I, W)
워터마킹을 효과적으로 사용하기 위해서 여러 가지 특징이 요구되는데 기본적으로 세 가지 정도의 조건을 만족해야 한다. 먼저 외부에서 가해지는 필터링, 기하학적 변형, 그리고 여러 형태의 압축 등과 같은 공격에 강해야 하는데 이를 강인성(Robustness)이라 한다. 둘째로 원래의 정보에 워터마크가 삽입되었는지 안되었는지를 인간의 지각에 의해 판별할 수 없는 비가시성(Invisibility)을 가져야 한다. 마지막으로 문제 발생 시 추출된 워터 마크의 확실한 소유권을 판별할 수 있는 명확성(Unambiguity) 및 낮은 에러확률(Low Error Probability)을 가져야 한다[문헌 14].
다음으로, 웨이블릿 변환을 위한 리프팅 변환 (Lifting Transform)에 대하여 설명한다.
현재까지 MPEG 및 JPEG을 이용한 영상 압축에서 주파수영역 변환 알고리즘으로 사용되어진 DCT(Discrete Cosine Transform)는 영상을 블록 단위로 처리하기 때문에 압축률이 높아짐에 따라서 블록화 현상(Blocking Effect)을 발생시키고 영상의 질을 떨어뜨렸다. 이에 비해 MJPEG 등에서 표준 알고리즘으로 채택된 바 있는 웨이블릿 변환은 영상을 압축하는데 있어 기존의 DCT를 이용한 방식에 비해 블록킹 현상이 나타나지 않고 각 부대역(Subband)별로 처리가 가능하여 압축률의 조절이 용이하고 압축률에서 좋은 결과를 나타낸다.
지금까지의 연구에서 리프팅(Lifting)을 이용한 변환은 필터 뱅크(Filter Bank) 방식에 비해 계산량이 절반정도로 줄어 속도가 빠르고 메모리를 적게 사용하며 정수 대 정수 웨이블릿 변환이 용이하여 무 손실 영상 압축을 할 수 있고 역 변환을 쉽게 구현할 수 있다는 장점이 있다[문헌 15].
리프팅은 쌍직교(bi-orthogonal) 웨이블릿 변환의 공간축 상에서의 구현 방법론이다. 리프팅을 이용한 웨이블릿 변환은 도 2와 같이 크게 분할(S:Split), 예측(P:Predict), 갱신(U:Update)의 3 단계로 구성되어있다.
입력 신호 x[n]을 짝수 번째 신호 xe[n]과 홀수 번째 신호 xo[n]의 두 성분으로 분할한다. 다음으로 예측 연산자 P를 이용하여 xe[n]으로부터 xo[n]을 예측할 때 얻어지는 에러인 웨이블릿 계수 d[n]을 [수학식 2]와 같이 구한다. 마지막으로 입력 신호 x[n]을 근사화하여 나타내는 스케일링(scaling) 계수 c[n]을 얻기 위해 [수학식 3]과 같이 xe[n]과 d[n]을 결합한다. 이것은 웨이블릿 계수에 갱신 연산자 U를 적용한 다음 xe[n]을 더하여 구한다.
[수학식 2]
Figure 112012041287481-pat00005
[수학식 3]
Figure 112012041287481-pat00006
본 발명의 일실시예에서 사용된 필터는 속도를 위하여 (5-3)필터를 사용하였고 이 필터 계수들을 팩토링(Factoring) 알고리듬[문헌 13]을 적용시켜 리프팅으로 변환을 이용하였다. 도 3에는 3-레벨 DWT 이후의 부대역 구조를 나타냈다.
다음으로, 웨이블릿 영역에서의 워터마킹에 대하여 설명한다.
웨이블릿 변환의 도입과 사용영역의 확대에 따라서 웨이블릿 영역에서의 워터마킹에 대한 연구도 폭넓게 진행되고 있다. 웨이블릿 변환은 DCT과 FFT 등의 변환과는 다르게 주파수 영역으로의 변환 후 각 부대역들이 공간영역에 대한 정보를 가지게 된다.
따라서 다른 변환에서 불리한 점이었던 영상의 위치 정보를 워터마킹 과정에서 손쉽게 이용할 수 있어 최근 들어 워터마킹에 대한 연구의 주류를 이루게 되었다. 또한 전처리 과정 생략과 다해상도를 이용하여 연산 처리속도가 증가하고, 분해된 여러 부대역에 다양한 방식으로 워터마크를 삽입할 수 있다.
한 예로서 Xia[문헌 15]는 제안한 최저주파 부대역인 LL 부대역(저-저 주파수 부대역)을 제외한 나머지 부대역에 워터마크를 삽입하는 방법을 제안하였다. 이 방식은 웨이블릿 변환에 의한 다해상도로 분해된 부대역에 단계별로 다른 가중치를 주어 워터마크를 삽입하는 것으로 DCT 방법보다 신호대잡음비(PSNR)가 개선되고 원 영상의 손실을 줄일 수 있다.
최근에는 웨이블릿 영역에서 부대역간의 상관도를 이용한 EZW(Embedded Zerotree Wavelet)와 SPIHT(Set Partitioning in Hierarchical Trees)등의 제로트리 알고리즘에 기반한 워터마킹방법이 많이 도입되고 있다. 이는 웨이블릿 영역에서 HVS(Human Visual System)의 도입과 영상 자체의 공간-주파수 특성을 이용하면서 각 영상에 대해 적응성을 가지게 하는 것이다.
다음으로, 본 발명의 일실시예에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법을 도 4 및 5를 참조하여 설명한다.
도 4에서 보는 바와 같이, 본 발명에 따른 폐색 영역 기반 스테레오 영상의 워터마킹 방법은 (a) 스테레오 영상을 기준영상과 대상영상으로 정하는 단계(S10), (b) 대상영상의 변위영상을 획득하는 단계(S20), (c) 대상영상에 FDWT를 수행하여 부대역을 획득하는 단계(S30), (d) 변위 영상의 폐색영역에 대응되는 부대역 영역에 워터마크 삽입하는 단계(S40), 및, (e) 삽입된 부대역을 IDWT를 수행하여 대상 영상을 복원하는 단계(S50)로 구성된다. 추가적으로 (f) 복원된 대상 영상에서 워터마크를 추출하는 단계(S60)를 더 포함하여 구성될 수 있다.
즉, 본 발명에 따른 스테레오 영상의 워터마킹 방법은 스테레오 영상 간의 폐색 영역(occlusion)을 검출한 후에 폐색 영역에 워터마크를 삽입하는 방법이다. 폐색 영역은 한쪽의 눈에만 영향을 미치기 때문에 눈에 잘 띄지 않고, 폐색 영역 자체가 객체의 테두리 영역에 발생하기 때문에 따로 눈에 잘 띄지 않는 고주파 영역을 찾을 필요가 없다. 따라서 객체의 테두리 영역에 워터마크가 삽입될 수 있도록 스테레오 정합과 워터마킹 위치 선정하는 단계에서 웨이블릿 영역에서 부대역 정보를 활용한다.
다시 말하면, 워터마크의 위치를 선정하는 것은 워터마킹 방법에서 가장 중요한 요소이다. 도 5에 워터마크 삽입 위치를 선정하고 워터마크를 삽입하는 전반적인 절차를 그림으로 나타냈다. 먼저 입력된 스테레오 쌍에 대해서 스테레오 정합 방법으로 변위 및 폐색 영역을 얻는다. 그리고 왼쪽 영상에 대해서 DWT를 수행하고 저-고 주파수 부대역(이하 LH 부대역)과 폐색 영역 정보를 이용하여 워터마크 삽입 위치를 선정한다. LH 부대역에서 특정 영역의 값에 대해서 워터마크 삽입 알고리즘을 이용하여 워터마킹을 수행한다.
이하에서, 상기 각 단계를 보다 구체적으로 설명한다.
먼저, 스테레오 영상을 입력받아, 하나의 영상을 기준 영상으로 정하고, 다른 하나의 영상을 대상 영상으로 정한다(S10). 스테레오 영상은 좌우 시각에서 촬영한 2개의 영상이다. 이 중 어느 하나를 기준 영상으로 정하고, 다른 하나를 대상 영상으로 정한다.
도 5의 예에서, 기준 영상은 스테레오 영상의 우측 영상으로 정하였고, 대상 영상은 좌측 영상을 정하였다.
다음으로, 기준 영상을 기준으로 대상 영상에 스테레오 정합을 수행하여 상기 대상 영상의 변위 영상을 획득한다(S20). 특히, 상기 스테레오 영상의 텍스쳐 균일 여부를 나타내는 변화도(variance)를 연산하고 상기 스테레오 영상에 이산 웨이블릿 변환(DWT)을 적용하여 부대역을 획득한다. 그리고 상기 변화도(variance) 및, 상기 부대역의 에너지에 따라 정합창의 크기 및 형태를 결정하고, 상기 정합창에 의해 스테레오 정합을 수행한다.
변위영상을 획득하기 위하여, 블록기반 정합을 이용한 스테레오 정합 방법을 이용한다. 즉, 본 발명에서는 일반적인 정합창 방식의 스테레오 간단한 방법을 이용하면서도 비교적 좋은 변위(disparity) 정보를 추출하여 쉽게 깊이 정보를 얻을 수 있는 방법을 제안하고자 한다.
정합창의 크기가 작으면 세밀한 정합을 수행할 수 있지만 저주파 영역에 대해서 오차가 심하다. 그러나 정합창의 크기가 크면 저주파 영역에서 오차는 줄지만 세밀한 정합을 수행할 수 없어서 객체 간의 구별이 명확하지 않고 경계부분이 뭉그러지는 결과를 얻는다. 따라서 영상의 국부적인 특성에 따라서 정합창의 크기를 조절한다면 좋은 정합 결과를 얻을 수 있을 것이다.
도 6에는 가변 정합창을 이용한 기본적인 스테레오 정합 방법을 나타냈다. 먼저 비교적 큰 정합창(본 논문에서는 17×17의 크기를 사용)을 먼저 선택한 후에 큰 정합창 내의 변화도(variance)를 연산한다. 이 변화도와 경험적으로 구해진 임계치(VTH1, VTH2, ... VTHN)과의 비교를 통해서 정합창의 크기를 결정한다. 이렇게 정해진 정합창을 부정합창(sub-window)이라 한다. 결정된 부정합창을 이용하여 스테레오 영상을 이용하여 정해진 탐색 범위 내에서 스테레오 정합을 수행한다.
도 7에는 가변적으로 부정합창을 선택하는 방법을 도식적으로 나타냈다. 그림에서 보이는 것과 같이 어느 하나의 화소에 대해서 스테레오 정합을 수행하는 경우에 그 화소를 포함하는 국부 영역(회색 표시된 영역)의 변화도를 구하고 이 결과에 따라서 크거나 작은 정합창이 선택된다.
앞서 설명한 변화도에 기반하여 가변 정합창을 이용하여 스테레오 정합을 하는 방법은 영상의 국부적인 특성을 충분히 반영하지 못하는 단점이 있다. 따라서 주파수 변환 방법을 이용하여 국부 영역내에서 영상의 변화에 대한 방향성을 분석한 후에 이를 바탕으로 정합창의 형태 및 크기를 업데이트 한다면 더욱 좋은 스테레오 정합 결과를 얻을 수 있다. 본 발명에서는 주파수 변환 도구로 이산 웨이블릿 변환(discrete wavelet transform, DWT)을 사용한다[문헌 14].
DWT는 Fourier 변환 기반의 주파수 변환도구와 달리 기저함수에 위치에 대한 성분이 있어서 어떤 주파수 성분이 존재하는지 뿐만 아니라 어느 곳에 어느 주파수 성분이 존재하는지를 명확히 알 수 있는 특성이 있다. 따라서 GDWT를 사용하여 영상의 영역에 따른 주파수 특성을 찾을 수 있다.
도 8에 GDWT를 활용하여 부정합창의 업데이트 정보를 추출하는 알고리즘을 나타냈다. 먼저 영상 전체에 대해서 DWT를 1레벨 수행하고, LH와 HL 영역의 계수 성분을 분석하여 부정합창의 업데이트 정보를 추출한다.
도 9에는 GDWT를 이용하여 부정합창을 선택하는 방법을 보이고 있다. 영상의 전체 영역에 대한 DWT를 1번만 수행하고, 스테레오 정합을 수행할 화소와 상대적으로 동일한 위치에 해당하는 주파수 성분의 국부 영역에 대한 에너지를 비교하여 정합창의 업데이트를 위한 정보를 추출하여 변화율 판단에 의해서 얻어진 기본 부정합창을 업데이트한다.
도 10에 전체적인 스테레오 정합 절차를 나타내었다. 먼저 도 4의 과정을 통해서 부정합창을 선택하고 GDWT를 이용하여 얻어진 정보를 이용하여 부정합창을 업데이트한다. 이를 통해 얻어진 부정합창을 이용하여 스테레오 정합을 수행하고 폐색영역을 판별한다.
다음으로, 상기 대상 영상에 정방향 이산 웨이블릿 변환(FDWT)을 수행하여 부대역을 구하고, 상기 변위 영상을 상기 부대역의 크기로 스케일링한다(S30).
본 발명에서는, 워터마크를 스테레오 영상의 부대역 주파수에 삽입한다. 이를 위해, 스테레오 영상에 이산 웨이블릿 변환(DWT)을 적용하여 부대역을 획득한다.
또한, 상기 부대역에서 워터마크의 삽입위치를 선정하기 위하여 상기 변위 영상을 부대역의 크기로 스케일링한다. 이것은 부대역의 워터마크의 삽입위치를 스케일링된 변위 영상의 폐색영역에 대응되는 위치로 찾기 때문이다.
다음으로, 상기 스케일링된 변위 영상의 폐색영역에 대응되는 상기 부대역의 영역에 워터마크를 삽입한다(S40). 특히, 부대역 중 LH 부대역에 상기 워터마크를 삽입한다. 또한, LH 부대역 중 주파수 계수가 사전에 정해진 범위 내의 값을 가지는 계수에만 상기 워터마크를 삽입한다.
즉, LH 부대역과 폐색 영역 정보를 이용하여 워터마크 삽입 위치를 선정하고, LH 부대역에서 5 보다 크거나 -5보다 작은 영역의 값에 대해서 워터마크 삽입 알고리즘을 이용하여 워터마킹을 수행한다.
한편, 바람직하게는, 워터마크를 LFSR(Linear feedback shift register) 레지스터로 재배열하여 사용한다.
즉, 워터마크를 삽입하기 전에 먼저 워터마크 자체의 안전성을 높이기 위해 주어진 워터마크를 흩뜨린다. 난수 발생을 위해 도 11에 나타낸 것과 같은 LFSR을 사용하고 대상 워터마크로도 난수를 사용한다. 도 11은 본 발명에 따른 워터마크 재배열을 위한 32-비트 LFSR의 블록 다이어그램이다.
워터마크 비트들을 직렬(Raster scan 방식)로 연결하여 각 비트를 wi(1≤i≤m×n)라 하고 이 순열을 LFSR의 입력으로 사용한다. 도 11의 LFSR 출력들을 두 부분(z0≤zj-1, zj≤zk-1)으로 나누고 각 출력부분의 이진값을 x와 y라 하면 특정시간 i에서의 LFSR 두 출력값은 [수학식 4] 및 [수학식 5]와 같이 10진수(첨자)의 형태로 나타낼 수 있다.
[수학식 4]
Figure 112012041287481-pat00007
[수학식 5]
Figure 112012041287481-pat00008
LFSR의 출력을 바탕으로 워터마크를 재배열하는 방법은 [수학식 6]과 같다.
[수학식 6]
Figure 112012041287481-pat00009
단, u, v는 해당 좌표의 위치를 의미한다.
즉, 특정 시간의 LFSR 출력에 의해 해당좌표에서 워터마크의 위치를 변경하는 것이다. 본 발명의 일실시예에 따른 워터마크를 재배열하는 방법을 도 12에 나타내었다.
그리고 LFSR의 출력 순열의 주기는 귀환 특성에 의해 결정되는데 원시 다항식을 사용한다면 k단일 경우 최대 2k-1개의 서로 다른 조합들을 출력할 수 있다. 도 11의 LFSR은 원시 다항식의 귀환 특성을 가지는 것으로 [수학식 7]로 표현된다.
[수학식 7]
Figure 112012041287481-pat00010

또한, 스테레오 영상의 부대역의 주파수 계수를 스칼라 양자화하여 워터마크를 삽입한다.
스칼라 양자화는 일반적으로 주파수 변환된 계수를 양자화 단계의 크기로 나눈 후 가까운 정수로 반올림하는 과정이다. 본 발명에 따른 방법은 스칼라 양자화 방식에서 양자화 단계크기로 나누어진 계수를 무조건 반올림 하지 않고 도 13과 같이 워터마킹 조건에 따라 올림 또는 버림을 취함으로써 워터마킹과 양자화를 동시에 수행한다. 도 13(a)는 LSB([ab(u,v)/b])='0'인 경우의 워터마크 삽입 방법을 표시한 것이고, 도 13(b)는 LSB([ab(u,v)/b])='1'인 경우의 워터마크 삽입 방법을 표시한 것이다.
상기 부대역의 주파수 계수 ab(u,v)를 양자화한 계수(이하 양자화 계수)
Figure 112012041287481-pat00011
의 최소유효비트(LSB)가 '0'인 경우와 '1'인 경우로 나누어 달리 수행한다.
즉, 양자화([x], x의 소수점 아래를 버리는 함수) 계수의 LSB(Least significant bit)가 '0'인 경우에 해당 워터마크 비트가 '0'(w=0)이면 [수학식 8], 또는 '1'(w=1)이면 [수학식 9]와 같이 워터마킹이 수행된다.
[수학식 8]
Figure 112012041287481-pat00012
[수학식 9]
Figure 112012041287481-pat00013
여기서 ab(u,v)는 변환된 계수, ab(u,v)'는 워터마크된 결과, 그리고 ≤b는 양자화 단계크기를 각각 나타내고
Figure 112012041287481-pat00014
와
Figure 112012041287481-pat00015
는 올림과 버림함수를 각각 나타낸다.
그리고 LSB([ab(u,v)/b])가 '1'일 때는 반대의 방식으로 워터마크를 삽입한다.
본 발명에 따른 스칼라 양자화 방법은 양자화 과정에서 워터마크 비트에 따라 양자화 값을 결정할 뿐 워터마킹을 위한 추가적인 연산이 필요 없다. 따라서 워터마킹을 위한 지연시간을 거의 요구하지 않고 고속 또는 실시간 동작에 매우 유리하다.
도 14에 워터마킹 삽입 절차를 정리하였다. 도 14는 본 발명에 따른 워터마크 삽입 알고리즘을 표시한 것이다.
다음으로, 복원된 대상 영상에서 워터마크를 추출한다(S60). 이때, 추출된 워터마크가 짝수의 양자화 단계값에 속하면 해당 워터마크 비트는 '0'으로, 홀수의 양자화 단계값에 속하면 워터마크 비트는 '1'로 판별된다.
워터마크의 추출 시 추출된 워터마크의 판별 방법을 도 15에 나타냈다. 추출된 워터마크가 짝수의 양자화 단계값에 속하면 해당 워터마크 비트는 '0'으로, 홀수의 양자화 단계값에 속하면 워터마크 비트는 '1'로 판별된다. 즉, 추출된 워터마크 wi'을 반올림하여 양자화 단계값으로 판별하게 되는데, 판별된 워터마크 wi''은 [수학식 10]에 의해서 결정된다.
[수학식 10]
Figure 112012041287481-pat00016
n은 도 13이나 도 15에서 보는 바와 같이, 임의의 양자화 단계에 해당하는 값이다.
본 발명에 따른 워터마킹 방법은 공격에 의한 값의 변화가 ±(△b/2) 이내의 경우 정확하게 워터마크로 추출할 수 있기 때문에 공격에 대한 내성이 충분하다.
워터마크 추출과정(S60)은 삽입과정과 역순으로 동일하고 도 16에서 확인할 수 있다. 워터마킹 삽입과정에서 사용된 동일한 LFSR 초기값을 이용하여 삽입과정에서 사용한 출력단자의 출력순열을 워터마크가 삽입된 영역의 계수와 대응시킨다. LFSR 출력값이 '1'인 계수에는 워터마크 비트가 삽입되어 있다고 판단하고 [수학식 9]를 이용하여 판별한다. 추출된 워터마크의 비트는 LFSR을 사용하여 원 위치로 환원되고 그 결과는 랜덤 시퀀스로 재구성된다.
다음으로, 실험결과를 통한 본 발명의 효과를 도 17 내지 도 22를 참조하여 보다 구체적으로 설명한다.
본 발명에서는 실험에 cones, teddy, tsukuba, 및 venus의 네 가지 영상을 이용하였다. 도 17에는 워터마크 삽입 결과를 나타냈다. 도 17은 워터마크 삽입 결과로서, 각각 (a) 20 (b) 40 (c) 80 (d) 160의 스케일링을 한 경우의 결과이다.
워터마크 삽입에 대한 가시적인 효과를 확인하기 위하여 20, 40, 80, 및 160의 값을 삽입하여 왜곡이 시각적으로 확인되는 지점과 효과를 관찰하였다. 80의 값이 삽입이 되면 가시적으로 왜곡이 발생한다는 것을 확인할 수 있다. 그러나 공격에 대한 강인도는 매우 높아질 것이다.
도 18에는 테스트 영상에 워터마크를 삽입한 이후에 PSNR 결과를 나타낸다. 도 18에는 공격이 가해지지 않은 결과부터 몇 가지 공격을 수행한 이후의 PSNR 결과를 모두 나타냈다. 160이라는 값은 워터마크가 삽입된 이후에 결과 영상이 최소한 30dB 이상의 값을 갖도록 한 것이다. 공격은 비악의적인 공격만을 고려하였고, 일반적인 영상처리 과정에서 발생할 수 있는 Gaussian 잡음, JPEG 압축, 흐림 및 선명 효과 등을 선택하였다. 워터마크가 많이 삽입되어 있는 영상의 경우에는 이미 영상의 왜곡이 발생한 상태이기 때문에 공격에 대해서 dB의 감소가 비교적 적다는 것을 확인할 수 있다.
도 19에는 워터마크 삽입 이후에 venus 영상에 대해서 공격을 가한 결과 영상을 나타낸다. 도 19는 공격 결과의 결과로서, 각각 (a) Gaussian 잡음 삽입(강도 3), (b) JPEG 압축 (최대), (c) blurring, (d) sharpening 한 결과이다.
공격 이후에 영상의 화질이 어떻게 열화가 되는지 보여주고 있다. 다른 공격에 비해서 Gaussian 공격이 영상의 열화를 많이 가져온다는 것을 볼 수 있고, 이는 도 17의 PSNR 결과에서도 확인할 수 있다. 도 17은 워터마킹 삽입후 PSNR 결과를 나타낸 표이다.
도 20에는 공격 이후에 워터마크를 추출했을 때 추출된 워터마크에단 추출율을 나타냈다.
본 발명에 따른 방법은 양자화를 고려하여 워터마크를 삽입하기 때문에 JPEG 압축에 대해서 비교적 강인하다는 것을 확인할 수 있다. 또한 흐림 효과에 대해서도 비교적 강인하다는 것을 확인할 수 있다. 그러나 Gaussian 잡음에 대해서 취약한 특성을 보인다. 이는 DWT를 1레벨 수행한 이후에 주파수 계수를 선택했기 때문에 고주파 성분이 많이 선택되어서 고주파 성분에 대해 많은 영향을 받은 경우에는 취약한 특성을 보이는 것이다. 이는 추후에 DWT 레벨을 높이고 더욱 저주파 영역을 선택하여 워터마크를 수행한다면 개선될 수 있을 것으로 보인다.
도 21과 도 22는 3D TV를 이용하여 시각적인 인지성에 대해 테스트를 수행한 결과 영상이다. 도 21은 3D TV를 이용한 시각적 인지성 실험 결과로서, 각각 (a) 20 (b) 40 (c) 80 (d) 160의 워터마크를 삽입한 결과이다. 또한, 도 22는 40의 워터마크를 삽입한 경우의 3D TV를 이용한 영상 별 시각적 인지성 실험 결과이다.
시각적인 테스트를 수행한 결과 cones 영상은 40의 워터마크를 삽입한 영상에서부터 영상의 열화를 느낄 수 있었고, teddy는 80, 그리고 tsukuba는 160에서 왜곡을 확인할 수 있었다. venus는 실험에 참여한 개인별로 차이가 있었는데 80 혹은 160에서 영상의 열화를 확인하였다. 또한 4가지 영상 모두 워터마킹을 삽입하여도 입체감에 대한 문제는 발생하지 않았다.
요약하면, 본 발명에서는 스테레오 영상의 소유권 보호를 위해서 스테레오 정합, 워터마크 재배열, 워터마크 위치 선정, 그리고 워터마크 삽입 및 추출로 구성된 워터마킹 방법을 설명하였다. 본 발명에 따른 방법은 스테레오 정합을 통해서 얻어진 변위 맵에서 폐색 영역에 해당하면서 LH 부대역의 계수 중에서 5보다 크거나 -5보다 작은 값을 갖는 웨이블릿 계수를 선택하고 20, 40, 80, 및 160의 값이 삽입되는 효과를 갖도록 양자화를 고려하여 워터마크를 삽입하였다.
워터마크를 삽입한 이후에 Gaussian 잡음, JPEG 압축, 흐림효과, 그리고 선명효과와 같은 비악의적인 공격을 수행하고, 다시 워터마크를 추출한 이후에 추출율을 확인하였다. 또한 워터마크가 삽입된 스테레오 영상을 3D TV를 통하여 시각적으로 관찰하여 왜곡이 발생하는 정도와 입체감에 대해서 관찰하였다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 스테레오 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (10)

  1. 폐색 영역 기반 스테레오 영상의 워터마킹 방법에 있어서,
    (a) 스테레오 영상을 입력받아, 하나의 영상을 기준 영상으로 정하고, 다른 하나의 영상을 대상 영상으로 정하는 단계;
    (b) 상기 기준 영상을 기준으로 상기 대상 영상에 스테레오 정합을 수행하여 상기 대상 영상의 변위 영상을 획득하는 단계;
    (c) 상기 대상 영상에 정방향 이산 웨이블릿 변환(FDWT)을 수행하여 부대역을 구하고, 상기 변위 영상을 상기 부대역의 크기로 스케일링하는 단계;
    (d) 상기 스케일링된 변위 영상의 폐색영역에 대응되는 상기 부대역의 영역에 워터마크를 삽입하는 단계; 및,
    (e) 상기 워터마크가 삽입된 부대역을 역방향 이산 웨이블릿 변환(IDWT)으로 상기 대상 영상으로 복원하는 단계를 포함하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  2. 제1항에 있어서,
    상기 (b)단계에서, 상기 스테레오 영상의 텍스쳐 균일 여부를 나타내는 변화도(variance)를 연산하고 상기 스테레오 영상에 이산 웨이블릿 변환(DWT)을 적용하여 부대역을 획득하여, 상기 변화도(variance) 및, 상기 부대역의 에너지에 따라 정합창의 크기 및 형태를 결정하고, 상기 정합창에 의해 스테레오 정합을 수행하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  3. 제1항에 있어서,
    상기 (d)단계에서, 상기 부대역 중 저-고 주파수 부대역(이하 LH 부대역)에 상기 워터마크를 삽입하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  4. 제3항에 있어서,
    상기 LH 부대역 중 주파수 계수가 사전에 정해진 범위 내의 값을 가지는 계수에만 상기 워터마크를 삽입하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  5. 제1항에 있어서,
    (d)단계에서, 상기 워터마크를 LFSR(Linear feedback shift register) 레지스터로 재배열하여 사용하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  6. 제1항에 있어서,
    상기 (d)단계에서, 상기 부대역의 주파수 계수를 스칼라 양자화하여 워터마크를 삽입하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  7. 제6항에 있어서,
    상기 (d)단계에서, 상기 부대역의 주파수 계수 ab(u,v)를 양자화한 계수(이하 양자화 계수)
    Figure 112013073947019-pat00017
    의 최소유효비트(LSB)가 '0'인 경우, 해당 워터마크 비트가 0이면 [수식 1]에 의해 워터마킹이 수행되고, 상기 워터마크 비트가 1이면 [수식 2]에 의해 워터마킹이 수행되고,
    상기 최소유효비트가 '1'인 경우, 해당 워터마크 비트가 0이면 [수식 2]에 의해 워터마킹이 수행되고, 상기 워터마크 비트가 1이면 [수식 1]에 의해 워터마킹이 수행되는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
    [수식 1]
    Figure 112013073947019-pat00018

    [수식 2]
    Figure 112013073947019-pat00019

    단, ab(u,v)'는 워터마크된 주파수 계수,
    △b는 양자화 단계 크기,
    Figure 112013073947019-pat00043
    와
    Figure 112013073947019-pat00044
    는 올림함수 및 버림함수를 나타내고,
    sign()은 부호함수를 나타냄.
  8. 제1항에 있어서, 상기 방법은,
    (f) 상기 복원된 대상 영상에서 워터마크를 추출하되, 추출된 워터마크가 짝수의 양자화 단계값에 속하면 해당 워터마크 비트는 '0'으로, 홀수의 양자화 단계값에 속하면 워터마크 비트는 '1'로 판별되는 단계를 더 포함하는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
  9. 제8항에 있어서,
    상기 (f)단계에서, 추출된 워터마크 wi'을 반올림하여 양자화 단계 크기 △b 로 판별하되, 판별된 워터마크 wi''은 [수식 3]에 의해서 결정되는 것을 특징으로 하는 폐색 영역 기반 스테레오 영상의 워터마킹 방법.
    [수식 3]
    Figure 112013073947019-pat00020

    단, n은 임의의 양자화 단계에 해당하는 값임.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120054772A 2012-05-23 2012-05-23 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법 KR101321896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120054772A KR101321896B1 (ko) 2012-05-23 2012-05-23 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120054772A KR101321896B1 (ko) 2012-05-23 2012-05-23 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법

Publications (1)

Publication Number Publication Date
KR101321896B1 true KR101321896B1 (ko) 2013-10-28

Family

ID=49639248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120054772A KR101321896B1 (ko) 2012-05-23 2012-05-23 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법

Country Status (1)

Country Link
KR (1) KR101321896B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104305A (ko) * 2014-03-05 2015-09-15 광운대학교 산학협력단 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
CN112801846A (zh) * 2021-02-09 2021-05-14 腾讯科技（深圳）有限公司 一种水印嵌入、提取方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779113B1 (ko) 2004-04-20 2007-11-27 주식회사 후후 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템
KR20120022675A (ko) * 2010-09-01 2012-03-12 톰슨 라이센싱 블라인드 워터마크를 검출할 수 있는 프리 뷰 비디오 워터마킹 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779113B1 (ko) 2004-04-20 2007-11-27 주식회사 후후 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템
KR20120022675A (ko) * 2010-09-01 2012-03-12 톰슨 라이센싱 블라인드 워터마크를 검출할 수 있는 프리 뷰 비디오 워터마킹 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
고정환 외 2명, ‘웨이블릿 변환과 적응적 변이 추정을 이용한 스테레오 영상 블라인드 워터마킹’, 한국통신학회논문지 제31권 2C호, 2006.2
고정환 외 2명, '웨이블릿 변환과 적응적 변이 추정을 이용한 스테레오 영상 블라인드 워터마킹', 한국통신학회논문지 제31권 2C호, 2006.2 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104305A (ko) * 2014-03-05 2015-09-15 광운대학교 산학협력단 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
KR101580987B1 (ko) * 2014-03-05 2015-12-29 광운대학교 산학협력단 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
CN112801846A (zh) * 2021-02-09 2021-05-14 腾讯科技（深圳）有限公司 一种水印嵌入、提取方法、装置、计算机设备和存储介质
CN112801846B (zh) * 2021-02-09 2024-04-09 腾讯科技（深圳）有限公司 一种水印嵌入、提取方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Preda et al. A robust digital watermarking scheme for video copyright protection in the wavelet domain
Susanto et al. Hybrid method using HWT-DCT for image watermarking
Song et al. A robust region-adaptive dual image watermarking technique
Naderahmadian et al. Fast and robust watermarking in still images based on QR decomposition
Divecha et al. Implementation and performance analysis of DCT-DWT-SVD based watermarking algorithms for color images
Assini et al. A robust hybrid watermarking technique for securing medical image
Hemdan et al. C11. Hybrid digital image watermarking technique for data hiding
Al-Mansoori et al. Robust watermarking technique based on DCT to protect the ownership of DubaiSat-1 images against attacks
Singh et al. A secure and robust block based DWT-SVD image watermarking approach
Nouioua et al. A novel blind and robust video watermarking technique in fast motion frames based on SVD and MR-SVD
Ernawan et al. Image watermarking based on integer wavelet transform-singular value decomposition with variance pixels
Khalifa et al. A robust non-blind algorithm for watermarking color images using multi-resolution wavelet decomposition
Meenpal DWT-based blind and robust watermarking using SPIHT algorithm with applications in tele-medicine
Nagarjuna et al. Robust blind digital image watermarking scheme based on stationary wavelet transform
Heidari et al. A hybrid DCT-SVD based image watermarking algorithm
Chen et al. A robust video watermarking algorithm based on singular value decomposition and slope-based embedding technique
Elbasi Enhancing the robustness of watermarked medical images using heuristic search algorithm
Ftima et al. LWT-SVD secure image watermarking technique
Hwang et al. Stereo image watermarking scheme based on discrete wavelet transform and adaptive disparity estimation
Susanto et al. A robust non-blind image watermarking method using 2-level HWT-DCT
Kejgir et al. Lifting wavelet transform with singular value decomposition for robust digital image watermarking
Lalani et al. Discrete wavelet transform and a singular value decomposition technique for watermarking based on an adaptive fuzzy inference system
KR101321896B1 (ko) 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법
Hwang et al. Real-time stereo image watermarking using discrete cosine transform and adaptive disparity maps
Kumar et al. A hybrid novel approach of video watermarking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161017

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181016

Year of fee payment: 6