KR100779113B1 - 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템 - Google Patents

적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템 Download PDF

Info

Publication number
KR100779113B1
KR100779113B1 KR1020040026948A KR20040026948A KR100779113B1 KR 100779113 B1 KR100779113 B1 KR 100779113B1 KR 1020040026948 A KR1020040026948 A KR 1020040026948A KR 20040026948 A KR20040026948 A KR 20040026948A KR 100779113 B1 KR100779113 B1 KR 100779113B1
Authority
KR
South Korea
Prior art keywords
image
watermark
dct
predetermined
information
Prior art date
Application number
KR1020040026948A
Other languages
English (en)
Other versions
KR20050102155A (ko
Inventor
금동교
임송택
배경훈
Original Assignee
주식회사 후후
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 후후 filed Critical 주식회사 후후
Priority to KR1020040026948A priority Critical patent/KR100779113B1/ko
Publication of KR20050102155A publication Critical patent/KR20050102155A/ko
Application granted granted Critical
Publication of KR100779113B1 publication Critical patent/KR100779113B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 스테레오 영상에 워터마크를 삽입하고 추출하는 시스템 및 방법을 개시한다. 본 발명의 시스템은 제 1 영상 및 제 2 영상으로 구성되는 스테레오 영상에 워터마크를 삽입하고 추출하며, 제 1 영상에 소정의 워터마크를 삽입하여, 워터마크 삽입 영상을 출력하는 워터마크 삽입부; 워터마크 삽입 영상 및 상기 제 2 영상으로부터 변이 정보를 추출하고, 스테레오 영상 및 상기 변이 정보를 소정의 전송 채널로 전송하는 변이정보 추출부; 스테레오 영상 및 변이 정보를 수신하고, 변이 정보 및 제 2 영상을 이용하여 워터마크 삽입 영상을 복원하는 영상 복원부; 및 워터마크 삽입 영상 및 제 1 영상으로부터 워터마크를 추출하는 워터마크 추출부를 포함한다.

Description

적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템{Method and system for stereo image watermarking using adaptive disparity estimation algorithm}
도 1 은 본 발명의 바람직한 실시예에 따른 워터마크 삽입 및 추출 시스템의 구성을 도시하는 블록도이다.
도 2 는 도 1 에 도시된 워터마크 삽입부(10)의 구성을 도시하는 블록도이다.
도 3 은 도 1에 도시된 워터마크 추출부(40)의 구성을 도시하는 블록도이다.
도 4 는 에피폴라 선상의 대응 블록 탐색도를 도시하는 도면이다.
도 5 는 좌영상과 워터마킹된 우영상으로부터 추출된 특징값의 크기에 따라 정합될 정합창의 크기를 적응적으로 선택하는 적응적 정합 알고리즘을 설명하는 흐름도이다.
도 6 내지 도 14 는 본 발명의 성능 평가 결과를 설명하는 도면이다.
본 발명은 워터마킹에 관한 것이다. 구체적으로, 본 발명은 3차원 입체 영 상에 워터마크를 삽입하고 추출하는 방법 및 시스템에 관한 것이다.
최근, 디지털 혁명을 통해 사회가 고도 정보화되면서 정보의 양적 요구와 함께 질적 요구 또한 증가함에 따라 미국, 유럽 등 기술 선진국을 중심으로 실감 있는 3차원 입체영상을 시각화하려는 연구가 활발히 진행 중에 있다. 3차원 입체기술은 방송, 통신, 의료, 게임, 가상현실 등 매우 다양한 분야에서 요구되는 차세대 고부가가치의 첨단 기술이라 할 수 있다.
일반적으로 우리가 자연환경에서 실물을 입체적으로 볼 수 있는 것은 두 눈의 양안시차(binocular disparity)에 의한 것으로 이는 두 눈이 각기 다른 시점의 영상을 인식하고 인간의 뇌에서 이 두 영상의 차이가 합성됨으로써 입체감을 느끼게 되는 것이다. 이러한 인간의 양안시차 원리를 이용하여 구현되고 있는 3차원 입체기술이 스테레오스코픽(stereoscopic) 3D 영상통신 기술이다. 이는 입체 카메라를 통해 얻은 스테레오 영상을 채널을 통해 전송한 뒤 수신부에서 여러가지 형태의 광학판을 통해 좌, 우 두 눈으로 구분하여 입력시킴으로써 3차원 입체 디스플레이가 이루어지게 된다. 그러나 이러한 스테레오스코픽 3D 영상통신 시스템은 실질적인 응용에서는 몇 가지 제한점을 가지고 있다. 먼저, 스테레오 영상의 전송은 단안 영상과 비교해 볼 때 대역폭이 두 배가 필요하게 된다. 특히, 다시점(multiview)의 스테레오 영상에서는 시점 개수에 따라 대역폭이 증가하기 때문에 이러한 스테레오 영상의 효과적인 압축기술의 개발이 필수적이며 그 방식 중의 하나가 변이(disparity) 정보를 이용한 압축기술인 변이추정 기법이다. 또한, 인터넷을 포함한 정보 통신망의 발달로 스테레오 영상의 보급이 확산되면서 누구나 손쉽게 이 들 정보에 대한 불법 사용 및 복제가 가능하게 되어 스테레오 영상의 저작권 보호를 위한 새로운 정보보호 기술의 개발이 요구되고 있다.
최근, 디지털 영상의 인증 및 저작권 보호를 위한 새로운 정보보호 기술로 디지털 워터마킹(digital watermarking) 기법이 활발히 연구되고 있다. 디지털 워터마킹 기술은 인간의 시각으로 지각할 수 없는 일정한 소유권 정보인 워터마크(watermark)를 디지털 영상에 삽입 은폐하는 과정으로 이를 통해 디지털 영상에 대한 불법 사용 및 조작을 막고 소유권을 인증해 주기 위한 방법 등을 제공해 준다. 일반적으로 이러한 디지털 워터마킹 기술에서는 은폐된 워터마크가 인간시각에 인지되지 않는 무인지성, 여러가지 다양한 영상처리 알고리즘에 대한 강건성과 불법적인 내용 변경 또는 위조에 대한 무결성 등이 요구된다.
그러나, 이러한 종래의 디지털 워터마킹 기술은 2차원 영상 컨텐츠에 대해서만 적용되었을 뿐, 아직까지 차원 영상정보에 대한 강건한 정보보호를 제공하는 워터마킹 기술은 개발되지 못한 상태이다.
본 발명이 이루고자 하는 기술적 과제는 적응적 정합(adaptive matching) 알고리즘에 기반한 변이 정합기법을 이용한 3차원 영상 컨텐츠에 워터마크를 삽입하고 추출하는 방법 및 장치를 제공하는 것이다.
또한, 3차원 영상 컨텐츠에 워터마크를 삽입하고 추출하는 방법을 컴퓨터에서 판독할 수 있고, 실현 가능한 프로그램 코드로 기록한 기록매체를 제공하는 것이다.
상술한 기술적 과제를 이루기 위한 본 발명의 시스템은, 제 1 영상 및 제 2 영상으로 구성되는 스테레오 영상에 워터마크를 삽입하고 추출하는 시스템으로서, 제 1 영상에 소정의 워터마크를 삽입하여, 워터마크 삽입 영상을 출력하는 워터마크 삽입부; 워터마크 삽입 영상 및 상기 제 2 영상으로부터 변이 정보를 추출하고, 스테레오 영상 및 상기 변이 정보를 소정의 전송 채널로 전송하는 변이정보 추출부; 스테레오 영상 및 변이 정보를 수신하고, 변이 정보 및 제 2 영상을 이용하여 워터마크 삽입 영상을 복원하는 영상 복원부; 및 워터마크 삽입 영상 및 제 1 영상으로부터 워터마크를 추출하는 워터마크 추출부를 포함한다.
한편, 상술한 기술적 과제를 이루기 위한 본 발명의 워터마크 삽입 및 추출 방법은, 제 1 영상 및 제 2 영상으로 구성되는 스테레오 영상에 워터마크를 삽입하고 추출하는 방법으로서, (a) 제 1 영상에 소정의 워터마크를 삽입하여, 워터마크 삽입 영상을 생성하는 단계; (b) 워터마크 삽입 영상 및 제 2 영상으로부터 변이 정보를 추출하고, 스테레오 영상 및 변이 정보를 소정의 전송 채널로 전송하는 단계; (c) 스테레오 영상 및 변이 정보를 수신하고, 변이 정보 및 제 2 영상을 이용하여 워터마크 삽입 영상을 복원하는 단계; 및 (d) 워터마크 삽입 영상 및 제 1 영상으로부터 워터마크를 추출하는 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1 은 본 발명의 바람직한 실시예에 따른 워터마크 삽입 및 추출 시스템의 구성을 도시하는 블록도이다. 도 1 을 참조하면, 워터마크 삽입 및 추출 시스템 은 워터마크 삽입부(10), 변이정보 추출부(20), 영상 복원부, 및 워터마크 추출부(40)를 포함한다.
본 발명의 바람직한 실시예에서 스테레오 영상은 좌영상과 우영상으로 구성되고, 스테레오 영상 중 어느 하나에 워터마크가 삽입되어 전송된다. 이하에서는 설명의 편의를 위하여 우영상에 워터마크를 삽입하는 경우에 대해서만 설명하나, 좌영상에 워터마크를 삽입하여 전송하는 과정도 동일한 방식이 적용됨을 당업자는 알 수 있을 것이다.
먼저, 스테레오 영상 중 좌영상은 변이정보 추출부(20)로 입력되고, 스테레오 영상 중 우영상은 워터마크 삽입부(10)로 입력된다.
워터마크 삽입부(10)는 입력된 우영상에 워터마크를 삽입하고, 워터마크가 삽입된 우영상을 변이정보 추출부(20)로 출력한다.
도 2 는 워터마크 삽입부(10)의 구성을 도시하는 블록도이다. 워터마크 삽입부(10)는 DCT 연산부(12), 랜덤 시퀀스 생성기(14), 워터마크 결합부(16), 및 역DCT 연산부(18)를 포함한다. 도 2 를 참조하여, 워터마크 삽입부(10)의 워터마크 삽입과정을 설명한다.
스테레오 영상 중 워터마크가 삽입될 우영상은 DCT 연산부(12)로 입력되고, 우영상에 삽입될 워터마크 영상은 랜덤 시퀀스 생성기(14)로 입력된다.
DCT 연산부(12)는 우영상을 8*8 화소 크기의 블록단위로 분할하고, 분할된 각 블록에 다음의 수학식 1에 따라서 DCT연산을 수행하여 우영상을 DCT 계수로 변환하여 워터마크 결합부(16)로 출력한다.
Figure 112004016078550-pat00001
Figure 112004016078550-pat00002
랜덤 시퀀스 생성기(14)는 입력된 64*64 크기의 워터마크 영상을 소정의 시드값 A 를 이용하여 재배치하여 워터마크 정보
Figure 112004016078550-pat00003
를 워터마크 결합부(16)로 출력한다.
워터마크 결합부(16)는 8×8 블럭으로 DCT된 우영상 데이터를 지그재그(zig-zag) 스캔하여 저주파로부터 고주파까지의 DCT 계수값으로 재배열하고, 이 주파수 영역 중에서 특정 주파수 부분을 캐스팅하여 워터마크를 삽입하게 된다. 일반적으로 워터마크를 신호 에너지의 대부분이 집중되는 저주파에 삽입하는 경우 눈에 띄거나 영상의 손실을 가져올 수 있고, 이와 반대로 고주파 영역에 삽입하는 경우는 압축률을 높이거나 잡음이 첨가되게 되면 고주파 성분들이 원래 영상의 것과 크게 달라져 강건성이 약화될 수 있다. 따라서, 워터마크 결합부(16)는 인간의 시각에 인지되지 않으면서도 압축 및 크로핑(cropping)에 강건한 중간주파수 영역을 캐스팅하여 워터마크를 삽입하게 된다.
예컨대, 워터마크 결합부(16)는 다음의 수학식 2 에 기재된 워터마크 삽입 알고리즘에 따라서, 수학식 1 에서 구한 우영상의 DCT계수 F(u,v)중 tL+1 부터 tL+N 번째까지의 주파수 성분에 대응되도록 우영상에 워터마크를 삽입한다.
Figure 112004016078550-pat00004
여기서, M은 워터마크의 화소 개수를,
Figure 112004016078550-pat00005
과
Figure 112004016078550-pat00006
은
Figure 112004016078550-pat00007
중에서 각각 워터마크가 삽입되는 중간 주파수 성분의 시작 지점과 마지막 지점을, α는 워터마크가 삽입된 영상의 PSNR(peak signal-to-noise ratio)과 강건성을 결정하는 중요한 비례상수를 각각 나타낸다.
워터마크 결합부(16)는 수학식 2 에 따라서 구해진
Figure 112004016078550-pat00008
를 기존의 DCT 계수와 대체시킴으로써, 수학식 3과 같은 워터마크가 삽입된 새로운 8*8 블록에 대한 DCT 계수
Figure 112004016078550-pat00009
를 역DCT 연산부(18)로 출력한다.
Figure 112004016078550-pat00010
역DCT 연산부(18)는 다음의 수학식 4에 따라서 역 DCT 연산을 수행하여 워터마크가 삽입된 우영상을 변이정보 추출부(20)로 출력한다.
Figure 112004016078550-pat00011
Figure 112004016078550-pat00012
다시 도 1 을 참조하면, 변이정보 추출부(20)는 입력된 스테레오 영상의 좌영상과 워터마크 삽입부(10)로부터 입력된 워터마크가 삽입된 우영상을 이용하여 변이정보를 추출한다. 본 발명의 바람직한 실시예에서 워터마크가 삽입된 우영상과 좌영상으로부터 변이정보를 추출하기 위한 비용함수로 MSE(mean square error)가 이용된다.
MSE 함수는 다음의 수학식 5 와 같이 주어지며, 수학식 5에서, Nx 및 Ny 는 블럭 또는 화소의 크기를, IL 과 IR 은 좌영상의 블럭과 이에 대응하는 워터마킹된 우영상의 블럭을 각각 나타낸 것이다.
Figure 112004016078550-pat00013
도 4의 '복도 영상'은 에피폴라 선상에서 좌영상과 워터마킹된 우영상간에 서로 대응되는 블럭을 찾는 과정을 예로 나타낸 것이다. 즉, 좌영상을 일정한 크기의 블럭으로 나눈 후 임의의 블럭 대해 이에 대응하는 같은 에피폴라 선상에 존재하는 워터마킹된 우영상에서의 일치점을 일정한 탐색범위 (±S )내에서 찾는 과정을 보여준 것이다. 일반적으로, 인간시각 시스템에서는 수평변이에 비해 수직변이가 작기 때문에 이러한 인간 시각 시스템의 특성을 고려하여 스테레오 카메라를 병렬로 구성하게 되면 도 4 와 같이 수평 성분만으로 변이 벡터를 찾을 수 있다.
다음의 수학식 6 은 도 4 에 도시된 탐색 범위 인 ±S 를 나타낸다.
Figure 112004016078550-pat00014
여기서, ±S 는 워터마킹된 우영상에서 대응되는 블럭 또는 화소를 찾는 탐색범위를 나타내고, x0 및 y0 는 변이추정시 좌영상에서의 블럭의 시작점을 각각 나타낸다.
따라서, 탐색범위 ±S 내에서 MSE를 최소로 하는 블럭을 좌영상과 정합된 워터마킹된 우영상의 블럭으로 선택하게 되면, 워터마킹된 우영상과 좌영상간의 좌표값 차이로 그 블럭을 대표하는 변이값을 얻게 된다. 즉, 좌영상을 기준으로 한 우영상과의 변이는 다음의 수학식 7과 같이 주어지게 된다.
Figure 112004016078550-pat00015
여기서, IR 는 워터마킹된 우영상을, IL는 좌영상을, d 는 탐색범위 내의 변이값을 각각 나타내며,
Figure 112004016078550-pat00016
는 IR 의 i 번째
Figure 112004016078550-pat00017
크기의 블럭을 나타낸다. 수학식 7 에서 얻어지는 변이벡터는 블럭을 대표하는 값으로 변이정보를 추출하는데 이용된다. 변이정보 추출부(20)는 이렇게 얻어진 변이정보를 스테레오 영상과 함 께 3차원 채널을 통하여 영상 복원부로 전송한다.
이하에서는, 전송된 스테레오 영상과 변이 정보를 이용하여 워터마크를 추출하는 과정에 대해서 설명한다.
영상 복원부는 입력된 좌영상과 변이정보를 이용하여 워터마킹된 우영상을 복원하기 위한 효과적인 방법으로 적응적 정합 알고리즘을 사용한다. 즉, 적응적 정합과정에서는 먼저, 스테레오 입력 영상의 특징값으로 에지정보를 미분연산자인 캐니 마스크(Canny mask)를 사용하여 추출한다. 추출된 특징값들은 0부터 1 사이 값으로 정규화되고 특징값의 크기를 결정하기 위해 각 단계별로 임계값이 설정되게 된다. 일단, 임계단계 및 각 단계별 임계값이 설정되면 각 임계 단계에 대응하는 수의 정합창이 설정된다.
수학식 8 은 비용함수로 MSE(mean square error)를 이용하여 추출된 특징값과 임계값의 비교를 통해 6가지의 정합창의 크기를 선택하는 수식을 나타낸 것이다. 즉, 본 발명은 각 영상의 특징에 따른 효율적인 정합을 위하여 임계값을 6단계(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)로 설정하였고 이에 대응하는 정합창의 크기 역시 6단계(32×32, 16×16, 8×8, 4×4, 2×2, 1×1)로 설정하였다.
Figure 112004016078550-pat00018
이상과 같이 임계값과 정합창이 설정되면 임의의 입력 스테레오 영상으로부터 추출된 특징값에 따라 정합창의 크기가 적응적으로 선택된다.
도 5 는 좌영상과 워터마킹된 우영상으로부터 추출된 특징값의 크기에 따라 정합될 정합창의 크기를 적응적으로 선택하는 적응적 정합 알고리즘을 설명하는 흐름도이다. 도 5 를 참조하면, 영상 복원부는 정합창 선택 알고리즘의 초기조건에서 수학식 8과 같이 임계값을 임계값 중 가장 큰 값인 6단계(1.0)로 설정하고, 정합창의 크기를 임계값에 대응되는 1×1로 설정한 후(S510), 특징값들과 비교한다(S520). 따라서, 비교를 통해 이 임계값 보다 큰 특징값들을 갖는 영역들은 설정된 정합창 중에서 가장 작은 정합창인 1×1가 선택되어 가장 세밀한 정합이 수행된다(S530).
이 때, 6단계의 임계값(1.0)보다 작은 특징값들에 대해서, 영상 복원부는 임계값을 1단계 감소시킨 5단계(0.8)로 설정하고, 정합창의 크기를 대응되는 2×2로 설정한 후 특징값과 임계값을 다시 비교한다(S530). 여기서, 임계값 보다 큰 특징값을 갖는 영역들에 대해서는 정합창의 크기가 2×2로 결정되어 정합이 이루어지게 된다.
또한, 5단계 임계값보다 작은 특징값들은 앞에서와 같은 방법으로 다시 1단계 감소시킨 4단계(0.6)의 임계값과 다시 비교되게 된다. 이 때, 임계값보다 큰 특징값을 갖는 영역들은 다음 단계의 정합창인 4×4가 설정되어 정합이 이루어지게 된다. 이러한 과정을 통해 임계값이 1단계에서 6단계까지 증가와 감소를 반복하면서 정합창의 크기가 적응적으로 설정된다.
결과적으로, 본 발명의 영상 복원부는 적응적 정합 알고리즘을 이용하여 좌영상과 워터마킹된 우영상에서 추출된 특징값의 크기를 설정된 임계값과 비교하고, 그 값의 크기에 따라 적응적으로 적절한 정합창 크기를 설정함으로써 워터마킹된 우영상을 복원하게 된다. 즉, 배경과 같이 특징값이 작은 영역에서는 큰 단위의 정합창이 선택되어 정합이 이루어지고 물체의 윤곽선 같이 특징값이 큰 부분에서는 화소단위의 미세 정합이 이루어지게 된다. 이를 통해 작은 블럭 단위의 미세 정합에서 자주 발생되는 오정합을 감소시킬 뿐만 아니라 큰 블럭단위로 정합할 때 발생하는 블럭화 현상도 감소시킬 수 있어 워터마킹된 우영상의 효율적인 복원이 가능하다.
영상 복원부는 좌영상과 변이 정보로부터 복원된 우영상을 워터마크 추출부(40)로 출력하고, 워터마크 추출부(40)는 복원된 우영상으로부터 워터마크를 추출하여 출력한다.
도 3 은 도 1에 도시된 워터마크 추출부(40)의 구성을 도시하는 블록도이다. 워터마크 추출부(40)는 DCT 연산부(32), 감산부(34), 및 랜덤 시퀀스 생성기(36)를 포함한다.
먼저, 복원된 우영상 및 원래의 우영상은 DCT 연산부(32)로 각각 입력되고, DCT 연산부(32)는 상술한 수학식 1 에 따라서 원래의 우영상을 8×8 화소 크기의 블록들로 분할한 후 DCT 변환을 수행하여 8×8 화소의 DCT 계수값을 얻은 후, 지그재그 스캔으로 저주파부터 고주파까지 재배열하여 원래 우영상의 최종 주파수 성분인
Figure 112004016078550-pat00019
을 감산부(34)로 출력한다.
이와 마찬가지로, DCT 연산부(32)는 적응적 정합 알고리즘을 통해 워터마크가 삽입 되어진 복원된 우영상에 대해서 동일한 방법으로 상술한 수학식 1 에 따라 서 8×8 블럭 단위로 DCT 연산을 수행하여 주파수 성분으로 각각 변환한 다음 지그재그 스캔을 통해 재배열된 DCT 계수인
Figure 112004016078550-pat00020
를 구하여 감산부(34)로 출력한다.
삽입과정에서 워터마크 영상은 원영상을 DCT 변환한 주파수 성분에 직접 더해졌으므로, 감산부(34)는 삽입된 워터마크를 추출하기 위하서 다음의 수학식 9와 같이 워터마크가 삽입된 주파수 변환 값인
Figure 112004016078550-pat00021
에서 원영상의 주파수 변환 값인
Figure 112004016078550-pat00022
를 감산함으로써 우영상에 삽입되었던 64×64 화소값인 워터마크
Figure 112004016078550-pat00023
을 구하여 랜덤 시퀀스 생성기(36)로 출력한다.
Figure 112004016078550-pat00024
Figure 112004016078550-pat00025
는 워터마크 삽입시에 랜덤 시퀀스 생성기를 이용하여 랜덤하게 변환되어진 값이므로, 랜덤 시퀀스 생성기는 최종적으로 64×64 화소의 워터마크 영상을 얻기 위해, 삽입시와 동일한 시드값을 이용하여 입력된
Figure 112004016078550-pat00026
를 워터마크 삽입시와 똑같은 순서로 재배열하여, 삽입된 워터마크를 추출한다.
도 6 의 (a) 및 (b)는 본 실험에서 사용된 CCETT 스테레오 영상인 ‘Fichier'와 ’Manege' 영상을 도시하는 것으로서, 512×512 크기의 raw 파일로 변환하여 사용하였다. 그리고, 도 8의 (c)는 실험에 사용된 워터마크 영상인 영문 알파벳 "N" 을 나타낸 것으로 64×64 화소로 구성하여 사용하였다. 컴퓨터 시뮬레이션은 ’Microsoft Visual Studio 6.0' 환경에서 수행하였다. 그리고 스테레오 영상 복원방법은 적응적 정합 방법을 포함하여 기존의 블럭 기반(block-based) 정합 및 화소 기반(pixel-based) 정합 방법을 동시에 사용하였으며 실험을 통해 성능을 비교 분석하였다. 성능 비교를 위하여 탐색범위를40화소로 설정하여 시뮬레이션을 수행하였으며 복원된 영상과 추출된 워터마크에 대한 시뮬레이션 수행결과를 PSNR의 점에서 비교 분석하였다
본 실험에서 사용한 워터마크 삽입 알고리즘은 블럭 DCT 기반으로서 도 6 의 "Fichier" 및 "Manege" 우영상을 상술한 수학식 1 을 이용하여 8×8 블럭 단위로 DCT 변환한 후, 변환된 DCT 계수들을 지그재그 스캔을 통하여 주파수의 순서대로 1차원적으로 재배열하게 되고 그 중 인간의 시각에 인지되지 않으면서도 영상처리 알고리즘에 강건한 특정 중간주파수 영역 12 부분을 캐스팅하여 워터마크를 삽입하였다. 워터마크는 공격에 대한 강건성을 높이기 위해서 삽입 전에 랜덤 시퀀스 발생기를 통해 재배열되는데 본 실험에서는 시드(seed)값은 ‘2’로 설정하였다. 따라서, 추출시에는 삽입할 때의 특정 시드값인 ‘2’를 랜덤 시퀀스를 발생기에 부여해야만 수신된 영상에서 워터마크를 추출할 수 있다.
워터마크를 삽입할 때 워터마크 가중치 α는 최종적으로 워터마크된 영상과 원영상과의 화소값 차이가 항상 ±1～±8의 범위가 되도록 조정하였다. 이렇게 원영상에 워터마크가 삽입된 주파수 성분은 지그재그 스캔의 역과정을 거쳐서 64×64 크기의 2차원 배열을 가지게 되고 워터마크가 삽입된 우영상은 다시 식 (2)를 이용하여 IDCT 과정을 거쳐 도 7 의 (a) 및 (b) 와 같은 워터마크가 삽입된 ‘Fitchier', 'Manege' 우영상을 생성하였다.
이하에서 설명할 도 8 내지 도 9 의 (a) 는 8×8 크기의 블록 기반 정합 방 법에 따른 경우를 도시하고, (b)는 화소기반 정합 방법에 따른 경우를 도시하며, (c) 는 본 발명에 따른 적응적 정합 방법에 따른 경우를 각각 도시한다는 점의 유의하여야 한다.
도 8 및 도 9 는 "Fichier", "Manege" 영상에서 탐색범위를 40 화소 크기로 설정하고 각 정합방법을 수행시켜 얻은 변이 벡터(disparity vector)의 결과를 변이지도(disparity map) 형태로 나타낸 것이다. 도시된 바와 같이, 적응적 정합 기법으로 구한 변이 벡터가 블럭기반 및 화소기반 정합방식으로 구한 변이벡터 보다 물체의 윤곽이 비교적 정확히 나타나고 안정적으로 변이가 분포되는 것을 볼 수가 있다. 그리고, "Manege"에 비해 비교적 단순한 영상인 "Fichier" 영상에서 배경 부분은 특징값의 크기가 작으므로 비교적 큰 정합창이 선택되는 것을 볼 수 있다. 그러나 'Manege' 영상의 경우는 비교적 복잡한 영상으로 전체적으로 영상의 특징값들이 크기 때문에 비교적 작은 정합창으로 세밀한 정합이 수행됨을 볼 수 있다.
도 10 은 탐색범위40에서 각 정합 알고리즘을 통해 구한 "Fichier", "Manege"의 복원된 우영상을 각각 도시한다.
도 11 및 도 12 는 각 기법으로 합성된 복원된 영상과 원 영상 간의 오차영상(residual image)을 나타낸 것이다. 도시된 바와 같이, "Ficher", "Manage" 영상 모두 적응적 정합기법이 가장 원 영상과 차이가 적음을 알 수가 있으며 또한, 비교적 복잡한 'Manage'영상이 'Ficher' 보다 원 영상과의 차이가 적음을 알 수 있다.
도 13 및 도 14 는 전송된 좌영상과 변이정보로부터 각각의 정합방법을 사 용하여 워터마크가 삽입된 우영상을 복원하고 이들 복원영상으로부터 추출한 워터마크 영상을 나타낸 것이다.
표 1은 원 영상을 기준으로 하여 적응적 정합 방식과 기존의 화소 및 블럭(8×8) 기반 방식으로 복원된 각각의 스테레오 영상과 추출된 워터마크 영상에 대한 PSNR 결과를 나타낸 것이다.
Figure 112004016078550-pat00027
표 1에서 보면 복원 영상의 경우 적응적 정합방식이 기존 방식에 비해 'Fichier'는 6.59 dB, 'Manege'는 12.28 dB가 각각 향상되었고, 복원 영상으로부터 추출된 워터마크 영상의 경우는 적응적 정합방식이 기존 방식에 비해 'Fichier'은 2.43 dB, 'Manege'는 5.59 dB가 각각 개선됨을 알 수 있다.
특히, 표 1에서 복원영상의 PSNR이 높을수록 추출된 워터마크 영상의 PSNR값 또한 증가됨을 볼 수 있는데 이는 추출된 워터마크의 성능이 복원 영상의 성능에 직접적으로 연관되어 있음을 알 수 있다. 그리고, 도 13 (a) 및 (b) 와 도 16 (a) 및 (b)에 도시된 바와 같이 화소 및 블럭기반의 정합 기법으로 추출된 워터마크 영상의 성능이 본 발명의 적응적 방식에 비해 크게 떨어짐을 볼 수 있는데 이러한 결과는 화소기반 정합의 경우 세밀한 추정은 가능하지만 정합과정에서 오정합이 나타날 확률이 높고, 블럭기반 정합의 경우는 블록화 현상이 발생되기 때문이다.
또한, 도 13 의 (c)와 도 14 의 (c) 에 도시된 본 발명의 적응적 정합방식으로 추출된 워터마크 영상의 경우, 'Fichier' 영상 보다는 'Manege' 영상에서 추출된 워터마크의 성능이 우수함을 볼 수가 있다. 이는 비교적 단순하고 변이가 큰 ‘Fichier' 영상 보다 복잡하고 변이가 작은 'Manege' 영상에 제안된 정합 알고리즘이 보다 잘 적용되기 때문이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본 질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이, 본 발명은 적응적 정합(adaptive matching) 알고리즘에 기반한 변이 정합기법을 이용함으로써, 3차원 영상 컨텐츠에 워터마크를 삽입하고 추출할 수 있는 효과가 있다.

Claims (13)

  1. 제 1 영상 및 제 2 영상으로 구성되는 스테레오 영상에 워터마크를 삽입하고 추출하는 시스템으로서,
    상기 제 1 영상에 소정의 워터마크를 삽입하여, 워터마크 삽입 영상을 출력하는 워터마크 삽입부;
    상기 워터마크 삽입 영상 및 상기 제 2 영상으로부터 변이 정보를 추출하고, 상기 스테레오 영상 및 상기 변이 정보를 소정의 전송 채널로 전송하는 변이정보 추출부;
    상기 스테레오 영상 및 상기 변이 정보를 수신하고, 상기 변이 정보 및 상기 제 2 영상을 이용하여 상기 워터마크 삽입 영상을 복원하는 영상 복원부; 및
    상기 워터마크 삽입 영상 및 상기 제 1 영상으로부터 상기 워터마크를 추출하는 워터마크 추출부를 포함하되,
    상기 워터마크 추출부는 상기 복원된 워터마크 삽입 영상 및 상기 제 1 영상에 DCT 연산을 수행하여 각 영상의 DCT 계수를 출력하는 DCT 연산부; 상기 복원된 워터마크 삽입 영상의 DCT 계부로부터 상기 제 1 영상의 DCT 계수를 감산하여 상기 워터마크 정보를 출력하는 감산부; 및 소정의 시드값을 적용하여 상기 워터마크 정보로부터 워터마크를 생성하는 랜덤 시퀀스 생성기를 포함하는 것을 특징으로 하는 시스템.
  2. 제 1 항에 있어서, 상기 워터마크 삽입부는
    상기 제 1 영상에 대해서 소정 크기의 블록단위로 DCT 연산을 수행하여 DCT 계수값을 생성하는 DCT 연산부;
    상기 워터마크의 영상을 소정의 시드값을 이용하여 소정의 주파수 성분으로 재배치하여 워터마크 정보를 워터마크 결합부로 출력하는 램덤 시퀀스 생성기;
    상기 DCT 계수값의 소정의 주파수 영역을 캐스팅하여 상기 소정 주파수 성분으로 재배치된 워터마크를 삽입하는 워터마크 결합부; 및
    상기 워터마크가 결합된 DCT 계수값에 역 DCT 연산을 수행하여 상기 워터마크 삽입 영상을 출력하는 역 DCT 연산부를 포함하는 것을 특징으로 하는 시스템.
  3. 제 1 항에 있어서, 상기 변이정보 추출부는
    상기 제 2 영상을 소정 크기의 블록들로 분할한 후, 소정의 탐색 범위내에서 소정의 비용함수값을 최소로 하는 상기 워터마크 삽입 영상내의 블록을 정합 영상으로 선택하여 양 블록의 좌표값의 차이를 이용하여 변이 정보를 추출하는 것을 특징으로 하는 시스템.
  4. 제 1 항에 있어서, 상기 영상 복원부는
    적응적 정합 알고리즘에 따라서 정합창의 크기를 결정하여 상기 워터마크 삽입 영상을 복원하는 것을 특징으로 하는 시스템.
  5. 제 4 항에 있어서, 상기 적응적 정합 알고리즘은
    상기 스테레오 영상으로부터 추출된 특징값이 큰 경우에는 정합창의 크기를 작게 설정하고, 상기 특징값이 작은 경우에는 정합창의 크기를 크게 설정하는 방식인 것을 특징으로 하는 시스템.
  6. 삭제
  7. 제 1 영상 및 제 2 영상으로 구성되는 스테레오 영상에 워터마크를 삽입하고 추출하는 방법으로서,
    (a) 상기 제 1 영상에 소정의 워터마크를 삽입하여, 워터마크 삽입 영상을 생성하는 단계;
    (b) 상기 워터마크 삽입 영상 및 상기 제 2 영상으로부터 변이 정보를 추출하고, 상기 스테레오 영상 및 상기 변이 정보를 소정의 전송 채널로 전송하는 단계;
    (c) 상기 스테레오 영상 및 상기 변이 정보를 수신하고, 상기 변이 정보 및 상기 제 2 영상을 이용하여 상기 워터마크 삽입 영상을 복원하는 단계; 및
    (d) 상기 워터마크 삽입 영상 및 상기 제 1 영상으로부터 상기 워터마크를 추출하는 단계를 포함하되,
    상기 (d) 단계는 상기 복원된 워터마크 삽입 영상 및 상기 제 1 영상에 DCT 연산을 수행하여 각 영상의 DCT 계수를 생성하는 단계; 상기 복원된 워터마크 삽입 영상의 DCT 계부로부터 상기 제 1 영상의 DCT 계수를 감산하여 상기 워터마크 정보를 생성하는 단계; 및 소정의 시드값을 적용하여 상기 워터마크 정보로부터 워터마크를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서, 상기 (a) 단계는
    상기 제 1 영상에 대해서 소정 크기의 블록단위로 DCT 연산을 수행하여 DCT 계수값을 생성하는 단계;
    상기 워터마크를 소정의 시드값을 이용하여 소정의 주파수 성분으로 재배치하는 단계;
    상기 DCT 계수값의 소정의 주파수 영역을 캐스팅하여 상기 소정 주파수 성분으로 재배치된 워터마크를 삽입하는 단계; 및
    상기 워터마크가 결합된 DCT 계수값에 역 DCT 연산을 수행하여 상기 워터마크 삽입 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 7 항에 있어서, 상기 (b) 단계는
    상기 제 2 영상을 소정 크기의 블록들로 분할한 후, 소정의 탐색 범위내에서 소정의 비용함수값을 최소로 하는 상기 워터마크 삽입 영상내의 블록을 정합 영상으로 선택하여 양 블록의 좌표값의 차이를 이용하여 변이 정보를 추출하는 것을 특징으로 하는 방법.
  10. 제 7 항에 있어서, 상기 (c) 단계는
    적응적 정합 알고리즘에 따라서 정합창의 크기를 결정하여 상기 워터마크 삽입 영상을 복원하는 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서, 상기 적응적 정합 알고리즘은
    상기 스테레오 영상으로부터 추출된 특징값이 큰 경우에는 정합창의 크기를 작게 설정하고, 상기 특징값이 작은 경우에는 정합창의 크기를 크게 설정하는 방식인 것을 특징으로 하는 방법.
  12. 삭제
  13. 제 7 항 내지 제 11 항 중 어느 한 항의 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록매체.
KR1020040026948A 2004-04-20 2004-04-20 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템 KR100779113B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040026948A KR100779113B1 (ko) 2004-04-20 2004-04-20 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040026948A KR100779113B1 (ko) 2004-04-20 2004-04-20 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20050102155A KR20050102155A (ko) 2005-10-25
KR100779113B1 true KR100779113B1 (ko) 2007-11-27

Family

ID=37280397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040026948A KR100779113B1 (ko) 2004-04-20 2004-04-20 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100779113B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321896B1 (ko) 2012-05-23 2013-10-28 광운대학교 산학협력단 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법
KR20190067624A (ko) 2017-12-07 2019-06-17 한국과학기술원 시각피로도 기반 워터마킹 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349590B1 (ko) * 2019-10-14 2022-01-11 한국전자기술연구원 Lf 콘텐츠의 저작권 보호 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국통신학회논문지02-12 Vol. 27. No 12A

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321896B1 (ko) 2012-05-23 2013-10-28 광운대학교 산학협력단 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법
KR20190067624A (ko) 2017-12-07 2019-06-17 한국과학기술원 시각피로도 기반 워터마킹 장치 및 방법

Also Published As

Publication number Publication date
KR20050102155A (ko) 2005-10-25

Similar Documents

Publication Publication Date Title
Asikuzzaman et al. Robust DT CWT-based DIBR 3D video watermarking using chrominance embedding
US6693965B1 (en) Apparatus for and method of embedding and extracting digital information, and medium having program for carrying out the method recorded thereon
Wang et al. Watermarking for DIBR 3D images based on SIFT feature points
CN107222751B (zh) 基于多视点视频特征的3d-hevc深度视频信息隐藏方法
Chen et al. Robust contourlet-based blind watermarking for depth-image-based rendering 3D images
US20040228409A1 (en) Apparatus and method for encoding and decoding a moving picture using digital watermarking
Chammem et al. DWT-based stereoscopic image watermarking
KR20170101428A (ko) Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
US7936899B2 (en) Apparatus and method for watermarking using elemental images of integrated image having three-dimensional information
Pei et al. Auxiliary metadata delivery in view synthesis using depth no synthesis error model
Nam et al. NSCT-based robust and perceptual watermarking for DIBR 3D images
Salih et al. Imperceptible 3d video watermarking technique based on scene change detection
Hwang et al. Stereo image watermarking scheme based on discrete wavelet transform and adaptive disparity estimation
Dhaou et al. A review on anaglyph 3D image and video watermarking
Hwang et al. Real-time stereo image watermarking using discrete cosine transform and adaptive disparity maps
Jaipuria Watermarking for Depth Map Based 3D images using wavelet transform
KR100779113B1 (ko) 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템
Altun et al. A set theoretic framework for watermarking and its application to semifragile tamper detection
Yu et al. A new stereo image watermarking method for 3D media
Pei et al. A new 3D unseen visible watermarking and its applications to multimedia
Chen et al. A robust blind watermarking algorithm for depth-image-based rendering 3D images
Poolakkachalil et al. Summative stereoscopic image compression using arithmetic coding
KR101321896B1 (ko) 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법
Al Boridi et al. Wavelet decomposition-based stereoscopic 3-D video watermarking—A comparative study
Vázquez et al. 3D-TV: Coding of disocclusions for 2D+ depth representation of multiview images

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20111121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20121218

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee