KR20100091765A - 워터마크 삽입 및 검출 방법 - Google Patents

워터마크 삽입 및 검출 방법 Download PDF

Info

Publication number
KR20100091765A
KR20100091765A KR1020090011114A KR20090011114A KR20100091765A KR 20100091765 A KR20100091765 A KR 20100091765A KR 1020090011114 A KR1020090011114 A KR 1020090011114A KR 20090011114 A KR20090011114 A KR 20090011114A KR 20100091765 A KR20100091765 A KR 20100091765A
Authority
KR
South Korea
Prior art keywords
watermark
dct
frames
frame
coefficients
Prior art date
Application number
KR1020090011114A
Other languages
English (en)
Inventor
최두섭
도호석
최혁
김태정
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020090011114A priority Critical patent/KR20100091765A/ko
Publication of KR20100091765A publication Critical patent/KR20100091765A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

워터마크 검출 방법은 워터마크가 삽입된 복수의 프레임에 대해 각각 전체 DCT를 수행하는 단계, 및 각 프레임의 전체 DCT 영역에서 DCT 계수들이 프레임의 시간적 순서에 따라 증가 또는 감소하는 경향에 따라 워터마크를 검출하는 단계를 포함한다. 영상 데이터에 대한 여러 공격에 대해 강인한 워크마크를 제공할 수 있고, 워터마크의 삽입 또는 검출로 인한 연산의 복잡도가 낮다.
영상처리, 영상 압축, 워터마크, 워터마킹, MPEG

Description

워터마크 삽입 및 검출 방법{METHOD FOR EMBEDDING AND DETECTING WATERMARK}
본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 영상 데이터에 워터마크를 삽입하거나 영상데이터로부터 워터마크를 검출하는 방법 및 장치에 관한 것이다.
디지털 기술이 발달하면서 아날로그 미디어에 담긴 많은 컨텐츠들이 디지털화되어가고 있다. 디지털 신호는 아날로그와는 달리 복사 및 저장이 용이하기 때문에 사용자들에게 많은 편의성을 제공한다.
한편, 압축 기술의 발전과 저장장치 용량의 증가로 인해 초고속 인터넷을 이용한 네트워크나 각종 저장 미디어를 통해 사용자들에게 압축된 포맷의 고화질의 디지털 동영상을 제공하는 것이 가능하게 되었다. IPTV(Internet Protocol Televesion)와 VOD(Video On Demand)와 같은 서비스가 그 예이다. 또한 초고화질(full High-Definition)을 지원하는 디스플레이 장치와 녹화 장치의 발전으로 인해, 사용자가 화질이 감소가 거의 없이 보여지는 동영상을 녹화하는 것도 가능하게 되었다.
고화질 동영상의 디지털 복사본은 디지털 저작권 관리(Digital Right Management, DRM)에 의해 제공된 저작권 보호가 없다면 불법으로 배포될 수 있다. 불법복제 및 배포는 저작권자의 정당한 수입을 차단하고 창작 의욕마저 사라지게 하기 때문에 매우 심각한 문제이다.
디지털 컨텐츠의 불법 복제 및 배포를 방지하기 위해 디지털 워터마크(watermark)를 삽입하는(embed) 방법이 알려져 있다. 워터마크는 저작자(copyright owner), 퍼블리숴, 복제와 관련된 태그 등과 같은 지적 재산과 관련된 정보를 포함한다.
실제로, 워터마크는 인코더에서 디코더로 잡음 신호처럼 전달된다.
좋은 디지털 워터마킹을 위해서 다음과 같은 사항을 고려하는 것이 필요하다.
첫째, 투명성(transparency)이다. 워터마크가 원본 영상에 삽입될 때, 삽입 전후의 차이를 용이하게 인지할 수 없음을 말한다. 또한, 워터마크는 쉽게 추출되거나 손상되지 않아야 한다.
둘째, 강인성(robustness)이다. 워터마크는 신호 처리 과정을 수행한 후에 검출되어야 하는 것을 말한다. 워터마크는 여러 공격에 대해서도 보호될 수 있어야 한다.
워터마킹은 원본이 있어야 워터마크 검출이 가능한 논블라인드 워터마킹(non-blind watermarking)과, 원본이 없어도 워터마크 검출이 가능한 블라인드 워터마킹(blind watermarking)으로 나눌 수 있다.
M. Celik, J. Talstra, A. Lemma and S.Katzenbeisser, "Camcorder capture robust low-complexity watermarking of MPEG-2 bit-streams", ICIP 2007, vol. 5, pp. 489-492에 의하면, 논블라인드 워터마킹의 일 예를 개시하고 한다. 이는 인코딩 과정에서 필요한 DCT(Discete Cosine Transform) 행렬의 DCT 계수들(coefficients)을 변조(modulate)시킴으로써 워터마크를 삽입하는 방법을 개시하고 있다. 비트 '1'은 8*8 양자화 행렬에서 대각선(diagonal)을 중심으로 왼쪽 하단의 DCT 계수들의 값을 증가시키고 오른쪽 상단의 DCT 계수들의 값을 감소시킴으로써 삽입된다. 비트 '0'은 대각선을 중심으로 왼쪽 하단의 DCT 계수들의 값을 감소시키고 오른쪽 상단의 DCT 계수들의 값을 증가시킴으로써 삽입된다. 디코딩 과정에서, DCT 계수들이 대각선을 중심으로 어떠한 경향을 보이는지를 감지하여 워터마크를 검출한다.
논블라인드 워터마킹은 블라인드 워터마킹에 비해 워터마크를 비인지적으로 강인하게 삽입할 수 있다. 그러나 워터마크를 검출하기 위해서 원본 영상이 필요하므로 원본 영상을 소유한 몇 명 만이 디지털 콘텐츠에 삽입된 워터마크를 추출할 수 있는 제한된 분야로의 적용만이 가능하다. 또한 동영상의 경우 용량 자체가 너무 크기 때문에 워터마크의 추출을 위해 몇 기가바이트 단위의 원본 영상을 항상 소유하고 있어야 한다는 것은 워터마크를 추출하는 입장에서 비용이 많이 들고, 또한 원본 영상과 유출된 영상간의 동기화 과정이 매우 복잡해질 수 있다.
블라인드 워터마킹 방법은 워터마크의 검출을 위해 워터마크가 삽입되지 않은 원본이 필요 없기 때문에 비교적 적은 저장 공간을 필요로 한다는 장점이 있다.
워터마크의 삽입 또는 추출을 위한 복잡도가 낮고, 여러 공격에 강인하도록 워터마크를 삽입 또는 추출하는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 높은 강인성을 제공하는 워터마크 삽입 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 높은 강인성을 제공하는 워터마크 추출 방법을 제공하는 데 있다.
본 발명의 일 양태에 따른 워터마크 삽입 방법은 복수의 프레임에 대해 각각 전체 DCT(Discrete Cosine Transform)를 수행하는 단계, 및 각 프레임의 전체 DCT 영역에서 DCT 계수들을 증가 또는 감소시켜 워터마크를 삽입하는 단계를 포함한다.
상기 워터마크는 적어도 하나의 프레임에 걸쳐 상기 DCT 계수들의 평균을 증가 또는 감소시킴으로써 삽입될 수 있다..
상기 복수의 프레임 중 일부 프레임들의 DCT 계수들을 증가 또는 감소시키고, 나머지 프레임들의 DCT 계수들을 상기 일부 프레임들과 반대로 증가 또는 감소시킴으로써 상기 워터마크가 삽입될 수 있다.
상기 복수의 프레임은 K개이고, 앞선 (K-1)/2개의 프레임들의 DCT 계수들을 증가 또는 감소시키고, 다음 (K-1)/2개의 프레임의 상기 DCT 계수을 상기 앞선 프레임들의 DCT 계수들과 반대로 증가 또는 감소시킴으로써 상기 워터마크가 삽입될 수 있다.
상기 DCT 계수들은 AC 계수들이고, DC 계수는 포함되지 않을 수 있다.
상기 복수의 프레임들은 B(Bidirectionally predictive)-프레임일 수 있다.
본 발명의 다른 양태에 따른 워터마크 검출 방법은 워터마크가 삽입된 복수의 프레임에 대해 각각 전체 DCT를 수행하는 단계, 및 각 프레임의 전체 DCT 영역에서 DCT 계수들이 프레임의 시간적 순서에 따라 증가 또는 감소하는 경향에 따라 워터마크를 검출하는 단계를 포함한다.
영상 데이터에 대한 여러 공격에 대해 강인한 워크마크를 제공할 수 있다. 또한, 워터마크의 삽입 또는 추출로 인한 연산의 복잡도가 낮다.
이하의 기술은 다양한 비디오 압축 기술에 적용될 수 있다. 비디오 압축 기술로는 MPEG-1(Moving Picture Experts Group-1), MPEG-2, MPEG-4, H.261, H.263, H.264 등이 있다. 비디오 압축 기술은 디지털 텔레비전, DVD(digital versatile disc)와 같은 비디오/오디오 저장 시스템들과 같은 각종 분야에 응용될 수 있다.
설명을 명확히 하기 위해, 이하에서는 MPEG-2 표준을 기반으로 설명하나 본 발명의 기술적 사상이 이에 제한되는 것은 아니다.
도 1은 MEPG-2 표준에서 GOP(Group-of-Picture) 구조를 나타낸다. 영상 데이터는 GOP의 시퀀스로 구성된다. GOP는 복수의 프레임을 포함한다. 프레임은 I(intra)-프레임(도면에 'I'로 표시)과 인터-프레임(inter-frame)인 P(Predictive)-프레임(도면에 'P'로 표시)과 B(Bidirectionally predictive)-프레임(도면에 'B'로 표시)이 있다. I-프레임은 다른 프레임을 참조하지 않고 코딩되는 프레임을 의미한다. 인터-프레임은 다른 프레임을 참조하여 코딩되는 프레임을 의미한다. P-프레임은 선행하는(먼저 인코딩된) I-프레임을 통해 코딩되는 프레임이고, B-프레임은 선행 또는 후행하는 I-프레임 또는 P-프레임을 통해 코딩되는 프레임이다. I-프레임과 P-프레임은 원래 영상과 같은 순서로 코딩된다. B-프레임은 I-프레임과 P-프레임을 먼저 처리한 후 그 사이에 B-프레임이 코딩된다.
도 2은 MPEG-2 표준에 따른 영상 데이터의 인코딩 과정을 나타낸 블록도이다. 단계 S110에서, RGB 컬러 공간상의 원본 영상 데이터를 YUV 컬러 공간 상의 영상 데이터로 변환한다. 단계 S120에서, 영상 데이터는 GOP 단위로 나누어진다. 이때, GOP내의 각 프레임들은 I-프레임, P-프레임 및 B-프레임 중 적어도 어느 하나로 결정된다.
단계 S130에서, 프레임은 복수의 8*8의 블록으로 나누어지고, 각 블록들은 DCT(Discete Cosine Transform)가 수행된다. DCT 변환된 DCT 블록들은 다시 양자화(quantization)이 수행될 수 있다. 도 3은 DCT 블록의 일 예를 나타낸다. DCT 블록의 상단 좌측(upper left) 요소(도면에 'DC'로 표시)는 DC 계수라 하고, 나머지 요소들은 AC 계수라 한다. DC 계수에 가까운 AC 계수들을 저주파 영역에 속한다고 하고, DC 계수에 먼 AC 계수들을 고주파 영역에 속한다고 한다.
단계 S140에서, DCT 블록은 지그재그 패턴(도 3에 참조번호 30으로 표시)에 따라 순차적으로 스캔되어, 런 레벨 쌍(run level pair)으로 인코딩된다. 런 레벨 쌍은 (x,y)와 같은 2개의 숫자로 구성되며, x는 영이 아닌 값에 도달하기 전에 영인 값들의 갯수이고, y는 상기 영이 아닌 값이다. 도 3에 나타난 지그재그 패턴에 있어서, 런 레벨 쌍은 다음 표와 같다.
(DC), (0,2), (1,3), (1,-1), (1,-1), (EOB)
DC 계수로부터 스캔닝되는 다음 요소는 0이 아닌 값 '2'가 되고, 이때까지 영인 값들의 갯수는 '0'이므로 첫번째 런 레벨 쌍은 (0,2)가 된다. 'EOB(End of Block Code)'는 DCT 블록에서 더이상 영이 아닌 계수가 존재하지 않음을 나타낸다.
단계 S150에서, 런 레벨 쌍들은 순차적으로 허프만 코딩(Huffman Coding)이 수행되어, 비트 스트림으로 생성된다. 표 1의 런 레벨 쌍에 대해 호프만 코딩이 수행될 경우 결과는 다음 표와 같다.
(DC), (01000), (001001010), (0111), (0111), (10)
이제 본 발명에 따른 워터마크 삽입 및 추출 방법에 대해 기술한다.
워터마킹의 관점에서, 캠코더 녹화 공격(camcorder recording attack)은 회전(rotation), 가장자리 제거(cropping), 크기 조정(resizing) 등의 기하학적인 왜곡을 일으킬 수 있다. 따라서, 상기와 같은 공격이 있을 경우 삽입된 워터마크가 손상되어(tamper), 워터마크를 검출하지 못할 수 있다.
영상 압축시 DCT를 이용할 경우, DCT 영역에서 워터마크를 삽입하는 것이 효율적이다. 왜냐하면, 워터마킹을 위한 디코딩시 허프만 코딩과 역양자화(dequantization)만을 거치고서 워터마크를 삽입할 수 있기 때문이다. 따라서, 워터마크를 삽입하기 위한 노력을 최소화시킬 수 있다.
도 4는 기하학적인 처리로 인한 전체 DCT 계수의 변화를 나타낸 그래프이다. 전체 DCT 수행은 원본 영상과 동일한 사이즈로 DCT를 수행하는 것을 말한다. 원본 영상과 3도의 회전 변환, 5%의 가장자리 제거(crop 5%), 1.5배의 크기 조정 및 0.7배의 크기 조정된 왜곡 영상들의 DCT 계수들 간의 상대적인 에너지 변화량을 나타낸 것이다. 도 4의 (a)는 (5,1)번째 DCT 계수의 변화량이고, (b)는 (43,1)번째 DCT 계수의 변화량이다. 프레임마다 고주파(high-frequency) 영역에 속하는 (43,1)번째 DCT 계수의 변화량이 저주파 영역에 속하는 (5,1)번째 DCT 계수의 변화량보다 더 급격하게 변하는 것을 볼 수 있다. 이는 저주파 영역에서 원본 영상의 프레임들과 왜곡 영상의 프레임들간에 거의 차이가 없으나, 고주파 영역에서 원본 영상의 프레임들과 왜곡 영상의 프레임들간에 차이가 크다는 것을 보여준다. 이는 동영상이 회전, 크기 조정 등의 공격을 당하더라도 저주파 영역에 속하는 DCT 계수는 그 변화가 작음을 의미한다. 즉, 원본 영상의 왜곡된 부분은 고주파 영역에서 더 크게 영향을 미친다.
따라서, 워터마크는 저주파 영역에 속하는 전체 DCT 계수에 삽입되는 것이 영상의 왜곡으로 인한 영향을 더 작게 받을 수 있고, 높은 강인성을 보장할 수 있다. 이는 전체 DCT 영역에서 동작함으로 인한 공간적 동기화를 필요로 하지 않는 추가적 이익을 제공한다.
도 5는 본 발명의 일 실시예에 따른 워크마크 삽입 방법을 나타낸 순서도이다. 단계 S510에서, DCT를 수행하여 DCT 블록을 획득한다. 이때 영상에 대해 전체 DCT를 수행하여 전체 DCT 블록을 획득할 수 있다. 단계 S520에서, 전체 DCT 영역에서 프레임의 저주파 영역에 속하는 DCT 계수의 평균을 조정함으로써 워터마크를 삽입한다. 단계 S530에서, 워터마크가 삽입된 비트 스트림을 생성한다.
전체 DCT 영역에 속하는 DCT 블록에서 저주파 영역에 속하는 DCT 계수들의 평균을 변조하여 워크마크를 삽입한다. 이는 N*N의 DCT 블록에서 다음과 같은 수학식으로 나타낼 수 있다.
Figure 112009008504583-PAT00001
여기서, Δ는 상수, F(i,j)는 (i,i)번째 DCT 계수를 나타내고, S는 워터마크가 삽입되는 영역의 범위로 S<N이다. Δ는 미리 결정된 값일 수 있다. DC 계수(i=0, j=0)은 삽입 영역에 포함되지 않을 수 있다. 즉, 워터마크를 삽입하기 위한 변조는 AC 계수들에만 적용될 수 있다. DC 성분은 프레임 전체의 평균값을 의미하는데, DC 성분에 대한 변조는 사용자들에게 연속된 프레임이 깜빡거리는 것으로 보일 수 있기 때문이다.
워터마크를 나타내는 각 정보 비트는 연속된 복수(K)개의 프레임을 상기 수학식 1과 같이 변조함으로써 삽입할 수 있다. 상기 연속된 복수개의 프레임을 WGP(Watermarking Group of Pictures)라 한다. 바람직하게 상기 K는 홀수일 수 있다.
예를 들어, 비트 '1'을 삽입하기 위해서, 상기 수학식 1을 이용하여 WGP에 속하는 처음 (K-1)/2개의 프레임의 DCT 계수를 감소시키고, 마지막 (K-1)/2개의 프레임의 저주파 DCT 계수를 증가시킨다. 반대로 비트 '0'을 삽입하기 위해서, 상기 수학식 1을 이용하여 WGP에 속하는 처음 (K-1)/2개의 프레임의 저주파 DCT 계수를 증가시키고, 마지막 (K-1)/2개의 프레임의 저주파 DCT 계수를 감소시킨다.
따라서, 복수의 WGP를 정의한다면, 복수의 정보 비트들을 삽입할 수 있다. 예를 들어, 워터마크가 10비트의 정보라면, 10개의 WGP를 정의한다. 각 WGP에 속하는 DCT 계수의 평균을 증가 또는 감소시킴으로써 워터마크를 삽입할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 워터마크 삽입 방법을 나타낸다. 도 5의 실시예가 영상 압축 도중에 워터마크를 삽입하는 것이라며, 이는 영상 압축이 완료된 후에 워터마크를 삽입하는 것이다. 단계 S610에서, 영상 압축 기술에 따라 원본 영상을 압축하여 인코딩된 비트 스트림을 획득한다. 단계 S620에서, 비트 스트림에 대해 전체 DCT를 수행한다. 단계 S630에서, 복수의 프레임들에 대해 시간적 순서에 따라 DCT 계수들을 증가 또는 감소시킴으로써 워터마크를 삽입한다.
도 7은 본 발명의 일 실시예에 따른 워터마크 검출 방법을 나타낸 순서도이다. 단계 S710에서, 수신되는 압축된 영상 데이터를 디코딩한다. 단계 S720에서, 디코딩된 영상 데이터에 대해 전체 DCT를 수행한다. 단계 S730에서, 전체 DCT 영역에서 각 WGP별로 저주파 영역에 속하는 DCT 계수의 평균의 증가 또는 감소하는 경향에 따라 워터마크를 검출한다. 예를 들어, DCT 계수의 평균이 WGP에서 증가하는 경향을 보인다면 추출 결과는 비트 '1'이고, 감소하는 경향을 보인다면 추출 결과는 비트 '0'이다.
본 발명에서 제안된 워터마크 삽입 및 검출 방법은 캠코더 녹화 공격에 대하여 종래의 기술에 비해 두 가지 장점을 가진다.
첫 번째로, 프레임 비율 변환(frame-rate conversion)에 강인하다. 디지털 동영상의 프레임 비율은 그 동영상을 다른 프레임 비율로 녹화함으로써 쉽게 변환될 수 있다. 이는 보통 프레임을 주기적으로 또는 무작위적으로 버리거나 복사함으로써 행해진다. 그러나 이러한 경우에도 시간에 따른 DCT 계수의 평균의 증가/감소 경향은 유지되므로, 워터마크 또한 보존될 수 있다.
두 번째로, 프레임 간 평균화(inter-frame averaging)에 강인하다. 디지털 동영상이 캠코더를 사용하여 녹화될 때, 연속된 두 개 또는 세 개의 프레임이 하나의 프레임으로 평균되어 녹화될 수 있고, 또는 무작위적인 프레임의 버림이나 복사가 일어날 수도 있다. 그러나 이러한 경우에도 DCT 계수의 평균의 증가/감소 경향은 유지되므로, 워터마크 또한 보존될 수 있다.
워터마크의 성공적 검출을 위해 WGP의 경계를 찾는 동기화가 중요하다. 동기화를 위해 정보비트들에 선행하는 동기비트(synchronization bits)를 삽입한다. 도 8은 동기화를 위한 워터마크의 구성을 나타낸다. 정보비트들(720)에 동기비트(710)가 삽입된 워터마크를 보여준다. 동기비트(710)는 검출이 용이한 시퀀스로 구성될 수 있으며, 예를 들어, 이진의(binary) PN(Pseudo Noise) 시퀀스를 사용할 수 있다.
이제 MPEG-2 표준에 워터마크를 삽입하는 구체적인 예를 개시한다.
MPEG-2 표준은 8*8 크기의 DCT 블록을 사용하므로, 전제 DCT 영역에서 워터마크를 삽입하기 위해서는, 모든 8*8 크기의 DCT 계수의 IDCT와 모든 프레임에 대한 전체 DCT가 계산될 필요가 있다. 하지만 모든 프레임에 대하여 이와 같은 연산 을 반복하는 것은 연산량의 복잡도를 증가시키게 된다. 이는 다음의 수학식 2를 이용하여 간단하게 할 수 있다.
Figure 112009008504583-PAT00002
Figure 112009008504583-PAT00003
여기서, W의 부호(sign)는 정보비트에 따라 수학식 1과 같이 결정된다. cl ,m (1≤l≤L, 1≤m≤M)은 8*8 크기의 DCT 계수들의 행렬이다. DCT8은 8*8 블록의 DCT를 나타내고, IDCTfull(Λ)은 8L*8M 행렬 Λ의 IDCT를 나타낸다. 행렬 Λ는 다음과 같이 나타낼 수 있다.
Figure 112009008504583-PAT00004
W는 미리 계산되고 저장될 수 있는 일정한 행렬이다. 그러므로 W를 계산함으로써 부분적으로 디코딩된 8*8 DCT 계수에 워터마크를 직접 삽입할 수 있다.
도 9는 MPEG-2 표준에 따라 압축된 영상에 워터마크를 삽입하는 방법을 나타낸 블록도이다. 단계 S810에서, 허프만 코딩에 의해 획득된 K개의 프레임에 대한 비트 스트림에 대해 허프만 디코딩을 수행한다. 단계 S820에서, 디코딩된 데이터에 대해 역양자화를 수행하여, 8*8 크기의 cl ,m들을 획득한다. 단계 S830에서, 워터마크의 정보 비트에 따라 전체 DCT로 표현된 워터마크 W를 획득한다. 단계 S840에서, 워터마크가 삽입된 Cw를 획득한다. 단계 S850에서, 다시 양자화를 수행한다. 단계 S860에서, 허프만 코딩을 통해 워크마크가 삽입된 압축 영상을 획득한다.
MPEG-2 표준에서는 전체 DCT가 아닌 8*8 크기의 블록 DCT를 사용한다. 따라서, 전체 DCT 영역에서 DCT 계수들을 감소 또는 증가시키는 방식을 워터마크를 삽입하기 위해서는 각 블록마다 전체 DCT로 변환을 해야 한다. 하지만, 모든 프레임에 대해 블록마다 전체 DCT로 변환하는 것은 복잡도가 높을 수 있다. 따라서, 8*8 블록의 모임인 W를 미리 계산하고, W의 부호만 바꾸어가며 워크마크를 삽입하도록 함으로써 연산량을 줄일 수 있다.
워터마크 검출은 WGP 내의 완전히 디코딩된 프레임의 전체 DCT 영역에서 행해진다.
본 발명이 제안하는 방법에서 워터마크는 B-프레임에 삽입될 수 있다. 이는 워터마크의 표류(watermark's drift)를 방지하기 위함이다. 워터마크 표류란 한 프레임에 삽입된 워터마크가 다른 프레임으로 이동하는 현상을 말한다. I-프레임 또는 P-프레임에 워터마크를 삽입할 때에 워터마크 표류가 일어날 수 있는데, 이는 I-프레임 또는 P-프레임이 P-프레임 또는 B-프레임에서 움직임 예측을 할 때에 기준이 되는 프레임이기 때문이다. I-프레임 또는 P-프레임의 워터마크가 B-프레임의 워터마크로 이동하게 되면 B-프레임의 워터마크가 정확하게 검출되기 어렵다. 따라서 B-프레임에만 워터마크를 삽입하여 워터마크의 표류를 방지한다.
도 10은 MPEG-2 GOP 구조에서 본 발명의 일 실시예에 따른 워터마크의 삽입을 나타낸다. WGP는 5개의 프레임(K=5)로 구성되고, DCT 계수의 평균이 증가함으로써 정보비트 '1'이 삽입되는 경우이다. I-프레임과 P-프레임에는 워터마크가 삽입되지 않고, B-프레임에만 삽입된다. 만약 I-프레임과 P-프레임에도 워터마크가 삽입된다면 워터마크의 표류를 보상하기 위한 추가적인 계산이 필요하다. B-프레임에만 워터마크를 삽입하여 워터마크의 표류 보상을 피할 경우, 총 계산량은 1/5로 줄어든다.
이제 제안된 워터마킹 구조에 대한 실험 결과를 개시한다.
제안된 워터마킹 구조는 일반적으로 사용되는 4개의 352*288의 픽셀 사이즈, 12초의 길이, 25 프레임 비율을 가진 테스트 비디오에서 테스트된다. 각 MPEG-2의 압축된 비디오에서, 50개의 정보비트들이 15비트의 길이를 가진 동기화 비트들과 내장된다. K=5일 때 워터마크 정보 전달량은 4.17 bps(bits per second)가 필요하다. 워터마킹 내장을 위해서 U-영역을 선택하는 데, 이는 회색 스케일(gray-scale) 변환에서 워터마크를 잃을 위험이 있지만 U-영역이 일반적으로 왜곡에 덜 민감하기 때문이다. 워터마크의 내장과 추출을 위해서 S=11로 둔다. 캠코더 녹화 공격 하에서 성능을 시험하기 위해서 각 비디오에 대해서 30개의 녹화본이 24인치 LCD 스크린에서 2.5m 떨어진 위치에서 디지털 캠코더를 이용해서 만들어졌다.
표 3은 워터마크된 비디오의 프레임의 가장 작은 PSNR과 그에 해당하는 선택 된 Δ과, 서로 다른 양자 스켈링 팩터(quantization scaling factor, qS)로 압축이 된 비디오의 U-영역에서의 비트 레이트의 증가를 보여준다.
Figure 112009008504583-PAT00005
PSNR을 계산할 때, 원본 영상 데이터과 워터마크된 영상 데이터의 압축된 버전을 사용하고, U-영역만이 고려된다. Δ값은 실험적으로 저주파 영역에 속하는 DCT 계수의 평균의 변동에 기초하여 선택된다. 상기 표에 의하면, 워터마크된 비디오가 PSNR에서 충분한 품질을 유지하는 것을 볼 수 있다.
표 4는 비트 에러 비율의 평균을 나타낸다. 이 실험에서, 기하학적, 트랜스코딩(trans-coding), 프레임 비율 변환 공격을 위해서 'VirtualDubMOD 1.5.10.2'를 사용하였다. 이 소프트웨어는 비디오 편집을 위해서 널리 사용되며, 공중에게 공개되어 있다.
Figure 112009008504583-PAT00006
'Crop 10%'는 각각의 워터마크된 비디오 프레임으로부터 약 10%의 행과 열의 픽셀이 제거됨을 의미한다. 표 4에서 보여지듯이, 제안된 알고리듬은 테스트 비디오에 대한 주어진 기하학적인 캠코더 녹화 공격에 매우 강인함을 보여준다.
또한, 프레임 비율 변환에 대한 강인함을 조사하기 위해, 워터마크된 비디오의 프레임 비율을 다른 비율로 변환시키고, 이를 다시 원래의 25fps로 변환시키는 실험이 수행되었다. K=5일 때, 제안된 알고리듬은 30fps, 29.97fps, 24fps, 23.97fps, 20fps 등 일반적으로 비디오 편집에 사용되는 비율을 커버한다. 마지막으로, 워터마크 내장과 추출 사이의 컬러 세팅의 다소의(moderate) 변화는 제안된 워터마킹 알고리듬의 성능에 거의 영향이 없음을 알 수 있다. 이는 WGP의 모든 프레임에 적용되는 같은 색 보정은 워터마킹에 의해 만들어지는 임시적 조정에 영향을 미치지 않기 때문이다.
제안된 워터마킹 기술에 의하면, 캠코더 녹화 공격에 대해 강인함에 향상시킬 수 있다. 개시된 실험들은 제안된 방법이 캠코더 녹화 공격과 다른 기하학적 처리 공격에 잘 견디는 것을 확인시키고 있다.
도 11은 본 발명의 일 실시예에 따른 영상 압축을 위한 인코더와 영상 복원을 위한 디코더를 나타낸 블록도이다. 인코더(800)는 인코딩 프로세서(810)와 워터마크 버퍼(820)를 포함한다. 워터마크 버퍼(820)는 워터마크를 나타내는 정보비트들을 포함한다. 인코딩 프로세서(810)는 영상 데이터를 압축 인코딩하며, 전체 DCT 영역에서 워터마크를 삽입한다. 인코딩 프로세서(810)는 전술한 워터마크 삽입 방법에 따라 영상 데이터에 워터마크를 삽입하여 워터마킹된 비트 스트림을 출력할 수 있다. 제안된 워터마크의 삽입은 영상 압축이 진행되는 도중에 수행될 수도 있고, 영상 압축이 완료된 후에 수행될 수 있다. 디코더(900)는 디코딩 프로세서(910)를 포함한다. 디코딩 프로세서(910)는 압축된 영상을 디코딩하고, 워터마킹된 비트 스트림으로부터 워터마크를 검출한다.
본 발명은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로 프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.
도 1은 MEPG-2 표준에서 GOP(Group-of-Picture) 구조를 나타낸다.
도 2은 MPEG-2 표준에 따른 영상 데이터의 인코딩 과정을 나타낸 블록도이다.
도 3은 DCT 블록의 일 예를 나타낸다.
도 4는 기하학적인 처리로 인한 DCT 계수의 변화를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따른 워크마크 삽입 방법을 나타낸 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 워터마크 삽입 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 워터마크 검출 방법을 나타낸 순서도이다.
도 8은 동기화를 위한 워터마크의 구성을 나타낸다.
도 9는 MPEG-2 표준에 따라 압축된 영상에 워터마크를 삽입하는 방법을 나타낸 블록도이다.
도 10는 MPEG-2 GOP 구조에서 본 발명의 일 실시예에 따른 워터마크의 삽입을 나타낸다.
도 11은 본 발명의 일 실시예에 따른 영상 압축을 위한 인코더와 영상 복원을 위한 디코더를 나타낸 블록도이다.

Claims (10)

  1. 복수의 프레임에 대해 각각 전체 DCT(Discrete Cosine Transform)를 수행하는 단계; 및
    각 프레임의 전체 DCT 영역에서 DCT 계수들을 증가 또는 감소시켜 워터마크를 삽입하는 단계를 포함하는 워터마크 삽입 방법.
  2. 제 1 항에 있어서,
    상기 워터마크는 적어도 하나의 프레임에 걸쳐 상기 DCT 계수들의 평균을 증가 또는 감소시킴으로써 삽입되는 것을 특징으로 하는 워터마크 삽입 방법.
  3. 제 1 항에 있어서,
    상기 복수의 프레임 중 일부 프레임들의 DCT 계수들을 증가 또는 감소시키고, 나머지 프레임들의 DCT 계수들을 상기 일부 프레임들과 반대로 증가 또는 감소시킴으로써 상기 워터마크가 삽입되는 것을 특징으로 하는 워터마크 삽입 방법.
  4. 제 1 항에 있어서,
    상기 복수의 프레임은 K개이고,
    앞선 (K-1)/2개의 프레임들의 DCT 계수들을 증가 또는 감소시키고, 다음 (K-1)/2개의 프레임의 상기 DCT 계수을 상기 앞선 프레임들의 DCT 계수들과 반대로 증 가 또는 감소시킴으로써 상기 워터마크가 삽입되는 것을 특징으로 하는 워터마크 삽입 방법.
  5. 제 1 항에 있어서,
    상기 DCT 계수들은 AC 계수들이고, DC 계수는 포함되지 않는 것을 특징으로 하는 워터마크 삽입 방법.
  6. 제 5 항에 있어서,
    상기 AC 계수들은 DC 계수에 가까운 저주파 영역에 속하는 것을 특징으로 하는 워터마크 삽입 방법.
  7. 제 1 항에 있어서,
    상기 복수의 프레임들은 B(Bidirectionally predictive)-프레임인 것을 특징으로 하는 워터마크 삽입 방법.
  8. 워터마크가 삽입된 복수의 프레임에 대해 각각 전체 DCT를 수행하는 단계; 및
    각 프레임의 전체 DCT 영역에서 프레임의 시간적 순서에 따라 DCT 계수들이 증가 또는 감소하는 경향에 따라 워터마크를 검출하는 단계를 포함하는 워터마크 검출 방법.
  9. 제 8 항에 있어서,
    상기 워터마크는 적어도 하나의 프레임에 걸쳐 상기 DCT 계수들의 평균이 증가 또는 감소하는 경향에 따라 검출되는 것을 특징으로 하는 워터마크 검출 방법.
  10. 제 8 항에 있어서,
    상기 복수의 프레임은 압축된 영상를 디코딩하여 얻어진 것을 특징으로 하는 워터마크 검출 방법.
KR1020090011114A 2009-02-11 2009-02-11 워터마크 삽입 및 검출 방법 KR20100091765A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090011114A KR20100091765A (ko) 2009-02-11 2009-02-11 워터마크 삽입 및 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090011114A KR20100091765A (ko) 2009-02-11 2009-02-11 워터마크 삽입 및 검출 방법

Publications (1)

Publication Number Publication Date
KR20100091765A true KR20100091765A (ko) 2010-08-19

Family

ID=42756907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090011114A KR20100091765A (ko) 2009-02-11 2009-02-11 워터마크 삽입 및 검출 방법

Country Status (1)

Country Link
KR (1) KR20100091765A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101310140B1 (ko) * 2012-01-19 2013-09-23 금오공과대학교 산학협력단 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법
KR101528300B1 (ko) * 2013-10-10 2015-06-11 조선대학교산학협력단 Ac 계수를 이용한 jpeg 압축 이미지의 워터마크 삽입 및 추출 방법
CN105657431A (zh) * 2016-02-01 2016-06-08 杭州当虹科技有限公司 一种基于视频帧dct域的水印算法
KR20190029330A (ko) 2017-09-12 2019-03-20 주식회사 이노티움 화면 워터마크 표출 방법 및 이를 위한 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101310140B1 (ko) * 2012-01-19 2013-09-23 금오공과대학교 산학협력단 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법
KR101528300B1 (ko) * 2013-10-10 2015-06-11 조선대학교산학협력단 Ac 계수를 이용한 jpeg 압축 이미지의 워터마크 삽입 및 추출 방법
CN105657431A (zh) * 2016-02-01 2016-06-08 杭州当虹科技有限公司 一种基于视频帧dct域的水印算法
CN105657431B (zh) * 2016-02-01 2018-06-26 杭州当虹科技有限公司 一种基于视频帧dct域的水印算法
KR20190029330A (ko) 2017-09-12 2019-03-20 주식회사 이노티움 화면 워터마크 표출 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
Noorkami et al. Compressed-domain video watermarking for H. 264
US7092546B2 (en) Digital watermarking technique
KR100553469B1 (ko) 전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치
Choi et al. A blind MPEG-2 video watermarking robust to camcorder recording
US20040223612A1 (en) Motion picture data processing device, method, and program
CN107852504B (zh) Dc系数域中的mpeg-2视频水印技术
KR20100091765A (ko) 워터마크 삽입 및 검출 방법
Mansouri et al. Toward a secure video watermarking in compressed domain
US8848791B2 (en) Compressed domain video watermarking
Chen et al. H. 264 video authentication based on semi-fragile watermarking
Zhang et al. A video watermarking algorithm of H. 264/AVC for content authentication
Jiang et al. Video watermarking scheme based on MPEG-2 for copyright protection
CN116095341A (zh) 一种水印嵌入方法、装置、设备以及存储介质
Stankowski et al. Fast watermarking of MPEG-4 AVC/H. 264 encoded HDTV video bitstreams
Wang A blind mpeg-2 video watermarking robust to regular geometric attacks
CN115150627B (zh) 一种基于dst的抗视频压缩鲁棒性盲水印方法
Siast et al. Digital watermarking with local strength adjustment for avc-compressed hdtv bitstreams
Yuan et al. A robust video watermarking algorithm based on sliding window for AVS
Basha et al. Survey on patended and unpatented video watermarking techniques
Kang et al. Real-time video watermarking for MPEG streams
Callau et al. Exhibition QIM-based watermarking for digital cinema
JP4020302B2 (ja) 情報埋め込み装置および情報抽出装置
Huang Research on the MPEG-2 video watermarking scheme based on spread spectrum technology
Liang et al. Video watermarking combining with hybrid coding scheme
Kang et al. Real-time video watermarking for MPEG streams

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application