KR101424751B1 - 2진 스트림을 워터마킹하는 방법 - Google Patents

Abstract

본 발명은 예측 가능하게 코딩된 계수라고 부르는, 예측 코딩에 의해 인코딩된 적어도 하나의 계수를 포함하는 한 세트의 계수를 인코딩하는 것으로부터 생기는 2진 스트림을 워터마킹하는 방법에 관한 것이다. 이 방법은 a) 상기 2진 스트림에서 상기 예측 가능하게 코딩된 계수를 나타내는 제 1의 2진 워드를 식별하는 단계, b) 적어도 하나의 워터마킹 비트에 기초하여 상기 예측 가능하게 코딩된 계수로부터 수정된 계수를 계산하는 단계, c) 상기 수정된 계수를 제 2의 2진 워드로 인코딩하는 단계, 및 d) 상기 2진 스트림에서 상기 제 1의 2진 워드를 상기 제 2의 2진 워드로 대체하는 단계를 포함한다.

Description

2진 스트림을 워터마킹하는 방법{METHOD OF WATERMARKING A BINARY STREAM}

본 발명은 비디오 워터마킹 방법에 관한 것이다. 본 발명의 분야는 압축된 비디오 스트림을 워터마킹하는 것이다.

비디오는 실제로 매우 자주 압축된 포맷(MPEG1, MPEG2, MPEG4-H264, divX, VC1, DV25 등)으로 다루어지고, 저장되며, 교환되어, 송신 비트 속도, 저장 공간의 크기 또는 처리 시간을 감소시키는 것을 가능하게 한다. 자주 이들 비디오를, 예컨대 VoD(Video on Demand) 애플리케이션용으로 워터마킹하고자 하는 욕구가 존재하고, 각 수령인을 위한 고유한 식별자(지문)을 가지고 보내진 각 스트림을 워터마킹하고자 하는 욕구가 존재한다{저작권 침해(piracy) 발생시, 유죄인 수령자가 발견될 수 있도록}. 이 애플리케이션에서 비디오는 압축된 포맷(예컨대, MPEG2 또는 H264)으로 저장되고 보내진다. 워터마크는 파일을 요청한 사용자에 의해 그 파일이 다운로드되기 바로 전에 삽입된다. 이후 그것은 그것의 픽셀 형태로 비디오를 워터마킹하는데 있어서 비효율적이 되는데, 즉 그것은 압축해제되고(decompressed), 워터마킹되며 다시 압축될 것을 필요로 하게 된다. 계산 시간에 있어서의 과도한 오버헤드(overhead)와는 별개로, 비디오를 압축해제/재압축하는 행위는 그것의 가시(visual) 품질에 해로운 영향을 미치고, 삽입된 워터마크를 약하게 한다.

보이지 않는 정도(invisibility), 우툴두툴함(ruggedness) 및 끼워 넣어질 용량(capacity)에 관한 종합적이 요구사항 외에, 스트림 워터마킹 시스템은 또한 대부분 신속하게 기입하고, 비디오 스트림의 크기를 증가시키지 않으며, 심지어 최초 스트림과 엄격히 동일한 크기의 스트림을 만들어낼 필요가 있다. 이 중 마지막 요구사항은 충족시키기 어려운데, 이는 이미지 데이터 자체에 대한 임의의 변경이 비디오 스트림에 매우 주요한 변화를 초래할 수 있어, 가능하게는 그 크기를 수정할 수 있기 때문이다. 일반적으로, 스트림을 워터마킹하는 행위는 그것의 크기를 증가시켜, 네트워크에서의 비트 속도가 제한될 때 문제를 일으킨다.

본 발명의 목표는 신속하고 최초 스트림의 크기에 가까운 크기를 가지는 스트림을 발생시키는 스트림 표시 시스템을 제안함으로써, 이들 결점들 중 적어도 하나를 극복하는 것이다.

이를 위해, 본 발명은 예측 가능하게 코딩된 계수라고 부르는 예측 코딩에 의해 인코딩된 적어도 하나의 계수를 포함하는 계수의 한 세트를 인코딩하는 것으로부터 생기는 2진 스트림을 워터마킹하는 방법에 관한 것이다. 이 방법은

a) 2진 스트림에서, 예측 가능하게 코딩된 계수를 나타내는 제 1의 2진 워드를 식별하는 단계,

b) 적어도 하나의 워터마킹 비트에 기초하여 예측 가능하게 코딩된 계수로부터 수정된 계수를 계산하는 단계,

c) 수정된 계수를 제 2의 2진 워드로 인코딩하는 단계, 및

d) 2진 스트림에서, 제 2의 2진 워드로 상기 제 1의 2진 워드를 대체하는 단계를 포함한다.

유리하게, 예측 가능하게 코딩된 계수를 수정함으로써, 이러한 워터마킹 방법은 최초 스트림의 크기에 가깝게 워터마킹된 스트림의 크기를 유지하면서 더욱 견고하게 만들어진다.

특별한 일 양상에 따르면, 이러한 계수는 이산 코사인 변환된 계수이고, 예측 가능하게 코딩된 계수는 널(null) 주파수이다.

본 발명의 일 양상에 따르면, 수정된 계수는 예측 가능하게 코딩된 계수와, 적어도 하나의 워터마킹 비트로부터 유래된 표시 값의 합으로서 계산된다.

본 발명의 또다른 양상에 따르면, 계수의 세트는 적어도 2개의 예측 가능하게 코딩된 계수, 제 1 계수 및 제 2 계수를 포함한다.

본 발명의 일 양상에 따르면, 이 방법은 식별 단계 a) 전에, 적어도 2개의 계수 중에서 하나의 계수를 선택하는 단계를 더 포함하고, 단계 a) 내지 단계 d)는 선택된 계수에 대해 적용된다.

본 발명의 일 특징에 따르면, 선택된 계수는 워터마킹 키에 따라 선택된다.

본 발명의 또다른 특징에 따르면, 선택된 계수는 미리 결정된 가시도 기준에 따라 선택된다.

본 발명의 또다른 양상에 따르면, 단계 a) 내지 단계 d)는 제 1 계수에 대해 적용되고, 이 방법은 제 2 계수에 대해 적용된 다음 단계들, 즉

- 2진 스트림에서 제 2 계수를 나타내는 제 3의 2진 워드를 식별하는 단계,

- 제 2 계수로부터 표시 값을 뺌으로써 제 2의 수정된 계수를 계산하는 단계,

- 제 2의 수정된 계수를 제 4의 2진 워드로 인코딩하는 단계, 및

- 2진 스트림에서 제 3의 2진 워드를 제 3의 2진 워드로 대체하는 단계를

더 포함한다.

본 발명은 적어도 하나의 예측 가능하게 코딩된 계수를 포함하는 계수의 세트를 인코딩하는 것으로부터 생기는 2진 스트림을 저장하기 위한 저장 유닛에 관한 것으로, 상기 저장 유닛은 표시 맵(marking map)을 더 포함하고, 이 맵은 각각의 예측 가능하게 코딩된 계수에 관해, 최초 2진 워드라고 부르는 2진 워드의 위치를 표시하는 상기 2진 스트림의 시작에 관한 오프셋 값을 표시하고, 상기 예측 가능하게 코딩된 계수를 나타내고, 상기 오프셋 값을 상기 최초 2진 워드를 대체하여 삽입될 수정된 2진 워드와 연관시키는 것을 특징으로 한다.

일 양상에 따르면, 수정된 2진 워드는 수정된 계수를 인코딩함으로써 발생되고, 그 자체는 워터마킹 비트에 기초하여 상기 예측 가능하게 코딩된 계수로부터 계산된다.

본 발명은 첨부 도면을 참조하여, 완전히 비제한적인 유리한 예시적인 실시예와 구현 모드에 의해 더 잘 이해되고 예시된다.

본 명세서에서의 설명은 MPEG2 포맷의 특별한 경우에 기초한다. 이러한 바람직한 실시예에 따르면, 스트림의 일정한 파라미터와 계수가 다른 값으로 대체되는 데, 이는 워터마크를 삽입하기 위해서이다. 워터마크의 견고함을 보장하기 위해, DC 계수는 유리하게 수정될 수 있다.

MPEG2에 따른 차동(differential) 코딩을 가지고 인코딩되는 DC 계수로 설명된 본 발명은, 예측 코딩으로 인코딩되는 다른 타입이 계수에 대해 적용될 수 있다.

MPEG2에서는, 3가지 타입의 인코딩된 이미지, 즉 I(인트라) 이미지, P(Predicted) 이미지, 및 B(Bidirectional) 이미지가 존재한다. 인트라 이미지는 독립적으로 코딩되는데 반해, P 이미지와 B 이미지는 1개 또는 2개의 기준 이미지에 기초하여 시간적인(temporal) 예측에 의해 인코딩된다. P 이미지에 관한 기준 이미지(고유한)는 선행하는 인트라 이미지이어야 한다. B 이미지에 관해서는, 기준 이미지가 선행하거나 다음에 오는 인트라 이미지 또는 예측된 이미지이다. 상이한 타입의 이미지가 GOP(Group Of Pictures)에서 결합되고, 각각의 GOP는 적어도 하나의 인트라 이미지를 담고 있다.

각 이미지는 16 ×16 크기의 매크로블록으로 분할된다. 각 매크로블록은 이후 8 ×8 크기의 4개의 블록으로 하위 분할된다. 각 매크로블록은 I,P 또는 B 타입의 것일 수 있다. I 이미지가 I 블록만을 담고 있는데 반해, P 또는 B 이미지는 I-타입 블록들을 담고 있을 수 있다. 매크로블록들은 이후 슬라이스에서 결합되고, 하나의 슬라이스는 일정 개수의 연속하는 매크로블록들을 포함하고, 이들은 모두 동일한 수직 위치, 즉 매크로블록들의 동일한 라인 상에 위치한다.

인트라 매크로블록의 각 블록은 인코딩 전에 DCT(Discrete Cosine Transform) 변환되어, DC 성분(주파수 0,0)과 63개의 AC 계수가 각 블록에 관해 얻어진다. 이후 현재 DC 계수라고 하는 현재 블록의 DC 계수가 예측에 의해 인코딩된다. 이 현재 DC 계수와, 선행하는 DC 계수라고 하는 선행하는 블록의 DC 계수 사이의 차이 값이 송신된다. 블록의 구문이 문서 ISO/IEC 13818-2에서와 동일한 규약에 따라 의사-코드(pseudo-code)의 형태로 배열에서 아래에 보여진다. 특히, 연산자 '=='는 "같다(equal to)"라는 것을 의미한다. 연산자 '!'는 "NOT" 논리 연산자이다.

dct_dc_differential은 선행하는 DC 계수와 현재의 DC 계수 사이의 차이 값을 인코딩한다. 그것의 크기는 0과 11 사이의 값을 취하는 dct_dc_size 비트이다(만약 그것이 0과 같다면, dct_dc_differential은 송신되지 않고, 선행하는 블록으로부터의 차이는 0이다). Dct_dc_size 비트 그 자체는 휘도를 위해 2비트와 9비트 사이의 크기의 가변 길이 코드(VLC: variable length code)에 의해 인코딩된다. 가변 길이 인코딩 테이블은 그것이 처리되는 크로미넌스(chrominance) 성분 중 하나 또는 휘도인지에 따라 상이하다. 디코더 측면에서는, 현재 블록의 DC 값이 예측기, 즉 선행하는 DC 계수의 값을 차동 dct_dc_differential의 값에 더함으로써 얻어진다. 예측기(다음 블록에 관한)는 이후 현재의 DC 계수의 값을 취한다.

예측기는 다음과 같은 경우 리셋된다.

·슬라이스의 시작시,

·비(non)-인트라 블록과 마주칠 때,

·코딩되지 않은 매크로블록{또는 "스킵한(skipped) 매크로블록"}과 마주칠 때.

예측기의 리셋 값은 구조인 picture_coding_extension에서 송신된 파라미터인 인트라_dc_precision에 의존한다.

워터마크는 인트라 블록들의 DC 계수들의 값을 수정함으로써 삽입된다. 이 수정은 파라미터인 dct_dc_differential을 수정함으로써 스트림에서 직접 행해질 수 있다. 만약 필요시, 워터마킹 후 dct_dc_differential에 의해 취해진 새로운 값이 dct_dc_size 비트에 대해 인코딩될 수 없다면, 또한 나중 값을 수정하는 것이 필수적이 된다. 이러한 경우, 얻어진 스트림의 크기는 워터마킹 후 변할 수 있는데, 이는 dct_dc_size가 가변 길이 코드에 의해 인코딩되기 때문이다. 스트림의 크기를 엄격히 유지하고자 하는 바람이 있다면, 계수인 dct_dc_differential이 워터마킹으로부터 배제될 수 있는데, 계수인 dct_dc_differential의 수정 또한 dct_dc_size를 수정하는 것을 수반한다. 일 변형예에 따르면, dct_dc_size에 대한 변경은 얻어진 가변 길이 코드의 워드가 동일한 크기인 경우에만 인가된다. 또한 VLC 워드의 크기가 약간 증가하는 것은 스터핑(stuffing) 비트의 개수의 감소에 의해 보상된다. 그러므로 후자의 경우, 스트림의 크기는 수정되지 않는다. 이 방법의 한 가지 장점은 그것의 구현이 간단하다는 점이다. 실제로 스트림을 워터마킹하는 것은 단지 매우 작은 개수의 파라미터를 수정하는 것을 수반한다. 이들 수정은 DC 계수의 차동 코딩으로 인해 각 수정된 슬라이스에 걸쳐 유리하게 전파된다(그러므로 워터마킹을 더 견고하게 만든다). 그러므로 워터마킹 동작은 매우 빨라질 수 있다. 이 방법은 엄격히 dct_dc_size의 크기가 제어된다면 최초 스트림의 크기를 유지시키고, 그렇지 않으면 근사적으로 유지시킨다.

이 방법은 또한 스트림의 매우 작은 부분을 수정함으로써, 대응하는 이미지의 중요한 부분에 걸쳐 워터마크를 삽입하는 것을 가능하게 한다. 이는 DC 계수의 차동 코딩으로 인한 것이다. 예측 코딩으로 코딩된 계수를 가지고 동일한 효과가 얻어질 수 있다. 실제로, DC 계수의 인코딩이 차동, 즉 한 블록에 대한 dct_dc_differential의 값을 수정하는 것은, 슬라이스에서의 모든 계속되는(즉, 현재 블록의 우측으로) 블록에 대해 DC의 효율적인 수정을 가져온다는 것이 알려졌다. 따라서 워터마크의 견고함이 증가된다.

워터마크는 P 이미지와 B 이미지의 인트라 블록들 및/또는 인트라 이미지들 위에 삽입될 수 있다. 후자의 경우, 워터마크는 슬라이스에서 수정된 블록을 따르는 인트라 블록들에 대해서만 전파된다.

이제 워터마크 변조 알고리즘의 보다 정밀한 설명이 이어진다.

제 1 실시예에 따르면, 추가 변조 알고리즘이 워터마크를 삽입하기 위해 사용된다. bi를 삽입될 워터마크 비트라고 하자(bi=1 또는 -1). N개의 슬라이스의 한 세트{S(k)}가 워터마킹 키 및/또는 가시도 기준을 사용하여 선택된다. 각각의 S(k)에 관해, (k,j)가 블록의 좌표인, 위에서 설명된 DC 인코딩의 크기 기준에 따라 수정 가능한 블록으로서 간주된 제 1 블록인 B(k,j)가 식별된다. 블록인 B(k,j)의 파라미터인 dct_dc_differential(k,j)이 이후 수정된다.

dct_dc_differential'(k,j) = dct_dc_differential(k,j) + α.bi

dct_dc_differential'(k,j)는 수정된 값이고, α는 워터마크의 견고함과 가시도를 제어하기 위해 사용될 수 있는 진폭 인자(정수, 예컨대 α= 1)이다. 그것은 1개의 슬라이스로부터 다음 슬라이스로 변할 수 있다. dct_dc_differential'(k,j)의 크기가 dct_dc_differential(k,j)의 크기와 상이하다면, dc_size의 값 또한 그에 따라 수정된다.

제 2 실시예에 따르면, 대체 가능한 변조 알고리즘이 워터마크를 삽입하기 위해 사용된다. Zhao 및 Koch 알고리즘으로부터 유래된 이 알고리즘은 다음과 같은 방식으로 작용한다. 슬라이스인 S(k1)와 S(k2)의 한 쌍이 고려된다. S(k1) 및/또는 S(k2)는 이후 수정되어 다음 순서 관계를 얻는다.

- Avg(S'(k1)) = Avg(S'(k2)) + αbi(수학식 1)

Avg(S)는 슬라이스(S)에 포함된 모든 픽셀의 휘도 값의 평균을 나타낸다. 예컨대, 다음과 같은 순서 관계를 얻는 것이 가능하다.

- d = Avg(S(k2)) - Avg(S(k1)) + αbi(수학식 2)

- Avg(S'(k1)) = Avg(S(k1)) + d

- Avg(S'(k2)) = Avg(S(k2))

먼저, d는 수학식(2)을 사용하여 계산된다. 이후 S'(k1)이 다음과 같이 제 1 수정 가능한 블록인 B(k,j)의 파라미터인 dct_dc_differential(k,j)를 수정함으로써 얻어진다.

dct_dc_differential'(k,j) = dct_dc_differential(k,j) + d

슬라이스 S'(k2)는 바뀌지 않은 채로 있다. 이후 파라미터인 dct_dc_size는 필요하다면 기록된다. 수학식(1)의 순서 관계 또한 S(k1)과 S(k2) 모두를 수정하거나 S(k2)만을 수정함으로써 얻어질 수 있다.

워터마크의 가시도를 감소시키기 위해서, 동일한(또는 매우 유사한) 평균의 슬라이스들의 쌍을 고르는 것이 가능하다. 위 방법을 가지고, 슬라이스의 모든 또는 매우 큰 부분이 수정된다.

제 2 실시예의 변형예에 따르면, 변경 범주가 감소될 수 있다. 실제로, 블록인 B(x₀,y)의 계수 DC를 수정하는 것은 블록들인 B(x>=x₀,y), 즉 슬라이스에서의 모든 계속되는 블록들의 평균값에 영향을 미치게 된다. 이 해결방안은 오직 스트림을 선택적으로 수정하여 그것으로부터 스트림 크기를 유지함으로써 슬라이스에 걸쳐 수정한 것, 즉 워터마크를 전파한다는 장점을 가진다. x의 값이 높을수록, 수정 범주가 더 한정되어, 삽입된 워터마크의 가시도도 더 한정된다(하지만 견고함이 증가 할수록 위험 또한 줄어든다). 그러므로 블록인 B(x₀,y)의 DC 계수에 d를 더한 후(d는 가능하게는 양 또는 음의 값이다), d는 블록인 B(x₁,y)의 DC 값으로부터 빼질 수 있고, 여기서 x₁>x₀이다. 이 연산은 임의의 x>=x₁에 관한 최초의 것과 동일한 DC 값들을 찾는 것을 가능하게 한다. 이 방법은, 예컨대 상이한 워터마크 비트를 묻기 위해, 한 슬라이스의 DC 계수들을 여러 번 수정하는 것을 가능하게 한다. 이러한 해결 방안은 워터마크의 가시도를 감소시킬 수 있게 한다.

본 발명의 유리한 일 실시예에 따르면, 워터마크의 가시도가 제어된다. 실제로, 한 블록에 관한 파라미터인 dct_dc_differential의 값들을 수정하는 것은 품질에 지대한 영향을 미칠 수 있다. 실제로, 이러한 수정은 슬라이스에서의 모든 계속되는 블록들에 전파된다. 또한, dct_dc_differential은 정수값만을 취할 수 있다. 그러므로 DC에 관해 가능한 최소 수정 진폭은 인트라_dc_mult이고, 이는 인트라_dc_precision에 의존한다. 이 정량화는 시간상 또는 공간상으로 볼 수 있는 불연속성(visible discontinuity)을 유발한다. 이미지의 비교적 균일한 영역에 걸쳐, 워터마킹된 슬라이스와 바로 위 또는 바로 아래의 슬라이스들(만약 그것들이 워터마킹되지 않았으면) 사이의 경계가 인지될 수 있다. 유사하게, 휘도가 한 이미지에서 또다른 이미지로 매우 조금 변한다면, 워터마크에 의해 야기된 수정은 성가신 깜박거림 현상을 만들 수 있다.

워터마크의 가시도를 제어하기 위해 다음과 같은 상이한 기준이 사용될 수 있다.

- 진폭 기준,

- 시간 기준,

- 공간 기준.

진폭 기준(Amplitude criterion)

가시도는 인트라_dc_precision이 주어진 임계값보다 큰 이미지만을 표시함으로써 제어될 수 있다.

또한 인트라_dc_precision의 값을

만큼 증가시킴으로써 수정 진폭을 줄이는 것이 가능하다. 이후 DC의 코딩된 값들을 2^

만큼 배가하기 위해 동일한 힘(dynamic)을 유지하는 것이 필수적이 된다. 이를 위해, 그것은 dct_dc_size의 값을 만큼 증가시키고, dct_dc_differential의 값들을 2배(0을 더한다) 배가하기에 충분하다.

시간 기준(Temporal criterion)

시퀀스에서의 강한 시간 활동성(activity), 즉 주요 움직임 또는 변경이 워터마크를 마스킹하는 것과 워터마크를 덜 눈에 띄게 하는 것을 돕는다. 하지만, 정적인 시퀀스에 위치한 시간 변경은 매우 눈에 띈다. 실제로, 그것은 깜박거린 효과를 만든다. 또한 인코딩에서 사용된 움직임 보상은 워터마크를 덜 눈에 띄게 하는 것을 도울 수 있다. 만약 시퀀스가 매우 정적이라면, 움직임 보상이 효율적이고, I 이미지들과 블록들의 시각적인 정보의 주요 부분이 그 다음 P 이미지와 B 이미지에 전파된다. I 블록들 상에 삽입된 워터마크는 이후 자체적으로 P 이미지와 B 이미지에 전파되고, 이는 그것의 견고함을 증가시키며 그것의 가시도를 감소시킨다(깜박 거림이 덜해짐).

가시도 시간 기준을 측정하기 위해, 이미지의 영역(z)에 걸친 픽셀 휘도 값들의 평균인 M(t)가 고려될 수 있다. 이들 영역은 바람직하게는 슬라이스들이고, 이들은 또한 슬라이스, 블록, 매크로블록, 픽셀 또는 전체 이미지의 그룹일 수 있다. 제 1 기준은 얻어진 MPEG 스트림을 워터마킹하고 압축해제를 한 다음, 가시도(압축해제는 부분적일 수 있는데, 즉 해당 이미지의 그룹의 이미지들만이 고려된다)를 측정하는 것으로 이루어진다. 이를 위해, 워터마킹된 인트라 이미지(또는 블록)에 대한 시간적 활동성 차이가 측정된다.

여기서, - M'(t)는 상기 이미지가 워터마킹되고 MPEG 스트림으로부터 재구성된 후, 시간적 지수(t)의 이미지에서 영역의 픽셀 휘도 값들의 평균이고,

- M'(t_l)은 시간적 지수(t)의 최초 이미지에서의 영역의 픽셀 휘도 값들의 평균이며,

- T1은 인트라 이미지 둘레의 이미지들의 세트이다.

예컨대,

이고, 여기서 τ는 움직임을 계산하기 위해 고려할 이미지들의 개수에 링크된 파라미터이며, 이 이미지들의 개수는 2*τ와 같다. C₁을 계산하기 위해서는 인트라에 선행하는 이미지들만 또는 인트라를 따르는 이미지들만을 고려하는 것도 가능하다.

C₁이 크다면, 워터마크의 가시도가 크고, 워터마크를 감지할 수 없는 것을 제어하기 위해서는, 영역이 C₁<s₁이 되도록 골라지고, 이 경우 s₁은 임계값이다. C₁>s₁인 영역에서는, 워터마크가 최초 데이터로 대체된다.

분모가 0이라면 C₁이 정의되지 않지만, 분자를 분모의 s₁배와 비교함으로써 등가 기준이 얻어진다는 점을 주목하라. 이러한 주목할 점은 이후 모든 정의된 기준에 적용된다. 위 기준의 결점은 그것이 최초 인트라 이미지의 특징을 고려하지 않는다는 점인데, 특히 평면의 변경이 인트라 이미지에서 일어난다면(이는 강력한 인코더로 자주 일어난다), C₁이 매우 크고 따라서 가시도 기준을 만족하지 않으며, 워터마크는 완전히 마스킹된다. 이러한 결점을 극복하기 위해, 최초 스트림에 이미 존재하는 인트라에 대한 시간적 차이를 고려하는 것을 제안한다.

여기서, T2는 인트라 이미지를 포함하는 인트라 이미지 둘레의 이미지들의 세트이고, 예컨대

이다.

또다른 기준은 스트림의 움직임 벡터들에 기초한 영역에서의 움직임의 중요성을 평가하는 것으로 이루어지는데, 예컨대

이고,

여기서 Vⁱ(t,b)는 이미지(t)(인트라가 아닌)의 블록(N°b)의 i번째 움직임 벡터이다(i는 P 이미지에서는 1과 같고, B 이미지에서는 1 또는 2와 같다).

이 기준은 가시도를 계산하기 위해 스트림의 작은 부분, 즉 움직임 벡터를 나타내는 부분만을 압축해제는 것이 필수적이라는 이익을 제공한다. 그러므로 C₃를 계산하는 것이 훨씬 더 빠르다.

각각의 기준에 있어, 실제 관찰된 가시도에 기초하여 상이한 임계값이 사용될 수 있다.

공간 기준(Spatial criterion)

워터마킹에 의해 발생된 공간 불연속성의 시각적인 영향을 추정하기 위해, 문헌으로부터 공지되는 신호대 잡음비의 임의의 추정기를 사용하는 것이 가능한데, 예컨대,

이 연산은 공간 도메인 또는 주파수 도메인(DCT)에서 수행될 수 있다. 예컨대, 주파수 도메인에서 DC 계수에 대해서만 C₄를 계산하는 것이 가능하다.

워터마크가 이미지의 밀접하게 관련된 영역(슬라이스나 슬라이스들의 그룹)을 수정한다는 점이 주목된다. 그러므로 시각적으로 표시되거나 표시되지 않은 영역 사이에 전이 "라인(line)"가 나타나는 것을 볼 위험이 존재한다. 또다른 기준은 표시된/표시되지 않은 영역 또는 2개의 상이하게 표시된 영역 사이의 전이 영역에 서 이미지의 경사도(gradient)의 수직 성분의 진폭을 비교하는 것으로 이루어진다.

그 경사도는 다음과 같이 정의된다는 것을 기억하라.

수직 성분인

이 이산 도메인에서 수직 방향으로의 고역을 통과시키는(high pass) 임의의 필터, 예컨대

에 의해 접근될 수 있다.

전이의 위치를 정하기를 원하는지 또는 더 긴 범위 수정을 고려하는 것을 원하는지에 따라, 더 짧거나 더 긴 길이의 필터를 고려하는 것이 가능하다. 수직 고역 통과 필터는 변화의 일반적인 경향을 헤아리기 위해 수평 저역 통과(low-pass) 필터와 결합될 수 있다. 유사하게, 수직 축을 따라 일어나는 DC 계수의 변화를 고려함으로써, DCT 도메인에서의 긴 범위의 경사도를 계산하는 것이 가능하다.

절대 기준, 즉

이 사용되거나 상대적인 기준, 즉

이 사용될 수 있고, 여기서 y는 표시된/표시되지 않은 영역 사이의 전이의 y 축이고, x는 전이 영역에 걸쳐 가능한 x-축 값들의 세트를 취한다.

표시하는 것이 슬라이스의 일정 부분만을 수정한다면(전술한 바와 같이), 표시된/표시되지 않은 영역 사이 또는 2개의 상이하게 표시된 영역 사이의 수평 전이에 대해 유사한 기준을 사용하는 것도 가능하다는 점을 주목하라. 이후 수직 경사도보다는 수평 경사도를 취하고, x에 대한 합계를 y에 대한 합계로 대체하는 것이 필수적이다.

컬러 양자화의 고려(Taking into account colour quantizations)

비디오가 컴퓨터화된 디바이스에 의해 재생될 때, 그래픽 카드와 비디오 재생 소프트웨어는 스크린 상에서 디스플레이되는 컬러에 영향을 미칠 수 있다. 특히, 컬러는 양자화될 수 있다. 디스플레이를 위해 사용된 컬러의 테이블은 2^cn(c는 성분의 개수이고, n은 성분마다의 비트의 개수)과 같은 전반적인 공간의 크기보다 훨씬 적은 제한된 개수의 요소만을 가진다. 이를 위해, 드라이버 및/또는 그래픽 소프트웨어는 비색계(colorimetric) 공간의 벡터 양자화를 수행하는데, 즉 일정 개수의 "가까운(near)" 컬러가 단일 컬러에 의해 디스플레이에서 대체된다. 양자화가 얼마간 지능적으로(intelligently) 수행될 수 있고, 공간이 동일하거나 가변적인 크기의 영역들로 분할될 수 있다{관련 분야의 알고리즘에는 균일 양자화, 인기도(popularity), 미디언 컷(median cut), 옥트리(octree) 및 다른 알고리즘이 있다).

컬러 양자화는 가변 콘트라스트를 끌어올리는 것(raising)과 연관될 수 있 다.

이들 공정은 워터마크의 가시도에 영향을 미칠 수 있는데, 즉 이미지의 균일한 영역에 걸쳐, 컬러가 강하게 양자화되면 워터마크가 컬러를 하나의 양자화 레벨로부터 또다른 양자화 레벨로 전환하는 것이 있을 수 있다. 이 경우, 워터마크의 가시도가 증가된다.

컬러의 양자화가 워터마크를 너무 눈에 잘 보이도록 하지 않기 위해, 양자화에 의해 얻어진 효과가 시뮬레이션될 수 있고(관련 분야의 하나 이상의 알고리즘을 적용함으로써), 얻어진 워터마크의 실제 영향이 하나 이상의 선행하는 기준을 사용하여 측정될 수 있다.

컬러 양자화 효과의 예측을 더 신속하게 하고, 실제로 사용된 알고리즘에 더 독립적이 되도록 하기 위해서, 공간 기준, 진폭 기준, 및 시간 기준 외에, 컬러의 개수(number-of-colours) 기준인

을 고려하는 것도 가능한데, 여기서

는 이미지에서의 상이한 컬러의 개수이다.

컬러의 개수가 아닌 그것들의 주파수 분포(이미지의 히스토그램)을 고려하는 것도 가능하다. 컬러의 양자화와 콘트라스트의 적응은 양호하게 같은(거의 편평한) 히스토그램을 지닌 이미지에 대해서는 시각적인 영향을 덜 주게 된다.

기준들은 가시도의 더 미세한 제어를 얻기 위해 서로 결합될 수 있다. 예컨대, 기준들은 모든 기준의 가중화된 합을 사용하여 함께 결합될 수 있다. 이 경우, 이 영역에 관해 가중화된 합이 미리 정의된 임계값보다 아래에 있다면 한 영역이 수정 가능하다고 말해진다. 일 변형예에 따르면, 그러한 기준들은 논리 연산자인 AND에 의해 결합될 수 있는데, 즉 각각의 기준이 미리 정의된 임계값 아래에 있는 경우에만 영역이 수정 가능하다.

전술한 방법은 새로운 세대의 DVD(블루 레이)의 보호를 위해 유리하게 사용될 수 있다. 이를 위해, 워터마킹 단계 자체 이전에 사전 처리 단계가 적용된다. 이 사전 처리 단계는 다음과 같은 하위 단계들을 포함한다.

- 워터마킹 키들을 사용하여 (이 키는 이 방법의 보안을 보장한다) 적절한 슬라이스와, 크기의 기준을 사용하여 이들 슬라이스 각각에서 제 1 수정 가능한 블록을 선택함으로써 스트림을 워터마킹하는 단계,

- 표시될 수 있는 슬라이스 또는 슬라이스들 또는 슬라이스의 부분들을 선택하기 위해, 대응하는 워터마킹된 스트림과 최초 시퀀스를 사용하여 가시도 기준(또는 기준들)을 적용하는 단계,

- 이들 가시도 기준(또는 기준들)에 의존하는 파라미터(d)의 값을 가능하게 적응시키는 단계,

- 워터마킹될 각각의 DC 계수에 관해 최초 2진 워드의 위치, 즉 스트림의 시 작에 관한 오프셋 값에 의해 상기 DC 계수를 인코딩하고, 각각의 오프셋 값에 최초의 2진 워드 대신 삽입할 2진 워드를 연관시키는 비트의 최초 시퀀스를 식별하는 맵인 표시 맵을 생성하는 단계로서, 이 삽입될 2진 워드는 앞서 설명한 알고리즘, 즉 추가 변조 알고리즘 또는 대체 변조 알고리즘 중 하나에 따라 계산되는, 표시 맵 생성 단계,

- 가능하게 동기화 패턴을 계산/삽입하는 단계.

사전 처리는 수정된 스트림(동기화 워터마크의 삽입, 코딩 파라미터들의 수정)을 발생시키거나 심지어 최초 스트림을 유지할 수 있다. 마킹 맵은 DVD 제조업자에 의해 최초 코딩된 스트림으로 DVD에서 유리하게 삽입된다. 워터마킹 단계 자체는 워터마킹 모듈에 의해 DVD 플레이어에서 유리하게 달성된다. DVD가 DVD 플레이어에서 삽입될 때, 워터마킹 모듈은 그것으로부터 마킹 맵을 판독하고, 대응하는 오프셋 값들을 사용하여 마킹 맵에 의해 자체적으로 결정되는 적절한 위치에서 마킹 맵으로부터 판독된 수정된 2진 워드로 최초 워드를 대체함으로써, 최초 스트림을 직접 워터마킹할 수 있다.

워터마킹 단계 자체는 워터마킹될 메시지에 의존하는 사전 처리 덕분에 단순화되고, 각 영역에 관한 마킹 테이블로부터 대체 값들을 선택하고, 스트림에서 대체를 수행하기에 충분하게 된다.

VoD에 관한 지문법(fingerprinting)을 지닌 본 발명의 예시적인 응용예를 보았다. 또다른 응용예는 DVD들 또는 스크리너(screener)들의 지문법으로, 각각의 개별 복사본(copy)에 관해 고유한 번호가 워터마킹되어, DVD의 수령인을 식별하는 것 이 가능해진다. 저작권 침해의 경우, 그 번호를 판독함으로써, 유죄인 사용자를 식별하는 것이 가능하게 된다. 또다른 응용예는 새로운 세대의 DVD 플레이어(블루 레이 타입: BDP)에 의한 비디오 워터마킹이다. 워터마킹은 비디오가 재생될 때 디코딩될 스트림에 대해 행해진다. 워터마킹된 메시지는 각각의 기기 또는 심지어 각각의 모델 또는 기기의 각각의 시리즈에 관해 고유할 수 있다. 그러므로 DVD 플레이어로부터의 비디오 신호 출력은 이 식별자에 따라 상이하게 워터마킹된다. 대량의 사기 행위의 경우, 이는 의심이 가는 모델들을 식별할 수 있게 하고, 상보성 암호화 및 DRM 메커니즘을 조정함으로써, 관련된 모델들을 무효로 하는 것을 가능하게 한다.

전술한 바와 같이, 본 발명은 압축된 비디오 스트림을 워터마킹하는 비디오 워터마킹 분야에 이용 가능하다.

Claims (10)

1. 2진 스트림을 워터마킹하는 방법으로서, 2진 스트림은 예측 가능하게 코딩된 DC 계수라고 하는 예측 코딩에 의해 인코딩된 인트라 블록의 적어도 하나의 DC 계수를 포함하는 이미지 시퀀스를 나타내는 계수의 세트를 인코딩하는 것으로부터 생기는, 2진 스트림을 워터마킹하는 방법에 있어서,

   a) 상기 2진 스트림에서 상기 예측 가능하게 코딩된 DC 계수를 나타내는 제 1의 2진 워드를 식별하는 단계,

   b) 적어도 하나의 워터마킹 비트에 기초하여 상기 예측 가능하게 코딩된 DC 계수로부터 수정된 DC 계수를 계산하는 단계,

   c) 상기 수정된 DC 계수를 제 2의 2진 워드로 인코딩하는 단계, 및

   d) 상기 2진 스트림에서 상기 제 1의 2진 워드를 상기 제 2의 2진 워드로 대체하는 단계를 포함하고,

   상기 단계들{단계 a) 내지 단계 d)}은, 양자화 정밀도 값이 사전 한정된 제 1 임계값보다 큰 이미지에만 적용되는, 2진 스트림을 워터마킹하는 방법.
2. 제 1항에 있어서, 상기 수정된 DC 계수는 상기 예측 가능하게 코딩된 DC 계수와, 상기 적어도 하나의 워터마킹 비트로부터 유래된 표시 값(marking value)의 합으로서 계산되는, 2진 스트림을 워터마킹하는 방법.
3. 제 1항에 있어서, 2진 스트림은 MPEG2 2진 스트림이고, 양자화 정밀도의 값은 인트라_dc_precision인, 2진 스트림을 워터마킹하는 방법.
4. 제 1항에 있어서, 상기 단계들{단계 a) 내지 단계 d)}은, 시간적인 가시도 기준의 값이 제 2 임계값보다 낮은 이미지에만 적용되는, 2진 스트림을 워터마킹하는 방법.
5. 제 4항에 있어서, 상기 시간적인 가시도 기준은

   

   이고,

   - t는 상기 인트라 블록이 속하는 이미지의 시간적인 이웃 내의 이미지의 색인이고,

   - t₁은 상기 이미지의 색인이고,

   - Vⁱ(t,b)는 색인(t)의 이미지 내에서 블록(b)의 i번째 움직임 벡터인, 2진 스트림을 워터마킹하는 방법.
6. 제 1항에 있어서, 상기 단계들{단계 a) 내지 단계 d)}은, 공간적인 가시도 기준의 값이 제 3 임계값보다 낮은 이미지에만 적용되는, 2진 스트림을 워터마킹하는 방법.
7. 제 1항에 있어서, 상기 단계들{단계 a) 내지 단계 d)}은, 1/

   

   이 제 4 임계값보다 낮은 이미지에만 적용되고,

   

   은 상기 인트라 블록에 속하는 이미지의 상이한 컬러의 개수인, 2진 스트림을 워터마킹하는 방법.
8. 삭제
9. 삭제
10. 삭제