KR20040089557A

KR20040089557A - 워터마크 삽입 영역을 적응적으로 선택하는 비디오시퀀스의 워터마킹 방법, 대응하는 검출 방법, 장치,데이터 반송파 및 컴퓨터 프로그램

Info

Publication number: KR20040089557A
Application number: KR1020040024783A
Authority: KR
Inventors: 보도얀; 로랑나탈리
Original assignee: 프랑스 텔레콤
Priority date: 2003-04-11
Filing date: 2004-04-10
Publication date: 2004-10-21
Also published as: JP4851690B2; US7386147B2; KR100960828B1; EP1473944A3; FR2853792A1; JP2004320765A; EP1473944A2; US20040247154A1

Abstract

본 발명에 따른 비디오 이미지의 시퀀스에 대한 워터마킹 방법은, 적어도 하나의 워터마크된 모션 벡터를 얻기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정에 의하여 획득된 적어도 하나의 모션 벡터 내부에 적어도 하나의 워터마킹 비트를 삽입하기 위한 단계를 구현한다. 상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖는다. 상기 삽입 단계는, 필요한 경우에, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정을 구현한다. 상기 수정이 이루어지는 동안에, 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들이 결정되고, 그리고 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 적어도 하나의 미리 정해진 표준에 따라 최적으로 워터마크된 모션 벡터가 선택되며, 따라서 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 될 수 있다.

Description

워터마크 삽입 영역을 적응적으로 선택하는 비디오 시퀀스의 워터마킹 방법, 대응하는 검출 방법, 장치, 데이터 반송파 및 컴퓨터 프로그램{METHOD FOR THE WATERMARKING OF A VIDEO SEQUENCE WITH ADAPTIVE SELECTION OF THE WATERMARK INSERTION ZONE, CORRESPONDING DETECTION METHOD, DEVICES, DATA CARRIER AND COMPUTER PROGRAM}

본 발명은 비디오 시퀀스(video sequences)의 워터마킹(watermarking)에 관한 것이다. 이러한 워터마킹은 상기 비디오 시퀀스내에 사용자에게는 보이지 않으면서, 상기 시퀀스의 컨텐츠를 보호하도록 디자인되고, 그 복사본이 추적될 수 있도록 이루어진 마크를 삽입하는 것으로 구성된다.

더욱 상세하게는, 본 발명은 상기 비디오의 모션 벡터(motion vector)에 이진 마크(binary mark)를 삽입함으로써 비디오 시퀀스의 워터마킹을 하는 방법에 관한 것이다.

현재까지 비디오 시퀀스에 워터마킹을 하기 위한 여러 방법이 알려져 있다.

이러한 기술들 중 하나는 상기 비디오 시퀀스에 정지 이미지(still image)의 워터마킹을 위하여 사용되는 방법과 유사한 워터마킹 방법을 적용하여 이루어진다. 실제로, 비디오 스트림(video stream)은 정지 화상의 시퀀스로 구성되는 것을 가정할 수 있고, 따라서 상기 시퀀스의 "내부(intra)" 이미지는 이러한 정지 이미지에 종래에 적용되던 정책에 따라서 워터마크될 수 있다.

그러나, 비디오 시퀀스는 적절한 워터마킹 기술을 개발하는데 유리하게 사용될 수 있는 많은 특성들을 갖고 있다.

이러한 특성들은 다음과 같은 측면을 포함한다:

- 비디오 시퀀스의 대략적인 크기는 정지 이미지의 크기보다 훨씬 크며, 따라서 상기 마크의 삽입 공간은 비디오 시퀀스 안에서 훨씬 크다;

- 정지 이미지와 비교한 바와 같이, 비디오 시퀀스는 시간 차원을 갖고, 이는 상기 마크의 삽입을 위하여 사용될 수 있다.

게다가, 비디오 시퀀스는 정지 이미지의 것들과는 다른 제약을 갖는다. 따라서:

- 비디오 시퀀스의 워터마킹 정책의 복잡성은 마크의 삽입 및 검출이 플라이(fly) 상에서 이루어질 수 있도록 충분히 작아야 한다;

- 비디오 시퀀스의 마크는 정지 이미지의 경우보다 더 적게 보여져야만 하며, 이는 물체의 동작이 사용자에 대한 그 감지력(perceptibility)이 종종 증가하기 때문이다;

- 상기 비디오 스트림은 그 시퀀스의 대략적인 크기를 줄이기 위하여 종종 압축된다. 상기 압축 표준은 MPEG2 표준에서 가장 공통적으로 사용되는 것이며, 상기 마크는 그 포맷(format) 안으로 직접 삽입될 수 있다. 그러나, 압축해제 포맷으로의 삽입은 압축동작 이후에 파일 크기를 증가시키는 결과가 되어서는 안된다;

- 비디오 시퀀스는 정지 이미지보다 더 많은 공격을 받을 수 있고, 이것은 종종 이러한 공격의 성공 가능성을 감소시키기 위하여 과다한 마크 또는 워터마크를 삽입하도록 하게 되며, 상기 워터마크를 더욱 강하게 한다. 이러한 워터마크가 상기 시퀀스 내에 과다하게 삽입될 때, 이는 상기 시퀀스의 모든 이미지에 대한 평균값을 계산함으로써 추정될 수 있다. 이에 따른 부가적인 제약은 고려된 비디오 시퀀스의 특정 하위 시퀀스의 선택에 의하여, 또는 상기 시퀀스의 이미지 손실에 의하여 생성된 동기화가 손실된 이후에 조차도 상기 워터마크 또는 서명을 검출하는 것이 가능하여야 한다.

정지 이미지의 영역으로부터의 워터마킹 기술에 부가하여, 비디오에 적합한 워터마킹 기술이 또한 개발되었다. 이러한 기술들은, 이와 연관된 제약을 고려할 때, 비디오 시퀀스의 바람직한 특성들을 사용한다.

특히 비디오에 대한 워터마킹 기술 중에, 마크를 모션(motion)에 삽입하는 것에 의존하는 여러 방법이 제안되었으며, 특히 F.Jordan, M.Kutter, T.Ebrahimi의 "Proposal of a watermarking technique for hiding/retrieving data in compressed and decompressed video", ISO/IEC 다큐먼트 JTC1/SC29/WG11/MPEG97/M2281, 1997년 7월, 및 Zhang, J. Li, L. Zhang의 "Videowatermarking technique in motion vector", Proc. ⅩⅣ 컴퓨터 그래픽 및 이미지 처리에 관한 브라질 심포지움, 2001년 10월 15-18일, pp179-182에 의하여 제안되었다.

F. Jordan 등은 마크가 비디오의 모션 벡터내에 삽입되는 마킹 알고리즘(marking algorithm)을 제안하였다. 이러한 기술은 다음의 단계들을 구현하는데 의존한다:

-16비트 또는 32비트의 길이를 갖는 이진 시퀀스의 마크를 생성하기 위한 제1 단계;

- 상기 마크를 삽입하기 위한 제2 단계. 이러한 동작을 이하여, 상기 모션 벡터는 상기 압축된 비디오 스트림으로부터 추출되고, MPEG4 코덱(codec, 또는 코더-디코더)에 의하여 획득된다. 만약 상기 비디오 스트림이 압축해제되는 경우에는, 이러한 스트림을 압축하는 예비단계가 있게 된다. 이러한 다른 마킹 단계는 상기 모션 벡터의 두개 요소 중 하나에 적용된다. 상기 마크의 두 비트는 상기 모션 벡터의 각각의 요소에 삽입된다.

만약 V가 모션 벡터의 수직 요소를 나타내고, 또한 b={0,1}이 숨겨질 비트의 값인 경우에는, 이후의 b를 V에 삽입하기 위한 알고리즘은 다음과 같다:

if((V*q+T)mod[2]≠b

then V'=V+δ

else V'=V

with T=2*dim

dim=상기 모션 추정을 위한 탐색창(search window)의 크기

δ=(2.n+1)/q

n=1 if 상기 모션 벡터가 널 벡터(null vector)인 경우.

n=0 else

q= 상기 모션 벡터의 진폭 변조 인자

V'은 마크된 모션 벡터.

다시 말하면, 상기 마크 내부에 16 또는 32와 같이 많은 비트들이 있는 것처럼 많은 수의 모션 벡터들이 선택된다. 이어서, 상기 선택된 16 또는 32 모션 벡터들 각각에 대하여, 그 대응하는 상기 마크의 비트는 상기 모션 벡터의 요소들 중 하나에 삽입된다(예를 들어 그 패리티(parity)를 수정함에 있어서의 수직 요소).

- 상기 마크를 추출하는 제3 단계, 이 동안에 V'으로 마크된 상기 모션 벡터가 상기 압축된 스트림으로부터 추출된다. 이어서 상기 마크는 다음과 같이 추출된다:

b=(V'*q+T)mod[2]

J.Zhnag등은 F.Jordan등이 제안한 위의 방법을 개선하였으나, 그럼에도 불구하고 그 방법에는 차이가 없다.

따라서 이러한 두 기술은 비디오의 모션 벡터 내부에 마크를 삽입하는 것에 기초하여 워터마킹 알고리즘을 구현하는 것에 의존한다.

그러나, 이러한 종래 기술의 주요한 결점은 이들이 비디오 시퀀스에 대하여 발생가능한 공격들에 관하여 충분히 강하지 못하다는데 있다. 특히, 이러한 방법들은 압축 또는 상기 비디오 신호의 포맷에 대한 (공간적 또는 시간적) 변경과 같은 악의적이지 않은 공격에 대하여 충분히 강하지 않다.

실제, 위의 F.Jordan 등 또는 J.Zhang등에 의하여 제안된 기술들은 이러한 모션 벡터들의 세로좌표값(ordinate value)에 대한 패리티의 개념을 사용하여, 비디오 시퀀스의 모션 벡터 내에 마크를 삽입하는 것에 기초하여, 워터마킹 알고리즘을 구현하는 것에 의존한다.

이러한 방법은 그 정의에 의하여 가장 작은 공격이 짝수 패리티 세로좌표값을 홀수 패리티 세로좌표값으로 변환 또는 그 역으로 변환할 수 있기 때문에 강하지 않다.

게다가, 이러한 기술에 따르면, 일반적으로 수정되는 것은 항상 상기 선택된 모션 벡터의 동일하게 미리 정해진 요소(예를 들어 상기 수직 요소)가 된다. 이것은 비디오 시퀀스 내에서 상기 마크의 가시성을 향상시키는 효과가 있다. 상기 마크의 가시성은 물론 상기 이미지의 변형을 감지한 사용자에게는 유쾌하지 못한 것이다. 이러한 다른 결점들을 극복하기 이하여, 본 발명의 발명자는 본 출원에 의하여 출원된 프랑스 특허 출원번호 FR 02 13660, 출원일 2002.10.31, "비디오 신호의 워터마킹을 위한 방법, 시스템, 이러한 방법을 구현하기 위한 데이터 반송파, 비디오 신호의 워터마크로부터 추출을 위한 방법, 이러한 방법을 구현하기 위한 시스템"에 개시된 비디오 시퀀스의 워터마킹을 위한 더욱 새롭고 강한 기술을 개발하였다.

이러한 기술에 다르면, 모션 벡터는 선택된 워터마크를 운반할 것이다. 상기선택된 모션 벡터의 좌표는 이진값 1과 연관된 제1 복수 영역과 이진값 0과 연관된 제2 복수 영역을 포함하는 공간내에서 식별된다. 이어서, 만약 필요한 경우에는, 상기 선택된 모션 벡터의 좌표는 상기 마크의 값에 대응하는 이진값이 상기 선택된 모션 벡터에 삽입되도록 수정된다.

그리고, 만약 마크를 0으로 삽입하는 것이 바람직하고, 만약 상기 선택된 모션 벡터가 상기 이진값 1에 연관된 영역에 위치하는 경우에는, 상기 모션 벡터의 좌표는 상기 영역 가장자리에 상대적으로 가중된 중앙(weighted central) 또는 축 대칭성(axial symmetry)을 획득함으로써 수정된다.

따라서 이러한 기술은, 상기 모션 벡터의 종단이 위치하는 제한된 공간(이진값 1 또는 0을 갖는 영역)을 정의하기 때문에, F. Jordan 등 또는 J. Zhang등이 제안한 방법보다 더욱 강하다는 것이 입증된다. 따라서 상기 워터마킹은 더 이상 오직 모션 벡터 요소의 패리티 내에서의 변경에만 의존하지 않고, 상대적으로 넓은 영역에 걸쳐서 워터마크된 벡터의 이동에 의존한다.

결과적으로, 상기 이미지를 여과 또는 간단히 변환하는 경우에는, 상기 워터마크된 모션 벡터의 좌표를 수정하기 위하여, 상기 벡터의 종단은 상기 마크의 함수로서 선택된 이진값 영역 내부에 머물게 된다. 따라서 상기 마크는 이러한 공격으로부터 강하게 된다.

그러나, 더욱 강해졌다고 할지라도, 이러한 기술은 상기 마크에 대한 가시성의 관점에서는 최적이 아니다. 실제로, 상기 마크된 모션 벡터는 상기 이미지에 변경을 야기하고, 이는 때때로 사용자에게 골치거리가 된다.

게다가, 예를 들어 압축, 크로핑(cropping), 또는 미러 형태의 공격(mirror type attacks)와 같은 더욱 일반적인 공격에 대한 상기 기술은 그 강건함에 부족함이 있으며, 더욱 향상될 것이 요구된다.

본 발명의 목적은 특히 상술한 종래 기술의 결점을 해결함에 있다.

더욱 상세하게는, 본 발명의 목적은 상기 종래 기술과 비교하여 향상된 강건함을 갖는 비디오 시퀀스의 워터마킹 기술을 제공함에 있다. 특히, 본 발명의 목적은 필터링 또는 압축 형태의 더욱 일반적인 공격 뿐만 아니라 특히 악의적인 공격에도 견딜 수 있는 기술을 제공함에 있다.

본 발명의 다른 목적은 종래 기술과 비교하여 마크 또는 워터마크의 가시성을 감소시키는 기술을 구현함에 있다. 특히, 본 발명의 목적은 비디오 워터마킹 기술을 제공하고, 이에 따라 하나 또는 그 이상의 모션 벡터들 안으로 마크가 삽입되어, 종래 기술과 비교하여 상기 마크된 벡터들의 변형을 최소화할 수 있는 기술을 제공함에 있다.

본 발명의 또 다른 목적은 워터마크된 비디오 시퀀스 내에서 마크를 더 빠르게 검출할 수 있는 기술을 제공함에 있다.

본 발명의 또 다른 목적은 구현이 용이하고 자원의 측면에서 저렴함 기술을 제공함에 있다.

본 발명의 다른 특징 및 장점들은 첨부된 도면으로부터 실시예, 설명 및 비제한적인 예시를 이용하여, 바람직한 실시예에 대한 상세한 설명에 의하여 더욱 명확하게 될 것이다.

도 1은 본 발명에 따른 비디오 시퀀스의 워터마킹을 위한 방법에 의하여 구현된 다양한 단계들의 순서도이다;

도 2는 이미지를 블록안으로 계층적 분해(hierarchical decomposition)하는 것을 나타낸다;

도 3은 두 개 형태의 영역으로 구획된 기준 격자(reference grid)의 실시예이며, 각각은 특정 이진값과 연관되고, 여기에 본 발명에 따른 모션 벡터가 위치한다;

도 4는 도 3의 격자에서 주어진 탐색 영역의 잠재적으로 워터마크된 모션 벡터의 세트에 대한 탐색 원칙을 나타낸다;

도 5는 최적으로 워터마크된 모션 벡터를 결정하기 위하여 도 4의 탐색 영역의 모든 픽셀들이 스캔되는 방식에 대한 더욱 상세한 설명을 제공한다;

도 6은 도 4의 탐색 영역에 대한 잠재적으로 워터마크된 모션 벡터의 일 실시예를 나타낸다;

도 7은 블록방향 접근방법의 문맥내에서 최적으로 워터마크된 벡터를 결정하기 위하여 사용되는 PSNR 기준의 사용을 나타낸다;

도 8은 첨부 1에서 언급되고, 프랑스 특허 출원 No. 02 13660에서 설명된 워터마킹 기술을 설명한다.

이하에서는 위와 같은 본 발명의 목적들과 그 외의 사항들은, 적어도 하나의 워터마크된 모션 벡터를 얻기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정에 의하여 획득된 적어도 하나의 모션 벡터 내부에 적어도 하나의 워터마킹 비트를 삽입하기 위한 단계를 구현하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법에 의하여 성취될 것이다. 상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖는다. 필요한 경우에, 상기 삽입 단계는 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정을 구현한다.

본 발명에 따르면, 상기 수정이 이루어지는 동안에, 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들이 결정되고, 그리고 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 적어도 하나의 미리 정해진 표준에 따라 최적으로 워터마크된 모션 벡터가 선택되며, 따라서 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 될 수 있다.

따라서, 본 발명은 비디오의 고유한 특성, 즉 모션을 고려하는 비디오 시퀀스의 워터마킹에 대한 완전히 새롭고 진보된 방법에 의존한다.

실제, 본 발명의 기술은 선택된 모션 벡터 또는 벡터들의 좌표들의 수정을 구현하는 비디오 시퀀스의 하나 또는 하나 이상의 모션 벡터내에 마크 또는 워터마크를 삽입하는 것에 의존한다.

게다가, 본 발명은 상기 마크의 삽입영역을 적응적으로 선택하는 것에 의존하며, 따라서 프랑스 특허 출원 No. FR 02 13660에 설명된 기술을 향상시킨 것으로 구성된다. 실제, 상기 워터마크된 모션 벡터의 좌표들은 단순히 중앙 또는 이진값 0 또는 1을 갖는 두 개 영역의 경계에 상대적으로 축 대칭을 이용해서는 더 이상 얻을 수 없으나, 최적으로 워터마크된 모션 벡터의 것들은 유효하다. 이러한 최적으로 워터마크된 벡터는 상기 마크의 다른 잠재적 삽입 영역에 속하는 잠재적으로 워터마크된 모션 벡터들을 나타내는 복수의 모션 벡터들에서 미리 정해진 표준의 함수로서 선택된다.

상기 최적으로 워터마크된 모션 벡터는 상기 마크의 최적 삽입 영역에 속하고, 이것은 적절하게 선택되었을 시 종래 기술과 비교하여 상기 마크의 힘과 투명성을 향상시키며, 따라서 그 검출 속도를 향상시킨다.

따라서, 프랑스 특허 출원 No. FR 02 13660의 기술과 비교하여, 워터마크되 모션 벡터를 획득하기 위한 동작은 상기 선택된 모션 벡터에 대하여 미리 정해진 기하학적 변환을 적용하는 것에 더 이상 국한되지 않는다. 오히려, 상기 동작은 잠재적으로 워터마크된 모션 벡터들을 나타내는 모션 벡터 세트를 고려하며, 이 중에서 시퀀스의 최적 워터마킹(예를 들어 강건함, 투명성, 및 워터마킹 검출 속도의 측면에서)을 획득하는데 사용될 수 있는 벡터가 선택된다.

따라서 상기 시퀀스의 워터마킹을 위한 의사 결정 절차가 부가되고, 이로 인하여 상기 마크의 강건함과 가시성이 향상된다.

바람직하게는, 상기 미리 정해진 표준은 상기 워터 마킹의 가시성에 대한 표준이다.

또한 이러한 표준은 일정한 형태의 공격(예를 들어 압축 또는 필터링을 포함)에 대한 마크 저항의 표준이 될 수 있거나, 또는 다시 워터마크된 비디오 시퀀스내에서 상기 마크의 검출 속도에 대한 표준이 될 수 있다.

바람직하게는, 상기 기준 공간은 미리 정해진 차원의 블록들을 포함하고, 상기 각각의 블록은 상기 형태에 대한 각각의 영역을 포함하는 기준 격자와 연관된다.

2 차원 공간 내에서, 이러한 종류의 기준 격자는, 각이 있거나 또는 정방형 블록들의 세트로 구성되는, 직교 기준 시스템과 연관된 데카르트 공간의 격자가 될 수 있다. 본 발명의 바람직한 실시예에서는, 각가의 블록은 더 작은 크기의 하위 블록을 갖고, 이러한 하위 블록은 상기 블록 내부의 중앙에 위치하며, 상기 영역(예를 들어 이진값 1과 연관된 영역) 형태들 중 하나에 대응한다. 다른 영역(예를 들어 이진값 0과 연관된 영역)은 상기 블록 내부의 상기 하위 블록의 보조 값에 대응하며, 상기 하위 블록과 상기 블록의 경계 사이에 위치한다.

바람직하게는, 상기 모션 벡터가 기준 블록이라고 불리우는 상기 기준 격자의 블록 내에 위치하므로, 상기 잠재적으로 워터마크된 모션 벡터들은 상기 워터마킹 비트에 대응하는 이진값을 갖는 상기 기준 블록의 영역 내에서 탐색된다.

따라서, 상기 선택된 모션 벡터 안으로 삽입될 0 또는 1값과 연관된 블록의 전체 영역이 스캔된다; 상기 스캐닝은 이러한 영역(또는 그 중 오직 일부분만)에 속하는 모션 벡터들에 걸쳐서 이루어지며, 잠재적으로 워터마크된 모션 벡터들을나타내며, 그리고 이들 중에서, 상기 최적으로 워터마크된 모션 벡터의 선택된 표준 함수로서 선택이 이루어진다. 상기 표준이 상기 마크의 가시성에 대한 표준인 경우에는, 상기 최적 벡터는 상기 마크가 상기 사용자에게 가장 보이지 않도록 하는 것이다.

바람직하게는, 상기 잠재적으로 워터마크된 모션 벡터는 또한 상기 기준 블록에 인접한 적어도 하나의 블록에 속하는 상기 워터마킹 비트에 대응하는 이진값 영역 내에서 탐색된다.

실제, 본 특허 출원의 발명자는 상기 최적으로 워터마크된 벡터는 반드시 상기 워터마크된 모션 벡터의 좌표와 가장 가까운 좌표를 갖는 벡터일 필요은 없다는 사실을 바람직하게 이용하고 있다.

상기 선택된 표진이 상기 마크에 대한 가시성의 표준인 경우에는, 이로 인하여 상기 최적으로 워터마크된 모션벡터는 상기 마크를 이동시키기 위하여 처음에 선택된 모션 벡터와 동일한 기준 격자 블록에 속하지 않게 되는 것이 가능하지만, 그러나 이와 반대로, 기학학적으로 상당히 먼 거리에 있게 될 것이다.

본 발명의 바람직한 변형에 따르면, 상기 잠재적으로 워터마크된 모션 벡터들은 탐색되는 영역 내에 위치한 모든 운동 벡터들에 해당한다.

따라서, 상기 동작은 상기 영역 또는 상기 최적으로 워터마크된 벡터가 탐색되는 영역들 내에 위치한 모든 동작 벡터들을 고려한다; 따라서 잠재적으로 워터마크된 모션 벡터들을 나타내는 모든 모션 벡터들을 고려하기 위하여 상기 탐색 영역 또는 상기 기준 격자의 하나 또는 하나 이상의 블록에 속하는 탐색 영역들 전체에대한 픽셀 단위의 스캔(pixel-by-pixel scan)이 수행될 수 있다.

바람직하게는, 상기 미리 정해진 표준은 상기 각각의 잠재적으로 워터마크된 모션 벡터들과 연관된 피크 신호-대-잡음비(PSNR)의 최적화 표준에 해당한다.

상기 PSNR(또는 "신호-대-잡음비")는 일반적으로 이미지 및 비디오 처리에서 사용된다. 이것은 기준 이미지에 상대적인 이미지 충실도(the degree of fidelity)를 평가한다: 이러한 경우에 있어서, 예를 들어 이것은 워터마크되지 않은 원래 이미지와 상대적으로 비디오 시퀀스의 워터마크된 이미지의 충실도를 측정할 수 있게 한다. 잠재적으로 워터마크된 모션 벡터들을 나타내는 모든 모션 벡터들 중에서, 가장 최적으로 워터마크된 벡터는 상기 최고 PSNR 을 획득하는데 사용되는 것이다.

바람직하게는, 상기 비디오 시퀀스의 이미지는 적어도 두 개의 계층적 레벨들과 연관되기 때문에, 상기 방법은 상기 레벨들 중 적어도 하나에 대하여 상기 시퀀스의 적어도 하나의 이미지 쌍에 대한 모션 추정을 구현하고, 상기 추정된 레벨의 모션 벡터 세트를 결정하기 위하여 추정 레벨이 호출되며, 상기 추정된 레벨 안에서 상기 연관된 모션 벡터들의 평균을 계산함으로써 더 높은 계층 레벨의 모션 벡터가 획득된다.

따라서 본 발명은 또한 상기 모션 벡터들의 계층에 대한 개념을 이용하며, 상기 마크의 강건함을 더욱 향상시킬 수 있도록 한다. 예를 들어, 블록방향의 접근방법에 있어서, 상기 비디오 시퀀스의 이미지는 상기 이미지 픽셀의 네 개 블록의 세트로 이루어지는 것을 고려할 수 있으며, 이들은 상기 단일 하위 블록이 하나의 픽셀 크기를 갖을 때까지 더 작은 수의 픽셀 등을 갖는 네개의 각각의 블록으로 분할된다. 각각의 브레이크다운 레벨(breakdown level)에서, 모션 벡터를 상기 대응하는 블록 또는 하위 블록과 연관시키는 것이 가능하다.

바람직하게는, 상기 가장 높은 계층 레벨의 모션 벡터에서, 워터마킹 비트가 삽입되는 단계에서 적어도 하나의 모션 벡터를 선택하는 단계를 포함하는 워터마킹 방법이 구현된다.

예를 들어, 가장 높은 계층 레벨에서 각 두개의 블록마다 그 안의 하나의 모션 벡터 내에 워터마킹 비트를 삽입할 것이 선택된다.

바람직하게는, 상기 워터마킹 비트의 여분의 삽입을 수행하기 위하여, 또한 상기 선택된 모션 벡터의 좌표들에 대한 수정이 상기 더 낮은 레벨들 중 적어도 하나의 대응하는 모션 벡터들에 적용된다.

따라서, 상기 가장 높은 계층 레벨의 모션 벡터 내에 워터마킹 비트를 삽입할 것이 선택된 경우에는, 이러한 삽입은 또한 상기 더 낮은 레벨의 대응하는 모션 벡터들 내부에서 수행된다.

본 발명의 바람직한 특징에 따르면, 상기 모션 추정은 "블록 매칭" 형태이다.

이러한 종류의 "블록 매칭" 기술은 상기 이미지의 픽셀 블록과 연관된 모션 벡터를 계산하기 위하여 사용된다. 이것은 상기 이전의 이미지 또는 상기 모션 벡터에 의하여 이동되는 다음 시퀀스의 이미지와 동일한 크기의 블록으로부터 이러한 현재 블록을 재구성하는데 사용되는 최상의 모션 벡터를 평가한다.

바람직하게는, 이러한 종류의 워터마킹 방법은 또한 워터마크된 비디오 이미지 시퀀스를 생성하기 위하여 상기 워터마크된 모션 벡터에 기초하여 모션 보상을 하는 단계를 포함한다.

이와 같은 단계는, 보상된 이미지의 연속된 형태로서, 상기 최적으로 워터마크된 모션 벡터들이 적용되는 원래 이미지로부터 획득되는, 워터마크된 비디오 시퀀스의 재구성를 가능하게 한다.

본 발명의 바람직한 제1 변형에 따르면, 상기 각각의 모션 벡터들은 상기 이미지 영역과 연관되고, 상기 모션 보상은 워터마크되거나 워터마크되지 않은 모션 벡터들과 연관된 모든 영역상에서 구현된다.

본 발명의 바람직한 제2 변형에 따르면, 상기 모션 벡터들은 각각 상기 이미지의 영역과 연관되고, 상기 모션 보상은 상기 워터마크되 벡터 또는 벡터들과 연관된 상기 이미지의 영역 또는 영역들 안에서 구현되며, 상기 워터마크된 비디오 이미지 시퀀스의 이미지는 상기 모션 보상이 구현되는 상기 영역과 적어도 하나의 원래 영역을 포함한다.

따라서, 상기 방법들은 본 발명의 범위내에서 예상될 수 있다.

상기 제1 방법에서는, 상기 모션 보상은, 워터마크되거나 또는 워터마크 되지 않는지 여부에 따라, 상기 고려된 이미지의 워터마크된 버젼(version)을 수신하기 위한 이미지와 연관된 모션 벡터들의 세트를 이용하여 획득된다.

제2 방법은 상기 워터마킹 동작에 의하여 수정된 모션 벡터들에 대응하는 오직 상기 이미지의 픽셀 블록에 대한 모션 보상을 하고, 이미지의 획득 및 이에 따른 더 높은 품질의 비디오 시퀀스를 획득하기 위하여 고려된 다른 이미지 블록들을변경되지 않은 상태로 두는데 사용된다.

또한 본 발명은 위에서 설명한 워터마킹 방법에 따라 워터마크된 비디오 이미지의 시퀀스로부터 워터마크를 추출하기 위한 방법에 관한 것이다.

본 발명에 따르면, 상기 추출 방법은 적어도 하나의 워터마크된 모션 벡터 내부에 삽입되는 적어도 하나의 워터마킹 비트를 추출하는 단계를 포함하고,

상기 추출 단계는 다음의 하위 단계:

_ 상기 적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개 이미지들 사이에 모션 추정을 하는 단계;

- 두 가지 형태의 보조 영역으로 구획되고, 이들 각각은 연관된 특정 이진 값을 갖는 기준 공간 안에서 상기 워터마크된 모션 벡터의 위치를 분석하는 단계;

- 상기 모션 벡터가 배치되는 영역의 이진값으로된 상기 워터마킹 비트를 할당하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 워터마킹 비트는 상기 비디오 이미지 시퀀스 내로 여분으로 삽입되고, 상기 추출 방법은 상기 추출된 워터마킹 비트에 신뢰지수를 할당하기 위하여 사용되는 적어도 하나의 상관계수를 계산하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명은 비디오 이미지의 시퀀스에 대한 워터마킹 장치에 관한 것으로서, 상기 장치는 적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개의 이미지 사이에서 모션 추정을 함으로써 얻어지는 적어도 하나의 모션 벡터 내에 적어도 하나의 워터마킹 비트를 삽입하기 위한 수단을 포함하며,상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖고, 상기 삽입 수단은, 필요한 경우에는 활성화되어, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정을 하기 위한 수단을 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 수정 수단은 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들을 결정하고, 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 적어도 하나의 미리 정해진 표준에 따라 최적으로 워터마크된 모션 벡터를 선택하여, 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 되도록 하는 결정 및 선택 수단을 포함하는 것을 특징으로 한다.

본 발명은 또한 위에서 설명한 워터마킹 방법에 따라 워터마크된 비디오 이미지 시퀀스로부터 워터마크를 추출하기 위한 장치에 관한 것이다. 본 발명에 따르면, 상기 장치는 적어도 하나의 워터마크된 모션 벡터 내에 삽입되는 적어도 하나의 워터마킹 비트를 추출하기 위한 수단을 포함하고, 상기 추출 수단은:

- 상기 적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정을 하는 수단;

- 각각 관련된 특정 이진값을 갖는, 두 가지 형태의 보조 영역으로 구획된 기준 공간 안에서 상기 워터마크된 모션 벡터의 위치를 분석하는 수단;

- 상기 모션 벡터가 위치하는 상기 영역의 상기 이진값의 상기 워터마킹 비트에 할당하는 수단을 포함하는 것을 특징으로 한다.

또한 본 발명은 단말기를 이용하여 판독가능한 디지털 데이터 반송파에 관한 것이며, 상기 디지털 데이터 반송파는 위에서 설명한 워터마킹 방법에 따라 워터마크된 비디오 이미지의 시퀀스를 나타내는 신호를 저장하기 위한 수단을 포함하는 것을 특징으로 한다.

또한 본 발명은 컴퓨터 프로그램에 관한 것이며, 상기 컴퓨터 프로그램은 상기 프로그램이 컴퓨터 상에서 실행될 때 위에서 설명한 워터마킹 방법의 단계들을 실행하기 위한 프로그램 명령어 코드 명령어들을 포함하는 것을 특징으로 한다.

또한 본 발명은 컴퓨터 프로그램 제품에 관한 것이며, 상기 프로그램 제품은

- 적어도 하나의 워터마크된 모션 벡터를 얻기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정에 의하여 획득된 적어도 하나의 모션 벡터 내부에 - 여기서 상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖고- 적어도 하나의 워터마킹 비트를 삽입하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단;

- 필요한 경우에, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단;

- 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들을 결정하는 단계와, 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 될 수 있도록, 적어도 하나의 미리 정해진 표준에 따라, 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 최적으로 워터마크된 모션 벡터를 선택하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단을 포함하는 것을 특징으로 한다.

마지막으로 본 발명은 위에서 설명한 워터마킹 방법에 따라 워터마크된 비디오 이미지 시퀀스를 나타내는 신호에 관한 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

본 발명의 일반적인 원칙은 워터마킹 비트의 삽입 영역을 적응적으로 선택하는 것에 의존한다. 다시 말하면, 본 발명의 일반적인 원칙은, 상기 모션 벡터 안으로 마크를 삽입함으로써 비디오 시퀀스의 워터마킹을 하기 위한 기술의 문맥을 포함하며, 상기 이미지와 연관된 기준 격자의 동일한 이진값을 대표하는 여러 모션 벡터를 고려하고, 이러한 벡터들 중에서 미리 정해진 표준, 예를 들어 워터 마킹에 대한 강건함 또는 가시성의 표준을 가능하게 하는 최적의 워터마크된 모션 벡터를 선택하는 것을 포함한다.

상기 비디오 시퀀스의 워터마킹은 그 컨텐츠를 보호하기 위하여 요구되는 것으로 볼 수 있다.

실제, 지금까지 비디오 컨텐츠의 보호는 사유 시스템(proprietary systems)이라고 알려진 시스템의 존재를 통하여 수행되어 왔으며, 그러나 이것은 그 약점을 드러내고 있다. 이러한 시스템은 일반적으로 비밀의 존재에 의존하고 있으며, 이러한 비밀은 일단 공개되면 쉽게 악용될 수 있고, 따라서 상기 비디오 컨텐츠에 대하여 더 이상 효과적인 보호를 할 수 없게 된다. 이러한 예는 DVDs(또는 "DigitalVersatile Disks")의 보호를 위하여 사용되는 CCS("Content Scrambling System")의 경우가 해당된다.

워터마킹의 활용은 이러한 보호 수단이 사용자에게 보이지 않고 그 매체는 개념상의 악화(상기 매체를 암호화하는 시스템의 경우에서 처럼)를 나타내지 않는다는 사실에 있다: 따라서 상기 비디오 시퀀스가 기록되는 데이터 전달자는 완벽하게 사용가능하다.

특히 비디오 워터마킹은 다음과 같은 분야에 적용할 수 있다:

- 디지털 영화, 여기에서는 워터마킹을 함으로써 악의적인 사람이 스크린상에 영사되는 필름을 기록하는 행위를 방지할 것이 요구된다;

- DVDs의 보호, 여기에서는 지금까지 이러한 종류의 전달자들을 보호하기 위하여 사용된 방법들 보다 더욱 강한 워터마킹 기술을 이용함으로써 비인가 복제본의 배포행위를 방지할 것이 요구된다;

- 온라인 영화, 이것은 높은 비트율의 네트워크에 대한 장래 예상되는 응용분야 중의 하나이며, 현재의 페이퍼뷰(pay-per-view) 시스템에 가까운 시스템이다.

본 발명에 따라 제안되는 워터마킹 알고리즘은 마크를 비디오 시퀀스의 모션 벡터안으로 계층적이고 적응적으로 삽입하는 것에 의존한다.

이하에서는 본 발명의 다양한 단계들이 도 1을 참조하여 더욱 상세하게 설명된다.

제1 단계(11) 동안에, 주어진 길이 N의 마크가 0또는 1의 값을 갖는 연속된 N 비트의 형태로 생성된다.

제2 단계(12) 동안에, P<=M인 경우의 비디오 시퀀스(I1, ....,IM)의 P개 쌍을 위한 두개의 이미지 I_t및 I_t'(t≠t') 사이의 모션 벡터 추정이 이루어진다. 이러한 모션 추정은, 잘 알려진 기술(예를 들어 "블록 매칭" 형태의 기술)에 의하여 구현되며, 고려된 P개 쌍의 이미지 각각에 대하여 상기 이미지 I_t및 I_t'사이의 모션 벡터 필드(field)를 계산하는데 사용된다.

이어서 (예를 들어 상기 생성된 마크(11)의 비트가 삽입되는 Yarrow 형태의 PRNG(pseudo-random number generator) 절차에 의하여 결정되는) 소정의 표준에 따라서 계산되는 모든 모션 벡터들 중에서 T 벡터가 선택된다(13).

이어서 각각의 선택된 벡터에 대하여, 소정 크기의 탐색 영역(예를 들어 상기 선택된 벡터가 위치하고, 각각의 블록들이 인접하는 기준 격자 블록의 적절한 이진값의 모든 영역으로 구성되는 영역)은 상기 선택된 벡터에 대응하는 잠재적으로 워터마크된 모션 벡터를 나타내는 모든 모션 벡터를 결정하기 위하여 스캔된다(14).

소정의 표준(예를 들어 마크의 가시성에 대한 PSNR 형태의 표준)에 의존하여, 상기 최적으로 워터마크된 벡터가 잠재적으로 워터마크된 모션 벡터를 나타내는 모든 모션 벡터들 중에서 선택된다(15).

제16 단계(16) 동안에, 상기 마크된 비디오 시퀀스는, 상기 최적으로 워터마크된 모션 벡터에 상대적으로 모션 보상을 수행함으로써, 최종적으로 생성된다.

이제 위의 각각의 다른 단계들(11 내지 16)이 더욱 상세하게 설명될 것이다.

상기 단계(11) 동안에 생성된 마크는 정보(복사 또는 다른 형태의)의 조각을 나타낼 수 있으며, 주어진 길이 N을 갖는 이진 모드{-1,1}로 전사(transcribe)된다. 따라서 이것은 N 비트로 구성되며, 각각은 상기 이미지 시퀀스의 모션 벡터내에 삽입된다. 상기 마크의 강건함을 향상시키기 위하여, 이것을 상기 비디오 시퀀스 내에 여분으로 삽입할 수 있다: 즉, 상기 시퀀스에 대한 여러개의 특정 모션 벡터들이 동일한 워터마킹 비트를 생성할 수 있다.

상기 마크를 여분으로 삽입하기 위해서는, P<=M인 경우의 비디오 시퀀스(I1, ....,IM)의 P개 쌍을 위한 두개의 이미지 I_t및 I_t'(t≠t') 사이의 모션 벡터 추정을 수행하는 것이 특히 가능하다.

본 발명의 특징적인 실시예에서는, 사용된 모션 추정은 "블록 매칭(block matching)" 형태이며, 모션 추정은 상기 시퀀스의 t와 t+1(각각 t+1과 t 사이에 있으며, 그것이 만들어진 전방 또는 후방 모션인지 여부에 따라) 사이에서 수행된다.

"블록 매칭"이란, 고려된 이미지에서 각각의 픽셀 블록에 대하여, 상기 모션 벡터에 의하여 이동되고, 이전 또는 이후의 이미지와 동일한 크기를 갖는 블록으로부터 현재 블록을 재구성할 수 있도록 하는 최상의 모션 벡터에 의하여 평가가 이루어지는 것임을 상기할 수 있다. 이것을 행하기 위해서는, 이전 이미지 또는 다음에 놓여진 이미지내의 블록과 상기 고려된 이미지내의 현재 블록 사이의 차이를 나타내는 DFD("Displaced Frame Difference")라고 알려진 고전적인 가격 기능을 최소화하는 모션 벡터를 결정하기 위하여, 상기 이전 이미지 또는 다음 이미지내의 현재 블록 주위에서 탐색이 이루어진다.

본 발명의 바람직한 실시예에서는, 마킹(L≥1인 경우)을 위하여 L 레벨의 계층적인 모션 추정이 수행된다. 이러한 종류(복수의 비늘 모양으로 겹쳐진(imbricated) 레벨을 이용한)의 계층적인 접근방법은 상기 마크의 확산을 효과적으로 가능하게 한다.

이러한 것을 성취하기 위하여, 상기 이미지는 2N×2N 픽셀 크기의 블록(21) 세트에 의하여 구성되는 것이 고려되며, 이들은 예를 들어 N×N 등의 픽셀 크기를 갖는 하위 블록(22)으로 분할된다. 이러한 각각의 블록에 연관된 모션 벡터를 얻기 위하여 상기 N×N 크기 블록(22)에 대하여 모션 추정이 수행된다. 이후에 상기 각각의 2N×2N 크기 블록(21)과 연관된 더 높은 계층 레벨의 모션 벡터를 결정하기 위하여, 상기 획득된 모션 벡터의 평균을 얻기 위한 동작이 수행된다. 상기 평균을 계산하기 위한 동작은 최저밀도의 계층 레벨(coarsest hierarchical level) 까지 4N×4N 크기 블록(23) 등에 대하여 계속될 수 있다.

이어서 상기 모션 추정은 아주 정확한 계층 레벨 상에서 수행되며, 이러한 정확한 추정으로부터, 상기 최저밀도 계층 레벨들과 연관된 모션 벡터가 결정된다.

본 발명의 특징적인 실시예는 두 개의 계층 레벨을 사용하고, 상기 모션 추정과정 동안에 사용되는 초기 블록들은 4×4 픽셀 크기를 갖는다.

상기 모션 동작 단계(12) 동안에 모든 동작 벡터들이 계산된 때에는, 상기 동작은 상기 계층의 최저밀도 레벨에 위치하고, 상기 워터마크가 삽입되어질 T 모션 벡터 세트(그리고 이로 인하여 이와 연관되는 블록 세트)가 선택된다.

상기 블록들은 미리 정해진 규칙에 따라 선택되며, 이러한 규칙은 결정적(deterministic) 또는 의사-난수(pseudo-random)가 될 수 있다. 본 발명의 특정 실시예에서는, Yarrow 형태의 의사난수 PRNG 선택이 사용된다.상기 최저밀도 레벨의 블록들이 선택된다.

상기 마크가 삽입될 것이 요구되는 T 모션 벡터의 선택(13)이 있은 이후에, 이어서 상기 벡터들 각각에 대하여, 미리 정해진 탐색 영역내에서 대응하는 잠재적으로 워터마크된 모션 벡터를 나타내는 모든 모션 벡터에 대하여 탐색(14)이 이루어진다.

이를 행하기 위하여, 도 3에 제시된 기준 격자가 사용된다.

상기 도면에 나타난 실시예에서, 상기 격자는 직사각형이고 데카르트 도메인(Cartesian domain) 내에서 생성된다. 상기 x축은 상기 이미지의 행에 대응하고 상기 y축은 상기 열에 대응한다.

상기 격자는 복수의 H×K-픽셀-크기의 사각형 블록(30)으로 구성된다. 본 발명의 특정 실시에는 H=K=7 픽셀인 경우의 정방형 격자를 사용한다.

각각의 블록은 두 개의 보조 영역 Z1 및 Z2를 갖는다. 상기 Z1 영역은 h×k 픽셀 크기를 갖는 사각형이고, 상기 블록(30)의 중앙에 위치한다. 상기 Z2 영역은 Z2와 상기 블록의 경계 사이에서, 상기 Z1의 주위에 위치한다.

바람직하게는, 상기 h 및 k 값은 상기 Z1과 Z2가 동일한 영역을 갖도록 선택된다.

이어서 각각의 선택된 모션 벡터(31)는 상기 격자 위에 놓여지고, 상기블록(30)뿐만 아니라 이것이 위치하는 Z1 및 Z2 도 결정된다.

만약 상기 벡터(31)가 도 3에 나타난 것처럼 상기 Z1내에 위치하는 경우에는, 그리고 상기 벡터(31) 내부에 1값을 갖는 워터마킹 비트를 삽입할 것이 요구되는 경우에는, 그 좌표를 수정함으로써 상기 벡터(31)를 이동시키는 것이 필요하지 않다.

그러나, 만약 상기 벡터(31) 내부에 0값을 갖는 워터마킹 비트를 삽입할 것이 요구되는 경우에는, 상기 모션 벡터(31)의 좌표는 상기 이진값 0과 연관된 격자의 영역 Z2 내에 위치할 수 있도록 수정되어야만 한다.

이와 반대로, 만약 상기 벡터(31)가 상기 Z2 영역에 위치하고 만약 이것을 0값으로 마크할 것이 요구되는 경우에는, 이것을 수정할 필요가 없다. 그러나 만약 이것을 1값으로 마크할 것이 요구되는 경우에는, 상기 기준 격자의 Z1 영역에 위치하는 워터마크된 모션 벡터를 획득하기 위하여 그 좌표들이 수정되어야 한다.

첨부 1은, 본 특허 출원에 없어서는 안 될 일부분에 해당하며, 도 8과 함께 특허 출원 No. FR 02 13660에 설명된 워터마킹 모션 벡터(31)에 대한 기술의 설명을 제공한다.

상기 기술에 따르면, 상기 모션 벡터(31)의 수정 모델은 결정적 모델(deterministic model)이었다. 그러나 본 발명에 따르면 이러한 워터마킹 기술은 상기 워터마크된 모션 벡터의 탐색 공간을 확장함으로써 향상된다.

따라서 본 발명은 상기 워터마크를 생성하도록 디자인된 대표 모션 벡터들(represestative motion vectors)을 선택한 후에, 상기 삽입 영역(즉, 상기워터마크된 모션 벡터가 그 좌표의 수정 이후에 위치될 영역)은 상기 마킹을 위하여 선택된 벡터의 인접영역에서 적응적으로 선택될 것이라는 점에서, 첨부 1에서 설명된 기술을 향상하는 것으로 구성된다.

실제, 상기 특허 출원 No. FR 02 13660의 목적에 해당하는 기술에 따르면, 각각의 선택된 모션 벡터는 단일 기준점(자신이 위치하는 워터마크된 모션 벡터의 종단에 가장 가까운 기준 격자 블록의 종단에 대응하는)과 연관된다. 상기 워터마크된 모션 벡터의 좌표는 이러한 기준점에 상대적인 모션 벡터의 거리 및 위치의 함수로서, 미리 정해진 규칙에 따라 직접적으로 결정된다: 상기 워터마크된 벡터는 항상 상기 연관된 기준점의 직접 인접영역에 위치한다.

그러나 본 발명에 다르면, 탐색은 상기 워터마크된 모션 벡터의 최적 위치에 대하여 이루어지며, 상기 기준점의 부근에서 뿐만 아니라 상기 기준점에서 다소 넓은 인접영역에서도 이루어진다.

이러한 탐색은 상기 마크의 삽입에 대한 영역(즉 상기 워터마크된 모션 벡터가 위치하는 영역)의 선택을 가능하게 하며, 이러한 영역은 PSNR 및 강건함의 측면에서 최적에 해당하는 것이다.

도 4에 나타난 특정 실시예에서는, 탐색 영역으로서 선택된 영역은 기준 격자(43)의 블록(42)(상기 블록(42)를 포함하는)의 중심에 위치하는 9 블록의 세트(41)이다. 다시 말하면, 마크가 이루어질 모션 벡터(31)가 위치하는 블록(42)과는 별도로, 3개 블록 넓이의 탐색 영역내에서 잠재적으로 워터마크된 모션 벡터에 대하여 또한 탐색이 이루어지며, 이러한 탐색은 상기 블록(42)에 직접 인접하는모든 블록들을 포함한다.

자연적으로, 이러한 탐색 영역 내에서, 상기 고려된 유일한 모션 벡터는, 삽입될 워터마킹 비트에 대응하는 Z1 또는 Z2 영역 내에 위치하게 되는 잠재적으로 워터마크된 모션 벡터들를 나타내는 것들이다.

따라서, 도 4에 도시된 것처럼, 예를 들어 5×5 블록 탐색창(43)을 선택하는 것이 또한 가능하다. 상기 탐색창의 크기는 파라미터화(parametrized)될 수 있다.

첨부 1에서 설명된 것처럼 단순한 대칭성을 이용하여 상기 워터마크된 벡터를 제작하는 대신에, 상기 단계(14) 동안에, 상기 모션 벡터(31)과 연관된 기준점으로부터 결정되는 탐색 영역(41 또는 43)내에서 철저한 탐색이 이루어진다.

그리고 상기 최적으로 워터마크된 모션 벡터를 결저하기 위한 단계(15)는 상기 모션 벡터(31)를 상기 PSNR의 계산에 기초한 표준을 최적화시키는 탐색 영역(41 또는 43)의 모든 픽셀 상에 상기 모션 벡터(31)를 위치시키는 것으로 구성된다.

이것을 행하기 위하여, 도 5에 도시된 것처럼, 상기 탐색 영역(41 또는 43)의 모든 8×8 픽셀 크기의 블록(30) 상에서 스캔 동작이 수행된다(따라서 상기 모션 벡터(31)의 좌표들을 수정하는 경우).

상기 모션 벡터(31)는 상기 탐색 영역(41 또는 43)의 각각의 픽셀(예를 들어 81, 83) 상에 연속적으로 위치된다. 스캔된 각각의 픽셀(81 과 83 각각)은 상기 블록의 좌측 하부에 위치한다. 상기 다른 블록들(82, 84)은 분리되지 않으며 겹쳐질 수 있다(overlap).

이하에서 도 7에 관하여 설명되는 것처럼, 현재 픽셀(81, 83)과 연관된 이러한 다른 블록들(82, 84)이 바로 상기 PSNR을 결정하기 위하여 사용되는 것이다.

이어서 변위(variation) δd가 결정되고, 상기 변위는 도 6에 도시된 것처럼 상기 기준 격자 영역(52)의 새로운 8×8 크기의 각각의 블록(82, 84)과 상기 최초 블록(42) 사이에서의 상기 모션 벡터(31)의 이동에 대응하는 것이다.

도 6에서는, 상기 마크되지 않은 모션 벡터(31)는 상기 블록(42)의 이진 값 1과 연관된 Z1 영역에 위치한다는 것이 강조될 것이다. 상기 모션 벡터(51)는, 잠재적으로 워터마크된 모션 벡터를 나타내며, 워터마킹 비트 0을 삽입하는 것에 대응하는, 상기 영역(52)의 이진값 0과 연관된 Z2 영역에 위치한다.

도 7에 도시된 것처럼, 각각의 모션 벡터(51)는, 상기 비디오 시퀀스의 이미지 n의 잠재적으로 워터마크된 모션 벡터를 나타내며, 초기 블록(85)에 적용될 시에는, 예를 들어 다음 이미지 n+1의 보상 블록(61, 62 또는 63)을 획득하는 것이 가능하다.

상기 초기 블록(85)와 각각의 다른 보상 블록들(61, 62 또는 63) 사이의 PSNR이 계산된다.

상기 PSNR은 데시벨 단위로서 다음의 공식에 의하여 정의된다는 것을 상기할 수 있다:, 여기서 m은 픽셀을 이용하여 얻을 수 있는 최대값(예를 들어 8비트 그레이(gray) 레벨에서의 이미지가 고려되는 경우에는 255임), 그리고 MSE는 T 프레임 시퀀스의 X×Y 크기의 이미지에 대하여으로서 정의되는 두개의 이미지 I 및사이의 평균 제곱 에러를 지시한다.

상기 최적으로 워터마크된 모션 벡터는 상기 초기 블록(85)로부터 가장 높은 PSNR을 획득하기 위한 블록(61, 62 또는 63)을 획득하는 것을 가능하게 한다: 실제 상기 블록은 상기 원래 이미지의 가장 충실한 모습을 획득하기 위하여 사용되는 것이다.

이어서 상기 최적으로 워터마크된 모션 벡터와 연관된 상기 변위 δd는 상기 초기 블록(85)의 4 개의 4×4 크기의 자손 블록들(child blocks)의 모션 벡터에 적용된다.

상기 4×4 크기의 블록들 각가에 대하여 PSNR을 계산함으로써, 이러한 모든 블록들에 대한 평균 PSNR이 유도된다.

상기 최적으로 워터 마크된 모션 벡터가 선택되었을 때, 상기 모션 벡터의 좌표에 대한 수정을 가장 세밀한 레벨의 벡터에 전달하여 상기 마크의 확산을 획득할 수 있도록, 상기 동작은 상기 계층의 더 세밀한 레벨로 내려간다.

따라서 본 발명은 상기 워터마킹 방법에 대하여 계층적인 접근 방법을 구현한다.

상기 단계(13) 동안에 선택된 모든 모션 벡터들이 워터마크된 때에는, 모션의 보상(motion compensation)을 수행함에 있어서 마크된 비디오 시퀀스를 생산(16)하는데 사용된다.

따라서 두 가지 방법이 예상될 수 있다:

- 제1 방법에 따르면, 이러한 블록들이 워터마크된 또는 워터마크되지 않은모션 벡터들과 연관되는지 여부에 따라, 상기 이미지의 모든 블록들 상에서 모션 보상이 수행된다;

- 제2 방법에 따르면, 상기 단계(13) 동안에 선택된 블록들 상에서 보상이 이루어지고, 더 높은 품질의 이미지를 얻기 위하여 남겨진 원래의 블록들에 의하여 이러한 이미지가 완성된다.

본 발명에 따르면, 워터마크된 비디오 시퀀스 내에서 마크의 검출은 두 단계로 이루어지다:

- 우선, 위에서 설명된 워터마킹 방법에 대하여 이중적인 방법은 상기 마크를 도출하는 방식으로 구현된다. 상기 방법은 다음과 같이 구성된다:

ㅇ 상기 워터마크된 비디오 시퀀스의 이미지 쌍들 사이에서의 모션 추정의 수행하는 단계;

ㅇ 상기 이미지의 4×4 크기 블록 상에서 모션 벡터 세트를 감소시키는 단계;

ㅇ 상기 8×8 크기 블록과 연관된 모션 벡터를 결정하기 위하여 이러한 모션 벡터들의 평균을 구하는 단계;

ㅇ 상기 기준 격자 상에 상기 평균 모션 벡터를 놓는 단계;

ㅇ 이러한 각각의 벡터에 대하여, 상기 격자의 Z1 또는 Z2영역 내의 위치에 의존하여, 그 수반되는 워터마킹 비트의 값 1 또는 0을 감소시키는 단계;

ㅇ 상기 도출된 모든 워터마킹 비트들로부터, N비트의 이진 시퀀스 형태로 상기 마크를 회복(refresh)시키는 단계;

- 이어서 상기 마크의 존재 또는 비존재를 특징하는 신뢰 임계값(a threshold of trust)을 결정하기 위하여 통계적 상관(statistical correlation)이 수행된다. 실제, 상기 마크는 상기 이미지 내로 여분으로 삽입될 수 있으며(예를 들어 각 이미지마다 2.5 번), 예를 들어 상기 획득된 마크가 삽입되어진 마크와 진실로 동일한지 여부를 결정하기 위하여, 이러한 종류의 통계적 상관 단계가 사용될 것이다.

다음의 두개의 상관 규칙이 사용될 수 있다:

상관 규칙1:

: 도출된 마크

:의 평균

: 원래 마크

:의 평균

상관 규칙2:

n: 이미지의 수

: 해밍 거리(Hamming distance)

상기 검출 단계를 유효하도록 하기 위하여, 상기 전체 비디오에 대한 신뢰 지수(index of trust)를 획득하기 위하여 상기 규칙 1에 대한 상관 계수의 누적을얻게 된다.

첨부 1:

본 특허 출원을 위하여 출원된 프랑스 특허출원 No. FR 02 13660에 따른 모션 벡터의 워터마킹을 위한 기술

상기 마크를 모션 벡터 31 OC에 삽입하는 규칙은 도 8에 도시된 기준 격자에 기초한다.

이러한 사각 격자는 데카르트 도메인내에서 생성된다. 상기 x축은 상기 이미지의 행에 대응하고 상기 y 축은 열에 대응한다. 상기 격자는 H×K 픽셀 크기의 소자 E의 세트에 의하여 구성된다. H의 경우, K=1, ..., J(상기 발명의 특정 모드는 H=K=7인 정방형 격자를 사용한다)이다.

상기 모션 추정 절차 동안에 계산되는 각각의 모션 벡터에 대하여, 상기 모션 벡터 OC 31는 상기 격자 상에 배치되며, 상기 벡터 OC 31이 속하는 상기 사각 소자 E의 꼭지점들 중 하나에 대응하는 그 기준점 P 72이 결정된다. 상기 모션 벡터의 기준점 P 72를 계산하기 위하여, 상기 방법은 상기 벡터(31)의 종단(C)과 상기 E의 네개의 꼭지점들 중 하나와의 사이 거리를 최소화하는 사각 소자의 위치를 선택한다. 특정한 일 실시에에서는, 표준 L1이 사용된다.

이어서 다음의 규칙에 따라 상기 벡터(31)가 수정된다:

- e의 영역이 E-e영역과 동일하도록, δ1 및 δ2를 이용하여 h=H-δ1 및 k=K-δ2가 되는 h×k크기를 갖는 E에 포함되는 사각 소자 e가 생성된다. 상기 소자 e는 이진값 1과 연관된 Z1 영역에 대응하고, 상기 소자 E-e는 이진값 0과 연관된 Z2 영역에 대응한다;

- 상기 비트 1의 삽입이 요구되고 또한 상기 모션 벡터가 Z2 안에 있는 경우에는, Z1으로 이동된다. 이를 위하여, C는 축방향으로하여 D 안으로 이동한다.

중앙 대칭 B에 따르면:

여기서 V_x및 V_y는 각각 상기 벡터 OC 31의 x축 및 y축을 나타내고, V'x 및 V'y는 상기 워터마크된 벡터 OD 71의 좌표들을 나타낸다.

즉, 상기 위치 C가 상기 E의 BP 및 FP 경계들로부터 동일한 거리에 위치하는 경우에는, 상기 벡터 OC 31은 중앙 P를 갖고 가중된 중앙 대칭을 이용하여 이동되며, 하나의 예를 들면 다음의 관계에 따르게 된다:

PD=-2/5PC

만약, 비교에 의하여, 상기 위치 C가 상기 Z2 영역의 경계들 중 하나에 더욱 가까워지는 경우에는, 상기 위치 D는 이러한 경계에 상대적으로 상기 벡터 OC 31의 가중된 축 대칭(예를 들어 2/5의 계수를 이용하여)을 획득함으로써 얻을 수 있다.

- 만약 상기 비트 0이 삽입될 것이 요구되고 상기 모션 벡터는 Z1 영역 내에 있는 경우에는, 중앙 B를 갖고서 가중된 중앙 대칭을 획득함에 있어서 Z2로 이동한다.

특정한 일 실시예에서는, 사용된 가중치(weighting)은 다음의 수정을 하게된다.

- 만약 상기 비트 0이 삽입될 것이 요구되고, 상기 모션 벡터가 Z2 영역안에 있는 경우에는, 아무런 동작도 이루어지지 않는다.

본 발명에 따르면, 비디오 시퀀스의 워터마킹에 있어서 강건함이 더욱 향상되어 필터링 또는 압축 형태의 더욱 일반적인 공격 뿐만 아니라 특히 악의적인 공격에도 견딜 수 있는 이점이 있다.

또한 본 발명에 따르면, 워터마크의 가시성을 감소된다. 즉,하나 또는 그 이상의 모션 벡터들 안으로 마크가 삽입되어, 종래 기술과 비교하여 상기 마크된 벡터들의 변형을 최소화할 수 있는 이점이 있다.

Claims

비디오 이미지의 시퀀스에 대한 워터마킹 방법에 있어서,

적어도 하나의 워터마크된 모션 벡터를 얻기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정에 의하여 획득된 적어도 하나의 모션 벡터 내부에 적어도 하나의 워터마킹 비트를 삽입하기 위한 단계를 구현하며,

상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖고,

상기 삽입 단계는, 필요한 경우에, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정을 구현하며,

상기 수정이 이루어지는 동안에, 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들이 결정되고, 그리고 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 적어도 하나의 미리 정해진 표준에 따라 최적으로 워터마크된 모션 벡터가 선택되며, 따라서 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 될 수 있는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항에 있어서, 상기 미리 정해진 기준은 상기 워터마킹의 가시성 기준인 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 또는 제2항에 있어서, 상기 기준 공간은 미리 정해진 차원의 블록들을 포함하는 기준 격자와 연관되고, 상기 각각의 블록들은 상기 각각의 형태의 영역을 포함하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제3항에 있어서, 상기 모션 벡터는 기준 블록이라 불리우는 상기 기준 격자의 블록에 위치하고, 상기 잠재적으로 워터마크된 모션 벡터들은 상기 워터마킹 비트에 대응하는 이진값을 갖는 상기 기준 블록 내에서 탐색되는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제4항에 있어서, 상기 잠재적으로 워터마크된 모션 벡터들은 또한, 상기 기준 블록에 인접하는 적어도 하나의 블록에 속하는, 상기 워터마킹 비트에 대응하는 이진값 영역 내에서 탐색되는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제4항 또는 제5항에 있어서, 상기 잠재적으로 워터마크된 모션 벡터들은 상기 탐색 영역 내에 위치한 모든 모션 벡터인 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 미리 정해진 기준은 상기각각의 잠재적으로 워터마크된 모션 벡터들과 연관된 피크 신호-대-잡음비(PSNR)의 최적화 표준인 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 내지 제7항에 있어서, 상기 비디오 이미지 시퀀스는 적어도 두 개의 계층적 레벨들과 연관되고, 상기 방법은 상기 레벨의 모션 벡터들의 세트를 결정하기 위하여 상기 레벨들 중 적어도 하나에 대한 상기 시퀀스의 적어도 하나의 이미지 쌍에 대한 모션 추정을 구현하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제8항에 있어서, 상기 가장 높은 계층 레벨의 모션 벡터들 중으로부터, 상기 워터마킹 비트의 삽입 단계가 구현되는 적어도 하나의 모션 벡터에 대한 선택을 하기 위한 단계를 포함하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제8항 또는 제9항에 있어서, 상기 선택된 모션 벡터의 좌표들의 수정은 또한, 상기 워터마킹 비트의 여분의 삽입을 수행하기 위하여, 상기 더 낮은 레벨들 중 적어도 하나의 대응되는 모션 벡터에 적용하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 모션 추정은 "블록 매칭"형태인 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 내지 제11항 중 어느 한 항에 있어서, 또한 워터마크된 비디오 이미지 시퀀스를 생성하기 위하여 상기 워터마크된 모션 벡터 또는 모션 벡터들에 기초한 모션 보상 단계를 포함하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제12항에 있어서, 상기 각각의 모션 벡터들은 상기 이미지의 영역과 연관되고, 상기 모션 보상은, 워터마크되거나 또는 워터마크되지 않은 모션 벡터들과 연관되어, 상기 이미지의 모든 영역상에서 구현되는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제12항에 있어서, 상기 모션 벡터는 상기 이미지의 영역과 각각 연관되고, 상기 모션 보상은 상기 워터마크된 모션 벡터 또는 벡터들이 연관되는 상기 이미지의 영역 또는 영역들 내에서 구현되며, 그리고 상기 워터마크된 비디오 이미지 시퀀스는 상기 모션 보상이 구현되는 상기 영역과 적어도 하나의 원래 영역을 포함하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 방법.
제1항 내지 제14항 중 어느 한 항에 따라 워터마크된 비디오 이미지 시퀀스로부터 워터마크를 추출하기 위한 방법에 있어서,

적어도 하나의 워터마크된 모션 벡터 내부에 삽입되는 적어도 하나의 워터마킹 비트를 추출하는 단계를 포함하고,

상기 추출 단계는 다음의 하위 단계:

_ 상기 적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개 이미지들 사이에 모션 추정을 하는 단계;

- 두 가지 형태의 보조 영역으로 구획되고, 이들 각각은 연관된 특정 이진 값을 갖는 기준 공간 안에서 상기 워터마크된 모션 벡터의 위치를 분석하는 단계;

- 상기 모션 벡터가 배치되는 영역의 이진값으로된 상기 워터마킹 비트를 할당하는 단계를 포함하는 것을 특징으로 하는 워터마크 추출 방법.
제15항에 있어서, 상기 비디오 시퀀스의 이미지는 적어도 두개의 레벨들과 연관되고, 상기 방법은 상기 레벨의 모션 벡터들의 세트를 결정하기 위하여 상기 레벨들 중 적어도 하나에 대한 상기 시퀀스의 적어도 하나의 이미지 쌍에 대한 상기 모션 추정을 구현하는 것을 특징으로 하는 워터마크 추출 방법.
제15항 또는 제16항에 있어서, 상기 워터마킹 비트는 상기 비디오 이미지 시퀀스 내로 여분으로 삽입되고, 상기 추출 방법은 상기 추출된 워터마킹 비트에 신뢰지수를 할당하기 위하여 사용되는 적어도 하나의 상관계수를 계산하는 단계를 포함하는 것을 특징으로 하는 워터마크 추출 방법.
적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개의 이미지 사이에서 모션 추정을 함으로써 얻어지는 적어도 하나의 모션 벡터 내에 적어도 하나의 워터마킹 비트를 삽입하기 위한 수단을 포함하며,

상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지 형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖고,

상기 삽입 수단은, 필요한 경우에는 활성화되어, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정을 하기 위한 수단을 포함하며,

상기 수정 수단은 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들을 결정하고, 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 적어도 하나의 미리 정해진 표준에 따라 최적으로 워터마크된 모션 벡터를 선택하여, 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 되도록 하는 결정 및 선택 수단을 포함하는 것을 특징으로 하는 비디오 이미지의 시퀀스에 대한 워터마킹 장치.
제1항 내지 제14항 중 어느 한 항의 워터마킹 방법에 따라 워터마크된 비디오 이미지 시퀀스로부터 워터마크를 추출하기 위한 장치에 있어서,

적어도 하나의 워터마크된 모션 벡터 내에 삽입되는 적어도 하나의 워터마킹 비트를 추출하기 위한 수단을 포함하고,

상기 추출 수단은:

- 상기 적어도 하나의 워터마크된 모션 벡터를 획득하기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정을 하는 수단;

- 각각 관련된 특정 이진값을 갖는, 두 가지 형태의 보조 영역으로 구획된 기준 공간 안에서 상기 워터마크된 모션 벡터의 위치를 분석하는 수단;

- 상기 모션 벡터가 위치하는 상기 영역의 상기 이진값의 상기 워터마킹 비트에 할당하는 수단을 포함하는 것을 특징으로 하는 워터마크 추출 장치.
컴퓨터에서 사용가능한 반송파 상에 기록된 비디오 이미지 시퀀스를 나타내는 신호에 있어서,

상기 시퀀스는 제1항 내지 제14항 중 어느 한 항의 워터마킹 방법에 따라 워터마크된 시퀀스인 것을 특징으로 하는 비디오 이미지 시퀀스를 나타내는 신호.
제1항 내지 제14항 중 어느 한 항에 따른 워터마킹 방법의 단계를 실행하기 위한 프로그램 코드 명령들을 포함하고, 컴퓨터 상에서 실행되는 컴퓨터 프로그램.
컴퓨터에서 사용될 수 있는 반송파 내에 기록된 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 있어서,

- 적어도 하나의 워터마크된 모션 벡터를 얻기 위하여, 상기 시퀀스의 두 개 이미지 사이에서 모션 추정에 의하여 획득된 적어도 하나의 모션 벡터 내부에 - 여기서 상기 모션 벡터는 기준 공간 내에서 그 좌표들에 의하여 식별되고, 두 가지형태의 보조 영역으로 구획되며, 각각은 연관된 특정 이진값을 갖고- 적어도 하나의 워터마킹 비트를 삽입하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단;

- 필요한 경우에, 상기 모션 벡터가 상기 삽입될 워터마킹 비트에 대응하는 이진값 영역 내에 위치하도록 상기 모션 벡터의 좌표들에 대한 수정하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단;

- 적어도 두 개의 잠재적으로 워터마크된 모션 벡터들을 결정하는 단계와, 상기 모션 벡터의 수정된 좌표들이 상기 최적으로 워터마크된 모션 벡터들의 좌표들이 될 수 있도록, 적어도 하나의 미리 정해진 표준에 따라, 상기 잠재적으로 워터마크된 모션 벡터들 중에서, 최적으로 워터마크된 모션 벡터를 선택하는 단계를 수행하기 위한 컴퓨터가 판독가능한 프로그래밍 수단을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제15항 내지 제17항 중 어느 한 항에 따른 워터마크 추출을 위한 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
제1항 내지 제14항에 중 어느 한 항의 워터마킹 방법에 따라 워터마크된 비디오 이미지 시퀀스를 나타내는 신호.