KR20070014167A - 워터마크를 검출하는 방법 - Google Patents

Abstract

이미지(20) 시퀀스(10)에 포함된 워터마크를 검출함으로써 스케일 계수 측정치(measure of scale factor: MSF)를 결정하는 방법이 설명된다. 상기 워터마크는 상기 시퀀스(10)에서 다수의 서로 변경된 형태로 포함된다. 제1 단계에서, 상기 방법은 이미지(20)의 시퀀스(10)를 수신하는 단계를 수반한다. 제2 단계에서, 그 포함된 워터마크에 적용된 하나 이상의 관련 변경에 따라, 상기 이미지(20)는 실질적으로 복수의 대응하는 그룹으로 정렬된다. 제3 단계에서, 상기 방법은 각 그룹에 대해, 하나 이상의 이미지의 적어도 일부를 대응하는 버퍼에 축적하는 단계를 수반한다. 제4 단계에서, 상기 방법은 상기 시퀀스(10)에 포함된 상기 워터마크에 적용된 하나 이상의 변경을 결정하기 위해 상기 버퍼(130, 180)의 콘텐츠를 상호 분석하는 단계를 수반한다. 제5 단계에서, 상기 하나 이상의 변경에 관한 정보는 상기 스케일 계수 측정치(MSF)를 결정하기 위해 기대되는 스케일 계수와 관련하여 처리된다.

Description

워터마크를 검출하는 방법{METHOD OF DETECTING WATERMARKS}

본 발명은 워터마크를 검출하여, 이에 따라 크기 계수 측정치를 결정하는 방법에 관한 것이고, 특히, 그러나 배타적이지는 않게, 본 발명은 이미지 시퀀스에서 하나 이상의 워터마크를 검출하는 방법과 관한 것인데, 여기서 하나 이상의 워터마크는 이 시퀀스에서 변경되는데, 예를 들면 시퀀스의 다른 이미지에 대해 시퀀스의 이미지의 일부에서 이동 및/또는 미러링 및/또는 회전된다. 또한, 본 발명은 이러한 상대적으로 변경된 워터마크의 존재를 검출할 수 있는 워터마크 검출기와 또한 관련이 있다. 또한, 본 발명은 하나 이상의 상대적으로 변경된 워터마크, 예를 들어, 이 콘텐츠에서 이동된 및/또는 미러링된 및/또는 회전된 워터마크를 포함하는 프로그램 콘텐츠와 또한 관련이 있다. 또한, 본 발명은 워터마크를 검출하는 상기 언급된 방법을 구현하기 위해 컴퓨터 하드웨어상에서 실행하기 위한 소프트웨어와 관련이 있다.

워터마크는 콘텐츠의 진정성을 검증하는 매커니즘으로서 또는 콘텐츠의 비인증된 저작권 침해 또는 복사를 검출하는 과학 수사의 목적을 위해 오디오-비디오 프로그램 콘텐츠에 포착하기 힘든 방식으로 종종 포함된다. 워터마크가 콘텐츠에 삽입될 때 인지할 수 있을 정도로 프로그램 콘텐츠의 품질을 저하시키거나 왜곡시 키지 않도록 하기 위해, 워터마크는 콘텐츠에 단지 포착하기 힘들게 추가되는데, 그 구성은 이미지에 따라 매우 다를 수 있다. 그 결과, 하나 이상의 버퍼에서 시퀀스의 다수의 이미지 상에 워터마크 정보를 축적하고, 그후 오디오-비디오 콘텐츠에서 워터마크의 존재 또는 대안적으로 부재를 확인하기 위해 하나 이상의 기대된 워터마크 템플레이트를 사용해서 상관 기술을 적용하는 것이 확립된 관행이다.

공간 상관 기반의 워터마크 검출은 비디오 콘텐츠의 원래 크기가 알려지지 않는다면 구현하는 것이 실제적으로 불가능하지는 않으나 매우 어렵다는 것이 알려져 있다. 많은 현대 워터마크 기법은 비디오 콘텐츠에 삽입된 워터마크 패턴을 이용하는데, 그 결과 워터마크 패턴은 타일(tile) 형태로 반복되는데, 즉, 비디오 콘텐츠내의 이미지 전체를 통해 기존의 공간 기준 그리드(grid)를 따라 반복적으로 타일화된다. 비디오 콘텐츠로부터 추출된 상관 인접 워터마크 타일에 의해 원래 크기의 측정치를 검색하는 것은 종래의 관행이고, 원래 크기 계수의 측정치는 이에 따라 유도된 상관 피크의 위치에 대응한다.

종래에 이용된 타일 모양의 워터마크를 사용하는 워터마크 방식은 다음과 같은 다수의 단점을 지닌다:

(1) 비디오 콘텐츠에 포함된 이미지 시퀀스에서 프레임이라고 또한 알려진 각 이미지에서 워터마크 패턴을 반복하는 것을 이용하는 것이 필요하다. 대응하는 비디오 콘텐츠의 포맷이 변환될 때, 예를 들면, 비디오 콘텐츠가 SIF 포맷으로 서브-샘플링될 때 이러한 타일 형태의 워터마크는 신뢰성있게 변환되지 않으며, 서브-샘플링이 적용될 때, 워터마크 패턴 크기는 매우 제한적이고, 때로는 너무 작아서 DIVX 코딩된 비디오 콘텐츠에서 진정성을 보장하기 위해서나 증거 목적을 위해 유용하지 않다.

(2) 와이드-스크린 비디오 프로그램 콘텐츠가 고려될 때, 만약 워터마크 패턴이 이미지 프레임이 아닌 이미지 필드에 포함된다면, 이러한 필드는 두 개의 수직으로 인접한 비디오 패턴을 삽입하기 위해 수직 이미지 방향에서 실제로 너무 작다고 발견된다

(3) 자르기(cropping) 및/또는 스케일링 조정은 비디오 이미지, 즉, 프레임이 두 개의 수직으로 인접한 워터마크 타일을 포함하기에는 수직 방향에서 너무 작게 되는 것을 유발시킬수 있다.

본 발명자가 마주친 특별한 문제점은 비디오 필드상에 128개의 요소 x 128개의 요소 워터마크 패턴을 타일화 하기 위해 동작할 수 있는 워터마크 삽입기(embedder)와 관련이 있다. 삽입기와 호환인 워터마크 검출기는 두 개의 수평으로 인접한 128개의 요소 x 128개의 요소 워터마크 타일을 상관함으로써 수평 스케일 계수의 측정치를 검색할 수 있으며, 유사하게, 검출기는 두 개의 수직으로 인접한 이러한 워터마크 타일을 상관함으로써 수직 스케일 계수의 측정치를 검색할 수 있다. 스케일 계수의 측정치는 연관된 상관 필드의 제1 행 및 제1 열에서 가장 높은 상관 피크의 위치로부터 결정된다.

상기 접근법을 스케일 계수 결정에 적용하는 검출기는 완전-D1 워터마크된 비디오를 처리할 수 있다. 하지만, 실제에서, 데이터 캐리어로서의 DVD에 의해 운반되는 비디오 프로그램 콘텐츠 데이터는 스케일링 다운과 DIVX 포맷의 대응하는 데이터로의 후속적 변환에 종종 종속된다. 이러한 처리는 변환된 DIVX 데이터에서 워터마크 타일의 발생을 신뢰성있게 결정하기 위한 워터마크 검출기에 대한 문제점을 일으킬 수 있다. 예를 들면, 원래의 비디오 프로그램 콘텐츠는 와이드 스크린 포맷에서, 즉 720 x 480개의 요소들의 치수에 대응하는 16:9(폭:높이)의 종횡비를 갖는 이미지 시퀀스를 포함한다. 그후, 비디오 콘텐츠는 콘텐츠의 흑색 경계선이 제거되어, 잘린 비디오 콘텐츠를 생성하여 이미지는 720 x 280개의 요소(폭:높이)의 포맷을 갖는다. 그후, 서브-샘플링은 서브-샘플링된 비디오 콘텐츠에서 520 x 200 요소의 이미지 프레임 크기를 생성하기 위해 잘린 비디오 콘텐츠에 적용된다. 결과적으로, 서브-샘플링된 이미지 각각은 512 x 100개의 요소의 두 개의 서브-필드를 포함한다. 만약 원래의 비디오 콘텐츠가 두 개의 수직으로 인접한 워터마크 타일을 포함한다면, 하나 이상의 128 x 128개의 요소 워터마크 타일을 기대하는 워터마크 검출기에 제공된 잘린 서브-샘플링된 비디오 콘텐츠는 검출기가 두 개의 128 x 50개의 요소 타일을 상관하는 것에 기반하여 스케일 계수 측정치를 결정하려고 시도하는 것을 야기하며, 결과적으로, 검출기의 워터마크 검출 성능은 굉장히 감소되어 수직 스케일 계수의 측정치를 결정하는 데 상당한 곤란을 야기시킨다. 만약 검출기가 수직 스케일 계수를 정확히 결정할 수 없다면, 원래 비디오 콘텐츠에 포함된 워터마크와 연관된 데이터 페이로드를 검출기가 검출하는 것은 실제로 불가능하다. 이 데이터 페이로드는 예를 들면, 분배 경로를 나타내는 정보를 포함하는데, 이 정보는 범죄 수사적 추적을 위해 이용할 수 있다.

일본 특허 출원 JP2000151984에서, 원래의 워터마크와 이 워터마크의 이동된 버전을 오디오-비디오 콘텐츠내에 대안적으로 삽입하는 것이 제안되며, 이동된 워터마크는 원래의 워터마크에 대해 알려진 양(amount) 만큼 변환된다. 후속적으로, 원래의 워터마크에 대응하는 테스트 워터마크와 이동된 워터마크를 상관하기 위해 배열된 워터마크 검출기는 오디오-비디오 콘텐츠내의 워터마크 이동을 검출할 수 있다. 만약 콘텐츠가 스케일링되었다면, 이동 벡터는 유사한 스케일 계수에 의해 변경될 것이다. 따라서, 이동의 검출은 오디오-비디오 콘텐츠가 스케일링된 스케일 계수가 결정되는 것을 가능케 한다.

타일 워터마크 검출과 마주치는 상기 언급된 문제점을 다루기 위해, 본 발명자들은 본 발명을 개발하였다. 본 발명은 와이드-스크린 DIVX 영화에 특히 잘 기능한다고 본 발명자들에 의해 발견되었다.

본 발명의 목적은 워터마크를 검출하여 이에 따라 스케일 계수의 측정치를 유도하기 위한 향상된 방법을 제공하는 것이다.

본 발명의 제1 양상에 따라, 이미지 시퀀스에 포함된 워터마크를 검출함으로써 스케일 계수 측정치(measure of scale factor: MSF)를 결정하는 방법이 제공되는데, 여기서 상기 워터 마크는 상기 시퀀스에서 다수의 서로 변경된 형태로 포함되고, 상기 방법은:

(a) 이미지 시퀀스를 수신하는 단계;

(b) 그 포함된 워터마크에 적용된 하나 이상의 관련 변경에 따라, 상기 이미지를 실질적으로 복수의 대응하는 그룹으로 정렬하는 단계;

(c) 각 그룹에 대해, 하나 이상의 이미지의 적어도 일부를 대응하는 버퍼에 축적하는 단계;

(d) 상기 시퀀스에 포함된 워터마크에 적용된 하나 이상의 변경을 결정하기 위해 버퍼의 콘텐츠를 서로 분석하는 단계;

(e) 상기 스케일 계수 측정치(MSF)를 결정하기 위해 기대된 스케일 계수와 관련된 하나 이상의 변경에 대한 정보를 처리하는 단계를 포함한다.

본 발명은 종래의 접근법과 비교하여 보다 정밀한 및/또는 신뢰성 있는 스케일 계수 측정치를 제공할 수 있다는 이점을 지닌다.

바람직하게, 본 발명에서, 검출된 하나 이상의 변경은 변환 변경, 미러-전위 변경 및 회전 변경 중의 적어도 하나를 포함한다. 비록 본 발명이 측면(lateral) 변환에 대응하는 전위에 종속하는 워터마크에 대해 잘 기능한다고 발견되지만, 이와 같은 다른 형태의 전위는 본 방법에서, 특히 미러 전위에서 이롭게 대안적으로 또는 추가적으로 이용된다.

바람직하게, 본 방법에서, 단계(d)의 분석은:

(f) 버퍼의 콘텐츠를 공간 주파수 형태의 제각각 대응하는 데이터 세트로 변환하는 단계;

(g) 대응하는 처리된 데이터를 생성하기 위해 상기 데이터 세트를 점별(point-wise)로 곱하는 단계;

(h) 상기 처리된 데이터를 공간적 포맷으로 변환하는 단계를 포함한다.

이러한 처리는 워터마크되지 않은 프로그램 콘텐츠에 대응하는 이미지 정보가 워터마크 정보로부터 구별되는 것을 가능케 하는데, 그 이유는 이러한 워터마크된 프로그램 콘텐츠와 워터마크되지 않은 프로그램 콘텐츠는 공간적인 포맷에서 서로 보다 명확히 구별되기 때문이다. 바람직하게, 본 방법은 처리된 데이터를 공간적 포맷으로 변환하기 이전에 처리된 데이터를 정규화하는 단계를 더 포함한다.

바람직하게, 본 방법은 버퍼의 콘텐츠를 대응하는 데이터 세트로 변환하기 이전에, 상기 버퍼의 콘텐츠를 고역 통과 공간 필터링에 종속시키는 단계를 포함한다. 이러한 고역 통과 필터링은 워터마크 검출의 목적을 위해서 관련이 없는 이미지 콘텐츠를 실질적으로 감쇄시킬 수 있는 이점이 있다.

바람직하게, 본 방법은:

(i) 하나 이상의 상관 피크의 위치를 결정하기 위해 공간 포맷의 처리된 데이터를 분석하는 단계; 및

(j) 상기 하나 이상의 피크의 위치로부터 스케일 계수 측정치(MSF)를 유도하는 단계를 포함한다.

바람직하게, 본 방법은 스케일 계수 측정치(MSF)를 결정하기 위해 하나 이상의 피크를 식별하기 이전에 이미지 프로그램 콘텐츠의 상관으로부터 발생한 의사(spurious) 주변 상관을 제거하기 위해 공간 포맷에서 처리된 데이터를 자르는(cropping) 단계를 더 포함한다. 이러한 자르기는 워터마크 식별의 신뢰성을 향상시키고, 이에 따라 워터마크 검출의 정확성 및/또는 신뢰성을 향상시킬 수 있다.

바람직하게, 본 방법은 복수의 상호 다른 이미지 방향에서 스케일 계수 측정치(MSF)를 결정하기 위해 적응된다. 본 방법의 하나 이상의 방향에서의 적용은, 실질적으로 수직적 및 수평적 이미지 방향에서 서로 다른 스케일-계수 변경에 종속된, 2차원 이미지의 스케일 계수를 결정할 때 관련이 있다.

바람직하게, 본 방법에서, 시퀀스내의 워터마크에 적용된 하나 이상의 변경은 적어도 하나의 방향에서 상기 워터마크의 폭(L)의 절반보다 작도록 배열된 크기(s)의 적어도 한 방향에서의 변환을 포함하여, 그 결과 스케일 계수 측정치는 실질적으로

로부터 계산되고,

는 대응되는 피크의 결정된 위치이다. 대안적으로, 본 방법에서, 이미지 시퀀스에 적용된 하나 이상의 변경은 상기 적어도 하나의 방향에서 워터마크의 폭(L)의 절반보다 크도록 배열된 크기의 적어도 한 방향에서의 변환을 포함하여, 그 결과 스케일 계수 측정치는 실질적으로

로부터 계산되고,

는 대응되는 피크의 결정된 위치이다.

본 발명의 제2 양상에 따라, 이미지 시퀀스에서 워터마크를 검출함으로써 스케일 계수 측정치(MSF)를 결정하기 위한 워터마크 검출기가 제공되고, 여기서 상기 워터마크는 상기 시퀀스에서 다수의 상호 변경된 형태로 포함되고, 상기 검출기는:

(a) 상기 시퀀스에 포함된 이미지를 그 워터마크에 적용된 하나 이상의 변경에 대응하는 그룹으로 정렬하기 위한 스위칭 수단;

(b) 상기 그룹으로부터 하나 이상의 이미지의 적어도 일부를 축적하기 위한 버퍼;

(c) 상기 시퀀스에서 상기 워터마크에 적용된 상기 하나 이상의 변경을 결정하기 위해 버퍼의 콘텐츠를 상호 분석하기 위한 분석 수단; 및

(d) 상기 스케일 계수 측정치(MSF)를 결정하기 위해 기대된 스케일 계수와 관련된 하나 이상의 변경에 관한 정보를 처리하기 위한 처리 수단을 포함한다.

본 발명의 제3 양상에 따라, 이미지 시퀀스를 포함하는 프로그램 콘텐츠를 포함하는 비디오 데이터가 제공되는데, 상기 이미지에 포함된 하나 이상의 워터마크에 적용된 하나 이상의 관련 변경에 따라 대응하는 그룹 간에 상기 이미지가 교번되고, 상기 하나 이상의 변경은 상기 시퀀스에 대한 스케일 계수 측정치(MSF)를 결정하기 위해 사용할 수 있다.

바람직하게, 비디오 데이터에서, 하나 이상의 관련 변경은 변환 변경, 미러-전이 변경 및 회전 변경 중의 적어도 하나를 포함한다.

바람직하게, 비디오 데이터가 데이터 캐리어에 저장된다.

본 발명의 제4 양상에 따라, 본 발명의 제1 양상에 따른 방법을 구현하기 위한 컴퓨터 하드웨어에서 실행할 수 있는 소프트웨어가 제공된다.

본 발명의 특징은 본 발명의 범위를 이탈하지 않고 임의의 조합에서 조합될 수 있다는 것이 인식될 것이다.

본 발명의 실시예는 다음 도면을 참조해서, 단지 예로써 이제 설명될 것이다.

도 1은 본 발명에 따른, 시간 슬롯에서 배열된 시간적 이미지 시퀀스를 포함하는, 비디오 프로그램 콘텐츠의 개략도.

도 2는 본 발명에 다른 워터마크 검출 프로세스를 도시한 도면.

도 3은 도 1의 비디오 콘텐츠의 이미지에서 워터마크 윈도우의 배치의 예시도.

도 4 내지 도 10은 도 2의 프로세스를 사용하는 상관을 위해 변환된 워터마크 패턴을 도시한 도면.

개관컨대, 본 발명은 워터마크 검출기가 다른 시간 슬롯으로부터 이미지를 처리하고 스케일 계수의 측정치의 유도를 위해 이 이미지를 분석하게 하기 위해, 시간 슬롯에서 그룹화된 이미지 시퀀스를 포함하는 비디오 프로그램 콘텐츠 내에서 소정의 기하학적 워터마크 특성을 시간적으로 변경하는 것과 관련이 있다. 예를 들면, 워터마크 삽입기는 이미지 시퀀스의 최초 600개의 이미지 프레임내의 원래 위치에 표준 워터마크 패턴을 삽입하기 위해 이롭게 배열된다. 시퀀스에서 600개의 후속 이미지 프레임에서, 삽입기는 전위된 포맷, 예를 들면, 미러(miror)된 및/또는 공간적으로 변환된 및/또는 회전된 것과 같은 방식으로 워터마크를 삽입하기 위해 동작가능하다. 그 다음의 600개의 이미지 프레임에서, 삽입기는 도 1에서 설명된 반복적이고 교번적인 방식으로 원래의 위치 등에 워터마크를 삽입하기 위해 배열된다.

도 1에서, 이미지 프레임의 시퀀스는 10으로 일반적으로 표시된다. 시퀀스(10)는 이미지 프레임, 예를 들면, 20으로 표시된 제1 이미지 프레임을 포함한다. 시퀀스(10)는 시간적으로 순차적인 방식으로 배열되는데, 시간은 도 1의 왼쪽에 있는 보다 이전의 이미지 프레임과 오른편에 있는 보다 나중의 이미지 프레임을 가진 기호 "t"를 가진 화살표에 의해 표시된다. 시퀀스(10)는 시간 슬롯, 예를 들면 제1, 제2 및 제3 시간 슬롯(30a, 30b, 30c)으로 제각기 세분화된다. 앞에서 설명된 것처럼, 각 시간 슬롯은 600개의 프레임 이미지를 포함하고, 대안적으로, 각 시간 슬롯은 다른 갯수의 프레임 이미지 예를 들면 300개의 프레임 이미지를 포함하기 위해 배열될 수 있다.

워터마크의 정상적 및 변경된 버전을 교번하는 것은, 검출기가 적용된 변경의 크기, 예를 들면, 원래의 워터마크가 변경된 워터마크를 생성하기 위해 얼마나 많은 픽셀만큼 이동되었는가를 안다는 전제하에, 시퀀스(10)를 처리하는 워터마크 검출기가 예를 들면, 스케일 계수의 측정치를 결정하기 위해, 시퀀스에 삽입된 워터마크를 식별하는 것을 가능케 하기 위해 충분한 정보를 제공한다. 검출기는 변경과 연관된 하나 이상의 벡터를 결정할 수 있다.

변경이 시간 슬롯에 따라 교번하는 방식으로 워터마크를 이동시키는 것에 대응하는 상황에서, 검출기는 시퀀스(10)의 임의의 일부를 수집하는데, 예를 들면 검출기는 시간 슬롯내에서 프레임 이미지로부터 128 x 128개의 요소 타일에 대응하는 데이터를 추출하고, 이 데이터를 제1 버퍼에 축적한다. 그후, 검출기는 다음 시간 슬롯에서 이미지 프레임에 대한 이러한 추출을 계속하고, 이러한 추출된 데이터를 제2 버퍼에 축적한다. 그후, 검출기는 예를 들면, SPOMF 절차를 사용해서 제1 버퍼와 제2 버퍼에서 축적된 데이터를 상관하고, 상관 결과를 상관 버퍼에 출력하고, 가장 큰 상관에 대응하는 피크는 상관 버퍼로부터의 상관 결과를 분석함으로써 검출기에 의해 식별된다. 가장 큰 상관의 이러한 피크로부터, 그후 스케일 계수의 측 정치가 검출기를 사용해서 유도가능하다.

개략적으로, 본 발명은 다음 기술 영역:

(a) 매우 낮은 워터마크 페이로드 비트율 응용을 위한 스케일 및/또는 워터마크 검출기;

(b) 고해상도(HD) 비디오 프로그램 콘텐츠에서 스케일 계수 측정치를 검출하기 위하여; 그리고

(c) 범죄 수사 추적 응용에서, 예를 들면, 사전-개봉된 영화를 인터넷과 같은 통신 네트워크에 유출하는데 책임이 있는 사람들을 식별하기 위해, 스케일 계수의 측정치를 결정하기 위한

적어도 하나의 기술적 영역에서 잠재적인 응용을 가지고 있다.

본 발명은 도래할 HD 비디오 콘텐츠 포맷에서 스케일 계수 측정치를 결정하는 것과 특히 관련이 있다. 이러한 고품질 포맷 때문에, 워터마크 패턴은 훌륭한 HD 품질을 유지하기 위해 HD 비디오 콘텐츠에 단지 약하게 삽입된다. 하지만, 가볍게 워터마크된 HD 비디오 콘텐츠는 긴 처리 경로에 종속되며, 즉, 많은 변환 동작에 종속되어, 가볍게 삽입된 워터마크 정보가 이 경로로부터의 처리된 HD 비디오 콘텐츠 출력에서 여전히 검출 가능한 것이 바람직하다. 긴 처리 경로의 예시는:

(a) HD에서 SD로;

(b) 손실이 많은(lossy) 압축;

(c) DIVX 압축을 사용해서 하나 이상의 통신 네트워크를 거쳐서 분배; 및

(d) 다른 하나의 손실이 많은 압축 단계를 수반하는 CE 장비에서 처리하는 단계를 수반한다.

본 발명을 더 명료하게 하기 위해, 본 발명의 실시예가 이제 설명될 것이다. 시퀀스(10)에 포함된 워터마크로부터 스케일 계수의 측정치를 결정하기 위한검출기가 이제 도 2를 참조해서 설명될 것이고, 이용된 문자 연상 기호는 테이블 1에 제공된 해석을 가진다.

테이블 1:

연상기호	참조 번호		해석
HP	140, 190		공간적 고역 통과 필터 기능
FFT	150, 200		고속 푸리에 변환 기능
CMCN	160		복소 콘쥬게이트(complex conjugate) 생성기 기능
NRM	220		정규화 기능
IFFT	230		역 고속 푸리에 변환 기능
CRP	240		자르기 경계 기능
HPP-DSC	250		가장 높은 상관 피크를 발견하여 스케일 함수를 유도
MSF	-		스케일 계수 측정치

검출기는 스케일 계수 식별 프로세스를 제공하기 위해 도 2에 설명된 기능을 수행하기 위한 컴퓨터 하드웨어 실행 소프트웨어에서 바람직하게 구현된다. 이 프로세스는 이미지 프레임(10)의 시퀀스를 포함하는 입력 비디오 스트림(110)을 수신하고, 추가적 처리를 위해 단계(115)에서 이 스트림을 출력하기 위한 버퍼(100)의 사용을 수반한다. 이 프로세스는 분석을 위해 타일 윈도우(118)를 이용하는데, 이 타일 윈도우(118)는 이미지 프레임 데이터 내로 가볍게 삽입된 워터마크 데이터를 포함한다. 이 프로세스는 데이터 스위치(120)를 더 포함하는데, 이 스위치는 그 제1 출력(122)이 제1 콘쥬게이트된 푸리에 변환 출력(170)을 출력하기 위하여, 제1 축적기 버퍼(130), 공간 고역 통과 필터 기능(HP)(140), 고속 푸리에 변환 기능(FFT)(150)과 복소 콘쥬게이트 생성 기능(CMCN)(160)을 차례로 포함하는 제1 처리 체인에 결합되도록 연결된다. 또한 데이터 스위치(120)의 제2 출력(124)은 제2 푸리에 변환 출력(205)을 출력하기 위하여, 차례로 제2 축적기 버퍼(180), 공간 고역 통과 필터 기능(HP)(190) 및 고속 푸리에 변환 기능(FFT)(200)을 포함하는 제2 처리 체인에 연결된다. 또한, 이 프로세스는 제1 및 제2 푸리에 변환 출력(170, 205)를 제각기 수신하고 대응하는 승산 데이터를 생성하기 위한 점별 승산 기능(210)을 더 포함한다. 이 프로세스에서, 차후에 보다 상세히 설명되듯이, 최고의 상관 피크의 위치를 발견하고 이에 따라 스케일 계수의 측정치(MSF)를 유도하기 위한 정규화 기능(NRM)(220), 역 고속 푸리에 변환 기능(IFFT)(230), 자르는 경계 기능(CRP)(240)과 마지막으로 피크 검출 기능(HPP-DSC)(250)을 차례로 포함하는 제3 처리 체인이 더 포함된다. 제3 처리 체인은 점별 승산 기능(210)으로부터 승산 데이터를 수신하기 위해 작동가능하다.

도 2에서 설명된 프로세스의 동작이 이제 설명될 것이다.

제1 버퍼(130)에서, 처리는 처음의 600개의 비디오 필드, 즉 300개의 이미지 프레임에서 윈도우(118)로부터 워터마크 타일 데이터를 축적한다. 윈도우(118)는 요건에 따라 임의의 크기를 가질 수 있지만, 도 2의 프로세스는 윈도우의 크기가 증가됨에 따라 스케일 계수의 보다 신뢰성있는 측정치를 제공한다. 가장 바람직하게, 윈도우(118)는 128x128개의 요소 정도, 예를 들면, 128x128개의 화소의 크기를 갖는다. 바람직하게, 윈도우(118)는 도 3에서 설명된 방식에서 프레임 이미지의 각 필드에서 실질적으로 중앙 영역에 대응하는데, 이미지 프레임(FRM)(20)은 제1 및 제2 필드(FLD1, FLD2)(300, 310)를 제각각 포함하며, 윈도우(118)는 각 영역(300, 310)에서 바람직하게 중심적으로 배치되도록 배열된다. 하지만, 각 프레임 내의 윈도우(118)에 대한 다른 위치, 예를 들면 이 윈도우의 중앙에서 벗어난 영역이 가능하다. 그 다음에, 이 프로세스는 유사한 방식으로 제2의 600개의 비디오 필드, 즉, 300개의 이미지 필드를 제2 버퍼(180)에 축적한다.

제1 및 제2 버퍼(130, 180)로부터 축적된 데이터는 필터 기능(140, 190)에서 제각기 공간 고역 통과 필터링과 차후에 공간 주파수 도메인으로의 변환을 거친다. 푸리에 기능(150)으로부터의 출력은 콘쥬게이트 기능(160)에서 대응하는 복소 콘쥬게이트의 생성에 종속된다.

고역 통과 기능(140, 190)은 수학식 1에 제공된 것과 같은 계수를 구비한 3x3 메트릭스 필터를 사용해서 바람직하게 구현된다:

버퍼(130)의 콘텐츠와 버퍼(180)의 콘텐츠와의 상관은 그 안에 정규화 기능(220)을 포함하는 SPOMF 접근법을 사용해서 바람직하게 구현된다. 점별 승산 기능(210)에서의 상관은 점별 승산을 수반하는 SPOMF 접근법을 사용해서 바람직하게 구현된다. 이 점별 승산의 결과는 정규화 기능(220)에서 정규화되고, 그후 공간 주파수 도메인으로부터 대응하는 공간 정보로의 변환이 수행되는데, 이 공간 정보는 이전에 설명된 최고 상관 피크의 공간 위치를 결정하기 위해 기능(250)에서 분석되기 이전에 의사 에지 아티팩트(spurious edge artefact)를 제거하기 위해 잘린다.

복소값의 입력 어레이(z)에 대한 기능(220)에서의 정규화는 이 어레이에서의 복소값을 정규화된 동치로 교체하기 위해 수학식 2와 3을 적용함으로써 달성된다:

,

1,

자르기 기능(240)에 대해, 본 발명자들은 본 발명을 고안할 때 실험 동안에, 고 의사 피크가 역 변환 기능(230)으로부터 상관 배열 출력의 경계에서 발생하는 것을 식별했다. 이 의사 피크는 기반이 되는 비디오 콘텐츠의 강한 상관의 결과로서 발생하고, 스케일 계수 변경의 어떠한 결과에 의해서도 생성되지 않는다. 이러한 의사 피크는 해당 워터마크 콘텐츠와 관련된 크기 상관 피크에서 잠재적으로 감추어지므로, 이 의사 피크는 0의 값으로 설정되고, 즉, 이 피크는 자르기 동작에 종속된다. 다른 말로 하자면, 그 경계에 근접한 윈도우(118)의 요소에 대응하는 상관값은 효과적으로 0으로 설정된다. 예를 들면, 점별 승산 기능(210)으로부터의 128x128개의 요소 출력 상관 필드의 제일 처음과 마지막의 5개의 행과 열은 0으로 설정된다.

기능(250)에 의해 식별된 최고 상관 피크는 도 4 내지 도 10에서 다수의 1차원 예들에 의해 설명된 것처럼, 스케일 계수의 측정치(MSF)를 결정하기 위해 사용된다.

도 4에서, 128개의 요소, 예를 들면, 128개의 화소를 포함하는 이동되지 않은 주기적 워터마크 패턴이 400에 의해 표시되고, 128개의 요소(비디오의 경우에서의 화소)의 범위를 한정하는 한도(430과 440) 내에 포함된다. 동일 워터마크 패턴의 주기적 이동된 버전은 410에 의해 표시된다. 이 버전은 화살표(420)에 의해 표시된 이동 거리(s)만큼, 즉, s=24개의 요소만큼 이동된다. 명백하게, 만약 패턴(400과 410)이 서로 상관된다면, 상관 피크는 위치(s=24)에서 발견될 것이다.

만약 패턴(400, 410)이 예를 들면, 도 1에서 설명된 시간적으로 교번하는 방식으로 워터마크된 비디오 콘텐츠를 재포맷팅하기 때문에 모두 줌 계수(z)만큼 스케일링된다면, 패턴(450과 460) 제각각이 그 대신에 획득될 것이다. 패턴은 이제 제1 한도(430)와 보다 넓은 줌 한도(480) 범위 이내에 놓인다. 해당 영역{경계(430)와 경계(440) 사이의 영역) 내의 두 개의 패턴(450, 460) 사이의 상관을 계산하는 것은 이제 화살표(470)에 의해 표시된, 위치(s x z)에서 강한 상관 피크를 산출할 것이다. 따라서, 만약 피크가 위치(33)에서 발견된다면, 줌 계수는 z=33/24=1.38로 나타날 것이다. 피크의 강도는 401a와 401b로 표시된 간격에서 유사한 요소(화소)의 수에 의해 결정되는데, 이 수는 128 - s x z이다.

또 하나의 예로서, 연관된 변환된 워터마크 패턴(520)을 생성하기 위해 워터마크 패턴(510)에 적용된 화살표(500)에 의해 표시된 예를 들면, 32개의 화소와 같은 32개의 요소의 비율(modulus) 이동에 대응하는 변환을 제외하고는 도 4와 유사한 방식으로 플로팅된 워터마크 패턴이 도 5에서 도시된다. 패턴(510, 520)은 도 1에서 설명된 방식으로 비디오 콘텐츠에 삽입된다. 줌 계수(z=1.38)가 패턴(510, 520)에 다시 적용되어, 이제 재스케일링된 패턴(530, 540)을 제각기 야기한다. 상관 피크가 이제 화살표(550)에 의해 표시된 위치 44(1.38 x 32)에서 획득될 것이다. 상관 피크는 이전 예시와 비교해서 약간 작을 것인데, 그 이유는 간격(501a와 501b)에서 유사한 화소의 수(128 - s x z)가 보다 작기 때문이다.

도 6에서, 예시는 s = 46개의 화소의 비율 변환 이동과 z=1.38의 재스케일링에 대해 플로팅된다. 이 예시에서, 128 - s x z의 길이를 갖는 간격(601a)와 간격(601b) 사이의 유사성 때문에 s x z = 63의 위치에서 상관 피크를 얻을 수 있다. 또한, s x z - 128 x z + 128의 길이를 갖는 간격(602a)와 간격(602b) 사이의 유사성 때문에 제2 상관 피크가 또한 존재할 것이다. 이것들은 (보다 작은) 상관 피크가 위치 s x z - 128 x z + 128, 즉, 일 예에서 위치 14에서 나타나게 한다.

도 7에서, 예시가 s=64개의 화소의 비율 변환 이동과 z=1.38의 재스케일링에 대해 플로팅된다. 이것은 하나의 흥미있는 예시인데, 그 이유는 두 개의 동일한 큰 상관 피크를 보이기 때문이다. 위치(s x z = 33)에서의 하나의 피크는 간격(701a)과 간격(701b)의 유사성에 의해 유발된다. 위치(s x z - 128 x z + 128 = 69)에서 다른 피크는 동일하게 긴 간격(702a) 및 간격(702b)의 유사성에 의해 야기된다. 64개의 픽셀 상에 이동된 패턴을 사용하는 것은 어떻게 스케일 계수가 계산되어야 하는 지에 관한 어떠한 정보도 제공하지 않을 것이다. 양쪽 모든 상관 피크는 동일한 기회를 가지고 발생할 수 있으므로, 어떠한 공식(s x z 또는 s x z - 128 x z + 128)을 사용해야 하는지를 알지 못한다. 비디오가 스케일링 업 또는 스케일링 다운되는 지를 모른다. 명백하게, 타일 사이즈 절반의 이동 계수를 취하는 것은 가장 최악의 선택이다.

도 8에서, 하나의 예시가 s=96개의 화소의 비율 변환 이동과 z=1.38의 재스케일링에 대해 플로팅된다. 간격(801a)과 간격(801b)의 유사성 때문에, 위치(s x z - 128 x z + 128 = 84)에서 하나의 상관 피크가 존재할 것이다.

도 9에서, 하나의 예시가 s=24개의 픽셀의 비율 변환 이동과 z=0.72의 재스케일일에 대해 플로팅된다. 이제, 이 이미지는 다운스케일링되었는데, 이는 오른쪽 한도(480)가 원래의 한도(440)의 왼쪽에 위치도록 야기시킨다. 이제 제1 상관 피크가 간격(901a)과 간격(901b)의 유사성 때문에 s x z = 17의 위치에서 나타난다. 제2 상관 피크는 간격(902a)과 간격(902b)의 유사성 때문에 위치(s x z - 128 x z + 128 = 53)에서 나타난다.

도 10에서, 하나의 예시는 s=46 화소의 비율 변환 이동과 z = 0.72의 재스케일링에 대해 플로팅된다. 간격(1001a)과 간격(1001b)의 유사성 때문에, 제1 상관은 s x z = 33의 위치에서 나타난다. 간격(1002a)과 간격(1002b)의 유사성 때문에, 제2 상관 피크는 s x z - 128 x z + 128 = 69에서 나타난다.

도 4 내지 도 10으로부터, 재스케일링된 패턴에 대해 하나 또는 두 개의 상관 피크가:

(1) 128-(s x z)와 관련된 상관 피크 높이를 가진 s x z 위치에서;

(2) (s x z)-(128 x z) + 128에 관련된 상관 피크 높이를 가진 위치 (s x z)-(128 x z) + 128에서 획득되는데, s는 예를 들면 도 4에서 s = 24와 같은 이동을 표시한다. 상관 피크의 높이는 1 내지 128의 범위와 관련되고, 그렇치 않은 경 우 피크는 존재하지 않는 것으로 간주된다. 도 2에서 설명된 절차에 따라 동작하는 워터마크 검출기를 고안하는 데 있어서, 점별 승산 기능(210) 내에서 발생하는 상관이 단지 하나의 상관 피크를 생성하는 것이 편리하다.

이러한 단일 상관 피크를 달성하기 위한 하나의 해결책은 수학식 4:

에 따른 이동(s)을 선택하는 것인데, L은 워터마크의 크기, 즉, 도 4 내지 도 10에서 설명된 128개의 요소이다. 수학식 4로부터, 이동(s)은 L/2보다 훨씬 작은 것이 바람직한데, 즉, 바람직하게 s<L/4라는 것이 이 해결책에 대해 인식될 것이다. 그러면 스케일 계수(z)는:

를 사용해서 유도될 수 있는데, 여기서 H_p는 점별 승산 기능(210)에서 생성된 최고 피크 상관 피크의 위치이다.

이러한 단일 상관 피크를 달성하기 위한 다른 해결책은 수학식 6:

에 따른 이동(s)을 선택하는 것인데, 여기서 L은 워터마크의 크기, 즉 도 4 내지 도 10에서 설명된 128개의 요소이다. 수학식 4로부터, 이 해결책에 대해, 바람직하 게 이동(s)가 L/2보다 훨씬 크다는 것이 인식될 것이다. 그러면, 스케일 계수(z)는:

을 사용해서 유도될 수 있다.

도 2에서 설명된 프로세스와 최적으로 호환될 수 있도록 비디오 콘텐츠의 워터마크를 구현하는데 있어서, 다음의 기준을 고려하는 것이 이롭다:

(a) 피크 검출 기능(250)에서 식별된 다수의 상관 피크가 존재하는 경우, 식별된 상관 피크들중의 하나는 식별된 다른 상관 피크를 무효로 하는 것이 바람직하게 허용된다;

(b) 점별 승산 기능(210) 내에서 실행된 상관 계산에 기여하는 예를 들면 화소 어레이와 같은 요소 어레이의 길이가 최대화된다;

(c) 스케일 계수(z)를 계산할 때 향상된 해상도/정확도가 획득될 수 있도록 이동(s)가 선택된다.

이러한 조건 (a)-(c)는 잠재적으로 서로 모순이 되고, 종종 절충이 요구된다. 편리하게, L=128개의 요소, 예를 들면, 화소에 대해, 실질적인 절충은:

(1) 스케일 계수(z)를 결정하기 위해 수학식 5에서 s=20이 사용되거나,

(2) 스케일 계수(z)를 결정하기 위해 수학식 7에서 s=107이 사용된다.

유사한 고려가 미러-전위된 워터마크와 회전 전위된 워터마크와 관련이 있 다.

본 발명자들은 또한 도 1에서 설명된 워터마크 패턴을 교번하는 것의 사용이 동기화를 제공하는 하드웨어 및/또는 소프트웨어 기능에 의해 지원되어, 그 결과 검출기가 시간-슬롯(30)의 발생을 인지하게 되는 것을 또한 인식하였다. 바람직하게, 종래의 디지털 카메라에 이용된 것과 유사한 시간적 워터마크가 동기화 목적을 위해서 포함된다. 동기화 목적을 위한 다른 유형의 시간 마커(marker)가 이용될 수 있는데, 예를 들면, 비디오 프로그램 콘텐츠와 함께 포함된 디지털 제어 신호가 이용될 수 있다.

첨부된 청구항들에서, 괄호안에 포함된 숫자 및 다른 기호는 청구항들의 이해를 돕기 위해 포함된 것일뿐, 어떠한 방식으로든 청구항들의 범위를 제한하는 것으로 의도되지 않는다.

전술된 본 발명의 실시예들은 첨부된 청구항들에 의해 한정된 본 발명의 범위를 벗어나지 않고 수정될 수 있다.

"포함하다", "통합하다", "이다" 그리고 "가진다"와 같은 표현은 상세한 설명과 그 연관된 청구항들을 해석할 때 비배타적인 방식으로 해석되어야 하는데, 즉, 존재하는 것으로 명시적으로 한정되지 않은 다른 항목들 또는 소자들을 허용하는 것으로 해석되어야 한다. 단수형 참조는 복수형 참조로 또한 해석되어야 하고, 그 반대도 마찬가지이다.

본 발명은 워터마크를 검출하여, 이에 따라 크기 계수 측정치를 결정하는 방 법에 이용가능하다.

Claims (15)

1. 이미지(20)의 시퀀스(10)에 포함된 워터마크를 검출함으로써 스케일 계수 측정치(measure of scale factor: MSF)를 결정하는 방법으로서,

   상기 워터 마크는 상기 시퀀스(10)에서 수개의 서로 변경된 형태로 포함되고, 상기 방법은:

   (a) 이미지(20)의 시퀀스(10)를 수신하는 단계;

   (b) 포함된 워터마크에 적용된 하나 이상의 관련 변경에 따라, 상기 이미지(20)를 실질적으로 복수의 대응하는 그룹으로 정렬하는 단계;

   (c) 각 그룹에 대해, 하나 이상의 이미지의 적어도 일부를 대응하는 버퍼(130, 180)에 축적하는 단계;

   (d) 상기 시퀀스(10)에 포함된 상기 워터마크에 적용된 하나 이상의 변경을 결정하기 위해 상기 버퍼(130, 180)의 콘텐츠를 서로 분석하는 단계; 및

   (e) 상기 스케일 계수 측정치(MSF)를 결정하기 위해 기대된 스케일 계수와 관련된 하나 이상의 변경에 대한 정보를 처리하는 단계를 포함하는, 스케일 계수 측정치를 결정하는 방법.
2. 제1항에 있어서, 검출된 하나 이상의 변경은 변환 변경, 미러-전치 변경, 및 회전 변경 중의 적어도 하나를 포함하는, 스케일 계수 측정치를 결정하는 방법.
3. 제1항에 있어서, 단계(d)의 분석은:

   (f) 버퍼(130, 180)의 콘텐츠를 공간적 주파수 형태의 제각각 대응하는 데이터 세트으로 변환하는 단계(150, 200);

   (g) 대응하는 처리된 데이터를 생성하기 위해 상기 데이터 세트를 점별로 곱하는 단계;

   (h) 상기 처리된 데이터를 공간적 포맷으로 변환하는 단계(230)를 포함하는, 스케일 계수 측정치를 결정하는 방법.
4. 제3항에 있어서, 상기 처리된 데이터를 상기 공간적 포맷으로 변환하기 전에 상기 처리된 데이터를 정규화하는 단계(220)를 더 포함하는, 스케일 계수 측정치를 결정하는 방법.
5. 제3항에 있어서, 상기 버퍼(130, 180)의 콘텐츠를 대응하는 데이터 세트로 변환하기 이전에, 상기 버퍼(130, 180)의 콘텐츠를 고역 통과 공간 필터링(140, 190)에 종속시키는 단계를 포함하는, 스케일 계수 측정치를 결정하는 방법.
6. 제3항에 있어서, 단계(e)는:

   (i) 하나 이상의 상관 피크의 위치를 결정하기 위해 공간 포맷의 처리된 데이터를 분석하는 단계(250); 및

   (j) 상기 하나 이상의 피크의 위치로부터 스케일 계수 측정치(MSF)를 유도하 는 단계를 포함하는, 스케일 계수 측정치를 결정하는 방법.
7. 제6항에 있어서, 스케일 계수 측정치(MSF)를 결정하기 위해 하나 이상의 피크를 식별하기 이전에 이미지 프로그램 콘텐츠의 상관으로부터 발생한 의사(spurious) 주변 상관을 제거하기 위해 공간 포맷의 처리된 데이터를 자르는(cropping) 단계(240)를 더 포함하는, 스케일 계수 측정치를 결정하는 방법.
8. 제1항에 있어서, 복수의 상호 다른 이미지 방향에서 스케일 계수 측정치(MSF)를 결정하기 위해 적응된, 스케일 계수 측정치를 결정하는 방법.
9. 제1항에 있어서, 상기 시퀀스에 있는 워터마크에 적용된 상기 하나 이상의 변경은 상기 적어도 하나의 방향에서 상기 워터마크의 폭(L)의 절반보다 작도록 배열된 크기(s)의 적어도 한 방향에서의 변환을 포함하여, 그 결과 스케일 계수 측정치는 실질적으로

   

   로부터 계산되고,

   

   는 대응하는 피크의 결정된 위치인, 스케일 계수 측정치를 결정하는 방법.
10. 제1항에 있어서, 상기 이미지 시퀀스에 적용된 상기 하나 이상의 변경은 상기 적어도 하나의 방향에서 상기 워터마크의 폭(L)의 절반보다 크도록 배열된 크기(s)의 적어도 한 방향에서의 변환을 포함하여, 그 결과 스케일 계수 측정치는 실질 적으로

    

    로부터 계산되고,

    

    는 대응하는 피크의 결정된 위치인, 스케일 계수 측정치를 결정하는 방법.
11. 이미지의 시퀀스에서 워터마크를 검출함으로써 스케일 계수 측정치(MSF)를 결정하기 위한 워터마크 검출기로서,

    상기 워터마크는 상기 시퀀스에서 다수의 상호 변경된 형태로 포함되고, 상기 검출기는:

    (a) 상기 시퀀스에 포함된 이미지를 그 워터마크에 적용된 하나 이상의 변경에 대응하는 그룹으로 정렬하기 위한 스위칭 수단;

    (b) 상기 그룹으로부터 하나 이상의 이미지의 적어도 일부를 축적하기 위한 버퍼;

    (c) 상기 시퀀스에서 상기 워터마크에 적용된 상기 하나 이상의 변경을 결정하기 위해 버퍼의 콘텐츠를 상호 분석하기 위한 분석 수단; 및

    (d) 상기 스케일 계수 측정치(MSF)를 결정하기 위해 기대된 스케일 계수와 관련된 하나 이상의 변경에 관한 정보를 처리하기 위한 처리 수단을 포함하는, 스케일 계수 측정치(MSF)를 결정하기 위한 워터마크 검출기.
12. 이미지 시퀀스를 포함하는 프로그램 콘텐츠를 포함하는 비디오 데이터에 있어서,

    상기 이미지에 포함된 하나 이상의 워터마크에 적용된 하나 이상의 관련 변 경에 따라 대응하는 그룹 사이에서 상기 이미지가 교번되고, 상기 하나 이상의 변경은 상기 시퀀스에 대한 스케일 계수 측정치(MSF)를 결정하기 위해 사용할 수 있는, 비디오 데이터.
13. 제12항에 있어서, 상기 하나 이상의 관련 변경은 변환 변경, 미러-전치 변경 및 회전 변경 중의 적어도 하나를 포함하는, 비디오 데이터.
14. 데이터 캐리어 상에 저장된, 제12항에 따른 데이터.
15. 제1항의 방법을 구현하기 위한 컴퓨터 하드웨어에서 실행할 수 있는 소프트웨어.

Images