KR20050091094A - 동영상 신호의 워터마크 임베딩 및 검출 - Google Patents

동영상 신호의 워터마크 임베딩 및 검출 Download PDF

Info

Publication number
KR20050091094A
KR20050091094A KR1020057013398A KR20057013398A KR20050091094A KR 20050091094 A KR20050091094 A KR 20050091094A KR 1020057013398 A KR1020057013398 A KR 1020057013398A KR 20057013398 A KR20057013398 A KR 20057013398A KR 20050091094 A KR20050091094 A KR 20050091094A
Authority
KR
South Korea
Prior art keywords
image
watermark
overall
embedding
value
Prior art date
Application number
KR1020057013398A
Other languages
English (en)
Inventor
리스트 아드리안 제이. 반
조한 피. 엠. 지. 리나르츠
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32748928&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20050091094(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050091094A publication Critical patent/KR20050091094A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Holo Graphy (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

워터마크가 핸드헬드 비디오 카메라에 의해 만들어진 카피에서 검출될 수 있도록, 극장 영화에서 워터마크를 임베딩 및 검출하기 위한 방법들 및 배열들이 개시된다. 워터마크 임베더는 각각의 이미지 프레임을 2개의 영역들로 분할한다. 제 1 부분의 휘도를 증가시키고 제 2 부분의 휘도를 감소시킴으로써, 워터마크 비트'+1'이 프레임내에 임베딩된다. 제 1 부분의 휘도를 감소시키고 제 2 부분의 휘도를 증가시킴으로써, 워터마크 비트'-1'이 임베딩된다. 본 발명으로 극장 영사기와 소비자 캠포더들의 상이한 프레임 레이트들에 의해 야기된 플리커를 제거하기 위해 종종 사용되는 '디-플리커' 오퍼레이션들로부터 임베딩된 워터마크가 잔존한다.

Description

동영상 신호의 워터마크 임베딩 및 검출{Watermark embedding and detection of a motion image signal}
본 발명은 극장들에서 투사되는 영화들과 같은 동영상 신호들내에 워터마크를 임베딩하기 위한 배열 및 방법에 관한 것이다. 본 발명은 또한 그러한 동영상 신호들내에 임베딩된 워터마크를 검출하기 위한 배열 및 방법에 관한 것이다.
워터마크 임베딩은 복사 방지 방법들의 중요한 양상이다. 대부분의 복사 방지 기법들이 전자적으로 분배된 컨텐트들(방송들, 저장 매체)의 보호를 다루지만, 복사 방지는 영화관들에서 투사되는 영화들에 또한 요망된다. 오늘날, 핸드헬드 비디오 카메라에 의한 극장물의 불법 복사가 이미 통상적인 행위이다. 품질은 통상 낮지만, 불법 VHS 테이프들, CD-비디오들, 및 DVD들의 경제적인 효과는 클 수 있다. 이 이유 때문에, 극장 주인들은 자신들의 건물내에 비디오 카메라들의 존재를 방지하도록 강요된다. 이 규칙을 따르지 않으면 컨텐트의 추후 이용 가능성의 금지로 제재될 수 있다. 이 관점에서, 워터마크가 투사 시간 동안 부가될 것을 생각한다. 워터마크는 극장, 현재 시간, 오퍼레이터 등을 식별하기 위한 것이다.
기하학적 왜곡에 대한 견고함(robustness)이 이러한 워커마크 임베딩 기법들을 위한 키 요구조건이다. 핸드헬드 카메라는 필터링함(스크린으로부터 카메라로의 광학 경로, 테이프로의 전달 등)으로써 비디오를 심각하게 손상시킬 뿐만 아니라 비디오를 심각하게 기하학적으로 왜곡시킨다(시프팅, 스케일링, 회전, 전단(shearing), 시각의 변화(changes in perspective) 등). 부가하여, 이들 기하학적 왜곡들은 프레임 마다 변화할 수 있다.
견고함의 요구조건들을 만족시키는, 극장 영화들내에 워터마크를 임베딩하는 종래 기술 방법은 Jaap Haitsma 및 Ton Kalker: A Watermarking Scheme for Digital Cinema; Proceedings ICIP, Vol.2,2001,pp. 487-489 에 개시된다. 기하학적 왜곡들에 대한 견고함은 워터마크를 임베딩하기 위해 시간축만을 이용함으로써 달성된다. 워터마크는 2개의 별개의 값들, 예컨대 '1' 및 '-1' 을 갖는 워터마크 샘플들의 주기적인 의사-랜덤 시퀀스이다. 하나의 워터마크 샘플이 각각의 이미지내에 임베딩된다. 값 '1'은 이미지의 전체 특성(global property)(예컨대, 평균 휘도)을 증가시킴으로써 이미지내에 임베딩되고, 값 '-1'은 상기 전체 특성을 감소시킴으로써 임베딩된다.
종래 기술 워터마크 임베딩 방법은 실제로 플리커(flicker)를 임베딩한다. 다수의 연속 이미지들내에 동일한 워커마크 샘플을 임베딩함으로써, 플리커는 적게 된다(인간 눈은 저주파수 플리커에 덜 민감하다).
기록된 영화의 플리커는 또한, a) 극장 영사기의 프레임 레이트(초당 24 프레임)와 캠코더의 프레임 레이트(PAL은 25 fps, NTSC는 29.97 fps)간의 전형적인 미스매치(mismatch), 및 b) 2개의 디스플레이 스캔 포맷들간의 차이(프로그레시브(progressive) 대 인터레이스(interlace))에 의해 야기된다. 이러한 종류의 플리커는 짜증나게 하므로, 디-플리커링 툴(de-flickering tool)들이 공중에 널리 이용 가능하다. 예컨대, 비디오 캡처 및 처리 애플리케이션를 위한 디-플리커 플러그-인 "버추얼덥(Virtualdub)"이 인터넷에서 발견된다.
종래 기술 워터마크 임베딩 기법의 문제점은 디-플리커 툴들이 임베딩된 워터마크도 또한 제거한다는 것이다.
도 1은 본 발명에 따른 워터마크 임베더(embedder)의 개략도.
도 2는 본 발명에 따른 워터마크 검출기의 개략도.
도 3은 도 2에 도시된 워터마크 검출기의 요소인 상관단(correlation stage)의 개략도.
도 4는 원래의 이미지 시퀀스 및 워터마킹된 이미지 시퀀스의 평균 휘도 값들의 그래프들을 도시하는 도면.
본 발명의 목적은 종래 기술 워터마크 임베딩 및 검출 방법을 더 향상시키는 것이다. 본 발명의 목적은 특히, 디-플리커링 오퍼레이션들에 대해 견고한 워터마크 임베딩 및 검출 기법을 제공하는 것이다.
이를 위해, 본 발명에 따른 동영상 신호내에 워터마크를 임베딩하는 방법은 각각의 이미지를 적어도 제 1 및 제 2 이미지 영역으로 분할하는 단계를 포함한다. 워터마크 샘플 중 하나의 값은 이미지의 제 1 영역의 전체 특성(예컨대 평균 휘도)을 증가시키고, 이미지의 제 2 영역의 전체 특성을 감소시킴으로써 이미지내에 임베딩된다. 워터마크 샘플의 다른 값은 반대 방식, 즉 제 1 이미지 영역의 전체 특성을 감소시키고, 제 2 이미지 영역의 전체 특성을 증가시킴으로써 임베딩된다.
본 발명은 디-플리커링 툴들이 저역-통과 캐릭터(character)를 보이기 위해, 연속 이미지들의 평균 휘도를 조정함으로써 플리커를 제거하는 통찰을 이용한다. 평균 휘도는 이미지의 모든 픽셀들을 동일한 인자로 곱함으로써 실제로 조정된다. 이 오퍼레이션이 별개의 이미지 영역들에 적용된 수정들(의 부호)에 영향을 미치지 않기 때문에, 워터마크 정보는 유지될 것이다. 이 관점에서, 워터마크를 임베딩하기 위해 수정되는 이미지의 전체 특성은 상기 이미지 영역의 평균 휘도이다.
상기 방법의 바람직한 실시예에서, 제 1 및 제 2 이미지 영역은 이미지의 상부 및 하부 반이다. 일반적으로, 영화내에서 수직 움직임들 보다 수평 움직임들이 많다. 수평 움직임들은 평균 휘도 값들에 더 적게 영향을 준다.
도 1은 본 발명에 따른 워커마크 임베더의 개략도이다. 임베더는 프레임 k의 공간부(n)에서 휘도(F(n,k))를 갖는 프레임들 또는 이미지들의 시퀀스를 수신한다. 임베더는 길이 N의 의사-랜덤 시퀀스(w(n))의 형식으로 워터마크를 더 수신하고, 여기서 w(n)∈[-1, 1]이다. 이 애플리케이션을 위한 N의 적절한 값은 N = 1024이다. 배열은 각각의 이미지를 제 1 (예컨대, 상부 반) 영역 및 제 2 (예컨대, 하부 반) 영역으로 분할하는 분할단(10)을 포함한다. 상기 이미지 영역들의 휘도는 F1(n,k) 및 F2(n,k)로 각각 표시된다.
워터마크 임베더의 가장 간단한 실시예에서, 시퀀스(w(n))는 임베딩단들(11 및 12)에 직접 적용된다. 이러한 실시예에서, 임베딩단(11)은 하나의 적용된 워터마크 샘플(w(n))을 제 1 이미지 영역의 모든 픽셀에 부가하고, 반면에 임베딩단(12)은 동일한 워터마크 샘플을 제 2 이미지 영역의 모든 픽셀로부터 감한다. 클리핑(clipping)이 필요한 경우 수행된다. 따라서, 제 1 및 제 2 이미지 영역들의 평균 휘도들은 워터마크에 의해 정반대로 변조된다.
워터마크에 의해 변조될 수 있는 전체 이미지 특성들의 다른 예들은 화상 히스토그램들(픽처내의 휘도 값들의 관련 주파수들의 목록), 또는 고차 모멘트(high order moment)들과 같이 화상 히스토그램들로부터 유도된 특성들(파워 k에 대한 휘도 값의 평균)이다. 평균 휘도는 후자(k=1)의 특정 예이다.
인간 시각 시스템(Human Visual System:VHS)이 낮은 공간 주파수들에 대해 민감하므로, 이 간단한 실시예는 특히 정지된 플랫 영역들의 아티팩트들로 피해를 받을 수 있다. 이들 아티팩트들은 워터마크의 플리커 주파수를 낮춤으로써 상당히 감소된다. 이는 연속 이미지들의 미리 결정된 횟수(K) 동안 각각의 워터마크 샘플을 반복하는 반복단(13)에 의해 수행된다. 따라서 동일한 워터마크 샘플이 K 연속 프레임들내에 임베딩된다. 워터마크는 모든 N=1024 프레임들에 자신을 반복한다. 프레임 k내에 임베딩된 워터마크 샘플(w(n))은 에 의해 수학적으로 표시될 수 있다. 간단하게, 이 표현은 이후 w(k)로 단축될 것이다.
도 1에 도시된 임베더의 바람직한 실시예는 이미지 컨텐트들에 따른 임베딩 깊이를 더 적응한다. 이를 위해, 임베더는 워터마크 샘플(w(k))을 로컬 스케일링 인자(CF,1(n,k) 및 CF,2(n,k))로 각각 곱하는 곱셈기들(14 및 15)을 포함한다. 로컬 스케일링 인자들은 이미지 분석기들(16 및 17)에 의해 이미지 컨텐트들로부터 각각 유도된다. 예컨대, 로컬 스케일링 인자들은 영역의 움직이는 텍스처링된 부분들에서 크고, 정지된 플랫 부분들에서 작다. 임베딩단들(11 및 12)의 출력들은 다음과 같이 수식화될 수 있다.
임베딩 오퍼레이션들 둘 다가 적절한 소프트웨어 제어 하의 단일 처리 회로에 의한 시간-순차적인 수단에서 수행될 수 있음이 인식될 것이다.
2개의 이미지 영역들은 결합단(18)에 의해 단일 워터마킹된 이미지(Fw(n,k))로 그 후 결합된다.
도 2는 본 발명에 따른 워터마크 검출기의 개략도이다. 원래의 신호가 검출 동안 이용 가능함에도, 검출기는 원래의 신호에 관한 어떤 지식도 이용하지 않는다. 배열은 프레임 k의 공간부(n)에서 휘도(Fw(n,k))를 갖는 프레임들 또는 이미지들의 워터마킹된 시퀀스를 수신한다. 검출기는 각각의 이미지를 임베더의 분할단(10)(도 1)과 유사한 수단으로 제 1(예컨대, 상부 반) 영역 및 제 2(예컨대, 하부 반) 영역으로 분할한다. 각각의 이미지 영역의 휘도는 Fw ,1(n,k) 및 Fw , 2(n,k)으로 각각 표시된다. 각각의 이미지 영역에 대해, 검출기는 각각의 이미지 영역들의 평균 휘도 값들(fw ,1(k) 및 fw ,2(k))(또는, 적용 가능하다면 다른 전체 특성)을 아래 수식에 따라 계산하는 평균 휘도 계산 회로(21, 22)를 더 포함한다:
실제로, 영화의 평균 휘도 값들은 프레임 수(k)의 함수(즉, 시간의 함수)로서 저역-통과 성질을 보인다. 검출기는 각각의 평균 휘도 값들(fw,1(k) 및 fw,2(k))를 저역-통과 필터링(25, 27)함으로써, 원래(워터마킹되지 않은) 영화의 평균 휘도 값들을 추정한다. 임베더에 의해 도입된 평균 휘도 수정들의 추정들은 필터링되지 않은 평균 휘도 값들로부터 저역-통과 필터링된 평균 값들을 감산(26, 27)함으로써 그 후 얻어진다. 검출기는 부호 오퍼레이션(29) 전에, 추정들 둘 다를 감산(23)함으로써, 임베딩된 워터마크 샘플을 추정한다. 프레임 k내에 임베딩된 추정된 워터마크 샘플은 v(k)로 표시된다.
따라서, 배열은 추정된 워터마크 샘플들의 시퀀스를 발생한다. 상관단(3)에서, 워터마크 샘플들의 추정된 시퀀스는 찾고 있는 워터마크와 상관된다. 검출기는 찾고 있는 워터마크를 길이 N의 의사-랜덤 시퀀스(w(n))의 형식으로 더 수신하고, 여기서 w(n)∈[-1, 1]이다. 검출기는 임베더의 동일한 반복단(13)과 동일한 반복단(24)을 포함한다. 반복단은 K 연속 이미지들 동안 각각의 워터마크 샘플을 반복한다. 워터마크는 모든 N=1024 프레임들에 자신을 반복한다. 프레임에 대해 상관단(3)에 적용된 워터마크 샘플들은 w(k)로 표시된다. 다시, w(k)는 수학적으로 더 정확한 표현 에 대한 단축이다.
저역-통과 필터/감산기 결합들((25, 26) 및 (27, 28)), 뿐만 아니라 부호 오퍼레이션(29)은 선택적임을 주지해야 한다.
도 3은 상관단(3)의 개략도이다. 연속 이미지들의 추정된 워터마크 샘플들은 K 버퍼들(31, 32, ...)로 분배되고, 여기서 상술된 바와 같이, K는 동일한 워터마크 샘플이 임베딩된 연속 이미지들의 수이다. 각각의 버퍼는 N 추정된 워터마크 샘플들(또는, N 계산된 평균 휘도 값들, 또는 N 추정된 평균 휘도 수정 값들)을 저장한다. 워터마크 길이 N 및 워터마크 샘플 K 당 프레임들의 통상적인 값들은 각각 1024 및 5이다. 따라서, 제 1 버퍼(31)는 추정된 워터마크 샘플들 v(1), v(6), v(11),...을 포함하고, 제 2 버퍼(32)는 v(2), v(7), v(12),...등을 포함한다. 이는 워터마크 검출의 세분성(granularity)이 PAL 비디오에 대해 약 3분 25초임을 암시한다.
워터마크는 찾고 있는 기준 워터마크(w(n))를 갖는 각각의 버퍼의 컨텐트들의 유사성을 결정함으로써 검출된다. 예컨대, 각각의 워터마크는 하나의 영화관을 식별할 수 있다. 유사성의 잘 알려진 예는 상호 상관(cross-corelation)이지만, 다른 측정들도 가능하다. 상관은 대칭 위상만 매칭된 필터링(Symmetrical Phase Only Matched Filtering:SPOMF)을 사용하여 수행되는 것이 바람직하다. SPOMF의 기술에 대해, 참조는 국제 특허 출원 WO 99/45706 호로 이루어진다. 상기 문헌에서, 상관은 2-차원 공간 도메인에서 수행된다. NxN 이미지 픽셀들의 블록들이 NxN 기준 워터마크와 상관된다. SPOMF 오퍼레이션의 결과는 워터마크가 임베딩되었다면 하나 이상의 피크(peak)들을 보이는 상관 값들의 NxN 패턴이다.
K 상관기들(33, 34,...)이 1-차원 시간 도메인에서 동작한다. 각각의 상관기의 출력은 K 버퍼들(35,36,...) 중 대응하는 버퍼내에 저장된 일련의 N 상관 값들이다. 피크 검출기(37)는 K 버퍼들에서 최대 상관 값을 탐색하고, 상기 피크 값을 임계 회로(38)에 적용한다. 적어도 하나의 버퍼들의 피크 값이 주어진 임계값 보다 크다면, 워터마크가 존재한다고 판정한다. 그렇지 않다면, 컨텐트는 워터마킹되지 않은 것으로 분류될 것이다.
페이로드가 국제 특허 출원 WO-A-99/45705 호에 개시된 것과 유사한 수단으로 워터마크 w(n)의 시프팅(shift)된 버전들을 임베딩함으로써 신호내에 엔코딩될 수 있다. 병렬 상관기들이 도 3에 도시되어 있음에도, 각각의 오퍼레이션들을 시간-순차적인 수단으로 수행하는 것이 유익할 수 있음을 주지해야 한다.
본 발명을 더 상세히 기술하기 위해, 종래-기술 워터마킹 기법의 수학적 분석, 공중에 이용 가능한 디-플리커링 툴의 분석, 및 본 발명에 따른 워터마킹 기법의 오퍼레이션이 이제 주어질 것이다.
워터마크 w는 주기 M을 갖는 '1' 및 '-1' 샘플 값들만을 포함하는 주기적 의사-랜덤 시퀀스이다. 워터마크 샘플(w(n))은 K 연속 프레임들(k, k+1,...,k+K-1)내에 임베딩된다. 하나의 워터마크 샘플을 K 연속 프레임들내에 임베딩함으로써, 임베딩으로 인한 플리커링의 주파수가 감소된다. '1'은 값 CF(n,k)를 갖는 각각의 픽셀의 휘도 값을 증가시킴으로써 이미지내에 임베딩된다. '-1'은 CF(n,k)를 갖는 각각의 픽셀의 휘도 값을 감소시킴으로써 임베딩된다. 여기서, n은 프레임 k내의 픽셀의 공간 좌표이다. 더 수학적으로, 다음과 같이 주어진다:
여기서 F는 임베딩될 프레임이고, FW는 임베딩된 프레임이다. 변화 CF는 워터마크가 보이지 않도록 선택되고, 따라서 F에 따른다. [2]에서, 텍스처 검출기 및 모션 검출기가 CF를 결정하기 위해 사용된다. 결과로서, 프레임 당 픽셀들의 수인 N을 갖는 워터마킹된 비디오의 평균 휘도 값 fW,
이 원래 평균 휘도 값들에 관하여 변화를 보일 것이다.
(1)
여기서, cF는 워터마크(w)의 로컬 깊이이고, 이는 CF와 직접적으로 관련한다:
도 4는 (a)에서 원래 시퀀스의 평균 휘도 값들의 그래프, (b)에서 임베딩된 시퀀스의 평균 휘도 값들의 그래프를 워터마크 임베딩 개념을 가시화하기 위해 도시한다.
워터마크 임베딩으로 인해, 평균 휘도 값들은 원래 평균 휘도 값들에 관하여 시간적으로 감소하거나 또는 증가할 것이다. 식(1)을 보라. 실제로, 영화의 평균 휘도 값들은 저역-통과 성질을 보인다. 따라서, 검출기는 워터마킹된 영화의 평균 휘도 값들(fW)를 저역-통과 필터링함으로써, 원래의 워터마킹되지 않은 영화의 이들 휘도 값들을 추정한다. 검출기는 부호 오퍼레이션 전에, 워터마킹된 영화의 평균 휘도 값들(fW)로부터 이들 저역-통과 필터링된 평균들을 감산함으로써 워터마크(v)를 추정한다. 더 수학적으로,
(2)
여기서, ⓧ는 (1-차원) 컨볼루션(convolution)을 표시하고, g는 저역-통과 필터를 표시한다. 워터마크 샘플이 K 연속 프레임들내에 임베딩되므로, 이 오퍼레이션은 워터마크(w)의 K 추정들()을 산출한다:
(3)
이들 K 추정된 워터마크들() 각각은 원래 워터마크(w)와 상관된다. 절대 상관 값()이 임계값 보다 크다면, 비디오 시퀀스가 워터마킹되었다고 판정한다.
영화는 초 당 24 프레임(24 fps)들의 프레임 레이트에서 점진적으로 영사되지만, 표준 비디오 카메라는 인터레이싱된 25 fps(PAL) 또는 29.97 fps(NTSC)에서 기록한다. 이 인터레이싱으로 인해, 셔터가 막 개방되거나 또는 닫힐 수 있으므로, 휘도는 하나의 프레임의 기록에 걸쳐 동일하지 않을 것이다. 비디오 카메라 및 영사기가 동기되지 않으므로, 이 문제점은 카메라 맨(camera man)이 해소하기에 어렵다. 부가하여, 영사기와 비디오 카메라의 프레임 레이트들이 매칭되지 않으므로, 셔터가 반-개방 또는 완전히 닫혔을 때 프레임이 기록되는 유사한 문제점이 어떤 시점들에서 드러난다. 이들 미스매칭들의 결과는 기록된 영화내의 플리커링이다.
버추얼덥을 위한 '디-플리커' 플러그-인이 인터넷에서 발견될 수 있다. 이 플러그-인은 4 단계들로 플리커링을 제거한다:
제 1 패스에서, 상기 플러그-인은 영화의 평균 휘도 값들()을 계산한다;
그 후, 상기 플러그-인은 이들 평균들()을 저역-통과 필터(h)로 필터링한다(디폴트는 길이 12의 간단한 평균 필터이다);
그 다음에, 상기 플러그-인은 각각의 프레임에 대해 원래 평균들()와 필터링된 평균들간의 인자들 β(k)을 계산한다:
제 2 패스에서, 프레임 k내의 각각의 픽셀의 휘도 값은 가장 근접한 정수 근방의 대응하는 인자 β(k)로 곱해지고, 최대 휘도 값 255를 초과하면 클리핑된다.
β(k)는 이고 h가 저역-통과 필터이므로, 모든 k에 대해 음수가 아니다. 근방 및 클리핑을 잠시 무시하면, 마지막 단계에서 이들 곱들의 결과는 새로운 구축된 비디오()가 의 저역-통과 필터링된 평균들과 동일하다는 것이다:
인지하여, 이는 플리커링이 이제 필터링된 프레임들의 평균 휘도 값들내의 고주파수 구성요소로서 보여질 수 있기 때문에, 새로운 구축된 비디오가 더 적은 플리커링을 보인다는 의미다.
불행하게도, 워터마킹 기법은 인지할 수 없지만 실제로 플리커링한다. 직접적인 결과로서, 이 '디-플리커' 플러그-인은 워터마크를 제거한다. 따라서, 어터마크 임베딩 기법은 디-플리커링에 대해 견고한 방식으로 수정되어야만 한다. 이는 '디-플리커' 툴이 플리커링으로부터 불법 복사들을 복원하기 위해 널리 사용되므로 더욱 확실하다.
이를 위해, 각각의 프레임이 2개의 부분들로 분할되고, 워터마크 샘플이 이들 부분들에 반대 방식으로 임베딩된다. 워터마크 샘플을 임베딩하기 위해, 하나의 부분의 평균 휘도가 증가되고 다른 부분의 평균 휘고가 감소된다. 결국, 워터마킹된 영화의 평균 휘도 값들(fW)은 2개의 부분들을 이제 포함한다.
cf. 식(1)
및
(4)
카메라로 캡쳐링한 후, '디-플리커' 툴이 평균 휘도 값들()을 저역-통과 필터링함으로써 플리커링을 제거한다:
수정된 워터마킹 기법에 대한 워터마크의 검출은 상술된 검출 방법과 유사하다. 먼저, 검출기는 부분들 둘 다의 평균 휘도 값들을 저역-통과 필터링함으로써, 부분들 둘 다에 대한 원래의 워터마킹되지 않은 영화의 휘도 값들을 추정한다. 그 다음에, 검출기는 대응하는 부분들의 휘도 값들로부터 오퍼레이션들 둘 다의 결과를 감산한다. 마지막으로, 검출기는 부호 오퍼레이션(cf. 식(2))전의 감산에 의한 워터마크()의 추정을 이루어낸다:
(5)
K 추정들()(식(3)을 보라)은 유사한 방식으로 얻어지고 워터마크(w)와 상관된다.
임베딩된 워터마크는 디-플리커 툴이 이미지의 모든 픽셀들을 동일한 인자 β(k)로 곱하고 이에 의해 2개의 이미지 영역들간의 휘도 차이들이 실질적으로 온전하게 남겨지기 때문에 잔존한다. 본 발명의 효과는 또한 더 수학적으로 설명될 수 있다. 원래의 워터마킹되지 않은 영화가 저역-통과 성질을 보인다고 가정한다. 카메라에 의한 영화의 캡쳐링 후, 워터마킹된 부분들( 및 )의 평균 휘도 값들은 플리커링을 보인다.
및
여기서, γ(k) > 0 는 프레임 k의 평균 휘도 값(플리커링)의 변화에 대응한다. '디-플리커' 플러그-인은 평균 휘도 값들을 저역-통과 필터링함으로써 이 플리커링을 제거한다.
이 표현으로부터 다음과 같이 다음 식이 유도된다.
실제로, 이 f(k)에 비해 상대적으로 작으므로, β(k)γ(k)를 1로 근사화할 수 있다. 이 근사화를 사용함으로써, 다음 식이 유도된다.
다른 부분에 대해, 유사한 결과를 얻는다.
이들 결과들을 사용하여, (식(5)를 보라)에 대한 다음 표현을 얻는다.
여기서, 저역-통과 필터(g)가 워터마크를 완전히 필터링한다고 가정한다. cF,1(k) + cF,2(k) 는 모든 k에 대해 음수가 아니기 때문에, 표현의 부호에 영향을 주지 않음을 주지한다. 이 표현으로부터 워터마크가 수정 후에 '디-플리커' 오퍼레이션으로부터 잔존함을 볼 수 있다.
워터마크가 핸드헬드 비디오 카메라에 의해 만들어진 카피에서 검출될 수 있도록, 극장 영화에서 워터마크를 임베딩 및 검출하기 위한 방법들 및 배열들이 개시된다. 워터마크 임베더는 각각의 이미지 프레임을 2개의 영역들로 분할한다. 제 1 부분의 휘도를 증가시키고 제 2 부분의 휘도를 감소시킴으로써, 워터마크 비트 '+1'이 프레임내에 임베딩된다. 제 1 부분의 휘도를 감소시키고 제 2 부분의 휘도를 증가시킴으로써, 워터마크 비트'-1'이 임베딩된다. 본 발명으로 극장 영사기와 소비자 캠포더들의 상이한 프레임 레이트들에 의해 야기된 플리커를 제거하기 위해 종종 사용되는 '디-플리커' 오퍼레이션들로부터 임베딩된 워터마크가 잔존한다.

Claims (10)

  1. 동영상 신호내에 워터마크를 임베딩하는 방법에 있어서,
    - 제 1 또는 제 2 값을 각각 갖는 워터마크 샘플들의 시퀀스에 의해 상기 워터마크를 나타내는 단계;
    - 상기 동영상 신호의 이미지를 적어도 제 1 및 제 2 이미지 영역으로 분할하는 단계;
    - 상기 제 1 및 상기 제 2 이미지 영역의 전체 특성을 결정하는 단계; 및
    - 워터마크 샘플의 상기 제 1 값을 상기 이미지내에 임베딩하기 위해 상기 이미지의 제 1 영역의 상기 전체 특성을 증가시키고 상기 이미지의 제 2 영역의 상기 전체 특성을 감소시키도록, 그리고 상기 워터마크 샘플의 상기 제 2 값을 상기 이미지내에 임베딩하기 위해 상기 이미지의 제 1 영역의 상기 전체 특성을 감소시키고 상기 이미지의 제 2 영역의 상기 전체 특성을 증가시키도록 상기 이미지를 수정하는 단계를 포함하는 워터마크 임베딩 방법.
  2. 제 1 항에 있어서,
    상기 전체 특성은 상기 각각의 이미지 영역의 평균 휘도 값인, 워터마크 임베딩 방법.
  3. 제 1 항에 있어서,
    상기 수정 단계는 상기 동일한 워터마크 샘플에 따라 일련의 연속 이미지들을 수정하는 단계를 포함하는, 워터마크 임베딩 방법.
  4. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 영역들은 각각 이미지 반(half)들 중 상부 및 하부인, 워터마크 임베딩 방법.
  5. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 영역들은 각각 이미지 반들 중 좌측부 및 우측부인, 워터마크 임베딩 방법.
  6. 동영상 신호내에 워터마크를 임베딩하기 위한 배열에 있어서,
    - 제 1 또는 제 2 값을 각각 갖는 워터마크 샘플들의 시퀀스에 의해 상기 워터마크를 나타내기 위한 수단;
    - 상기 동영상 신호의 이미지를 적어도 제 1 및 제 2 이미지 영역으로 분할하기 위한 수단;
    - 상기 제 1 및 상기 제 2 이미지 영역의 전체 특성을 결정하기 위한 수단; 및
    - 상기 이미지내에 임베딩될 워터마크 샘플의 상기 제 1 값에 응답하여 상기 제 1 이미지 영역의 상기 전체 특성을 증가시키고 상기 제 2 이미지 영역의 상기 전체 특성을 감소시키도록, 그리고 상기 이미지내에 임베딩될 워터마크 샘플의 상기 제 2 값을 임베딩하는 것에 응답하여 상기 제 1 이미지 영역의 상기 전체 특성을 감소시키고 상기 이미지 제 2 영역의 상기 전체 특성을 증가시키도록 배열된 이미지 수정 수단을 포함하는 워터마크 임베딩 배열
  7. 워터마킹된 동영상 호스트 신호내의 워터마크를 검출하는 방법에 있어서,
    - 상기 호스트 신호의 각각의 이미지를 적어도 제 1 및 제 2 이미지 영역으로 분할하는 단계;
    - 상기 제 1 및 상기 제 2 이미지 영역의 전체 특성을 결정하는 단계;
    - 일련의 이미지들 각각에 대해, 상기 제 1 및 상기 제 2 이미지 영역의 상기 전체 특성간의 차이를 계산하는 단계; 및
    - 상기 일련의 이미지들에 대해, 상기 각각의 차이들을 검출될 상기 워터마크와 상관시키는 단계를 포함하는 워터마크 검출 방법.
  8. 제 7 항에 있어서,
    상기 전체 특성은 상기 각각의 이미지 영역의 평균 휘도 값인, 워터마크 검출 방법.
  9. 제 7 항에 있어서,
    상기 일련의 전체 특성들로부터 저역-통과 필터링된 버전을 감산하고, 상기 상관단계를 상기 감산된 신호에 적용하는 단계를 더 포함하는, 워터마크 검출 방법.
  10. 제 9 항에 있어서,
    상기 감산된 신호의 부호를 검출하고, 상기 상관단계를 상기 부호에 적용하는 단계를 더 포함하는, 워터마크 검출 방법.
KR1020057013398A 2003-01-20 2004-01-13 동영상 신호의 워터마크 임베딩 및 검출 KR20050091094A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100109.2 2003-01-20
EP03100109 2003-01-20

Publications (1)

Publication Number Publication Date
KR20050091094A true KR20050091094A (ko) 2005-09-14

Family

ID=32748928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057013398A KR20050091094A (ko) 2003-01-20 2004-01-13 동영상 신호의 워터마크 임베딩 및 검출

Country Status (9)

Country Link
US (1) US7844072B2 (ko)
EP (1) EP1588556B1 (ko)
JP (1) JP4709960B2 (ko)
KR (1) KR20050091094A (ko)
CN (1) CN100380960C (ko)
AT (1) ATE341157T1 (ko)
DE (1) DE602004002561T2 (ko)
ES (1) ES2271835T3 (ko)
WO (1) WO2004066626A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045448A (ja) * 1999-07-30 2001-02-16 Nec Corp ディジタルｔｖ放送における映像データ同期方式
US9609278B2 (en) 2000-04-07 2017-03-28 Koplar Interactive Systems International, Llc Method and system for auxiliary data detection and delivery
DE602004002561T2 (de) * 2003-01-20 2007-06-21 Koninklijke Philips Electronics N.V. Wasserzeicheneinbettung und Detektion eines Bewegungsbildsignals
US7330511B2 (en) 2003-08-18 2008-02-12 Koplar Interactive Systems International, L.L.C. Method and system for embedding device positional data in video signals
US7646881B2 (en) * 2003-09-29 2010-01-12 Alcatel-Lucent Usa Inc. Watermarking scheme for digital video
US8861922B2 (en) 2003-09-29 2014-10-14 Alcatel Lucent Watermarking scheme for digital video
JP4534530B2 (ja) * 2004-03-08 2010-09-01 三菱電機株式会社 電子透かし検出方法および電子透かし検出装置
JP4510647B2 (ja) * 2005-01-18 2010-07-28 パイオニア株式会社 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム
US7907248B2 (en) 2005-08-22 2011-03-15 Nds Limited Movie copy protection
EP1932359A1 (en) * 2005-09-09 2008-06-18 Thomson Licensing Coefficient selection for video watermarking
US20090252370A1 (en) * 2005-09-09 2009-10-08 Justin Picard Video watermark detection
JP2009514305A (ja) * 2005-10-26 2009-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報信号にデータを埋め込む方法
JP2009521181A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタルシネマ用のブラインド検知
US20080205848A1 (en) * 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
JP4941286B2 (ja) * 2007-02-28 2012-05-30 株式会社Ｊｖｃケンウッド 撮像装置及び再生装置
DE102007027642A1 (de) * 2007-06-15 2008-12-18 Micronas Gmbh Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung
US20090111584A1 (en) 2007-10-31 2009-04-30 Koplar Interactive Systems International, L.L.C. Method and system for encoded information processing
US8582781B2 (en) 2009-01-20 2013-11-12 Koplar Interactive Systems International, L.L.C. Echo modulation methods and systems
US8213673B2 (en) * 2009-06-09 2012-07-03 Avio Technology, Inc. Watermarking of motion pictures
US8715083B2 (en) 2009-06-18 2014-05-06 Koplar Interactive Systems International, L.L.C. Methods and systems for processing gaming data
JP2012205168A (ja) * 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2012244601A (ja) * 2011-05-24 2012-12-10 Sharp Corp 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体
US9317872B2 (en) 2013-02-06 2016-04-19 Muzak Llc Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
EP2950523A1 (en) * 2014-05-28 2015-12-02 Thomson Licensing Method of estimating flicker on recorded video by camcorder

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590996B1 (en) * 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
JP4313873B2 (ja) * 1998-01-30 2009-08-12 キヤノン株式会社 電子機器及びデータ処理方法
WO1999045704A2 (en) * 1998-03-04 1999-09-10 Koninklijke Philips Electronics N.V. Watermark detection
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
US5991426A (en) * 1998-12-18 1999-11-23 Signafy, Inc. Field-based watermark insertion and detection
US6456727B1 (en) * 1999-09-02 2002-09-24 Hitachi, Ltd. Method of extracting digital watermark information and method of judging but value of digital watermark information
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
KR20030027062A (ko) * 2001-06-21 2003-04-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 이미지 신호에서 워터마크의 삽입 및 검출
DE10216261A1 (de) * 2002-04-12 2003-11-06 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbetten von Wasserzeicheninformationen und Verfahren und Vorrichtung zum Extrahieren von eingebetteten Wasserzeicheninformationen
US7036024B2 (en) * 2002-07-09 2006-04-25 Kaleidescape, Inc. Detecting collusion among multiple recipients of fingerprinted information
JP3976183B2 (ja) * 2002-08-14 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ受信装置、ネットワークシステム及びプログラム
DE602004002561T2 (de) * 2003-01-20 2007-06-21 Koninklijke Philips Electronics N.V. Wasserzeicheneinbettung und Detektion eines Bewegungsbildsignals
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
JP2006025409A (ja) * 2004-06-11 2006-01-26 Canon Inc 画像処理装置及び画像処理方法
CN101273367B (zh) * 2005-07-19 2012-10-10 美国唯美安视国际有限公司 用于媒体鉴别的隐蔽且鲁棒的标记

Also Published As

Publication number Publication date
EP1588556A1 (en) 2005-10-26
DE602004002561D1 (de) 2006-11-09
ATE341157T1 (de) 2006-10-15
CN100380960C (zh) 2008-04-09
US7844072B2 (en) 2010-11-30
WO2004066626A1 (en) 2004-08-05
CN1739293A (zh) 2006-02-22
JP4709960B2 (ja) 2011-06-29
DE602004002561T2 (de) 2007-06-21
JP2006517068A (ja) 2006-07-13
US20060129566A1 (en) 2006-06-15
ES2271835T3 (es) 2007-04-16
EP1588556B1 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
EP1588556B1 (en) Watermark embedding and detection of a motion image signal
US8452971B2 (en) Embedding and detection of watermark in a motion image signal
KR100841848B1 (ko) 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체
Haitsma et al. A watermarking scheme for digital cinema
TWI480842B (zh) Electronic floating watermark detection method, electronic floating watermark detection device, program, and recording media
US6771795B1 (en) Spatio-temporal channel for image watermarks or data
Bidokhti et al. Detection of regional copy/move forgery in MPEG videos using optical flow
EP1394738A2 (en) Apparatus for embedding and detection of digital watermark
US20080226125A1 (en) Method of Embedding Data in an Information Signal
EP1329094A2 (en) Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
JP4293766B2 (ja) データ処理装置
US20020087864A1 (en) Method and arrangement for embedding a watermark in an information signal
US20080304702A1 (en) Blind Detection for Digital Cinema
van Leest et al. On digital cinema and watermarking
Corrigan et al. A video database for the development of stereo-3D post-production algorithms
Cheng et al. Spatial temporal and histogram video registration for digital watermark detection
Cheng A review of video registration methods for watermark detection in digital cinema applications
Jung et al. Detecting re-captured videos using shot-based photo response non-uniformity
KR101025311B1 (ko) 복합적 왜곡에 강인한 자기 동기화 신호 기반의 고화질 동영상 워터마킹 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid