KR20150005472A - 비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치 - Google Patents

비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20150005472A
KR20150005472A KR1020140083225A KR20140083225A KR20150005472A KR 20150005472 A KR20150005472 A KR 20150005472A KR 1020140083225 A KR1020140083225 A KR 1020140083225A KR 20140083225 A KR20140083225 A KR 20140083225A KR 20150005472 A KR20150005472 A KR 20150005472A
Authority
KR
South Korea
Prior art keywords
watermark
correlation
frame
video
frames
Prior art date
Application number
KR1020140083225A
Other languages
English (en)
Inventor
세사르 부리니
궤넬 도에르
세버린 바우드리
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150005472A publication Critical patent/KR20150005472A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 프레임들의 적어도 한 시퀀스를 포함하는 비디오에서 워터마크의 존재를 평가하기 위한 방법에 관한 것이다. 본 방법은, 프레임들의 시퀀스들 중 적어도 하나의 프레임에 대해서, 축 상호-상관 값의 세트를 계산하는 단계로서, 각각의 축 상호-상관 값은 프레임과 공간 수평축을 따라 시프트된 기준 워터마크 사이의 상관에 대응하는, 계산하는 단계, 상기 축 상호-상관 값들에 적용된 함수로 출력된 값들의 가중된 합을 계산함으로써 검출 스코어를 얻는 단계, 검출 스코어에 따라 워터마크의 존재를 평가하는 단계를 포함한다. 이러한 방법은 특히 디스패리티 코히어런트 워터마크의 검출에 잘 적응되지만, 임의의 워터마킹 기술에 순응한다. 본 방법을 구현하는 장치가 또한 개시된다.

Description

비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치{METHOD AND DEVICE FOR ASSESSING THE PRESENCE OF A WATERMARK IN A VIDEO}
본 발명은 비디오, 특히 합성 뷰 비디오 또는 3차원 스테레오 비디오에서 워터마크의 검출에 관한 것이다. 특히, 본 발명은 비디오에서 워터마크의 존재를 평가하기 위한 방법 및 이 방법을 구현하는 연관된 장치에 관한 것이다.
본 섹션은 기술의 다양한 관점을 독자에게 소개하기 위한 것이고, 아래에 설명 및/또는 청구되는 본 발명의 다양한 관점들에 관련될 수 있다. 본 논의는 본 발명의 다양한 관점들의 보다 나은 이해를 용이하게 하기 위하여 배경 정보를 독자에게 제공하는데 도움이 될 것으로 생각된다. 따라서, 이러한 관점에서 진술들이 판독되어야 하고 종래의 기술을 수용하는 것이 아님을 이해해야 한다.
3차원(3D) 스테레오 비디오에 있어서, 우측 및 좌측 뷰 모두가 디스플레이되기 때문에, 사용자는 3D 효과를 즐긴다. 좌측 뷰 및 우측 뷰는 스테레오 카메라 캡쳐로부터 얻어지거나, 좌측 및 우측 뷰는 기준 뷰로부터 합성된다. 멀티 뷰 텔레비전에 있어서, 다른 카메라에 의해 캡쳐된 동일한 장면의 여러 뷰는 사용자에게 전달된다. 사용자는 장면의 전달된 어떠한 뷰도 자유롭게 디스플레이하거나, 심지어 가상 카메라의 뷰포인트에 대응하는 전송된 뷰로부터 중간 뷰를 자유롭게 합성할 수 있다.
표준 비디오에 대해서, 저작권 보호는 3D 또는 멀티-뷰 비디오에서 우려로 남아 있다. 많은 대안의 저작권 관리 시스템 중에, 워터마킹 기술은 이미지 내에 숨겨진 눈에 보이지 않는 정보를 삽입한다. 이 정보는 불법 복사의 소스를 식별하는 범죄 과학 수사에 사용된다. 그러나, 3D 비디오에 워터마크 삽입 및 워터마크 검출은 모노 뷰 비디오에서보다 더 복잡하다. 실제로, 스테레오 워터마킹은 기본적으로 두 가지의 기술적인 문제를 야기한다. 첫째로는, 저작권 침해자 샘플(pirate samples)(예를 들어, 단일 뷰, 결합된 뷰, 합성 뷰)의 새로운 유형 내에 삽입된 워터마크를 검출하는 검출기의 능력이고, 둘째로는 깊이 인식에 대한 삽입된 워터마크의 비인식성(imperceptibility)이다.
오늘날, 주로, 3D 스테레오 또는 멀티-뷰의 콘텐츠에 적응된 스테레오 비디오 워터마킹 시스템의 두 가지의 범주가 있다.
첫 번째 범주는 깊이-불변 삽입 도메인에 관한 것이다. 스테레오 비디오의 두 개의 뷰가 교정되었을 때(카메라들이 평행하지 않는 경우), 픽셀들만이 두 개의 뷰들 사이의 수평 라인들을 따라 시프트한다. 이러한 변위를 인식하지 못하게 하기 위하여, 한 전략은 수평 시프트(예를 들어, 행을 따라 평균 픽셀값)에 불변인 도메인을 정의하고 이 도메인에서 워터마크를 삽입하는 것으로 이루어진다. 이러한 방법은 동일한 출원인에 의해 2011년 8월 31일자 출원된 유럽 특허 출원 제 2 426 636 A1 호에 개시되어 있다. 이 불변인 도메인에서 뷰의 표현은 오히려 안정적이고, 안정된 워터마킹 노하우는 쉽게 재사용될 수 있다. 말하자면, 뷰에 대해 역으로 불변인 도메인으로부터의 역 매핑이 아마 짜증스러운 아티팩트(지속적인 패턴, 두통 등)를 소개하는 것으로 공지되어 있다.
두 번째 범주는 디스패리티 코히런트 워터마킹(disparity-coherent watermarking)에 관한 것이다. 이는 연관된 디스패리티 정보에 기초하여, 좌측 및 우측 뷰에서 기준 워터마크를 내보내는 것으로 이루어진다. 이는 촬영될 워터마크된 3D 장면을 시뮬레이션하는 것과 다소 동일하다. 이 전략은 워터마크 노이즈 텍스처가 장면에서 오브젝트의 표면에 있는 오히려 자연의 효과를 시각적으로 산출한다. 한편, 지금까지 제안된 워터마크 검출 기술은 비-블라인드(non-blind)이다. 검출기는 워터마크를 검색하기 위해 측면 정보(원래 카메라의 내적/외적인 파라미터, 합성 카메라의 내적/외적인 파라미터)를 필요로 한다. 이들 파라미터 중 일부는 실제로 추정될 수 있지만, 검출 성능은 추정의 품질에 크게 구속된다.
예를 들어, "프리-뷰 비디오의 워터마킹“("이미지 처리에 대한 IEEE 트랜잭션" 제 19 권, 페이지 1785-1797, 2010년 7월)에 있어서, A. Koz, C. Cigla 및 A. Alatan는 인간의 시각 시스템의 공간 마스킹 특성을 이용함으로써 워터마크를 멀티-뷰에 삽입하기 위한 방법을 개시한다. 또한, 그들은 가상 카메라의 위치 및 회전을 이용함으로써 워터마크를 검출하기 위한 방법을 개시한다. 그러나, 워터마크 검출을 위한 방법은 항상 사용할 수 없는 카메라의 파라미터 및 원래의 뷰 중 적어도 하나를 필요로 한다. 알려지지 않은 카메라 파라미터의 경우에, 그들은, 합성된 뷰의 카메라 위치 및 방향을 추정하기 위하여, 대응하는 깊이-맵 정보와 함께, 원래의 뷰를 사용하는 것을 개시한다. 이러한 방법은 추정된 파라미터에 대하여 원래의 비디오를 변환하는 단계, 및 이를 합성된 뷰에 감산하는 단계를 포함한다. 결과적인 신호와 워터마크 신호 사이의 상관은 워터마크 검출에서 보다 나은 성능을 제공한다. 그러나, 카메라 파라미터의 추정은 많은 처리를 필요로 한다. 이러한 워터마크 검출은 은닉되지 않고, 복잡하며, 시간이 소모된다. 또한, 검출 성능은 카메라의 파라미터 추정에 민감하다.
예를 들어, "깊이-이미지-기반 렌더링을 위한 워터마킹"(이미지 처리에 대한 IEEE 국제 회의에서, 페이지 4217-4220, 2009년 11월)에 있어서, E. Halici 및 A. Alatan는 기준 워터마크와 기준 뷰를 워터마킹하고, 깊이 데이터에 따른 기준 워터마크의 투영을 다른 뷰에 삽입함으로써, 워터마크를 멀티-뷰에 삽입하기 위한 방법을 또한 개시한다. 이러한 방법은 3D 장면 숏(scene shot)을 워터마킹하는 것과 다소 동일하다. 또한, 그들은 기준 뷰와 테스트된 뷰 사이의 투영 매트릭스를 추정함으로써 워터마크를 검출하기 위한 방법을 개시한다. 워터마크 검출을 위한 기준 뷰를 필요로 하기 때문에, 검출기는 비-은닉된다. 투영 매트릭스가 추정되면, 기준 워터마크 패턴의 투영이 계산된다. 다음에, 테스트된 뷰와 투영된 워터마크 패턴 사이의 상관이 충분히 높은 경우, 테스트된 뷰는 워터마크된 뷰로부터 생성되는 것으로 고려된다. 그러나, 투영 매트릭스를 추정하는 것은 에러가 발생하기 쉽고 시간이 소모된다.
대부분의 워터마킹 시스템은 상관-기반 검출에 의존한다. 본질적으로, 검출기는 콘텐츠(예를 들어, 뷰)와 기준 워터마크 신호 사이의 상관 스코어를 계산한다. 콘텐츠가 워터마크를 포함하고 그와 정렬되는 경우, 검출 스코어는 높고 워터마크는 검출된다.
비디오, 이미지 또는 오디오에 적용되는 최신 기술의 워터마크 검출 방법(예를 들어, "멀티미디어에 대한 안전한 전개 스펙트럼 워터마킹", 이미지 처리에 대한 IEEE 트랜잭션, 제 6 권, 1997년 12월 12일, I. Cox, J. Killian, F. Thomson Leighton, T. Shamoon에 의해 기재되어 있는 것처럼)에 있어서, 워터마크는 기준 워터마크 신호와 콘텐츠 사이의 상관을 계산함으로써 콘텐츠에서 검출된다. 이때, 상관의 절대값은 임계값과 비교되어, 콘텐츠가 상기 워터마크 신호로 워터마크되는지의 여부를 결정한다. 절대값이 임계값을 초과한다면, 상관의 부호는 비트 '0' 또는 비트 '1'이 콘텐츠에 삽입되었는지의 여부를 결정할 수 있다. 이러한 방법은, 예를 들어, 콘텐츠가 크롭되거나 콘텐츠의 픽셀이 시프트된다면, 기하학적 왜곡을 겪은 때 워터마크를 복원하는데 실패한다. 이 방법이 스테레오 이미지 워터마킹에 직접 적용된다면, 뷰 합성은 일부 화소를 시프트시키고, 시프트의 양(amount)은 화상에서 대응하는 오브젝트의 깊이 정보에 의존할 것이다. 따라서, 기준 워터마크 신호와 합성 뷰 사이의 상관을 계산하는 것은 매우 낮은 상관 값을 산출할 것이다. 즉, 뷰 합성 처리에 의해 시프트되지 않은 픽셀만이 상관에 긍정적으로 기여할 것이다. 이에 의해, 이 최신 기술의 방법은 3D 스테레오 콘텐츠에 대한 매우 좋지 못한 검출 결과를 제공한다.
블라인드 워터마크 검출기를 이용하여 작업하는 것이 통상적으로 보다 편리하기 때문에, 모든 기존 워터마크 삽입기, 특히, 디스패리티 코히런트 워터마크 삽입기로 사용될 수 있고, 원래의 비디오에 관련된 어떠한 정보도 필요로 하지 않는 검출 알고리즘이 필요하다.
본 발명의 목적은 비디오에서 워터마크를 검출하기 위한 방법을 제안함으로써 종래의 기술의 단점 중 적어도 하나를 해소하기 위한 것이다. 본 발명의 사상은 워터마크 신호의 시프트된 버전에 각각 대응하는 여러 상관 값을 계산하고, 하나의 검출 값을 얻기 위해 그들 여러 상관 값을 집계하는 것이다. 사실상, 상관-기반의 검출 이전에 기준 워터마크를 재형성하는 대신에, 산란된 워터마크 신호의 다른 조각을 수집하는 블라인드 검출 전략을 제안한다.
이를 위해, 본 발명은 프레임들의 적어도 한 시퀀스를 포함하는 비디오에서 워터마크의 존재를 평가하기 위한 방법에 관한 것이다. 본 방법은, 프레임들의 시퀀스들 중 적어도 하나의 프레임에 대해서, 축 상호-상관값의 세트를 계산하는 단계로서, 각각의 축 상호-상관값은 프레임과 공간 수평축을 따라 시프트된 기준 워터마크 사이의 상관에 대응하는, 계산하는 단계, 상기 축 상호-상관 값들에 적용된 함수로 출력된 값들의 가중된 합을 계산함으로써 검출 스코어를 얻는 단계, 검출 스코어에 따라 워터마크의 존재를 평가하는 단계를 포함한다. 이러한 방법은 특히 디스패리티 코히런트 워터마크의 검출에 잘 적응되지만, 임의의 워터마킹 기술에 순응한다.
제 1 양호한 실시예에 있어서, 본 방법은 프레임을 백색화 및/또는 클립핑하는 프레임의 예비 처리 단계를 포함한다. 이러한 전처리는 워터마크 검출 절차에 적용될 프레임에서 호스트 신호의 간섭을 감소시킴으로써 검출을 바람직하게 향상시킨다.
본 발명의 특히 유리한 특징에 따르면, 각각의 축 상호-상관 값은 한 범위 내의 시프트에 대해 계산된다.
변형에 있어서, 함수는, 예를 들어, 절대 값 함수이다. 다른 변형에 있어서, 함수는 축 상호-상관 값이 제 2 임계값보다 큰 경우 축 상호-상관 값을 출력하고, 함수는 축 상호-상관 값이 제 2 임계값보다 작은 경우 제로를 출력한다.
다른 실시예에 있어서, 비디오는 좌측 뷰 및 우측 뷰에 대응하는 프레임들의 두 개의 시퀀스를 포함하거나, 비디오는 좌측 및 우측 뷰로부터 유도된 합성된 프레임들의 시퀀스를 포함한다. 이들 실시예에 있어서, 축이 수평 축인 것이 유리하다.
제 2 관점에 있어서, 본 발명은 개시된 방법을 수행하도록 컴퓨터 실행 가능한 프로그램 명령을 저장하는 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
제 3 관점에 있어서, 본 발명은 프레임들의 시퀀스들 중 적어도 하나의 프레임에 대해 축 상호-상관 값들의 세트를 계산하고, 각각의 축 상호-상관 값은 프레임과 결정된 축을 따라 시프트된 기준 워터마크 사이의 상관에 대응하며; 검출 스코어를 얻기 위해 축 상호-상관 값 중 적어도 하나를 집계하고; 기준 워터마크의 존재를 평가하기 위하여 검출 스코어를 제 1 임계값에 비교하도록 적응된 적어도 하나의 프로세서를 포함하는 장치에 관한 것이다.
명시적으로 설명하지 않았지만, 본 실시예들은 임의의 조합 또는 부-조합으로 사용될 수 있다. 예를 들면, 집계하는 기능은 전처리 기능 및/또는 3D 스테레오 또는 합성된 뷰의 형태의 비디오와 조합될 수 있다. 게다가, 본 발명에 대해 설명된 어떤 특징 또는 변형은 개시된 방법을 처리하도록 의도된 장치, 및 프로그램 명령을 저장하는 컴퓨터 판독 가능한 저장 매체와 호환된다.
본 발명의 방법에 따라. 프레임을 백색화 및/또는 클립핑하는 프레임의 예비 처리 단계를 포함하고, 이러한 전처리는 워터마크 검출 절차에 적용될 프레임에서 호스트 신호의 간섭을 감소시킴으로써 검출을 바람직하게 향상시킨다.
도 1은 특정 실시예에 따라 비디오에서 워터마크를 검출하기 위한 방법을 나타내는 도면.
도 2는 상호-상관 값의 세트와 함께 동일한 장면의 좌측 및 우측 뷰에서 픽셀들의 이동을 나타내는 도면.
도 3은 양호한 실시예에 따른 방법을 구현하는 장치를 예시한 도면.
본 발명의 다른 특징 및 장점은 첨부한 도면들과 함께 예시된 본 발명의 비제한 실시예의 설명을 통해 분명해질 것이다.
개시된 검출 방법은 3D 스테레오 비디오에서 디스패리티 코히런트 워터마크의 검출을 위해 특히 잘 적응되기 때문에, 비록, 임의의 워터마킹 기술과 순응적이지만, 바람직한 실시예는 이러한 워터마크 방식 및 비디오 형태에 대해 설명한다.
도 1은 특정 실시예에 따라 디스패리티 코히런트 워터마크를 검출하기 위한 방법을 나타낸다. 본 방법은 비디오에 속하는 프레임들의 시퀀스들 중 하나의 시퀀스의 프레임들 중 한 프레임에 적용된다. 다음 설명에 있어서, 용어 "시퀀스"는 비디오 콘텐츠를 나타내는 프레임들의 시간의 세트를 포함한다. 또한, 실제로, 용어 "시퀀스"는 3D 스테레오 비디오에서 "뷰"(좌측 또는 우측)를 지칭하거나, 멀티 뷰 비디오에서 "뷰"를 지칭한다.
제 1 선택적인 단계(101)에 있어서, 전처리 동작이 검출을 향상시키기 위하여 프레임에 적용된다. 양호한 실시예에 있어서, 그러한 단계는 프레임에 필터를 적용하는 것으로 구성된다. 예를 들어, 기준 워터마크가 백색 또는 고역 통과인 경우, 백색화 필터(whitening filter)가 프레임들에 적용될 수 있다. 선택된 필터의 유형에 따라(예를 들어, 고역 통과 필터), 프레임에서 관심의 대상인 것만을 유지할 수 있다(예를 들어, 고주파수). 이렇게 함으로써, 다음 단계에서 프레임과 워터마크 사이의 간섭이 감소되어 검출 결과는 향상되었다. 찾고 있는 워터마크가 제로에 중심이 되는 가우시안 잡음인 것을 고려한다. 제 1 변형에 있어서, 프레임과 고역 통과 필터 사이의 컨볼루션이 계산된다. 단순한 고역 통과 필터는 예를 들어, 3x3 행렬이다.
Figure pat00001
프레임은 주로 낮은 주파수 성분으로 구성되어 있기 때문에, 고역 통과 필터링은 이들 성분을 감쇠시키고, 이에 따라, 잡음 비율에 대한 워터마크 신호를 증가시킬 것이다. 이 필터링된 프레임은 자체 유지될 수 있거나, 이상치 픽셀값(outlier pixel values)이 잘릴 수 있으며, 미리 정의된 임계값보다 높고/낮은 모든 픽셀값은 임계값으로 설정된다.
제 2 변형에 있어서, 푸리에 변환이 프레임에 적용된다. 필터링된 프레임은 프레임의 푸리에 변환의 위상(phase)(1로 설정된 신호의 크기)의 역 푸리에 변환이 될 것이다.
Figure pat00002
제 2 단계(102)에 있어서, 축 상호-상관 값들의 세트가 계산된다. 각각의 축 상호-상관 값은 프레임과 결정된 축을 따라 시프트된 기준 워터마크 사이의 상관에 대응한다. 유리한 변형에 있어서, 축은 수평 축이 된다. 이러한 변형은 합성된 좌측 및 우측 뷰를 포함하는 입체 콘텐츠에 대응하는 경우, 또는 정류된 스테레오 뷰인 좌측 및 우측 뷰로부터 유도된 합성 프레임의 시퀀스에 대응하는 경우에 잘 적응된다. 이들 합성 뷰는 또한 가상 뷰라고 지칭한다. 상관을 이용하여 워터마크를 검출하기 위하여, 프레임은 기준 워터마크를 포함해야 할 뿐만 아니라, 기준 워터마크와 “정렬(aligned)”되어야 하는데, 즉, 프레임의 화소는 상관 값을 계산하기 이전에 시프트 또는 크롭핑되지 않아야 한다. 디스패리티 코히런트 워터마크로 보호된 뷰, 또는 워터마크된 기준 뷰 또는 워터마크된 좌측 및 우측 뷰로부터 생성된 가상 뷰의 경우에, 워터마크는 도 2에 표현된 일부 영역(이 변환은 장면에서 픽셀에 대응하는 오브젝트의 깊이에 비례)에서 시프트될 것이다. 주어진 깊이에서 프레임의 모든 영역은 동일한 시프트를 경험하게 되고, 이들 영역에서 근본적인 워터마크는 또한 그러한 시프트를 경험하게 될 것이다. 좌측 뷰 및 우측 뷰에서 동일한 오브젝트의 위치간의 시프트는 또한 소위 디스패리티라고 지칭된다. 단일 상관에 기초하여 이전에 설명한 최신 기술의 검출 방법은 디스패리티가 존재하지 않는 픽셀 영역에서 워터마크를 단지 캡쳐할 것이다. 단계(102)는 모든 가능한 시프트에 대해 시프트되는 기준 워터마크와 프레임 사이의 상관을 계산하는 단계를 포함하는데, 다시 말해, 슬라이딩 윈도우 내의 상호-상관이 계산된다. 주어진 깊이에서 픽셀이 많이 존재할수록, 프레임과 시프된 워터마크 사이의 상관 스코어는 더 높게 존재할 것이다. 이러한 상호-상관의 단계(102)의 결과는 벡터(ρ)이고, 그 구성 요소들의 각각은 주어진 시프트 l로 프레임(F)(사이즈(h x w)의 프레임))과 워터마크(W) 사이의 상관이 된다. 콘텐츠가 정류된 입체 프레임인 이전에 설명한 변형안에 있어서, 상관은 수평 시프트에 대해서만 수행된다.
Figure pat00003

특정한 특징에 따라, 시프트에 대한 값을 일정한 범위로 제한할 수 있다. 사실상, 입체 콘텐츠에서 시각적 편안함으로 인하여, 디스패리티 값은 한 범위 내에서 제한된다. 디스패리티가 주어진 범위에 대해 크거나 낮다면, 사용자가 3D 오브젝트를 즐길 수 없거나, 수렴 또는 발산하는 눈에 너무 많은 노력을 요구할 수 있다. 따라서, 검출에서의 계산 부담을 낮추고, 잡음 상관 성분을 고려하는 것을 피하기 위하여, 상관은 주어진 범위에서 단지 시프트에 대해 계산될 수 있다. 일 실시예에 있어서, 시프트는 범위 [-40,60] 픽셀로 구성된다.
제 3 단계(103)에 있어서, 축 상호-상관 값은 검출 스코어를 얻기 위해 집계된다. 상관 값 ρ(l)의 벡터는 이미지가 주어진 기준 워터마크로 워터마크되는지의 여부와, 이미지에 삽입된 워터마크된 비트가 ‘0’ 또는 ‘1’인지를 결정하는데 사용된다. 시프트가 주어진 범위 내에서 제한되는 변형에 있어서, 주어진 시프트 범위에서 l에 대한 여러 값 ρ(l)이 하나의 값으로 함께 집계된다. 다양한 특징에 따라, 검출 스코어(score)를 얻기 위해 시프트 범위를 통해 벡터의 값을 집계하는 단계는 다음 단계를 포함한다.
- 모든 값들을 합산하는 단계:
Figure pat00004
- 이들 값 중 최대를 택하는 단계:
Figure pat00005
또는,
Figure pat00006
- 임계값을 합산하는 단계:
Figure pat00007
또는,
Figure pat00008
- n이 프리셋 파라미터일 때(예를 들어, n=3), n개의 최대값을 합산하는 단계:
Figure pat00009
여기서,
Figure pat00010
이고, R은 고려된 시프트의 수(예를 들어, 시프트 범위 내의 시프트의 수)이다.
대안으로, 상기 집계 함수는 ρ(l)의 절대 값에 적용된다. 예를 들어, 집계 값은 시프트 범위를 통해 ρ(l)의 절대 값의 합이다:
Figure pat00011
집계 함수를 위해 설명한 상기 모든 특징은 부호를 갖는 값 ρ(l)의 대신에 절대값 |ρ(l)|으로 조합될 수 있다. 상관 벡터 ρ(l)의 다른 모든 함수는 집계 함수로서 간주될 수 있다.
검출 스코어가 계산되면, 제 3 단계(103)에서, 검출 스코어를 소위 검출 임계값 Td로 지칭되는 제 1 임계값과 비교하여, 프레임이 기준 워터마크를 포함하는지의 여부를 결정한다. 스코어가 임계값보다 크다면, 기준 워터마크는 프레임에 삽입된 것으로 고려된다. 스코어가 임계값보다 낮다면, 프레임은 기준 워터마크로 워터마크되지 않은 것으로서 검출된다. 워터마크 삽입기가 워터마크 비트를 삽입하기 위해 워터마크 기준 신호의 극성을 사용하는 변경안에 있어서, 비교의 결과는 삽입된 비트를 결정할 수 있다. 다시 말해, 워터마크 삽입기는 워터마크 비트 ‘0’을 삽입하기 위해 기준 워터마크 W(x,y)를 삽입하고, 워터마크 비트 ‘1’을 삽입하기 위해 기준 워터마크 -W(x,y)를 삽입한다. 따라서, 이 경우, 검출 스코어(score)의 부호는 비트 ‘0’ 또는 ‘1’이 삽입되는지를 결정하는데 사용된다.
score(F) > Td : 비트 ‘0’
score(F) < -Td : 비트 ‘1’.
도 2는 픽셀의 변위를 나타내며, 이에 따라, 상호-상관 값의 세트과 함께 동일한 장면의 좌측 및 우측 뷰에서 워터마크를 나타낸다.
이전에 설명한 것처럼, 정규 상관-기반의 검출기가 삽입된 워터마크의 모든 잘못 정렬된 부분을 정렬하지 않았지만(miss), 각각의 부분에 관련된 워터마크 에너지는 상관 스코어를 계산하기 이전에 대응하는 디스패리티 값에 의해 기준 워터마크 신호를 옵셋팅함으로써 검색될 수 있다.
실제로, 콘텐츠와 기준 신호 사이의 수평 상호-상관을 계산하는 것으로 요약된다. 예를 들어, 좌측 뷰(200)가 기준 신호(201)로 워터마크되어 그 결과 워터마크된 좌측 뷰(202)가 되고, 이 기준 신호(201)가 디스패리티 코히런트 형태로 우측 뷰(203)에 전달하여 워터마크된 우측 뷰(204)가 되는 것으로 가정한다. 수평 상호-상관 값의 세트는, 우측 뷰에서 디스패리티 프로필과 유사한 곡선(206)을 나타내는 동안, 좌측 뷰에서 0에 중심이 되는 피크(205)를 나타낸다. 이 상호-상관 및 집계 검출은 기준 워터마크 이외에 어떠한 측면 정보도 필요하지 않다. 검출은 가려진다.
도 3은 검출 방법의 단계들을 구현하도록 적응된 디바이스(300)의 하드웨어 실시예를 예시한다. 당업자는 또한 본 방법이 PC와 같은 장치들에 의해 특수 장비의 필요없이 매우 쉽게 구현 될 수 있다는 것을 알 수 있을 것이다. 장치(300)는 예를 들어, 개인용 컴퓨터, 랩탑, 게임 콘솔, 또는 임의의 이미지 처리 유닛에 대응한다. 다른 변형에 따라, 본 방법에 대해 설명된 기능은 소프트웨어 모듈 또는 하드웨어 모듈로 구현된다. 장치(300)는, 본 발명의 실시예를 구현하기 위한 물리적 수단, 예를 들어, 프로세서(301)(CPU), 데이터 메모리(302)(RAM 또는 HDD), 프로그램 메모리(303)(ROM), 여러 입력/출력(304)(I/O) 중 하나를 포함한다. 전원이 공급될 때, 마이크로프로세서(301)는 RAM(302)에 포함된 워터마크 검출 알고리즘의 명령을 로드 및 실행한다. 메모리 RAM(302)은 비디오 시퀀스 및 연관된 워터마크 기준을 나타내는 데이터를 더 포함한다.
당업자에 의해 알 수 있는 것처럼, 본 원리의 관점은 시스템, 방법 또는 컴퓨터 판독 가능 매체로서 구현될 수 있다. 따라서, 본 원리의 관점은 완전히 하드웨어 실시예, 완전히 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함), 또는 본 명세서에서 "회로", "모듈" 또는 "시스템"으로서 모두 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어를 조합하는 관점의 실시예의 형태를 취할 수 있다. 또한, 본 원리의 관점은 컴퓨터 판독 가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독 가능한 저장 매체(들)의 어떤 조합도 이용될 수 있다.
당연히, 본 발명은 이미 설명한 실시예 및 특징들에 제한되지 않는다.
특히, 본 발명은 어떠한 워터마크 방식과도 호환된다.
101: 전처리
102: 상호-상관
103: 집계
104: 검출

Claims (10)

  1. 프레임들의 적어도 한 시퀀스를 포함하는 비디오에서 워터마크의 존재를 평가하기 위한 방법에 있어서,
    프레임들의 시퀀스들 중 적어도 하나의 프레임에 대해서,
    - 축 상호-상관값의 세트를 계산하는 단계(102)로서, 각각의 축 상호-상관 값은 상기 프레임과 공간 수평축을 따라 시프트된 기준 워터마크 사이의 상관에 대응하는, 계산하는 단계(102),
    - 상기 축 상호-상관 값들에 적용된 함수로 출력된 값들의 가중된 합을 계산함으로써 검출 스코어를 얻는 단계(103),
    - 검출 스코어에 따라 워터마크의 존재를 평가하는 단계(104)를 포함하는 것을 특징으로 하는, 워터마크 존재 평가 방법.
  2. 제 1 항에 있어서,
    방법은 상기 프레임을 백색화(whitening), 클립핑(clipping)하는 상기 프레임을 예비 처리하는 단계(101)를 포함하는, 워터마크 존재 평가 방법.
  3. 제 1 항에 있어서,
    각각의 축 상호-상관 값은 한 범위 내에서 시프트에 대해 계산되는, 워터마크 존재 평가 방법.
  4. 제 1 항에 있어서,
    상기 함수는 항등 함수인, 워터마크 존재 평가 방법.
  5. 제 1 항에 있어서,
    검출 스코어에 따라 워터마크의 존재를 평가하는 단계(104)는 검출 스코어를 제 1 임계값과 비교하는 단계를 포함하는, 워터마크 존재 평가 방법.
  6. 제 1 항에 있어서,
    함수는 축 상호-상관 값이 제 2 임계값보다 큰 경우에 축 상호-상관 값을 출력하고, 함수는 축 상호-상관 값이 제 2 임계값보다 작은 경우에 제로를 출력하는, 워터마크 존재 평가 방법.
  7. 제 1 항에 있어서,
    상기 비디오는 좌측 뷰 및 우측 뷰에 대응하는 프레임들의 두 개의 시퀀스를 포함하는, 워터마크 존재 평가 방법.
  8. 제 1 항에 있어서,
    상기 비디오는 좌측 및 우측 뷰로부터 유도된 합성 프레임들의 시퀀스를 포함하는, 워터마크 존재 평가 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 실행하도록 컴퓨터-실행가능한 프로그램 명령을 저장하는 컴퓨터-판독 가능한 저장 매체.
  10. 프레임들의 적어도 한 시퀀스를 포함하는 비디오에서 워터마크의 존재를 평가하기 위한 장치(300)로서, 상기 장치는,
    - 프레임들의 시퀀스들 중 적어도 하나의 프레임에 대해 축 상호-상관 값들의 세트를 계산하되, 각각의 축 상호-상관 값은 상기 프레임과 공간 수평축을 따라 시프트된 기준 워터마크 사이의 상관에 대응하는, 축 상호-상관 값들의 세트를 계산하고,
    - 상기 축 상호-상관 값들에 적용된 함수에 의해 출력되는 값들의 가중된 합을 계산함으로써 검출 스코어를 얻고,
    - 검출 스코어에 따라 워터마크의 존재를 평가하도록,
    적응되는 적어도 하나의 프로세서(301)를 포함하는, 워터마크 존재 평가 장치.
KR1020140083225A 2013-07-05 2014-07-03 비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치 KR20150005472A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13305961.8A EP2821956A1 (en) 2013-07-05 2013-07-05 Method for detecting a watermark in a video
EP13305961.8 2013-07-05

Publications (1)

Publication Number Publication Date
KR20150005472A true KR20150005472A (ko) 2015-01-14

Family

ID=48856559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083225A KR20150005472A (ko) 2013-07-05 2014-07-03 비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US9384521B2 (ko)
EP (2) EP2821956A1 (ko)
JP (1) JP2015015713A (ko)
KR (1) KR20150005472A (ko)
CN (1) CN104284182A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208534B2 (en) * 2014-05-07 2015-12-08 Cisco Technology Inc. System and method for embedding data
EP3115963A1 (en) 2015-07-10 2017-01-11 Thomson Licensing Method for generating a pair of disparity-coherent watermarks
CN106412720B (zh) * 2015-07-27 2020-06-16 腾讯科技（深圳）有限公司 视频水印去除的方法和装置
CN110214262A (zh) * 2017-01-25 2019-09-06 国立研究开发法人产业技术综合研究所 图像处理方法
WO2019095176A1 (zh) * 2017-11-15 2019-05-23 深圳大学 基于分组能量差值的信息检测方法、装置及接收设备
CN111510767B (zh) * 2020-04-21 2022-05-06 新华智云科技有限公司 一种视频水印的识别方法及其识别装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030027062A (ko) * 2001-06-21 2003-04-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 이미지 신호에서 워터마크의 삽입 및 검출
DE602006020195D1 (de) * 2006-10-05 2011-03-31 Vestel Elekt Sanayi Ve Ticaret Wasserzeichendetektionsverfahren für broadcasting
US8538136B2 (en) 2010-06-21 2013-09-17 Nbcuniversal Media, Llc Digital watermark detection in 2D-3D content conversion
EP2426635A1 (en) 2010-09-01 2012-03-07 Thomson Licensing Method for watermarking free view video with blind watermark detection
JP5793865B2 (ja) * 2010-12-28 2015-10-14 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み用コンピュータプログラム及び電子透かし検出装置ならびに電子透かし検出用コンピュータプログラム

Also Published As

Publication number Publication date
EP2835783A1 (en) 2015-02-11
US9384521B2 (en) 2016-07-05
US20150010201A1 (en) 2015-01-08
CN104284182A (zh) 2015-01-14
EP2821956A1 (en) 2015-01-07
JP2015015713A (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
Kim et al. Robust DT-CWT watermarking for DIBR 3D images
KR20150005472A (ko) 비디오에서 워터마크의 존재를 평가하기 위한 방법 및 장치
Lin et al. A digital blind watermarking for depth-image-based rendering 3D images
Hsiao et al. Detecting digital tampering by blur estimation
US9007435B2 (en) Real-time depth-aware image enhancement system
US8477991B2 (en) Method for watermarking free view video with blind watermark detection
JP5015126B2 (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
Franco-Contreras et al. Virtual view invariant domain for 3D video blind watermarking
Chen et al. Robust contourlet-based blind watermarking for depth-image-based rendering 3D images
KR101580987B1 (ko) 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
Lee et al. Digital watermarking based on JND model and QR code features
Ji et al. An automatic 2D to 3D conversion algorithm using multi-depth cues
KR101785195B1 (ko) Dibr 3차원 영상을 위한 특징점 기반 워터마킹 방법 및 장치
Chen et al. Robust contourlet-based watermarking for depth-image-based rendering 3D images
Li et al. Depth Image Quality Assessment for View Synthesis Based on Weighted Edge Similarity.
Chen et al. A robust blind watermarking algorithm for depth-image-based rendering 3D images
Akhlaghian et al. A new robust video watermarking algorithm against cropping and rotating attacks
Dhaou et al. A multi-sprite based anaglyph 3d video watermarking approach robust against collusion
Wang et al. Quality assessment for DIBR-synthesized images with local and global distortions
KR100945726B1 (ko) 국부적 자기상관 함수 기반의 워터마킹 장치 및 그 방법
KR102001187B1 (ko) 시각피로도 기반 워터마킹 장치 및 방법
EP3115963A1 (en) Method for generating a pair of disparity-coherent watermarks
Lin et al. A novel blind watermarking scheme for depth-image-based rendering 3D images
Al-Boeridi et al. Three-Dimensional Video Watermarking–A Review and Open Challenges
Solh et al. Characterization of image distortions in multi-camera systems

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination