KR101352830B1 - 비디오 마킹 기술의 효율적인 적용 - Google Patents

비디오 마킹 기술의 효율적인 적용 Download PDF

Info

Publication number
KR101352830B1
KR101352830B1 KR1020087030044A KR20087030044A KR101352830B1 KR 101352830 B1 KR101352830 B1 KR 101352830B1 KR 1020087030044 A KR1020087030044 A KR 1020087030044A KR 20087030044 A KR20087030044 A KR 20087030044A KR 101352830 B1 KR101352830 B1 KR 101352830B1
Authority
KR
South Korea
Prior art keywords
media content
information
frame
alpha
decoding
Prior art date
Application number
KR1020087030044A
Other languages
English (en)
Other versions
KR20090018108A (ko
Inventor
닐스 쏠와이스
Original Assignee
베리메트릭스 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베리메트릭스 인코퍼레이티드 filed Critical 베리메트릭스 인코퍼레이티드
Publication of KR20090018108A publication Critical patent/KR20090018108A/ko
Application granted granted Critical
Publication of KR101352830B1 publication Critical patent/KR101352830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

제1장소에서, 매체 컨텐츠에 내장될 정보를 렌더링하고, 제2장소에서, 렌더링된 정보를 매체 컨텐츠에 내장하기 위한 시스템 및 방법이 설명되어 있다. 다수의 실시예에서, 내장 프로세스는 렌더링 프로세스보다 프로세서에 덜 집중적이고, 기존의 프로세싱 메커니즘을 이용하여, 셋톱 박스(set top box)와 같은 소비자 전자 장치 상에서 수행될 수 있다. 발명의 하나의 실시예는, 제1장소에서 정보를 이미지로 렌더링하는 단계와, 매체 컨텐츠의 효율적인 마킹을 달성하기 위하여, 제2장소에서, 이미지를 매체에 내장하는 단계를 포함한다.
비디오 마킹, 매체 컨텐츠, 렌더링, 내장, 셋톱 박스

Description

비디오 마킹 기술의 효율적인 적용{EFFICIENT APPLICATION OF VIDEO MARKING TECHNOLOGIES}
본 발명은 일반적으로 비디오를 마킹하는 것에 관한 것으로, 더욱 구체적으로, 디지털 비디오를 위한 마킹 기술의 효율적인 적용에 관한 것이다.
디지털 매체의 디지털 표현, 저장, 배포(distribution) 및 복제는 값이 싸고, 이용하기 용이하고, 매체의 품질을 유지하기가 용이하므로, 매우 인기를 얻고 있다. 그러나, 이러한 장점은 예를 들어, 인터넷을 통한 디지털 이미지 및 비디오의 허가되지 않은 배포와 같이, 널리 퍼진 저작물의 불법 배포 및 이용을 가능하게 하고 있다. 그 결과, 합법적인 저작권 소유자는 그 수익을 박탈당하게 된다.
이러한 허가되지 않은 배포를 제어하기 위해 활용될 수 있는 기술들 중에서 하나의 그룹은 인식 불가능한 정보를 비디오에 내장(embedding)하는 것을 포함한다. 이러한 기술은 종종 디지털 워터마킹(digital watermarking), 포렌직 마킹(forensic marking) 또는 비디오 마킹이라고 불리며, 이러한 용어는 이 명세서 내에서 교환 가능하게 이용된다. 내장된 정보는 매체의 저작권 소유자, 배포자 또는 수신자의 신원(identity)을 보안성 있고 인식 불가능한 견고한 방식으로 내장하기 위하여 이용될 수 있다. 이 정보는 예를 들어, 개인에 의해 재생 또는 수신되는 도중에 내장될 수 있고, 식별 번호에 의해 수신 시간 및 개별적인 수신자와 관련될 수 있다. 복사본이 나중에 불법적으로 배포된 것으로 알려지면, 그 정보가 검색될 수 있고, 불법적인 배포에 책임이 있는 원래의 수신자가 식별될 수 있다. 이 기술은 개별적인 매체 자산 복사본의 추적 및 저작권 법의 시행을 위해 이용될 수 있다. 컨텐츠 마킹(content marking)은 디지털 매체 배포의 중요한 요소이며, 예를 들어, 피어투피어(peer to peer) 파일 공유 사이트를 통한 불법적인 배포의 위험을 제한함으로써 저작권 보호된 컨텐츠의 디지털 전달을 가능하게 한다. 최종의 합법적인 수신자까지의 배포가 추적될 수 있으므로, 컨텐츠를 배포하는 사람이 식별될 수 있을 때, 저작권 침해에 책임이 있다고 판단될 위험이 증가한다.
명백하고 가시적인 수정(obvious and visible modification)을 이용하여 추적 번호가 내장될 수 있지만, 비가시적인 방식(invisible fashion)으로 적용되면, 이러한 수정은 컨텐츠에 덜 해롭고 제거에 대비한 보안성이 더 양호하다.
견고한 마크(즉, 압축(compression), 재기록(re-recording), 필터링 또는 다른 프로세스를 통해 컨텐츠가 수정된 후, 마크가 판독 가능하게 유지됨)를 적용하기 위해서는, 실제적인 비디오, 이미지 또는 오디오 신호를 수정하는 컨텐츠에 대한 변경이 적용되어야 한다. 마크가 인식 불가능한 상태를 유지하기 위해서는, 이러한 수정이 은닉된 사소한 방식으로 적용된다.
요구되는 견고성을 수용하기 위하여, 상기 수정은 대표적으로, 분포된 방식, 다수의 수정이 비디오 프레임의 넓은 영역이나 시간(즉, 다수의 프레임에 걸쳐), 또는 이 둘 모두에 걸쳐 분포되는 방식에 의해 적용된다. 종종, 주파수 또는 웨이 블릿 변환과 같은 변환된 도메인(domain)에서 조작이 적용된다. 이러한 변환은 비디오에 대한 수정 후에 대부분 원래 상태를 유지하는 도메인에서 비가시적인 마킹 수정을 허용하며, 매체를 관찰할 경우, 다수의 프레임에 걸쳐 분포되어 있는 수정의 집합을 가능하게 한다. 또한, 이러한 변환은 변환된 도메인의 강한 신호가 내장되도록 할 수 있다. 이 신호는 매체를 이용자에게 제시하기 위해 이용되는 도메인에서 대부분 인식 불가능하다.
마크를 내장하기 위해 요구되는 수정의 수와, 컨텐츠가 마킹될 수 있는 도메인에서 컨텐츠를 변환하기 위해 요구되는 계산의 수는 고속의 효율적인 마크의 내장이 요구되는 환경에서 처리하기 위한 과제를 제기한다. 이러한 환경의 일례는 매체를 네트워크를 통해 소비자의 전자 장치로 전달하는 스트리밍 매체를 채용하는 환경이다.
스트리밍/전송된 매체의 수신자에 대한 정보를 내장할 경우, 이 정보는 수신 종단에서 내장될 수 있으므로, 송신자는 모든 수신자에 대해 개별적인 스트림을 마킹 및 송신하는 부담을 지지 않는다. 송신자는 개별적인 매체 복사본을 모든 수신자에게 전달하고, 매체는 수신자의 종단에서 수신될 때에 마킹된다. 그 다음, 각각의 이용자에게 개별적으로 마킹된 복사본이 제공된다. 이 방법에서는, 수신 종단의 기기가 마크를 적용하기 위해 이용 가능한 프로세싱 능력이 종종 매우 제한되므로, 적절한 프로세싱의 제한이 더욱 크다. 이러한 프로세싱 능력의 제한은 오늘날 이용 중인 대부분의 배포 환경에서 수신자에 대한 정보를 매체 내에 포함하는 포렌직 마크를 적용하는 것을 억제하도록 한다.
제1장소에서, 매체 컨텐츠에 내장될 정보를 렌더링하고, 제2장소에서, 렌더링된 정보를 매체 컨텐츠에 내장하기 위한 시스템 및 방법이 설명되어 있다. 다수의 실시예에서, 내장 프로세스는 렌더링 프로세스보다 프로세서에 덜 집중적이고, 셋톱 박스(set top box)와 같은 소비자 전자 장치 상에서 수행될 수 있다. 발명의 하나의 실시예는, 제1장소에서 정보를 이미지로 렌더링하는 단계와, 매체 컨텐츠의 효율적인 마킹을 달성하기 위하여, 제2장소에서, 이미지를 매체에 내장하는 단계를 포함한다.
발명의 방법의 또 다른 실시예에서, 매체 컨텐츠에 내장되는 정보는 주파수 도메인으로부터 렌더링된 이미지로 변환된다.
발명의 방법의 또 다른 실시예에서, 정보는 매체 컨텐츠의 지각 특성(perceptual characteristics)에 따라 수정된다.
발명의 방법의 또 다른 실시예에서, 매체 컨텐츠의 지각 특성은 압축된 전자 파일로부터 결정된다.
발명의 방법의 또 다른 실시예에서, 정보는 매체 컨텐츠에 관련된 메타데이터(metadata)를 포함한다.
발명의 방법의 또 다른 실시예에서, 정보는 매체 컨텐츠 재생의 시간 및 장소를 식별한다.
발명의 방법의 또 다른 실시예에서, 정보는 매체 컨텐츠의 저작권 소유자 또는 수신자를 식별한다.
발명의 방법의 또 다른 실시예에서, 정보는 데이터베이스 색인(index)을 나타낸다.
발명의 방법의 또 다른 실시예에서, 이미지의 내장은 셋톱 박스의 온스크린 디스플레이(on-screen display)를 이용하여 달성된다.
발명의 방법의 또 다른 실시예에서, 제1장소는 비디오 전달 헤드 종단이고, 제2장소는 비디오를 수신하는 소비자 전자 셋톱 박스이다.
발명의 방법의 또 다른 실시예에서, 제1장소에서 생성된 이미지는 반복 또는 후속 이용을 위해 저장된다.
발명의 실시예는, 제1장소에서 정보를 렌더링하고, 네트워크를 통해 서버에 접속된 장치로 렌더링된 정보를 전달하도록 구성된 서버를 포함한다. 또한, 장치는 제2장소에서 이미지를 매체 컨텐츠에 내장하도록 구성된다.
발명의 또 다른 실시예에서, 네트워크는 케이블 네트워크이고, 장치는 디지털 셋톱 박스이다.
발명의 또 다른 실시예에서, 서버는 매체 컨텐츠에 내장되어야 하는 정보를 주파수 도메인으로부터 변환하여 렌더링된 이미지를 생성하도록 구성된다.
발명의 또 다른 실시예에서, 서버는 컨텐츠의 지각 특성을 결정하도록 구성되고, 서버는 매체 컨텐츠의 지각 특성에 따라 정보를 수정하도록 구성된다.
발명의 또 다른 실시예에서, 서버는 압축된 전자 파일로부터 매체의 지각 특성을 결정하도록 구성된다.
발명의 또 다른 실시예에서, 장치는 출력 장치 상에 온스크린 디스플레이를 생성하도록 구성된 하드웨어를 포함하고, 렌더링된 정보를 온스크린 디스플레이로서 디스플레이함으로써 렌더링된 정보를 매체 컨텐츠에 내장하도록 구성된다.
발명의 또 다른 실시예에서, 제1장소는 비디오 전달 헤드 종단이고, 제2장소는 이용자 사이트이다.
발명의 또 다른 실시예에서, 서버는 후속 이용을 위해 렌더링된 이미지를 저장하도록 구성된다.
발명의 또 다른 실시예에서, 장치는 네트워크를 통해 매체 컨텐츠를 수신하도록 구성된다.
도면에서, 상이한 도면 전반에 걸쳐 유사한 참조 부호는 동일한 부분을 일반적으로 나타낸다. 또한, 도면은 반드시 비율 조정해야 하는 것은 아니며, 그 대신에 발명의 원리를 예시하는 것을 전반적으로 강조하고 있다.
도 1은 발명의 하나의 실시예에 따른 포렌직 마킹 프로세스의 예시적인 처리 흐름 도면이다.
도 2는 발명의 하나의 실시예에 따라, 포렌직 마크가 이미지로서 생성되고, 오버레이 이미지로 변환되고, 그 다음으로 비디오 프레임에 적용됨으로써, 비디오 프레임을 오버레이 이미지로 마킹하는 것의 예시적인 도면이다.
본 발명은 포렌직 마크를 기저대역의 압축되지 않은 공간 변형 이미지 또는 비디오 프레임으로 렌더링하는 시스템 및 방법을 포함하고, 매체 컨텐츠(비디오)에 대한 수정은 단일 픽셀에 대한 수정으로 표현된다. 마크의 이러한 전처리된 표현의 적용은, 이미지로 렌더링된 마크와, 마킹될 이미지 또는 비디오 프레임과의 간단한 결합에 의해, 상이한 장소 또는 시스템에서 매우 효율적으로 그 후에 적용될 수 있다. 발명의 하나의 실시예에서, 결합은 합산을 통해 적용될 수 있고, 또 다른 실시예에서는, 픽셀 마다를 기초로 하여 수행될 수 있는 알파 합성(alpha blending)을 통해 적용될 수 있다.
본 발명의 방법을 이용하여 적용될 수 있는 마킹 기술은 "Covert and Robust Mark for Media Identification(매체 식별을 위한 은밀하고 견고한 마크)"라는 명칭의 미국 특허출원 제11/489,754호에 설명되어 있으며, 그 개시 내용은 상기 레퍼런스로서 본 명세서에 포함된다.
현재 이용 가능한 종단 이용자 전자 기기는 이미지를 결합하는 효율적인 수단을 디스플레이되는 비디오에 종종 제공한다. 이러한 시스템은 이용 가능한 기술을 이용하여 비디오에서 메뉴를 디스플레이하고 그래픽을 오버레이(overlay) 한다. 이러한 디스플레이 요소는 반투명 방식으로 종종 적용될 수 있다. 구체적으로, 네트워크를 통해 전달된 매체 컨텐츠를 수신하기 위해 이용되는 셋톱 박스와 같은 종단 소비자 장치는 그래픽을 이러한 방식으로 오버레이할 가능성을 제공한다(예를 들어, 미국 특허출원 제11/489,754호에서 설명된 셋톱 박스 참조). 상기 방법은 종종 오버레이 버퍼 또는 온스크린 디스플레이라고 불린다. 실제적인 조작은, 오버레이되는 그래픽이 그 하부의 비디오 디스플레이와 결합될 때, 오버레이되는 그래픽의 세기를 조정하는 알파 합성값으로 대표적으로 조정될 수 있다. 이러한 온스크린 디스플레이를 위한 공통적인 이용은 재생되는 비디오에 대한 메뉴 및 정보의 디스플레이, 또는 장치에서 실행되는 다른 어플리케이션을 위한 이용자 인터페이스로서의 디스플레이이다. 이러한 온스크린 디스플레이는 인식 불가능한 포렌직 마킹 정보의 내장을 허용하는 방식으로 매체 컨텐츠/비디오를 수정하기 위해 이용될 수 있다.
디지털 워터마크 또는 포렌직 추적 정보를 디지털 비디오에 내장하는 몇 가지 내장 방법이 존재한다. 이 방법들은 공간에 있어서의 장소, 또는 조작이 수행되는 시간 및 도메인이 서로 상이하다. 일부 내장 방법은 시간에 있어서 특정한 위치 또는 순서에서 조작이 발생할 것을 요구한다. 다른 내장 방법은 픽셀의 위치 또는 특성에 의해 지정되는 장소에서 픽셀의 조작을 요구한다. 이러한 이미지 내장 시스템이 공유하는 공통적인 특성은, 이러한 픽셀을 어떻게 수정할 것인지를 분석하기 위한 약간의 전처리가 발생할 경우, 매체 컨텐츠 또는 비디오의 각각의 프레임에서의 픽셀값에 대한 간단한 합산에 의해, 프레임에 대한 실제적인 수정이 달성될 수 있다는 것이다. 픽셀 합산이 이와 같은 방식으로 적용되면, 내장 프로세스는 매우 효율적으로 수행될 수 있으며, 이에 따라, 이미지를 내장하기 위한 제한된 프로세싱 자원을 갖는 환경을 가능하게 한다.
하나의 실시예에서는, 온스크린 디스플레이라고 불리는, 다수의 셋톱 박스에서 제공되는 효율적인 이미지 적용 방법을 이용하여 마크를 부가하는 프로세스를 수행함으로써, 마크의 적용이 더욱 단순화된다. 온스크린 디스플레이는 소정의 세기("알파값(alpha value)"에 의해 정의됨)를 갖는 소정의 이미지(이 경우, 변환된 마크)를 비디오의 각각의 프레임에 부가한다.
이미지로서 표현될 마크의 준비는 영화 당 한번, 예를 들어, 컨텐츠를 전달하는 헤드 종단에서 수행될 수 있다. 이 경우, 계산은 한 번만 수행되어야 하지만, 데이터는 마크가 내장되는 장소에 전송되어야 한다. 다른 방안으로서, 프로세싱 자원은 제한될 수 있지만, 준비는 적용되는 장소에서 발생할 수 있다.
포렌직 마킹을 위한 시스템은 비디오에 대한 수정이 덜 가시적인 공간 및 시간에 있어서의 위치를 나타내는 지각 모델(perceptual model)을 종종 이용한다. 비디오의 지각 속성을 고려하는 변동의 적용을 가능하게 하기 위하여, 마크로서 내장될 정보는 전송된 컨텐츠에 따라 변동된다. 마크를 내장함에 있어서 지각 속성 및 지각 모델을 이용하는 예는 미국 특허출원 제11/489,754호에 설명되어 있다. 지각 속성은 압축률 및 비트 레이트와 같은 간단한 측정값에 의해 압축된 컨텐츠로부터 유도될 수 있다. 또 다른 실시예에서, 송신될 비디오는 한 번 분석되고, 특정한 장소 및 프레임에서의 지각 가능성에 대한 정보는 영화와 함께 저장된다. 영화가 장치에 전달되는 동안, 마킹 정보는 이에 대응하여 수정된다.
발명의 다수의 실시예에 따라 비디오에 적용되는 오버레이 이미지는 이미지 또는 개별적인 픽셀이 반투명 방식으로 적용되도록 하는 종종 기존의 알파 합성 메커니즘을 이용하여 적용될 수 있다. 발명의 하나의 실시예에서, 이 방법은 마크를 내장하는 동안 이미지에 대한 매우 사소한 비가시적인 조작을 가능하게 하기 위해 이용된다. 또 다른 실시예에서, 오버레이 이미지는 불투명이며, 그것이 덮고 있는 비디오 프레임과 대부분 동일하다. 그것은 프레임마다 업데이트된다. 이미지와, 그 것이 덮고 있는 비디오 사이의 대표적으로 사소한 차이는 마크를 구성한다.
발명의 실시예에 따라 매체 컨텐츠를 마킹하기 위한 시스템은 내장되어야 할 정보가 주파수 도메인과 같은 상이한 도메인으로 변환(예를 들어, DCT, 웨이블릿(wavelet), 또는 고속 푸리에(Fast Fourier))될 것을 요구할 수 있다. 내장될 정보를 준비하기 위하여 변환이 요구되는 동안, 변환이 한 번만 요구되는 것과 같은 방식으로 정보는 일반적으로 분리될 수 있고, 간단한 방식으로 내장된 상이한 데이터의 변동을 생성하기 위하여 정보는 조립될 수 있다. 그 다음, 비디오 프레임에 대한 이미지의 부가에 의해 공간 도메인에서 수정이 적용된다. 이것은 더 작은 프로세싱 능력을 보유하는 원격 장치에 의해 적용될 수 있다.
본 발명의 실시예에 따라 매체 컨텐츠를 마킹하기 위한 다수의 시스템은 프레임 컨텐츠에 독립적인 정적인 정보를 내장한다. 이러한 시스템에 대하여, 수정이 적용되는 그 하부의 매체에 대한 지식 없이 변환이 적용 가능하다. 다른 시스템은 실제적인 매체에 적용되는 수정을 요구하며, 매체 컨텐츠는 그 컨텐츠에 따라 수정된다. 이러한 시스템은 오버레이를 생성하기 전에 매체를 분석한다. 비디오를 분석하는 프로세스는 한 번만 수행될 것이 요구되지만, 상이한 정보에 의해 마킹되는 모든 복사물에 대해서는 복수의 횟수만큼 적용될 수 있다. 비디오 컨텐츠는 짧은 기간에 걸쳐 상당히 변화하지 않는다고 가정하면, 프레임마다 분석이 수행되는 것이 아니라 N번째 프레임마다 분석이 수행될 경우, 성능에 있어서 상당한 증가가 수용된다.
도 1을 참조하면, 하나의 실시예에서, 포렌직 마킹 프로세스의 처리 흐름 도 면이 도시되어 있다. 전형적으로 압축된 원래의 비디오 컨텐츠(100)는 궁극적으로 유일한 정보에 의해 마킹되어야 하는 몇 개의 복사물의 배포에 이용된다. 배포 종단에서의 노력과 요구되는 배포 대역폭을 감소시키기 위하여, 실제로 마킹되는 수신자의 소비자 전자 장치(145)로 동일한 파일이 디지털 방식으로 전달된다(101). 전달하기 전에, 파일이 분석되고, 인식 불가능한 정보를 은닉하기에 적합한 비디오의 장소를 식별하는 지각 모델이 결정된다. 이것은 수신 종단에서 요구되는 프로세싱 능력을 감소시키는데 유용할 수 있다. 내장될 메시지가 선택되면(105)(예를 들어, 수신자가 결정되면), 마킹 절차를 적용하고, 내장될 정보를 조립하기 위해 이용될 수 있는 요소를 생성함으로써, 오버레이 이미지가 준비된다(104). 원래의 비디오로부터 유도되며 비디오 특성에 따라 수정의 민감도를 결정하는 지각 모델(103)에 의해, 마크를 내장하기 위해 요구되는 수정이 유도된다(106). 다음으로, 정보가 컴파일링되어, 비디오 프레임의 적어도 하나에 적용될 수 있는 오버레이 이미지를 생성한다. 하나의 실시예에서, 상기 마크의 준비 및 그 다음의 단계는 소비자 전자 장치에서 적용된다. 또 다른 실시예에서, 이들은 전송 전에 실행되며, 그 결과는 소비자 전자 장치(145)로 전달된다. 소비자 전자 장치는 오버레이 이미지를 비디오 프레임에 적용하여(150), 유일하게 마킹된 비디오의 결합된 프레임을 생성한다(160).
도 2를 참조하면, 하나의 실시예에서, 포렌직 마크가 이미지로서 생성되고, 오버레이 이미지로 변환되고, 그 다음으로 이미지 프레임에 적용되는 도면이 도시되어 있다. 이 예에서 내장될 정보는 "ABC12ⓒ"(201)이다. 전처리된 마킹 정보로부 터 이미지 표현(220)으로 조립된다(210). 이미지 표현은 인간에 의해 판독 가능하거나 기계에 의해 판독 가능할 수 있는 마킹 수정을 보유한다. 이미지 표현은, 이미지(220)가 프레임(260)과 결합되어야 하는 세기를 나타내는 알파 합성 파라미터를 갖는 오버레이 이미지(250)로 변환된다(240). 마킹된 비디오 프레임(280)을 생성하기 위한 이미지 표현(250)의 프레임(260)과의 결합(270)은 다음과 같이 정의되는 알파 합성 연산에 의해 대표적으로 수행된다.
Sx,y,f = Ix,y,f * αx,y + Ox ,y,f*(1-αx,y)
Sx,y,f는 마킹된 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이다.
Ix,y는 오버레이 이미지의 위치 x,y에서의 픽셀이다.
αx,y는 위치 x,y에서의 오버레이 이미지의 세기를 나타내는 알파값이다.
Ox,y,f는 원래의 마킹되지 않은 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이다.
일부 실시예에서, 본 발명의 내장 및 추출은 전술한 방법을 실시하기 위한 장치의 형태로 구현된다. 이러한 장치는 비디오 컨텐츠를 수신, 디코딩 및 디스플레이하는 셋톱 박스, VHS 테이프 플레이어, DVD 플레이어, TV 세트, 비디오 프로젝터, 카메라, 디지털 비디오 캠코더, 매체 데이터를 처리하는 개인용 컴퓨터, 핸드헬드 비디오 재생 장치(hand held video playback device), 및 비디오를 처리하는 개인용 오거나이저(personal organizer)를 포함할 수 있지만(예를 들어, 미국 특허 출원 제11/489,754호에 설명된 시스템 및 셋톱 박스 참조), 이것에 한정되지 않는다.
또 다른 실시예에서, 본 발명은 유형의 매체, 디스크, 메모리, 또는 다른 기계-판독가능 매체에 내장된 프로그램 코드의 형태로 구현된다. 프로그램 코드가 컴퓨터와 같은 기기에 로딩되어 이 기기에 의해 실행되면, 상기 기기는 발명을 실시하는 장치가 된다.
또 다른 실시예에서, 본 발명은, 저장 매체에 저장되거나, 기기에 로딩되고 및/또는 기기에 의해 실행되거나, 전기 배선이나 케이블 상에서, 광섬유를 통해, 또는 전자기 방사를 통하는 것과 같이 일부의 전송 매체 또는 캐리어(carrier)를 통해 전송되거나, 프로그램 코드의 형태로 실시된다.
또 다른 실시예에서, 본 발명은 회로 기반의 시스템으로서 구현된다. 당업자에게 명백한 것과 같이, 다양한 기능의 회로 소자가 소프트웨어 프로그램에서의 프로세싱 단계로서 구현될 수 있다. 이러한 소프트웨어는 예를 들어, 디지털 신호 프로세서, 마이크로컨트롤러, 또는 범용 컴퓨터에서 실시될 수 있다.
본 명세서에서 설명된 것의 변형, 수정 및 다른 구현예는 발명의 취지 및 범위를 벗어나지 않고 당업자에게 발생할 수도 있다. 따라서, 발명은 선행하는 예시적인 설명에 의해서만 정의되지 않아야 한다.

Claims (31)

  1. 매체 컨텐츠(media content)를 디코딩하기 위한 프로세스 동안 정보를 매체 컨텐츠에 내장하는 방법으로서,
    매체 컨텐츠를 디코딩하고 출력 장치에 디스플레이하기 위하여 비디오 프레임을 출력하도록 구성된 디코딩 장치로 매체 컨텐츠를 전달하는 단계로서, 상기 디코딩 장치는 온스크린(on screen) 디스플레이와 매체 컨텐츠가 모두 존재하는 결합된 프레임을 생성하기 위하여 상기 매체 컨텐츠의 디코딩 동안 온스크린 디스플레이와 매체 컨텐츠를 결합하도록 구성된 알파 합성 기능(alpha blending function)을 포함하고, 상기 디코딩 장치는 상기 출력 장치에 디스플레이하기 위하여 상기 결합된 프레임을 출력하도록 구성된, 상기 단계;
    상기 매체 컨텐츠의 프레임을 디코딩하는 단계;
    상기 디코딩 장치의 상기 알파 합성 기능을 이용하여 알파값(alpha value)에 따라 오버레이 이미지(overlay image)가 상기 매체 컨텐츠의 디코딩된 프레임과 결합되는 경우, 상기 디코딩된 프레임에 대한 수정이 인식 불가능하도록 상기 정보를 상기 오버레이 이미지 및 상기 알파값으로서 렌더링하는 단계;
    상기 매체 컨텐츠를 디코딩하는 프로세스 동안, 온스크린 디스플레이가 존재하는 경우 상기 온스크린 디스플레이가 상기 디코딩 장치의 상기 알파 합성 기능을 이용하여 상기 디코딩된 프레임에 오버레이되는 시점에서, 렌더링된 전체 오버레이 이미지를 상기 알파값에 따라 상기 매체 컨텐츠의 상기 디코딩된 프레임과 결합시키기 위하여, 상기 디코딩 장치의 상기 알파 합성 기능을 이용함으로써 상기 디코딩된 프레임을 수정하고, 이에 따라 렌더링된 상기 오버레이 이미지가 인식 불가능하게(imperceptibly) 존재하는 마킹된 프레임을 인식 불가능하게 생성하는 단계; 및
    상기 마킹된 프레임을 상기 디코딩 장치로부터 디스플레이를 위한 상기 출력 장치로 출력하는 단계를 포함하는, 정보를 매체 컨텐츠에 내장하는 방법.
  2. 제 1 항에 있어서,
    이미지를 렌더링하기 위하여 상기 매체 컨텐츠에 내장되는 정보가 주파수 도메인으로부터 변환되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 매체 컨텐츠는 압축된 전자 파일로서 전달되고,
    상기 매체 컨텐츠의 지각 특성(perceptual characteristic)은 상기 압축된 전자 파일로부터 결정되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  5. 제 1 항에 있어서,
    상기 정보는 상기 매체 컨텐츠에 관련된 메타데이터를 포함하는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  6. 제 1 항에 있어서,
    상기 정보는 매체 컨텐츠 재생의 시간 및 장소를 식별하는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  7. 제 1 항에 있어서,
    상기 정보는 상기 매체 컨텐츠의 저작권 소유자 또는 수신자를 식별하는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  8. 제 1 항에 있어서,
    상기 정보는 데이터베이스 색인을 나타내는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  9. 삭제
  10. 삭제
  11. 제 1 항에 있어서,
    렌더링된 이미지는 반복 또는 후속 이용을 위해 저장되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  12. 매체 컨텐츠를 디코딩하고, 디코딩 동안 정보를 매체 컨텐츠에 내장하기 위한 장치로서,
    디스플레이 장치에 디스플레이하기 위하여 상기 매체 컨텐츠를 디코딩하도록 구성된 디코딩 회로;
    상기 매체 컨텐츠의 디코딩 동안 온스크린 디스플레이를 상기 매체 컨텐츠에 오버레이하여, 출력 장치에 디스플레이하기 위하여 상기 온스크린 디스플레이 및 상기 매체 컨텐츠가 모두 존재하는 결합된 프레임을 생성하도록 구성된 알파 합성 회로; 및
    상기 알파 합성 회로를 이용하여 알파값에 따라 오버레이 이미지가 상기 매체 컨텐츠의 디코딩된 프레임과 결합되는 경우, 상기 디코딩된 프레임에 대한 수정이 인식 불가능하도록, 상기 정보를 상기 오버레이 이미지 및 상기 알파값으로서 렌더링하도록 구성된 렌더링 회로를 포함하고,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 상기 매체 컨텐츠의 디코딩 프로세스 동안, 온스크린 디스플레이가 존재하는 경우 상기 온스크린 디스플레이가 상기 알파 합성 회로를 이용하여 상기 디코딩된 프레임에 오버레이되는 시점에서, 상기 정보를 상기 매체 컨텐츠에 인식 불가능하게 내장하며,
    상기 정보를 상기 매체 컨텐츠에 인식 불가능하게 내장하는 것은 상기 알파값에 따라 상기 알파 합성 회로를 이용하여 전체의 상기 오버레이 이미지를 상기 디코딩된 프레임에 오버레이하고 렌더링된 상기 오버레이 이미지가 인식 불가능하게 존재하는 마킹된 프레임을 인식 불가능하게 생성함으로써 달성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  13. 제 12 항에 있어서,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 디지털 셋톱 박스인 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  14. 제 12 항에 있어서,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 상기 매체 컨텐츠에 내장되어야 하는 정보를 주파수 도메인으로부터 변환하여 렌더링된 이미지를 생성하도록 구성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  15. 제 12 항에 있어서,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 상기 매체 컨텐츠의 지각 특성을 결정하도록 구성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  16. 제 15 항에 있어서,
    상기 매체 컨텐츠는, 압축된 전자 파일로서 저장되고,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 상기 압축된 전자 파일로부터 상기 매체 컨텐츠의 상기 지각 특성을 결정하도록 구성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제 1 항에 있어서,
    상기 디코딩 장치는, 상기 정보로부터 이미지를 렌더링하는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  22. 제 1 항에 있어서,
    상기 디코딩 장치는, 상기 매체 컨텐츠의 지각 특성을 결정하는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  23. 제 1 항에 있어서,
    비디오 시퀀스 중 적어도 하나의 프레임의 지각 특성을 판단하는 단계 및 상기 비디오 시퀀스 중 적어도 하나의 프레임의 지각 특성에 따라 상기 오버레이 이미지 및 상기 알파값을 렌더링하는 단계를 더 포함하는, 정보를 매체 컨텐츠에 내장하는 방법.
  24. 제 1 항에 있어서,
    상기 매체 컨텐츠는, 네트워크를 통해 전달되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  25. 제 1 항에 있어서,
    상기 매체 컨텐츠는, 고정된 매체(fixed media)를 통해 전달되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  26. 제 12 항에 있어서,
    상기 정보를 매체 컨텐츠에 내장하기 위한 장치는, 메모리와 접속되는 마이크로프로세서를 더 포함하고,
    상기 마이크로프로세서는, 상기 정보를 오버레이 이미지로서 렌더링하고 상기 오버레이 이미지를 메모리에 저장하도록 구성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  27. 제 26 항에 있어서,
    상기 마이크로프로세서 및 메모리는,
    디스플레이 장치에 디스플레이하기 위하여 상기 매체 컨텐츠를 디코딩하도록 구성된 회로 및 출력 장치에 디스플레이하기 위하여 온스크린 디스플레이를 디코딩된 매체 컨텐츠에 오버레이하도록 구성된 회로인 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  28. 제 1 항에 있어서,
    상기 알파 합성 기능은, Sx,y,f = Ix,y,f * αx,y + Ox,y,f*(1-αx,y)과 같이 구현되는 것을 특징으로 하고, 여기서 Sx,y,f는 마킹된 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이고, Ix,y는 상기 오버레이 이미지의 위치 x,y에서의 픽셀이며, Ox,y,f는 원래의 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이고, αx,y는 위치 x,y에서의 상기 오버레이 이미지의 세기를 나타내는 알파값인, 정보를 매체 컨텐츠에 내장하는 방법.
  29. 제 12 항에 있어서,
    상기 알파 합성 회로는, Sx,y,f = Ix,y,f * αx,y + Ox,y,f*(1-αx,y)의 연산을 수행하도록 구성되는 것을 특징으로 하고, 여기서 Sx,y,f는 마킹된 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이고, Ix,y는 상기 오버레이 이미지의 위치 x,y에서의 픽셀이며, Ox,y,f는 원래의 비디오의 프레임 번호 f의 위치 x,y에서의 픽셀이고, αx,y는 위치 x,y에서의 상기 오버레이 이미지의 세기를 나타내는 알파값인, 정보를 매체 컨텐츠에 내장하기 위한 장치.
  30. 제 1 항에 있어서,
    상기 오버레이 이미지 및 상기 알파값은, 상기 디코딩 장치에 의해 생성되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
  31. 제 1 항에 있어서,
    상기 오버레이 이미지 및 상기 알파값은, 상기 디코딩 장치에 의해 수신되는 것을 특징으로 하는, 정보를 매체 컨텐츠에 내장하는 방법.
KR1020087030044A 2006-05-17 2007-05-16 비디오 마킹 기술의 효율적인 적용 KR101352830B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80094106P 2006-05-17 2006-05-17
US60/800,941 2006-05-17
PCT/US2007/069076 WO2007137091A2 (en) 2006-05-17 2007-05-16 Efficient application of video marking technologies

Publications (2)

Publication Number Publication Date
KR20090018108A KR20090018108A (ko) 2009-02-19
KR101352830B1 true KR101352830B1 (ko) 2014-01-17

Family

ID=38723999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087030044A KR101352830B1 (ko) 2006-05-17 2007-05-16 비디오 마킹 기술의 효율적인 적용

Country Status (4)

Country Link
EP (1) EP2021976A4 (ko)
KR (1) KR101352830B1 (ko)
CN (1) CN101479742B (ko)
WO (1) WO2007137091A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491774B (zh) * 2018-03-12 2020-06-26 北京地平线机器人技术研发有限公司 对视频中的多个目标进行跟踪标注的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010054150A1 (en) * 2000-03-18 2001-12-20 Levy Kenneth L. Watermark embedding functions in rendering description files

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009208A1 (en) * 1995-08-09 2002-01-24 Adnan Alattar Authentication of physical and electronic media objects using digital watermarks
US6961858B2 (en) * 2000-06-16 2005-11-01 Entriq, Inc. Method and system to secure content for distribution via a network
JP3773482B2 (ja) * 2002-10-30 2006-05-10 独立行政法人科学技術振興機構 改ざん検出方法、改ざん検出プログラム及びそのプログラムを記録した記録媒体
US7319469B2 (en) * 2004-07-26 2008-01-15 Sony Corporation Copy protection arrangement
CN100367274C (zh) * 2005-06-24 2008-02-06 清华大学 一种在英文文本中嵌入和提取水印的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010054150A1 (en) * 2000-03-18 2001-12-20 Levy Kenneth L. Watermark embedding functions in rendering description files
US7142691B2 (en) 2000-03-18 2006-11-28 Digimarc Corporation Watermark embedding functions in rendering description files

Also Published As

Publication number Publication date
EP2021976A4 (en) 2010-09-29
CN101479742A (zh) 2009-07-08
WO2007137091A2 (en) 2007-11-29
CN101479742B (zh) 2016-10-19
EP2021976A2 (en) 2009-02-11
WO2007137091A3 (en) 2008-07-31
KR20090018108A (ko) 2009-02-19

Similar Documents

Publication Publication Date Title
US7961949B2 (en) Extracting multiple identifiers from audio and video content
CN106845172B (zh) 用于创建基于时间的动态水印的系统和方法
US9299119B2 (en) Overlay-based watermarking for video synchronization with contextual data
US7986845B2 (en) Steganographic systems and methods
JP4785317B2 (ja) レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理
EP2036035B1 (en) System and method for object oreinted fingerprinting of digital videos
US20080019577A1 (en) Video fingerprinting apparatus in frequency domain and method using the same
CN110896484A (zh) 视频水印添加和提取方法、装置、视频播放端及存储介质
US7574004B2 (en) Image display method and image display processor
US7738677B2 (en) Efficient application of video marking technologies
US20020181706A1 (en) Digital watermark embedding device and digital watermark embedding method
Su et al. A practical design of digital watermarking for video streaming services
JP4227229B2 (ja) 画像処理装置及び方法及びシステム並びに記憶媒体
Lakshmi et al. Digital video watermarking tools: an overview
Shirali-Shahreza A new method for real-time steganography
KR101352830B1 (ko) 비디오 마킹 기술의 효율적인 적용
JP3269014B2 (ja) 統計的性質を用いたデータ・ハイディング方法及びシステム
Lin et al. Video and image watermark synchronization
Seitz et al. Digital watermarking: an introduction
Singh Digital Watermarking Trends
Kondasinghe A System to Preserve Metadata using Steganography
CN112911187A (zh) 视频数据篡改判断系统及方法
WO2001013642A1 (en) Watermarking data streams at multiple distribution stages
Iwamura A Benchmark Tool for Digital Watermarking
Wolthusen Digital Watermarking: From Concepts to Real-Time Video Applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 7