KR20080035638A - 미디어 식별을 위한 숨겨진 견고한 마크 - Google Patents

미디어 식별을 위한 숨겨진 견고한 마크 Download PDF

Info

Publication number
KR20080035638A
KR20080035638A KR1020087003823A KR20087003823A KR20080035638A KR 20080035638 A KR20080035638 A KR 20080035638A KR 1020087003823 A KR1020087003823 A KR 1020087003823A KR 20087003823 A KR20087003823 A KR 20087003823A KR 20080035638 A KR20080035638 A KR 20080035638A
Authority
KR
South Korea
Prior art keywords
media
information
mark
video
portions
Prior art date
Application number
KR1020087003823A
Other languages
English (en)
Other versions
KR101361591B1 (ko
Inventor
닐스 쏠와이스
Original Assignee
베리메트릭스 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베리메트릭스 인코퍼레이티드 filed Critical 베리메트릭스 인코퍼레이티드
Publication of KR20080035638A publication Critical patent/KR20080035638A/ko
Application granted granted Critical
Publication of KR101361591B1 publication Critical patent/KR101361591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32229—Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

미디어 간의 미세한 변동을 강조함으로써 복원 가능한 미디어에 정보를 반복적으로 삽입하는 시스템 및 방법을 개시한다. 다수의 실시예에서, 삽입된 정보가 인간의 육안으로는 잘 보이지 않는 미디어의 부분(portion)을 식별하기 위해 지각 모델(perceptual model)이 사용된다. 본 발명의 일실시예는, 정보를 미디어의 형태로 렌더링(rendering)하는 단계, 캐리어 미디어로부터 미디어의 복수의 부분을 선택하는 단계, 수정된 미디어 부분에 대한 수정 내용이 인간의 육안으로는 잘 보이지 않는 수정된 미디어 부분을 형성하기 위해, 렌더링된 미디어의 일부(part) 또는 전부를 캐리어 미디어의 선택된 부분의 각각과 조합하는 단계, 및 수정된 미디어 부분을 이용하여 수정된 캐리어 미디어를 작성하는 단계를 포함한다.
지각 모델, 캐리어 미디어, 비디오 시퀀스, 오디오 시퀀스,

Description

미디어 식별을 위한 숨겨진 견고한 마크{COVERT AND ROBUST MARK FOR MEDIA IDENTIFICATION}
본 발명은 전반적으로 디지털 미디어에 관한 것으로, 보다 구체적으로는 캐리어 미디어(carrier media)를 식별하기 위해 인식 가능한 이미지로 렌더링될 수 있는, 캐리어 미디어에 삽입된 안전하고 지각할 수 없으며 견고한 미디어 마크(Media Mark)에 관한 것이다.
디지털 미디어는 저렴하면서도 사용 및 미디어의 품질의 유지가 용이하기 때문에, 디지털 미디어의 디지털 방식의 표시, 저장, 분배 및 복사가 매우 보편화되고 있다. 그러나, 이러한 장점은 인터넷을 통한 디지털 이미지 및 비디오의 허가되지 않은 분배와 같은 저작권 보호된 자료의 광범위한 불법적인 분배 및 사용을 가능하게 하였다.
허가되지 않은 사용에 대하여 디지털 미디어를 보호하기 위해 다수의 상이한 방식이 제안되고 있다. 예컨대, 디지털 암호화 기술은 보안 통신 및 전달을 가능하게 하는 데 효과적이다. 그러나, 암호화된 컨텐츠가 인간에 의해 볼 수 있거나 청취할 수 있는 형태로 암호해독되거나 표현되면, 그 컨텐츠는 재기록될 수 있으며, 보안이 해제된 복사본이 얻어질 수 있다.
미디어 내에 수취인 정보를 삽입(embedding)함으로써 미디어를 마킹(marking)하면, 허가되지 않은 방법으로 미디어를 수신하여 컨텐츠를 사용하는 개인들을 식별하는 데 도움을 줄 수 있다. 또한, 미디어 내에 삽입되어 있는 소유권 정보는 복사 제한을 나타내주고 미디어의 소유권을 명확하게 해줄 수 있다.
미디어를 마킹하는 한 가지 방법으로는, 수정되지 않은 파일로부터 판독될 수 있고 재생 동안에는 무시되는 주석(annotation)을 디지털 미디어 파일 포맷에 추가하는 방법이 있다. 그러나, 이 방법에서는, 파일이 재기록되거나 또는 다른 포맷으로 변환되는 경우, 이 정보가 손실될 수 있다.
비디오 미디어 내의 견고하고 영구적인 마크를 달성하기 위해, 재생 동안 저작권 정보를 디스플레이하는 가시적인 오버레이 이미지가 제안되고 있다. 오버레이된 이미지는 수정에 대해 견고성을 나타내며, 판독이 용이하다. 그러나, 이러한 방식은 오버레이된 이미지가 원본 비디오와 간섭하기 때문에 마크된 비디오의 품질을 저하시킬 수 있어, 시청감을 감소시킨다. 또한, 오버레이된 이미지는 명확하게 보이게 되며, 그에 따라 식별이 용이하고, 오버라이팅 또는 크로핑(cropping)에 의해 제거될 수 있다.
또 다른 방식으로는, 여러 가지의 상이한 변형예로 제안되는 디지털 워터마킹(digital watermarking)이 있다. 다수의 흔히 이용되는 디지털 워터마킹 방식은 시간 또는 공간에 있어서의 특정 위치에 장치에 의해 판독 가능한 조작(machine readable manipulation)을 가함으로써 디지털 미디어에 디지털 비트 시퀀스를 삽입하는 과정을 포함한다. 판독 동안에는, 이러한 조작을 해석하고, 삽입된 메시지의 어셈블(assemble)에 사용되는 디지털 비트 시퀀스를 획득하기 위해, 소프트웨어가 사용된다. 조작을 해석하기 위해서는, 공간 또는 시간에 있어서의 조작의 위치에 대한 지식이 요구된다. 조작이 왜곡될 때(즉, 예컨대 잘못 위치되거나 또는 약화될 때)에는, 간혹 판독(또는 검출로도 지칭됨)이 곤란하거나 불가능하게 된다. 크로핑, 회전, 다른 파일 포맷으로의 변환, 및 프레임 레이트의 수정 등의 간략한 미디어 취급 동안 왜곡이 발생할 수 있다. 또한, 마크를 제거하기 위해 침입자(attacker)에 의해 조작의 의도적 오발생(misplacement)이 가해질 수 있으며, 이러한 조작의 의도적인 오발생은 시프트, 회전 및 재생 속도의 변화와 같은 지각 가능하지 않은 약간의 조합된 왜곡을 통해 이루어질 수 있다. 공공연하게 이용 가능한 툴(publicly available tool)은 어택(attack)으로도 지칭되는 이러한 조작의 일부를 자동화된 방식으로 가한다. 현재의 디지털 워터마킹 알고리즘은 왜곡된 컨텐츠에서의 오발생을 인식(또한 등록으로 지칭되는 처리)하기에 충분할 만큼 강력하지 못할 수도 있다. 그 결과, 의도적인 오발생은 디지털 워터마크를 판독이 불가능하게 만들 수 있다.
장치에 의해 판독 가능한 조작은 또한 하술되는 또 다른 보안 리스크에 대해 취약하다. 통상적으로, 장치에 의해 판독 가능한 조작의 검출은 수행되었던 조작에 대한 지식을 요구한다. 따라서, 워터마크를 속이려고 시도하는 사람은, 판독 또는 삽입되고 있는 워터마크를 관측함으로써 조작의 위치 및 취지를 확인할 수 있다. 이러한 관측은 삽입 또는 검출 프로세스를 분석하거나 리버스 엔지니어링(reverse engineering)함으로써 수행될 수 있다. 후속하여, 조작은 숙련된 침입 자에 의해 제거 또는 변환되어 워터마크를 효과적으로 제거할 수 있다. 워터마크의 제거 외에, 전술한 리버스 엔지니어링 방식은 워터마크에 삽입된 정보의 수정을 가능하게 한다. 이것은 조작의 위치가 보안 키로 암호화되는 경우에도 가능하다. 보안 키의 사용에 의해 제공되는 보호는 제한될 수밖에 없으며, 그 이유는 통상적으로 삽입 및 검출을 위해 동일한 키가 사용되기 때문이다. 조작의 위치가 암호화되는 경우에도, 침입자는 삽입 또는 검출 어플리케이션을 분석 또는 리버스 엔지니어링하여 그 위치에 대한 액세스를 얻을 수 있다. 또한, 보안 키는 검출 또는 삽입 어플리케이션을 분석함으로써 관측될 수 있다.
등록 및 보안 외에, 손실성 압축 및 필터링에 대한 견고성(robustness)이 멀티미디어 컨텐츠의 지각이 불가능한 마킹에 대해 중요한 요소가 된다. 워터마킹 동안, 통상적으로, 장치에 의해 판독 가능한 정보를 감추기에 적합하고 마크된 컨텐츠에 대한 인간의 지각에 현저하게 기여하지 못하는 디지털 미디어의 영역을 조작함으로써, 디지털 미디어에 메시지가 삽입된다. 디지털 미디어 내의 이러한 영역에 대한 예로는 미세한 디테일(즉, 높은 빈도)을 포함하는 영역이 있다. 그러나, 이러한 영역은 컨텐츠가 수용 가능한 품질을 유지하면서 변경 또는 제거될 수 있다. 예컨대, MPEG2 및 H.264와 같은 흔히 이용되는 손실성 압축 방식은 디지털 미디어 파일의 크기를 감소시키기 위해 이러한 지각의 측면에서 중요하지 않은 정보를 제거하며, 이에 의해 디지털 미디어 파일에 저장된 워터마크 정보가 제거된다. 따라서, 이러한 손실성 압축 방식을 이용한 미디어의 압축은 워터마크 정보의 일부 또는 전부의 제거를 초래할 수 있다.
워터마킹에 대한 초기 연구는 디지털 정지 이미지에 초점이 맞추어져 왔다. 통상적으로, 비디오 워터마크 방식은 각각의 비디오 프레임에 정지 이미지 워터마크를 적용하는 것을 기반으로 하고 있다. 각각의 비디오 프레임에 정지 이미지 워터마크를 적용하는 이유는 이러한 방식이 명확하며 구현이 용이하기 때문이다. 그러나, 이러한 방식은 삽입된 정보를 모으기 위해 시간 도메인(time domain)을 효과적으로 사용하지는 못한다. 워터마크의 검출은 통상적으로 개개의 프레임으로부터 일부 정보가 복원되는 경우에만 성공할 수 있다. 이 방식은 비디오 프레임의 관련 영역의 파손 또는 등록의 실패로 인해 어떠한 프레임에서 워터마크가 판독될 수 없는 경우에는 실패할 수도 있다. 더욱이, 프레임이 개개의 이미지로 워터마크되고, 프레임들 간에 워터마크가 변화된다면, 워터마크를 약화시키기 위해 하나의 비디오 내의 유사한 프레임들이 함께 평균화될 수 있기 때문에, 이 워터마크는 공격받기 쉽다. 각각의 프레임이 동일한 워터마크를 포함한다면, 그 프레임들은 각각의 프레임 내에 있는 워터마크의 구조를 분석하여 그 워터마크를 이해하고 그에 후속하여 워터마크를 제거하기 위해 이용될 수도 있다.
또한, 디지털 워터마킹의 프로세스는 통상적으로 원본 이미지 및 삽입될 이미지의 복잡한 변형을 수반한다. 이러한 복잡한 변형의 예로는 DCT 변환, 고속 퓨리에 변환 또는 웨이브렛(Wavelet) 변환이 있다. 이러한 변형을 수행하기 위해 요구되는 계산은 시간이 많이 소용되는 프로세스이어서, 디지털 워터마크를 실시간으로(예컨대, 재생 또는 다운로드 동안) 삽입할 때에 상당한 제약이 될 것이다. 더욱이, 워터마킹 방식은 확고하게 정해진 수정 내용으로 이루어져, 상이한 압축 포 맷, 보안 또는 성능 조건을 채용하기 위한 변화에 대해서는 유연성을 갖추고 있지 못하다.
본 발명은 전반적으로 디지털 및 아날로그 미디어에 관한 것으로, 보다 구체적으로는 캐리어 미디어를 식별하기 위해 언커버링(uncovering)될 수 있는 정보를 캐리어 미디어 내에 반복적으로 삽입하는 시스템 및 프로세스에 관한 것이다.
본 발명의 일실시예는, 정보를 미디어의 형태로 렌더링(rendering)하는 단계, 캐리어 미디어로부터 미디어의 복수의 부분(portion)을 선택하는 단계, 수정된 미디어 부분에 대한 수정 내용이 인간의 육안으로는 잘 보이지 않는 수정된 미디어 부분을 형성하기 위해, 렌더링된 미디어의 일부(part) 또는 전부를 상기 캐리어 미디어의 선택된 부분의 각각과 조합하는 단계, 및 상기 수정된 미디어 부분을 이용하여 수정된 캐리어 미디어를 작성하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어는 비디오 시퀀스를 포함하며, 상기 캐리어 미디어의 부분의 각각은 하나의 비디오 프레임이며, 상기 렌더링된 미디어는 이미지이다.
본 발명의 다른 실시예는, 상기 렌더링된 미디어를 나타내는 이미지의 기하학적 형상(geometry)을 변경하는 단계를 더 포함한다.
본 발명의 다른 실시예에서, 상기 렌더링된 미디어의 일부 또는 전부를 상기 캐리어 미디어의 선택된 부분의 각각과 조합하는 단계는, 상기 렌더링된 미디어를 지각 모델(perceptual model)에 따라 수정하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어의 부분과 조합되는 상기 렌더링된 미디어의 부분은 의사 랜덤하게(pseudo randomly) 선택된다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어는 오디오 시퀀스를 포함하며, 상기 캐리어 미디어의 부분은 각각 오디오의 단편(section)이며, 상기 렌더링된 미디어는 오디오 시퀀스이다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어는 비디오를 포함하며, 상기 렌더링된 미디어는, 비디오의 투영 또는 기록 시에 비디오가 통과하는 렌즈를 포함한다.
본 발명의 다른 실시예에서, 상기 정보는 상기 미디어에 관련된 메타데이터(metadata)를 포함한다.
본 발명의 다른 실시예에서, 상기 정보는 비디오 재생의 시각 및 장소를 식별하게 해준다.
본 발명의 다른 실시예에서, 상기 정보는 상기 미디어의 저작권 소유자 또는 수취인을 식별하게 해준다.
본 발명의 다른 실시예에서, 상기 정보는 데이터베이스에 대한 참고자료(reference)를 포함한다.
본 발명의 또 다른 실시예는, 캐리어 미디어로부터 미디어의 복수의 부분(portion)을 선택하는 단계, 상기 미디어의 부분의 각각의 적어도 일부(part)를 선택하는 단계, 미디어의 부분의 상기 일부를 상기 미디어의 부분으로부터 강조하는 단계, 및 상기 미디어의 부분의 상기 일부들을 조합하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 미디어의 부분의 상기 일부를 강조하는 단계는, 상기 미디어의 각각의 부분에 대해 고역 통과 필터(high pass filter)를 적용하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 미디어의 부분의 상기 일부를 강조하는 단계는, 상기 삽입된 미디어를 포함하는 상기 캐리어 미디어로부터, 상기 삽입된 미디어를 제외한 상기 캐리어 미디어를 감산(subtraction)하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어는 비디오 시퀀스를 포함하며, 상기 삽입된 미디어는 디지털 미디어를 포함하며, 상기 미디어의 각각의 부분은 비디오 프레임이고, 강조되는 각각의 비디오 프레임의 상기 일부는 일군의 픽셀을 포함한다.
본 발명의 다른 실시예에서, 상기 미디어의 부분의 일부들을 조합하는 단계는, 상기 미디어의 부분의 각각의 일부를 평균화하는 단계를 포함한다.
본 발명의 다른 실시예에서, 상기 삽입된 미디어는, 상기 미디어의 부분의 일부들을 조합한 후에 장치에 의해 인식된다.
본 발명의 다른 실시예에서, 상기 캐리어 미디어는 오디오 시퀀스를 포함하며, 상기 삽입된 미디어는 오디오 시퀀스를 포함하며, 오디오의 부분의 각각은 오디오 시퀀스의 부분을 포함하며, 상기 오디오 시퀀스의 부분의 각각의 일부는 일군의 오디오 샘플을 포함한다.
도 1은 본 발명의 실시예에 따른 미디어 분배 시스템을 도시하는 개략도이 다.
도 2는 본 발명의 실시예에 따라 비디오 시퀀스 및/또는 오디오 시퀀스에 미디어 마크를 삽입하기 위해 구성된 소비자 전자 장치를 도시하는 개략도이다.
도 3은 본 발명의 실시예에 따라 미디어에 미디어 마크를 삽입하기 위한 처리를 도시하는 흐름도이다.
도 4는 본 발명의 실시예에 따라 비디오 시퀀스 또는 이미지의 모음에 삽입될 수 있는 미디어 마크를 생성하는 처리를 도시하는 흐름도이다.
도 5는 본 발명의 실시예에 따라 미디어 마크에 사용되는 정보를 부호화하기 위한 처리를 도시하는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따라 미디어 마크에 사용되는 정보를 부호화하기 위한 처리를 도시하는 흐름도이다.
도 7은 본 발명의 실시예에 따라 미디어 마크를 렌더링하기 위한 프로세스를 도시하는 흐름도이다.
도 8은 본 발명의 실시예에 따라 적용되는 기하학적인 변동을 갖는 이미지로 렌더링되는 텍스트 정보의 미디어 마크의 예를 도시하는 도면이다.
도 9는 본 발명의 실시예에 따라 미디어 마크를 삽입할 미디어의 소정의 부분을 선택하기 위한 처리를 도시하는 흐름도이다.
도 10은 본 발명의 다른 실시예에 따라, 미디어 컨텐츠를 기초로 미디어 마크를 삽입할 미디어의 부분(portion)을 선택하기 위한 처리를 도시하는 흐름도이다.
도 11은 본 발명의 실시예에 따라 미디어의 부분과 미디어 마크를 조합하는 처리를 도시하는 흐름도이다.
도 12는 본 발명의 실시예에 따라 지각 모델(perceptual model)을 이용하여 미디어 마크로부터의 정보를 포함하기 위해 미디어의 일부를 수정하는 처리를 도시하는 흐름도이다.
도 13은 본 발명의 다른 실시예에 따라, "ABC 12ⓒ"의 텍스트를 갖는 그래픽을 포함하고 이 그래픽을 "ABC 12ⓒ"의 텍스트로 식별하게 해주는 미디어 마크가 지각 가능한 정도로 형성되고, 지구 모양을 나타내는 비디오 프레임과 조합되는, 삽입 처리의 예를 예시하는 도면이다.
도 13a는 본 발명의 다른 실시예에 따라 아날로그 비디오의 투영 및 레코딩 동안 렌즈를 이용하여 미디어 마크를 적용하는 예를 예시하는 도면이다.
도 14는 본 발명의 실시예에 따라 미디어 마크를 언커버링(uncovering)하기 위한 처리를 도시하는 흐름도이다.
도 15는 본 발명의 실시예에 따라 결과를 누적함으로써 미디어 마크를 언커버링하기 위한 처리의 흐름도이다.
도 16은 본 발명의 다른 실시예에 따라 여러 개의 비디오 프레임 내에서의 데이터 조작을 강조하고 그 결과를 조합함으로써 미디어 마크를 언커버링하기 위한 처리의 예를 예시하는 도면이다.
본 명세서의 도면에는 본 발명의 실시예에 따라 미디어 마크를 삽입하고 언 커버링하기 위한 시스템 및 방법이 도시되어 있다. 다수의 실시예에서, 미디어 마크는 미디어 시퀀스 또는 미디어의 모음에 반복적으로 삽입되는 정보의 형태이며, 삽입된 정보는 통상적으로 인간의 육안으로는 지각이 불가능하다. 그러나, 미디어 마크를 구성하고 있는 정보는 복원 가능하며, 복원 시에 통상적으로 인간에 의해 이해될 수 있도록 설계된다. 다수의 실시예에서, 미디어 마크는 미디어 시퀀스 또는 미디어의 모음에서 미디어의 선택된 부분으로부터 정보를 강조하여 조합함으로써 언커버링된다. 미디어 마크가 미디어에 반복적으로 삽입되는 실시예에서, 미디어의 복수의 부분으로부터의 정보를 조합함으로써, 마크가 그 아래의 미디어 정보에 대하여 증폭된다. 미디어에 마크를 반복하여 삽입함으로써, 미디어 마크는 미디어의 조작에 의해 제거하기가 어렵게 된다. 또한, 미디어 시퀀스에 미디어 마크를 삽입함으로써, 미디어 시퀀스 또는 미디어의 모음이, 리포맷팅 또는 레코딩에 의해 야기된 바와 같은 품질 저하 후에도 미디어 마크를 보유할 수 있게 된다.
본 발명의 실시예에 따라 미디어 마크를 삽입하는 처리와 언커버링 처리는 비대칭형(asymetric)이다. 삽입 처리와 언커버링 처리는 상이한 알고리즘으로 구현되는 상이한 프로세스이다. 미디어 마크를 언커버링할 시에 요구되거나 획득되는 정보는 미디어로부터 미디어 마크를 제거하기에는 충분하지 않다. 또한, 삽입 처리 및 언커버링 처리는 통상적으로 컴퓨터에 의해 수행되지만, 실제적인 인식 및 해석은 통상적으로 인간에 의해 수행된다.
비디오 프레임의 시퀀스를 미디어 시퀀스로 하는 실시예에서, 미디어 마크는 비디오 시퀀스의 프레임으로부터의 이미지 정보와 반복적으로 조합되는 비쥬얼 정 보의 형태를 취할 수 있다. 다수의 실시예에서, 지각 마스크(perceptual mask)는, 인간이 렌더링된 비디오 프레임에서 비쥬얼 정보의 존재를 지각할 가능성을 감소시키는 방식으로, 비쥬얼 정보와 비디오 프레임의 이미지 정보를 조합하기 위해 사용된다.
다른 실시예에서, 미디어 마크는 오디오 시퀀스에 주기적으로 삽입되는 오디오 정보이거나, 또는 이미지의 모음에서 유사한 위치 내에 삽입되는 비쥬얼 정보이다. 미디어 마크로는 디지털 미디어에 삽입되거나 또는 아날로그 프로세스를 이용하여 삽입되는 디지털 정보가 가능하다. 미디어, 특정 미디어 시퀀스의 트랙 분포, 또는 미디어의 모음의 수취인(recipient)을 확인하기 위해, 본 발명의 실시예에 따른 미디어 마크가 사용될 수 있다. 또한, 미디어 마크는, 문서 정보를 미디어 내에 삽입하기 위해, 복제 제어를 수행하기 위해, 방송 모니터링을 수행하기 위해, 및/또는 보안 통신을 배분하기 위해 사용될 수 있다.
미디어 마크를 삽입하기 위한 시스템
도 1에는 본 발명에 따라 미디어를 분배하기 위한 시스템의 실시예가 도시되어 있다. 시스템(10)은 네트워크(14)를 통해 복수의 장치에 연결되어 있는 다수의 서버(12)를 포함한다. 예시된 실시예에서, 네트워크는 케이블 텔레비전 네트워크이며, 컴퓨터(16)가 케이블 모뎀(17)을 통해 네트워크에 연결되어 있다. 또한, 텔레비전(20)에 출력을 제공하는 케이블 박스(18) 역시 네트워크에 연결되어 있다.
서버(12)는 네트워크에 연결된 장치에 제공될 수 있는 미디어를 저장한다. 다수의 실시예에서, 서버와 장치들 간의 미디어의 전달은 암호화를 이용하여 보안 이 이루어진다. 미디어는 통상적으로 전송될 데이터의 양을 감소시키기 위해 압축된다. 서버로부터 수신된 암호화된 미디어는 통상적으로 렌더링을 위해 해독 및 압축해제되며, 해독 및 압축해제 처리의 일부는 해독 및 압축해제된 미디어에 미디어 마크를 삽입하는 단계를 포함한다. 케이블 박스(18) 등의 소비자 전자 장치에 의해 수신된 미디어의 경우, 해독 및 삽입 처리는 간혹 하드웨어로 수행되기도 한다. 암호화된 미디어 소프트웨어를 수신하는 장치(예컨대, 컴퓨터(16))가 구성될 수 있는 경우에는, 미디어 마크의 해독, 압축해제 및/또는 미디어에의 삽입이, 하드웨어로 수행될 수도 있고 또는 클라이언트 소프트웨어를 이용하여 수행될 수도 있다. 미디어 마크가 해독 및 압축해제된 미디어에 삽입된 후, 미디어가 복제되거나 전송된다면, 미디어 마크가 미디어에 존재하게 될 것이다. 다수의 실시예에서, 미디어 마크는 미디어를 수신하여 해독하는 장치에 대한 전용(unique)의 것이다. 다수의 실시예에서, 미디어 마크는, 컨텐츠가 수신되는 일자와 시각에 관한 정보 및 수신 장치 또는 사용자에 대한 식별에 관한 정보를 포함한다. 일자, 시각 및 식별 등의 삽입될 정보는 서버로부터 최초 발생되어 미디어와 함께 전달될 수도 있으며, 또는 장치가 일련 번호 및 일자와 시각 등의 로컬하게 저장된 정보를 그 내부 클록으로부터 이용할 수도 있다. 암호화된 미디어가 압축되는 실시예에서, 미디어 마크는 압축해제 이전에 또는 압축해제 다음에 미디어에 삽입될 수 있다. 미디어 마크를 삽입하기 위한 기술은 추가로 후술될 것이다.
도 1에 도시된 실시예가 케이블 텔레비전 네트워크를 포함하고 있지만, 본 발명의 다른 실시예는 네트워크에 접속된 장치와 서버 간의 통신을 가능하게 하기 위해 다른 네트워킹 기술을 포함할 수도 있다. 또한, 미디어를 수신하고 미디어 마크를 삽입할 수 있는 본 발명의 실시예에 따른 장치는 케이블 박스 및 컴퓨터로 제한되지 않는다. 접속 및 비접속된 다양한 소비자 전자 장치 및 컴퓨터 처리 장치의 어떠한 것도 본 발명의 실시예에 따라 미디어 마크를 삽입할 수 있다.
도 1에 도시된 실시예는 네트워크를 통한 미디어의 분배 및 분배에 후속되는 미디어 마크의 삽입을 수반한다. 본 발명의 다수의 실시예는 미디어의 분배 이전에 미디어에 미디어 마크를 삽입하는 단계를 포함한다. 다수의 실시예에서, 미디어 마크는 서버에 의해(즉, 헤드 엔드에서) 미디어에 삽입된다. 미디어 마크가 서버에 의해 삽입되거나 또는 삽입될 정보가 서버에 의해 결정될 때, 서버는 삽입된 미디어 마크에 관한 정보를 기록할 수 있다. 예컨대, 서버는 송신된 미디어 및 정보에 대한 통신 프로토콜뿐만 아니라 요청자의 과금 정보(billing information) 및/또는 수신 장치에 관한 정보를 저장할 수 있다. 다수의 실시예에서, 복수의 미디어 마크는 미디어에 동시에 삽입될 수도 있고, 또는 미디어의 분배 또는 처리의 상이한 단계에서 삽입될 수도 있다. 개개의 마크를 추가하는 각각의 분배 또는 처리 단계는 언커버링된 마크(uncovered mark)로부터 추적될 수 있다. 또한, 본 발명의 실시예에 따라 미디어 마크를 삽입하는 처리는, 미디어 마크가 현저한 간섭없이 동일한 미디어 내에서 종래의 워터마킹(watermarking) 기술과 공존할 수 있다는 점에서, 대부분의 종래의 워터마킹 기술과 호환 가능하다. 따라서, 본 발명의 실시예는 워터마크된 미디어에 미디어 마크를 삽입하거나 또는 미디어 마크를 포함하고 있는 미디어에 워터마크를 가하기 위해 사용될 수 있다.
본 발명의 실시예에 따라 미디어 내에 미디어 마크를 삽입할 수 있는 소비자 전자 장치의 실시예가 도 2에 도시되어 있다. 소비자 전자 장치(40)는 프로세서(44)를 포함하며, 이 프로세서(44)는 메모리(46), I/O 컨트롤러(48) 및 비디오 변환 장치(50)에 접속되어 있다. I/O 컨트롤러(48)는 네트워크 인터페이스 장치(52), 입력 인터페이스 장치(54), 추가 메모리(56) 및 오디오 출력 장치(58)에 접속되어 있다. 예시된 실시예에서, 네트워크 인터페이스 장치(52)는 네트워크에 연결되며, 네트워크를 통해 미디어가 수신된다. 수신된 미디어는 렌더링을 위해 프로세서에 의해 조작된다. 전술한 바와 같이, 프로세서에 의해 수행될 수 있는 조작 중의 하나는 미디어 내에 미디어 마크를 삽입하는 것이다. 프로세서는 펌웨어 또는 소프트웨어를 이용하여 구성된 마이크로프로세서의 형태를 가질 수 있다. 이와 달리, 프로세서는 디지털 신호 처리(DSP) 회로의 일부로서 또는 주문형 반도체(ASIC)로서 구현될 수도 있다. 다수의 실시예에서, 마이크로프로세서와 기타 회로의 조합은 프로세서를 구현하기 위해 사용된다. 도 2에는 특정 아키텍쳐가 도시되어 있지만, 본 발명의 실시예는 어떠한 다양한 소비자 전자 장치, 삽입형 장치(embedded device), 및 컴퓨터 처리 장치의 형태도 가능하다. 예컨대, 본 발명의 실시예는, VHS 테이프 플레이어, DVD 플레이어, 비디오 프로젝터, 카메라, 디지털 비디오 캠코더, 미디어 데이터를 처리하는 개인용 컴퓨터, 파지형 비디오 재생 장치(휴대 전화 및 게임기 포함), 및 비디오를 처리할 수 있는 전자 수첩(personal organizer)을 포함할 수 있다.
미디어 마크를 삽입
전술한 설명은 본 발명의 실시예에 따라 미디어 내에 미디어 마크를 삽입할 수 있는 시스템에 대한 설명을 포함한다. 도 3에는 본 발명의 실시예에 따라 미디어 내에 미디어 마크를 삽입하기 위해 사용될 수 있는 프로세스가 도시되어 있다. 이 프로세스(60)는, 미디어 마크를 생성하는 단계(62)와, 미디어 마크를 삽입할 미디어의 부분을 선택하는 단계(64)를 포함한다. 미디어 마크는 미디어의 부분과 조합되어(66), 마크가 삽입되어 있는 수정된 미디어 부분을 형성한다. 그 후, 마크를 삽입할 어떠한 추가 미디어가 존재하는지의 여부에 관한 판단(68)이 이루어진다. 추가 미디어가 존재하는 경우, 미디어의 또 다른 부분이 선택되고, 추가 미디어가 존재하지 않을 때까지 미디어의 부분과 미디어 마크가 조합된다. 추가 미디어가 존재하지 않을 때, 이 프로세서는 미디어의 복수의 부분을 재조합함으로써 완료된다(70). 다수의 실시예에서, 미디어의 부분이 재생되는 경우에는, 미디어 마크가 미디어의 부분과 조합되기 때문에, 재조합은 불필요하다.
개략적으로 전술한 프로세스에서, 미디어 마크가 삽입되는 미디어는 미디어 시퀀스 또는 미디어 모음의 일부가 될 수 있다. 더욱 상세히 후술되는 바와 같이, 미디어 마크는 미디어 시퀀스 또는 미디어 모음 내의 미디어의 각각의 부분과 조합될 필요가 없다. 미디어 마크가 미디어의 부분 중의 일부에만 조합될 때에는, 미디어 마크가 삽입된 미디어를 생성하기 위해, 미디어의 수정된 부분이 미디어의 수정되지 않은 부분과 조합된다. 이하의 설명은 개략적으로 전술한 프로세스의 보다 상세한 특징을 기술한다.
미디어 마크의 생성
전술한 바와 같이, 본 발명의 실시예에 따른 미디어 마크는 통상적으로 인간이 지각할 수 있는 형태로 표현되는 정보의 형태를 취한다. 예컨대, 비디오 시퀀스 또는 이미지의 모음에 삽입될 미디어 마크는 문자 및/또는 이미지를 포함할 수 있다. 정보는 또한 특정한 크기, 형상, 구성, 폰트 타입 또는 위치의 기호에 의해 표현될 수 있다. 오디오 시퀀스에 삽입될 미디어 마크는 사운드, 멜로디 또는 단어 발음(spoken word)을 포함할 수 있다. 다수의 실시예에서, 미디어 마크는 또한 바코드 또는 OCR 폰트 등과 같은 장치에 의해 지각 가능한 정보를 포함할 수 있다.
미디어 마크에 포함될 수 있는 정보는 그 다양성에 거의 제한이 없다. 다수의 실시예에서, 미디어 마크는 수취인, 소유자 및/또는 송신 또는 디스플레이의 시각 및 위치에 관한 정보를 포함한다. 미디어 마크는 또한 이러한 정보를 대량의 정보의 해쉬 코드(hash code) 및/또는 다른 정보(데이터베이스 레코드와 같은)에 대한 인덱스로서 포함할 수 있다. 다수의 실시예에서, 미디어 마크는 분배 또는 처리 제한에 관한 정보를 포함하며, 이러한 정보는 허용된 작업흐름(workflow), 미디어에 대한 수정, 복사본의 허용 개수, 또는 미디어 파일의 복사에 대해 허용된 수취인을 나타낸다.
비디오 시퀀스 또는 이미지 모음에 사용하기 위한 미디어 마크의 생성
도 4에는 비디오 시퀀스 또는 이미지 모음에 삽입될 수 있는 미디어 마크를 생성하는 프로세스가 도시되어 있다. 이 프로세스(72)는, 삽입될 정보를 결정하는 단계(74)와, 정보를 부호화하는 단계(76)와, 부호화된 정보를 렌더링하는 단계(78)를 포함한다.
전술한 바와 같이, 미디어 마크에 삽입될 수 있는 정보는 실제적으로 제한이 없다. 이 정보는 인간에 의해 지각될 수 있거나 및/또는 장치에 의해 지각될 수 있다. 삽입될 정보가 결정된 후에는 정보가 부호화된다. 이 정보는 간단히 일련의 문자수자 기호(alphanumeric symbol)로서 부호화될 수 있으며, 이 문자수자 기호가 그 후 렌더링된다. 다른 실시예에서, 기본적인 정보가 렌더링 이전에 수정된다. 다수의 실시예에서, 정보는 압축되거나, 에러 식별 또는 정정 정보가 추가되거나, 및/또는 암호화될 수 있다. 렌더링 프로세스는 부호화된 정보를 이용하여 미디어를 생성하는 단계를 포함한다. 비디오 시퀀스 또는 이미지 모음에 삽입될 미디어 마크의 경우, 부호화된 정보는 이미지로서 렌더링된다. 오디오 시퀀스에 삽입될 미디어 마크의 경우, 부호화된 정보는 오디오 시퀀스로 변환된다.
미디어 마크로서의 렌더링을 위한 정보의 부호화
본 발명의 실시예에 따라 정보를 부호화하는 것은, 미디어 마크 내에 포함된 정보가 표현되도록 하는 방식을 결정하는 단계를 포함한다. 전술한 바와 같이, 비디오 시퀀스 또는 이미지 모음에 삽입된 미디어 마크는 문자 및/또는 이미지를 포함할 수 있으며, 오디오 시퀀스에 삽입된 미디어 마크는 사운드, 멜로디 또는 단어 발음을 포함할 수 있다.
다수의 실시예에서, 정보는 대형 기호 및/또는 "아리얼(Arial)"(예컨대, 비디오 프레임 높이의 대략 1/4)과 같은 단순한 폰트를 이용하여 표현된다. 대형 기호는 미세한 세부요소를 거의 갖지 않으며, 그에 따라 대부분이 상대적으로 낮은 빈도의 성분으로 이루어진다. 낮은 빈도의 성분은 매우 견고하며, 비디오가 압축, 재기록 및 필터링 등의 다양한 처리를 통해 열화된 후에도 비디오 내에 잔류된다. 기호는 또한 알파벳 기호와 같이 인간에게 친숙하여 용이하게 인식되거나, 예컨대 수평선 또는 수직선보다는 수직 방향으로 원형을 이루는 선과 같이 삽입 시에 적어도 볼 수 있거나, 또는 수직 및 수평 바(bar)와 같이 서로 간에 최대의 차이를 나타내도록 선택될 수 있다. 삽입된 정보를 표현하기 위해 기호를 선택할 때의 또 다른 고려 사항은, 효율적으로 저장 및 적용될 수 있는 블록과 같이, 이들 기호가 인간에 의해 적용될 수 있는 효율성이다.
다수의 실시예에서, 정보는 기호의 위치에 의해 표현된다. 프레임 크기는 여러 개의 상이한 영역으로 논리적으로 분할되며, 정보는 영역 내의 기호를 인에이블시키거나 디스에이블시킴으로써 코딩된다. 다수의 실시예에서, 특정한 위치에 기호가 존재하는지에 따라 2진 정보로 부호화된다. 여러 실시예에서, 동일한 카테고리의 정보는, 미디어 마크를 제거하기 위해 평균화(averaging)되는 마크된 비디오가 각각의 카테고리 내의 공통 정보를 유지하도록, 동일한 위치에 저장된다. 정보는 또한 동일한 위치에 중요한 값을 갖도록 계층적인 방식으로 구축된다. 예컨대, 짚 코드(zip code) 이외의 상이한 타임-코드(time-code)를 포함하고 있는 몇몇 영화가 평균화되면, 짚 코드 정보는 평균화 과정에 의해 약화되지 않을 것이다. 상이한 영역으로부터의 카피가 평균화되면, 서로 근접하여 큰 값의 차이를 나타내지 않는 짚 코드로부터 최초의 숫자(digit)가 유지된다.
다른 실시예에서, 마크의 위치는, 함께 평균화되는 마크된 비디오가 중첩없이 여러 개의 판독 가능한 마크를 포함할 수 있도록, 여러 개의 분리 영 역(disjoint area)으로부터 선택된다.
일군의 실시예는 영화가 마크되었는지를 식별하기 위해 고정된 위치에 고정된 기호를 제공하도록 정보를 부호화한다. 미디어의 다수의 상이한 카피로부터 프레임을 조합함으로써 삽입된 미디어 마크를 제거하려고 한다면, 미디어의 카피의 전부에 표현되지 않은 미디어 마크 내의 정보가 약화될 수 있다. 그러나, 각각의 카피의 미디어 마크에 포함된 공통 정보(즉, 고정된 위치에서의 고정된 기호)는 언커버링될 수 있다.
정보의 표현 외에, 부호화 프로세스는 미디어 마크 내에 포함된 정보를 압축하거나 안전하게 하기 위해 설계된 추가의 프로세스와, 미디어의 후속 처리에 의해 정보에 유입된 에러를 정정하기 위해 설계된 프로세스를 포함할 수 있다. 도 5에는 본 발명의 실시예에 따라 에러 정정 코드의 삽입 및 압축을 포함하는 정보를 부호화하기 위한 프로세스가 도시되어 있다. 이 프로세스(90)는 정보를 제공하는 단계(92)와, 정보를 압축하는 단계(94)와, 압축 단계 다음에 에러 정정 정보를 생성하도록 처리하여 압축된 정보에 에러 정정 정보를 부가하는 단계(96)를 포함한다. 에러 정정을 위한 추가 정보는, 잘못된 판독의 가능성을 정정하고 언커버링된 미디어 마크의 인식 동안 놓치거나 인식이 불가능한 기호를 복원하기 위해 이용될 수 있는 용장성(redundancy)을 부가한다.
미디어 마크를 형성하기 위해 정보를 부호화할 때에는 어떠한 다양한 프로세스도 적용될 수 있다. 도 6에는 본 발명의 실시예에 따라 암호화를 포함하는 정보를 부호화하기 위한 또 다른 프로세스가 도시되어 있다. 이 프로세스(90')는 정보 를 제공하는 단계(92'), 압축 단계(94') 및 암호화 단계(96')를 포함한다. 미디어 마크에 포함된 정보를 암호화하는 단계는, 미디어 내의 정보의 안전한 전송을 가능하게 한다. 다수의 실시예에서, 암호화된 정보(비디오 포맷 또는 오디오 포맷 중 하나의)를 포함하는 미디어 마크는 미디어 내에 보안 메시지를 보내기 위해 사용될 수 있다. 전술한 설명으로부터 명백한 바와 같이, 정보를 미디어 마크로서 렌더링하기 전에 부호화하기 위해 어떠한 다양한 상이한 부호화 기술도 사용될 수 있다. 부호화 프로세스의 특성은, 통상적으로, 미디어에 저장되는 정보, 이 정보의 추후의 사용, 정보의 예상 열화 정도, 및 정보를 마크에 저장된 정보와 상관하여 이용할 수 있는 가능성에 좌우된다.
부호화된 정보를 렌더링하여 미디어 마크를 형성
미디어 마크 내에 포함되도록 요구되는 정보가 부호화된 후, 부호화된 정보를 미디어로서 렌더링함으로써 본 발명의 실시예에 따른 미디어 마크가 생성될 수 있다. 비디오 시퀀스 또는 이미지 모음에 삽입하기 위한 미디어 마크의 경우, 부호화된 정보는 통상적으로 이미지로서 렌더링되며, 오디오 시퀀스에 삽입하기 위한 미디어 마크의 경우, 부호화된 정보는 통상적으로 오디오 시퀀스로서 렌더링된다.
기호로서 부호화된 정보가 비디오 시퀀스 또는 이미지 모음 내에 삽입되는 실시예에서, 기호는 배경과 상이한 컬러 및 휘도 정보를 갖도록 이미지로서 렌더링될 수 있다. 다수의 실시예에서, 미디어 마크를 형성할 이미지의 배경은 중간 레벨의 그레이(medium gray)이다. 중간 레벨의 그레이 배경 색상을 갖는 영역은 미디어 마크를 삽입한 후에 비디오 프레임을 수정하지 않을 것이다. 여러 실시예에 서, 기호는 기호의 외곽선에서 강한 명암대비(strong contrast)를 제공하기 위해 테두리가 밝은 흑색의 내용부를 갖는 것으로서 렌더링된다. 다수의 실시예에서, 가장 밝은 영역과 가장 어두운 영역은 중간 레벨의 그레이로부터 대략 8％ 정도 변화한다. 8 비트 그레이 이미지에 대해, 픽셀 값은 0 내지 25의 범위를 갖는다. 중간 레벨의 그레이는 127의 픽셀 값을 가지며, 최소 픽셀 값과 최대 픽셀 값은 각각 약 107과 147이다. 또한, 문자를 인식하기 위해 사용된 지각적으로 중요한 영역은 더 강한 마크로 강조되어, 각각의 문자 라인의 끝지점이 더 강한 삽입을 달성하기 위해 더욱 흑색으로 된다. 더 강한 삽입은 컨텐츠가 열화되는 경우에도 언커버링된 미디어 마크의 더 우수한 판독 가능성을 제공할 수 있다.
본 발명의 실시예에 따라 미디어 마크를 렌더링하는 프로세스의 일부로서, 이미지의 생성에 후속하여 다양한 필터 및/또는 변환이 적용될 수 있다. 필터 및 변환의 결과로 발생하는 변동은 통상적으로 언커버링된 미디어 마크의 인간에 의한 인식을 방해하지 못한다. 그러나, 이러한 변동은 장치를 이용한 미디어 마크의 위치에 대한 검출을 복잡하게 하여, 자동화된 인식에 대한 보호를 향상시킨다. 도 7에는 본 발명의 실시예에 따라 비디오 시퀀스 또는 이미지 모음에 삽입하기 위한 미디어 마크를 렌더링하는 프로세스가 도시되어 있다. 이 프로세스(100)는 부호화된 정보를 이용하여 이미지를 생성하는 단계(102)와, 생성된 이미지에 필터를 적용하는 단계(104)를 포함한다. 예시된 실시예에서, 필터는 대략 0.5의 시그마(sigma)와 약 0.5의 표준 편차를 갖는 가우시안 블러(Gaussian blur)이다. 가우시안 블러를 적용함으로써, 마크된 컨텐츠에서 보여질 수도 있는 스트롱 에 지(strong edge)가 제거될 수 있다. 필터의 적용에 후속하여, 이미지가 변형된다(106). 예시된 실시예에서, 이미지의 변형은 의사 랜덤한 기하학적 변동(pseudo random geometric variation)을 이미지에 적용하는 것을 포함한다. 예컨대, -5°와 +5°사이의 회전, 이미지 크기의 -10％와 +10％ 사이에서의 위치 이동, 및 수평 및 수직 방향에서의 +10％와 -10％ 사이의 스트레치(stretch)가 적용된다. 그러나, 다른 실시예에서는 다른 의사 랜덤 변동이 적용될 수도 있다.
다수의 실시예에서, 의사 랜덤 변동의 적용은, 변동을 위한 파라미터가 구해질 수 있는 의사 랜덤 시퀀스를 생성하기 위한 보안 암호화 키의 사용에 좌우된다. 암호화 키는 사용자에 의해 제공되거나 랜덤하게 생성될 수 있다. 미디어 마크를 생성하기 위해 의사 랜덤 변동이 전술한 개략적인 방식으로 적용될 때, 미디어 마크는 암호화 키에 대한 지식 없이 삽입되어 있는 미디어로부터 완벽하게 제거될 수 없다. 따라서, 본 발명에 따른 시스템의 다수의 실시예는 암호화 키의 사용을 통해 미디어 마크가 삽입된 미디어로부터 미디어 마크를 제거할 수 있도록 암호화 키를 저장한다. 미디어 마크를 제거하지 않는 경우에는, 암호화 키는 검출을 위해 필요하지 않기 때문에 미디어 마크가 삽입된 후에 폐기될 수 있다.
도 7을 참조하여 설명한 필터 및 변형 외에, 본 발명의 실시예는 미디어 마크의 렌더링 시에 어떠한 다른 필터, 변형 또는 데이터 조작 프로세스도 이용할 수 있다. 예컨대, 비디오 시퀀스 또는 이미지 모음에 삽입하기 위한 미디어 마크의 렌더링은 구성, 폰트 타임, 또는 기호 형상의 수정을 포함할 수 있다. 통상적으로, 기본적인 렌더링된 미디어에 대해 수행되는 처리는, 미디어 마크가 사용되고 있는 특정 어플리케이션의 조건에 기초하여 결정된다.
도 8에는 본 발명의 실시예에 따른 렌더링된 미디어 마크가 도시되어 있다. 미디어 마크(210)는 기하학적인 변동이 적용된 이미지(200)에 렌더링되는 텍스트 정보(205) 및 그래픽(260)을 포함한다. 예시된 실시예에서, 텍스트 정보(205) 및 그래픽(206)은 밝은 경계 영역(207) 및 어두운 내부 영역(208)으로 렌더링된다. 이미지에 적용된 기하학적 변동 중의 적어도 하나는, 텍스트 정보의 라인이 이미지의 에지에 평행하게 연장하지 못하도록 이미지를 부분적으로 회전시키는 것이다. 다른 실시예에서, 텍스트 및 그래픽은 단일 색상의 영역 또는 상이한 색상 조합의 영역을 이용하여 렌더링될 수 있다. 그 외에, 이미지 내의 다른 변동을 생성하기 위해 다양한 다른 필터, 변형 및/또는 프로세스가 사용될 수 있다(전술한 설명 참조). 또한, 삽입된 후의 미디어 마크의 가시도(visibility)를 더욱 감소시키기 위해, 미디어 마크 내의 라인을 단절시키는 필터 또는 폰트가 사용될 수 있으며, 의사 랜덤 노이즈 패턴이 미디어 마크에 적용될 수 있다.
미디어 마크를 삽입할 미디어의 선택
전술한 바와 같이, 본 발명의 실시예에 따른 미디어 마크는 미디어에 반복하여 삽입된다. 미디어 마크를 일정 시간 동안 연장하여 나타내지도록 하는 것은, 언커버링 처리가 미디어의 여러 부분으로부터의 결과물을 일정 시간에 걸쳐 누적하는 과정을 수반하기 때문에, 미디어 마크의 견고성을 증가시킬 수 있다. 미디어 마크가 일반적으로 미디어의 하나의 부분으로부터 복원될 수 없지만, 미디어의 각각의 부분은 전체 검출 결과에 기여한다. 심하게 열화된 미디어를 처리할 때, 미 디어 마크는, 더 긴 기간의 미디어를 이용하고 미디어의 더 많은 개개의 부분을 처리함으로써 언커버링될 수 있다(미디어의 개개의 부분에서 미디어 마크가 현저하게 약화된 경우에도). 다수의 실시예에서, 미디어에 걸쳐 미디어 마크를 분포시키는 것은, 주기적인 간격으로 미디어 마크를 삽입할 미디어의 부분을 선택하는 단계를 포함한다. 다른 실시예에서, 미디어 마크를 삽입할 미디어의 부분은 미디어의 부분의 특징에 기초하여 선택된다. 예컨대, 미디어 마크는, 미디어 마크의 존재가 관측 가능하게 되지 못할 미디어의 부분에만 삽입될 수도 있다.
도 9에는 본 발명의 실시예에 따라 미디어 마크를 삽입할 미디어의 부분을 선택하는 프로세스가 도시되어 있다. 이 프로세스(220)는 미디어의 제1 부분을 선택하는 단계(222), 미디어의 소정의 부분을 스킵(skip)하는 단계(224), 추가 미디어가 남아있는지를 판정하는 단계(226), 및 남아있는 추가 미디어가 없을 때까지 미디어의 또 다른 부분을 선택하는 단계(222)를 포함한다. 이러한 단계가 이루어진 시점에서, 프로세스가 완료된다(228).
비디오 시퀀스로부터 프레임을 선택하기 위해 사용되는 전술한 프로세스의 실시예에서, 미디어 마크는, 디지털 비디오의 모든 프레임에 삽입되거나, 디지털 비디오의 매 N번째의 프레임에 삽입되거나, 또는 디지털 비디오의 복수의 프레임에 랜덤하게 삽입될 수 있다. 다수의 실시예에서, 미디어 마크의 제1 부분은 매 N번째의 프레임에 삽입되고, 미디어 마크의 제2 부분은 디지털 비디오의 매 M번째 프레임에 삽입된다. 미디어에 걸쳐 반복적으로 미디어 마크의 상이한 부분을 삽입함으로써, 미디어 마크의 위치 확인의 곤란성 및 미디어로부터 미디어 마크를 제거하 는 복잡성이 증가될 수 있다.
도 10에는 미디어 마크를 삽입할 미디어의 부분을 선택하는 또 다른 프로세스가 도시되어 있다. 이 프로세스(240)는, 미디어의 부분을 검사하는 단계(242)와, 미디어의 그 부분이 적합한 특성을 갖는지를 판정하는 단계(244)와, 소정 세트의 기준에 따라 미디어 마크를 삽입하는 단계(246)를 포함한다. 예컨대, 이 기준은 미디어 내에서의 소정 레벨의 변동 및/또는 배경 잡음을 포함할 수 있다. 미디어 마크는 하이 레벨의 변동 및/또는 배경 잡음을 포함하는 미디어의 부분 내에 삽입될 시에는 검출이 쉽지 않다. 미디어의 부분의 특징이 적합한 것으로 결정되는 경우, 미디어 마크를 삽입할 미디어의 부분이 선택된다(246). 이 프로세스는 추가 미디어가 남아있는지를 판단한다(248). 추가 미디어가 존재하는 경우, 다음 부분의 특징이 검사된다(242). 미디어의 전부가 검사된 후, 이 프로세스는 종료된다(250).
다수의 실시예에서, 미디어 마크를 삽입할 미디어의 부분을 선택하기 위해 전술한 프로세스의 조합이 사용될 수 있다. 또한, 미디어 마크를 삽입할 미디어의 부분을 결정하기 위해 본 발명의 실시예에 따라 다른 프로세스가 사용될 수 있다.
미디어 마크와 미디어를 조합
본 발명의 실시예에 따라 미디어 마크를 미디어와 조합하기 위해 다양한 기술이 사용될 수 있다. 이 프로세스의 특성은, 통상적으로 미디어의 특성과, 특정 어플리케이션에서 지정된 비가시도(invisibility), 성능 및 포맷 조건에 좌우된다.
전술한 바와 같이, 미디어의 특성은 미디어 마크와 미디어를 조합하기 위해 사용된 프로세스에 영향을 준다. 미디어는 압축 또는 비압축될 수 있으며, 본 발명의 실시예에 따른 미디어 마크는 압축된 미디어 정보 또는 비압축된 미디어 정보 중의 하나와 조합될 수 있다.
도 11에는 본 발명의 실시예에 따라 미디어 마크와 미디어를 조합하는 프로세스가 도시되어 있다. 이 프로세스(260)는 미디어의 원본 부분을 삽입 도메인(embedding domain)으로 변형시키는 단계(262)를 포함한다(필요시). 일단, 삽입 도메인 내에서, 미디어의 원본 부분을 형성하는 정보가 미디어 마크의 정보를 포함하도록 수정된다(264). 이러한 수정은 통상적으로 미디어의 하나의 부분에서는 두드러지지 않는다. 미디어의 여러 부분에 걸쳐 선택된 위치에서의 약한 수정의 분포는 공간 및 시간 도메인을 이용하게 하며, 미디어에 삽입되는 3차원(즉, 높이, 폭 및 시간) 마크를 발생한다.
전술한 설명에서는 삽입 도메인을 참조하고 있다. 삽입 도메인은 미디어 마크가 삽입될 수 있는 정보의 특성이다. 예컨대, 비디오의 프레임 또는 이미지에 대한 삽입 도메인은 공간 또는 빈도 도메인(a spatial or frequency domain)이 될 수 있다. 미디어의 부분이 비디오의 프레임인 다수의 실시예에서, 삽입 도메인은 비압축된 공간 도메인이다.
본 발명의 실시예에 따른 미디어의 부분에 대한 수정은, 미디어 마크가 삽입될 미디어의 부분의 삽입 도메인에 적합한 어떠한 방식으로도 수행될 수 있다. 미디어 마크를 비디오의 프레임 또는 이미지와 조합하는 다수의 실시예에서, 이러한 조합은 원본 비디오 프레임의 휘도 성분에 미디어 마크를 픽셀 단위로 추가하는 것 이다. 중간 그레이 레벨 배경 상에 렌더링된 미디어 마크로부터, 중간 그레이의 값이 감산(substraction)되어, 중간 그레이 값이 프레임을 수정하지 못하게 되고, 삽입될 그래픽이 양의 번호와 음의 번호로 구성된다. 렌더링된 미디어 마크의 밝은 영역과 어두운 영역만이 미디어의 부분에 대한 수정을 제공한다.
도 12에는 본 발명의 실시예에 따라 비디오 프레임의 부분을 수정하는 프로세스가 도시되어 있다. 이 프로세스(280)는, 미디어 마크에 지각 마스크(perceptual mask)를 적용하는 단계(282)와, 삽입 강도를 나타내는 가중치를 미디어 마크에 적용하는 단계(284)와, 마스크되고 가중된 미디어 마크를 비디오 프레임 또는 이미지의 픽셀과 조합하는 단계(286)를 포함한다. 전술한 프로세스에서는 지각 마스크의 사용을 언급하고 있다. 지각 마스크는, 미디어의 부분에 대한 변경을, 이러한 변경이 관찰자에게는 잘 보이지 않게 될 영역으로 제한하기 위해 사용된다. 지각 마스크는 이하에서 더욱 구체적으로 설명된다.
다수의 실시예에서, 마스크되고 가중된 미디어 마크와 비디오 프레임 또는 이미지의 픽셀과의 조합은 다음의 수식에 따라 수행된다:
Figure 112008011859983-PCT00001
여기서, Sx ,y,f는 마크된 비디오의 번호가 f인 프레임 내의 위치 x,y에서의 픽셀이다. S는 허용된 픽셀 값 범위 내로 제한된다;
Ox ,y,f는 원래의 마크되지 않은 비디오의 번호가 f인 프레임 내의 위치 x,y에서의 픽셀이다;
Cx ,y는 렌더링된 미디어 마크 이미지의 위치 x,y에서의 픽셀이다;
V/2는 중간 그레이 레벨이다;
Mx ,y,f는 번호가 f인 프레임 내의 위치 x,y에서의 지각 모델(perceptual model)의 계산의 결과이다.
R은, 비디오 프레임 또는 이미지에 적용되는 수정(modification)의 강도의 정도와, 그 결과 이러한 수정이 가시화되는 정도 및 컨텐츠에 대한 수정에 대한 미디어 마크의 강도의 정도를 결정하는 견고성 값(robustness value)이다. R의 값이 더 높으면, 보다 가시적이 되기는 하지만, 미디어 마크가 적용된 저품질 버젼의 비디오에서 더 신속하게 검출될 수 있다는 점에서 수정에 대해 더욱 저항성을 나타내는 마크가 삽입될 수 있다. 바람직한 실시예에서, R의 값은 1이다.
다른 실시예에서는 미디어 마크가 비디오로부터 감산되며, 다수의 실시예에서는 배경(즉, 정보를 포함하지 못하는 미디어 마크의 영역)만이 마크되어, 네거티브 이미지(negative image)가 삽입된다. 일부 실시예에서, 미디어 마크는 유사 프레임 간의 차이로서 부호화된다. 유사성은 임계값(threshold value)으로 측정된다. 이 임계값은 고정되거나, 또는 예컨대 프레임의 5％가 적어도 하나의 다른 유사 프레임을 갖는 그룹 내에 있도록 비디오로부터 동적으로 결정될 수 있다. 부호화 시에, 서로 유사한 프레임 간에 차이가 제공된다. 미디어 마크에 의해 덮혀진 영역에 프레임 간의 차이를 제공함으로써 미디어 마크가 부호화된다. 이들 영역은 가시도에 관한 고려사항 또는 보안에 관한 고려사항에 따라 선택될 수도 있다.
전술한 바와 같이, 본 발명의 다수의 실시예는 휘도가 아닌 도메인 내의 비디오 프레임 또는 이미지를 수정한다. 다수의 실시예에서, 개개의 또는 몇몇의 컬러 성분 값이 수정된다. 컬러 성분은 lab, RGB, YUN, HSL 및 CMYK 등의 컬러 공간으로부터 구해질 수 있다. 삽입 도메인의 선택은 캐리어 미디어를 그 처리 도메인으로 변환하기 위한 처리 파워에 의해 결정된다. 이것은 재생 또는 다운로드 동안의 삽입과 같이 마크의 효율적인 적용이 요구되는 어플리케이션에 특히 관련된다. 미디어가 재생을 위해 비압축된 경우, 비압축된 도메인이 이용될 수 있으며, 휘도 도메인이 YUV 픽셀 포맷으로 이용 가능한 경우, 비압축된 픽셀 도메인이 마크에 적용하도록 사용될 수 있다. 비디오가 예컨대 다운로드 동안 압축된 도메인에서 이용 가능한 경우, 마크는 압축된 도메인에 적용될 수 있으며, 이에 대해서는 추가로 후술될 것이다.
지각 모델( Perceptual Model )
미디어 마크와 미디어의 일부를 조합하는 것에 대한 전술한 설명에서는 지각 마스크의 적용을 언급하고 있다. 지각 마스크는, 통상적으로, 미디어의 부분을 분석하고, 미디어의 부분에 대한 변경이 관찰자에게 덜 지각될 수 있는 곳을 식별하기 위해, 지각 모델을 이용하여 생성된다. 본 발명의 실시예에 따른 지각 모델은, 통상적으로, 마스크된 미디어 마크와의 조합에 의해 생성된 미디어의 부분에 대한 변경이, 미디어의 부분에 대한 변화를 감지하는 인간의 능력이 감소되는 영역에서 상대적으로 더 크게 되도록 하는 방식으로, 미디어 마크와 조합된다. 다수의 실시예에서, 지각 마스크는, 미디어의 부분에 대한 변경을 수행할 때에, 이루어질 수 있는 최대의 지각할 수 없는 수정을 형성한다.
지각 마스크가 미디어 마크와 비디오 프레임 또는 이미지를 조합하기 위해 생성될 때에는, 인간의 시각 시스템의 특성이 고려된다. 인간의 시각 시스템의 특성은, 어떠한 영역의 공간적 및 시간적인 주변 상황의 특징에 비추어, 비디오 프레임 또는 이미지에 대한 수정 내용(즉, 미디어 마크의 삽입된 정보)을 인간의 능력으로 볼 수 있도록 한다. 이러한 특징은, 밝기, 명암대비, 노이즈, 컬러, 및 시공간(time and space)에서 발생하는 이들 특징의 변화를 포함한다. 예컨대, 매우 어둡거나 매우 밝은 영역, 명암대비를 포함하고 있는 영역, 장면 변경과 같이 이전 프레임 또는 후속 프레임과 상이한 영역, 및 높은 빈도의 정보를 대량으로 포함하고 있는 영역에서는, 프레임에 대한 수정 내용이 지각될 가능성이 더 적다. 본 발명의 실시예에 따른 지각 모델은, 또한, 사용되는 디스플레이 장치에 따라 상이한 지각을 도모하도록 비디오를 디스플레이할 수 있는 장치를 고려할 수 있다.
이하에서는, 본 발명의 실시예에 따라 비디오 프레임 또는 이미지 내의 각각의 픽셀에 대해 허용된 수정의 정도를 나타내는 지각 마스크를 생성하는 프로세스를 설명한다. 다음의 표현식에서, Px ,y,f는 프레임 번호 f 내의 x, y 위치에서의 휘도의 픽셀 값을 나타낸다. 이 픽셀 값에 대한 최대치는 V이다. 또한, M은 하술된 몇몇의 두드러진 지각 특성에 대한 분석의 결과로 얻어진 비지각도 값(imperceptibility value) M1x ,y,f, M2x ,y,f 및 M3x ,y,f의 가중 합계이다. 다른 실시예에서, M은 동일하거나 또는 다른 비지각도 값의 함수로써 형성될 수 있다.
M1x ,y,f는 Px ,y,f에 대한 공간 명암대비 마스킹(Spatial Contrast Masking)의 측정치이며, Px ,y,f와 주변 픽셀들 간의 차의 절대치의 평균으로서 측정된, 그 픽셀에 대한 명암대비이다. 다음의 수식은 640×480 픽셀의 프레임 사이즈에 적합한 3×3 픽셀의 영역에 대한 이러한 계산을 정의하고 있다:
Figure 112008011859983-PCT00002
M1x ,y,f에 대한 전술한 수식은 계산의 개수를 증가시키고 더 큰 프레임 사이즈에 대해서는 더 큰 반경을 사용함으로써 640×480을 초과하는 프레임 사이즈 또는 640×480 미만의 프레임 사이즈에 대응하는 픽셀 영역에 대해 용이하게 적합화될 수 있다.
M2x ,y,f는 Px ,y,f의 밝기이며, 다음의 수식에 의해 결정되는 바와 같이 매우 어두운 영역 및 매우 밝은 영역에 대해서는 높은 값을 갖는다.
M2 = │Px ,y,f - V/2│, 여기서 V/2는 중간 그레이이다.
M3x ,y,f는 시간적 명암대비 마스킹(Temporal Contrast Masking)이며, Px ,y,f와 이전 프레임의 동일한 위치에서의 픽셀 간의 절대치, 즉 M3x ,y,f = │Px ,y,f-1 - Px ,y,f│이다.
이 프로세스의 일부로서, 비지각도 값(M1∼M3)은 0 내지 1 범위의 값을 갖도 록 정규화된다. M1 내지 M3는 특정한 프레임 컨텐츠 또는 예외적인 프레임 컨텐츠에 대한 극치(extreme value)를 방지하기 위해 최대값으로 제한될 수 있다.
비지각도의 가중 합계는 다음의 계산에 의해 결정된다:
Figure 112008011859983-PCT00003
여기서, W1은 M1에 대한 가중치이고, W2는 M2에 대한 가중치이며, W3는 M3에 대한 가중치이다.
가중치(W1, W2, W3)는 지각 마스크에 대한 지각 특성의 영향을 결정하며, 가시도 테스트(visibility test) 또는 비디오 컨텐츠에 따라 다시 정해질 수 있다. 바람직한 실시예에서, M1 및 M3는 1의 가중치를 가지며, M2는 0.5의 가중치를 갖는다.
전술한 설명은 공간 도메인에 대한 지각 마스크의 생성을 설명한다. 다수의 실시예에서, 압축 컨텐츠가 마크될 때, 압축을 위해 사용된 정보가 지각 모델을 위해 사용된다. MPEG1 및 MPEG2에 사용된 일반적인 압축 성분에는, 이전 프레임의 프레임 컨텐츠가 상이한 위치에서 재사용되고 있는 것을 나타내는 움직임 벡터(motion vector)가 있다. 움직임 벡터는 수반되는 움직임의 양을 결정하며, 이것은 지각 모델에 대해서는 중요한 특성이다. 길이가 긴 움직임 벡터를 갖거나 또는 움직임 벡터를 갖지 못하는 프레임은 통상적으로 이전 프레임에 대한 유사성을 거의 갖지 않는다. 압축 프레임 또는 압축 영역의 크기는 프레임 또는 영역 내의 노이즈 또는 빈도에 대한 표시가 될 수도 있다. 많은 빈도가 나타나고 있다면, 그 프레임은 상당한 양의 정보를 포함하고 있으며, 지각적 열화(perceptual degradation) 없이 마크될 수 있다. 지각 마스크를 생성하기 위해 압축 정보를 이용함으로써, 시간이 많이 소요되는 분석에 의하지 않고서도 이미지 구조 및 특징에 대한 유용한 정보를 얻을 수 있다. 그 데이터는, 삽입 전에 미디어 마크를 지각적으로 형성하고, 특정 영역에의 삽입의 강도를 동적으로 적합화하기 위해 사용될 수 있다.
여러 실시예에서, 비디오 시퀀스 또는 이미지 모음에 대한 지각 모델의 생성은 1회 수행되며, 비디오 시퀀스 또는 이미지 모음의 여러 개의 지각적으로 마크된 카피에 적용된다. 생성된 정보는 또한 압축되고, 전자 공학적으로 전송되며, 추후의 단계에서 적용될 수 있다. 예컨대, 지각 모델은 별도로 저장되고, 저장된 미디어의 수정없이 비디오 시퀀스 또는 이미지 모음의 각각의 재생 동안 적용될 수 있다. 별도의 지각 모델의 저장은 유연한 방식으로 인에이블되거나, 디스에이블되거나 또는 수정될 수 있는 임시 마스크를 가능하게 한다.
본 발명의 실시예에 따른 삽입 프로세스에 대한 예시가 도 13에 도시되어 있다. 메시지 "ABC 12ⓒ"(301)가 미디어 마크(305)를 형성하기 위해 부호화되어 렌더링된다. 삽입하는 동안, 이러한 삽입 동안에 수정되는 영역에 대해 지각 마스크(310)가 생성된다. 이 경우에는 지구 형상(315)의 비디오 프레임과 미디어 마크(305)가 지각 마스크(310)에 따라 조합되어, 삽입된 미디어 마크(320)를 갖는 프레임이 만들어진다.
다수의 실시예에서, 지각 모델이 유사 프레임에 대해서는 유사한 결과를 제 공할 것이기 때문에, 미디어 마크는 유사한 프레임에서는 유사한 방식으로 삽입된다. 유사한 프레임에 대해 유사한 결과를 생성하는 성능은, 시각적으로 유사한 2개의 프레임에서 나타나는 차이를 비교함으로써 미디어 마크의 특성을 결정하기 위해 통계적인 분석을 이용하는 것을 방지할 수 있다. 또한, 각각의 프레임에 유사한 방식으로 미디어 마크를 삽입하는 것은, 미디어 마크가 삽입되는 비디오 시퀀스의 프레임들을 함께 평균화하거나 또는 비디오 시퀀스의 프레임들의 순서를 변경함으로써 생성되는 어떠한 새로운 비디오 시퀀스에 미디어 마크가 나타나게 될 가능성을 증가시킨다.
다수의 실시예에서, 지각 모델은 간략화될 수 있으며, 삽입된 기호의 양과 크기 및 수정될 픽셀은 성능 상의 조건에 따라 변화될 수 있다. 또한, 원본 비디오는, 더 많은 양의 정보를 감추기 위해, 여러 개의 단편(section)으로 분할되어, 상이한 미디어 마크로 마크될 수 있다.
미디어 마크와 압축 미디어를 조합
여러 실시예에서, 수정은 압축 요소를 수정함으로써 수행된다. 실제적인 조합뿐만 아니라 지각 모델의 분석은 DCT, 웨이브렛(Wavelet), 및 고속 퓨리에 등의 일반적인 압축 도메인으로 수행될 수 있다. 프레임뿐만 아니라 미디어 마크는 특정 도메인으로 표현되어 조합된다. MPEG1, MPEG2 및 MPEG4에서 사용되는 DCT 도메인에 대해, 공간적 명암대비 측정치 M1은 Px ,y,f를 포함하고 있는 블록의 모든 DCT 성분들의 합계의 절대치이며, 밝기 측정치 M2는 DC 성분의 값으로부터 구해지며, 시간적 명암대비 측정치 M3는 현재 프레임에서의 빈도와 이전 프레임에서의 빈도 간의 차이의 절대치의 합계이다. DCT 압축 프레임과 미디어 마크의 조합은 대응하는 DCT 계수의 가산치이며, 다음과 같이 계산될 수 있다:
마크된 프레임 DCT 성분 = 원본 비디오 DCT 성분 + (미디어 마크 DCT 성분 - 중간 그레이 값 DCT 성분) * M * R
다른 실시예에서, 미디어 마크는 웨이브렛 또는 고속 퓨리에 도메인 등의 상이한 도메인에 삽입된다. 미디어 마크를 변형된 도메인 내의 미디어의 부분과 조합할 때에, 미디어 마크는 변형된 도메인 또는 공간적 도메인에서 인간에 의해 인식 가능하게 될 수 있다. 예컨대, 마크의 공간적 표현이 원본 비디오의 변형된 도메인에 삽입될 수 있거나(즉, 언커버링되지 않은 미디어 마크가, 변형된 도메인에서는, 고속 퓨리에 변환된 이미지에서 볼 때에서 눈에 보여질 수 있는 이미지로 인식 가능), 또는 마크의 변형된 표현이 원본 비디오의 변형된 도메인에 삽입된다. 공간적인 정보를 변형된 도메인에 삽입하는 것은, 노이즈로서가 아니라 인간에 의해 판독 가능한 기호로서 인식될 수 없는 아티팩트(artifact)를 발생할 수 있다.
다수의 실시예에서, 정보는 복수의 삽입 도메인에 삽입된다. 복수의 도메인에 정보를 위치시키는 것은, 미디어 마크가 삽입되는 미디어의 조작이 모든 미디어 마크 정보의 제거를 초래할 것이라는 가능성을 감소시킬 수 있다. 상이한 도메인은 또한 각각의 사용자에 대해 독립적으로 삽입되는 상이한 정보를 위한 캐리어로서 작용할 수 있어, 동일한 컨텐츠에서 상이한 위치 및 시각에 적용되는 여러 개의 독립적인 마크를 안전하게 한다.
삽입 위치의 수정
다른 실시예에서, 삽입 위치는 미디어 마크를 허가없이 제거하는 것을 방지하기 위해 암호 프로세스(cryptographic process)로 안전하게 된다. 이 프로세스는 키 또는 키 시퀀스에 따라 삽입 위치를 변화시키는 것을 수반한다. 이 키 시퀀스는 시간(time interval)을 두고 의사 랜덤 방식으로 생성되거나, 또는 삽입될 페이로드로부터 생성되거나, 또는 사용자에 의해 제공될 수 있다. 본 발명의 일부 실시예에서, 각각의 프레임에서 변동이 적용되며, 다른 마크보다 강한 마크를 삽입하기 위해 프레임의 동일한 지점들이 이용된다. 이들 변동은 프레임마다 상이하며, 상이한 영화에서는 동일한 프레임들에 대해 상이하다. 이러한 변동은 키에 대한 지식 없이는 완벽한 버젼의 삽입 프로세스를 방지한다. 이 키는 미디어 마크의 언커버링 또는 인식을 위해서는 요구되지 않기 때문에 비대칭형(asymmetric) 암호화 방식의 것이다. 키는 미디어 마크를 삽입 및 제거하기 위해서만 요구된다. 이 키는 제거가 요구되지 않을 경우에는 삽입 후에 폐기될 수 있다.
본 발명의 다른 실시예에서, 프레임 내의 그래픽의 위치를 변경함으로써 프레임 시퀀스에 변동을 적용하기 위해 또 다른 키 또는 키 시퀀스가 사용된다. 이 키 시퀀스는 시간을 두고 의사 랜덤 방식으로 생성되거나, 또는 삽입될 페이로드로부터 생성되거나, 또는 사용자에 의해 제공될 수 있다. 키 시퀀스에 따라서는, 상이한 프레임 시퀀스가 상이한 위치에 그래픽을 포함할 것이며, 그 구간의 영화가 상이한 마크를 포함할 것이다. 컨텐츠를 제거하기 위한 시도가 통상적으로 전체 영화에 가해지기 때문에 보안이 향상되며, 마크가 하나의 구간에 영향을 미칠 동안 에는 다른 구간에 현저하게 영향을 주지 않을 것이다. 이 키 시퀀스는, 프레임 시퀀스를 동일한 위치의 미디어 마크로 식별하기 위해 언커버링하는 동안 유용할 수 있으므로, 언커버링을 위해 저장될 수 있다.
미디어 마크를 오디오에 삽입
전술한 다수의 실시예가 미디어 마크를 비디오에 적용하는 것에 대해 설명하고 있지만, 비디오에 대해 설명한 것과 동일한 방식으로 오디오에도 오디오 미디어 마크가 부가될 수 있다. 미디어 마크는 신호 톤, 단어 발음 또는 숫자 발음으로 이루어진 짧은 오디오이다. 미디어 마크(오디오 마크)는 청취가 가능하지 않은 약한 방식으로 미디어 컨텐츠에 반복적으로 삽입된다. 일실시예에서, 오디오 마크는 이러한 수정이 보다 작게 들리는 곳에서는 더 강한 마크를 적용하여 지각적으로 형성된다. 다수의 다른 청취 가능한 주파수가 존재하는 기간이 있다. 오디오에 고역 통과 필터를 적용하고 짧은 오디오 마크의 길이의 서브섹션(subsection)을 평균화함으로써 언커버링이 수행된다.
다수의 실시예에서, 오디오 미디어 마크는 길이가 S 초이고, 지각적으로 성형되며, 오디오에 반복적으로 부가된다. 검출 동안, 디지털 오디오는 길이가 S 초인 단편(section)들로 나누어진다. 이 단편들은 감춰진 사운드가 인간에게 청취 가능하게 될 때까지 고역 통과 필터로 처리되고 평균화된다.
렌즈를 이용하여 비디오에 미디어 마크를 삽입
본 발명의 실시예는 미디어 마크를 미디어에 삽입하기 위해 디지털 기술 외에 아날로그 기술을 이용할 수 있다. 도 13a에는 본 발명의 실시예에 따라 렌즈를 이용하여 비디오 시퀀스에 미디어 마크를 삽입할 수 있는 시스템의 실시예가 도시되어 있다. 이 시스템은 비디오 프로젝터(605) 또는 레코더와 함께 렌즈(610)를 이용하여 아날로그 비디오에 미디어 마크를 삽입한다. 렌즈(610)는 투영 동안 또는 비디오의 레코딩 동안 마크를 삽입하기 위해 사용된다. 렌즈(610)는 하나 이상의 반투명 캐릭터(615)를 포함한다. 캐릭터(615)는 미디어 마크로서 기능하며, 비디오에 대한 식별 정보를 표현한다. 이 렌즈를 통해 비디오가 투영될 때, 디스플레이된 비디오 상에 식별 정보가 오버레이되며, 투영된 비디오에 캐릭터가 약하게 중첩되어, 그에 따라 본 발명에서 개시된 디지털 프로세스와 유사하게 투영된 비디오에 대한 수정된 형태를 생성한다. 이들 캐릭터의 투명도는, 이들 캐릭터가 통상적으로 투영된 이미지(예시를 목적으로 도 13a에 도시된) 상에서 지각 가능하게 되는 정도보다는 약하지만, 투영된 이미지를 약하게 변경시키기에 충분한 정도로 강하게 조정된다. 이러한 변화는, 본 발명에서 개시된 과정을 이용하여, 디지털 버젼의 재기록된 컨텐츠로부터 언커버링될 수 있다. 다른 실시예에서, 렌즈는 프로젝터에 견고하게 고정되거나 또는 변조 방지 시일(tamper evident seal)로 밀봉된다. 이러한 응용은, 투영된 비디오에 영화 식별 정보를 감추고, 기록 시에 동화상 컨텐츠를 보호하는데 유용하다. 다른 실시예에서, 미디어 마크를 삽입하는 것은 카메라 렌즈로 수행되며, 레코딩을 위해 사용된 카메라를 식별하기 위해 사용된다.
미디어 마크를 언커버링
본 발명의 실시예에 따라 미디어 마크에 삽입된 미디어 마크를 언커버링하는 것은, 통상적으로 미디어 마크가 삽입되는 미디어의 부분들 간의 미세한 차이를 강 조하도록 설계된 프로세스를 사용하는 것을 수반한다. 차이를 강조함으로써, 삽입 프로세스에 의해 제공된 미디어의 미세한 변경부가 강조되는 결과를 얻는다. 미디어의 몇몇 결과에 걸쳐 결과를 누적함으로써, 그 차이가 인식을 위해 디스플레이될 수 있다. 다수의 실시예에서, 추출된 미디어 마크의 인식 및 해석은 인간에 의해 수행된다. 인간의 지각 능력은 간혹 열화된 이미지 또는 오디오의 인식에 매우 적합하게 되어 있다. 다수의 실시예에서, 미디어 마크는 미디어의 복수의 부분으로부터 정보를 조합함으로써 언커버링되며, 정보가 조합될 때에 검사가 수행된다. 미디어의 상이한 부분으로부터 복수의 부분을 이용하는 성능은, 미디어 마크를 언커버링하기 위해 미디어의 동기화가 요구되지 않는다는 것을 의미한다. 정보의 조합과 동시에 검사가 수행될 때, 사용자는 미디어 마크가 충분히 명확하게 언커버링된 후에는 조합 프로세스를 중단할 수 있다. 다른 실시예에서, 미디어의 모든 부분이 조합되거나, 또는 미디어의 소정의 부분이 조합될 수 있으며, 그 후 검사가 수행된다.
도 14에는 본 발명의 실시예에 따라 미디어에 삽입된 미디어 마크를 언커버링하여 인식하고 해석하는 프로세스가 도시되어 있다. 이 프로세스(340)는, 미디어의 제1 부분을 선택하는 단계(342)와, 미디어 마크를 강조하기 위해 미디어의 추가의 부분으로부터의 정보를 제1 부분과 조합하는 단계(344)를 포함한다. 그 후, 조합된 정보가 검사되며(346), 미디어 마크가 인식을 수행하기에 충분한 선명도(clarity)로 언커버링되었는지에 관한 판단이 이루어진다(348). 미디어 마크가 충분히 언커버링되지 않은 때에는, 미디어 마크가 언커버링될 때까지, 미디어의 추 가의 부분으로부터의 정보가 이전에 조합된 정보와 조합된다(344). 미디어 마크가 언커버링되고 나면, 인식이 수행될 수 있다(350).
다수의 실시예에서, 미디어의 부분으로부터 정보를 조합하는 것은 고역 통과 필터를 필요로 한다. 이것은 각각의 픽셀에 픽셀을 둘러싸는 N×N 픽셀 영역(예컨대, 9×9) 상의 히스토그램 스트레치(histogram stretch)에 대응하는 값을 할당하여 각각의 프레임의 각각의 픽셀을 처리함으로써 구현될 수 있다. 이러한 동작은 특정 버젼의 고역 통과 필터이다. 일부 실시예에서, 언커버링 프로세스는 키에 무관하게 적용되며, 비디오의 컨텐츠에 따라서만 비디오의 모든 위치를 처리한다. 다른 실시예에서, 미디어는 전술한 바와 같이 키에 의해 정해진 구간에서 처리된다. 다수의 실시예에서, 미디어 마크를 강조하기 위해, 명암대비 향상, 언샤픈 마스크(unsharpen mask), 히스토그램 스트레치와 같은 히스토그램 기능, 레벨 자동 조정(auto to level), 및 소벨 필터(sobel filter) 또는 다른 에지 검출 필터 등의 필터를 이용한 필터링의 적용 등의 처리가 이용된다. 여러 실시예에서, 복수의 프레임이 평균화되고, 그 후 필터링 처리가 가해진다. 다른 실시예에서는, 복수의 프레임이 필터링되고, 그 후 미디어 마크를 강조하기 위해 필터링된 프레임이 평균화된다.
도 15에는 본 발명의 실시예에 따라 비디오 시퀀스에 삽입된 미디어 마크를 언커버링하기 위한 프로세스가 도시되어 있다. 전술한 바와 같이, 언커버링 프로세스는 미디어의 상이한 부분에 공통되는 미세한 정보를 강조하는 과정을 수반한다. 예시된 실시예에서, 언커버링 프로세스는 재기록, 재부호화 또는 필터링 등의 일부 변형을 거치게 될 수도 있는 마크된 비디오에 적용된다.
먼저, 미디어 마크를 포함할 수도 있는 비디오 시퀀스가 언커버링 프로세스를 위해 선택된다(405). 그 비디오 시퀀스로부터 비디오의 프레임이 획득된다(410). 필요하다면, 프레임은 검출 도메인으로 변형된다. 일부 실시예에서, 검출 도메인은 압축되지 않는다. 이 프레임으로부터, 미디어 마크를 강조하는데 적합한 픽셀의 관련 영역이 선택된다(415). 미디어 마크의 삽입 이후에 비디오가 겪게되는 열화에 따라서는, 미디어 마크로 인한 변경이 각각의 프레임의 일부 영역에서 더 강하게 될 수 있으며, 그에 따라 미디어 마크를 언커버링하기 위해 더욱 중요하게 된다. 이러한 중요한 영역은, 이전의 프레임에 비해 차이를 갖는 픽셀의 영역, 많은 양의 저빈도 정보를 포함하는 픽셀의 영역, 또는 일반적으로 미디어 마크를 언커버링하는 데 적합한 픽셀의 영역을 포함할 수 있다. 그 후, 픽셀의 영역 내의 미세한 차이가 강조된다(420).
그 후, 언커버링된 프레임들이 조합되며(425), 그 결과가 검출을 위해 인간 관찰자에게 제공된다(430). 일부 실시예에서, 그 결과는, 데이터베이스 엔트리를 탐색하거나, 장치로 하여금 기록을 멈추도록 하거나, 또는 비디오가 합법적인 카피라는 것을 소유자 또는 원래의 수취인에게 통보하기 위해 사용될 수 있다.
다수의 실시예에서, 미세한 차이를 강조하기 위한 프로세스는 각각의 컬러 도메인(적색, 녹색 및 청색 등)에서 각각의 프레임 f의 각각의 위치 x,y에서의 각각의 픽셀 Px ,y,f에 대해 이하의 프로세스를 적용하는 과정을 포함한다. 이 프로세 스는 N×N 고역 통과 필터의 적용을 포함한다(전술한 설명 참조):
A. 영역 Gx ,y,f을 선택. 이 영역은 픽셀 Px ,y,f 주위의 영역이다. 이 예에서, Gx ,y,f의 크기는 9×9 픽셀이며, 이 경우에서는 4개의 코너 (x-4, y-4), (x+4, y-4), (x-4, y+4), (x+4, y+4)의 픽셀 위치에 의해 정해진다. 영역의 크기, 폭 및 높이는 비디오에 가해지는 변경 및/또는 프레임 해상도에 따라 변할 수 있다.
B. 영역 Gx ,y,f 상의 히스토그램 스트레치를 계산함으로써 영역 Gx ,y,f 내의 픽셀 간의 차이를 강조. 그 후, 값 Lp'x ,y,f(히스트로그램 스트레치의 결과)가 아래에 설명된 수식에 따라 픽셀 Px ,y,f의 위치에 저장된다:
Figure 112008011859983-PCT00004
여기서, Lminx ,y,f은 영역 Gx ,y,f 내의 임의의 픽셀의 최저값이며,
Lmaxx ,y,f은 영역 Gx ,y,f 내의 임의의 픽셀의 최고값이며,
Lp'x ,y,f은 픽셀 Px ,y,f에 대한 이러한 히스토그램 스트레치의 결과이며,
V는 최대 픽셀 값이고, 최소 픽셀 값은 0이다.
C. 아래의 수식에 나타낸 바와 같이, 프레임 전부에 걸친 Lp'의 평균치로서, 언커버링된 미디어 마크의 위치 x,y에서의 대응하는 픽셀 Ex ,y를 결정함으로써, 각각의 위치 (x,y)에서의 각각의 픽셀에 대해 처리된 프레임을 평균화함.
Figure 112008011859983-PCT00005
여기서, Nf는 언커버링 프로세스를 위해 사용된 마크된 프레임의 총수이고,
Ex ,y는 위치 x,y에서의 언커버링된 미디어 마크의 픽셀이다.
여러 실시예에서, 전술한 알고리즘의 단계 B는 명암대비 향상, 언샤픈 마스크, 고역 통과 필터, 히스토그램 스트레치, 히스토그램 등화, 및 에지 검출 필터에 의해 시행된 바와 같은 에지 검출을 포함한다. 최상의 결과는 비디오 컨텐츠 및 열화에 따라 변할 수 있다. 상이한 언커버링 방식의 결과는 임의의 소정의 어플리케이션에서의 인식을 위한 최상의 결과를 선택하기 위해 인간 조작자에 의해 분석될 수 있다.
다수의 실시예에서, 검출은 예컨대 픽셀 대신 DCT 압축 프레임 내의 DC 계수와 같은 압축된 성분을 직접 이용하여 수행된다. MPEG1, MPEG2 또는 H.264와 같은 DCT 압축 비디오를 이용할 때, DCT 블록은 분석될 영역이 될 수 있다. 이와 달리, 비디오 시퀀스가 충분히 높은 해상도(예컨대, 640×480 픽셀)를 갖는다면, 개개의 픽셀 대신, DC 성분이 분석될 수 있다.
본 발명의 실시예에 따라 미디어 마크를 언커버링하기 위해 원본 비디오 시퀀스가 요구되지 않기는 하지만, 원본 비디오에 대한 액세스는 언커버링된 미디어 마크의 선명도를 실질적으로 향상시킬 수 있다. 원본 비디오 프레임은 처리 이전에 미디어 마크로 마크된 프레임으로부터 추출될 수 있다.
도 16에는 본 발명의 실시예에 따라 비디오 시퀀스에 적용된 언커버링 프로세스의 예가 도시되어 있다. 3개의 디지털 영화 프레임(505, 510, 515)은 예시를 위해 눈에 보이는 삽입된 미디어 마크를 갖는 것으로 도시되어 있다. 각각의 비디오 프레임(505, 510, 515)은 전술한 바와 같이 미디어 마크를 강조하기 위해 처리된다. 이러한 처리는 각각 3개의 수정 프레임(520, 525, 530)을 생성한다. 수정 프레임(520, 525, 530)은 전술한 바와 같이 조합되어, 인간에 의해 판독될 수 있는 눈으로 볼 수 있는 언커버링된 미디어 마크(540)가 획득된다.
미디어 마크가 비디오 시퀀스 또는 이미지 모음에서 언커버링될 때, 인간의 시각 시스템은 통상적으로 등록을 수행할 수 있으며, 비디오 시퀀스 또는 이미지 모음에 가해지는 회전, 시프팅, 및 스트레칭 등의 변형에 의한 어떠한 기하학적 왜곡에도 불구하고 캐릭터를 인식할 수 있다. 기하학적 왜곡의 소스는 캠코더로 재기록하는 등의 비디오의 처리 동안에 나타나는 기하학적 변형을 포함할 수 있다. 또한, 언커버링된 미디어 마크는, 비디오가 워터마크를 파괴하기 위해 의도적으로 가해진 기하학적 변형을 갖는 경우 또는 비디오가 현저하게 열화되는 경우(예컨대, 압축, 변형, 색상 변환, 노이즈의 합산 등에 의해)에도 여전히 판독 가능하다.
미디어 마크의 장치 인식
다른 실시예에서, 미디어 마크는 컴퓨터에 의해 판독 가능한 정보로 구성된다. 미디어 마크가 언커버링 과정으로 언커버링된 후, 언커버링된 미디어 마크는 자동화된 판독 출력을 가능하게 하기 위한 장치에 의해 해석된다. 장치에 의해 판독 가능한 정보는 캐릭터(OCR-폰트형 : OCR-A 또는 OCR-B), 바코드(예컨대, 선형 바코드, 다층형 바코드, 2D 바코드) 또는 컴퓨터가 인식할 수 있는 기호와 같은 장치에 의해 판독 가능한 요소를 포함할 수 있다. 바코드에 대한 예는 다음의 기호 표시법, 즉 "UPC", "Interleaved 2 of 5", "Code 39", "Code 93", "Code 128", "EAN"과, PDF417 등의 다층형 바코드와, Aztec Code, Bullseye, DataGlyphs, Datamatrix, Dot Code 등의 기호 표기법을 갖는 매트릭스 코드로도 지칭되는 2D 바코드를 포함한다. 인식을 위해서는 바코드 판독, 패턴 인식 또는 광학 문자 인식이 사용된다.
미디어 마크를 제거
삽입 프로세스 동안, 비디오 데이터의 일부만이 수정된다. 그러나, 언커버링을 위해서는 비디오 데이터의 전부가 사용된다. 결과적으로, 개개의 변경의 정확한 위치는, 언커버링되지 않은 미디어 마크가 인식될 수 있는 경우에도, 언커버링 프로세스를 분석 또는 리버스 엔지니어링 처리함으로써 관측될 수 없다. 따라서, 미디어 마크는, 제거를 위해 삽입 위치 및 수정이 알려져야만 하기 때문에 허가되지 않은 제거에 대해서 보호된다. 그러나, 삽입 프로세스는 미디어 마크, 삽입 파라미터 및 모든 후속 수정이 알려져 있는 경우에는 되돌려질 수 있다. 미디어 마크의 제거가 요구되는 경우, 삽입 프로세스가 반대로 적용되어, 영상을 마크되기 이전의 것으로 할 수 있다. 미디어 마크를 제거하는 처리는 필수적으로 삽입 프로세스를 반대로 적용하기 위해 삽입 프로세스에 대한 지식을 이용하는 과정을 포함한다.
응용예에 대한 설명
전술한 시스템 및 기술은 실제로 무한한 범위의 응용예로 사용될 수 있다. 본 발명의 실시예에 따른 시스템 및 프로세스가 이용될 수 있는 일련의 응용의 예가 아래에 제공되어 있다.
- 보안 정보 또는 저작권 보호 정보의 허가되지 않은 분배의 추적
여러 산업분야에서 직면하고 있는 문제점은 정보를 허가없이 분배하는 것이다. 본 발명의 실시예에 따른 시스템 및 프로세스는 미디어의 수신 또는 디스플레이 시에 미디어 정보에 미디어 마크를 삽입하기 위해 이용될 수 있다. 각각의 분배된 복사본은 수취인 식별 정보 및 타임 스탬프 등의 정보로 고유하게 마크될 수 있으며, 그 복사본이 공공연하게 이용될 수 있게 되거나 또는 정보를 소유하도록 허가되지 않은 단체 또는 개인의 소유 하에 있다면, 수취인 식별 정보 및 타임 스탬프 등의 정보가 언커버링될 수 있고, 미디어의 수취인인 동시에 허가되지 않은 분배의 소스인 단체 또는 개인이 식별될 수 있다.
여러 경우에, 생산 또는 허가된 분배 동안 여러 상이한 단체 및/또는 개인 간에 보안 정보 또는 저작권 보호 정보가 건네진다. 여러 실시예에서, 분배 전에 정보의 최종 수취인과 관련된 미디어 마크를 삽입함으로써, 정보가 허가없이 분배되는 지점을 확인할 수 있다. 그러므로, 미디어에 부가된 최종 미디어 마크에 기초하여, 허가되지 않은 분배에 대한 책임을 갖는 단체 또는 개인이 식별될 수 있다.
저작권 보호된 정보가 분배되는 일반적인 예는 저작권 보호된 미디어가 네트워크를 통해 미디어 플레이어에 분배되는 것이다. 다수의 실시예에서, 플레이어는 셋톱 박스 또는 개인용 컴퓨터 등의 소비자 전자 장치이다. 저작권 보호된 미디어는 통상적으로 압축 및 암호화된 형태로 플레이어에게 분배된다. 암호해독 후, 미디어 마크는 플레이어의 소유자에 관한 정보 및 송신 또는 재생 시점을 식별하는 정보를 포함할 수 있다. 정보의 수취인이 알려지게 되면, 삽입될 정보가 미디어를 제공하는 서버(또는 헤드 엔드)에 의해 생성될 수 있다. 삽입된 정보는 또한 서버에 의해 데이터베이스에 저장될 수 있으며, 이 데이터베이스는 사용자의 과금 정보 및 수신 장치에 대한 세부사항 등의 트랜잭션(transaction)에 대한 추가의 정보를 포함하고 있다. 다른 실시예에서, 플레이어는, 저장 및/또는 재생 동안 미디어 마크로서 삽입되는 플레이어 식별 정보 및 시각 등의 정보를 보유한다.
허가되지 않은 분배를 일반적인 문제점으로 하는 또 다른 예는 미디어의 생산이다. 생산 동안, 컨텐츠는 미디어의 생산자에 대해 현저한 피해를 초래할 수 있는 허가되지 않은 분배에 특히 취약하다. 다수의 실시예에서, 미디어의 수취인 및 미디어의 수취 시각을 식별하는 미디어 마크가 다양한 생산 단계 동안 미디어에 삽입된다. 카피가 공공연하게 이용 가능하게 된다면, 미디어 마크가 언커버링될 수 있고, 그 책임을 갖는 개인 또는 단체가 식별될 수 있다.
전술한 실시예의 대다수에서, 분배된 미디어에 대해 지각 모델이 생성되며, 미디어와 함께 저장되거나 분배된다. 그러므로, 지각 모델은 미디어에 삽입되는 미디어 마크로서 이용될 수 있다. 다른 실시예에서, 지각 모델은 미디어에 미디어 마크가 삽입되는 때마다 생성된다.
- 소유권의 증명
미디어가 공공연한 분배에 놓이게 된 이후, 미디어의 저작권에 대한 소유권을 증명하는 것이 문제가 될 수 있다. 다수의 실시예에서, 미디어 마크는 컨텐츠의 소유권을 증명하기 위해 미디어에 삽입된다. 다수의 실시예에서, 미디어 마크는 저작권 보호된 컨텐츠에 대한 소유권 또는 식별 정보를 포함한다. 이 마크는 자동으로 판독될 수 있으며, 그 존재의 여부가 평가되어, 분배를 제한하거나 허용하고, 또는 미디어를 분배하는 소스가 미디어의 합법적인 분배자인지에 대해 식별한다. 이 마크는 또한, 컨텐츠에 대한 권리를 획득하는 것에 관심을 갖고 있는 단체 또는 개인이 삽입된 미디어 마크를 언커버링함으로써 그 컨텐츠의 소유자를 식별할 수 있도록 사용될 수도 있다. 소유자를 식별하는 미디어 마크에 대한 또 다른 사용예는, 예컨대 더 이상의 분배를 방지하기 위해 특정 소유자 또는 소유자의 집단에 의해 소유된 컨텐츠를 인터넷을 통해 접속할 수 있는 데이터베이스와 같은 공공연하게 이용 가능한 데이터베이스 내의 컨텐츠를 자동으로 식별하는 것이다.
- 견고한 메타 정보를 저장(Storing Robust Meta-Information)
장기간의 저장 및 문서보관 동안, 미디어와 함께 저장된 정보는 우연히 삭제되거나 또는 판독이 불가능하게 되는 이유로 상실될 수 있다. 본 발명의 다수의 실시예는 미디어 마크를 이용하여 미디어에 관한 정보를 저장하도록 구성된다. 미디어 마크를 이용하여 정보를 저장함으로써, 포맷 변경 후에도 정보가 복원될 수 있으며, 추가의 저장 공간을 필요로 하지 않는다.
- 복사 제어
다수의 실시예에서, 장치에 의해 판독 가능한 강력한 미디어 마크가 미디어 에 삽입될 수 있다. 그러므로, 미디어 마크는 미디어의 재생 및/또는 기록을 제어하기 위해 플레이어에 의해 사용될 수 있다. 플레이어는 미디어 마크를 언커버링할 수 있으며, 미디어를 재생하기 위해 요구되는 허가를 확인할 수 있다. 플레이어가 적합한 허가를 갖는다면, 플레이어는 미디어를 플레이하거나 또는 그렇지 않은 경우에는 재생을 거부할 수 있다.
- 방송 모니터링
본 발명의 실시예에 따른 장치에 의해 판독 가능한 미디어 마크는 또한 텔레비젼 또는 라디오 방송국에 의한 미디어 방송에 삽입될 수도 있다. 그러므로, 장치에 의해 판독 가능한 미디어 마크는 방송되는 컨텐츠를 자동으로 기록하고 방송 주파수 및 시각을 추적하기 위해 수신기 장치에 의해 사용될 수 있다. 미디어에 삽입된 미디어 마크는 각각의 작업 및 방송에 대해 구분될 수 있다.
- 보안 통신
전술한 바와 같이, 미디어 마크는 미디어를 이용하여 보안 정보를 송신하기 위해 사용될 수 있다. 미디어의 송신이 관측될 수 있지만, 그 미디어가 추가의 미디어 마크를 포함하고 있다는 사실이 명확하게 드러나지 않으며, 다른 사람으로 하여금 미디어 컨텐츠 이외의 정보가 송신된다는 것을 관측하도록 허용하지 않고서도 정보를 송신하기 위해 사용될 수 있다.
- 공공연하게 디스플레이된 미디어의 식별
공공연하게 디스플레이되는 미디어는 재기록의 대상이 될 수도 있다. 다수의 실시예에서, 공공연한 디스플레이의 시각 및/또는 장소를 식별하는 미디어 마크 가 공공연하게 디스플레이되는 미디어에 삽입된다. 공공연한 디스플레이 동안 미디어가 재기록된다면, 허가되지 않은 재기록 시에 미디어 마크가 삽입되며, 이 정보를 언커버링하는 것은 재기록이 이루어지는 현장에서 공공연하게 디스플레이된 미디어의 추가의 재기록을 방지하는 데 도움이 될 수 있다.
이상의 설명은 본 발명에 대한 다수의 구체적인 실시예를 포함하고 있지만, 이들 실시예는 본 발명의 기술적 사상을 한정하는 것이 아니라 본 발명의 실시에 대한 예를 나타내는 것이다. 따라서, 본 발명의 기술적 사상은 예시된 실시예가 아닌 첨부된 청구범위 및 그 등가물에 의해 정해져야 한다.

Claims (18)

  1. 캐리어 미디어(carrier media)에 정보를 삽입(embedding)하는 방법에 있어서,
    상기 정보를 미디어의 형태로 렌더링(rendering)하는 단계;
    상기 캐리어 미디어로부터 미디어의 복수의 부분(portion)을 선택하는 단계;
    수정된 미디어 부분에 대한 수정 내용이 인간의 육안으로는 잘 보이지 않는 수정된 미디어 부분을 형성하기 위해, 렌더링된 미디어의 일부(part) 또는 전부를 상기 캐리어 미디어의 선택된 부분의 각각과 조합하는 단계; 및
    상기 수정된 미디어 부분을 이용하여 수정된 캐리어 미디어를 작성하는 단계
    를 포함하는 정보 삽입 방법.
  2. 제1항에 있어서,
    상기 캐리어 미디어는 비디오 시퀀스를 포함하며,
    상기 캐리어 미디어의 부분의 각각은 하나의 비디오 프레임이며,
    상기 렌더링된 미디어는 이미지인,
    정보 삽입 방법.
  3. 제2항에 있어서,
    상기 렌더링된 미디어를 나타내는 이미지의 기하학적 형상(geometry)을 변경 하는 단계를 더 포함하는, 정보 삽입 방법.
  4. 제1항에 있어서,
    상기 렌더링된 미디어의 일부 또는 전부를 상기 캐리어 미디어의 선택된 부분의 각각과 조합하는 단계는, 상기 렌더링된 미디어를 지각 모델(perceptual model)에 따라 수정하는 단계를 포함하는, 정보 삽입 방법.
  5. 제1항에 있어서,
    상기 캐리어 미디어의 부분과 조합되는 상기 렌더링된 미디어의 부분은, 의사 랜덤하게(pseudo randomly) 선택되는, 정보 삽입 방법.
  6. 제1항에 있어서,
    상기 캐리어 미디어는 오디오 시퀀스를 포함하며,
    상기 캐리어 미디어의 부분은 각각 오디오의 단편(section)이며,
    상기 렌더링된 미디어는 오디오 시퀀스인,
    정보 삽입 방법.
  7. 제1항에 있어서,
    상기 캐리어 미디어는 비디오를 포함하며,
    상기 렌더링된 미디어는, 비디오의 투영 또는 기록 시에 비디오가 통과하는 렌즈를 포함하는,
    정보 삽입 방법.
  8. 제1항에 있어서,
    상기 정보는 상기 미디어에 관련된 메타데이터(metadata)를 포함하는, 정보 삽입 방법.
  9. 제1항에 있어서,
    상기 정보는 비디오 재생의 시각 및 장소를 식별하게 해주는, 정보 삽입 방법.
  10. 제1항에 있어서,
    상기 정보는 상기 미디어의 저작권 소유자 또는 수취인을 식별하게 해주는, 정보 삽입 방법.
  11. 제1항에 있어서,
    상기 정보는 데이터베이스에 대한 참고자료(reference)를 포함하는, 정보 삽입 방법.
  12. 캐리어 미디어로부터, 삽입된 미디어를 언커버링(uncovering)하는 방법에 있 어서,
    상기 캐리어 미디어로부터 미디어의 복수의 부분(portion)을 선택하는 단계;
    상기 미디어의 부분의 각각의 적어도 일부(part)를 선택하는 단계;
    상기 미디어의 부분의 상기 일부를 상기 미디어의 부분으로부터 강조하는 단계; 및
    상기 미디어의 부분의 상기 일부들을 조합하는 단계
    를 포함하는 삽입된 미디어를 언커버링하는 방법.
  13. 제12항에 있어서,
    상기 미디어의 부분의 상기 일부를 강조하는 단계는, 상기 미디어의 각각의 부분에 대해 고역 통과 필터(high pass filter)를 적용하는 단계를 포함하는, 삽입된 미디어를 언커버링하는 방법.
  14. 제12항에 있어서,
    상기 미디어의 부분의 상기 일부를 강조하는 단계는, 상기 삽입된 미디어를 포함하는 상기 캐리어 미디어로부터, 상기 삽입된 미디어를 제외한 상기 캐리어 미디어를 감산(subtraction)하는 단계를 포함하는, 삽입된 미디어를 언커버링하는 방법.
  15. 제12항에 있어서,
    상기 캐리어 미디어는 비디오 시퀀스를 포함하며,
    상기 삽입된 미디어는 디지털 미디어를 포함하며,
    상기 미디어의 각각의 부분은 비디오 프레임이고, 강조되는 각각의 비디오 프레임의 상기 일부는 일군의 픽셀을 포함하는,
    삽입된 미디어를 언커버링하는 방법.
  16. 제12항에 있어서,
    상기 미디어의 부분의 일부들을 조합하는 단계는, 상기 미디어의 부분의 각각의 일부를 평균화하는 단계를 포함하는, 삽입된 미디어를 언커버링하는 방법.
  17. 제12항에 있어서,
    상기 삽입된 미디어는, 상기 미디어의 부분의 일부들을 조합한 후에 장치에 의해 인식되는, 삽입된 미디어를 언커버링하는 방법.
  18. 제12항에 있어서,
    상기 캐리어 미디어는 오디오 시퀀스를 포함하며,
    상기 삽입된 미디어는 오디오 시퀀스를 포함하며,
    오디오의 부분의 각각은 오디오 시퀀스의 부분을 포함하며,
    상기 오디오 시퀀스의 부분의 각각의 일부는, 일군의 오디오 샘플을 포함하는,
    삽입된 미디어를 언커버링하는 방법.
KR1020087003823A 2005-07-19 2006-07-19 미디어 식별을 위한 숨겨진 견고한 마크 KR101361591B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70047205P 2005-07-19 2005-07-19
US60/700,472 2005-07-19
PCT/US2006/028116 WO2007012030A2 (en) 2005-07-19 2006-07-19 Covert and robust mark for media identification

Publications (2)

Publication Number Publication Date
KR20080035638A true KR20080035638A (ko) 2008-04-23
KR101361591B1 KR101361591B1 (ko) 2014-02-11

Family

ID=37669555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087003823A KR101361591B1 (ko) 2005-07-19 2006-07-19 미디어 식별을 위한 숨겨진 견고한 마크

Country Status (7)

Country Link
US (2) US7430302B2 (ko)
EP (1) EP1917625B1 (ko)
JP (1) JP2009503948A (ko)
KR (1) KR101361591B1 (ko)
CN (1) CN101273367B (ko)
AT (1) ATE511151T1 (ko)
WO (1) WO2007012030A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522555B1 (ko) * 2009-02-20 2015-05-26 삼성전자주식회사 워터마크 삽입 기능이 포함된 영상 재생 방법 및 그 장치
KR20210154328A (ko) * 2020-06-12 2021-12-21 스냅태그 주식회사 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602936B2 (en) * 2001-03-08 2009-10-13 Sony Corporation Method to make wavelet watermarks resistant to affine transformations
ES2271835T3 (es) * 2003-01-20 2007-04-16 Koninklijke Philips Electronics N.V. Incrustacion y deteccion de marcas de agua de una señal de imagen en movimiento.
FR2851110B1 (fr) 2003-02-07 2005-04-01 Medialive Procede et dispositif pour la protection et la visualisation de flux video
US8102863B1 (en) 2006-06-27 2012-01-24 Qurio Holdings, Inc. High-speed WAN to wireless LAN gateway
JP5161220B2 (ja) * 2006-08-24 2013-03-13 フランス・テレコム マルチメディア番組の管理方法、サーバ、端末、信号、及び対応するコンピュータプログラム
US8615778B1 (en) 2006-09-28 2013-12-24 Qurio Holdings, Inc. Personalized broadcast system
US7983440B1 (en) 2006-11-02 2011-07-19 Qurio Holdings, Inc. Selection of I-frames for client-side watermarking
US7738676B1 (en) 2006-11-02 2010-06-15 Qurio Holdings, Inc. Client-side watermarking using hybrid I-frames
US8150097B2 (en) * 2007-01-24 2012-04-03 Sony Corporation Concealed metadata transmission system
FR2918239A1 (fr) * 2007-06-29 2009-01-02 Thomson Licensing Sas Procede de selection de pixels d'image a tatouer et procede de tatouage utilisant cette selection
KR20090008745A (ko) * 2007-07-18 2009-01-22 삼성전자주식회사 히스토그램 등화 장치 및 방법
JP4875723B2 (ja) * 2009-04-24 2012-02-15 シャープ株式会社 画像形成装置
DE102009022606A1 (de) * 2009-05-26 2010-12-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur steganographischen Modifikation eines Bitstroms
US8229219B1 (en) 2009-08-06 2012-07-24 Google Inc. Full-length video fingerprinting
US8290918B1 (en) * 2009-09-29 2012-10-16 Google Inc. Robust hashing of digital media data
US8938157B2 (en) * 2010-02-23 2015-01-20 City University Of Hong Kong Digital chip and method of operation thereof
US20140245344A1 (en) * 2011-07-05 2014-08-28 Dcs Copy Protection Limited Copy protection system
US9406305B2 (en) 2012-12-21 2016-08-02 Digimarc Corpororation Messaging by writing an image into a spectrogram
BR102014007666B1 (pt) * 2014-03-28 2023-01-10 Samsung Eletrônica Da Amazônia Ltda Método para autenticação de transações móveis usando criptografia de vídeo e método para criptografia de vídeo
US10387674B2 (en) * 2015-06-04 2019-08-20 Datchat, Inc. Systems and methods of transforming electronic content
US10949504B2 (en) 2015-06-04 2021-03-16 Datchat, Inc. Systems and methods of transforming electronic content
US9300678B1 (en) 2015-08-03 2016-03-29 Truepic Llc Systems and methods for authenticating photographic image data
EP3398049A4 (en) 2015-12-30 2019-08-07 Verimatrix, Inc. SYSTEMS AND METHODS FOR PRIVACY PRIVACY IN THE DIVISION OF DIGITAL CONTENTS WITH PRIVATE TOKENS
US10958989B2 (en) 2016-02-25 2021-03-23 Synamedia Limited Framework for embedding data in encoded video
US10200692B2 (en) 2017-03-16 2019-02-05 Cisco Technology, Inc. Compressed domain data channel for watermarking, scrambling and steganography
GB201704955D0 (en) * 2017-03-28 2017-05-10 Friend For Media Ltd Marking video media content
US11221477B2 (en) * 2017-04-28 2022-01-11 Sony Corporation Communication apparatus, communication system, and data communication method
US10375050B2 (en) 2017-10-10 2019-08-06 Truepic Inc. Methods for authenticating photographic image data
US10360668B1 (en) 2018-08-13 2019-07-23 Truepic Inc. Methods for requesting and authenticating photographic image data
US10361866B1 (en) 2018-08-13 2019-07-23 Truepic Inc. Proof of image authentication on a blockchain
EP3620821A1 (en) * 2018-09-05 2020-03-11 Infineon Technologies AG Time of flight camera and method for calibrating a time of flight camera
CN110737725A (zh) * 2019-12-19 2020-01-31 杭州鸽子蛋网络科技有限责任公司 电子信息检验方法、装置、设备、介质及系统
US11037284B1 (en) 2020-01-14 2021-06-15 Truepic Inc. Systems and methods for detecting image recapture
CN111984943B (zh) * 2020-07-29 2023-08-22 南京信息工程大学 一种基于人工蜂群算法的dwt-svd数字水印方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6983051B1 (en) * 1993-11-18 2006-01-03 Digimarc Corporation Methods for audio watermarking and decoding
US5748783A (en) * 1995-05-08 1998-05-05 Digimarc Corporation Method and apparatus for robust information coding
US5530759A (en) * 1995-02-01 1996-06-25 International Business Machines Corporation Color correct digital watermarking of images
US5949885A (en) * 1996-03-12 1999-09-07 Leighton; F. Thomson Method for protecting content using watermarking
US5875249A (en) * 1997-01-08 1999-02-23 International Business Machines Corporation Invisible image watermark for image verification
US6049627A (en) * 1997-05-28 2000-04-11 Thomason Information Services, Inc. Covert digital identifying indicia for digital image
KR100323441B1 (ko) * 1997-08-20 2002-06-20 윤종용 엠펙2동화상부호화/복호화시스템
JP4064506B2 (ja) * 1997-09-17 2008-03-19 パイオニア株式会社 電子透かし重畳方法及び検出方法並びに装置
JP3570213B2 (ja) * 1998-03-27 2004-09-29 株式会社日立製作所 電子透かし画像処理方法
US6154571A (en) * 1998-06-24 2000-11-28 Nec Research Institute, Inc. Robust digital watermarking
EP1120741A3 (en) * 2000-01-28 2003-04-16 Eastman Kodak Company Adaptive data embedding method for improved image quality
US7346184B1 (en) * 2000-05-02 2008-03-18 Digimarc Corporation Processing methods combining multiple frames of image data
US6643386B1 (en) * 2000-08-10 2003-11-04 Omnivision Technologies, Inc. Method and apparatus for adding watermarks to images and/or video data streams
US6792130B1 (en) * 2000-12-13 2004-09-14 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US6940993B2 (en) * 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
WO2003001813A1 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Embedding and detection of watermark in a motion image signal
US7298865B2 (en) * 2001-07-30 2007-11-20 Sarnoff Corporation Secure robust high-fidelity watermarking
KR100948381B1 (ko) 2003-05-15 2010-03-22 삼성전자주식회사 인간시각시스템을 이용한 영상 워터마킹 방법
CN100469128C (zh) * 2003-10-10 2009-03-11 皇家飞利浦电子股份有限公司 数字信号中的水印检测

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522555B1 (ko) * 2009-02-20 2015-05-26 삼성전자주식회사 워터마크 삽입 기능이 포함된 영상 재생 방법 및 그 장치
KR20210154328A (ko) * 2020-06-12 2021-12-21 스냅태그 주식회사 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법

Also Published As

Publication number Publication date
ATE511151T1 (de) 2011-06-15
CN101273367B (zh) 2012-10-10
EP1917625B1 (en) 2011-05-25
EP1917625A4 (en) 2008-08-20
WO2007012030A2 (en) 2007-01-25
JP2009503948A (ja) 2009-01-29
US7853040B2 (en) 2010-12-14
WO2007012030A3 (en) 2007-12-21
CN101273367A (zh) 2008-09-24
US20070019836A1 (en) 2007-01-25
EP1917625A2 (en) 2008-05-07
US7430302B2 (en) 2008-09-30
KR101361591B1 (ko) 2014-02-11
US20090087021A1 (en) 2009-04-02

Similar Documents

Publication Publication Date Title
KR101361591B1 (ko) 미디어 식별을 위한 숨겨진 견고한 마크
Cox et al. A review of watermarking principles and practices 1
Cox et al. Digital watermarking and steganography
Hartung et al. Multimedia watermarking techniques
Swanson et al. Multimedia data-embedding and watermarking technologies
Kundur et al. Digital watermarking for telltale tamper proofing and authentication
Su et al. Digital watermarking of text, image, and video documents
Voyatzis et al. Protecting digital image copyrights: a framework
Queluz Authentication of digital images and video: Generic models and a new contribution
Lu et al. Combined watermarking for image authentication and protection
Dittmann et al. Combined video and audio watermarking: Embedding content information in multimedia data
Jain et al. Digital watermarking
Pik-Wah Digital video watermarking techniques for secure multimedia creation and delivery
Arab et al. Comparison of Data Hiding Techniques for Video Watermarking Applications
Aminuddin et al. TCBR and TCBD: Evaluation metrics for tamper coincidence problem in fragile image watermarking
Lande Survey of digital watermarking techniques and its application
Roberts Security camera video authentication
Bruce A review of digital watermarking
Kumari et al. Existing trends of digital watermarking and its significant impact on multimedia streaming: A survey
Heileman et al. Image watermarking for copyright protection
Alaa ‘Watermarking images for fact-checking and fake news inquiry
Verma et al. Review Paper on Security Measures in Digital Watermarking
D’Angelo et al. Watermark-based authentication
Zhang et al. Image Watermarking
Joe ENCRYPTION BASED WATERMARKING TECHNIQUE FOR SECURITY OF MEDICAL IMAGE

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7