KR20080012281A - 디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화 - Google Patents

디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화 Download PDF

Info

Publication number
KR20080012281A
KR20080012281A KR1020077025412A KR20077025412A KR20080012281A KR 20080012281 A KR20080012281 A KR 20080012281A KR 1020077025412 A KR1020077025412 A KR 1020077025412A KR 20077025412 A KR20077025412 A KR 20077025412A KR 20080012281 A KR20080012281 A KR 20080012281A
Authority
KR
South Korea
Prior art keywords
video
instructions
asynchronous
frame
time
Prior art date
Application number
KR1020077025412A
Other languages
English (en)
Other versions
KR101224744B1 (ko
Inventor
미멧 키밴크 미캑
와이니안 마오
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080012281A publication Critical patent/KR20080012281A/ko
Application granted granted Critical
Publication of KR101224744B1 publication Critical patent/KR101224744B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675—Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0063—Image watermarking in relation to collusion attacks, e.g. collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

보호될 비디오를 비동기화시킴으로써 하나 이상의 디지털적으로 핑거프린팅된 비디오를 생성하는 시스템 및 방법이 기술되어 있다. 한 구현에서, 보호될 비디오는 시간적으로 비동기화되고 공간적으로 비동기화된다. 시간적 및 공간적 비동기화에 의해 수정된, 비디오의 핑거프린팅된 복사본이 생성된다.
비디오 핑거프린팅, 공모 방지, 비동기화, 디지털 멀티미디어, 디지털 저작권

Description

디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화{COLLUSION RESISTANT DESYNCHRONIZATION FOR DIGITAL VIDEO FINGERPRINTING}
디지털 멀티미디어의 확산은, 인터넷 통신의 대역폭이 점점 더 증가하는 것과 함께, 디지털 저작권의 관리를 점점 더 힘들게 만들었다. 멀티미디어 컨텐츠의 복사본을 수신하는 임의의 최종 사용자가 그 복사본을 다른 사용자에게 재배포할 수 있기 때문에, 디지털 저작권을 보호하기 위해 불법 배포자를 추적하는 메카니즘이 확립될 필요가 있다. 멀티미디어 핑거프린팅(multimedia fingerprinting)은 고유의 ID를 각각의 사용자의 멀티미디어 컨텐츠에 삽입하는 방법이다. 삽입된 핑거프린트(fingerprint)가 복사본을 제공받은 사용자와 일의적으로 연관되어 있기 때문에, 불법 복제된 복사본에서 그 핑거프린트를 추출하면 그 핑거프린트와 연관된 사용자가 일의적으로 확인된다.
멀티미디어 데이터가 지각 왜곡(perceptual distortion)을 야기하지 않고 약간 수정될 수 있기 때문에, 최종 사용자의 경험을 악화시키지 않고 핑거프린트가 데이터 내에 삽입될 수 있다. 이미지 및 오디오 신호를 핑거프린팅하는 것에 대한 연구가 이전에 많이 있었다. 그렇지만, 비디오 핑거프린팅에 대한 연구는 아주 제한되었다. 보통, 핑거프린팅의 호스트 신호가 변할 때, 핑거프린팅 방식도 역시 적응될 필요가 있다. 예를 들어, 자연 경관의 컬러 이미지에서, 핑거프린트 삽입 을 위한 공간은 통상적으로 이진 이미지에서보다 훨씬 더 크다. 자연히, 비디오에 더 많은 삽입 용량(embedding capacity)을 기대하게 된다. 그렇지만, 비디오에서의 많은 분량의 데이터는 긍정적인 측면과 부정적인 측면 둘다를 제공한다. 긍정적인 측면은 비디오의 삽입 용량이 정지 이미지보다 훨씬 더 많으며, 따라서 핑거프린팅의 견고성(robustness)이 증가된다는 것이다. 부정적인 측면은 비디오 신호의 공간적 및 시간적 중복성(spatial and temporal redundancy)이 공격자들에 의해 이용될 수 있다는 것이다. 따라서, 비디오 핑거프린팅 방식의 설계 및 엔지니어링이 정지 이미지 및 오디오를 핑거프린팅하는 것보다 훨씬 더 복잡하다.
핑거프린트 설계자가 디지털 저작권을 보호하려고 노력하는 반면, 공격자들도 핑거프린트를 제거하려는 강한 동기를 가지고 있다. 예를 들어, 인기있는 마케팅 방식은 인기있는 동영상을 극장에 돌리고 나서, 어떤 기간 이후에 그 동영상을 "비디오로", 예를 들어, DVD 매체로 판매한다. 불법 복제자가 극장 상영 동안에 그 영화를 DVD로 판매할 수 있는 경우, 엄청난 수익을 실현할 수 있다. 핑거프린팅 방식을 공격함에 있어서, 공격자의 목표는 핑거프린트 검출기를 무력화하여 핑거프린트를 검출 또는 정확하게 식별할 수 없게 하는 것이다. 공격자에 있어서도, 시간 복잡도(time complexity) 및 지각 품질(perceptual quality)이 중요한 고려 사항인데, 그 이유는 멀티미디어의 가치가 부분적으로는 그의 적시성(timeliness) 및 지각 품질에 있기 때문이다. 따라서, 각각이 비디오의 핑거프린팅된 복사본을 소유하고 있는 일군의 공격자가 공모 공격(collusion attack)을 구성하기 위해 공모할 수 있다. 이러한 공격은 각각의 복사본에 삽입된 핑거프린트를 약화 또는 제 거시키려고 한다. 공모 공격 내에서의 핑거프린팅된 복사본의 수가 충분히 큰 경우, 예를 들어, 30 내지 40 공모자인 경우, 핑거프린트의 효용성이 많이 감소되어, 핑거프린트 검출기가 공모된 복사본에 핑거프린트가 존재하는 것을 검출하지 못할 수 있다.
보호될 비디오를 비동기화시킴으로써 하나 이상의 디지털적으로 핑거프린팅된 비디오를 생성하는, 디지털 비디오 핑거프린팅에서 사용하기 위한 공모 방지 비동기화가 기술되어 있다. 한 구현에서, 보호될 비디오는 시간적으로 비동기화되고 공간적으로 비동기화된다. 시간적 및 공간적 비동기화에 의해 수정된, 비디오의 핑거프린팅된 복사본이 생성된다.
도 1은 균일하게 샘플링된 시간 인덱스가 랜덤하게 샘플링된 시간 인덱스와 비교될 수 있게 해주는 예시적인 타임라인을 나타낸 도면.
도 2는 프레임 F1이 프레임 F2로 워핑되는 어파인 워핑(affine warping) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 3은 프레임 F1 및 F2 둘다가 워핑되는 어파인 워핑(affine warping) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 4는 광학 흐름(optical flow) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 5는 움직임 벡터 스위칭(motion vector switching) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 6은 움직임 보상된 시간 보간(motion compensated temporal interpolation) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 7은 시간 재샘플링(temporal re-sampling)을 위한 의사-랜덤 시간 인덱스의 예시적인 측면을 나타낸 도면.
도 8은 제약된 랜덤 시간 재샘플링(constrained random temporal re-sampling) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 9는 보간-생략(interpolation-skipping) 전략을 포함하는 시간적 비동기화의 예시적인 측면을 나타낸 도면.
도 10은 RST(rotation, scaling and translation, 회전, 스케일링 및 병진) 전략을 포함하는 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 11은 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 12는 랜덤 벤딩(random bending) 전략을 포함하는 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 13은 루미넌스-필터링(luminance-filtering) 전략을 포함하는 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 14는 파라미터 이산화(parameter discretization) 전략을 포함하는 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 15는 시간적 평탄화(temporal smoothing) 전략을 포함하는 공간적 비동기 화의 예시적인 측면을 나타낸 도면.
도 16은 파라미터 분포(parameter distribution) 전략을 포함하는 공간적 비동기화의 예시적인 측면을 나타낸 도면.
도 17은 디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화를 구현하는 데 적합한 예시적인 컴퓨팅 환경을 나타낸 도면.
첨부 도면을 참조하여 상세한 설명이 기술된다. 도면들에서, 참조 번호의 최좌측 숫자(들)는 그 참조 번호가 처음으로 나타나는 도면을 식별해준다. 서로 다른 도면에서 동일한 참조 번호의 사용은 유사한 또는 동일한 항목을 나타낸다.
이하의 설명은 2명 이상의 멀티미디어 컨텐츠(예를 들어, 영화 등의 오디오 비디오 컨텐츠를 갖는 DVD)의 핑거프린팅된 복사본의 수신자가 그들의 복사본을 결합하여 핑거프린트없는 고품질 버전을 생성하는 공모 공격에 대항하는 시스템 및 방법에 관한 것이다. 상세하게는, 이 시스템 및 방법은 핑거프린팅된 복사본이 재결합되는 경우 지각 아티팩트(perceptual artifact)를 발생하도록 설계되어 있다.
도 1은 공모 공격을 저지하기 위해 멀티미디어 컨텐츠를 핑거프린팅하는 데 사용되는 예시적인 비동기화 기술(100)을 나타낸 것이다. 도 1의 실시예에서, 공모-방지 비동기화 방식은 시간 및 공간 영역 둘다에서의 비디오 비동기화를 포함한다. 변경이 각각의 개별 복사본에 대해서는 눈에 띄지 않지만 (예를 들어, 평균화(averaging) 등의 방법에 의해) 다수의 복사본이 결합될 때는 지각 아티팩트를 생성하기에 충분히 크게 되도록 최종 사용자의 비디오 복사본이 약간 변경되어 있 다. 시간축과 공간축의 물리적 특징이 상당히 서로 다르기 때문에, 시간적 및 공간적 비동기화는 일반적으로 2개의 단계로 나누어진다. 제1 단계에서, 제약된 의사-랜덤 샘플링(constrained pseudo-random sampling)이 먼저 시간 영역에서 적용된다. 시간축을 따라 균일하게 샘플링된 일련의 비디오 프레임이 주어지면, 임의적인 시간 인덱스에서 새로운 비디오 프레임을 발생하기 위해 움직임-기반 프레임 보간이 이용된다. 제2 단계에서, 각각의 비디오 프레임은 회전, 스케일링 및 병진을 포함한 전역적 기하 연산(global geometrical operation)과 그에 뒤이은 랜덤화된 공간 샘플링 그리드(randomized spatial sampling grid)를 사용하는 지역적 랜덤 벤딩(local random bending)에 의해 추가적으로 비동기화된다. 지각 품질의 문제는 공간축 및 시간축을 따라 비동기화 파라미터를 평탄화함으로써 해결된다. 게다가, 비동기화 보안(de-synchronization security)의 문제는 계산 복잡도의 점에서 분석된다.
상세하게는, 도 1은 비디오의 의사-랜덤 시간 샘플링 및 공간적 비동기화 기술이 결합되어, 원본 수신자까지 역추적될 수 있는 비디오의 핑거프린팅된 복사본을 생성하고 또 유사한 핑거프린팅된 복사본과 결합될 때 가시 아티팩트(visible artifact)로 손상된 결함있는 복사본이 얻어지는 실시예의 일례(100)를 나타낸 것이다. 블록(102)에서, 보호될 비디오가 시간적으로 비동기화된다. 블록(104)에서, 이 비디오가 공간적으로 비동기화된다. 블록(106)에서, 시간적 및 공간적 비동기화에 의해 수정된, 비디오의 핑거프린팅된 복사본이 생성된다.
비디오의 의사-랜덤 시간 샘플링
이 섹션은 도 1의 블록(102)에 의해 소개된 주제인 시간적 비동기화에 대해 상세히 설명한다. 시간적 비동기화는 비디오 프레임 보간을 수반하는 의사-랜덤 시간 샘플링을 이용할 수 있다. 비디오 프레임 보간과 연관된 기본적인 문제는, 시간상 가까운 한쌍의 비디오 프레임(예를 들어, 시간 t1에서의 F1 및 시간 t2에서의 F2, 단 (t2>t1)이고 T=t2-t1은 소스 비디오의 프레임 주기임)이 주어진 경우, 시간 (t1+Δ·T)(단, 0≤Δ≤1)에서의 중간 프레임을 발생하고자 하는 것이다. 많은 경우에, 대응하는 프레임 픽셀들을 직접 평균화(direct averaging)하는 것은 좋은 결과를 제공하지 않는데, 비디오 프레임 내의 물체들이 움직이는 경향이 있고 보간이 행해질 때 이러한 움직임이 고려되어야만 하기 때문이다. 따라서, 보다 정교한 기술이 필요하다.
시간 비동기화(temporal desynchronization)는 의사-랜덤 시간 샘플링(pseudo-random temporal sampling)을 이용할 수 있다. 비디오의 의사-랜덤 시간 샘플링은 비디오 프레임 보간을 위한 기초를 제공하기 위해 어파인 워핑(affine warping) 전략을 이용할 수 있다. 예를 들어, 2개의 비디오 프레임 F1 및 F2가 주어진 경우, F1을 F2로 워핑하는 것이 유리하다. F1에서의 좌표는 (x1, x2)로 표기될 수 있고, F2에서의 좌표는 (x2, y2)로 표기될 수 있다. 수학식 1에 따라, F1에서 F2로 2-D 어파인 워핑을 기술하기 위해 동차 좌표(homogeneous coordinate)가 사용될 수 있다.
Figure 112007078692193-PCT00001
상기 수학식에서 어파인 변환 행렬(affine transform matrix)은
Figure 112007078692193-PCT00002
로 표기되어 있다. 파라미터
Figure 112007078692193-PCT00003
내지
Figure 112007078692193-PCT00004
는 회전, 스케일링 및 병진 연산을 고려한다. 이들 파라미터 전부는 먼저 F1에서 F2로의 다운-샘플링된 이미지에 대해 추정되고, 최종적으로 원본 프레임 크기에 도달할 때까지, 이어서 더 큰 크기 이미지에 대해 업스케일링(up-scale) 및 개량(refine)된다.
파라미터 검색은 최소화 문제(minimization problem)에 대한 해법을 구하는 것을 필요로 한다. 프레임의 워핑 연산을
Figure 112007078692193-PCT00005
으로 나타내고, 2개의 프레임 간의 거리를 측정하는 거리 메트릭(distance metric)을
Figure 112007078692193-PCT00006
으로 나타내기로 하자. 워핑 연산이 워핑 파라미터에 의해 일의적으로 결정되기 때문에, 우리는 수학식 2인 파라미터 벡터
Figure 112007078692193-PCT00007
Figure 112007078692193-PCT00008
를 찾으려고 한다.
Figure 112007078692193-PCT00009
거리 메트릭이 차의 제곱의 합일 때, 상기 식은 최소 자승 문제(least square problem)가 된다. 이러한 문제는 최소값을 찾기 위해 기본적으로 Gauss-Newton법을 사용하는 고전적인 Lucas-Kanade 알고리즘으로 풀 수 있다.
고차원(high dimensionality)으로 인한 계산 복잡도를 줄이기 위해, 병진 파라미터(
Figure 112007078692193-PCT00010
및
Figure 112007078692193-PCT00011
)가 다른 파라미터와 분리가능하다는 것에 유의한다. 따라서,
Figure 112007078692193-PCT00012
및
Figure 112007078692193-PCT00013
이 먼저 결정될 수 있고, 이어서 파라미터 벡터(parameter vector)가 수렴할 때까지 이를 갱신하는 반복적 절차(iterative procedure)가 있다.
따라서, 수학식 1 등의 비디오 내에서 프레임 F1에서 프레임 F2로의 어파인 워핑을 기술하는 방정식을 도출함으로써 어파인 워핑 해법(affine warping solution)이 적용될 수 있다. 이 방정식을 도출하였으면, 수학식 2 등의 방정식으로부터 도출되는 최소화 문제를 풂으로써 워핑을 기술하는 파라미터 벡터가 구해질 수 있다.
도 2는 F1이 F2로 워핑되는 어파인 워핑 해법을 특징으로 하는 시간적 비동기화의 실시예(200)를 나타낸 것이다. 임의의 주어진 이미지(I)에 있어서 사용자(k)에게 배포하기 위해 이미지(I)에 워핑 함수
Figure 112007078692193-PCT00014
를 적용하여
Figure 112007078692193-PCT00015
를 획득함으로써 워핑된 이미지(I')가 발생될 수 있도록 일련의 워핑 함수
Figure 112007078692193-PCT00016
내에서 어파인 워핑 해법이 구해진다. 따라서, 각각의 사용자는 이미지(I)의 서로 다른 복사본을 수신하게 됨으로써, 공모 공격을 곤란하게 만든다. 블록(202)에서, 비디오 내에서 프레임 F1에서 프레임 F2로 워핑하는 어파인 변환 행렬(affine transform matrix)이 도출되며, 이 행렬은 회전, 스케일링 및 병진(RST) 연산을 고려하고 있다. 수학식 1은 어파인 변환 행렬을 나타낸다. 블록(204)에서, 이 행렬과 연관된 최소화 문제의 해가 구해진다. 수학식 2는 최소화 문제를 나타낸다. 최소화 문제는 임의의 적절한 방식으로 공격당할 수 있다. 예를 들어, 블록(206)에서, 최소 자승 해법이 적용되며, 이 경우 이 방정식은 차분의 제곱의 합인 거리 메트릭(dist)에 기초하고 있다. 블록(208)에서, 병진 파라미터(translational parameter)를 다른 파라미터와 분리시켜 병진 파라미터에 대해 먼저 풀고 파라미터 벡터가 수렴할 때까지 이 벡터에 반복적 절차를 적용함으로써 최소화 문제의 계산 복잡도가 감소될 수 있다. 따라서, 상기 예에서, 파라미터(
Figure 112007078692193-PCT00017
및
Figure 112007078692193-PCT00018
)를 먼저 구함으로써, 문제의 차원(dimensionality)을 감소시켜 나머지 파라미터에 대한 해를 용이하게 구할 수 있다.
도 2에 대한 상기 설명은 일반적으로 비디오 프레임 보간에 관한 것이며, 보다 상세하게는 의사-랜덤 시간 샘플링을 위한 어파인 워핑 도구에 관한 것이다. 이러한 상황 하에서, 2개의 비디오 프레임 F1 및 F2가 주어진 경우 F1을 F2로 워핑하는 것이 유리하다는 것을 알았다. 도 3에 의해 제공되고 유사한 응용에 적합하게 되어 있는 대안적인 어파인 워핑 도구에서는, F1 및 F2를 둘다를 워핑하는 것이 유리할 수 있다.
시간 t1에서 프레임 F1이 주어지고 시간 t2에서 프레임 F2가 주어지며 시간 인스턴스(time instance)(t1+Δ·T)(단, 0≤Δ≤T임) 쪽으로 프레임 F1 및 F2 둘다를 워핑하고자 하는 것으로 가정하자. 먼저, F1에서 F2로의 워핑 행렬
Figure 112007078692193-PCT00019
를 추정 한다. 이어서, 수학식 3 및 수학식 4에 따라 시각(t1+Δ·T) 쪽으로 F1 및 F2를 워핑하는 전방향 및 역방향 어파인 변환 행렬
Figure 112007078692193-PCT00020
및
Figure 112007078692193-PCT00021
이 계산될 수 있다.
Figure 112007078692193-PCT00022
Figure 112007078692193-PCT00023
F1으로부터 전방향 워핑된 프레임
Figure 112007078692193-PCT00024
및 F2로부터 역방향 워핑된 프레임
Figure 112007078692193-PCT00025
은 각각 워핑된 좌표에서 F1 및 F2를 재샘플링함으로써 획득된다.
Figure 112007078692193-PCT00026
Figure 112007078692193-PCT00027
재샘플링 점이 정수 좌표에 있지 않을 수 있기 때문에, 출력값을 생성하기 위해 이중 선형 보간(bilinear interpolation)이나 큐빅 보간(cubic interpolation) 등의 보간법이 사용될 수 있다.
도 3은 제2 어파인 워핑 해법을 특징으로 하는 시간적 비동기화의 실시예(300)를 나타낸 것으로서, 이 경우 F1 및 F2 둘다는 시간 인스턴스(t1+Δ·T)(단, 0≤Δ≤1임) 쪽으로 워핑된다. 또한, 임의의 주어진 이미지(I)에 있어서 사용자(k)에게 배포하기 위해 이미지(I)에 워핑 함수
Figure 112007078692193-PCT00028
를 적용하여
Figure 112007078692193-PCT00029
를 획득함으로써 워핑된 이미지(I')가 발생될 수 있도록 일련의 워핑 함수
Figure 112007078692193-PCT00030
내에서 제2 어파인 워핑 해법이 구해진다. 따라서, 각각의 사용자는 이미지(I)의 서로 다른 복사본을 수신하게 됨으로써, 공모 공격을 곤란하게 만든다. 블록(302)에서, F1에서 F2로의 워핑 행렬
Figure 112007078692193-PCT00031
를 추정한다. 블록(304)에서, 추정된 행렬
Figure 112007078692193-PCT00032
을 사용하여 전방향 및 역방향 어파인 행렬이 계산될 수 있다. 상기 수학식 3 및 수학식 4는 전방향 및 역방향 행렬의 예이다. 전방향 및 역방향 행렬은 전방향 및 역방향 워핑된 프레임의 계산을 가능하게 해준다. 따라서, 블록(306)에서, 전방향 및 역방향 워핑된 프레임이 워핑된 좌표에서 F1 및 F2를 재샘플링함으로써 획득된다. 상기 예에서, 수학식 5 및 6은 전방향 및 역방향 프레임
Figure 112007078692193-PCT00033
및
Figure 112007078692193-PCT00034
이 어떻게 전방향 및 역방향 행렬의 재샘플링 및 사용에 의해 획득될 수 있는지를 보여준다. 블록(308)에서, 정수가 아닌 좌표(non-integral coordinate)가 생성되는 경우, 적절한 출력값을 생성하기 위해 보간이 사용될 수 있다.
비디오의 의사-랜덤 시간 샘플링의 실시예는 비디오 프레임 보간에 대한 기초를 제공하기 위해 광학 흐름(optical flow) 전략을 이용할 수 있다. 따라서, 광 학 흐름은 보호될 비디오로부터 도출된 핑거프린트를 그 비디오에 적용하는 데 사용되는 비디오의 의사-랜덤 시간 샘플링을 제공할 수 있다. 광학 흐름은 비디오 데이터에서의 관찰된 2차원 움직임을 말한다. 사람의 눈이 서로 다른 시간에 서로 다른 위치에 있는 대응하는 점을 관찰함으로써 움직임을 지각하기 때문에, 움직임의 식별은 동일한 물체점의 루미넌스값이 움직임 이후에 변하지 않는다는 일정 세기 가정(constant intensity assumption)에 기초한다. 비디오 시퀀스에서 루미넌스 변동이 f(x,y,t)로 표기되는 것으로 생각하자. 공간 위치(x,y) 및 시간 t에서의 물체점(P)가 시간 t+dt에서 (x+dx, y+dy)로 이동하는 것으로 가정하자. 일정 세기 가정 하에서, 수학식 7이 얻어진다.
Figure 112007078692193-PCT00035
공간 및 시간축을 따라 루미넌스 필드(luminance field)가 연속적인 것으로 가정하면, 수학식 7의 좌변에 Taylor 전개를 적용할 수 있으며, 따라서 이 방정식은 이제 수학식 8로 된다.
Figure 112007078692193-PCT00036
그러면, 이하의 광학 흐름 방정식에 이르게 된다.
Figure 112007078692193-PCT00037
Figure 112007078692193-PCT00038
여기서,
Figure 112007078692193-PCT00039
는
Figure 112007078692193-PCT00040
의 공간 기울기 벡터(spatial gradient vector)이다.
광학 흐름 방정식은 루미넌스의 공간 및 시간 기울기를 추정할 수 있는 경우 움직임 벡터를 계산하는 방법을 제공한다. 일 실시예에서, 위치(x,y)에 대한 공간 기울기는 (x,y)에 중심을 둔 5x5 윈도우 내에서 추정된다. 따라서, 수학식 10의 함수는 움직임 벡터의 x 및 y 성분을 계산하기 위해 보강될 수 있다.
도 4는 재샘플링에 광학 흐름 해법을 적용하는 것을 특징으로 하는 시간적 비동기화의 실시예(400)를 나타낸 것이다. 상세하게는, 비디오 내의 프레임들을 변경하는 데 공간 기울기 벡터가 사용됨으로써 비디오의 복사본이 배포될 각각의 사용자에 대해 서로 다르게 비디오를 워핑한다. 블록(402)에서, 움직임 전후에 점(x,y)에 대한 일정한 조도 f를 가정한다. 이러한 가정은 사람의 눈에 의해 수행되는 자연스런 추적과 부합되며, 여기서 물체가 전반적으로 일관된 외관(generally consistent appearance)을 갖는 경우 움직임이 아주 용이하게 관찰된다. 블록(404)에서, 흐름 방정식이 도출된다. 예를 들어, 수학식 9 및 10은 루미넌스의 공간 및 시간 기울기의 추정치가 주어진 경우 움직임 벡터의 계산에 도움이 되는 광학 흐름 방정식을 나타낸다. 블록(406)에서, 움직임 벡터가 계산되고 이 벡터로
Figure 112007078692193-PCT00041
및 루미넌스의 추정된 공간 및 시간 기울기를 사용하여 비디오를 샘플링한다.
비디오의 의사-랜덤 시간 샘플링의 실시예는 비디오 프레임 보간에 대한 기초를 제공하기 위해 움직임 벡터 스위칭 전략을 이용할 수 있다. 움직임 벡터 스위칭은
Figure 112007078692193-PCT00042
에 의해 암시되는 워핑을 정정하기 위해 움직임 벡터를 선택하는 데 도움이 된다. 시간 t1에서 프레임 F1이 제공되고 시간 t2에서 프레임 F2가 제공되며 시간(t1+Δ·T)에서 새로운 프레임을 발생하고자 하는 것으로 가정하자. 먼저, 3 쌍의 워핑된 프레임을 발생한다. 제1 쌍은 단지 입력 프레임(F1, F2)에 불과하다. 제2 쌍은 시간 인스턴스(t1+Δ·T) 쪽으로 어파인 워핑된 입력 프레임
Figure 112007078692193-PCT00043
이다. 제3 쌍은 어파인 워핑된 프레임 + 정정 움직임 보상
Figure 112007078692193-PCT00044
이며, 여기서 움직임 필드(motion field)는 이전의 다운-샘플링된 레벨로부터 상속된다. 각각의 프레임 쌍에 대해, 광학 흐름 방법을 사용하여 차분 움직임 추정(differential motion estimation)이 적용된다. 이 결과 3개의 움직임 벡터 필드가 얻어진다. 움직임 벡터 필드가
Figure 112007078692193-PCT00045
,
Figure 112007078692193-PCT00046
및
Figure 112007078692193-PCT00047
인 것으로 가정하자. 움직임 벡터 스위칭은
Figure 112007078692193-PCT00048
에 의해 암시되는 어파인 워핑에 대한 정정(correction)인 위치(x,y)에서의 3개의 후보 움직임 벡터 중에서 선호 움직임 벡터를 결정하는 프로세스이다. 결정 기준은 광학 흐름 방정식(수학식 10)의 실제적인 형태로 볼 수 있 는 이하의 오차 함수(error function)
Figure 112007078692193-PCT00049
에 기초한다.
Figure 112007078692193-PCT00050
단,
Figure 112007078692193-PCT00051
이고, S는(x,y)에 중심을 둔 작은 5x5 픽셀 윈도우이다. 움직임 벡터
Figure 112007078692193-PCT00052
는 합산(summation) 동안에 일정하며,
Figure 112007078692193-PCT00053
및
Figure 112007078692193-PCT00054
는 (x,y)의 함수이다. 이러한 식은 기본적으로 주어진 수치 최적화(numerical optimization) 문제를 반복적으로 푸는 Gauss-Newton법인 고전적인 Lucas-Kanade 알고리즘에 의해 풀 수 있다. 상기 오차 함수를 사용하여, 위치(x,y)에서 최소 오차를 달성하는 후보 움직임 벡터가 새로운 움직임 벡터로 선택된다. 보간 적용을 위해, 메디안 또는 평균화 필터를 사용하여 움직임 벡터에 평탄 필터링(smooth filtering)을 적용함으로써 움직임 벡터에 평탄성(smoothness)을 실시한다. 이렇게 하여 최종적인 움직임 벡터 필드
Figure 112007078692193-PCT00055
가 얻어진다.
도 5는 재샘플링에 움직임 벡터 스위칭 해법(motion vector switching solution)을 적용하는 것을 특징으로 하는 시간적 비동기화의 실시예(500)를 나타낸 것이다. 블록(502)에서, 복수의 워핑된 프레임 쌍이 발생된다. 블록(504)에서, 움직임 벡터가 각각의 프레임 쌍과 연관됨으로써, 복수의 움직임 벡터를 획득 한다. 블록(506)에서, 오차 함수가 각각의 움직임 벡터에 적용된다. 오차 함수는 수학식 11의 형태일 수 있다. 블록(508)에서, 오차 함수는 시간적 비동기화에서 사용하기 위한 움직임 벡터를 선택하는 데 사용된다.
비디오의 의사-랜덤 시간 샘플링의 실시예는 비디오 프레임 보간을 위한 기초를 제공하기 위해 움직임 보상된 시간 보간 전략을 이용할 수 있다. 움직임 보상된 시간 보간 전략에서, 입력 프레임들이 어떤 시간 인스턴스 쪽으로 워핑될 수 있다. 예를 들어, 움직임 필드
Figure 112007078692193-PCT00056
에 기초하여, 입력 프레임 F1 및 F2는 2개의 워핑된 프레임 G1 및 G2를 발생하기 위해 시간 인스턴스(t1+Δ·T) 쪽으로 워핑된다. 이를 위해, 움직임 벡터는 선형적으로 스케일링되고, 워핑된 프레임은 소스 프레임으로부터의 재샘플링된 버전이다. 예를 들어,
Figure 112007078692193-PCT00057
이고, 프레임 G2는 유사한 방식으로 획득될 수 있다. G1 및 G2를 획득하면, 최종적인 보간 프레임 F(x,y)이 수학식 13과 같이 획득된다.
Figure 112007078692193-PCT00058
따라서, 비디오는 움직임 보상된 시간 보간 해법을 재샘플링에 적용함으로써 시간적으로 비동기화될 수 있다. G1 및 G2는 (t1+Δ·T) 등의 시간 인스턴스 쪽으 로 F1 및 F2를 워핑함으로써 발생될 수 있다. G1 및 G2는 이어서 수학식 12 등의 F1 및 F2의 함수에 따라 재샘플링될 수 있다. 마지막으로, 보간된 프레임 F는 수학식 13을 사용하는 등에 의해 G1 및 G2의 함수로서 획득될 수 있다.
도 6은 움직임 보상된 시간 보간 해법을 재샘플링에 적용하는 것을 특징으로 하는 시간적 비동기화의 실시예(600)를 나타낸 것으로서, 여기서 입력 프레임 F1 및 F2와 연관된 움직임 벡터
Figure 112007078692193-PCT00059
는 보간된 프레임 F를 도출하는 데 사용되며, 따라서 F를 샘플링하면 그 결과 핑거프린팅된 샘플링(fingerprinted sampling)이 얻어진다. 블록(602)에서, 시간 인스턴스 (t1+Δ·T) 쪽으로 프레임 F1 및 F2를 워핑함으로써 프레임 G1 및 G2가 발생된다. 예를 들어, 수학식 12는 프레임 G1이 프레임 F1으로부터 어떻게 획득될 수 있는지를 보여준다. 블록(604)에서, 프레임 G1 및 G2는 프레임 F1 및 F2로부터 재샘플링된다. 예를 들어, 재샘플링은 수학식 12에 따라 수행될 수 있다. 블록(606)에서, 보간된 프레임은 워핑된 프레임 G1 및 G2의 함수로서 획득될 수 있다. 예를 들어, 수학식 13은 보간된 프레임 F가 워핑된 프레임 G1 및 G2로부터 어떻게 획득될 수 있는지의 예이다.
비디오의 의사-랜덤 시간 샘플링의 실시예는 비디오 프레임 보간을 위한 기초를 제공하기 위해 제약된 랜덤 시간 재샘플링 전략을 이용할 수 있다. 일 실시예에서, 시간축을 따라 의사-랜덤 시간 인덱스가 발생되어, 프레임 보간에 의해 새 로 발생된 순간에서 비디오의 재샘플링을 가능하게 해준다. 양호한 지각 품질을 달성하기 위해, 원본 비디오에서의 2개의 프레임 구간 사이에, 즉 원본 비디오에서의 임의의 프레임 i와 i+2 사이에 재샘플링된 비디오에서의 적어도 하나의 프레임이 있어야만 한다는 제약 조건을 둔다. 도 7을 참조하면, 랜덤하게 샘플링된 시간 인덱스가 균일하게 샘플링된 시간 인덱스 각각 사이에 위치되어 있음을 알 수 있다. 이러한 제약 조건은 재샘플링된 비디오에서의 시간 지터링(temporal jittering)을 제한함과 동시에, 시간 랜덤화(temporal randomization)를 위한 여지를 가능하게 해준다. 이 목표를 달성하기 위해, 먼저 [1-δ,1+δ] 범위에서 균일하게 분포되어 있는 i.i.d.(independent identically distributed) 랜덤 시간 증분
Figure 112007078692193-PCT00060
을 발생한다. 이어서, t(0)=0로 초기화하고 시간 인덱스 t(i)=t(i-1)+
Figure 112007078692193-PCT00061
(단, i=1,2,...,N임)를 계산한다. 여기서, N은 재샘플링된 비디오의 총 길이로서,
Figure 112007078692193-PCT00062
에 따른 랜덤값이고, 여기서 M은 원본 비디오에서의 프레임의 총수이다. 마지막으로, 모든 시간 인덱스가 [0,M] 범위 내에 있도록 보장하기 위해 t(1) 내지 t(N)의 값을 스케일링한다.
이 설정에서 2개의 파라미터, 즉 시간 지터링(temporal jittering)의 양을 제어하는 δ 및 길이 변동(length variation)을 제어하는 α가 선택될 수 있다. 시간적 비동기화가 구현될 수 있는 예에서, δ 및 α는 δ=0.75 및 α=0.0035로 선택될 수 있다. 다른 값들이 이들 개념의 여러가지 응용에서 만족스러운 결과를 제공할 수 있다.
도 8은 제약된 랜덤 시간 재샘플링 전략을 재샘플링에 적용하는 것을 특징으로 하는 시간적 비동기화의 실시예(800)를 나타낸 것으로서, 상기 비디오와 연관된 균일하게 샘플링된 시간 인덱스가 재샘플링과 연관된 랜덤하게 샘플링된 시간 인덱스로 대체된다. 블록(802)에서, 의사-랜덤 시간 인덱스가 시간축을 따라 발생된다. 이어서, 비디오는 프레임 보간을 사용하는 등에 의해 새로 발생된 시간 인스턴스에서 재샘플링된다. 블록(804)에서, 의사-랜덤하게 샘플링된 시간 인덱스의 발생은 재샘플링에서의 적어도 하나의 프레임이 원본 비디오에서의 2개의 프레임 구간 사이에 있어야만 하도록 제약된다. 도 7의 예에서, 모든 2개의 원본 프레임 마커(타임라인 위쪽에 보임) 사이에 하나의 의사 랜덤 프레임 마커(타임라인의 아래쪽에 보임)가 있음을 알 수 있다. 블록(806)에서, 랜덤 시간 증분
Figure 112007078692193-PCT00063
이 발생되고 범위 [1-δ,1+δ] 내에서 균일하게 분포된다. 블록(808)에서, 시간 인덱스가 초기화되고 비디오의 길이에 걸쳐 계산된다. 예를 들어, 시간 인덱스가 t(0)=0에서 초기화될 수 있고, 시간 인덱스는 t(i)=t(i-1)+
Figure 112007078692193-PCT00064
(단, i=1,2,...,N임)에 따라 계산될 수 있으며, 여기서 N은 재샘플링된 비디오의 길이이고
Figure 112007078692193-PCT00065
Figure 112007078692193-PCT00066
에 따라 랜덤하다. 블록(810)에서, 모든 시간 인덱스가 [0,M] 내에 속하도록 값 t(1) 내지 t(N)이 스케일링되며, 여기서 M은 비디오 내의 프레임의 총수이다. 블록(812)에서, 비디오의 측면들을 제어하도록 변수들이 선택될 수 있다. 상세하게는, 변동의 길이를 제어하도록 α가 선택되고 시간 지터링을 제어하도록 δ가 선택된다. 예를 들어, δ는 0.75로 설정될 수 있고 α는 0.0035로 설정될 수 있다.
비디오의 의사 랜덤 시간 샘플링의 실시예는 품질 제어를 향상시키기 위해 보간 생략(interpolation skipping) 전략을 이용할 수 있다. 프레임들 전체가 빠른 움직임 및/또는 복잡한 장면을 구성하는 경우, 프레임 보간을 사용하면 만족할만한 지각 결과(perceptual result)를 얻지 못할 수 있다. 따라서, 보간된 프레임의 품질은 빠르고 복잡한 움직임을 나타내는 프레임을 생략함으로써 제어될 수 있다. 정량적으로, 움직임 벡터 필드의 분산(variance)이
Figure 112007078692193-PCT00067
및
Figure 112007078692193-PCT00068
로 계산될 수 있으며, 여기서 합
Figure 112007078692193-PCT00069
이 임계값
Figure 112007078692193-PCT00070
보다 클 때마다 보간이 생략된다. 한 구현에서, 프레임 크기는 640x480 픽셀로 설정될 수 있고,
Figure 112007078692193-PCT00071
는 300으로 설정될 수 있다. 일반적으로, 더 작은 프레임 크기를 사용하면 프레임의 폭 또는 높이에 기초하여 임계값이 비례하여 감소되어야만 한다.
도 9는 품질 제어를 향상시키기 위한 보간 생략 전략의 실시예(900)를 나타낸 것이다. 블록(902)에서, 비디오 내의 어느 프레임이 빠른 움직임 및 복잡한 비디오를 기술하는지가 판정된다. 의사-랜덤 시간 샘플링이 적용되는 경우, 이들 프레임은 잠재적인 품질 문제를 나타낸다. 블록(904)에서, 빠른 움직임 및 복잡한 비디오를 기술하는 것으로 판정된 프레임이 주목되고, 이들 프레임의 재샘플링이 생략된다.
비디오의 공간적 비동기화
이 섹션은 도 1의 블록(104)에 의해 소개된 주제인 공간적 비동기화에 대해 설명한다. 공간적 비동기화는 비동기화를 가져오기 위해 비디오의 의사-랜덤 시간 샘플링과 함께 사용될 수 있다. 공간적 비동기화의 한 구현은 전역적 연산 및 지역적 연산 둘다를 포함한다. 전역적 연산(global operation)은 프레임 회전, 스케일링 및 병진(RST)을 포함한다. 지역적 연산(local operation)은 완만하게 변하는 랜덤 벤딩(smooth-varying random bending) 및 루미넌스 필터링(luminance filtering)을 포함한다. 양호한 지각 품질을 달성하기 위해, 공간적으로도 시간적으로도 평탄하도록 이들 연산에 대한 파라미터가 발생된다.
RST 연산은 공간적 비동기화의 한 형태이다. 회전, 스케일링 및 병진(이동)은 동차 좌표(homogeneous coordinate)를 사용하여 표현될 수 있다. RST 연산 이전의 좌표가 (x1, y1)이고 RST 이후의 좌표가 (x2, y2)인 것으로 가정하면, θ도 회전시키면 이하의 관계가 얻어진다.
Figure 112007078692193-PCT00072
이와 마찬가지로, (tx,ty)의 병진 이후의 좌표의 관계
Figure 112007078692193-PCT00073
및 스케일링 이후의 관계
Figure 112007078692193-PCT00074
를 구할 수 있다.
전체적인 효과는 회전, 병진 및 스케일링 변환 행렬의 결합을 사용하여 표현될 수 있다.
수학식 14 내지 16의 구현에서, 회전각 θ, 스케일링 인자 sx 및 sy, 및 병진량 tx 및 ty는 RST 연산의 비지각성(imperceptibility)을 달성하기 위해 어떤 범위 내에(bounded) 있도록 선택된다. 이것과 부합하는 선택은
Figure 112007078692193-PCT00075
,
Figure 112007078692193-PCT00076
및
Figure 112007078692193-PCT00077
를 포함한다. 이 구현에서, 큐빅 스플라인 보간(cubic spline interpolation)이 사용되고, 주기는 T=32로 선택된다. 한 구현에서, RST 파라미터 범위는
Figure 112007078692193-PCT00078
,
Figure 112007078692193-PCT00079
로 설정되고
Figure 112007078692193-PCT00080
는 프레임 차원(frame dimension)의 1%로 설정된다.
도 10은 일반적으로 프레임 회전, 스케일링 및 병진(RST)에 대한 전역적 연산을 포함하는 전략을 적용하는 것을 특징으로 하는 공간적 비동기화의 실시예(1000)를 나타낸 것이다. 블록(1002)에서, 보호될 비디오 내의 점들이 회전된다. 블록(1004)에서, 보호될 비디오 내의 점들이 스케일링된다. 블록(1006)에서, 보호될 비디오 내의 점들이 병진된다. 유의할 점은 원하는 바에 따라 하나, 둘 또는 모든 RST 연산이 적용될 수 있다는 것이다. 이들 연산은 랜덤성(randomness)을 제공하고, 비디오에 적용될 핑거프린트의 일부를 구성한다.
랜덤 벤딩은 랜덤화된 서브픽셀 위치에서 이미지를 공간적으로 재샘플링하는 데 사용되는 도구이다. 보통 디지털 이미지에서는, 도 11에 나타낸 바와 같이, 픽셀들이 균일한 그리드로 샘플링된다. 랜덤 벤딩(random bending)에서는, 원래의 샘플링 그리드가 키를 사용하여 발생된 의사-랜덤 샘플링 그리드로 대체된다. 벤딩 전후에 샘플링 포인트의 수가 보존된다. 지각 품질을 보존하기 위해, 몇가지 제약 조건이 만족될 필요가 있다. 첫번째는 샘플링 위치의 순서를 보존하는 것이다, 즉 2개의 샘플링 위치 (xi,yk) 및 (xj,yk)(단, i<j임)가 동일한 "행"에 있는 경우, xi<xj이다. 동일한 규칙이 열 순서에 적용된다. 두번째는 대부분의 영역이 거의 균일하게 샘플링되도록 보장하는 것이다. 수학적으로 말하면, 이것은 A보다 큰 면적을 갖는 임의의 볼록 영역 S에 있어서 S 내부에 적어도 하나의 샘플링 포인트 P가 있어야만 한다는 것을 말한다. 우리는 공간적으로 교란된 샘플링 그리드(spatially perturbed sampling grid)를 벤딩 그리드(bending grid)로서 선택한다. 각각의 원래의 샘플링 위치에 대해, 교란 벡터(A, Ay)를 발생하고, 새로운 샘플링 위치(x',y')는 다음과 같다.
Figure 112007078692193-PCT00081
Figure 112007078692193-PCT00082
모든 샘플링 위치에 대한 교란 벡터
Figure 112007078692193-PCT00083
는 필드(field)를 형성한다. 교란 벡터 필드가 공간적으로 완만하게 변하도록(spatially smooth-varying) 보장하기 위해, 우리는 주기적으로 i.i.d. 교란 벡터를 획득하고 채워지지 않은 위치(unfilled location)에서 벡터 필드를 보간할 것을 제안한다. 이것은 이하의 2 단계에 의해 달성된다.
k=0,1,2,..., r=0,1,2,... 및 어떤 주기 T에 대해 교란 벡터
Figure 112007078692193-PCT00084
를 발생한다.
이중 선형(bilinear) 또는 바이-큐빅(bi-cubic) 보간을 사용하여 2-D 필드 상에서 교란 벡터 값을 보간한다. 먼저 행 보간(row interpolation)이 적용되고 이어서 열 보간(column interpolation)이 적용된다.
도 12는 랜덤 벤딩 연산을 특징으로 하는 공간적 비동기화의 실시예(1200)을 나타낸 것이다. 블록(1202)에서, 일반적으로 키를 사용하여 의사-랜덤 샘플링 그리드가 발생된다. 블록(1204)에서, 행 및 열 둘다에 대해서 샘플링 위치의 순서가 보존된다. 블록(1206)에서, 임계값보다 큰 면적을 갖는 모든 영역이 샘플링된다. 블록(1208)에서, 샘플링된 위치에 대해 주기적으로 교란 벡터가 발생된다. 블록(1210)에서, 일반적으로 보간 등의 기법에 의해 교란 벡터가 평탄화된다.
루미넌스 필터링은 비디오 내의 서로 다른 영역을 랜덤하게 선명화(sharpen) 또는 평탄화(smooth)하는 데 사용되는 도구이다. 루미넌스 필터링은 2가지 효과를 갖는다. 첫째, 시간 보간, 공간적 RST 및 벤딩 연산 이후에, 발생된 이미지가 블러링되는(blur) 경향이 있다. 따라서, 최종적인 출력의 지각 품질을 향상시키기 위해 엣지-선명화 필터(edge-sharpening filter)를 사용할 수 있다. 둘째, 루미넌스 필터의 파라미터가 랜덤하게 되어, 비동기화된 비디오에 더 많은 랜덤성을 제공할 수 있다. 비동기화 시스템을 특징으로 하는 실시예에서, 이하의 형태의 대칭형 3x3 루미넌스 필터를 생각해보자.
Figure 112007078692193-PCT00085
여기서, 파라미터 A는 필터의 총 에너지를 제어하고 파라미터 B는 선명화 효과를 감안한다. 양호한 지각 품질을 위해서는, 엣지 선명화 효과를 달성하기 위해 A는 1에 가까워야 하고 B는 0보다 커야만 한다. 예시적인 구현에서, A는 [1-0.04,1+0.04] 범위에 있고, B는 [0,0.7] 범위에 있다.
도 13은 루미넌스 필터링을 특징으로 하는 공간적 비동기화의 실시예(1300)를 나타낸 것이다. 블록(1302)에서, 대칭형 루미넌스 필터가 생성된다. 이 필터는 수학식 17c의 형태이거나 이와 유사할 수 있다. 블록(1304)에서, 비디오의 핑거프린팅된 복사본에서 지각 품질을 향상시키고 랜덤성을 향상시키도록 파라미터들이 선택된다. 수학식 17c 등의 필터가 사용되는 실시예에서, 원하는 바에 따라 루 미넌스 필터를 조정하도록 파라미터 A 및 B가 선택된다.
파라미터 평탄화 및 최적화 도구는 파라미터 값을 제어하고 비디오의 서로 다르게 비동기화된 복사본을 생성하도록 구성되어 있다. 한가지 이러한 도구인 '파라미터 이산화'는 비디오의 서로 다른 복사본과 연관된 파라미터에 충분히 서로 다른 값을 제공하는 데 도움이 된다. 앞서 기술한 바와 같이, RST 파라미터는 지각 품질을 보존하기 위해 어떤 범위 내에(bounded) 있다. 게다가, 비디오의 2개의 서로 다르게 비동기화된 복사본 간에 충분한 차이를 보이도록, 파라미터는 또한 충분히 큰 스텝 크기로 이산화될(즉, 불연속적으로 될) 필요가 있다. 이산화에 적절한 스텝 크기를 결정하기 위해, 이하의 실험이 수행될 수 있다. 일례에서, 640x480 프레임의 2개의 복사본이 평균화되며, 여기서 제1 복사본은 원래의 복사본이고 제2 복사본은
Figure 112007078692193-PCT00086
도 만큼의 회전 이후의 복사본이다. 이어서, 이 2개의 프레임이 평균화되고 평균화된 프레임에 블러링(blurring) 등의 임의의 지각 아티팩트가 있는지 판정하기 위해 관찰된다. 일반적으로, 지각 아티팩트를 야기하는 가장 작은
Figure 112007078692193-PCT00087
값을 이산 스텝 크기(discrete step-size)로서 사용한다. 유사한 방법을 사용하여, 스케일링 및 병진 파라미터 스텝-크기를 결정한다. 예를 들어, 회전 파라미터에 대한 8개의 양자화 레벨, 병진 파라미터에 대한 8개의 양자화 레벨 및 스케일링 파라미터에 대한 8개의 양자화 레벨을 선택한다. 이들 결과가 표 1에 요약되어 있다.
<표 1> RST 연산에 대한 파라미터 이산화
회전 병진 스케일링
스텝-크기 0.4도 2 픽셀 0.01
최소 -1.4도 -7 픽셀 0.965
최대 1.4도 7 픽셀 0.995
레벨 8 8 4
도 14는 파라미터 평탄화 및 최적화를 특징으로 하는 공간적 비동기화의 실시예(1400)를 나타낸 것이다. 이 연산은 공간적 비동기화 연산이 수행될 수 있을 만큼의 이산 스텝-크기를 제공한다. 블록(1402)에서, 프레임에 대해 회전 연산이 수행된다. 블록(1404)에서, 프레임 및 회전된 프레임이 함께 평균화된다. 이 평균화가 수행되는 방법은 얼마간 유연성이 있다. 블록(1406)에서, 회전 연산이 수행될 수 있을 만큼의 작은 값이 결정되고, 여기서 이 값으로 인해 평균화된 프레임에 지각 아티팩트가 생기게 된다. 블록(1408)에서, 이 작은 값은 핑거프린팅된 복사본을 생성하는 데 이산 스텝-크기로서 이용된다. 블록(1410)에서, 스케일링 및 병진 연산을 위해 블록(1402 내지 1408)이 반복되며, 그에 의해 이들 연산에 대한 이산 스텝-크기를 획득한다.
시간 평탄화 도구는 비동기화된 프레임의 비디오 이미지를 평탄화하는 데 사용된다. 3-D 신호로서, 비디오는 공간적 비동기화를 위한 기회 및 문제 둘다를 제공한다. 사람의 시각 시스템이 짧은 시간 동안 이미지를 본 후에 그 이미지를 유지할 수 있기 때문에, 초당 약 30 프레임의 표준 비디오 프레임 레이트는 개개의 프레임에서의 사소한 왜곡을 제거할 수 있다. 그 결과, 정지 이미지로서 볼 때 지각 아티팩트를 야기하게 되는 어떤 왜곡이 동영상으로서 볼 때 지각 아티팩트를 야기하지 않는다. 반면에, 사람의 눈은 비디오 시퀀스에서 시간적 및 공간적 변화에는 민감하다.
예를 들어, 프레임을 0.5도 회전시키고 정지 이미지로서 볼 때, 보통은 그 회전이 눈에 띄지 않는다. 그렇지만, 이 프레임 이후에 또하나의 프레임이 -0.5도 회전되면, 이러한 회전은 명백히 눈에 띄는데, 그 이유는 "지터링" 효과가 있기 때문이다.
우리의 방식에서 시간적 평탄성을 달성하기 위해, 우리는 L개째 프레임마다 RST, 벤딩 및 루미넌스 필터링 파라미터 필드를 발생하고 중간 프레임에서의 파라미터 필드를 획득하기 위해 선형 보간을 사용하기로 한다. 선형 보간은 파라미터 갱신 시간 및 필요한 저장소를 절감하도록 선택된다. 예를 들어, k번째 프레임에 대한 회전 파라미터 r(k) 및 (k+L)번째 프레임에 대한 회전 파라미터 r(k+L)를 발생하는 것으로 가정하자. k<i<k+L에 대한 파라미터 r(i)는 다음과 같다.
r(i)=(i-k)(r(r+L)-r(k))/L
상기 구현에서, 파라미터 L=128이고, 이는 비디오 레이트가 초당 30 프레임인 경우 약 4초에 대응한다.
도 15는 시간적 평탄화를 특징으로 하는 공간적 비동기화의 실시예(1500)를 나타낸 것이다. 블록(1502)에서, N개째 프레임마다 비디오에서 RST(회전, 스케일링 및 병진), 벤딩 및/또는 루미넌스 필터링 파라미터가 발생된다. 블록(1504)에서, N개 프레임의 그룹들 간의 중간 프레임에서의 파라미터 필드가 보간에 의해 구해진다. 그 결과, 시간적 평탄성이 향상되고, 그에 의해 RST, 벤딩 및 루미넌스 필터링 연산에 의해 유발된 지터링 효과의 일부를 제거한다.
파라미터 분포 도구는 비디오의 비동기화된 버전의 프레임들을 분리시키는 데 도움이 된다. 프레임 F 및 이 프레임의 2개의 비동기화된 버전 F1 및 F2를 갖는 것으로 가정하자. 공모를 저지하기 위해, F1과 F2 사이의 거리를 가능한 한 멀게 하고자 한다. 한가지 가능한 거리 척도는 픽셀x픽셀 차이, 즉
Figure 112007078692193-PCT00088
이다. F1과 F2가 단지 F를 회전시킨 버전(단, F1은 각도 θ1만큼 회전되고 F2는 θ2만큼 회전됨)이라고 가정하자. 프레임 F1에서의 위치(x,y)에 있는 픽셀이 프레임 F에서의 위치(x1,y1)으로부터 온 것이고 프레임 F2에서의 픽셀(x,y)은 프레임 F에서의 프레임 위치(x2,y2)인 것으로 생각하자. 즉,
Figure 112007078692193-PCT00089
이고
Figure 112007078692193-PCT00090
이다.
수학식 14에 따르면,
Figure 112007078692193-PCT00091
Figure 112007078692193-PCT00092
및
Figure 112007078692193-PCT00093
이다.
회전 각도 θ1 및 θ2가 아주 작은 것으로 가정하며, 이는 비동기화의 경우에 그러한데, 그 이유는 동일한 것에 관한 내용을 유지하고자 하기 때문이다. 이러한 가정 하에서, 다음과 같다.
Figure 112007078692193-PCT00094
2개의 프레임 간의 픽셀x픽셀 거리는 다음과 같다.
Figure 112007078692193-PCT00095
F의 루미넌스 값이 임의의 위치(x,y)의 작은 이웃에서 거의 선형적으로 변하고 공간 거리를 측정하기 위해 L2 놈(norm)을 사용하는 것으로 가정하면, 상기 수학식은 다음과 같이 된다.
Figure 112007078692193-PCT00096
병진, 스케일링 및 벤딩 연산에 대해 유사한 결과가 도출될 수 있다. 이러한 도출 하에서 비동기화된 프레임의 임의의 2개의 버전 간의 거리를 최대로 하고자 하는 경우 이 2개의 회전 파라미터 간의 거리를 최대로 할 필요가 있음을 명백하다. 2개의 회전 파라미터가 이산 집합
Figure 112007078692193-PCT00097
으로부터 의 값을 갖는 i.i.d 랜덤 변수이기 때문에, 이 문제는 θ1과 θ2 사이의 예상 거리를 최대로 하는 파라미터에 대한 분포 p를 구하는 것으로 된다. 우리는 거리를 측정하고 그 문제를 다음과 같이 수식화하기 위해 L2 놈을 사용한다.
Figure 112007078692193-PCT00098
상기 식으로 인해
Figure 112007078692193-PCT00099
인 분포가 얻어진다.
이러한 분포는, 비록 프레임의 임의의 2개의 회전된 복사본 간의 예상 거리를 최대로 하지만, 무자비한 공격에 견뎌낼 수 없는데, 그 이유는 랜덤성의 정도가 너무 작기 때문이다. 따라서, 다음과 같이 랜덤성 제약조건이 수학식 22에 추가될 수 있다.
Figure 112007078692193-PCT00100
Figure 112007078692193-PCT00101
단,
여기서,
Figure 112007078692193-PCT00102
는 분포의 엔트로피를 나타내고,
Figure 112007078692193-PCT00103
는 엔트로피의 임계값이다. 회전 파라미터가 8개 레벨로 양자화되어 있기 때문에, 가능한 최대 엔트로피는 3비트이다. 엔트로피 임계값
Figure 112007078692193-PCT00104
비트를 선택하고 표 2에서의 처음 2개의 행에서의 분포를 얻기 위해 수학식 23을 숫자적으로 푼다. 우리는 단지 단측 pmf(one-sided pmf)를 제공하는데, 그 이유는 pmf가 대칭적이기 때문이다. 유의할 점은 이 분포가 모든 8-레벨 pmf에 대해 수학식 23의 해라는 것이다. 따라서, 이는 또한 병진 파라미터에 대한 분포로서 사용될 수도 있다. 스케일링 파라미터에 있어서, 이는 4개의 레벨로 양자화되기 때문에, 엔트로피 임계값
Figure 112007078692193-PCT00105
비트를 선택하고 대응하는 pmf는 표 2에서의 마지막 2개의 행에 나타내어져 있다.
<표 2> RST 연산에 대한 파라미터 분포
8개 값
Figure 112007078692193-PCT00106
Figure 112007078692193-PCT00107
Figure 112007078692193-PCT00108
Figure 112007078692193-PCT00109
(단측) pmf 0.2375 0.1219 0.0781 0.0625
4개 값
Figure 112007078692193-PCT00110
Figure 112007078692193-PCT00111
Figure 112007078692193-PCT00112
Figure 112007078692193-PCT00113
pmf 0.3420 0.1580 0.1580 0.3420
도 16은 파라미터 분포 도구를 특징으로 하는 공간적 비동기화의 실시예(1600)를 나타낸 것이다. 이러한 도구는 비디오의 2개의 핑거프린팅된 복사본 내의 2개의 프레임 간의 거리를 증가시키는 데 도움이 된다. 블록(1602)에서, 프레임 F1 및 F2가 분리되며, 여기서 프레임 F1 및 F2는 비디오의 프레임 F의 핑거프린팅된 복사본 1 및 2와 연관되어 있다. 이 분리는 F1 및 F2와 연관된 회전, 스케일링, 병진 및 랜덤 벤딩 파라미터를 분리시킴으로써 수행된다. 블록(1604)에서, F1 및 F2를 생성하는 데 사용되는 파라미터에 랜덤성 제약조건이 도입되며, 여기서 랜덤성 제약조건은 임계값을 초과하는 파라미터의 분포의 엔트로피의 함수이다.
예시적인 컴퓨팅 환경
도 17은 디지털 비디오 핑거프린팅을 위한 공모-방지 비동기화를 구현하는 데 적합한 예시적인 컴퓨팅 환경을 나타낸 것이다. 이 컴퓨팅 환경(1700)은 컴퓨터(1702) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(1702)의 컴포넌트들은 하 나 이상의 프로세서 또는 처리 장치(1704), 시스템 메모리(1706) 및 프로세서(1704)를 비롯한 여러가지 시스템 컴포넌트들을 시스템 메모리(1706)에 연결시키는 시스템 버스(1708)를 포함하지만, 이에 한정되는 것은 아니다. 시스템 버스(1708)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스, PCI(Peripheral Component Interconnect) 버스, AGP(accelerated graphics port) 및 각종 버스 아키텍처 중 임의의 것을 이용하는 프로세서 또는 로컬 버스를 비롯한 임의의 몇몇 유형의 버스 구조 중 하나 이상을 나타낸다.
컴퓨터(1702)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터(1702)에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 둘다를 포함한다. 시스템 메모리(1706)는 랜덤 액세스 메모리(RAM)(1710) 등의 휘발성 메모리 및/또는 판독 전용 메모리(ROM)(1712) 등의 비휘발성 메모리 형태의 컴퓨터 판독가능 매체를 포함한다. 시동 중과 같은 때에, 컴퓨터(1702) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(1714)은 통상적으로 ROM(1712)에 저장되어 있다. RAM(1710)은 통상적으로 처리 장치(1704)가 즉시 액세스할 수 있고 및/또는 현재 동작시키고 있는 데이터 및/또는 프로그램 모듈을 포함한다.
컴퓨터(1702)는 또한 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예로서, 도 17은 비이동식·비휘발성 자기 매체(도시 생략)으로부터 판독하고 그에 기록하는 하드 디스크 드라이브(1716), 이동식·비휘발 성 자기 디스크(1720)(예를 들어, "플로피 디스크")로부터 판독하고 그에 기록하는 자기 디스크 드라이브(1718), 및 CD-ROM, DVD-ROM 또는 기타 광 매체 등의 이동식·비휘발성 광 디스크(1724)로부터 판독하고 및/또는 그에 기록하는 광 디스크 드라이브(1722)를 나타내고 있다. 하드 디스크 드라이브(1716), 자기 디스크 드라이브(1718) 및 광 디스크 드라이브(1722)는 각각 하나 이상의 데이터 미디어 인터페이스(1725)에 의해 시스템 버스(1708)에 연결되어 있다. 다른 대안으로서, 하드 디스크 드라이브(1716), 자기 디스크 드라이브(1718) 및 광 디스크 드라이브(1722)는 SCSI 인터페이스(도시 생략)에 의해 시스템 버스(1708)에 연결될 수 있다.
디스크 드라이브들 및 이들과 관련된 컴퓨터 판독가능 매체는 컴퓨터(1702)에 대한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 비휘발성 저장을 제공한다. 이 예가 하드 디스크(1716), 이동식 자기 디스크(1720) 및 이동식 광 디스크(1724)를 나타내고 있지만, 자기 카세트 또는 기타 자기 저장 장치, 플래쉬 메모리 카드, CD-ROM, DVD 또는 기타 광 저장장치, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(EEPROM), 기타 등등의 데이터를 저장할 수 있고 또 컴퓨터에 의해 액세스가능한 다른 유형의 컴퓨터 판독가능 매체도 역시 예시적인 컴퓨팅 시스템 및 환경을 구현하는 데 이용될 수 있다는 것을 잘 알 것이다.
예로서, 운영 체제(1726), 하나 이상의 애플리케이션 프로그램(1728), 기타 프로그램 모듈(1730) 및 프로그램 데이터(1732)를 비롯한 임의의 수의 프로그램 모듈이 하드 디스크(1716), 자기 디스크(1720), 광 디스크(1724), ROM(1712), 및/또 는 RAM(1710)에 저장될 수 있다. 이러한 운영 체제(1726), 하나 이상의 애플리케이션 프로그램(1728), 기타 프로그램 모듈(1730) 및 프로그램 데이터(1732) 각각(또는 이들의 어떤 조합)은 사용자 네트워크 액세스 정보에 대한 캐싱 방식의 실시예를 포함할 수 있다.
컴퓨터(1702)는 통신 매체라고 하는 다양한 컴퓨터/프로세서 판독가능 매체를 포함할 수 있다. 통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 영역 안에 포함된다.
사용자는 키보드(1734) 및 포인팅 장치(1736)(예를 들어, "마우스") 등의 입력 장치를 통해 컴퓨터 시스템(1702)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(1738)(구체적으로 도시하지 않음)는 마이크, 조이스틱, 게임 패드, 위성 안테나, 직렬 포트, 스캐너, 및/또는 기타를 포함할 수 있다. 이들 및 다른 입력 장치들은 시스템 버스(1708)에 연결되어 있는 입/출력 인터페이스(1740)를 통해 처리 장치(1704)에 연결되어 있지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus) 등의 다른 인터페이스 및 버스 구조에 의해 연결될 수도 있다.
모니터(1742) 또는 기타 유형의 디스플레이 장치도 역시 비디오 어댑터(1744) 등의 인터페이스를 통해 시스템 버스(1708)에 연결될 수 있다. 모니터(1742)에 부가하여, 다른 출력 주변 장치는 입/출력 인터페이스(1740)를 통해 컴퓨터(1702)에 연결될 수 있는 스피커(도시 생략) 및 프린터(1746) 등의 컴포넌트를 포함할 수 있다.
컴퓨터(1702)는 원격 컴퓨팅 장치(1748) 등의 하나 이상의 원격 컴퓨터와의 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 예로서, 원격 컴퓨팅 장치(1748)는 퍼스널 컴퓨터, 휴대용 컴퓨터, 서버, 라우터, 네트워크 컴퓨터, 피어 장치 또는 기타 통상의 네트워크 노드 등등일 수 있다. 원격 컴퓨팅 장치(1748)는 컴퓨터 시스템(1702)과 관련하여 본 명세서에 기술된 구성요소 및 특징의 다수 또는 그 전부를 포함할 수 있는 휴대용 컴퓨터로서 도시되어 있다.
컴퓨터(1702)와 원격 컴퓨터(1748) 사이의 논리적 접속은 근거리 통신망(LAN)(1750) 및 일반적인 원거리 통신망(WAN)(1752)로서 도시되어 있다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다. LAN 네트워킹 환경에서 구현될 때, 컴퓨터(1702)는 네트워크 인터페이스 또는 어댑터(1754)를 통해 LAN(1750)에 접속된다. WAN 네트워킹 환경에서 구현될 때, 컴퓨터(1702)는 통상적으로 WAN(173)을 통해 통신을 설정하기 위한 모뎀(1756) 또는 기타 수단을 포함한다. 컴퓨터(1702)에 대해 내장형 또는 외장형일 수 있는 모뎀(1756)은 입/출력 인 터페이스(1740) 또는 기타 적절한 메커니즘을 통해 시스템 버스(1708)에 접속될 수 있다. 도시된 네트워크 접속은 예시적인 것이며 이 컴퓨터들(1702, 1748) 사이에 통신 링크(들)를 설정하는 기타 수단이 사용될 수 있다는 것을 이해할 것이다.
컴퓨팅 환경(1700)으로 나타낸 것 등의 네트워크화된 환경에서, 컴퓨터(1702)에 대해 도시된 프로그램 모듈 또는 그의 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예로서, 원격 애플리케이션 프로그램(1758)은 원격 컴퓨터(1748)의 메모리 장치에 존재한다. 예시를 위해, 애플리케이션 프로그램 및 운영 체제 등의 기타 실행가능 프로그램 컴포넌트는 본 명세서에서 개별적인 블록으로 도시되어 있지만, 이러한 프로그램 및 컴포넌트들이 다양한 때에 컴퓨터 시스템(1702)의 서로 다른 저장 컴포넌트에 존재하고 컴퓨터의 데이터 프로세서(들)에 의해 실행된다는 것을 잘 알 것이다.
결론
디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화의 측면들을 구현하는 예시적인 시스템 및 방법이 부분적으로 도 1 내지 도 6, 도 8 내지 도 10 및 도 12 내지 도 16의 흐름도를 참조하여 기술되었다. 기술된 방법의 구성요소들은, 예를 들어, ASIC 상의 하드웨어 논리 블록을 포함한 임의의 적절한 수단에 의해 또는 프로세서-판독가능 매체 상에 정의된 프로세서-판독가능 명령어의 실행에 의해 수행될 수 있다. "프로세서-판독가능 매체"는, 본 명세서에서 사용되는 바와 같이, 프로세서가 사용하거나 실행하는 명령어를 포함, 저장, 전달, 전파 또는 전송할 수 있는 임의의 수단일 수 있다. 프로세서-판독가능 매체는 전자, 자기, 광학, 전자 기, 적외선, 또는 반도체 시스템, 장치, 기기, 또는 전파 매체일 수 있지만, 그에 한정되는 것은 아니다. 프로세서-판독가능 매체의 보다 구체적인 예는, 그 중에서도 특히, 하나 이상의 배선을 갖는 전기적 접속, 휴대용 컴퓨터 디스켓, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래쉬 메모리), 광 파이버, CD-RW(rewritable compact disc, 재기록가능 컴팩트 디스크), 및 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM)를 포함한다.
본 발명의 측면들이 양호한 실시예의 구조적 및/또는 방법적 특징을 구체적으로 기술하는 표현을 포함하지만, 첨부된 청구항들이 기술된 특정의 특징 또는 작용에 한정되지 않는다는 것을 잘 알 것이다. 오히려, 특정의 특징 및 작용은 단지 예시적인 구현으로 기술된 것이며 보다 일반적인 개념을 나타낸다.

Claims (20)

  1. 비디오 디지털 핑거프린팅을 위한 컴퓨터 실행가능 명령어를 포함하는 하나 이상의 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능 명령어는,
    보호될 비디오를 시간적으로 비동기화하는 명령어,
    상기 비디오를 공간적으로 비동기화하는 명령어, 및
    상기 시간적 및 공간적 비동기화에 의해 수정된 상기 비디오의 핑거프린팅된 복사본을 생성하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  2. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 어파인 워핑 해법(affine warping solution)을 적용하는 것을 포함하며,
    상기 어파인 워핑 해법은,
    상기 비디오 내에서 프레임 F1에서 프레임 F2로의 어파인 워핑을 기술하는 방정식을 도출하는 명령어, 및
    상기 방정식으로부터 도출된 최소화 문제의 해를 구함으로써 상기 워핑을 기술하는 파라미터 벡터를 구하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  3. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 어파인 워핑 해법을 적용하는 것을 포함하며,
    상기 어파인 워핑 해법은,
    F1으로부터 F2로의 워핑 행렬
    Figure 112007078692193-PCT00114
    을 추정하는 명령어,
    전방향 및 역방향 어파인 행렬을 계산하는 명령어,
    워핑된 좌표에서 F1 및 F2를 재샘플링함으로써 전방향 및 역방향 워핑된 프레임을 획득하는 명령어, 및
    출력값을 생성하기 위해 정수가 아닌 좌표를 보간하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  4. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 광학 흐름 해법을 적용하는 것을 포함하며,
    상기 광학 흐름 해법은,
    움직임 전후에 점(x,y)에 대한 일정한 조도 f를 가정하는 명령어,
    흐름 방정식을 도출하는 명령어 -
    Figure 112007078692193-PCT00115
    는 f의 공간 기울기 벡터임 -, 및
    움직임 벡터를 계산하고 이 벡터로
    Figure 112007078692193-PCT00116
    및 루미넌스의 추정된 공간 및 시간 기울기를 사용하여 상기 비디오를 샘플링하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  5. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 움직임 벡터 스위칭 해법을 적용하는 것을 포함하고,
    상기 움직임 벡터 스위칭 해법은,
    복수의 워핑된 프레임 쌍을 발생하는 명령어,
    움직임 벡터를 상기 워핑된 프레임 쌍 각각과 연관시킴으로써 복수의 움직임 벡터를 획득하는 명령어,
    오차 함수를 상기 움직임 벡터 각각에 적용하는 명령어, 및
    상기 오차 함수를 사용하여 상기 시간적 비동기화에서 사용하기 위한 상기 복수의 움직임 벡터 중에서 움직임 벡터를 선택하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  6. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 움직임 보상된 시간 보간 해법을 적용하는 것을 포함하며,
    상기 움직임 보상된 시간 보간 해법은,
    어떤 시간 인스턴스(time instance) 쪽으로 F1 및 F2를 워핑함으로써 G1 및 G2를 발생하는 명령어,
    F1 및 F2의 함수에 따라서 G1 및 G2를 재샘플링하는 명령어, 및
    G1 및 G2의 함수로서 상기 보간된 프레임 F를 획득하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 명령어.
  7. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 제약된 랜덤 시간 재샘플링 해법을 적용하는 것을 포함하며,
    상기 제약된 랜덤 시간 재샘플링 해법은,
    시간축을 따라 의사-랜덤 시간 인덱스를 발생하고 프레임 보간에 의해 상기 새로 발생된 시간 인스턴스에서 상기 비디오를 재샘플링하는 명령어,
    상기 재샘플링에서의 적어도 하나의 프레임이 상기 원본 비디오에서의 2개의 프레임 구간 사이에 있어야만 하도록 상기 발생을 제약하는 명령어,
    [1-δ,1+δ] 내에 균일하게 분포되도록 랜덤 시간 증분
    Figure 112007078692193-PCT00117
    을 발생하는 명령어,
    t(0)=0로 초기화하고 시간 인덱스 t(i)=t(i-1)+
    Figure 112007078692193-PCT00118
    (단, i=1,2,...,N임)를 계산하는 명령어 - 여기서, N은 상기 재샘플링된 비디오의 길이이고
    Figure 112007078692193-PCT00119
    Figure 112007078692193-PCT00120
    에 따라 랜덤함 -,
    모든 시간 인덱스가 [0,M] 내에 속하도록 값 t(1) 내지 t(N)을 스케일링하는 명령어, 및
    변동의 길이를 제어하도록 α를 선택하고 시간 지터링을 제어하도록 δ를 선택하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  8. 제1항에 있어서, 상기 비디오를 시간적으로 비동기화하는 것은 보간 생략 전 략을 포함하며,
    상기 보간 생략 전략은,
    상기 비디오 내의 어느 프레임이 빠른 움직임(fast motion) 및 복잡한 비디오(complex video)를 기술하는지를 판정하는 명령어, 및
    이들 프레임의 재샘플링을 생략하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  9. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은,
    상기 보호될 비디오 내의 점들을 회전, 스케일링 및 병진시키는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  10. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은 랜덤 벤딩 해법을 포함하며,
    상기 랜덤 벤딩 해법은,
    키(key)를 사용하여, 의사-랜덤 샘플링 그리드를 발생하는 명령어,
    행 및 열 둘다에 대해 샘플링 위치의 순서를 보존하는 명령어,
    임계값보다 큰 면적을 갖는 모든 영역을 샘플링하는 명령어,
    샘플링된 위치들에 대해 주기적으로 교란 벡터(perturbation vector)를 발생하는 명령어, 및
    보간에 의해 상기 교란 벡터를 평탄화하는 명령어를 포함하는 것인 하나 이 상의 컴퓨터 판독가능 매체.
  11. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은 루미넌스 필터링을 포함하며,
    상기 루미넌스 필터링은,
    대칭형 루미넌스 필터(symmetric luminance filter)를 생성하는 명령어, 및
    상기 비디오의 상기 핑거프린팅된 복사본에서 랜덤성을 향상시키고 또 지각 품질을 향상시키도록 상기 필터 내의 파라미터를 선택하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  12. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은 파라미터 이산화(parameter discretization)를 포함하고,
    상기 파라미터 이산화는,
    프레임에 대해 회전 연산을 수행하는 명령어,
    상기 회전된 프레임과 상기 프레임을 평균화하는 명령어,
    상기 평균화된 프레임에 지각 아티팩트(perceptual artifact)가 생기게 하는, 상기 회전 연산이 수행될 수 있는 만큼의 작은 값을 결정하는 명령어,
    상기 작은 값을 상기 핑거프린팅된 복사본을 생성하는 데 이산 스텝-크기(discrete step-size)로서 이용하는 명령어, 및
    스케일링 및 병진 연산에 대해 반복하는 명령어를 포함하는 것인 하나 이상 의 컴퓨터 판독가능 매체.
  13. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은 시간적 평탄화에 대한 명령어를 포함하며,
    상기 시간적 평탄화는,
    N번째 프레임마다 상기 비디오 내의 프레임을 공간적으로 비동기화하는 데 사용되는 회전, 스케일링 및 병진 그리고 루미넌스 필터링 파라미터를 발생하는 명령어, 및
    N개 프레임의 그룹들 간의 중간 프레임에서 파라미터 필드를 획득하기 위해 보간하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  14. 제1항에 있어서, 상기 비디오를 공간적으로 비동기화하는 것은 파라미터 분포에 대한 명령어를 포함하며,
    상기 파라미터 분포는,
    F1 및 F2와 연관된 회전, 스케일링, 병진 및 랜덤 벤딩 파라미터를 분리(distance)시킴으로써 프레임 F1 및 F2를 분리(separate)하는 명령어 - 여기서, 프레임 F1 및 F2는 상기 비디오의 프레임 F의 핑거프린팅된 복사본 1 및 2과 연관되어 있음 -, 및
    상기 파라미터들에 랜덤성 제약 조건을 도입하는 명령어 - 상기 랜덤성 제약 조건은 임계값을 초과하는 파라미터들의 분포의 엔트로피의 함수임 - 를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  15. 비디오 디지털 핑거프린팅을 위한 컴퓨터 실행가능 명령어를 포함하는 하나 이상의 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능 명령어는,
    보호될 비디오에 제1 및 제2 시간적 비동기화를 적용하는 명령어,
    상기 비디오에 제1 및 제2 공간적 비동기화를 적용하는 명령어, 및
    상기 시간적 비동기화 및 상기 공간적 비동기화에 따라 상기 비디오의 제1 및 제2 핑거프린팅된 복사본을 생성하는 명령어를 포함하며,
    상기 제1 및 제2 핑거프린팅된 복사본을 공모된 비디오로 결합하면 지각 아티팩트가 발생되는 것인 하나 이상의 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 시간적 비동기화를 적용하는 명령어는,
    상기 비디오의 프레임 샘플링과 연관된 시간 인덱스(time index)를 랜덤 시간 인덱스(random time index)로 대체시키는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  17. 제15항에 있어서, 공간적 비동기화를 적용하는 명령어는,
    복수의 프레임에 적용되는 전역적 연산(global operation) 및 개개의 프레임 에 적용되는 지역적 연산(local operation)을 위한 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  18. 비디오 디지털 핑거프린팅을 위한 컴퓨터 실행가능 명령어를 포함하는 하나 이상의 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능 명령어는,
    의사 랜덤 시간 인덱스를 사용함으로써 보호될 비디오를 시간적으로 비동기화하는 명령어,
    랜덤 벤딩 연산과 함께 회전, 스케일링 및 병진 연산을 적용함으로써 상기 비디오를 공간적으로 비동기화하는 명령어, 및
    상기 시간적 및 공간적 비동기화에 의해 수정된 상기 비디오의 핑거프린팅된 복사본을 생성하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
  19. 제18항에 있어서, 상기 시간적 비동기화는 어파인 워핑 해법을 상기 재샘플링에 적용하는 명령어를 포함하며,
    파라미터 벡터가 상기 비디오 내의 프레임들을 변경하는 데 사용되는 것인 하나 이상의 컴퓨터 판독가능 매체.
  20. 제18항에 있어서, 상기 공간적 비동기화는 상기 회전, 스케일링 및 병진 연산을 전역적으로 적용하고 상기 랜덤 벤딩 연산을 지역적으로 적용하는 명령어를 포함하는 것인 하나 이상의 컴퓨터 판독가능 매체.
KR1020077025412A 2005-05-27 2006-04-21 디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화 KR101224744B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/139,176 2005-05-27
US11/139,176 US7397933B2 (en) 2005-05-27 2005-05-27 Collusion resistant desynchronization for digital video fingerprinting
PCT/US2006/015558 WO2006130271A2 (en) 2005-05-27 2006-04-21 Collusion resistant desynchronization for digital video fingerprinting

Publications (2)

Publication Number Publication Date
KR20080012281A true KR20080012281A (ko) 2008-02-11
KR101224744B1 KR101224744B1 (ko) 2013-01-21

Family

ID=37463405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077025412A KR101224744B1 (ko) 2005-05-27 2006-04-21 디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화

Country Status (10)

Country Link
US (1) US7397933B2 (ko)
EP (1) EP1883895B1 (ko)
JP (1) JP5095611B2 (ko)
KR (1) KR101224744B1 (ko)
CN (1) CN101427265B (ko)
BR (1) BRPI0610169A2 (ko)
IL (1) IL186758A (ko)
MX (1) MX2007014559A (ko)
RU (1) RU2407215C2 (ko)
WO (1) WO2006130271A2 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088225A1 (en) 2004-10-26 2006-04-27 The Secretary Of State For The Home Department Comparison
WO2008136933A1 (en) * 2007-05-07 2008-11-13 Thomson Licensing Method and apparatus for processing video sequences
GB0819069D0 (en) 2008-10-17 2008-11-26 Forensic Science Service Ltd Improvements in and relating to methods and apparatus for comparison
US8913779B2 (en) * 2010-02-02 2014-12-16 Futurewei Technologies, Inc. System and method for securing media content
CN101872398B (zh) * 2010-06-13 2012-05-30 上海交通大学 基于码分多址和分集技术的抗合谋数字指纹方法
US8942430B2 (en) * 2010-07-19 2015-01-27 The University Of Maryland, College Park Method and apparatus for authenticating area biometric scanners
EP2689393A1 (en) * 2011-03-23 2014-01-29 Metaio GmbH Method for registering at least one part of a first and second image using a collineation warping function
CN103444201A (zh) * 2011-03-25 2013-12-11 汤姆逊许可公司 隐藏和恢复视频流中的数据的方法
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
DE102013000301A1 (de) * 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
CN104796733B (zh) * 2014-01-20 2019-03-29 北京数码视讯科技股份有限公司 视频数据的处理方法、装置及系统
CN110989284A (zh) * 2014-04-22 2020-04-10 日本电信电话株式会社 视频呈现装置、视频呈现方法以及程序
US10531093B2 (en) * 2015-05-25 2020-01-07 Peking University Shenzhen Graduate School Method and system for video frame interpolation based on optical flow method
US10469486B2 (en) 2016-04-08 2019-11-05 University Of Maryland Method and apparatus for authenticating device and for sending/receiving encrypted information
RU2658811C2 (ru) * 2016-12-12 2018-06-22 Общество С Ограниченной Ответственностью "Дисикон" Способ и система устранения эффекта скользящего затвора камеры
KR102154897B1 (ko) 2018-09-18 2020-09-10 이화여자대학교 산학협력단 블록체인 및 핑거프린팅을 이용한 디지털 콘텐츠 관리 방법, 이를 수행하기 위한 장치 및 기록매체
US10860845B2 (en) * 2018-10-22 2020-12-08 Robert Bosch Gmbh Method and system for automatic repetitive step and cycle detection for manual assembly line operations

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914694A (en) * 1988-04-11 1990-04-03 Eidak Corporation Modifying a television signal to inhibit recording/reproduction
JP2760083B2 (ja) * 1989-09-22 1998-05-28 富士通株式会社 フレーム間補間方式
US5355411A (en) * 1990-08-14 1994-10-11 Macdonald John L Document security system
JP2644367B2 (ja) * 1990-10-26 1997-08-25 富士通株式会社 フレーム間補間方式
CA2184949C (en) * 1995-09-28 2000-05-30 Ingemar J. Cox Secure spread spectrum watermarking for multimedia data
US5664018A (en) * 1996-03-12 1997-09-02 Leighton; Frank Thomson Watermarking process resilient to collusion attacks
US6381367B1 (en) * 1997-05-29 2002-04-30 Macrovision Corp. Method and apparatus for compression compatible video fingerprinting
US6091822A (en) * 1998-01-08 2000-07-18 Macrovision Corporation Method and apparatus for recording scrambled video audio signals and playing back said video signal, descrambled, within a secure environment
US6145081A (en) * 1998-02-02 2000-11-07 Verance Corporation Method and apparatus for preventing removal of embedded information in cover signals
JP4083302B2 (ja) * 1998-08-12 2008-04-30 株式会社東芝 動画像スクランブル／デスクランブル装置
US6539475B1 (en) * 1998-12-18 2003-03-25 Nec Corporation Method and system for protecting digital data from unauthorized copying
US6785401B2 (en) * 2001-04-09 2004-08-31 Tektronix, Inc. Temporal synchronization of video watermark decoding
US6975743B2 (en) * 2001-04-24 2005-12-13 Microsoft Corporation Robust and stealthy video watermarking into regions of successive frames
WO2003071533A1 (en) * 2002-02-19 2003-08-28 Koninklijke Philips Electronics N.V. Collusion-robust watermarking

Also Published As

Publication number Publication date
EP1883895A2 (en) 2008-02-06
JP5095611B2 (ja) 2012-12-12
JP2008546277A (ja) 2008-12-18
CN101427265A (zh) 2009-05-06
WO2006130271A3 (en) 2008-11-20
WO2006130271A2 (en) 2006-12-07
IL186758A (en) 2011-03-31
CN101427265B (zh) 2011-08-03
MX2007014559A (es) 2008-11-06
KR101224744B1 (ko) 2013-01-21
RU2407215C2 (ru) 2010-12-20
US7397933B2 (en) 2008-07-08
IL186758A0 (en) 2008-03-20
US20060269097A1 (en) 2006-11-30
EP1883895B1 (en) 2018-10-10
BRPI0610169A2 (pt) 2010-06-01
EP1883895A4 (en) 2011-08-10
RU2007143962A (ru) 2009-06-10

Similar Documents

Publication Publication Date Title
KR101224744B1 (ko) 디지털 비디오 핑거프린팅을 위한 공모 방지 비동기화
Doërr et al. Security pitfalls of frame-by-frame approaches to video watermarking
Fallahpour Reversible image data hiding based on gradient adjusted prediction
US8102428B2 (en) Content-aware video stabilization
CN109949199B (zh) 基于二维预测误差直方图自适应扩展的可逆信息隐藏方法
KR101785194B1 (ko) Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
El’Arbi et al. A dynamic video watermarking algorithm in fast motion areas in the wavelet domain
KR20010039885A (ko) 화상 처리 장치
Behnia et al. Watermarking based on discrete wavelet transform and q-deformed chaotic map
Lee et al. Fast 3D video stabilization using ROI-based warping
Kumar et al. A multi-image hiding technique in dilated video regions based on cooperative game-theoretic approach
US9973742B2 (en) Methods and apparatus for preparation of casual stereoscopic video
CN110889798B (zh) 三维视频中二维视频帧和深度图版权保护的零水印方法
Biswas et al. MPEG-2 digital video watermarking technique
CN109493270B (zh) 一种基于slt-dm的水印图像还原方法
Mao et al. Collusion-resistant intentional de-synchronization for digital video fingerprinting
Ahuja et al. Robust Video Watermarking Scheme Based on Intra-Coding Process in MPEG-2 Style.
Klington et al. Cost-Effective watermarking scheme for authentication of digital fundus images in healthcare data management
US20140093121A1 (en) Image processing apparatus and method
Thakur et al. Different techniques of image and video steganography: a review
Wang et al. A new reversible data hiding based on fuzzy predictor
Wang et al. The image high capacity and reversible data hiding technique based on pixel frequency of block
Geetha et al. Improved reversible data embedding in medical images using I-IWT and pairwise pixel difference expansion
Miao et al. Image descriptor based digital semi-blind watermarking for DIBR 3D images
Pravalika et al. Comparison of LSB based and HS based reversible data hiding techniques

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 8