KR20160001714A - 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스 - Google Patents

픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20160001714A
KR20160001714A KR1020150092092A KR20150092092A KR20160001714A KR 20160001714 A KR20160001714 A KR 20160001714A KR 1020150092092 A KR1020150092092 A KR 1020150092092A KR 20150092092 A KR20150092092 A KR 20150092092A KR 20160001714 A KR20160001714 A KR 20160001714A
Authority
KR
South Korea
Prior art keywords
elements
determining
candidate
pixel
map
Prior art date
Application number
KR1020150092092A
Other languages
English (en)
Other versions
KR102267770B1 (ko
Inventor
앙뚜안 로베르
그웨나엘 도에르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160001714A publication Critical patent/KR20160001714A/ko
Application granted granted Critical
Publication of KR102267770B1 publication Critical patent/KR102267770B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0053—Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

오디오 비디오 컨텐츠를 나타내는 코딩된 비트 스트림의 픽쳐들의 그룹에서의 변경가능 엘리먼트들의 세트를 결정하는 방법이 개시된다. 본 방법은 후보 변경가능 엘리먼트들의 세트를 결정하는 단계 (s12) 로서, 후보 변경가능 엘리먼트는 코딩된 비트 스트림의 변경된 값 및 변경된 값과 연관된 공간적 전파 맵을 포함하고, 공간적 전파 맵 (sp6) 은 변경된 값이 코딩된 비트 스트림에 위치될 때 디코딩이 영향을 받는 픽셀들을 포함하는, 상기 후보 변경가능 엘리먼트들의 세트를 결정하는 단계; 각각의 참조 프레임에 대해 히트 맵을 결정하는 단계 (s14) 로서, 히트 맵은 참조 프레임의 각각의 픽셀에 대해, 픽쳐들의 그룹을 코딩한 코딩된 비트 스트림의 부분의 디코딩 동안에 시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 정보를 포함하는, 상기 히트 맵을 결정하는 단계; 및 후보 변경가능 엘리먼트들 중에서 변경가능 엘리먼트들의 세트를 획득하는 단계 (s16) 로서, 변경가능 엘리먼트는 대응하는 히트 맵과 오버랩하지 않는 공간적 전파 맵을 갖는, 상기 변경가능 엘리먼트들의 세트를 획득하는 단계를 포함한다.

Description

픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR DETERMINING A SET OF MODIFIABLE ELEMENTS IN A GROUP OF PICTURES}
다음에서는, 비디오 워터마킹의 도메인에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법이 개시된다. 구체적으로, 오디오 비디오 콘텐츠를 나타내는 코딩된 비트스트림의 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법이 개시되며, 여기에서 이 방법은 히트 맵을 결정하는 단계를 포함한다. 대응하는 디바이스가 또한 개시된다.
본 섹션은 아래 설명되고/되거나 청구된 본 원리들의 여러 양태들에 관련될 수도 있는 당해 기술의 여러 양태들을 독자에게 소개하도록 의도된다. 본 설명은 본 원리들의 여러 양태들의 보다 나은 이해를 용이하게 하기 위해 배경기술 정보를 독자에게 제공하는데 있어 도움이 될 것으로 믿는다. 따라서, 이들 명세서들은 이러한 견지에서 읽혀져야 하며 종래 기술의 인정으로서 간주되지 않음을 이해하여야 한다.
불법복제 추적 (traitor tracing) 은 어떤 고유의 식별자로 워터마킹된 컨텐츠를 클라이언트들에게 제공하는 것으로 구성된다. 불법 복제본 (pirate copy) 이 인가되지 않은 배포 네트워크 상에서 이후에 발견되면, 부정행동을 한 (misbehaving) 고객을 식별하는 것이 가능하게 된다.
컨텐츠를 워터마킹하는 종래의 방법들 중에서, 한 접근 방법은 어떠한 종류의 압축 해제 없이도, 압축된 포맷으로 비트 스트림을 직접 변경하는 것을 포함한다. 그 후, 도입된 변화들이 디코딩 단계에서 비디오 품질을 상당히 손상시키지 않는 것을 보장하는 것이 주요 도전과제가 된다. 앞서가는 엔트로피 코딩 패러다임들, 이를 테면, 예를 들어, 컨텍스트 적응성 및 산술 코딩의 도입은 이러한 비트 스트림 변경들을 보다 더 도전적으로 만든다. 비트 스트림의 단일의 변경은 특히 공간 및 시간 전파에 대해 적절한 주의가 취해지지 않으면 재해적 열화를 가져올 수 있다. 예측에 이용된 프레임이 워터마킹될 때, 도입된 변화들은 디코딩 프로세스를 통하여 시간적으로 전파될 수 있어, 이에 의해 도입된 워터마크들의 제어되지 않은 전파로 인하여 워터마크의 비인지성을 위협한다.
시간적 드리프트로서 또한 지칭되는 시간적 전파는 비디오 코덱에 일상적으로 이용되는 메카니즘인 시간적 예측으로부터 비롯된다. 이는 많은 수의 프레임들의 많은 수의 픽셀들에 영향을 줄 수 있다: (i) 주어진 프레임에서, 수개의 픽셀들은 이들의 예측들에서 동일한 참조 픽셀을 이용할 수 있고, 그리고 (ii) 상이한 프레임들로부터의 픽셀들은 또한 동일한 참조 픽셀을 이용할 수 있다. 또한, 시간적 예측들에 수반되는 서브픽셀 보간들은 변경의 영향을 더욱 확대시킨다.
워터마크들이 임베딩 단계에서 삽입될 수 있는 경우 (포지션, 값) 의 세트를 식별하기 위한 비트 스트림의 분석은 워터마크 프리프로세싱으로서 또한 알려져 있다.
워터마크 프리프로세싱의 제 1 솔루션은 (대부분의 코덱에서 비-참조 B-프레임들로서) 인코딩된 비-참조 프레임들을 워터마킹하는 비트 스트림 워터마킹 시스템들에 유용하며, 이에 따라, 구성에 의해 도입된 변화들의 임의의 시간적 전파를 회피시킨다. 그러나, 참조 프레임들도 또한 최대 관심 대상이다. 실제로, 참조 프레임들을 워터마킹할 수 있는 것은 임베딩 레이트를 증가시키고 이에 따라 워터마크 견고성을 증가시킨다. 또한, 수개의 분산 네트워크들은 보다 유연한 스트리밍 능력들을 암시하는 디코딩 및 렌더링 프레임 순서들 사이의 정렬을 갖추도록 참조 프레임들만을 이용하는 스트림들을 다룬다. 따라서, 이들 참조 프레임들을 워터마킹하는 것은 비트 스트림 워터마킹 시스템들에 대한 큰 관심의 대상이 되기는 하지만, 물론 시간적 전파 관리에 관한 도전과제들을 일으킨다.
참조 프레임들, 이를 테면, 다른 프레임들 (I 프레임, 참조 B 프레임들 또는 P 프레임들) 을 예측하는데 이용되는 프레임들에 대해, 제 2 솔루션은 US20130188712 에 개시된 바와 같이, 각각의 매크로블록에 대하여, 매크로블록이 인트라 프레임 또는 인터 프레임 예측을 통하여 다른 매크로블록들의 픽셀 값들에 얼마나 많은 영향을 주는지를 표시하는 압축 영향 값들을 계산하는 것으로 구성된다. 그러나, 이들 압축 영향 값을 구축하는 것은 실제로 상당한 도전과제를 겪으며 매우 계산집약적이다. 이는 실제로 적시에 수개의 프레임들에 걸쳐 블록의 영향을 추적하는 것을 요구한다. 그 후, 작은 영향 값들을 가진 매크로블록이 워터마킹을 위하여 선택된다. 이러하기는 하지만, US20130188712 는 상이한 변화들의 시간적 전파가 오버랩하는 것을 방지하는 어떠한 메카니즘에 대해서도 개시하고 있지 않으며, 이는 제어가능하지 않은 비쥬얼 아티팩트들을 가능성있게 야기한다.
이 솔루션의 변경예가 FR2949283A1 에 개시되어 있다. 비디오 스트림의 후속하는 그리고 선행하는 이미지들을 디코딩하기 위한 (즉, 인트라 프레임 또는 인터 프레임 예측 동안의) 참조로서 역할을 하지 않는 매크로블록을 포함하는 이미지가 비디오 스트림에서의 비디오 이미지들 중에서 온-더-플라이 방식으로 식별된다. 그 후, 이 비-참조 매크로블록은 원하는 식별 정보, 즉, 워터마크를 인코딩한 대안의 매크로블록에 의해 대체된다. 그러나, FR2949283A1 은 참조로서 역할을 하지 않는 매크로블록들이 어떻게 식별되는지를 명시적으로 개시하고 있지 않아, 이에 따라, 압축 영향 값들을 계산하는 도전 과제를 해결하지 못한다.
따라서, 예측으로 인한 워터마크들의 시간적 및 공간적 전파를 관리하는 후보 워터마크들을 결정하는 계산 효율적인 방법이 요구된다. 예를 들어, 그 공간적 전파가 다른 프레임에 의한 예측에 이용되는 어떠한 매크로블록도 포함하지 않는 워터마크들 (포지션, 값) 을 누구나 고려할 수 있다. 이는, 이상적인 것으로 알려진, 그 공간 시간적 전파 맵들이 교차하지 않는 후보 워터마크들의 세트를 선택하는 것보다 다소 더 엄격한 선택이지만, 상당히 효율적으로 계산될 수 있다.
본 원리들은 오디오 비디오 컨텐츠를 나타내는 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법을 제안함으로써 종래 기술의 단점들 중 적어도 하나를 극복하며, 여기에서 방법은 각각의 픽셀의 사용량을 나타내는 히트 맵을 참조로서 결정하는 단계를 포함한다.
실제로, 본 원리들의 핵심 사상은 제어된 시간적 전파에 의해 또는 어떠한 제어된 시간적 전파 없이도 참조 프레임들에서의 영역들을 워터마킹하는 것이며, 제 1 단계에서 각각의 워터마크가능한 프레임에 대해 연관된 대체 값들 및 특성들 (공간적 전파, 및 일부 견고성 (robustness) 및 충실도 (fidelity) 기준) 과 함께 워터마킹에 적합한 모든 로케이션들을 발견하도록 비트스트림을 분석하는 것; 및 각각의 참조 프레임에 대해, 참조로서 각각의 픽셀, 즉, 다른 프레임들의 일부 예측에 수반되는 픽셀의 사용량을 나타내는 맵 (참조 히트 맵 또는 히트 맵이라 지칭됨) 을 구성하는 것 양쪽 모두를 포함한다. 그 후, 제 2 단계에서, 정확한 로케이션들의 세트가 견고성 및 충실도 기준을 충족하는 것으로서 선택되고, 그리고 그 공간적 전파 맵들이 대응 참조 히트 맵들에 의해 주어지는 참조 프레임들의 비-참조 영역들 내에서 제한된다.
이를 위하여, 오디오 비디오 컨텐츠를 나타내는 코딩된 비트 스트림의 픽쳐들의 그룹에서의 변경가능 엘리먼트들의 세트를 결정하는 방법이 개시된다. 당해 기술 분야의 당업자는 변경가능 엘리먼트가 신택스 엘리먼트가 아닌, 컨텐츠를 코딩하는 비트스트림에 있어서의 세그먼트에 대응하고 있음을 주지할 것이다. 실제로, CABAC 엔트로피 코딩에서, 신택스 엘리먼트는 비정수 개의 비트들 상에서 인코딩된다. 그 결과, 변경가능 엘리먼트에 연관된 비트스트림의 세그먼트는 단일의 신택스 엘리먼트의 인코딩 또는 심지어 이들 중 몇몇에 기여할 수도 있지만 단일의 신택스 엘리먼트를 전체적으로 인코딩하는 것은 드물다. 즉, 변경가능 엘리먼트는 비트스트림에서의 소정의 포지션에서 고정된 길이의 대체 값 (예를 들어, 2 바이트 길이 바이너리 워드) 를 포함한다. 본 방법은 포지션, 이 포지션에서의 코딩된 비트스트림의 변경된 값, 및 변경된 값과 연관된 공간적 전파 맵을 포함하는 후보 변경가능 엘리먼트들의 세트를 결정하는 단계; 참조 프레임의 각각의 픽셀에 대해, 코딩된 비트 스트림의 디코딩 동안에 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 포함하는 히트 맵을 결정하는 단계; 및 변경가능 엘리먼트의 공간적 전파 맵과 히트 맵에 따라 코딩된 비트스트림의 후보 변경가능 엘리먼트들 중에서 한 변경가능 엘리먼트를 획득하는 단계를 포함한다.
변형예에 따르면, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 픽셀이 시간적 예측에 이용되는지 아닌지의 여부를 나타내는 바이너리 값이다. 다른 변형예에서, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 픽셀이 시간적 예측을 위해 이용되는 횟수를 포함한다. 또 다른 변형예에서, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 예측을 위한 참조 픽셀을 이용하여 픽셀들과 연관된 예측 가중치들의 합을 포함한다. 각각의 변형예는 이하 설명된 바와 같이 워터마크들의 시간적 전파의 관리에 대한 변경예에 유리하게 적응된다.
유리하게, 히트 맵은 후보 변경가능 엘리먼트들이 존재하는 참조 프레임들에 대하여 결정된다. 유리한 실시형태들에서, 이러한 참조 프레임들은 P 프레임들 및 B 참조 프레임들로 제한된다.
특정 실시형태에 따르면, 히트 맵을 결정하는 단계는 픽쳐들의 그룹의 각각의 디코딩된 프레임에 대하여: 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 예를 들어, 0 으로 초기화하는 단계; 상기 프레임을 디코딩하는 단계; 및 상기 디코딩된 프레임의 각각의 디코딩된 매크로블록에 대해, 디코딩된 매크로블록이 지시하는 참조 프레임(들) 과 연관된 히트 맵(들)에서의 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 업데이트하는 단계를 포함한다.
다른 특정 실시형태에 따르면, 변경가능 엘리먼트를 획득하는 단계는 백워드 순서로 스캐닝된 픽쳐들의 그룹의 각각의 프레임에 대하여, 공간적 전파 맵이 프레임의 시간적 히트 맵과 오버랩하지 않는 후보 변경가능 엘리먼트를 선택하는 단계; 및 선택된 후보 변경가능 엘리먼트의 변경된 값과 연관된 공간적 전파 맵의 매크로블록들에 의해 참조로서 이용되는 모든 픽셀들에 대한 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 업데이트하는 단계를 포함한다. 유리하게, 변경가능 엘리먼트를 획득하기 위한 이 제 2 단계는 역 디코딩 순서로 실현된다. 각각의 프레임에 대해, 이 단계는 견고성 및 충실도 기준 양쪽 모두를 충족하면서, 대응 참조 히트 맵들에 의해 주어지는 참조 프레임들의 비-참조된 영역들 내에 전파하는 후보 변경가능 엘리먼트들의 세트를 선택하고; 그 후, 선택된 엘리먼트들의 매크로블록들을 예측하는데 이용되는 픽셀들에 따라 이전 참조 히트 맵들을 업데이트한다.
제 1 변형예에 따르면, 후보 변경가능 엘리먼트를 선택하는 단계는 공간적 전파 맵의 적어도 하나의 픽셀의 히트 맵에서의 값이 0 과 동일하지 않을 때 후보 변경가능 엘리먼트들을 폐기하는 단계를 포함한다. 유리하게, 이 변형예는 어떠한 시간적 전파도 유도하지 않는 워터마크들만을 유지한다. 제 2 변형예에 따르면, 후보 변경가능 엘리먼트를 선택하는 단계는 각각의 후보 변경가능 엘리먼트에 대하여, 히트 맵에 따라 예측에 이용되는 후보 변경가능 엘리먼트의 공간적 전파 맵에서의 픽셀들의 수를 포함하는 제 1 종속 값을 결정하는 단계; 및 자신의 제 1 종속 값이 제 1 임계값보다 더 큰 모든 후보 변경가능 엘리먼트들을 폐기하는 단계를 포함한다. 유리하게, 이 변형예는 제어된 수의 공간적 전파 맵의 픽셀들만이 다른 프레임들에 의한 예측에 이용되기 때문에, 제한된 시간적 전파를 유도하기 쉬운 엘리먼트들을 유지한다. 제 3 변형예에 따르면, 후보 변경가능 엘리먼트를 선택하는 단계는 각각의 후보 변경가능 엘리먼트에 대하여, 후보 변경가능 엘리먼트의 공간적 전파 맵에서의 모든 픽셀들과 연관된 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보의 합을 포함하는 제 2 종속 값을 결정하는 단계; 및 그 제 2 종속 값이 제 2 임계값을 초과하는 후보 변경가능 엘리먼트들을 폐기하는 단계를 포함한다. 유리하게, 이 변형예는 제어된 시간적 전파를 야기하는 엘리먼트들을 고른다. 예를 들어, 이 변형예는 워터마크가 특정 값보다 다른 프레임들에서의 더 많은 픽셀들에 직접 영향을 주지 않는 것을 보장한다.
오디오 비쥬얼 컨텐츠를 나타내는 코딩된 비트 스트림의 픽쳐들의 그룹에서의 변경가능 엘리먼트들의 세트를 결정하는 디바이스가 개시된다. 본 디바이스는 코딩된 비트스트림에서의 포지션, 변경된 값, 및 변경된 값과 연관된 공간적 전파 맵을 포함하는 후보 변경가능 엘리먼트들의 세트를 결정하고; 프레임의 각각의 픽셀에 대해, 코딩된 비트 스트림의 디코딩 동안에 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 포함하는 히트 맵을 결정하고; 변경가능 엘리먼트의 공간적 전파 맵과 히트 맵에 따라 코딩된 비트스트림의 후보 변경가능 엘리먼트들 중에서 한 변경가능 엘리먼트를 선택하도록 구성되는 적어도 하나의 프로세서를 포함한다.
오디오 비쥬얼 컨텐츠를 나타내는 코딩된 비트 스트림의 픽쳐들의 그룹에서의 변경가능 엘리먼트들의 세트를 결정하는 디바이스가 개시된다. 본 디바이스는 코딩된 비트스트림에서의 포지션, 변경된 값, 및 변경된 값과 연관된 공간적 전파 맵을 포함하는 후보 변경가능 엘리먼트들의 세트를 결정하는 수단; 프레임의 각각의 픽셀에 대해, 코딩된 비트 스트림의 디코딩 동안에 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 포함하는 히트 맵을 결정하는 수단; 및 변경가능 엘리먼트의 공간적 전파 맵과 히트 맵에 따라 코딩된 비트스트림의 후보 변경가능 엘리먼트들 중에서 한 변경가능 엘리먼트를 선택하는 수단을 포함한다.
프로그램이 컴퓨터 상에서 실행될 때, 개시된 실시형태들 및 변형예들 중 어느 것에 따라, 프로세싱 방법의 단계들을 실행하는 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품이 개시된다.
개시된 실시형태들 및 변형예들 중 어느 것에 따라, 프로세서가 적어도 프로세싱 방법의 단계들을 수행하게 하는 명령들이 내부에 저장된 프로세서 판독가능 매체가 개시된다.
명시적으로 설명되어 있지 않지만, 본 실시형태들은 임의의 조합 또는 하위 조합으로 채택될 수도 있다. 예를 들어, 히트 맵에 의해 전달되는 정보의 임의의 변형예는 선택 단계와 또는 히트 맵 업데이트 단계와 결합될 수 있다. 이 외에, 방법에 대하여 설명된 임의의 특성 또는 변형예가 개시된 방법들을 프로세싱하도록 의도된 디바이스와, 그리고 프로그램 명령들을 저장하는 컴퓨터 판독가능 저장 매체와 양립가능하다.
본 원리들의 다른 특징들 및 이점들은 첨부된 도면들의 도움으로 예시된 본 원리들의 비제한적인 실시형태의 설명을 통하여 명백해진다.
- 도 1 은 본 발명의 특정한 비제한적인 실시형태에 따라 변경가능 엘리먼트들의 세트를 결정하는 디바이스를 나타낸다.
- 도 2 는 본 원리들의 특정한 비제한적인 실시형태에 따라, 도 1 의 디바이스의 예시적인 아키텍쳐를 나타낸다.
- 도 3 은 본 원리들의 특정한 비제한적인 실시형태에 따라 변경가능 엘리먼트들의 세트를 결정하기 위한 방법의 플로우차트를 나타낸다.
- 도 4 는 본 원리들의 특정한 비제한적인 실시형태에 따라, 도 3 에 묘사된 플로우차트의 세부 설명을 나타낸다.
- 도 5 는 본 원리들의 특정한 비제한적인 실시형태에 따라, 도 3 에 묘사된 플로우차트의 세부 설명을 나타낸다.
- 도 6 은 본 원리들의 특정한 비제한적인 실시형태에 따라, 히트 맵들의 결정을 나타낸다.
- 도 7 은 본 원리들의 특정한 비제한적인 실시형태에 따라 공간적 전파 맵 및 히트 맵에 따른 변경가능 엘리먼트의 선택을 예시한다.
- 도 1 은 본 원리들의 특정한 비제한적인 실시형태에 따라 변경가능 엘리먼트들의 세트를 결정하는 디바이스 (1) 를 나타낸다. 디바이스 (1) 는 복수의 프레임들로 이루어진 적어도 하나의 픽쳐들 I, P, 및 B 의 그룹을 수신하도록 구성되는 입력 (10) 을 포함한다. 픽쳐들 I, P, 및 B 는 소스로부터 획득될 수도 있다. 본 원리들의 상이한 실시형태들에 따르면, 소스는 다음을 포함하는 세트에 속한다.
- 로컬 메모리, 예를 들어, 비디오 메모리, RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스, 예를 들어, 대용량 저장 장치, ROM, 광학 디스크, 또는 마그네틱 서포트와의 인터페이스;
- 통신 인터페이스, 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스 (이를 테면, IEEE 802.11 인터페이스 또는 블루투스 인터페이스); 및
- 픽쳐 캡쳐 회로 (예를 들어, 센서, 이를 테면, 예를 들어, CCD (또는, 전하 결합 디바이스 (Charge-Coupled Device)), 또는 CMOS (또는 상보형 금속 산화물 반도체 (Complementary Metal-Oxide-Semiconductor)).
입력 (10) 은 후보 변경가능 엘리먼트들 또는 후보 워터마크들의 세트를 결정하도록 구성되는 모듈 (12) 에 링크된다. 각각의 후보 변경가능 엘리먼트는 코딩된 비트스트림에서의 포지션, 변경된 값, 및 이 변경된 값과 연관된 공간적 전파 맵을 포함한다. 공간적 전파 맵은 이후 설명된다. 입력 (10) 은 또한 히트 맵들을 결정하도록 구성되는 모듈 (14) 에 링크된다. 유리하게, 모듈 (14) 은 디코더를 포함한다. 후보 변경가능 엘리먼트들을 결정하는 모듈 (12), 및 히트 맵들을 결정하기 위한 모듈 (14) 은 임의의 순서로 또는 동시에 동작한다. 모듈 (16) 은 공간전 전파 맵들 및 히트 맵들에 기초하여 변경가능 엘리먼트들을 획득하도록 구성된다. 모듈 (16) 은 출력 (18) 에 링크된다. 변경가능 엘리먼트들은 메모리에 저장될 수 있거나 또는 워터마크 임베더에 전송될 수 있다. 일 예로서, 변경가능 엘리먼트들은 원격부에 또는 로컬 메모리에, 예를 들어, 비디오 메모리 또는 RAM, 하드 디스크에 저장된다. 일 변형예에서, 변경가능 엘리먼트들은 저장 인터페이스, 예를 들어, 대용량 저장장치, ROM, 플래시 메모리, 광학 디스크 또는 자기 저장장치와의 인터페이스에 의해 워터마크 임베더에 전송되고/되거나, 통신 인터페이스, 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통하여 송신된다.
도 2 는 본 원리들의 특정한 비제한적인 실시형태에 따른 디바이스 (1) 의 예시적인 아키텍쳐를 나타낸다. 프로세싱 디바이스 (1) 는 예를 들어, 내부 메모리 (120)(예를 들어, RAM, ROM, EPROM) 와 함께, CPU, GPU 및/또는 DSP (디지털 신호 프로세서의 머리 글자) 인 하나 이상의 프로세서(들)(110)을 포함한다. 프로세싱 디바이스 (1) 는 출력 정보를 디스플레이하고/하거나 사용자가 커맨드들 및/또는 데이터를 입력하는 것을 허용하도록 적응되는 하나 또는 수개의 입력/출력 인터페이스(들)(130)(예를 들어, 키보드, 마우스, 터치패드, 웹캠, 디스플레이); 및 프로세싱 디바이스 (1) 의 외부에 있을 수도 있는 파워 소스 (140) 를 포함한다. 프로세싱 디바이스 (1) 는 또한 네트워크 인터페이스(들)(도시 생략) 을 포함할 수도 있다. 본 원리들의 예시적인 비제한적 실시형태에 따르면, 프로세싱 디바이스 (1) 는 메모리 (120) 에 저장된 컴퓨터 프로그램을 더 포함한다. 컴퓨터 프로그램은 프로세싱 디바이스 (1) 에 의해, 특히 프로세서 (110) 에 의해 실행될 때 프로세싱 디바이스 (1) 가 도 3 에 설명된 프로세싱 방법을 수행하게 하는 명령들을 포함한다. 변형예에 따르면, 컴퓨터 프로그램은 프로세싱 디바이스 (1) 에 외부적으로, 비일시적 디지털 데이터 서포트 상에, 예를 들어, 외부 저장 매체, 이를 테면, HDD, CD-ROM, DVD, 판독전용 및/또는 DVD 드라이브 및/또는 DVD 판독/기록 드라이브 (모두 당해 기술 분야에 알려짐) 상에 저장된다. 프로세싱 디바이스 (1) 는 따라서 컴퓨터 프로그램을 판독하기 위한 인터페이스를 포함한다. 또한, 디바이스 (1) 는 대응 USB 포트들 (도시 생략) 을 통하여 하나 이상의 USB (Universal Serial Bus)-타입 저장 디바이스들 (예를 들어, "메모리 스틱") 에 액세스할 수 있다.
예시적인 그리고 비제한적인 실시형태들에 따르면, 프로세싱 디바이스 (1) 는 다음을 포함하는 세트에 속하는 디바이스이다.
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 테블릿 (또는 테블릿 컴퓨터);
- 랩톱;
- 정지 영상 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 디코딩 칩;
- 정지 영상 서버;
- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오 온 디맨드 서버 또는 웹 서버); 및
- 비디오 쉐어링 플랫폼.
도 3 은 본 원리들의 특정한 비제한적인 실시형태에 따르기 위한 변경가능 엘리먼트들의 세트를 결정하기 위한 방법의 플로우차트를 나타낸다.
단계 S12 에서, 예를 들어, 픽쳐의 그룹을 코딩하는 비트스트림으로부터의 각각의 프레임에 대하여 워터마킹 알고리즘을 구현하는 모듈 (12) 에 의해 후보 변경가능 엘리먼트들의 세트가 획득된다. 후보 변경가능 엘리먼트는 코딩된 비트스트림에서의 포지션을 포함하고, 여기에서 워터마크들은 관련 대체값과 함께 임베딩 단계에서 이후에 삽입될 것이다. 이하, 커플 (포지션, 대체 값) 은 변경값으로서 지칭되며, 양쪽 용어 모두 상호교환적으로 이용된다. 후보 변경가능 엘리먼트는 또한 유도된 공간적 전파 맵을 포함한다. 일 변형예에서, 후보 변경가능 엘리먼트는 일부 견고성 및 충실도 기준과 같은 특성들을 더 포함한다. 유리하게, 종래기술의 임의의 워터마킹 알고리즘은 후보 변경가능 엘리먼트를 결정하기 위한 본 원리들에 양립가능하다. 이러한 알고리즘은 예를 들어, WO 2010/021682 A1 에서 설명된다. 당해 기술 분야의 당업자는 마크가 비트스트림의 모션 벡터에 의해 전달되는 H264 워터마킹 알고리즘에 관련된 변형예에서, 모션 벡터의 대체 값과 연관된 공간적 전파가 대안의 모션 벡터로부터의 블록의 예측으로 야기됨을 알 것이다. 도 7 에 나타낸 바와 같이, 공간적 전파 SP6 은 프레임 i=6 의 매크로블록 (700) 에 의해 트리거되며, 그 모션 벡터는 워터마킹 프로세스에 의해 대체 값으로 변경될 수도 있고, 이에 의해 이웃하는 블록에 대한 변경들을 야기할 수도 있다. 공간적 전파 맵 (SP6) 은 이 특정 케이스에서, 그 디코딩이 700 에 대한 모션 벡터의 대체 값을 이용하는 것에 의해 영향을 받는 모든 픽셀들, 즉 매크로블록들 (700) 의 그리고 우측 및 하부의 이웃하는 매크로블록들의 픽셀들을 포함한다. MPEG2 에 대한 다른 변형예에서, 당해 기술 분야의 당업자는 전파 맵이 통상적인 것이고 대체 값 자체에 대응함을 알 것이다. 마크들이 검색되는 프레임들은 워터마킹가능 프레임들이라 지칭된다. 변형예에서, I 프레임들은 워터마킹가능 프레임들이 아니다. 따라서, 픽쳐들의 그룹을 코딩하는 비트스트림의 디코딩이 이 단계에서 요구된다.
단계 S14 에서, 히트 맵이 결정된다. 히트 맵은 기준 프레임의 각각의 픽셀에 대해, 코딩된 비트스트림의 디코딩 동안에 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 포함한다. 유리하게, 히트 맵들은 픽쳐들의 그룹의 각각의 프레임에 대하여 구성되지 않고 단지 참조로서 이용되고 후보 변경가능 엘리먼트들이 존재하는 프레임들에 대해서만 구성된다. 따라서, 변경된 값들이 모션 벡터들에 대응하는 변형예에서, 히트 맵들은 모션 벡터들을 호스트하지 않기 때문에 I 프레임들에 대해서는 구성되지 않는다. 이와 대조적으로, 변경된 값들이 DCT 계수들에 대응하는 변형예에서는, I 프레임들에 대해서 히트 맵들을 구성하는 것에 관련된다. 비-참조 프레임들이 후보 변경가능 엘리먼트들을 포함하고 있더라도, 히트 맵들은 이들 비-참조 프레임들에 대하여 구성될 필요가 없다. 그럼에도 불구하고, 실용상 이유로, 자동적으로 엠프티 상태 (empty) 인, 비-참조 프레임들에 대한 히트 맵들을 또한 정의하는 것이 편리할 수도 있다. 유리하게, 히트 맵들은 P 프레임들 및 B 참조 프레임들에 대해 구성되며, 이는 그 후 후보 변경가능 엘리먼트들이 발견될 수 있는 GOP 의 프레임들의 세트에 도입될 수 있다. 이러한 히트 맵들은 값을 대응 프레임의 각각의 픽셀에 연관시키고 이에 따라 비디오 프레임들과 동일한 차원 (폭 및 높이) 을 갖는다. 유리하게, 히트 맵들은 값들의 테이블들로서 저장되며, 테이블에서의 인덱스들은 프레임에서의 픽셀의 포지션에 대응한다. 히트 맵의 값들은 GOP 의 매크로블록들의 디코딩 전반에 걸친 정보를 수집함으로써 유도된다. 제 1 변형예에서, 히트 맵은 연관된 참조 프레임의 각각의 픽셀에 대해 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보를 포함하며, 즉, 다른 프레임들에서의 하나 또는 수개의 매크로블록들은 디코딩 프로세스 동안에 이 픽셀의 값에 의존한다. 제 1 변형예에서, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 픽셀이 시간적 예측에 대한 것인지 (바이너리 값이 1 로 설정됨) 또는 시간적 예측에 대한 것이 아닌지 (바이너리 값이 0으로 설정됨) 를 나타내는 바이너리 값이다. 예를 들어, 프레임의 각각의 픽셀에 대해, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 GOP 디코딩의 시작시 0 으로 초기화되고, 이 픽셀이 다른 프레임의 매크로블록의 디코딩에 이용될 때마다 1 로 설정된다. 제 2 변형예에 따르면, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 이 픽셀이 시간적 예측을 위해 이용되는 횟수를 특징으로 한다. 예를 들어, 프레임의 각각의 픽셀에 대해, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 GOP 디코딩의 시작시 0 으로 초기화되고, 이 픽셀이 다른 프레임의 매크로블록의 디코딩에 이용될 때마다 1 씩 증분된다. 제 3 변형예에 따르면, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 누적 예측 가중치이고 이에 따라 보다 세밀한 정보를 전달한다. 예를 들어, 프레임의 각각의 픽셀에 대해, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 GOP 디코딩의 시작시 0 으로 초기화되고, 이 픽셀이 다른 프레임의 매크로블록의 디코딩에 이용될 때마다, (픽셀이 2 개의 별개의 참조 프레임들로부터 비롯되는 2 개의 상이한 픽셀들의 가중 평균값으로서 예측될 수 있을 때) 예측 동안에 또는 (픽셀이 수개의 참조 픽셀들의 보간으로부터 비롯되는 서브픽셀에 의해 예측될 수 있을 때) 보간 동안에 이용되는 가중치만큼 증분된다. 다른 변형예들에 따르면, 히트 맵은 또한 참조로서 픽셀을 이용하는 매크로블록들에 관련된 추가적인 정보, 예를 들어, (특정 참조 픽셀을 이용하는) 프레임 넘버 및 예측된 픽셀 포지션을 포함하는 리스트를 전달할 수 있다.
유리하게, 단계 S12 및 단계 S14 는 동시에 수행된다. 따라서, 단일의 GOP 디코딩은 공간적 전파 맵들 및 히트 맵들의 획득을 위해 수행된다. 그러나, 본 방법은 임의의 순서로 순차적으로 수행되며 이에 따라 별도의 디코딩을 필요로 하는 단계들과 양립가능하다.
도 4 는 본 원리들의 특정한 비제한적인 실시형태에 따라, 도 3 에 묘사된 플로우차트의 단계 S14 의 세부 도면을 제공한다. 또한, 도 6 은 본 원리들의 특정한 비제한적인 실시형태에 따라, 히트 맵들의 결정을 나타낸다. 도면들은 공동으로 설명되어 있다. 프레임 i 및 대응하는 히트 맵 (HMi) 의 2 차원 표현이 이용된다. 본 표현에 따르면, 바이너리 값들은 픽셀의 사용량, 또는 보다 정밀하게는 시간적 예측에서의 매크로블록 (MB) 의 픽셀들의 사용량을 나타내기 위해 히트 맵에 이용된다. 프레임 i 는 N 개의 픽셀들을 포함하는 매크로블록 (MB) 으로 분할된다. 도 6 에서, 블랙 매크로블록 (600) 은 시간적 예측에 아직 이용되지 않는 매크로블록 (610) 에 대응하고 화이트 매크로블록 (620) 은 시간적 예측 (630) 에 이미 이용되었던 매크로블록에 대응한다. 그러나, 본 원리들은 이 통상예로 제한되지 않고, 정수값들, 실제값들, 코딩 멀티-컬러 레벨들을 포함하는 테이블이 이용될 수 있다. 단계 S14 의 프로세스는 각각의 픽쳐들의 그룹의 디코딩 동안에 반복된다. 픽쳐의 그룹 내에서, 프레임 카운터는 1 로 초기화되고 그룹의 끝에 도달할 때까지 1씩 증분된다. 단계 S140 에서, 현재 프레임 i 을 테스트하여 연관된 히트 맵 (HMi) 이 생성될 필요가 있는지를 결정한다. 예를 들어, 도 6 상에 나타내어진 GOP 는 첫번째로 참조 I 프레임, 두번째로 참조 P 프레임, 및 세번째로 B 비-참조 프레임 (b로 표기) 을 포함한다. 이전에 개시된 바와 같이, 히트 맵은 참조 프레임들, 이를 테면, I, P 및 B 참조 프레임들에, 그리고 개선예에서는 후보 엘리먼트들을 포함하는 GOP 의 참조 프레임들에만 관련된다. 후보 엘리먼트들이 모션 벡터들인 변형예에서, 히트 맵 (HM1) 은 참조 프레임 I (비후보 엘리먼트) 에 대해서 뿐만 아니라, 프레임 i=3 (비-참조 b 프레임) 과 연관된 히트 맵 (HMi) 에 대해서 구성되지 않는다. 실제로, 테스트 S140 이 입력 프레임 i 에 대해 긍정 (예) 이면, 대응하는 히트 맵 (HMi) 이 단계 S142 에서 생성되어 초기화된다. 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 프레임의 모든 픽셀에 대해 0 으로 설정된다. 테스트 S140 가 부정 (아니오) 이면, 단계 S142 는 스킵된다. 변형예에 따르면, 이 단계 S142 는 스킵되지 않고, 비-참조 프레임의 각각의 히트 맵 값이 널 (null) 값, 예를 들어, -1 또는 0 으로 설정되고, 후속하여, 무시된다, 즉, 이들 히트 맵들은 GOP 의 다음 프레임들의 디코딩 동안에 업데이트되지 않는다. 단계 S144 에서, 현재 프레임이 한 매크로블록 (MB) 에서 다른 매크로블록으로 번갈아 디코딩된다. 매크로블록들 (MB) 은 제 1 상단 좌측 MB 로부터 최종 하단 우측 MB 까지 순차적으로 디코딩되어, 시간적 예측을 통하여 매크로블록들 간의 종속성을 기록하도록 처리된다. 도 6 에 나타낸 바와 같이, 프레임 i=3 에서의 매크로블록 (MB) 의 디코딩은 예를 들어, P 프레임 (i=2) 의 매크로블록 (630) 및 I 프레임 (i=1) 의 매크로블록 (640) 을 이용한다. 따라서, 단계 S146 에서, 히트 맵 (HM2) 에서의 매크로블록 (630) 의 픽셀들에 대응하는 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 1 (화이트 매크로블록 (620)) 로 설정된다. 이와 대조적으로, 히트 맵 (HM1) 의 매크로블록은 변경되지 않은 상태로 남겨진다. 실제로, 후보 엘리먼트들이 모션 벡터들인 변형예에서, 이들이 후보 엘리먼트들을 호스트하지 않기 때문에 I 프레임들의 픽셀에 대해 시간적 전파 정보가 요구되지 않는다. 그 결과, 이 단계 S146 에서, 1 과 i-1 사이의 이전에 디코딩된 프레임들과 연관된 히트 맵들은 현재 프레임 i=3 에서의 디코딩된 MB 의 종속성에 따라 순차적으로 업데이트된다. 프로세스는 GOP 의 각각의 연속하는 프레임에 대하여 반복된다. GOP 의 각각의 프레임을 디코딩하는 동안에, 최대 12 개의 참조 프레임들이 표준으로 정의될 때 H.264 에서 적어도 하나의 그리고 가능하게는 최대 12 개의 히트 맵들을 포함한, 각각의 관련된 히트 맵이 업데이트된다.
도 3 으로 돌아가서, 단계 S16 에서, 코딩된 비트스트림의 후보 변경가능 엘리먼트들 중에서의 변경가능 엘리먼트들은 변경가능 엘리먼트의 공간적 전파 맵 및 대응하는 히트 맵에 기초하여 선택된다. 도 5 는 본 원리들의 특정한 비제한적인 실시형태에 따른 플로우차트의 단계 S14 를 세부설명한다. 또한, 도 7 은 본 원리들의 특정한 비제한적인 실시형태에 따른 변경가능 엘리먼트들의 선택을 나타낸다. 도 5 및 도 7 은 공동으로 설명되어 있다. 단계 S16 은 마지막 프레임 i=n 으로부터 첫번째 프레임 i=1 로 백워드 순서로 GOP 를 프로세싱함으로써 수행된다. 단계 S16 는 두개의 하위 단계들을 주로 포함한다. 첫번째로, 공간적 (전파 맵) 및 시간적 전파 (히트 맵) 에 대하여 따르는 후보 변경가능 엘리먼트들은 워터마크들로서 선택되고, 두번째로, 히트 맵들은 대안값과 연관된 공간적 전파 맵의 매크로블록들에 의해 참조되는 픽셀들에 따라 업데이트된다. 간결하게 말하면, 비-참조 프레임들 (타입 b) 에 대해, 선택 전략은 WO 2010/021682 A1 에 설명된 바와 같이 통상의 워터마킹 시스템에 이용되는 전략이다. 당해 기술 분야의 당업자는 각각의 후보 포지션에 대해, 그 공간적 전파가 이전에 명단에 나열된 것들과 중복하지 않는 가장 비가시적이고 견고한 후보 변경가능 엘리먼트들이 워터마크로서 바람직하게 선택되는 것을 이해할 것이다. 따라서, 도 7 의 예시적인 GOP 에서, 프레임 P 가 GOP 의 최종 프레임이기 때문에, GOP 의 최종 프레임 i=6 은 참조로서 이용되지 않는 프레임 P 이며, 모션 벡터의 대체 값에 따라 변경되는 각각의 변경가능 매크로블록 (700) 은 다른 프레임들로 시간적으로 전파하지 않을 것이다. 이전에 설명된 선택 전략이 적용된다.
이와 대조적으로, 참조 프레임들 (타입 P 및 B) 에 대하여, 선택 전략은 (단계 S14 에서 프로세싱되는 바와 같이) 시간적 전파를 고려하는 다른 제약에 적용된다. 예를 들어, 도 7 의 예시적인 GOP 에서, GOP 의 프레임 i=4 는 참조로서 이용되는 P 프레임이다. 단계들 S160, S162 및 S164 는 후보 변경가능 엘리먼트와 연관된 각각의 변경가능 매크로블록 (710, 720, 730) 에 대하여 순차적으로 반복된다. 따라서, 예비 단계에서, 현재 프레임 i 의 변경가능 매크로블록 (710) 이 평가를 위하여 획득된다. 제 1 단계 S610 에서, (변경가능 매크로블록 (710 또는 730) 과 연관된) 후보 변경가능 엘리먼트의 공간적 전파 맵이 프로세싱된 프레임과 연관된 히트 맵 (HM4) 과 오버랩할 때, (변경가능 매크로블록 (710 또는 730) 과 연관된) 변경가능 엘리먼트는 가능한 워터마크로서 선택되지 않는다. 이는 크로스오버된 블록 (710 또는 730) 으로 도 7 상에 나타내어진다. 도 7 의 바이너리 표현에서, "오버랩"은 변경된 엘리먼트로 인하여 공간전 전파 맵에서의 적어도 하나의 변경된 픽셀의 포지션이 시간적 예측에 이용되는 픽셀의 포지션에 일치함을 의미한다. 즉, 히트 맵 (715 또는 735) 상에 가상으로 매핑된, 공간적 전파 맵에서의 적어도 하나의 픽셀의 히트맵에서의 값이 0 과 같지 않을 때 후보 변경가능 엘리먼트들이 폐기된다. 이와 대조적으로, (변경가능 매크로블록 (720) 과 연관된) 후보 변경가능 엘리먼트의 공간적 전파 맵이 프로세싱된 프레임의 HM4 상의 히트 맵 (725) 과 오버랩하지 않을 때, (변경가능 매크로블록 (720) 과 연관된) 변경가능 엘리먼트는 단계 S162 에서 가능한 워터마크로서 선택된다. 따라서, 프레임 i=4 상에서, 2 개의 변경가능 엘리먼트들이 선택된다. 유리하게, 선택된 워터마크들이 참조로서 이용되지 않는 픽셀들 (도 7 에 묘사된 바와 같은 대응하는 히트 맵에서 블랙인, 0 의 값들을 갖는 픽셀들) 로만 구성되는 이 변형예는 구성에 의해 어떠한 시간적 전파도 회피한다.
그러나, 다른 변형예들에서, 선택은 낮은 참조 스코어, 즉 대응하는 히트 맵에서 낮은 값을 갖는 일부 또는 모든 픽셀들을 가진 후보 변경가능 엘리먼트들을 선택에 추가함으로써 보다 더 유연성을 가질 수 있고 제한된 시간적 전파를 허용할 수 있다. 예를 들어, 후보 변경가능 엘리먼트가 1 이하의 스코어를 갖는 하나의 픽셀을 이용하면 (다른 것은 0 임), 이는 히트 맵이 다음 참조에 대한 보충 정보를 전달하는지가 알려질 수 있는 다른 하나의 프레임/픽셀로 시간적으로 전파할 것이다. 따라서, 제 1 변형예에서, 각각의 후보 변경가능 엘리먼트에 대해, 히트 맵에 따라 시간적 예측에 이용되는 현재 후보 변경가능 엘리먼트의 공간적 전파 맵에서 픽셀들의 수를 포함하는 제 1 종속 값이 컴퓨팅된다. 다음으로, 제 1 임계값보다 큰 제 1 종속값을 가진 모든 후보 변경가능 엘리먼트들이 폐기된다. 이 변형예에 따르면, 히트 맵과 미소한 오버랩만을 갖는 (변경가능 매크로블록 (730) 으로 귀결되는) 후보 변경가능 엘리먼트가 선택된다. 비바이너리 히트 맵과 양립가능한 제 2 변형예에 따르면, 각각의 후보 변경가능 엘리먼트에 대해, 후보 변경가능 엘리먼트의 공간적 전파 맵에서의 픽셀들과 연관된 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보의 합을 포함하는 제 2 종속값이 컴퓨팅된다. 후속하여, 제 2 임계값보다 큰 제 2 종속값을 가진 모든 후보 변경가능 엘리먼트들이 폐기된다. 이 변형예에 따르면, 후보 변경가능 엘리먼트가 보다 적은 수의 매크로블록들에만 영향을 주는 한 이 엘리먼트가 선택된다.
그 결과, 추가적인 단계 S16 는 설명된 변형예에 따라, 삽입된 워터마크들의 시간적 전파를 회피 또는 제어하는 것을 허용한다.
또한, 최종 단계 S164 에서, 시간적 예측을 위한 픽셀의 사용량을 나타내는 정보는 선택된 후보 변경가능 엘리먼트의 변경된 값과 연관된 공간적 전파 맵의 매크로블록들에 의해 참조로서 이용되는 모든 픽셀들에 대해 업데이트된다. 실제로, 워터마킹 시스템은 예를 들어, 모션 벡터의 변경을 통하여 예측들을 변경하기 때문에, 이는 또한 참조 프레임들이 이용되는 방식을, 이에 따라, 단지 경미한 방식으로 참조 히트 맵들을 변경한다. 예를 들어, 선택되어진 변경된 값과 연관된 공간적 전파 맵의 매크로블록 (720) 은 도 7 상에서 프레임 i=4 에 나타내어진다. 오리지널 모션 벡터가 이용되는지 또는 대안의 모션 벡터가 이용되는지에 따라, 시간적 예측은 프레임 i=2 의 하단 좌측에서의 2 개의 매크로블록들 중 하나에 의존하고, 이에 따라 히트 맵은 양쪽 모두의 매크로블록들이 보존되는 것을 보장하도록 745 를 업데이트할 필요가 있다. 보다 정밀하게, 오리지널 모션 벡터와 연관된 블록 (745) 은 단계 S146 에서 히트 맵 (HM2) 에서 나타나는 한편, 다른 하나는, 대응하는 변경가능 엘리먼트가 선택되었다면 업데이트 단계 S164 동안에 나타난다. 따라서, 각각의 선택된 워터마크에 대해, 공간적 전파 맵의 매크로블록에 의해 참조되는 프레임들과 연관된 히트 맵들은 이 가능성있는 대안의 구성을 고려하도록 업데이트될 필요가 있다.
여기에 설명된 구현들은 예를 들어, 방법, 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수도 있다. 단일의 구현 형태의 환경에서만 (예를 들어, 단지 방법으로서만 또는 디바이스로서만) 설명되었지만, 설명된 특징들의 구현은 다른 형태들 (예를 들어, 프로그램) 로 또한 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어, 장치, 이를 테면, 예를 들어, 일반적으로 프로세싱 디바이스들을 지칭하고 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는 프로세서로 구현될 수도 있다. 프로세서들은 또한 통신 디바이스들, 이를 테면 예를 들어, 컴퓨터들, 셀 폰들, 포터블/개인 휴대 정보 단말기들 ("PDA"), 및 엔드 유저들 간의 정보 통신을 용이하게 하는 다른 디바이스들을 포함한다.
여기에 설명된 여러 프로세스들 및 특징들의 구현들은 여러 상이한 장비들, 또는 애플리케이션들, 특히 예를 들어, 장비 또는 애플리케이션들에서 구현될 수도 있다. 이러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트 프로세서, 인코더로의 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA 및 다른 통신 디바이스들을 포함한다. 분명한 바와 같이, 장비는 모바일일 수도 있고 심지어 모바일 디바이스 내에 설치될 수도 있다.
추가로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 이러한 명령들 (및/또는 구현에 의해 생성되는 데이터 값들) 은 프로세서 판독가능 매체, 이를 테면, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는 다른 저장 디바이스, 이를 테면, 예를 들어, 하드디스크, 콤팩트 디스켓 ("CD"), 광학 디스크, (이를 테면, 예를 들어, 블루 레이, 디지털 다기능 디스크 또는 디지털 비디오 디스크로 종종 지칭되는 DVD), 랜덤 액세스 메모리 ("RAM"), 또는 판독전용 메모리 ("ROM') 상에 저장될 수도 있다. 명령들은 프로세서 판독가능 매체 상에 유형으로 구현되는 애플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션, 또는 이 둘의 조합에서 찾을 수도 있다. 따라서, 프로세서는 예를 들어, 프로세스를 수행하도록 구성되는 디바이스와, 프로세스를 수행하기 위한 명령들을 가진 프로세서 판독가능 매체 (이를 테면, 저장 디바이스) 를 포함하는 디바이스 양쪽 모두로서 특징화될 수도 있다. 추가로, 프로세서 판독가능 매체는 명령들에 더하여, 또는 명령들 대신에 구현에 의해 생성되는 데이터 값들을 저장할 수도 있다.
당해 기술 분야의 당업자에 명백한 바와 같이, 구현들은 예를 들어, 저장 또는 송신될 수도 있는 정보를 전달하도록 포맷된 여러 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수도 있다. 예를 들어, 신호는 설명된 실시형태의 구문을 읽거나 기록하기 위한 규칙들을 데이터로서 전달하거나 또는 설명된 실시형태에 의해 기록된 실제 구문 값들을 데이터로서 전달하도록 포맷될 수도 있다. 이러한 신호는 예를 들어, 전자기 파 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용) 로서, 또는 기저대역 신호로서 포맷될 수도 있다. 포맷은 예를 들어, 데이터 스트림을 인코딩하고, 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 전달하는 정보는 예를 들어, 아날로그, 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이, 여러 상이한 무선 또는 유선 링크들을 통하여 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
복수의 구현들이 설명되었다. 그럼에도 불구하고, 여러 변형들이 이루어질 수도 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 결합, 보충, 변경, 또는 제거되어 다른 구현들을 생성할 수도 있다. 추가로, 당해 기술 분야의 당업자는 다른 구조들 및 프로세스들이 이들 개시된 것에 대해 대체될 수도 있고 결과적인 구현들은 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)로 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)을 달성할 수도 있음을 이해할 것이다. 따라서, 이들 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (14)

  1. 오디오 비디오 컨텐츠를 나타내는 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법으로서,
    픽쳐들의 그룹을 코딩하는 상기 코딩된 비트스트림의 부분에 대하여,
    후보 변경가능 엘리먼트들의 세트를 결정하는 단계 (S12) 로서, 후보 변경가능 엘리먼트는 주어진 로케이션에서의 상기 코딩된 비트 스트림의 세그먼트에 대한 변경된 값, 및 상기 변경된 값과 연관된 공간적 전파 맵을 포함하고, 상기 공간적 전파 맵 (SP6) 은 상기 변경된 값이 상기 주어진 로케이션에서의 상기 코딩된 비트 스트림에 위치될 때 디코딩이 영향을 받는 픽셀들을 포함하는, 상기 후보 변경가능 엘리먼트들의 세트를 결정하는 단계;
    각각의 참조 프레임에 대해 히트 맵 (HMi) 을 결정하는 단계 (S14) 로서, 상기 히트 맵은 상기 참조 프레임의 각각의 픽셀에 대해, 픽쳐들의 그룹을 코딩하는 상기 코딩된 비트 스트림의 상기 부분의 상기 디코딩 동안에 시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 정보를 포함하는, 상기 히트 맵을 결정하는 단계; 및
    상기 후보 변경가능 엘리먼트들의 세트 중에서 변경가능 엘리먼트들의 세트를 획득하는 단계 (S16) 로서, 변경가능 엘리먼트는 대응하는 히트 맵과 오버랩하지 않는 공간적 전파 맵을 갖는, 상기 변경가능 엘리먼트들의 세트를 획득하는 단계를 포함하는 것을 특징으로 하는 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  2. 제 1 항에 있어서,
    시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 상기 정보는 상기 픽셀이 상기 시간적 예측에 이용되는지의 여부를 나타내는 바이너리 값을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  3. 제 1 항에 있어서,
    시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 상기 정보는 상기 픽셀이 상기 시간적 예측을 위해 이용되는 횟수를 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  4. 제 1 항에 있어서,
    시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 상기 정보는 예측을 위해 이용되는 상기 픽셀의 누적 가중치 (cumulative weight) 를 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  5. 제 1 항에 있어서,
    상기 참조 프레임들은 P 프레임들 및 B 참조 프레임들을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 히트 맵을 결정하는 단계는, 상기 픽쳐들의 그룹의 각각의 프레임에 대하여,
    시간적 예측을 위한 픽셀의 사용량을 나타내는 상기 정보를 초기화하는 단계 (S142);
    상기 프레임을 디코딩하는 단계 (S144); 및
    디코딩된 상기 프레임의 각각의 디코딩된 매크로블록에 대하여, 상기 픽셀이 상기 디코딩된 매크로블록에 대한 참조로서 이용될 때 시간적 예측을 위한 픽셀의 사용량을 나타내는 상기 정보를 업데이트하는 단계 (S146) 를 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  7. 제 6 항에 있어서,
    변경가능 엘리먼트를 획득하는 것은, 백워드 순서로 스캐닝된 상기 픽쳐들의 그룹의 각각의 프레임에 대하여,
    공간적 전파 맵이 상기 프레임의 상기 히트 맵과 오버랩하지 않는 후보 변경가능 엘리먼트를 선택하는 것 (S160, S162); 및
    선택된 상기 후보 변경가능 엘리먼트의 상기 변경된 값과 연관된 상기 공간적 전파 맵의 매크로블록들에 의해 참조로서 이용되는 모든 픽셀들에 대하여 시간적 예측을 위한 픽셀의 사용량을 나타내는 상기 정보를 업데이트하는 것 (S164) 을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  8. 제 7 항에 있어서,
    후보 변경가능 엘리먼트를 선택하는 것은 상기 공간적 전파 맵에서의 적어도 하나의 픽셀의 상기 히트 맵에서의 값이 0 과 동일하지 않을 때 후보 변경가능 엘리먼트들을 폐기하는 것을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  9. 제 7 항에 있어서,
    후보 변경가능 엘리먼트를 선택하는 것은,
    각각의 후보 변경가능 엘리먼트에 대하여, 상기 히트 맵에 따라 예측을 위해 이용되는 상기 후보 변경가능 엘리먼트의 상기 공간적 전파 맵에서의 픽셀들의 수를 포함하는 제 1 종속값 (dependency value) 을 결정하는 것; 및
    제 1 임계값보다 큰 상기 제 1 종속값을 가진 모든 후보 변경가능 엘리먼트들을 폐기하는 것을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  10. 제 7 항 또는 제 9 항에 있어서,
    후보 변경가능 엘리먼트를 선택하는 것은,
    각각의 후보 변경가능 엘리먼트에 대하여, 상기 후보 변경가능 엘리먼트의 상기 공간적 전파 맵에서의 상기 픽셀들과 연관된 시간적 예측을 위한 픽셀의 사용량을 나타내는 상기 정보의 합을 포함하는 제 2 종속값을 결정하는 것, 및
    제 2 임계값보다 큰 상기 제 2 종속값을 가진 모든 후보 변경가능 엘리먼트들을 폐기하는 것을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 방법.
  11. 오디오 비디오 컨텐츠를 나타내는 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 디바이스로서,
    적어도 하나의 프로세서 (110) 를 포함하고,
    상기 적어도 하나의 프로세서는, 픽쳐들의 그룹을 코딩하는 상기 코딩된 비트스트림의 부분에 대하여,
    후보 변경가능 엘리먼트들의 세트를 결정하는 것으로서, 후보 변경가능 엘리먼트는 주어진 로케이션에서의 상기 코딩된 비트 스트림의 세그먼트에 대한 변경된 값, 및 상기 변경된 값과 연관된 공간적 전파 맵을 포함하고, 상기 공간적 전파 맵 (SP6) 은 상기 변경된 값이 상기 주어진 로케이션에서의 상기 코딩된 비트 스트림에 위치될 때 디코딩이 영향을 받는 픽셀들을 포함하는, 상기 후보 변경가능 엘리먼트들의 세트를 결정하고;
    각각의 참조 프레임에 대해 히트 맵을 결정하는 것으로서, 상기 히트 맵은 상기 참조 프레임의 각각의 픽셀에 대해, 픽쳐들의 그룹을 코딩하는 상기 코딩된 비트 스트림의 상기 부분의 상기 디코딩 동안에 시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 정보를 포함하는, 상기 히트 맵을 결정하고; 그리고
    상기 후보 변경가능 엘리먼트들의 세트 중에서 변경가능 엘리먼트들의 세트를 획득하는 것으로서, 변경가능 엘리먼트는 대응하는 히트 맵과 오버랩하지 않는 공간적 전파 맵을 갖는, 상기 변경가능 엘리먼트들의 세트를 획득하도록 구성되는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 디바이스.
  12. 오디오 비디오 컨텐츠를 나타내는 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 디바이스로서,
    픽쳐들의 그룹을 코딩하는 상기 코딩된 비트스트림의 부분에 대하여,
    후보 변경가능 엘리먼트들의 세트를 결정하는 수단 (12) 으로서, 후보 변경가능 엘리먼트는 주어진 로케이션에서의 상기 코딩된 비트 스트림의 세그먼트에 대한 변경된 값, 및 상기 변경된 값과 연관된 공간적 전파 맵을 포함하고, 상기 공간적 전파 맵 (SP6) 은 상기 변경된 값이 상기 주어진 로케이션에서의 상기 코딩된 비트 스트림에 위치될 때 디코딩이 영향을 받는 픽셀들을 포함하는, 상기 후보 변경가능 엘리먼트들의 세트를 결정하는 수단;
    각각의 참조 프레임에 대해 히트 맵을 결정하는 수단 (14) 으로서, 상기 히트 맵은 상기 참조 프레임의 각각의 픽셀에 대해, 픽쳐들의 그룹을 코딩하는 상기 코딩된 비트 스트림의 상기 부분의 상기 디코딩 동안에 시간적 예측을 위한 상기 픽셀의 사용량을 나타내는 정보를 포함하는, 상기 히트 맵을 결정하는 수단; 및
    상기 후보 변경가능 엘리먼트들의 세트 중에서 변경가능 엘리먼트들의 세트를 획득하는 수단 (16) 으로서, 변경가능 엘리먼트는 대응하는 히트 맵과 오버랩하지 않는 공간적 전파 맵을 갖는, 상기 변경가능 엘리먼트들의 세트를 획득하는 수단을 포함하는, 코딩된 비트스트림의 변경가능 엘리먼트들의 세트를 결정하는 디바이스.
  13. 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 방법의 단계들을 실행하도록 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
  14. 프로세서로 하여금 적어도 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 방법의 단계들을 수행하게 하는 명령들이 저장된, 프로세서 판독가능 매체.
KR1020150092092A 2014-06-27 2015-06-29 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스 KR102267770B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14306037.4 2014-06-27
EP14306037.4A EP2960854A1 (en) 2014-06-27 2014-06-27 Method and device for determining a set of modifiable elements in a group of pictures

Publications (2)

Publication Number Publication Date
KR20160001714A true KR20160001714A (ko) 2016-01-06
KR102267770B1 KR102267770B1 (ko) 2021-06-23

Family

ID=51228386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150092092A KR102267770B1 (ko) 2014-06-27 2015-06-29 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US9607349B2 (ko)
EP (2) EP2960854A1 (ko)
JP (1) JP6708374B2 (ko)
KR (1) KR102267770B1 (ko)
CN (1) CN105227961B (ko)
BR (1) BR102015015579A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188712A1 (en) * 2012-01-24 2013-07-25 Futurewei Technologies, Inc. Compressed Domain Watermarking with Reduced Error Propagation
EP3340629A1 (en) 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
EP3720130B1 (en) * 2017-04-21 2022-09-28 Zenimax Media Inc. System and method for rendering and pre-encoded load estimation based encoder hinting
EP3618463A4 (en) * 2017-04-25 2020-04-29 Sony Corporation SIGNAL PROCESSING DEVICE, METHOD AND PROGRAM
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
CN112188151B (zh) * 2019-07-05 2023-06-23 浙江宇视科技有限公司 视频处理方法、装置及计算机可读存储介质
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021722A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Blockiness and fidelity in watermarking
WO2010021694A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Selection of watermarks for the watermarking of compressed video
KR20120045223A (ko) * 2010-10-29 2012-05-09 에스케이하이닉스 주식회사 데드 픽셀 보상 테스트 장치
KR20120089391A (ko) * 2010-11-10 2012-08-10 에스케이하이닉스 주식회사 내부전압 테스트 장치 및 이를 구비하는 이미지 센서

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2486448C (en) * 2002-06-13 2012-01-24 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP2006121460A (ja) 2004-10-22 2006-05-11 Dainippon Printing Co Ltd 電子透かしの埋め込み方法および抽出方法
GB2425425B (en) 2005-04-22 2011-01-19 Sony Uk Ltd Data processing apparatus
KR101518999B1 (ko) * 2007-06-14 2015-05-12 톰슨 라이센싱 코딩된 비트스트림의 수정
CN102187673B (zh) * 2008-08-19 2014-07-30 汤姆森特许公司 亮度评估
KR101611375B1 (ko) 2008-08-19 2016-04-11 톰슨 라이센싱 압축된 비디오에서 구문 요소의 ｃａｂａｃ/ａｖｃ 준수 워터마킹
CN102187583B (zh) * 2008-08-19 2013-09-11 汤姆森特许公司 基于上下文的自适应二进制算术编码（cabac）的视频流兼容性
US9042455B2 (en) * 2008-08-19 2015-05-26 Thomson Licensing Propagation map
FR2949283B1 (fr) 2009-08-19 2012-03-30 Neotion Procede et installation pour marquer en temps reel un flux video compose d'une succession d'images video codees selon la norme mpeg-2.
US9380186B2 (en) * 2012-08-24 2016-06-28 Digimarc Corporation Data hiding for spot colors in product packaging
US20130188712A1 (en) 2012-01-24 2013-07-25 Futurewei Technologies, Inc. Compressed Domain Watermarking with Reduced Error Propagation
JP6392756B2 (ja) * 2012-09-05 2018-09-19 ボディ パス リミテッド ２次元画像シーケンスから正確な身体サイズ測定値を得るためのシステム及び方法
WO2014200742A1 (en) * 2013-06-12 2014-12-18 3M Innovative Properties Company Presenting results of visual attention modeling
US20150082203A1 (en) * 2013-07-08 2015-03-19 Truestream Kk Real-time analytics, collaboration, from multiple video sources
WO2015023732A1 (en) * 2013-08-13 2015-02-19 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
US9794984B2 (en) * 2013-09-17 2017-10-17 Qualcomm Incorporated Techniques for utilizing access point vicinity information
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021722A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Blockiness and fidelity in watermarking
WO2010021694A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Selection of watermarks for the watermarking of compressed video
KR20120045223A (ko) * 2010-10-29 2012-05-09 에스케이하이닉스 주식회사 데드 픽셀 보상 테스트 장치
KR20120089391A (ko) * 2010-11-10 2012-08-10 에스케이하이닉스 주식회사 내부전압 테스트 장치 및 이를 구비하는 이미지 센서

Also Published As

Publication number Publication date
EP2960855B1 (en) 2020-06-03
KR102267770B1 (ko) 2021-06-23
JP6708374B2 (ja) 2020-06-10
US20150379659A1 (en) 2015-12-31
EP2960855A1 (en) 2015-12-30
CN105227961A (zh) 2016-01-06
BR102015015579A2 (pt) 2016-08-09
CN105227961B (zh) 2019-11-05
US9607349B2 (en) 2017-03-28
JP2016027697A (ja) 2016-02-18
EP2960854A1 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
KR102267770B1 (ko) 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스
JP5716082B2 (ja) 配信方法
CN100584013C (zh) 视频编码方法及装置、视频解码方法及装置
KR20150034696A (ko) 현재 블록의 분할을 예측하여 비디오를 코딩하는 방법, 디코딩 방법 및 이에 상응하는 코딩 및 디코딩 장치 및 컴퓨터 프로그램
CN114128260A (zh) 全局运动矢量的高效编码
JP2010183162A (ja) 動画像符号化装置
JP2012147291A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2006262159A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2008028707A (ja) 画質評価装置、符号化装置及び画質評価方法
CN117241039A (zh) 帧间预测方法、装置以及视频编码器和视频解码器

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant