KR101633443B1 - 휘도 평가 - Google Patents

휘도 평가 Download PDF

Info

Publication number
KR101633443B1
KR101633443B1 KR1020117003682A KR20117003682A KR101633443B1 KR 101633443 B1 KR101633443 B1 KR 101633443B1 KR 1020117003682 A KR1020117003682 A KR 1020117003682A KR 20117003682 A KR20117003682 A KR 20117003682A KR 101633443 B1 KR101633443 B1 KR 101633443B1
Authority
KR
South Korea
Prior art keywords
watermark
change
block
luminance
propagation map
Prior art date
Application number
KR1020117003682A
Other languages
English (en)
Other versions
KR20110059593A (ko
Inventor
샨 헤
제프리 아담 블룸
데쿤 조우
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110059593A publication Critical patent/KR20110059593A/ko
Application granted granted Critical
Publication of KR101633443B1 publication Critical patent/KR101633443B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Abstract

방법은 비디오에 적용할 변화를 제공하는 단계, 비디오를 블록으로 분할하는 단계, 변화의 적용에 의해 변화될, 블록에 대한 특정 변화만을 캡쳐하는(capture) 전파 맵을 생성하는 단계, 인지할 수 있는 변화 또는 인지할 수 없는 변화로서 휘도 기준을 기초로 변화를 평가하는 단계, 인지할 수 없는 전파 맵에 대하여, 전파 맵을 리스트에 저장하는 단계를 포함하고, 이 전파 맵은 비디오에 적용될 기본(principle) 데이터 구조이다. 전파 맵은 변화에 연관된 움직임 벡터 변화를 사용함으로써 생성될 수 있다.

Description

휘도 평가{LUMINANCE EVALUATION}
본 특허 출원은, 발명의 명칭이 "LUMINANCE EVALUATION"이고, 2008년 8월 19일에 출원된 미국 가특허출원 제 61/189,363호에 대한 이득 및 우선권을 주장한다. 가출원은 본 명세서에서 그 전체가 참조의 목적으로 명백하게 통합된다.
본 발명은 워터마크(watermark)를 양적으로 평가하고, 워터마크를 비디오에 적용하는 방법에 관한 것이다.
오늘날, 저작권 침해 방지(antipiracy) 기술로서의 디지털 워터마킹에 대한 요구가 강하다. 저작권 침해자가 워터마크를 회피하는 것을 더 어렵게 하기 위하여, 다수의 잠정적인 워터마크가 제안되고 사용되도록 하는 것이 중요하다.
불행히도, 워터마킹은 비디오의 주어진 영역에서 픽셀에 영향을 미치는 변화를 만든다. 가령, 워터마크가 의도된 청중에 대해 의도된 시청 경험을 방해할 수 있는 변화를 만들지 않아야 하는 것이 중요하다. 따라서, 워터마크를 갖는 화상이 내장(embedding) 이전에, 워터마크가 없는 화상과 지각적으로 동일할 수 있는지를 결정하는 측정 규준(metric)을 통해 잠정적인 워터마크를 평가하는 필요성이 존재한다.
본 발명의 양상은 비디오에 적용할 워터마크를 제공하는 단계, 휘도 및/또는 색도를 기초로 워터마크가 인지할 수 없는(imperceptivle) 워터마크인지 또는 인지할 수 있는 워터마크인지를 결정하는 단계, 및 인지할 수 없는 워터마크를 리스트에 추가하는 단계를 포함하는 방법이다. 방법은 워터마크의 응용에 연관된 휘도 및/또는 색도 변화를 평가하는 단계, 오직 일부 블록에 대해서만 휘도 및/또는 색도 변화를 계산하는 단계로서, 어떠한 계산도 적어도 하나의 다른 블록 상에서는 수행되지는 않는, 계산 단계, 및 워터마크에 대한 전파 맵을 구축하는 단계를 포함할 수 있다. 전파 맵은 일부의 휘도 및/또는 색도 변화를 갖는 블록을 포함한다. 방법은 움직임 벡터 변화에 기인하여 색도 및/또는 휘도의 변화를 계산하는 단계를 더 포함할 수 있다.
게다가, 본 발명에 따른 방법은 비디오에 적용할 워터마크를 제공하는 단계, 워터마크가 내장되어야 하는 경우, 휘도 및/또는 색도에서 초래된 변화를 양적으로 결정하는 단계, 얻어진 양의 값을 기초로, 워터마크가 수용할 수 있는 워터마크 또는 수용할 수 없는 워터마크인지를 결정하는 단계, 및 수용할 수 있는 워터마크를 리스트에 추가하는 단계를 특징으로 한다. 추가의 단계는 다음의 단계의 상이한 조합을 포함할 수 있는데, 이 단계는 비디오의 프레임을 블록으로 분할하는 단계, 오직 일부 블록에 대해서만 휘도 변화를 계산하는 단계로서, 어떠한 계산도 적어도 하나의 다른 블록 상에서는 수행되지 않는, 계산 단계, 및 일부 블록에 대해 휘도 및/또는 색도 변화만을 계산하는 단계로서, 어떠한 계산도 이들 블록의 정확한 휘도 및/또는 색도 값에 대하여 수행되지는 않는, 계산 단계, 및 워터마크에 대한 전파 맵을 구축하는 단계로서, 이 전파 맵은 일부의 휘도 및/또는 색도 변화를 갖는 블록을 포함하는, 구축 단계이다. 워터마크에 대한 전파 맵은 기준 프레임 번호, 원래의 움직임 벡터 및 새로운 움직임을 저장할 수 있다. 휘도 변화는 블록에 대한 움직임 벡터 변화, 인트라(intra)-예측 기준 변화, 및/또는 인터(inter)-예측 변화를 기초로 계산될 수 있다. 또한, 워터마크 검출에 대한 검출 기본 값은 계산된 휘도 및/또는 색도 변화를 사용하여 확립될 수 있다. 추가의 단계는 리스트로부터 비디오로 워터마크를 적용하는 단계, 및 페이로드(payload) 강제(constraint)를 충족시키지 않는 워터마크를 리스트로부터 필터링하는 단계를 포함할 수 있다.
게다가, 본 발명에 따른 방법은 원래의 비디오 시퀀스을 평가하는 단계, 변화 리스트를 평가하거나 생성하는 단계, 변화 리스트 상에서 예기되는 변화에 대해, 블록에 대한 개별적인 휘도 및/또는 색도 변화를 평가하거나 계산하는 단계, 적어도 하나의 개별적인 휘도 및/또는 색도 변화로부터 차 슬라이스를 구축하는 단계로서, 차 슬라이스는 예기되는 변화에 의해 영향을 받는 블록의 그룹을 포함하는, 구축 단계, 및 적어도 하나의 개별적인 휘도 및/또는 색도 변화로부터 차 슬라이스를 업데이트 하는 단계를 포함하고, 이 개별적인 휘도 및/또는 색도 변화는 추정 값(estimate)이고, 정확한 휘도 및/또는 색도 값이 아니다. 특징은 변화 리스트에서 매 예기되는 변화의 시작시 차 슬라이스를 초기화하는 것, 블록에 대한 개별적인 휘도 및/또는 색도 변화의 계산 또는 각각의 휘도 및/또는 색도 평가 이후에, 차 슬라이스를 업데이트 하는 것을 포함할 수 있다. 개별적인 휘도 및/또는 색도 변화의 추정은 예기되는 변화와 연관된 움직임 벡터 변화에 기초될 수 있다. 개별적인 휘도 및/또는 색도 변화의 추정은, 특정 타겟 블록에 인접한 이웃 블록에서의 경계 픽셀에서 휘도 및/또는 색도 변화를 사용하는, 현재 블록의 인트라-예측 휘도 및/또는 색도 변화에 기초될 수 있다.
워터마크를 비디오에 적용하는 수단, 워터마크가 내장될 경우, 휘도 및/또는 색도에서 변화를 예측하는 수단; 예측된 변화를 기초로 워터마크의 수용성(acceptability)을 결정하는 수단, 및 수용할 수 있는 워터마크를 리스트에 추가하기 위한 수단을 포함하는 장치가 제공된다. 또한, 장치는 비디오의 프레임을 블록으로 분할하기 위한 수단, 일부의 블록에 대하여 오직 휘도 및/또는 색도 변화만을 계산하는 수단으로서, 어떠한 계산도 이들 블록의 정확한 휘도 및/또는 색도 값을 산출하기 위하여 수행되지는 않는, 계산 수단, 워터마크에 대한 전파 맵을 구축하는 수단으로서, 이 전파 맵은 일부 휘도 및/또는 색도 변화를 갖는 블록을 포함할 수 있고, 이 전파 맵은 기준 이웃 블록 번호와 예측 모드를 저장할 수 있는, 구축 수단, 블록에 대한 인터-예측 변화를 통하여 계산하는 수단, 블록에 대한 인트라-예측 변화를 통해 계산하는 수단, 및 계산된 휘도 및/또는 색도 변화를 사용하여 워터마크 검출에 대한 검출 기준 값을 생성하는 수단을 포함할 수 있다.
이제부터, 본 발명은 본 발명은 첨부 도면을 참조하여, 예시의 목적으로 서술될 것이다.
본 발명은, 비디오에 영향을 미치는 워터마크를 평가할 수 있다.
도 1은 인트라-예측에 수반되는 이웃 블록을 도시하는 도면.
도 2는 LumEval 계산의 블록도.
도 3은 인터-예측 블록에 대한 LumEval 처리를 도시하는 도면.
도 4는 인트라-예측 블록에 대한 LumEval 처리를 도시하는 도면.
도 5는 LumEval 방법론의 독립형 버전을 도시하는 도면.
도 6은 LumEval의 AVC_Decoder/Propmap 툴로의 통합된 구현을 도시하는 도면.
도 7은 AVC 디코더 기반의 전파 맵 구축을 도시하는 도면.
도 8은 전파 맵 초기화를 도시하는 도면.
도 9는 마지막 전파 맵 리스트를 생성하는 단계를 도시하는 도면.
도 10은 전파 업데이트 처리를 도시하는 도면.
도 11은 인트라 예측에 대한 전파 맵 업데이트를 도시하는 도면.
도 12는 인터/인트라 예측에 대하여 최적화된 전파 맵 업데이트를 도시하는 도면.
도 13a 및 도 13b는 전파 맵의 도면.
도 14는 전파 맵의 구축을 도시하는 블록도.
본 발명은 워터마크의 평가 및 구현에 관한 것이고, 본 발명의 실시예는 리스트 필터링 단계의 세트(set)가 후속될 수 있는 리스트 생성 단계를 포함한다. 리스트 생성 단계의 출력은 구축될 수 있는 변화의 리스트로서, 시청자에게 이의(objectionable)가 없는 변화 리스트이다. 필터링 단계는 적어도 하나의 강제를 만족하지만, 바람직하게 다양한 강제를 만족해야하는, 리스트에서의 변화를 유지한다. 가장 중요한 강제는 워터마크의 내장 이후에, 마킹된 화상이 마킹되지 않은 화상과 지각적으로 동일하게 보여야 한다는 것이다.
본 발명의 주요 특징은 움직임 벡터 변화 또는 인트라-예측 기준 변화에 기인한 휘도 및 색도 변화의 추정 및/또는 계산이다. 워터마크의 내장 동안에, 움직임 벡터값을 수정함으로써 초래되는 변화를 평가하는 처리는 본 명세서에서 LumEval로서 참조된다. LumEval은 각 블록에 대하여 휘도 변화의 양을 측정하고, 이는 워터마킹 응용에서 충실도 평가와 같은 변화를 평가하기 위하여 사용될 수 있다.
본 발명의 수 개의 다른 주요 특징은 수정된 휘도를 완전히 재구축하는 것 없이, 인터-예측 블록 휘도 평가를 얻는 것, 각 블록의 휘도 평가 이후에, 슬라이스 차를 구축하고 업데이트하는 것, 인트라-예측에 대하여 수정된 슬라이스를 구축하기 위한 차를 사용하는 것, 모드 및 원래의/차 슬라이스를 기초로 인트라-예측 블록 휘도 평가를 결정하는 것, 및 워터마킹에서의 충실도 평가, 강력함 평가, 및 검출을 위한 LumEval를 적용하는 것이다.
게다가, 본 발명의 특징은, 다수의 단계가 내장에 관계되는, AVC/CABAC(Advanced Video Compression/Context-based Adaptive Binary Arithmetic Coding) 워터마킹 방법론에 특히 적용될 수 있다. 내장은 비디오 콘텐츠가 내장중에 사용될 수 있는 변화의 리스트를 생성하기 위하여 분석되는 분석 단계를 포함할 수 있다. 분석 단계는 리스트 필터링 처리의 세트가 후속되는 리스트 생성 처리로서, 개략적으로 서술될 수 있다. 리스트 생성 처리의 출력은 비트스트림의 AVC/CABAC 준수를 어기지 않고도 구현될 수 있는 변화의 리스트이다. 필터링 동작은 예를 들어, 시각적 아티팩트(artifact)를 초래할 변화를 제거하기 위하여, 복구되기 어려울 변화를 제거하기 위하여, 및 페이로드 강제 및 다른 응용 강제와 같이, 다른 외부 강제를 준수하는 변화의 세트를 생성하기 위하여 설계된다.
본 명세서에서 서술되는 적어도 하나의 실시예는 변화에 의해 초래되는 휘도 차를 양적으로 식별하는 것을 시도한다. 휘도 차 정보는 다음의: 충실도 평가, 강력함 평가, 및 검출을 포함하는 다수의 양상에서 중요할 수 있다. 충실도 평가에서, 휘도 차는 시각적 아티팩트를 초래할 변화를 식별하는데 사용된다. 이 휘도 차는 제거하지 않을 경우 마킹된 비디오에 대하여 시각적 아티팩트를 초래할 변화의 제거를 허용할 수 있다. 이러한 시각적 아티팩트는 일반적으로 수용될 수 없다. 강력함 평가에 대하여, 휘도 차는 충분한 강력함을 제공한다고 예측되는 변화뿐만이 아니라, 워터마킹된 콘텐츠에 적용되는 일반적인 처리를 견디는데 충분히 강력하다고 예측되지 않는 변화를 식별하는데, 도움을 주기 위하여 사용된다. 검출에 대하여, 휘도 차는 워터마크 검출 중에 기준 값으로 사용될 수 있다.
본 발명의 응용에서, 초래할 휘도 변화에 의해 각각이 평가되는 변화의 리스트가 존재한다. 일반적으로, 하나의 변화에 의해 초래되는 휘도 차와 다른 변화에 의해 초래되는 휘도 차 사이의 상호작용이 존재할 수 있다. 그러므로, 각 변화는 독립적으로 다루어진다. 휘도 평가는 어떠한 다른 변화도 만들어지지 않는다는 가정하에 주어진 변화가 초래할 수 있는 휘도 변화를 나타낸다.
2개의 비디오 시퀀스 사이에서 휘도 차를 계산하는 엄격한 방법은 원래의 비디오와 수정된 비디오 모두를 생성하여, 차를 취하는 것이다. 이러한 방법은 수정된 H.264/AVC 비트 스트림을 디코딩함으로써 수정된 비디오를 생성한다; 전형적으로 처리는 계산적이고, 돈이 들며, 저장소를 낭비한다. 게다가, 변화의 리스트가 주어진다면, 리스트에서 각각의 리스트에 대한 디코딩을 할 수 있다. 이 방법은 전형적으로, 이 엄격한 방법이 평가될 변화의 긴 리스트를 갖는 응용에 대해서는 일반적으로 실행되지 않게 만드는 높은 오버헤드(overhead)를 요구한다. 워터마킹 응용은 적어도 하나의 구현에서, 화상의 분당 대략 2,000번의 변화를 갖는다. 다른 구현은 분당 더 많거나 더 적은 변화를 가질 수 있다.
lumEval 알고리즘의 세부사항은 워터마크의 내장중에 인터-예측 블록에서 움직임 벡터값의 수정의 고려로 시작된다. 이러한 변화는 블록에 대한 픽셀 값 예측에서 변화를 초래할 것이고, 따라서 원래의 변화가 여전히 사용된다고 가정된다면, 재구성된 픽셀 값에서의 변화를 초래할 것이다. 다수의 경우에서, 이러한 변화는 재구성된 블록의 휘도에 영향을 미칠 것이다.
단일 움직임 벡터의 수정에 의해 영향을 받는 블록을 나타내는, 전파 맵이 사용될 수 있다. 하나의 움직임 벡터의 변화는 매크로블록 자신(인터-예측), 전파 맵에서 인터-예측 블록, 및 전파 맵 상에서 인트라-예측 블록의 휘도에 영향을 미칠 수 있다.
도 13a는 전파 맵의 하나의 예시를 도시한다. 이러한 전파 맵(1300)은 B-슬라이스 블록(1310)에 연관되는데, 이 블록의 움직임 벡터는 직접적으로 변화된다. 도면에서의 다른 블록(1320)은, 전파에 기인하여 간접적으로 변화될 블록이다. 블록이 변화될 때, 직접 수정에 기인하여, 또는 이 블록이 다른 변화의 전파 경로 내에 있기에, 이러한 변화는 블록의 이웃에 더 전파될 잠정성을 갖는다. 도 13b는 전파 맵의 다른 예시를 도시하는데, 오직 하나의 블록(1330)만이 직접적으로 변화될 때, 4개의 이웃(1340)의 휘도 값이 이러한 전파에 기인하여 수정될 수 있다. 변화된 블록의 전파 맵(P)은 블록(p)의 모음을 나타내고, 이 블록의 휘도 값 또한 전파에 기인하여 변화된다. 전파 맵에서의 각 블록은 초기 변화, 현재 블록의 예측 모드, 및 현재 블록에서의 변화를 나타내는 데이터 구조로 나타나고, 이는 다음으로 표시된다:
p = {head_node_info, mode, cur_node_info}.
"head_node"는 변화를 개시했던 움직임 벡터의 위치 및 대안 값에 의해 변화된 블록을 유일하게 식별한다. 전파 맵(P)에서 모든 노드는 동일한 "head_node"를 가질 것이다. 요소 "mode"는 인트라-예측 또는 인터-예측일 수 있는 현재 블록의 예측 모드를 나타낸다. 요소 "cur_node"는 현재 블록에 관한 정보를 기록한다. 이 요소는 인터-예측된 블록, 인트라-예측 모드 및 인트라-예측 블록에 대한 기준 블록에 대한 원래의 및 새로운 움직임 벡터를 포함한다.
도 14는 전파 맵을 구축하기 위한 방법을 도시한다. 전파 맵(P)은 1410에서 변화된 블록(p)으로 초기화된다. 평가 박스(1420)에서, 블록(p)이 비어있는지를 평가하기 위한 결정이 수행된다. 블록(p)이 비어있지 않다면, 블록의 4개의 이웃(αi, i = 1,..., 4)(도 13b에서 한정된 바와 같이)의 각각은 박스(1430)에서 검사된다. 이들 검사 각각의 목표는 블록(p)에 대한 변화가 이웃(αi)에 전파될지를 결정하는 것이다. 이를 행하기 위하여, p와 연관된 원래의 값을 사용하여 디코딩이 변화된 값과 비교될 수 있다. 블록(αi)이 인터-예측된 블록이라면, 인터-예측 통로(1440)에서, p의 새로운 움직임 벡터 및 다른 이웃 블록의 움직임 벡터를 사용하여 예측되는 움직임 벡터가 검사될 수 있다. 이 예측된 움직임 벡터가 원래의 움직임 벡터와 상이하다면, 변화는 이 이웃에 전파할 것이고, 블록(αi)은 전파 박스(1460)에서 전파 맵(P)에 추가된다. αi가 인트라-예측 통로(1450)에서 인트라-예측되고, 블록(p)이 예측에서 기준으로 사용된다면, 변화는 이러한 이웃에 전파할 것이고, 블록(αi)은 전파 박스(1460)에서 전파 맵(P)에 추가된다. 모든 4개의 이웃이 검사 된 이후에, P에서 다음의 요소가 고려된다. 이러한 처리는, 종료 박스(1470)에 도착될, P에서의 어떠한 새로운 요소도 존재하지 않을 때까지 반복된다.
이제부터, 인터-예측 블록에 대하여, 예측 가중치 정보와 함께 원래의 움직임 벡터(mv_org) 및 수정된 움직임 벡터(mv_new)로의 평가가 가정될 수 있다. 수정 이후에 휘도는 Lnew로 표기되고, 2개의 예측(쌍방향-예측으로 간주되는) 더하기 나머지의 가중된 합이다.
Lnew = w0×MC(mv0_new)+w1×MC(mv1_new) + 나머지
여기에서 w0 및 w1은 각각 쌍방향 예측에서 리스트(0)의 예측 및, 리스트(1)의 예측을 위해 사용되는 가중치다; MC(·)는 움직임 보상 예측 함수를 나타낸다. 이러한 방정식이 2개의 움직임 벡터, mc0_new 및 mv1_new를 갖는다는 것이 주목된다. 이는 쌍방향 예측의 결과이다. 마찬가지로, Lorg라 표기되는 수정 이전의 휘도는 다음으로 계산된다
Lnew = w0×MC(mv0_org)+w1×MC(mv1_org) + 나머지.
따라서, △L로 표기되는 휘도에서의 변화는 다음으로 계산될 수 있다
△L = Lnew - Lorg
= [w0×MC(mv0_new)+w1×MC(mv1_new)+나머지]
- [w0×MC(mv0_org)+w1×MC(mv1_org)+나머지]
= w0×[MC(mv0_new)-MC(mv0_org)]
+ w1×[MC(mv1_new)-MC(mv1_org)].
다음으로, 본 발명의 실시예에서, 워터마킹 처리가 2개의 움직임 벡터 중 오직 하나만을 수정하는 경우에 집중할 수 있다. 이러한 경우에서, mv_new 움직임 벡터 중 하나의 벡터는 대응하는 mv_old와 동일할 것이다. △L에 대한 위의 방정식에서 대응하는 항은 0이 되어:
△L = wx×[MC(mvx_new) - MC(mv0_org)] (1)가 된다.
여기에서, 첨자 x는 수정된 움직임 벡터를 나타낸다. 수정 이전 또는 이후 모두에, 블록에서 모든 픽셀 값을 재구축하는 것 이외에, 리스트(x) 예측의 움직임 보상 차에서의 휘도 변화를 계산할 필요만이 있는 것이 관측될 수 있다. wx에 의해 가중되는 이러한 차의 결과는 내장에 기인하여 휘도 차가 될 것이다.
휘도 변화(△L)는 픽셀의 블록이고, 충실도 평가를 표현하기 위한 다수의 측정값 중 임의의 측정값이 이러한 픽셀 블록으로부터 계산될 수 있다. 2개의 예시의 측정은 휘도 차와 최대 절대 차의 합이다. 적어도 하나의 실시예에서, 절대 휘도 차의 합이 사용된다.
H.264 표준{ITU-T H.264 Standard: Advanced video coding for generic audiovisual services(2005년 3월)}에서, 다수의 인터-예측 블록은 이 블록의 이웃의 움직임 벡터로부터 이 블록의 움직임 벡터를 도출하여, 하나의 인터-예측 블록에서의 움직임 벡터의 수정이 인접한 인터-예측 블록의 움직임 벡터에서 변화를 생성할 수 있다. 이웃에서의 이러한 변화는 이러한 이웃의 휘도에 영향을 미칠 수 있고, 그 자신이 이웃하는 인터-예측 블록에 더 전파될 수 있다.
또한, 재구성된 블록에 대하여 초래하는 픽셀 변화는 이웃하는 인트라-예측 블록에서 픽셀 변화를 생성할 수 있다. 또한, 이들 변화는 다른 인트라-예측 블록에 더 전파될 수 있다.
전파 맵은 어떤 블록이 단일 움직임 벡터의 수정에 의해 영향을 받는지를 나타낸다. 하나의 움직임 벡터의 변화는 매크로 블록 그 자신(인터-예측), 전파 맵 상에서의 인터-예측 블록, 및 전파 맵 상에서의 인트라-예측 블록의 휘도에 영향을 미칠 수 있다.
LumEval은 단일 움직임 벡터의 변화에 의해 영향을 받는 모든 블록에서의 휘도 변화를 평가하기 위하여 전파 맵을 사용할 수 있다. 이는 전파에 기인하여 간접적으로 영향을 받는 모든 블록뿐만이 아니라, 직접적으로 영향을 받는 블록도 포함한다. 전파 맵에서 임의의 인터-예측 블록에 대한 휘도의 변화는 위의 방정식의 응용에 따라 평가된다.
블록의 인트라-예측은 이제부터 논의될 것이다. 인트라-예측은 현재 블록에 대한 픽셀 값을 예측하기 위하여 이웃하는 블록의 경계 픽셀을 사용한다. 인트라-예측에서 수반되는 이웃 블록의 예시를 위하여, 도 1을 참조한다. 인트라-예측 블록이 전파 맵상에 있을 때, 기준 이웃 블록은 변화된다. 현재 블록에 대한 효과를 결정하기 위하여, LumEval은 기준 이웃의 경계 픽셀에 대한 변화를 구축할 필요가 있다.
수정 이전에 인트라-예측 블록의 휘도는 Lorg로 표기되고, 이는 N으로부터의 인트라-예측과, 나머지의 합이며, N은 세트(A,B,C, 및 D)로부터 하나 이상의 이웃이다.
Lorg = IntraP(L_N_org) + 나머지
IntraP(·)는 현재 블록에 대하여 구체화되는 인트라-예측 모드를 기초로하는 인트라-예측 함수이다. 마찬가지로, 수정 이후에, 인트라-예측 블록의 휘도는:
Lnew = IntraP(L_N_new) + 나머지
로 정의되는 Lnew이고, 휘도에서의 변화는
△L = Lnew - Lorg
= IntraP(L_N_new) - IntraP(L_N_org).
이웃 블록(N)에서의 새로운 휘도(L_N_new)는 변화(△L_N)를 더한 이러한 블록에서의 원래 휘도이다. 이 휘도로써, 수정 이후에 예측을 다음의 식으로 다시 쓰는 것이 가능할 수 있다
IntraP(L_N_new) = IntraP(L_N_org + △L_N).
그리고, 휘도 차는:
△L = IntraP(L_N_org) - IntraP(L_N_org + △L_N) (2)가 된다.
인터-예측 블록과 상이하게, 인트라-예측 블록 상에서의 LumEval이 이 인트라 예측-블록의 이웃 블록으로부터의 휘도 차(△L_N)를 요청한다는 것이 참조 될 수 있다. 블록 패턴(105) 또는 전파 맵에서의 블록이 디코딩 순서로 기재되고, LumEval이 기재된 순서로 이들 블록에 적용된다고 가정하면, 현재 인트라-예측 블록에 의해 요청된 △L_N은 이전의 블록으로의 LumEval의 응용 중에 미리 얻어질 것이다. △L_N로의 빠른 평가를 위해, 각 전파 맵에 대하여 "차 슬라이스"라 불리는 슬라이스가 구축될 수 있다. H.264 표준{ITU-T H.264 Standard: Advanced video coding for generic audiovisual services(2005년 3월)}에 따라, 변화는 슬라이스의 마지막 부분을 지나서 전파되지는 않는다. 그러므로, LumEval은 슬라이스보다 큰 영역에 대한 블록 차를 저장할 필요는 없다. 상이한 슬라이스는 블록의 휘도 차가 계산된 이후에, 방정식(1) 또는 방정식(2)로부터 전파 맵 상에서 블록의 휘도 차(△L)를 저장한다. 그런 후에, 미래의 블록에 대한 △L_N은 이러한 차 슬라이스로부터 검색될 수 있다.
차 슬라이스의 생성이 어떠한 추가의 계산을 나타내는 것이 아니라는 점이 언급된다. 인터-예측 블록으로의 LumEval의 응용은 방정식(1)에서 △L의 계산을 요청한다. 데이터의 이러한 블록은 차 슬라이스에 저장될 수 있다. 먼저, 차 슬라이스는 전파 맵의 제 1 블록에 LumEval을 적용하기 전의 모든 0으로 초기화될 수 있다. 마찬가지로, 인트라-예측 블록으로의 LumEval의 응용은 방정식(2)에서 △L의 생성을 요청하고, 데이터의 이러한 블록은 차 슬라이스에 저장된다.
도 2는 LumEval의 개관을 도시한다. 알고리즘으로의 입력은 원래 비디오 시퀀스(205), 변화 리스트(210), 및 변화 리스트에서 각 변화의 블록 패턴(105)이다. 전파 맵에서 각 변화 블록에 대한 정보는 검색 박스(215)를 통하여 공급되고, LumEval 계산에 공급된다. 전파 맵은 디코딩 순서로 기재된 하나의 변화에 의해 영향을 받는 모든 블록을 포함한다. 전파 맵은 전파 맵 상에서 각 블록을 갖는 다음의 정보를 저장하는데: 인터-예측된다면, 기준 프레임 번호, 원래의 및 새로운 움직임 벡터가 저장되고, 인트라-예측된다면, 인트라-예측 모드 및 기준 이웃 블록이 저장된다. 변화 리스트에서 각 엔트리(entry)에 대하여, LumEval은 전파 맵 상에서 각 블록에 적용된다. 전파 맵 상에서 제 1 블록은 변화가 만들어지는 인터-예측 블록이다. 이는 유일하게 본 발명에 해당된다. 인터-예측 블록(220) 및 인트라-예측 블록(225)은 앞서 개시된 프로토콜에 따라 분석된다. 차 슬라이스는 변화 리스트에서 전체 엔트리의 개시 시 초기화되고, 이러한 변화의 전파 맵에서 전체 블록에 대한 휘도 평가 이후에 업데이트된다.
도 3은 인터-예측 블록에 대한 LumEval 처리를 도시한다. 원래의 및 수정된 움직임 벡터 모두는 검색되고(305), 2개의 블록 예측: 원래의 움직임 벡터 중 하나(310) 및 수정된 움직임 벡터 중 하나(315)를 얻기 위한 2개의 상이한 움직임 보상을 수행하는데 사용된다. 이들 2개의 예측 사이의 차는 추가의 처리에 대한 출력일 수 있고, 또한, 대응하는 블록 위치에서 차 슬라이스를 업데이트 하는데(320) 사용된다.
바로 언급한 바와 같이, LumEval의 출력은 2개의 예측 사이의 차이다. 하지만, 일부 응용에서, 이러한 차의 다른 도출이 유용할 수 있다. 예를 들어, 바람직한 실시예는 차 블록에서의 값의 합과, 차의 절대 값의 합을 계산하고 출력한다.
도 4는 수행될 예측의 타입이 식별될 때(405), 인트라-예측 블록에 대한 LumEval 처리를 도시한다. 인트라-예측은 원래의 시퀀스 상에서 수행된다(410). 수정된 시퀀스의 생성(415) 이후에, 수정된 시퀀스(420)의 인트라-예측도 동일하게 수행된다. 수정된 시퀀스는 방정식(2)에서 서술된 원래의 및 차 슬라이스로부터 도출된다. 그 밖에, 이들 2개의 예측의 차는 차 슬라이스를 업데이트 하는데 사용되고, 직접 출력 또는 생성되거나, 또는 출력 또는 생성물을 도출하기 위하여 사용된다.
LumEval 구현의 2개의 기본 버전은: 독립형 버전, 및 AVC_Decoder/Propmap으로 통합되는 버전으로 개설된다. AVC_Decoder/Propmap은 변화된 블록 리스트를 식별하기 위하여 AVC_Decoder에 구축되는 툴이다. 이 툴의 더 상세한 설명은 이 서술의 아래에 제공된다.
도 5는 LumEval(530)의 독립형 버전을 도시한다. 여기에서, 코딩된 비디오(505) 및 변화 리스트(510)는 AVC 디코더/전파 맵 생성기(515)로 공급된다. 독립형 LumEval(530)에 대한 추가의 입력은 AVC 디코더/전파 맵 생성기(515)에 의해 생성된 각 변화에 대한 전파 맵과, 또한, AVC 디코더/전파 맵 생성기(515)에 의해 생성된 디코딩된, 원래의 YUV 파일(520)이다. 출력(535)은 변화된 블록의 입력 리스트의 각 엔트리의 전파 맵에서 각 블록에 대한 휘도 변화를 나타낸다.
독립형 LumEval은 입력으로서 원래의 YUV 파일을 요청한다는 것이 주목된다. 이러한 YUV 파일은 저장을 위한 상당한 디스크 공간을 요청할 수 있고, (AVC_Decoder/Propmap에서) 기록하고, (LumEval에서) 읽어 들일 상당한 시간의 양을 초래할 수 있다. 더 효율적인 구현은 LumEval을 AVC_Decoder/Propmap로 통합한다. 이는 디코딩된 YUV 시퀀스를 저장할 필요성을 회피하여: 저장 공간을 절약하고, 실행-시간을 빠르게 한다.
도 6은 AVC_Decoder/Propmap 툴로 LumEval의 통합된 구현을 도시한다. 통합된 LumEval의 코어(core) 구현은 독립형 버전과 동일한데, 이는, 코딩된 비디오(605)와 변화 리스트(610)가 AVC 디코더/전파 맵 생성기(615)로 공급되어, 또한 전파 맵(625)을 생성하기 때문이다. 중요한 차는 통합된 버전이 파일로부터 변화된 블록 정보를 읽는 것보다는, AVC_Decoder/Propmap에서 구축된 데이터 구조로부터 직접, 변화된 블록 정보를 읽어들이고, 파일로부터 보다는, 버퍼로부터 원래의 YUV 프레임(620)을 읽어들인다는 것이다. 따라서, 통합된 LumEval(630)은 임의의 외부 입력 파일을 요청하지 않는다. 출력(635)은 독립형 버전과 동일하다.
앞서 나타난 바와 같이, 인트라-예측에 대한 더 상세한 논의는 이제부터 나타난다. 인트라-예측 매크로클록은 현재 프레임/픽쳐내로부터의 예측과 및 나머지의 합으로서 코딩된다. 하나 이상의 기준 블록이 변화의 전파 맵 상에 있다면, 예측은 이러한 변화에 의해 영향을 받을 수 있는데, 이러한 경우에서 현재 블록은 또한, 전파 맵에 대한 것일 수 있다. 인트라-예측의 3가지 타입: intra_4×4, intra_8×8, 및 intra_16×16이 존재할 수 있다.
Intra_4×4 모드에서, 매크로블록은 16개의 4×4 블록의 각각에 대하여 예측된다. 도 1에 도시되는, 모든 4개의 이웃 블록(A, B, C, 및 D)을 수반하는, 전체 8개의 모드(ITU-T 권고 H.264 | ISO/IEC 14496-10 국제 표준(개정 1)의 표 8-2에 대하여)가 존재한다. 8개의 모드는 수반되는 이웃 블록(들)(ITU-T 권고 H.264 | ISO/IEC 14496-10 국제 표준(개정 1)의 표 8-2로부터 적응되는)과 함께 아래의 표 1에 기재된다. 표준의 표 8-2와는 상이한 표에서, Intra_4×4_DC 모드에 대하여, 모드 2 - A와 B 모두를 사용; 모드 9 - A만을 사용; 모드 10 - B만을 사용하는, 3가지 상이한 경우를 구분할 수 있다. 4×4_DC 모드의 제 4 경우는 A와 B 어느 쪽도 사용하지 않는 것이고, 이는 전파 맵에 영향을 미치지 않아서, 무시될 수 있다.
Figure 112011011407616-pct00001
Intra_8×8 모드에서, 매크로블록은 4개의 8×8 블록의 각각에 대하여 예측된다. 도 4에 도시되는, 이웃 블록(A, B, C, 및 D) 중 전체 4개를 수반하는 8개의 모드(ITU-T 권고 H.264 | ISO/IEC 14496-10 국제 표준(개정 1)의 표 8-3에 대하여)가 존재한다. 8개의 모드는 수반되는 이웃 블록(들)(ITU-T 권고 H.264 | ISO/IEC 14496-10 국제 표준(개정 1)의 표 8-3로부터 적응되는)과 함께 아래의 표 2에 기재된다. 4×4 인트라-예측 모드의 경우와 유사하게, Intra_8×8_DC 모드에 대하여 3가지 상이한 경우 또한 구분될 수 있다. 예측 이전에 필터링 동작에 기인하여, 각 모드에 대하여 수반된 이웃이 4×4 예측과는 상이하다는 것이 주목된다.
Figure 112011011407616-pct00002
Intra_16×16 모드에서, 매크로블록은 그 전체가 예측된다. 도 4에 도시되는, 3개의 이웃 블록(A, B, 및 D)을 수반하는 4개의 모드(ITU-T 권고 H.264 | ISO/IEC 14496-10 국제 표준(개정 1)의 표 8-4에 대하여)가 존재한다. 표 3은 예측 모드를 기재한다. 이 예측이 4×4 및 8×8 예측과 일치하도록 만들기 위하여, 모드(2, 9, 및 10)는 DC 예측의 3가지 경우를 나타내기 위하여 여전히 사용될 수 있다.
Figure 112011011407616-pct00003
구체적으로, 도 4에 도시된 바와 같이 기준 성분은 이웃(A)의 가장 우측 열이고, 이웃(B)의 마지막 행, 이웃(C)의 마지막 행, 및 이웃(D)의 마지막(우측-하단) 픽셀이다. C가 이용가능하지 않다면, C에서 기준 픽셀은 B의 마지막 행의 가장 우측 픽셀에 의해 반복적으로 교체된다.
H.264/AVC 워터마킹 시스템은 잠정적인 변화의 리스트를 생성하고, 그런 후에, 일부 변화가 리스트로부터 제거되는 일련의 단계를 지나게 된다. 리스트에서 각 엔트리는 B-슬라이스 인터-예측 매크로블록과 연관된 움직임 벡터에 대한 변화를 나타낸다. 인터-예측 블록의 움직임 벡터를 변화시키는 것은 인코딩 중에 의도되는 기준과는 상이한 기준을 갖는 블록을 재구성하는 효과를 갖기에, 디코딩된 픽셀 값을 변화시킬 것이다. 이러한 변화는: (1) 제 2 블록이 인터-예측을 사용하여 코딩되고, 현재의 블록으로부터 제 2 블록의 움직임 벡터를 예측한다면, 제 2 블록은 또한, 의도된 기준과는 상이한 기준을 사용할 것이고, (2) 제 2 블록이 인트라-예측을 사용하여 코딩되고, 현재 블록으로부터 이 블록의 픽셀 값을 예측한다면, 제 2 블록의 재구성된 픽셀은 의도된 픽셀과는 상이하게 되는, 이러한 2가지 방식으로 전파될 것이다. 이웃 움직임 벡터로의 전파인, 제 1 종류의 전파는 동일한 방식으로 다시 이웃의 다음의 세트로 전파될 수 있다. 픽셀 값으로의 직접적인 전파인, 제 2 종류의 전파는 또한 인트라-예측을 사용하는 이웃 블록만으로 더 전파될 수 있다.
또한 앞서 예시한 바와 같이, AVC 디코더-기반의 전파 맵 구축에 대한 더 상세한 논의가 이제부터 디코더(710)에 대해 나타난다. 움직임 벡터 예측 및 인트라 예측이 하나의 슬라이스 내에서 수행된다는 것이 언급된다. 따라서, 하나의 움직임 벡터 변화의 전파는 현재 슬라이스의 외부에 전파될 수 없다. 그러므로, 전파 맵은 한 슬라이스씩 구축될 수 있다. 표준 H.264/AVC 디코더는: (1) 슬라이스 초기화(730), (2) 슬라이스 디코더(740), 및 (3)이미지 시퀀스에서 각 슬라이스에 대한 슬라이스 규정(setdown)(750)의 3가지 단계를 통하여 순환(loop)한다. 전파 맵 구축은 한 번에 하나의 슬라이스씩 처리하는 배경으로 일어난다.
전파 맵 구축은 하나의 입력으로서 원래 인코딩된 비디오 스트림을 취한다. 다른 입력은 모든 잠정적인 수정들의 리스트에 있다. 처리는 도 7에서:(1) 전파 맵 초기화(735), (2) 전파 맵 구축기(745), 및 (3) 완료된 출력이 휘도 평가에 대한 YUV를 디코딩하기 위하여 사용되는, 전파 맵 출력(755)의 연속적인 3가지 단계로 서술될 수 있다.
전파 맵 초기화(735)는 도 8에 도시되고, H.264/AVC 디코더의 슬라이스 초기화 처리(730)로 통합된다. 이러한 초기화는 잠정적인 수정의 리스트로부터 현재 B-슬라이스에서 블록에 적용되는(830) 수정들을 추출하고, 잠정적인 현재 블록 변화(840)에 대하여, 각 하나의 전파 맵을 구축(850)한다.
슬라이스 디코더(740)로 통합되는, 도 9에서의 전파 맵 구축기는, 디코더가 각 매크로블록을 처리하기에, 잠정적인 수정의 전파 맵에 블록을 추가한다. 슬라이스에서 고려되는 각 매크로블록은 박스(901)에 의해 나타난다. 하나의 블록을 디코딩할 때, 다수의 상이한 코딩의 경우에 대해 사용되는 결정이 만들어진다. 이러한 경우는 공간 직접 모드를 사용하는 인터-예측, 및 상이한 인트라-예측 타입(921)에 대한 박스(920)에서의 인트라-예측이다. 도 9는 블록이 직접 모드로 인터-예측되는 지에 대한 결정이 직접/스킵(skip) 결정 박스(906)에서 만들어지는 인터-예측 경로(905)를 도시한다. 인터-예측된 블록이 직접 모드로 인터-예측되지 않는다면, 전파 맵은 전파 업데이트 처리(908)에 따라 업데이트 된다. 게다가, 인터-예측 블록이 결정 박스(907)에서 공간적으로 예측되지 않는다면, 인터 예측된 블록은 이웃 블록에 변화에 의해 영향을 받지 않고, 어떠한 전파 맵의 부분도 아닐 것이다. 모든 다른 블록은 이 블록이 이전의 변화에 의해 영향을 받는지를 결정하기 위하여 검사된다. 직접/스킵 결정 박스(906)에서 도시된 직접 모드를 사용하지 않는 인트라-예측된 블록은 전파 업데이트 처리(908)에 의해 검사되고, 이러한 처리는 도 10에 도시된다.
도 10에서, 이웃 블록은 먼저, 박스(1001)에서 식별된다. 이러한 식별은 앞서 서술된 움직임 벡터 예측(MVp)과 이웃의 이용도를 기초로 한다. 본 명세서에서 중요한 점과 유념할 점은 현재 MVp의 결정에 영향을 미칠 수 있는 이웃이고, 이러한 이웃은 식별된 이웃으로서 참조된다. 모든 전파 맵 리스트를 통한 샘플링(1002)과 이웃 박스를 검사하는 것(1003)은 이들 식별된 이웃 블록이 임의의 전파 맵 내에 있는지를 결정한다. 식별된 이웃이 전파 맵 내에 있다면, 이는 이러한 이웃이 맵의 헤드에서 잠정적인 수정에 의해 영향을 받는다는 것을 의미한다. 그러므로, 이러한 변화는 현재 블록에 전파하는 잠정성을 갖는다. 어떠한 이웃도 박스(1003)에서 전파 맵 내에 있지 않다면, 다음 맵은 박스(1002)에서 샘플링된다. 현존하는 전파 맵 내에 있는, 식별된 이웃의 각각의 경우에 대하여, 전파 맵 리스트에 저장된 움직임 벡터의 검색(1004)이 수행된다. 수정된 이웃 움직임 벡터를 사용하여, 현재 블록의 재계산(1005)이 수행된다. 현재 블록에 대한 이러한 움직임 벡터 예측은 박스(1006)에서 원래의 움직임 벡터를 갖는 결과와 비교된다. 이 움직임 벡터가 상이하다면, 전파 맵의 헤드에서 변화는 현재 블록에 영향을 미칠 것이고, 이 현재 블록은 박스(1007)에서 대응하는 전파 맵에 추가된다.
오직 인트라-예측만에 따른 전파 맵을 업데이트하기 위하여, 임의의 3가지 모드/타입(921)(즉, 4×4, 8×8, 또는 16×16)을 갖는 모든 인트라-예측 블록은 도 11에 서술되는 전파 맵 업데이트 처리(922)에 의해 검사된다. 인터-예측된 블록의 검사와 마찬가지로, 먼저, 현재 블록의 이웃 블록의 식별이 만들어진다. 이러한 식별은 위에 서술된 인트라-예측 모드를 기초로 한다. 여기에서, 관심사는 현재 파티션의 픽셀 예측에 영향을 미칠 수 있는 이웃을 사용하는 것이다. 이러한 이웃은 박스(1101)에서 식별된 이웃으로서 참조된다. 리스트에서 전체 전파 맵은 박스(1102)에서 샘플링될 수 있거나, 샘플링되고 박스(1104)에서 검사된다. 임의의 식별된 이웃 블록이 전파 맵과 중첩된다면, 현재 노드는 박스(1106)에서의 이러한 전파 맵에 추가된다.
도 7에 도시된 마지막 단계는 슬라이스 규정(750)이다. 이는 일단 슬라이스가 디코딩되면, AVC 디코더(810)의 표준 단계일 수 있다. 전파 맵 구축의 마지막 단계는 전파 맵의 출력이다. 이러한 단계는 슬라이스 규정(750)으로 통합된다. 또한, 픽셀 값을 포함하는 선택적 디코딩 yuv 파일은 추가의 분석에 대한 출력일 수 있다.
상기 알고리즘에서, 이 알고리즘이 전체 매크로블록 파티션에 대해 l개의 전파 맵의 모든 노드를 지나는 것에 대한 필요성이 있을 수 있다는 것을 주목하는 것이 중요하다. 이는 높은 계산 비용을 초래할 수 있다. 처리의 속도를 증가시키기 위하여, 개선된 알고리즘은 2개의 관측 기반으로 제시된다. 제 1 알고리즘은 현재 파티션의 부모(식별된 이웃)가 오직 매크로블록의 동일한 행, 또는 상부 행에만 있게 하는 것이다; 가령, 현재 블록으로부터 하나보다 많은 행만큼 이격된 리스트(i)의 노드는 부모 검색중에 배제될 수 있다. 제 2 알고리즘은 리스트(i)가 매크로 블록의 전체 행에 대하여 업데이트 되지 않는다면, 변할 수 있는 블록에 대한 수정의 결과는 슬라이스에서 남아있는 블록에 전파될 수 없다. 따라서, 전파 맵(i)은 완료되고, 현재 슬라이스 내에서 미래의 또는 이후의 블록을 검사할 어떠한 필요도 존재하지 않는다. 수정된 알고리즘은 도 12에 나타난다.
인트라-예측 및 인터-예측에 따른 전파 맵의 업데이트에 대하여, 도 12는 박스(1201)에서, 현재 파티션의 픽셀 예측에 영향을 미칠 수 있는 이웃을 먼저 식별하는 것을 개시한다. 이러한 이웃은 박스(1201)에서 식별된 이웃으로 참조된다. 그런 후에, 리스트에서 전파 맵은 박스(1202)에서 샘플링된다. 결정 박스(1203)에서 매크로블록의 마지막 행에 어떠한 업데이트도 존재하지 않는다면, 다음의 전파 맵이 샘플링된다. 업데이트가 존재한다면, 박스(1204)에서 검사가 수행된다. 임의의 식별된 이웃 블록이 현재 샘플링된 전파 맵(i)에서, 현재 및 마지막 행에서의 블록과 중첩되거나 매칭된다면, 박스(1205)에서 처리는 비교 단계로 진행된다. 원래 움직임 벡터 및 수정된 움직임 벡터가 상이하다면, 수정된 움직임 벡터를 갖는 현재 노드는 인트라-예측으로부터 업데이트와 함께 박스(1206)에서 전파 맵에 추가된다.
요컨대, 이러한 응용에서 서술된 수 개의 구현 및 특징은 H.264/MPEG-4 AVC(AVC) 표준의 배경으로 나타날 수 있다. 하지만, 이들 구현 및 특징은 다른 표준(현존하거나 미래의)의 배경으로, 또는 표준에 수반되지 않는 배경으로 사용될 수 있다.
본 명세서에서 서술된 구현은 예를 들어, 방법 또는 처리, 장치, 소프트웨어 프로그램, 데이터스트림, 또는 신호로 구현될 수 있다. 심지어 오직 구현의 단일 형식의 배경만으로 논의되었지만(예를 들어, 오직 방법만으로 논의된), 논의된 구현 또는 특징은 또한 다른 형식(예를 들어, 장치 또는 프로그램)으로 구현될 수 있다. 장치는 예를 들어, 적합한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은 예를 들어, 컴퓨터 또는 다른 처리 디바이스와 같은 장치로 구현될 수 있다. 게다가, 방법은 처리 디바이스 또는 다른 장치에 의해 수행되는 지령에 의해 구현될 수 있으며, 이러한 지령은 CD와 같은 컴퓨터 판독 가능 매체, 또는 다른 컴퓨터 판독 가능 저장 디바이스, 또는 집적 회로 상에 저장될 수 있다. 게다가, 컴퓨터 판독 가능 매체는 구현에 의해 생성된 데이터 값을 저장할 수 있다.
당업자에게 있어서 명백한 것처럼, 구현은 또한, 예를 들어 저장될 수 있거나 효율적으로 사용될 수 있거나, 전송될 수 있는 정보를 전달하기 위하여 포맷 된 신호를 생성할 수 있다. 정보는 예를 들어, 방법을 수행하기 위한 지령, 또는 서술된 구현 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 워터마킹된 스트림, 워터마킹되지 않은 스트림, 또는 워터마킹 정보를 전달하기 위하여 포맷될 수 있다.
본 발명의 실시예는, 본 명세서에서 서술된 다양한 처리 단계 및 이 처리 단계의 조합을 수행하기 위한 수단으로서의 기능을 하는 하드웨어, 펌웨어 및/또는 소프트웨어 등이 갖춰진 장치를 포함할 수 있다.
게다가, 본 발명의 특징은 휘도 변화 대신에, 또는 수용할 수 있는 변화의 리스트의 생성하는 및/또는 변화 또는 워터마크를 평가하는 측정 규준 또는 기준으로서 휘도 변화와 협력하는 색도 변화의 사용을 포함하는 것으로 의도된다.
게다가, 다수의 구현은 하나 이상의 인코더, 디코더, 디코더로부터 출력을 처리하는 후-처리기, 또는 인코더에 입력을 제공하는 전-처리기로 구현될 수 있다. 게다가, 다른 구현이 이 개시물에 의해 계획된다. 예를 들어, 추가의 구현은 개시된 구현의 다양한 특징을 결합하거나, 삭제하거나, 수정하거나, 또는 보충함으로써 안출될 수 있다.
105 : 현재 블록 205 : 원래의 시퀀스
210: 변화 정보 310 : 움직임 보상
505, 605 : H.264/AVC로 코딩된 비디오 비트스트림
510, 610 : 변화 리스트 530, 630 : LumEval
520 : H.264/AVC로 디코딩된 비디오 데이터
525, 625 : 전파 맵 620 : 디코딩된 프레임

Claims (33)

  1. 내장을 위해 수락 가능한 워터마크를 선택하는 방법으로서,
    주어진 휘도를 갖는 인코딩된 비디오 이미지에 내장될 수 있는 워터마크를 선택하는 단계로서, 비디오 이미지는 블록들을 포함하는, 워터마크를 선택하는 단계,
    워터마크가 인코딩된 비디오 이미지에 내장된 경우, 비디오 이미지의 주어진 휘도에서의 변화의 양의(quantitative) 값의 추정을 결정하는 단계로서, 휘도의 결정된 변화는 블록들의 예측의 함수인, 비디오 이미지의 주어진 휘도에서의 변화의 양의 값의 추정을 결정하는 단계,
    양의 값에 반응하는 워터마크를 수락하거나 거부하는 단계, 및
    워터마크 중 수락된 워터마크를 리스트에 추가하는 단계로서, 리스트에 추가된 워터마크는 내장을 위해 수락 가능한 워터마크인, 수락된 워터마크를 리스트에 추가하는 단계를
    포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  2. 제 1항에 있어서, 비디오 이미지는 블록을 포함하고, 상기 방법은,
    비디오 이미지의 블록의 전체가 아닌 일부에 기초하여 결정하는 단계를 구현하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  3. 삭제
  4. 제 1항에 있어서,
    선택된 워터마크에 대한 전파 맵을 구축하는 단계, 및
    주어진 휘도에서 일부 변화를 갖는 블록들을 전파 맵에 포함하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  5. 제 4항에 있어서, 움직임 벡터의 변화에 기인하여 주어진 휘도에서 임의의 변화를 계산하는 단계 또는, 인트라(intra)-예측 기준 변화에 기인한 주어진 휘도에서 임의의 변화를 계산하는 단계를 더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  6. 제 1항에 있어서,
    평가되는 블록에 대한 인터(inter)-예측 변화를 계산함으로써 결정하는 단계를 구현하는 단계,
    선택된 워터마크에 대한 전파 맵을 구축하는 단계,
    주어진 휘도에서 일부 변화를 갖는 평가된 블록들을 전파 맵에 포함하는 단계, 및
    상기 포함된 블록들에 대하여, 기준 프레임 번호, 원래의 움직임 벡터, 및 새로운 움직임을 저장하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  7. 제 1항에 있어서,
    평가되는 블록에 대한 인터-예측 변화를 계산함으로써 결정하는 단계를 구현하는 단계,
    선택된 워터마크에 대한 전파 맵을 구축하는 단계,
    주어진 휘도에서 일부 변화를 갖는 평가된 블록들을 전파 맵에 포함하는 단계, 및
    상기 포함된 블록들에 대하여, 기준 이웃 블록 번호 및 예측 모드를 저장하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  8. 제 7항에 있어서, 주어진 휘도에서 변화에 반응하는 워터마크 검출에 대한 검출 기준 값을 생성하는 단계를 더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  9. 제 1항에 있어서, 리스트로부터의 수락된 워터마크 중 하나를 비디오 이미지에 내장하는 단계를 더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  10. 삭제
  11. 제 1항에 있어서,
    리스트에서 워터마크를 페이로드(payload) 강제(constraint)와 비교하는 단계, 및
    페이로드 강제에 충족되지 않는 워터마크를 리스트로부터 제거하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  12. 제 4항에 있어서,
    인지할 수 있는 변화 또는 인지할 수 없는 변화로서 휘도 기준에 기초하여 워터마크를 평가하는 단계, 및
    인지할 수 없는 변화의 전파 맵에 대해, 전파 맵을 리스트에 저장하는 단계를
    포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  13. 삭제
  14. 삭제
  15. 제 1항에 있어서,
    차 슬라이스(difference slice)를 구축하는 단계로서, 차 슬라이스는 선택된 워터마크의 전파 맵에서 슬라이스에 대한 이웃 블록들 사이의 휘도 차를 포함하고, 상기 슬라이스는 블록들의 그룹이고, 휘도에서의 변화는 슬라이스의 끝을 지나서 전파하지 않는, 차 슬라이스를 구축하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  16. 삭제
  17. 제 15항에 있어서,
    슬라이스의 개시 시, 차 슬라이스를 초기화하는 단계, 및
    블록들에 대한 휘도 변화의 추정을 결정하는 단계 이후에, 차 슬라이스를 업데이트하는 단계를
    포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  18. 제 17항에 있어서, 움직임 벡터 변화를 기초에 기초하여 휘도 변화의 추정을 결정하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  19. 제 17항에 있어서, 특정 타겟 블록에 인접한 이웃 블록들에서의 경계 픽셀에서 휘도 변화를 사용한 현재 블록의 휘도 변화를 인트라-예측하는 것에 기초하여, 휘도 변화의 추정을 결정하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  20. 제 5항에 있어서, 인터-예측된 추정은 움직임 보상된 예측 함수, 상기 워터마크 적용 이전 및 이후의 움직임 벡터들, 및 상기 블록과 연관된 임의의 예측 가중치들의 함수인, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  21. 제 20항에 있어서, 워터마크는 단 하나의 움직임 벡터만을 수정(modify)하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  22. 제 20항에 있어서, 인트라-예측된 추정은 적어도 하나의 이웃 블록의 휘도 변화 및 인트라-예측 모드의 함수인, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  23. 제 22항에 있어서,
    수락하는 단계 이전에, 선택된 워터마크에 대한 전파 맵을 구축하는 단계로서, 전파 맵은 워터마크 적용의 결과로서, 상기 휘도 추정에서의 일부 변화를 갖는 모든 블록들을 포함하는, 전파 맵을 구축하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  24. 제 23항에 있어서, 전파 맵은 인터-예측된 블록에 대한 기준 프레임 번호, 원래의 움직임 벡터, 및 새로운 움직임 벡터를 상기 맵에 저장하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  25. 제 23항에 있어서, 전파 맵은 인터-예측된 블록에 대한 기준 이웃 블록 번호 및 예측 모드를 상기 맵에 저장하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  26. 제 1항에 있어서, 블록의 휘도 변화의 추정된 값은 블록 내의 각 픽셀에 대한 추정된 휘도 변화의 절대값들의 합(sum)인, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  27. 제 1항에 있어서, 블록의 휘도 변화의 추정된 값은 블록 내의 각 픽셀에 대한 추정된 휘도 변화의 최대 절대값인, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  28. 제 23항에 있어서, 상기 휘도에서의 변화들에 반응하는 워터마크 검출에 대한 검출 기준 값을 생성하는 단계를 더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  29. 제 23항에 있어서, 리스트로부터의 수락된 워터마크 중 하나를 비디오 이미지에 내장하는 단계를 더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  30. 제 23항에 있어서, 전파 맵 구축은 비디오 디코더에서 통합되는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  31. 제 30항에 있어서, 휘도 계산은 비디오 디코더를 통해 통합되는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  32. 제 30항에 있어서, 휘도 추정은 프레임의 각 슬라이스의 시작 시에 재설정(reset)되는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
  33. 제 1항에 있어서, 수락하거나 거부하는 단계는
    충실도 기준(fidelity criterion)으로서 추정된 휘도 변화를 사용하는 단계,
    인지할 수 있는 변화 또는 인지할 수 없는 변화로서 상기 충실도 기준에 기초하여 워터마크를 평가하는 단계,
    인지할 수 없는 변화를 초래하는 워터마크들을 수락하는 단계, 및
    인지할 수 있는 변화를 초래하는 워터마크들을 거부하는 단계를
    더 포함하는, 내장을 위해 수락 가능한 워터마크를 선택하는 방법.
KR1020117003682A 2008-08-19 2009-08-18 휘도 평가 KR101633443B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18936308P 2008-08-19 2008-08-19
US61/189,363 2008-08-19

Publications (2)

Publication Number Publication Date
KR20110059593A KR20110059593A (ko) 2011-06-02
KR101633443B1 true KR101633443B1 (ko) 2016-06-24

Family

ID=41707383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117003682A KR101633443B1 (ko) 2008-08-19 2009-08-18 휘도 평가

Country Status (7)

Country Link
US (1) US8948443B2 (ko)
EP (1) EP2321966B1 (ko)
JP (1) JP5639056B2 (ko)
KR (1) KR101633443B1 (ko)
CN (1) CN102187673B (ko)
BR (1) BRPI0917200B1 (ko)
WO (1) WO2010021691A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101611375B1 (ko) * 2008-08-19 2016-04-11 톰슨 라이센싱 압축된 비디오에서 구문 요소의 ｃａｂａｃ/ａｖｃ 준수 워터마킹
BRPI0917200B1 (pt) * 2008-08-19 2021-06-29 Contentarmor Método de seleção e incorporação de marcas d'água para aplicação em dados de vídeo
US8594366B2 (en) * 2008-08-19 2013-11-26 Thomson Licensing Context-based adaptive binary arithmetic coding (CABAC) video stream compliance
US9042455B2 (en) * 2008-08-19 2015-05-26 Thomson Licensing Propagation map
JP2012500567A (ja) 2008-08-20 2012-01-05 トムソン ライセンシング 圧縮ビデオの透かし処理用の透かしの選択
US8867854B2 (en) 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
KR101356448B1 (ko) * 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
BR112012019745B1 (pt) 2010-02-09 2020-11-10 Contentarmor Método de detecção de marca dágua utilizando um mapa de propagação
KR101503269B1 (ko) 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US9076220B2 (en) 2010-04-29 2015-07-07 Thomson Licensing Method of processing an image based on the determination of blockiness level
US9948938B2 (en) 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
JP6191296B2 (ja) * 2013-07-16 2017-09-06 富士通株式会社 動画像処理装置、動画像処理方法及びプログラム
EP2960854A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and device for determining a set of modifiable elements in a group of pictures
CN109462763B (zh) * 2018-10-25 2021-04-06 深圳北斗应用技术研究院有限公司 一种视频水印处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053687A (ja) * 2005-08-19 2007-03-01 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み方法及び装置及びプログラム
US20070242862A1 (en) 2002-07-09 2007-10-18 Kaleidescape, Inc. Watermarking and fingerprinting digital content using alternative blocks to embed information

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
BR9608410A (pt) 1995-06-06 1998-12-29 Globalstar Lp Sistema de administração de recursos de diversidade de satélites repetidores
GB2308042B (en) * 1995-12-05 2000-02-16 Motorola Ltd Radio communication system
US6009176A (en) 1997-02-13 1999-12-28 International Business Machines Corporation How to sign digital streams
JP3696723B2 (ja) 1997-09-02 2005-09-21 ソニー株式会社 画像データ処理装置及び方法
US6373960B1 (en) * 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
JPH11331622A (ja) 1998-05-08 1999-11-30 Fuji Photo Film Co Ltd 画像データ構成方法および装置、画像データ変換方法および装置並びに画像データ変換システム
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
JPH11341450A (ja) 1998-05-26 1999-12-10 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置および電子透かし抽出装置
JP3156667B2 (ja) 1998-06-01 2001-04-16 日本電気株式会社 電子透かし挿入システム、電子透かし特性表作成装置
JP2001119557A (ja) 1999-10-19 2001-04-27 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置および方法
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
US6687384B1 (en) 2000-03-27 2004-02-03 Sarnoff Corporation Method and apparatus for embedding data in encoded digital bitstreams
US7346776B2 (en) 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
US7113612B2 (en) * 2001-03-22 2006-09-26 Victor Company Of Japan, Ltd. Apparatus for embedding and reproducing watermark into and from contents data
US20030070075A1 (en) 2001-10-04 2003-04-10 Frederic Deguillaume Secure hybrid robust watermarking resistant against tampering and copy-attack
JP4276395B2 (ja) 2001-10-19 2009-06-10 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
JP4079620B2 (ja) 2001-10-30 2008-04-23 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム
JP3854502B2 (ja) 2001-12-12 2006-12-06 興和株式会社 電子透かしの埋め込み方法および抽出方法
JP4107851B2 (ja) 2002-02-13 2008-06-25 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
AU2003240828A1 (en) 2002-05-29 2003-12-19 Pixonics, Inc. Video interpolation coding
CN101043626B (zh) 2002-07-15 2010-06-09 株式会社日立制作所 动态图像编码方法
US7509553B2 (en) 2002-11-04 2009-03-24 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product
JP4024153B2 (ja) 2003-01-10 2007-12-19 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
WO2004066206A1 (en) 2003-01-23 2004-08-05 Koninklijke Philips Electronics N.V. Embedding multiple watermarks
FR2853792A1 (fr) * 2003-04-11 2004-10-15 France Telecom Procede de tatouage d'une sequence video a selection adaptative de la zone d'insertion du tatouage, procede de detection, dispositifs, support de donnees et programmes d'ordinateur correspondants
BRPI0411667A (pt) * 2003-06-25 2006-08-08 Thomson Licensing método e aparelho de decodificação para detecção de marcas d'água em um fluxo de bits de vìdeo compactado
US6894628B2 (en) 2003-07-17 2005-05-17 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and methods for entropy-encoding or entropy-decoding using an initialization of context variables
US6900748B2 (en) 2003-07-17 2005-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for binarization and arithmetic coding of a data value
US7188254B2 (en) 2003-08-20 2007-03-06 Microsoft Corporation Peer-to-peer authorization method
EP1515506A1 (en) 2003-09-09 2005-03-16 Alcatel A method of establishing a data packet communication session between a terminal arrangements of a data packet network and an exchange therefore
US7646881B2 (en) * 2003-09-29 2010-01-12 Alcatel-Lucent Usa Inc. Watermarking scheme for digital video
US7286710B2 (en) 2003-10-01 2007-10-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding of a syntax element contained in a pre-coded video signal
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US7693330B2 (en) * 2004-03-15 2010-04-06 Vincent So Anti-piracy image display methods and systems with sub-frame intensity compensation
KR100647948B1 (ko) 2004-03-22 2006-11-17 엘지전자 주식회사 적응적 인트라 매크로 블록 리프레쉬 방법
US7706663B2 (en) 2004-10-12 2010-04-27 Cyberlink Corp. Apparatus and method for embedding content information in a video bit stream
GB2421134A (en) * 2004-12-09 2006-06-14 Sony Uk Ltd Detection of payload data from a watermarked image by calculation of payload probability values
JP2006287364A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 信号出力装置及び信号出力方法
JP4498970B2 (ja) 2005-04-15 2010-07-07 三菱電機株式会社 符号化データの変更装置、変更方法及び変更プログラム
US7630512B2 (en) 2005-05-26 2009-12-08 Alcatel-Lucent Usa Inc. Method for performing recoverable video and image watermarking which survives block-based video and image compression
US20080165849A1 (en) 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
BRPI0611672A2 (pt) 2005-07-22 2009-01-13 Mitsubishi Electric Corp codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
US7778261B2 (en) 2005-11-15 2010-08-17 ArcSoft (Shanghai) Technology Using PSTN to communicate IP address for point-to-point text, voice, video, or data communication
JP2009518945A (ja) 2005-12-05 2009-05-07 トムソン ライセンシング ウォーターマークエンコードコンテンツ
JP4580898B2 (ja) 2006-06-05 2010-11-17 株式会社東芝 電子透かし埋め込み装置
WO2007143876A1 (en) * 2006-06-09 2007-12-21 Thomson Licensing Method and apparatus for adaptively determining a bit budget for encoding video pictures
US8401535B2 (en) 2006-06-19 2013-03-19 Samsung Electronics Co., Ltd. System, a method, and an apparatus for sharing an updated content with peers
EP2091257B1 (en) 2006-11-30 2017-12-27 Panasonic Corporation Coder
US9299120B2 (en) 2007-03-23 2016-03-29 Thomson Licensing Llc Modifying a coded bitstream
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
CN101681499B (zh) * 2007-06-14 2013-04-24 汤姆逊许可证公司 修改经编码的比特流
US8229159B2 (en) * 2007-09-28 2012-07-24 Dolby Laboratories Licensing Corporation Multimedia coding and decoding with additional information capability
EP2310983A4 (en) 2008-07-03 2011-12-21 Verimatrix Inc EFFECTIVE APPROACHES OF DIGITAL TATTOO OF COMPRESSED MEDIA
BRPI0917200B1 (pt) * 2008-08-19 2021-06-29 Contentarmor Método de seleção e incorporação de marcas d'água para aplicação em dados de vídeo
US9042455B2 (en) * 2008-08-19 2015-05-26 Thomson Licensing Propagation map
JP2012500567A (ja) * 2008-08-20 2012-01-05 トムソン ライセンシング 圧縮ビデオの透かし処理用の透かしの選択
EP2866448B1 (en) * 2010-07-30 2016-03-30 Deutsche Telekom AG Method and apparatus for temporally synchronizing the input bit stream of a video decoder with the processed video sequence decoded by the video decoder
GB2495469B (en) * 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242862A1 (en) 2002-07-09 2007-10-18 Kaleidescape, Inc. Watermarking and fingerprinting digital content using alternative blocks to embed information
JP2007053687A (ja) * 2005-08-19 2007-03-01 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み方法及び装置及びプログラム

Also Published As

Publication number Publication date
BRPI0917200A2 (pt) 2015-11-10
EP2321966A1 (en) 2011-05-18
EP2321966B1 (en) 2020-10-07
EP2321966A4 (en) 2011-08-31
KR20110059593A (ko) 2011-06-02
US20110222723A1 (en) 2011-09-15
US8948443B2 (en) 2015-02-03
BRPI0917200B1 (pt) 2021-06-29
WO2010021691A1 (en) 2010-02-25
JP2012500566A (ja) 2012-01-05
CN102187673B (zh) 2014-07-30
JP5639056B2 (ja) 2014-12-10
CN102187673A (zh) 2011-09-14

Similar Documents

Publication Publication Date Title
KR101633443B1 (ko) 휘도 평가
EP2318919B1 (en) A propagation map for watermarking
RU2688252C1 (ru) Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
KR101952726B1 (ko) 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 복호 장치, 및 화상 예측 복호 방법
EP1993292B1 (en) Dynamic image encoding method and device and program using the same
JP5437807B2 (ja) 動画像符号化装置および動画像復号装置
TWI517678B (zh) Image predictive coding apparatus, image predictive coding method, image predictive coding program, image predictive decoding apparatus, image predictive decoding method, and image predictive decoding program
JP2007300676A (ja) デジタル画像をフィルタリングする方法およびフィルタリング装置
WO2010076856A1 (ja) 動画像符号化方法及び動画像復号化方法
US9607349B2 (en) Method and device for determining a set of modifiable elements in a group of pictures
JP4762938B2 (ja) データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
KR20110055662A (ko) 워터마킹의 블록 현상 및 충실도
US20100158111A1 (en) Method for insertion of data, method for reading of inserted data
KR20070026360A (ko) 비디오 정보를 압축／압축해제하기 위한 방법
JP5080304B2 (ja) 秘匿データが挿入された画像データの表示方式
WO2011142221A1 (ja) 符号化装置、および、復号装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant