KR20130036773A - 비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템 - Google Patents
비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20130036773A KR20130036773A KR1020137005585A KR20137005585A KR20130036773A KR 20130036773 A KR20130036773 A KR 20130036773A KR 1020137005585 A KR1020137005585 A KR 1020137005585A KR 20137005585 A KR20137005585 A KR 20137005585A KR 20130036773 A KR20130036773 A KR 20130036773A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- frame
- fade
- gains
- weighted prediction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Of Color Television Signals (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
조도 보상 파라미터들을 유도하는 것 및 비디오 코딩 및 처리 애플리케이션에 대한 조명의 주된 전환들의 유형들의 검출이 개시된다. 페이드-인들, 페이드-아웃들, 및 플래시들과 같은 조도 변화들이 검출된다. 이들 조도 변화들의 검출은 이 후 개선된 조도 보상을 제공하기 위하여 가중된 예측을 위해 사용된다.
Description
본 출원은 모든 목적들을 위해 전체로 참조로서 여기에 통합된 2010년 9월 3일에 출원된 미국 가특허 출원 제 61/380,111 호에 대한 우선권을 주장한다.
본 발명은 일반적으로 이미지 프로세싱에 관한 것이다. 특히, 본 발명의 실시예는 조도 보상 파라미터들을 유도하고 비디오 코딩 및 프로세싱을 위한 조도 우위 전환 형태들을 검출하는 것에 관한 것이다.
비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환들은 종종 압축 또는 프로세싱 동작, 객체 또는 그의 부분의 출현 또는 사라짐, 또는 이전에 코딩되거나, 처리된 함께 렌더링할 수 있는 새로운 장면의 출현을 경험한 이전 픽처 또는 예측 기준으로서 사용하기에 덜 적합한 원래의 픽처를 참조하여 새로운 픽처에서 어떤 몇몇 움직임을 특징으로 한다. 이들 이벤트들의 대부분은 움직임 보상(예측간 특정 경우) 및 프레임내 예측을 사용하여 모델링될 수 있다. 움직임 보상은 하나 이상의 이전 코딩된 픽처들에서 샘플들을 사용하여 현재의 픽처에서 샘플들을 예측하기 위해 사용된다. 특히, 블록 기반 움직임 보상에서, 현재 픽처의 샘플들의 블록은 몇몇 이미 디코딩된 기준 픽처로부터의 샘플들의 블록으로부터 예측된다. 후자는 예측 블록으로서 공지된다. 예측 블록은 몇몇 이전 코딩된 픽처에 배치된 블록만큼 간단할 수 있고, 이는 모두 제로들의 움직임 벡터에 대응한다. 그러나, 움직임을 설명하기 위해, 예측한 블록에 가깝게 매칭하는 몇몇의 다른 변위된 블록을 사용하도록 디코더에 지시하는 움직임 벡터가 전송된다. 상기 움직임 모델은 변환만큼 간단할 수 있고, 여기서 상기 움직임 파라미터들은 수평 및 수직 변위 움직임 벡터로 구성되고, 또는 6 또는 8 움직임 파라미터들을 요청하는 어파인(affine) 또는 퍼스펙티브(perspective) 움직임 모델들만큼 복잡할 수 있다. 더 복잡한 움직임 보상 방식들은 또한 상이한 움직임 파라미터들에 대응하는 다수의 블록들의 조합들인 예측 블록들을 산출할 수 있다. 그러나, 비디오 신호들은 또한 움직임 보상(예측간) 또는 예측내에 의해 효율적으로 모델링될 수 없는 전역적 또는 국부적 조도 변경들을 포함할 수 있다. 이들 조도 변경들은 일반적으로 페이드들, 교차-페이드들, 플래시들, 및 다른 국부적인 조도 변경들로서 인지되고, 이는 예를 들면, 다수의 광원들의 존재에 의해 일어날 수 있다. 가중된 예측(WP), 예를 들면, 조도 보상은 페이드들, 교차-페이드들, 플래시들, 및 다른 국부적인 조도 변경들에 대한 예측 효율성에 이로울 수 있다. 가중된 예측은 컬러 성분 샘플들, 예를 들면, 루마(luma) 및/또는 크로마(chroma) 샘플들을 이득으로 가중하는(멀티플라잉하는) 것으로 구성되고, 이는 추가의 오프셋을 추가함으로써 또한 증가된다. 본 명세서 내에서, 컬러 파라미터들 또는 컬러 성분들은 컬러 도메인 또는 공간을 포함하는 개별적인 성분들을 말하는 것으로 사용될 수 있다는 것을 주의해야 한다. 몇몇 도메인들 또는 공간들에서, 컬러 성분들은 강도 관련 성분들 및 컬러 관련 성분들을 포함할 수 있다는 것을 또한 주의해야 한다. 강도 관련 성분들은 하나 이상의 루마 값 또는 휘도 값을 포함할 수 있고 컬러 관련 성분들은 하나 이상의 크로마 값 또는 색차 값을 포함할 수 있다. H.264/AVC와 같은 최신 코덱들은 많은 가능한 컬러 공간들/도메인들 중 하나일 수 있는 샘플들의 가중된 예측을 지원한다. 가중된 예측은 그중에서도 특히 센서 노이즈, 압축 또는 다른 아티팩트들, 및 일시적인 플리커/불일치(inconsistency)들을 감소시키기 위해 사용될 수 있는 일시적인 필터링전 및 필터링 후에 또한 유용하다. 실제로, 조도 변경을 책임지는 이미지 프로세싱 동작들은 이미지를 압축하거나 처리하기 위해 사용되는 도메인, 예를 들면, YCbCr 도메인에서 반드시 시작할 필요가 없을 수 있다. 실험적인 발견들에 의해 지지되는 직관은 이들 동작들이 일반적으로 몇몇 다른 도메인, 일반적으로 sRGB 도메인에서 행해지고(sRGB는 PCs 및 디지털 카메라들에 대해 널리 사용되는 RGB 컬러 공간이다.), 이는 또한 컬러 정보의 인간의 지각 표기에 더 근접하다. 상기 RGB 컬러 공간으로 및 상기 RGB 컬러 공간으로부터의 다수의 가능한 YCbCr 변환식들이 있다는 것을 주의하자. 또한, RGB 값들의 문제는 생성된 조도 변경들이 고려되어야 하는 동작들 전 또는 후에 보정된 감마를 갖는다. 처리에 의해 생성된 조도 변경들(주로 페이드들 및 교차-페이드들)과 관계없이, 그 중에서도 플래시라이트들 및 광 픽스처들(light fixtures)로부터 조도를 변경하고, 및 자연광을 시프팅하는, 전역적인 또는 국부적인 플래시들과 같은, 콘텐트의 일부인 조도 변경들이 또한 있다.
샘플 p로부터 s= w×p+f로서 샘플 s의 조도 보상을 위해 사용되는 가중된 예측 파라미터들, 예를 들면, 이득 w 및 오프셋 f은, 몇몇 종류의 가중된 예측 파라미터 탐색/추정(WP 검색)을 통해 유도된다. 그의 가장 간단한 및 최고의 복잡성 형태에서, 하나는 몇몇 포함된 검색 윈도내 이득들 및 오프셋들의 모든 가능한 조합들을 고려하는 브루트 포스(brute force) 검색 방식을 사용할 수 있고, 상기 브루트 포스와 유사하게는, 움직임 추정을 위해 채용되고, 소스 신호들과 비교하여 조도 보상된 기준 신호들의 왜곡/유사성을 계산하고, 최소 왜곡이 생성되는 조도 보상 파라미터들을 선택하는 풀 검색 방식을 사용할 수 있다. 움직임 추정 및 보상은 또한 이러한 검색 동안 고려될 수 있다. 그러나, 완전한 검색은 계산적으로 집약적이다. 몇몇의 주어진 블록, 구역, 또는 전체 프레임(전역적인 조도 보상을 위해)에 대한 "최적의" 이득 및 오프셋을 추정하는 다양한 가중된 파라미터 추정 기술들이 제안되었다. 예를 들면, 페이드-인/아웃, 카메라-조리개 조정, 플리커, 조도 변경 등에 의해 발생된 전역적인 밝기 변동들을 포함하는 비디오 장면들에 대한 코딩 효율성을 개선하기 위한 전역적인 밝기-변동 보상 방식이 설명된, 1998년 12월 8일, IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no. 8, pp. 988-1000의 K. Kamikura 외에 의한 "비디오 코딩을 위한 전역적인 밝기-변동 보상"을 참조하자. 2002년 3월, Joint Video Team of ISO/IEC MPEG 및 ITU-T VCEG,JVT-C103의 Y.Kikuchi 및 T.Chujoh에 의한 "Interpolation coefficient adaptation in multi-frame interpolative prediction" 및 2004년 10월 Proc.IEEE 6th Workshop on Multimedia Signal Proc., Siena, Italy, H. Kato 및 Y. Nakajima에 의한 "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction"를 또한 참조하자.
상기에 논의된 참조들에 설명된 바와 같은 방법들은 최선의 가능한 결과들에 대한 모든 컬러 성분들에 개별적으로 적용되어야 한다. 가중 파라미터 탐색은 움직임 추정 및 보상으로부터 또한 이익이 될 수 있다. 예를 들면, Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, 2004년 5월, vol. 3, pp. 789-792, J. M. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard"를 참조하자. H.264/AVC 표준에서, 샘플들의 움직임 보상은 최종 예측된 샘플들을 산출하기 위해 가중된 예측의 애플리케이션으로 후속된다. 따라서, WP 검색 동안, 움직임 벡터들과 가중된 파라미터들 사이에 상호의존성이 있다. 이는 다음과 같은 다수의 반복들을 수행함으로써 처리될 수 있다: 가중 파라미터들은 몇몇 간단한 알고리즘으로 초기화되고 기준 프레임을 스케일링하고 오프셋하기 위해 사용된다. 스케일링된 오프셋 기준 프레임은 이후 움직임 벡터들을 산출하는 움직임 추정에 사용된다. 대안적으로, 상기 샘플들의 스케일링 및 오프셋팅은 움직임 추정 단계에서 통합될 수 있다. 이러한 실행에서, 스케일 및 오프셋은 작동중에 고려되고 가중 기준을 생성하는 개별적인 단계에 대한 필요가 없다. 제 2 반복에서, 이들 움직임 벡터들은 각각의 MB에 대해 실제의 예측 기준 블록이 WP 파라미터들을 도출하기 위해 사용되도록 WP 검색 동안 사용된다. 이후, 이는 이미 유도된 스케일 및 오프셋을 고려하는 움직임 추정 또는 단일 움직임 추정 단계를 겪은 스케일된 오프셋 기준 프레임의 생성으로 후속된다. 일반적으로, 이들 알고리즘들은 WP 파라미터들이 수렴하는 경우 종료한다.
상기에 표시된 바와 같이, 조도 보상을 처리하기 위한 기술에서 공지된 방법들은 계산적으로 집약적이고, 원하는 성능을 제공하기 위해 영상 디스플레이에 대한 감소된 성능 또는 증가된 하드웨어 비용을 초래한다. 용어들 프레임 및 픽처가 교환가능하게 사용될 수 있음에도 불구하고, 이러한 교환가능 사용은 필드 픽처들(field pictures)과 같은 인터레이스-스캔 콘텐트를 배제하는 것으로 해석되지 않아야 한다는 것을 주의하자. 본 명세서의 교시들은 인터레이스 스캔된 필드(탑 또는 보텀) 픽처들뿐만 아니라 점진적으로 스캔된 프레임들 모두에 적용가능하다.
본 발명의 목적은 비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템을 제공하는 것이다.
아래에 기술된 예들에서 제공되는 바와 같이, 본 발명의 일 실시예는, 비디오 신호의 하나의 픽처로부터 다음 픽처로의 전환시에 페이드의 검출 및 이러한 페이드의 전역적인 또는 국부적인 성질의 결정을 위한 방법이고, 이 방법은, 하나의 픽처의 복수의 프레임들 및 관련 예측 기준 프레임들을 제공하는 단계; 각 프레임 및 관련된 예측 기준 프레임에 대해, 제 1 컬러 도메인에서 하나 이상의 강도 관련 값들과 하나 이상의 컬러 관련 성분 값들을 계산하는 단계; 각 프레임 및 관련 예측 기준 프레임에 대해, 상기 제 1 컬러 도메인에서 각 컬러 성분 값에 대한 가중된 예측 이득들을 계산하는 단계; 상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사하다면, 제로 오프셋을 갖는 전역 전환이 제 2 컬러 도메인에서 기본적으로 발생한다고 결정하는 단계; 및 상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사하다면, 전역 페이딩 전환, 제로 오프셋을 갖는 전역 페이딩, 또는 상기 제 2 컬러 도메인에서 제로 오프셋을 갖는 전역 페이딩 중 적어도 하나가 발생하지 않는 것으로 결정하는 단계를 포함한다.
아래에 기술된 예들에서 추가로 제공되는 바와 같이, 본 발명의 다른 실시예는, 비디오 신호의 하나의 픽처으로부터 다음의 픽처로의 전환시에 페이드 검출 및 이러한 페이드의 전역적인 또는 국부적인 성질의 결정을 위한 방법이고, 이 방법은: 하나의 픽처의 복수의 프레임들 및 관련 예측 기준 프레임들을 제공하는 단계; 각 프레임 및 관련된 예측 기준 프레임에 대해, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계; 각 프레임 및 관련 예측 기준 프레임에 대해, 강도 관련 가중된 예측 파라미터들을 계산하는 단계; 각 프레임 및 관련 예측 기준 프레임에 대해, 컴퓨팅된(예, 계산된) 강도 관련 및 컬러 관련 값들로부터 및 컴퓨팅된 강도 관련 가중된 예측 파라미터들로부터 가중된 예측 이득들을 계산하는 단계; 상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사하다면, 제로 오프셋을 갖는 전역 전환이 제 2 컬러 도메인에서 기본적으로 발생한다고 결정하는 단계; 및 상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사하다면, 국부적인 전환이 발생하는지를 검사하는 단계;를 포함한다.
본 발명의 또 다른 실시예는, 비디오 신호의 하나의 픽처로부터 다음 픽처로의 전환시에 페이드의 전역적인 또는 국부적인 성질의 결정을 위한 방법이고, 이 방법은: 픽처의 복수의 프레임들 및 관련 예측 기준 프레임들을 제공하는 단계; 각 프레임 및 관련된 예측 기준 프레임에 대해, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 컴퓨팅(예, 계산)하는 단계; 각 프레임 및 관련 예측 기준 프레임에 대해, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들 각각에 대해 가중된 예측 이득들을 계산하는 단계; 각 프레임 및 관련 예측 기준 프레임에 대해, 가중된 예측 이득들을 서로 비교하는 단계; 상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사하다면, 페이드가 전역적이라고 결정하는 단계; 및 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사하다면, 페이드가 국부적이라고 결정하는 단계를 포함한다.
본 발명의 또 다른 실시예는, 이미지 전환이 발생할 때 컬러 공간 변환과 제 1 컬러 성분 가중된 예측 파라미터들에 관한 정보로부터 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법이고, 이 방법은: 제 1 컬러 성분 가중된 예측 이득과 오프셋을 계산하는 단계; 및 계산된 제 1 컬러 성분이 가중된 예측 이득과 오프셋의 값들에 기초하여, 컬러 변환 오프셋들, 컬러 변환 매트릭스의 계수들, 및 제 1 컬러 성분 가중된 예측 이득 및 오프셋의 함수들로서 제 2 및 제 3 컬러 성분 가중된 예측 이득들 및 오프셋들을 계산하는 단계를 포함한다.
다른 실시예는, 이미지 플래시가 발생할 때 컬러 공간 변환에 관한 정보와 강도 관련 파라미터들로부터 컬러 관련 파라미터들을 계산하는 방법이고, 이 방법은: 강도 관련 이득 및 오프셋을 계산하는 단계; 강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아니면, 컬러 관련 이득들을 강도 관련 이득과 동일하게 설정하고, 컬러 포맷 변환 오프셋들, 강도 관련 이득, 강도 관련 오프셋, 및 컬러 변환 매트릭스의 계수들의 함수들로서 컬러 관련 오프셋들을 계산하는 단계; 강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이라면, 컬러 관련 이득들을 강도 관련 이득과 동일하게 설정하고, 컬러 포맷 변환 오프셋들, 강도 관련 이득, 및 컬러 변환 매트릭스의 계수들의 함수들로서 컬러 관련 오프셋들을 계산하는 단계; 및 강도 관련 이득이 1이거나 1에 근접하면, 컬러 관련 이득들을 1로 설정하고, 강도 관련 오프셋 및 컬러 변환 매트릭스의 계수들의 함수들로서 컬러 관련 오프셋들을 계산하는 단계를 포함한다.
또 다른 실시예는, 비디오 신호의 하나의 장면으로부터 다음 장면으로의 전환시에 페이드의 검출을 위한 방법이고, 이 방법은: 단계 A : 비디오 신호로부터 복수의 프레임들을 제공하는 단계; 단계 B : 복수의 프레임들 중 현재 프레임을 선택하는 단계; 단계 C : 현재 프레임에 선행하는 프레임들 및 현재 프레임에 뒤따르는 프레임들 중 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 현재 프레임의 하나 이상의 컬러 공간 성분들에 대한 한 세트의 속성들을 계산하는 단계; 단계 D : 선행 프레임에 선행하는 프레임들 및 현재 프레임에 후속하는 프레임들 중 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 현재 프레임에 선행하는 선행 프레임의 하나 이상의 컬러 공간 성분들에 대한 한 세트의 특성들을 계산하는 단계; 및 단계 E : 현재 프레임이 증가 또는 감소하는 프레임 값을 갖는 페이드의 마지막 프레임인지의 여부, 또는 현재 프레임에 선행하는 프레임이 증가 또는 감소하는 프레임 값을 갖는 페이드의 시작 프레임인지를 결정하기 위하여, 현재 프레임의 하나 이상의 컬러 공간 파라미터들에 대한 파라미터 속성들의 세트를 선행 프레임의 하나 이상의 컬러 공간 파라미터들에 대한 파라미터 속성들의 세트와 비교하는 단계를 포함한다.
또 다른 실시예는 교차 페이드 검출을 위한 방법이고, 이 방법은, 비디오 시퀀스의 복수의 프레임들 및 관련된 양방향 예측 기준 프레임들을 제공하는 단계; 현재 프레임 및 관련된 양방향 예측 기준 프레임들의 제 1 컬러 도메인의 컬러 공간 성분들에 대해 계산된 평균 이득들과 현재 프레임 및 관련된 양방향 예측 기준 프레임들의 제 2 컬러 도메인의 컬러 공간 성분들에 대해 계산된 평균 이득들에 기초하여, 교차 페이드가 존재하는지를 결정하는 단계를 포함한다.
또 다른 실시예는 페이드 조건들이 존재할 때 가중된 파라미터 결정을 위한 방법이고, 이 방법은, 단계 A : 한 픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계; 단계 B : 컬러 성분을 선택하는 단계; 단계 C : 각 프레임 및 관련된 예측 기준 프레임에 대해, 그 프레임 및 그 관련된 예측 기준 프레임 내에서 선택된 컬러 성분에 대해 포화된 구획들을 결정하는 단계; 단계 D : 각 프레임 및 관련된 예측 기준 프레임에 대해, 양 프레임들이 선택된 컬러 성분에 대해 포화된 값을 갖는 큰 영역들을 공유하는지를 결정하고, 포화된 값을 갖는 공유된 큰 영역들이 존재하지 않으면, 단계 H로 진행하는 단계; 단계 E : 각 프레임 및 관련된 예측 기준 프레임에 대해, 그 프레임 및 그 관련된 예측 기준 프레임 내에서 포화되지 않은 구획들을 결정하는 단계; 단계 F : 각 프레임 및 관련된 예측 기준 프레임에 대해, 양 프레임들이 선택된 컬러 성분에 대해 포화되지 않은 값들을 갖는 큰 영역들을 공유하는지를 결정하고, 포화되지 않은 값들을 갖는 공유된 큰 영역들이 존재하지 않으면, 단계 H로 진행하는 단계; 단계 G : 각 프레임 및 관련된 예측 프레임에 대해, 공유되고 선택적으로는 동일한 픽셀 계수값으로 정규화된, 포화되지 않은 값들을 갖는 큰 영역들에 기초하여, 가중된 예측 이득들 및 인자들을 계산하는 단계; 단계 H : 각 프레임 및 관련된 예측 기준 프레임에 대해, 전체 프레임에 기초하여, 가중된 예측 이득들 및 인자들을 계산하는 단계를 포함한다.
또 다른 실시예는 페이드 조건들이 존재할 때 가중된 파라미터 결정을 위한 방법이고, 이 방법은: 단계 A : 한 픽처의 복수의 프레임들 및 컬러 샘플 데이터를 포함하는 관련된 예측 기준 프레임들을 제공하는 단계; 단계 B : 컬러 성분을 선택하는 단계; 단계 C : 각 프레임에 대해, 컬러 샘플 데이터에 대해 선택된 컬러 도메인에 기초하여, 선택된 컬러 성분에 대한 현재의 가장 낮은 포화 값 및 현재의 가장 높은 포화 값을 설정하는 단계; 단계 D : 각 관련된 예측 기준 프레임에 대해, 컬러 샘플 데이터에 대해 선택된 컬러 도메인에 기초하여, 선택된 컬러 성분에 대한 현재 기준의 가장 낮은 포화 값 및 현재 기준의 가장 높은 포화 값을 설정하는 단계; 단계 E : 각 프레임 및 관련된 예측 기준 프레임에 대해, 현재의 가장 낮은 포화 값, 현재의 가장 높은 포화 값, 현재 기준의 가장 낮은 포화 값 및 현재 기준의 가장 높은 포화 값에 기초하여 가중된 예측 파라미터들을 추정하는 단계; 단계 F : 각 관련된 예측 기준 프레임에 대해, 추정된 가중된 예측 파라미터들에 기초하여, 업데이트된 현재 기준의 가장 낮은 포화 값 및 업데이트된 현재 기준의 가장 높은 포화 값을 계산하는 단계; 단계 G : 현재 기준의 가장 낮은 포화 값을 업데이트된 현재 기준의 가장 낮은 포화 값으로 설정하고, 현재 기준의 가장 높은 포화 값을 업데이트된 현재 기준의 가장 높은 포화 값으로 설정하는 단계; 단계 H : 현재의 반복에 대한 가중된 예측 파라미터들이 바로 선행하는 반복에 대한 가중된 예측 파라미터들로부터 선택된 값만큼 상이하다면, 또는 반복들의 수가 선택된 반복 카운트보다 크다면, 연속적인 반복들을 위하여 단계 D 내지 단계 G를 반복하는 단계;를 포함한다.
본 발명의 또 다른 실시예는 비디오 신호의 하나의 픽처로부터 다른 픽처로 페이드 전환시에 가중된 예측 이득들 및 오프셋들을 추정하기 위한 방법이고, 이 방법은: 비디오 신호 내의 픽처들로부터 현재의 프레임 및 관련된 예측 기준 프레임을 제공하는 단계; 각 현재 프레임 및 관련된 예측 기준 프레임에 대해, 컬러 도메인에서 컬러 성분 값들을 계산하는 단계로서, Am 은 현재 프레임에 대한 제 1 컬러 성분을 지정하고, Bm 은 현재 프레임에 대한 제 2 컬러 성분을 지정하고, Cm 은 현재 프레임에 대한 제 3 컬러 성분을 지정하고, Am +1 은 관련된 예측 기준 프레임에 대한 제 1 컬러 성분을 지정하고, Bm +1 은 관련된 예측 기준 프레임에 대한 제 2 컬러 성분을 지정하고, Cm +1 은 관련된 예측 기준 프레임에 대한 제 3 컬러 성분을 지정하는, 상기 컬러 성분 값들을 계산하는 단계; 가중된 예측 이득들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계로서, w 는 모든 컬러 성분들에 대해 동일한 값의 가중된 예측 이득을 지정하는, 가중된 예측 이득들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계; 가중된 예측 오프셋들을 두 개의 컬러 성분들에 대해 서로 동일하게 설정하는 단계로서, fA 는 제 1 컬러 성분에 대한 오프셋을 지정하고, fC 는 두 컬러 성분들에 대해 동일한 값의 가중된 예측 오프셋들을 지정하는, 상기 가중된 예측 오프셋들을 두 개의 컬러 성분들에 대해 동일하게 설정하는 단계; 및 가중된 예측 이득(w)과 가중된 예측 오프셋들(fA 와 fC)에 대한 수학식을 푸는 단계를 포함한다.
본 발명의 또 다른 실시예는 비디오 신호의 하나의 픽처로부터 다른 픽처로 페이드 전환시에 가중된 예측 이득들 및 오프셋들을 추정하기 위한 방법이고, 이 방법은: 비디오 신호 내의 픽처들로부터 현재의 프레임 및 관련된 예측 기준 프레임을 제공하는 단계; 각 현재 프레임 및 관련된 예측 기준 프레임에 대해, 컬러 도메인에서 컬러 성분 값들을 계산하는 단계로서, Am 은 현재 프레임에 대한 제 1 컬러 성분을 지정하고, Bm 은 현재 프레임에 대한 제 2 컬러 성분을 지정하고, Cm 은 현재 프레임에 대한 제 3 컬러 성분을 지정하고, Am +1 은 관련된 예측 기준 프레임에 대한 제 1 컬러 성분을 지정하고, Bm +1 은 관련된 예측 기준 프레임에 대한 제 2 컬러 성분을 지정하고, Cm +1 은 관련된 예측 기준 프레임에 대한 제 3 컬러 성분을 지정하는, 상기 컬러 성분 값들을 계산하는 단계; 가중된 예측 오프셋들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계로서, f는 모든 컬러 성분들에 대해 동일한 값의 가중된 예측 오프셋을 지정하는, 상기 가중된 예측 오프셋들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계; 가중된 예측 이득들을 두 개의 컬러 성분들에 대해 서로 동일하게 설정하는 단계로서, wA 는 제 1 컬러 성분에 대한 오프셋을 지정하고, wC 는 두 컬러 성분들에 대해 동일한 값의 가중된 예측 오프셋들을 지정하는, 상기 가중된 예측 이득들을 두 개의 컬러 성분들에 대해 동일하게 설정하는 단계; 및 가중된 예측 이득들(wA와 wC)과 가중된 예측 오프셋(f)에 대한 수학식을 푸는 단계를 포함한다.
본 발명의 또 다른 실시예는, 가중된 예측 파라미터들을 제 1 컬러 도메인으로부터 제 2 컬러 도메인으로 변환하기 위한 방법으로서, 제 1 컬러 도메인으로부터 제 2 컬러 도메인으로 변환은 비선형인, 상기 가중된 예측 파라미터들을 변환하는 방법이고, 이 방법은: 제 1 컬러 도메인으로부터 제 2 컬러 도메인으로 변환식에 기초하여, 제 2 도메인 내에서 하나 이상의 프레임들에 대한 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계를 포함한다.
본 발명은 비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템을 제공한다.
도 1은 국부적 또는 전역적 조도 변화들의 검출을 위한 알고리즘의 흐름도.
도 2는 페이드들을 위한 컬러 WP 파라미터 추정의 흐름도.
도 3은 이득(wY)가 1이 아니고, 오프셋(fY)가 0이 아닌 경우의 컬러 파라미터 유도 알고리즘의 흐름도.
도 4는 플래시들을 위한 컬러 WP 파라미터들의 유도를 위한 알고리즘의 흐름도.
도 5는 선형 도메인에서 페이드들을 위한 WP 파라미터 유도를 위한 알고리즘의 흐름도.
도 6은 DC값이 프레임(m+2)까지 감소하는 페이드의 마지막의 도면.
도 7은 DC값이 프레임(m+2)까지 증가하는 페이드의 마지막의 도면.
도 8은 DC값이 프레임(m+2)으로부터 증가하는 페이드의 시작의 도면.
도 9은 DC값이 프레임(m+2)으로부터 감소하는 페이드의 마지막의 도면.
도 10은 조도 관계들을 사용하여 페이드 검출을 위한 알고리즘의 흐름도.
도 11은 낮은-복잡도의 교차-페이드 검출기를 위한 알고리즘의 흐름도.
도 12는 흑색으로부터 페이드-인을 갖는 포화된 배경을 갖는 전역 조명의 예를 도시하는 도면.
도 13은 포화된 배경을 갖는 일반 전역 조도 예를 도시하는 도면.
도 14는 라벨이 붙여진 세트들에 기초하여 WP 파라미터 검색을 위한 알고리즘의 흐름도.
도 15는 반복적인 제거를 사용하여 WP 검색을 위한 알고리즘의 흐름도.
도 16은 하이브리드 비디오 디코더의 블록도.
도 2는 페이드들을 위한 컬러 WP 파라미터 추정의 흐름도.
도 3은 이득(wY)가 1이 아니고, 오프셋(fY)가 0이 아닌 경우의 컬러 파라미터 유도 알고리즘의 흐름도.
도 4는 플래시들을 위한 컬러 WP 파라미터들의 유도를 위한 알고리즘의 흐름도.
도 5는 선형 도메인에서 페이드들을 위한 WP 파라미터 유도를 위한 알고리즘의 흐름도.
도 6은 DC값이 프레임(m+2)까지 감소하는 페이드의 마지막의 도면.
도 7은 DC값이 프레임(m+2)까지 증가하는 페이드의 마지막의 도면.
도 8은 DC값이 프레임(m+2)으로부터 증가하는 페이드의 시작의 도면.
도 9은 DC값이 프레임(m+2)으로부터 감소하는 페이드의 마지막의 도면.
도 10은 조도 관계들을 사용하여 페이드 검출을 위한 알고리즘의 흐름도.
도 11은 낮은-복잡도의 교차-페이드 검출기를 위한 알고리즘의 흐름도.
도 12는 흑색으로부터 페이드-인을 갖는 포화된 배경을 갖는 전역 조명의 예를 도시하는 도면.
도 13은 포화된 배경을 갖는 일반 전역 조도 예를 도시하는 도면.
도 14는 라벨이 붙여진 세트들에 기초하여 WP 파라미터 검색을 위한 알고리즘의 흐름도.
도 15는 반복적인 제거를 사용하여 WP 검색을 위한 알고리즘의 흐름도.
도 16은 하이브리드 비디오 디코더의 블록도.
본 명세서의 일부에 통합되고 이를 구성하는 첨부한 도면들은 본 명세서의 원리들 및 실행들을 설명하는 역할을 하는 상세한 설명 및 예들과 함께 본 명세서의 하나 이상의 실시예들을 설명한다.
개요
본 개시사항은 컬러 공간 고려사항들을 통한 조도 보상에 관한 방법들 및 실시예들을 기술한다. 특히, 이들 방법들 및 실시예들은 2-차원 및 3-차원 애플리케이션들 모두를 위한 비디오 인코딩 및 디코딩을 사용하는 디바이스들 및 소프트웨어들에 통합될 수 있는 조도 보상에 관한 것이다. 이러한 디바이스들은 비디오 디스크 시스템들, 무선을 통한(over-the-air) 방송 시스템들, 인터넷 프로토콜 텔레비전(IPTV) 시스템들, 및 다른 이러한 디바이스들을 포함할 수 있다.
비디오 표현을 위해 가장 널리 사용되는 컬러 공간은 RGB 컬러 공간이다. 각 성분은 각 컬러 원색, 이 경우 적색, 녹색 및 청색 원색들의 강도를 나타낸다. RGB 도메인은 컬러 정보를 나타내는 것에 관해 매우 효율적이다. 더욱이, RGB 값들은 디스플레이 또는 그래픽 카드로 전달되기 전에 감마-보정된다. 감마 보정 동작은 아래의 수학식 1에 도시된 바와 같이 일반화될 수 있다.
파라미터(
)는 감마 보정 지수들이고, 반면에 이득들(αR,αG 및 αB)은 콘트라스트를 제어하고, 오프셋들(βR,βG,βB)은 흑색 레벨과 강도를 제어한다. 본 개시사항의 나머지에 대해, αR=αG=αB=1 및 βR=βG=βB=0으로 간주된다. 감마 지수들이 성분마다 다를 수 있지만, 본 개시 사항의 나머지에 대해, 그리고 개념 및 분석을 단순화하기 위하여, 
이다. 그러나, 본 명세서에서 기술된 많은 방법들이 지수들이 다른 경우에도 적용될 수 있음이 이해되어야 한다. 기본적이고, 가장 실제적인 애플리케이션들에 대해, 감마 이득 및 감마 오프셋은 또한 컬러 채널들을 통해 일정한 것으로 간주된다.
RGB 컬러 공간이 컬러 표현 및 디스플레이에 관해 효율적이지만, 컬러 채널들을 통한 상당한 상관관계가 존재할 수 있기 때문에 비디오 압축에 대해서는 일반적으로 효율적이지 않다. 텔레비전 방송 시스템들의 압축 성능을 개선하기 위하여, RGB 신호들을 새로운 컬러-공간으로 역상관시키는 수 가지 변환들이 제안 및 표준화되었는데, 하나의 성분은 휘도 정보를 집중시키고, 간혹 Y(감마-보정되었다면 Y')로 언급되고, 나머지 두 개의 성분들은 대부분의 색차 정보를 유지한다. 이들 변환들은 아날로그 미국 NTSC Y'I'Q' 및 아날로그 유럽 EBU Y'U'V'과 함께 Y'CbCr의 다양한 디지털 플레이버들을 포함한다. 예컨대, A.Ford 와 A.Roberts의 "Color Space Conversions"(http://www.poynton.com/PDFs/coloureq.pdf.에서 취득 가능)를 참조. 아래에서 논의되는 것은 이들 변환들 중 가장 널리 이용되는 형태들 및 이들의 애플리케이션으로부터 발생할 수 있는 문제점들이다. 아래에서 기술된 변환들 및 수학식들은 예시적인 목적으로 제공되었고, 본 발명을 기술된 특별한 변환들 및 수학식들로 제한하는 것으로 해석되지 않아야 한다. 당업자는 다른 변환들 및 수학식들이 본 발명의 범주 내에 드는 것을 이해할 것이다.
표준 선명도(SD)의 해상도로 디지털 TV 픽처들을 코딩하기 위한 국제 표준은 ITU BT.601이다. 아날로그 RGB 공간으로부터 아날로그 YCbCr 공간으로의 변환을 위한 비-선형 코딩 매트릭스들은 아래의 수학식 2에 도시된다.
수학식 2는 0으로부터 1에 이르는 RGB 컬러 채널 표현((E'R,E'G,E'B)∈[0,1])에 대해 유효하고, 값들(E'Y∈[0,1],E'PB∈[-0.5,0.5], 및 E'PR∈[-0.5,0.5])을 취하는 E'Y E'PB E'PR의 '아날로그' 값들을 산출한다. 디지털 컴퓨터들에 있어서, RGB 컬러 성분들은 주로 N 비트, 예컨대 8 비트의 부호 없는 정수 값들로 표현되어, 0으로부터 255까지의 값들을 허용한다. (R',G',B')∈[0,255]이라 하자. 아날로그 E'Y E'PB E'PR 값들의 디지털 Y'CbCr 값들로의 변환(양자화 처리의 핵심)은 아래의 수학식 3에 도시된 변환을 갖는 ITU 및 SMPTE 규격들에 따라 달성될 수 있다.
수학식 2와 수학식 3을 사용하면, Y'CbCr 성분들의 8-비트 표현이 아래의 수학식 4에 도시된 바와 같이 유도된다.
8-비트 디지털 표현에서, RGB 성분들은 0으로부터 255에 이른다. 이러한 다이내믹 레인지는 Y'CbCr 공간으로의 변환을 적용할 때 제한될 수 있다. 아래에 도시된 수학식 5의 변환을 사용하면, 유효 범위들은 Y'∈[16,235],Cb∈[16,240], 및 Cr∈[16,240]이 된다.
수학식 5에 도시된 수식은 수학식 6에 도시된 바와 같이 정수-만의 SIMD 동작들을 통한 신속한 계산을 가능케 하기 위하여 더 단순화될 수 있다.
수학식 5와 수학식 6의 유도는 루마 성분에 대한 16의 오프셋을 사용한다. ITU와 SMPTE에 의해 권고되는 수학식 3과는 별도로, JPEG 그룹의 JFIF 표준은 주로 다이내믹 레인지의 더 큰 슬라이스를 보유하는 것이 바람직한 영상 압축을 위하여, 아날로그-디지털 변환을 위한 대안적인 수학식을 표준화하였다. 이러한 대안적인 수학식은 아래의 수학식 7에 도시된다.
수학식 7에 도시된 변환은 원래의 아날로그 신호의 더 많은 다이내믹 레인지를 보유한다. 더욱이, 루마 값들은 더 이상 16이상이고 236미만으로 제한되지 않는다. 크로마 값들은 또한 더 높은 다이내믹 레인지를 갖는다. 그러나, Y' 값에 대한 오프셋의 부재를 또한 주지해야 한다. 여기에서, 본 발명의 이러한 분석과 방법들을 8 비트들로 샘플링된 컬러 공간 성분들로 제한되지 않아야 함을 주지해야 한다. 더 큰 비트-깊이의 콘텐트는 특히 디지털 시네마와 같은 애플리케이션들을 위해 사용 가능하고, 또한 그래 왔다. 이들 경우들에 있어서, 예컨대 변환들의 오프셋들은 적절한 비트-깊이로 크기 조절된다. 덧붙여, 변환된 컬러 공간이 원래의 컬러 공간과 동일한 다이내믹 레인지를 보유하는 것은 필요하지 않다. 마지막으로, 다이내믹 레인지(또는 비트-깊이)는 성분마다 다를 수 있다.
높은 선명도(HD)의 해상도로 디지털 TV 픽처들을 코딩하기 위한 국제 표준은 ITU BT.709이다. 비-선형 코딩 매트릭스들은 아래의 수학식 8에 도시된다.
수학식 8에 도시된 수식은 0으로부터 1에 이르는 RGB 컬러 채널 표현((E'R,E'G,E'B)∈[0,1])에 대해 유효하고, 값들(E'Y∈[0,1],E'PB∈[-0.5,0.5], 및 E'PR∈[-0.5,0.5])을 취하는 E'Y , E'PB , 및 E'PR의 '아날로그' 값들을 산출한다.
수학식 5를 기본으로 사용하면, RGB-Y'CbCr 변환은 아래의 수학식 9에 도시된 바와 같이 일반화될 수 있다.
상기 표현은 조도 변화들을 모델링하는데 유용하다. 달리 표시되지 않는 한, Y'CbCr과 RGB는 감마-보정된 값들을 언급한다는 점이 주지된다. 그러나 RGB가 동일한 수학식 또는 R'G'B'를 갖는 컨텍스트 내에서 사용될 때, 이전의 개념은 선형 값들을 나타내고, 이후의 개념은 감마-보정된 값들을 나타낸다.
위에서 제공된 RGB-Y'CbCr 변환의 설명을 통해, 본 발명의 일부 실시예들에 의해 다루어지는 조도 변화들이 아래에서 기술된 바와 같이 분류될 수 있다.
페이드-인은 콘텐트가 없는 (주로 빈 또는 단일 컬러의) 프레임으로부터 시작하여, 새로운 장면의 시작으로 종료되는 전역적인 조도 변화이다. 시작 컬러가 흑색, 예컨대 8-비트 ITU BT.601 컬러 공간에 대해 17보다 더 작은 Y'값들 및 128에 근접한 Cb,Cr 값들이면, 흑색으로부터 페이드-인이 존재하고, 시작 프레임 컬러가 백색, 예컨대 8-비트 ITU BT.601 컬러 공간에 대해 234보다 큰 Y'값들 및 128에 근접한 Cb,Cr 값들이면, 백색으로부터 페이드-인이 존재한다. 시작 및 종료 프레임들(에지 프레임들) 사이의 프레임들은 두 개의 에지 프레임들의 선형 조합들로 모델링될 수 있다. 페이드-인들이 단일-방향으로부터 예측될 수 있지만: 밝거나 어두운 시작 프레임에 의존하여, 마지막 프레임에 선행하는 프레임은 마지막 프레임의 더 밝거나 더 어두운 형태가 될 수 있다. 한 세트의 DC가 한 세트의 평균 값을 언급한다고 가정한다. 제 1 프레임이 프레임(n)이고, 마지막 프레임이 프레임(n+N)이라고 가정한다. Y'n이 프레임(n)에 대한 루마 DC를 언급한다고 가정한다. Cbn, Crn, Rn, Gn, 및 Bn이 유사하게 규정된다. 전역적인 조도 변화는 각 컬러 공간 성분(cmp)에 대한 이득(wcmp) 및 오프셋(fcmp)을 갖는 전환으로서 모델링된다. 페이드-인에 대해, 수학식 10 및 수학식 11에 도시된 수식이 사용될 수 있다:
항 k는 k ≥ 1 및 k ≤ -1(임의의 0이 아닌 정수)로 한정된다. 수학식 11에 기초한 페이드-인들에 대한 모델은 아래의 수학식 12에 도시된다.
수학식 12로부터, 단일 이득(w)이 RGB 컬러 공간에서의 변화를 모델링할 수 있다고 간주될 수 있다. 오프셋(f)은 간혹 0인 것으로 간주된다. 수학식 10에서와 같은 페이드-인들의 모델링은 예컨대 H.264 비디오 코딩 표준에서 구현되는 오프셋과 이득을 갖는 가중된 예측에 대응한다. p는 예측 블록에서 샘플을 나타내고, f는 마지막 예측된 값을 나타낸다고 가정한다. 또한 wx는 이득을 나타내고, ox는 오프셋을 나타내고, logWD는 동작들의 수학적 정밀도를 제어하는 항을 나타낸다고 가정된다. 가중된 예측은 아래의 수학식 13에 도시된 바와 같이 구현될 수 있다.
페이드-아웃은 장면의 마지막인 프레임으로부터 시작하여 콘텐트가 없는 (주로 빈 또는 단일 컬러의) 프레임으로 종료되는 전역적인 조도 변화이다. 종료되는 컬러가 흑색이면, 흑색으로의 페이드-아웃이 존재하고, 종료되는 프레임 컬러가 백색이면, 백색으로의 페이드-아웃이 존재한다. 시작 및 종료 프레임들(에지 프레임들) 사이의 프레임들은 두 개의 에지 프레임들의 선형 조합들로 모델링될 수 있다. 페이드-아웃들이 단일-방향으로부터 예측될 수도 있지만: 더 밝거나 어두운 종료 프레임에 따라, 마지막 프레임에 앞선 프레임은 종료 프레임의 더 어둡거나 더 밝은 형태일 것이다.
교차-페이드는 시작 프레임이 한 장면에 속한 프레임이고 종료 프레임이 다음 장면에 속한 프레임인 전역적인 조도 변화이다. 시작 및 종료 프레임들(에지 프레임들) 사이의 프레임들은 두 개의 에지 프레임들의 선형 조합들로서 모델링될 수 있다. 그러나, 페이드-인들 및 페이드-아웃들과 달리, 교차-페이드들은 단일 방향으로부터 효과적으로 예측될 수 없다. 그 이유는 교차-페이드 내의 프레임이 정의에 의해 두 개의 매우 상이한 장면들에 속한 두 프레임들의 혼합물이기 때문이다. 대부분의 경우들에서 선형인 이러한 혼합물은 주로 RGB 컬러 공간에서 발생하고, 각 예측 방향으로부터 두 개의 샘플들의 가중된 평균으로 모델링될 수 있다. 아래의 수학식 14는 교차-페이드들을 위해 사용될 수 있는 모델을 도시한다:
이득들의 합은 1과 동일한 것으로 간주된다: w1 + w2 = 1. 더욱이, 오프셋들(f)은 간혹 0으로 간주된다. 파라미터(p)는 -1 이하인 것으로 규정된다 예, p ≤ -1, 반면 파라미터(q)는 1 이상인 것으로 규정된다 예, q ≥ 1.
플래시들 및 이종혼합 조도 변화들은, 영상 처리 동작들을 통해 부과된 가장 자주 인공적인 (합성) 조도 변화들인 페이드들 및 교차-페이드들과 같은 우선적인 카테고리들 중 임의의 것에 적합하지 않은 조도 변화들이다. 플래시들은 대부분 자연히 발생하는 조도 변화들이고, 반면 이종 혼합 조도 변화들은 인공적인 유형(예, 후-처리 도중에 도입된) 및 자연적인 유형일 수 있다. 이를 통해 컴퓨터 애니메이트된 콘텐트를 고려할 때 인공적인 유형 및 자연 유형을 구별하는 것은 어렵다. 이들 조도 변화들의 지속 기간은 변하고, 간혹 플래시의 경우에서와 같이 단일 프레임과 같이 짧을 수 있다. 더욱이, 이들은 간혹 픽처의 단일 부분에 영향을 미치고, 전역적인 조도 보상(전역적인 가중된 예측 파라미터들)에 의해 쉽게 모델링될 수 있다. 추가적으로 복잡하게 하는 인자는 이들의 거동이 콘텐트-및 광원- 의존적이고, 종종 제한된 모델링에 순응하지 않는다. 예컨대, 컬러 공간 성분들을 통한 변화들 사이에서 관계들을 구축하는 것은 어려울 수 있다. 광원의 성질과 센서로부터 물체의 거리에 대한 정보는 이들 관계들을 구축하는 것을 도울 수 있다. 예컨대, 광원이 특별한 컬러, 예컨대 적색으로 이루어지면, 적색 컬러 정보를 보유하는 성분들은 다른 컬러들에 영향을 미치는 것들보다 더 영향을 받는다. 대조적으로, 페이드들 및 교차-페이드들에 대해, 조도 보상 알고리즘들의 기본을 제공할 수 있는 일부 직관적인 가정들이 이루어질 수 있다. 아래에서 기술되는 것들은 이종 혼합 조도 변화들 및 플래시들의 일부 예들이다:
이종 혼합 조도 변화들은 합성적인 또는 자연적인 것일 수 있다. 합성 변화들은 페이드-인/아웃 및 교차-페이드들의 국부적인 상대물들을 포함한다. 예를 들면, 뉴스 쇼에서, 예컨대 특히 로고 또는 픽쳐 인 픽쳐 세그먼트 삽입으로 인해 국한된 조도 변화들은 상당히 일반적일 수 있다. 다수의 자연적인 조도 변화들은 또한 장면에 영향을 미칠 수 있다 : (a) 내부 광원들(예, 램프)을 (강도 또는 심지어 컬러 온도에서) 이동 및/또는 시프팅, (b) 외부 광원들(일몰, 스포트라이트들, 등)을 이동 또는 다시 시프팅(예, 구름들을 통한 태양의 움직임), (c) 물체에 동시에 영향을 미치는 다수의 소스들의 존재, (d) 광원으로부터 카메라 또는 물체에 대한 반사들, (e) 광원을 방해하는 물체를 아마도 이동시키는 일부 다른 것으로부터 또는 광원 자체의 움직임으로부터 물체의 그림자, (f) 특정 컬러들에 또한 영향을 미치는 다수의 광원들을 초래할 폭발과 같은 고도로 동적인 이벤트들, (g) 광원으로부터 나오는 광의 방향 및 강도에 특히 시간적으로 및 공간적으로 영향을 미치는 물과 같은, 투명하고 이동하는 물체의 존재. 광의 강도에 따라, 실제로는 그렇지 않을 수도 있지만, 컬러 정보가 보전될 수 있다.
플래시들은 수 프레임들 동안, 간혹 단지 한 프레임 동안 지속되고, 국부적이거나 전역적인 조도 변화들을 수반할 수 있다. 컬러 성분들, 예컨대 RGB 컬러 공간에 대한 가중들 및 오프셋들은 반드시 상호관련되지는 않는다. 광원이 백색이었다면, 모든 가중들은 대략적으로 동일한 값을 갖는 것으로 모델링될 수 있다. 그러나, 광원이 지배적인 컬러를 갖는 것이 또한 가능하다. 더욱이, 플래시 소스가 백색이라할지라도, 낮은 광이 장면 내의 모든 컬러 정보를 제거하는 경향이 있기 때문에, 컬러 포화를 증대시킬 수 있다. 그러나 매우 밝은 광에 대해서 유사한 효과를 갖는 유사한 논쟁이 적용될 수 있다. 따라서, 플래시들 동안, 페이드들에 대해 대체로 그러한 것처럼 컬러 정보가 유지되는 개념은 반드시 그러한 것은 아니다.
플래시-광들과 같이, 국부적이고, 이동하며, 방향이 정해진 광원들은 국부적인 조도 변화들을 야기하고, 간혹 컬러들을 포화시킬 수 있거나, 컬러 성분을 변경시킬 수 있는데, 왜냐하면 이들이 이전 프레임들에 존재하지 않았던 컬러 정보를 드러내기 때문이다. 따라서, 컬러 정보는 반드시 유지되는 것은 아니다.
본 개시사항은, 컬러 공간 고려사항들을 갖는 조도 보상에 관한, 본 발명에 따른 수 가지 실시예들을 기술한다. 특정 컬러 공간들을 사용하는 예들의 표현은 본 발명의 실시예들을 이들 컬러 공간들로 제한하는 것으로 해석되지 않아야 한다. 특히, 루마 및 크로마 성분들을 사용하는 컬러 공간들을 이용하는 실시예들의 설명은 설명 목적들을 위해 제공되고, 당업자는 이러한 예들이 다른 컬러 공간들로 확장될 수 있음을 이해한다. 본 발명의 실시예들 및 이들의 예들은 아래에서 간략하게 기술되고, 아래에 도시된 섹션 방향들에 의해 표시된 바와 같이 추가적으로 상세하게 제공된다.
일 실시예는 조도 변화의 성질이 국부적이거나 전역적인 것에 관계없이, 이러한 성질의 페이드 검출 및 결정을 위한 방법을 포함한다. 이러한 방법은 또한 다음 단락에서 기술된 실시예의 동작을 안내하는데 유용하다. 이러한 방법은 특히 루마 및 크로마 DC 값들 또는 히스토그램 모드들과 같은 일부 전역적인 파라미터들을 필요로 하고, 페이드가 존재하는지 및 그것이 국부적이거나 전역적인지를 구축하기 위하여 상이한 컬러 공간들에서의 관계(RGB 대 YCbCr)를 이용한다.
다른 실시예는 루마 파라미터들과 컬러 공간 변환 정보가 주어졌을 때 조도 보상을 위한 손실 크로마 파라미터들의 유도를 위한 방법을 포함한다. 루마 파라미터들이 국부적인 기초(블록들 또는 영역들)로 알려지면, 이러한 방법은, 크로마의 선험적인 정보가 제한되어 범주에서 전역적인 것이 되도록 제약되는 사실에 관계 없이, 크로마 파라미터들의 유도를 또한 국부적인 기초로 허용한다. 이러한 방법은 국부적인 및 전역적인 조도 보상 파라미터들이, 모든 성분들에서 완전한 검색에 대한 필수적인 복원 없이, 루마 및 크로마 성분들 모두에 대해 획득되는 것을 허용한다. 상이한 실시예들은 각 유형의 조도 변화에 대해 아래에서 기술되었다. 추가적인 실시예는 비디오 디코딩 시스템의 일부로서 이러한 방법을 구현할 수 있다. 다른 실시예들은 국부적인 파라미터들을 유도할 때 분할을 고려함으로써 크로마 파라미터 추정을 증대시킬 수 있다. 분할은 움직임 보상으로부터 유리할 수 있고, 유사한 크로마 정보를 공유하는 장면 내에서 물체들을 추적하는데 유용하다. 크로마 파라미터들은 따라서, 정확한 손실 크로마 파라미터들을 유도하는 기회들을 개선하고 그렇게 행하는 프로세서의 속도를 증가시키는 일부 초기화 값들로부터 유리할 수 있다.
또 다른 실시예는, 변환 매트릭스들/수학식들이 선형이 아닌 경우들을 포함할 수 있는, 보상 도중에 사용된 표현 (도메인) 이외의 컬러 공간 표현에서 조도 변화들이 발생하는 경우들에 대해, 조도 보상 파라미터 유도를 위한 방법을 포함한다. 하나의 목표는, 일부 다른 도메인에서 파라미터들의 값들 또는 특징들에 대한 지식이 주어졌을 때, 하나의 도메인에서 파라미터들을 결정하는 것이다. 예컨대, 페이드들 또는 교차-페이드들이, 선형-도메인 또는 감마-도메인의 4:4:4 RGB 컬러 공간에서 샘플들을 직접 처리함으로써 생성되는 것이 가능하고, 반면에 압축에 뒤이은 예측이 예컨대 감마-도메인 또는 로그-도메인의 4:2:0 YCbCr 컬러 공간에서 발생한다. 이것은 XYZ 컬러 공간, 넓은 컬러 색역(WCG) 공간들, 또는 기존 또는 장래의 컬러 공간들의 임의의 다른 조합을 포함하는 애플리케이션들로 확장될 수 있다. 유사한 문제점들이, 하나의 층(기본; BL)이 하나의 컬러 공간에서의 콘텐트, 예컨대 프레임의 낮은 다이내믹 레인지(LDR) 형태를 포함하고, 강화 층(EL)이 다른 컬러 공간에서의 콘텐트, 예컨대 프레임의 시각적인 다이내믹 레인지(VDR) 형태를 포함하는, 크기조절 가능한 비디오 코딩에서 발생할 수 있다. 이러한 실시예의 다른 애플리케이션은 입체 영상들의 쌍들을 다룬다. 입체 카메라 쌍에서, 각 카메라는 상이한 컬러 공간 특징들을 가질 수 있고, 이는 부적절한 교정의 결과일 수 있지만, 또한 두 개의 렌즈들 또는 카메라 센서들이 동일한 주파수 전달 특징들을 갖지 않을 것이라는 사실의 결과이다. 결과적으로, 각 카메라를 통해 포착된 영상들은 컬러 변화들을 디스플레이할 수 있다. 따라서, 하나의 영상에 대해 유도된 조도 보상 파라미터들은 서로에 대해 직접 적용가능하지 않을 수 있다. 그러나, 한 카메라로부터의 컬러 공간 좌표들을 다른 것에 관련시키는 변환의 지식이 (교정을 통해) 주어지면, 제 2 영상을 위한 파라미터들을 유도하기 위하여 이러한 실시예를 적용시킬 수 있다. 이러한 실시예는 따라서 BL이 입체 영상 쌍의 제 1 영상을 코딩하고, EL이 제 2 영상을 코딩하는, 크기조절 가능한 코딩 시스템에 적용될 수 있다. 이들 및 유사한 경우들에 대한 파라미터 유도를 최적화하기 위한 방법은 아래에서 추가적으로 상세하게 기술된다.
또 다른 실시예는 조도 변화 관계들을 포함하는 페이드 및 교차-페이드 검출을 포함한다. 조도 보상 파라미터들의 검색 도중에 추출된 파라미터들을 사용하는 페이드 시퀀스들의 경계를 정하기 위하여 사용될 수 있는 낮은 복잡도의 방법들은 아래에서 추가적으로 상세하게 기술된다.
다른 실시예는 클리핑 및 포화 보상을 통한 조도 보상 파라미터 유도를 포함한다. 루마 및 크로마 성분들에서 샘플들이 미리-결정된 값들로 클리핑되고 포화되는 사실을 설명하는 방법들이 아래에서 기술된다. 클리핑 및 포화와 같은 동작들은 가중된 예측이 의도된 대로 작용하도록 허용하는 많은 표준 가정들을 위반한다. 이들 방법들의 기초는, 경계들로부터 멀리 떨어진 것들과 이들 경계들에 가까운 것들로의 샘플들의 분류이다. 위의 영역들/범주들의 추적 및 유도를 개선하기 위하여 분류 및 움직임 보상을 사용하는 추가적인 실시예들이 또한 규정된다.
다른 실시예들은 조도 보상 파라미터들의 낮은 복잡도의 추정을 위한 방법들을 포함한다.
페이드
검출 및
페이드
성질(전역적이거나 국부적인)의 결정을 위한 방법.
H.264/AVC와 같은 현대의 코덱들은 주로 매우 양호한 역상관 특성들로 인해 Y'CbCr 도메인에서 동작한다. 그러나, H.264/AVC의 경우에 대해, 입력 및 디코딩된 픽처들이, Y-만의 (그레이스케일), Y'CbCr 또는 YCgCo, RGB, 및 다른 미지정 단색 또는 3-자극 컬러 공간들(예컨대, XYZ로도 알려진 YZX)의 컬러 공간들 중 어느 하나에 있을 수 있음을 주지해야 한다. 그럼에도 불구하고, 디스플레이에 앞서, 압축해제된 비디오는 주로 소스 RGB 도메인으로 다시 변환된다. RGB 도메인은 인간의 시각 시스템의 동작에 보다 더 근접하고, 페이딩 전환들은 위에서 기술된 바와 같이 이러한 도메인에서 연구되면 더 양호하게 이해될 수 있다. 인공적인 페이드들을 생성하기 위하여 종종 이용되는 제작-후 소프트웨어는 마찬가지고 RGB 도메인상에서 동작하기 위한 것이다. 이러한 개시사항에 대해 RGB 및 YCbCr은 예시적인 실시예들을 위해 사용된다는 것을 주의하자. 그러나, 본 명세서에서 개시된 이 방법들은, 변환 매트릭스들/알고리즘들이 알려져 있는 한, 임의의 주어진 컬러 공간 조합(예, XYZ 대 YCgCo)에 대해 적용될 수 있다. 개념을 단순화시키기 위하여 본 개시사항의 나머지에 대해 Y'CbCr 대신에 항 YCbCr이 사용될 것임을 주지한다.
페이딩 전환 도중에, 컬러 정보는 조도가 변화하는 동안 보전되는 것으로 간주된다. 이것은 모든 성분들에 대해 공통의 이득(w)을 초래하고, Grassman의 컬러 혼합의 제 2 법칙의 결과이다. 수학식 12는 (작은) 오프셋들이 아래의 수학식 15에 도시된 바와 같이 모든 성분들을 통해 균일하다고 간주함으로써 더 단순화될 수 있다.
(Y'm,Cbm,Crm)이 프레임(m)에 대해 Y'CbCr 성분들을 나타낸다고 가정한다. 아래의 수학식 16은 수학식 15와 수학식 9를 조합함으로써 유도된다.
널리 이용되는 ITU BT.601 RGB-Y'CbCr 변환 매트릭스들에 대해, 수학식 16은 아래에 도시된 바와 같이 수학식 17로 단순화될 수 있다.
위의 수학식 17은 RGB 도메인의 모든 성분들에서 균일한 오프셋이 Y'CbCr 도메인에서 Y(루마) 성분에 대한 단일 오프셋으로 변환되기 때문에, 상당히 직관적이다. 더욱이, 아날로그 값들이 어떻게 그들의 디지털 등가물들로 양자화되는지에 따라, 두 가지 경우들이 획득된다. ITU/SMPTE 아날로그-디지털 변환(수학식 3)이 사용되는 하나의 경우는 아래의 수학식 18에 의해 표현된다:
JPEG의 JFIF 아날로그-디지털 변환(수학식 7)이 사용되는 다른 경우는 아래의 수학식 19에 도시된다:
위의 표현들은 Y 성분에 대한 이득들 및 오프셋들을 Cb 및 Cr 성분들에 대한 가중들 및 오프셋들로 변환시키는 알고리즘(아래에서 추가로 기술되는)을 초래할 것이다. 특정 양태들은 아래에 놓이는 페이드에 대한, 시간을-소모하는 가중된 예측 검색에 대한 복원 없이, 국부적인 또는 전역적인 것으로의 분류와 같은, 더 많은 정보를 수집하는 것을 도울 수 있다. f=0을 가정하면, 수학식 17에 표현된 동작들은 아래의 수학식 20에 도시된 다음의 수식을 얻도록 확장될 수 있다:
성분-마다의 이득들이 동일하지 않을 수 있음을 가정하면, 수학식 21이 아래와 같이 얻어진다.
일부 실시예들에 있어서, 항 d0는 0 또는 16이고, 반면에 대부분의 실제 목적을 위해, 항들, d1 및 d2는 128이다. 이들 항들은 8보다 큰 비트 깊이들을 갖는 콘텐트를 고려할 때 상이한 값들을 취한다. 본 발명의 실시예들은 임의의 콘텐트 비트-깊이들에 적용된다. Y'm과 Y'm +k 모두가 d0보다 크게 되도록 제한되지만, Cbm, Cbm+k, Crm, 및 Crm +k에 대해서는 그러하지 않다. 실제, wY가 음이 아니도록 보장되지만, wCb 및 wCr에 대해 음의 값들을 얻는 것이 가능하다. 이러한 것에 기초하여, 지금까지의 가정들이 충족되는지를 검증하기 위하여 시험이 사용될 수 있다. 지금까지, (a) f=0, (b) 페이드가 RGB 도메인에서 발생하는 것, 및 (c) 페이드가 수학식 15를 통해 모델링되는 것이 가정되었다.
다음의 시험은 이후 상술한 가정들이 충족되는지를 구축하기 위하여 사용될 수 있다:
(a) 현재의 프레임(m)과 그 예측 기준 프레임(m+k)가 주어졌을 때, 이들의 평균 루마 및 크로마 성분 값들을 계산하고, 이들을 Y'm, Y'm +k, Cbm, Cbm +k, Crm, 및 Crm+k로서 표시한다. 대안적인 실시예에 있어서, DC 값들 대신에, 히스토그램 정보를 사용할 수 있다. 히스토그램의 가장 큰 및 두 번째로 큰 피크들 및 이들 조합들이 사용될 수 있는데, 왜냐하면 오로지 DC 값들을 고려하는 것과 비교하여 문외한이 되는 경향이 적기 때문이다.
(b) 수학식 21을 통해 이득들(wY, wCb 및 wCr)계산하고, 이들을 비교한다. 이들이 모두 음이 아니고, 충분히 유사하다면, 상기 가정들은 프레임들(m 및 m+k)의 평가된 프레임 쌍에 대해 충족된다고 결정된다. 이득들의 유사성은 이득들이 서로의 5% 내지 10% 내에 있는지를 검사함으로써 구축될 수 있다. 이것은 로그 함수를 사용하여 이득들을 0과 1 사이의 크기로 변환하고, 이득들의 차이가 0.05 또는 0.1보다 작은지를 검사함으로써 이루어진다.
위의 시험은 제 1 프레임으로 시작하여, 프레임 시퀀스 내의 각 프레임에 대해 인용된다. 대안적으로 장면 분류기 또는 사전-프로세서와 같은 일부 외부 수단들을 통해 조도 변화들을 갖는 것으로 표시된 프레임들에 대해서만 적용할 수 있다. 위의 시험이 가정들이 충족된다고 결정하면, 즉 (c) 주로 RGB 도메인에서 발생하는 (b) 0의 오프셋을 갖는 (a) 전역적인 페이딩 전환이 존재하는 것을 나타내면, 선택적으로 전역적이고 가중된 예측 파라미터들(아래에서 곧바로 기술된)을 사용하여 컬러 파라미터들이 유도될 수 있고, 시간-비용이 드는 국부적이고 가중된 예측이 회피될 수 있다. 이들 가정들이 충족되지 않으면, 조도 변화가 전역적이지 않거나, RGB 도메인에서 발생하지 않았거나, 오프셋이 0이 아닌 것으로 추측된다. 이 경우, 조도 변화는 국부적인 기반에 따라 선택적으로 다루어질 수 있다. 국부적인 또는 전역적인 조도 변화들의 결정을 위한 알고리즘이 도 1에 도시된다.
위의 시험에 대한 음의 결과는 또한 임의의 페이딩 전환들이 무엇이든 이들의 부재를 가르킬 수 있다. 따라서, 위의 알고리즘은 또한 페이드 검출기로서, 또는 페이드 검출 방식의 한 성분으로서 작용할 수 있다. 더욱이, 프레임이 페이드를 포함한다는 일부 외부 지식이 존재한다면, 음의 결과가 전역적인 페이드 대신에 국부적인 것으로 분류하는 것을 도울 수 있다. 추가적인 실시예들이 다음과 같이 도 1에 도시된 알고리즘을 수정함으로써 가능하다: (a) 페이드 유형의 결정이 대안적인 기존 방법들을 통해 이루어질 수 있다, (b) 기존 방법들은 위의 시험의 단계 (b)에서 가중들을 유도하기 위하여 사용될 수 있다, (c) 그리고 다른 방법들(예, DC 방법들, 히스토그램 방법들, 반복 움직임-보상 방법들, 등)은 크로마를 위한 정규 WP 검색에 대한 재분류 없이 크로마 파라미터들을 추정할 수 있다. 크로마 추정들은, 이들 초기 값들을 정제할 수 있고, 따라서 반복들의 수를 줄일 수 있는 반복적인 WP 검색 알고리즘을 위한 시드를 제공할 수 있다는 것을 주의하자.
도 1은 국부적인 루마 WP 파라미터들의 계산이 위의 수학식 21에서 도시된 이득들을 계산하고 비교하는 것에 앞서 수행될 수 있음을 도시한다. 그러나, 이것은 오로지 선택적이다. 대안적인 실시예에 있어서, 수학식 21에 도시된 이득들은 오로지 전역적인 루마 및 크로마 DC 값들로부터 계산될 수 있다. 이들 이득들은 이후 비교되어, 페이드가 국부 또는 전역 페이드인지를, 예컨대 이득들이 음이 아니며 유사한지를 결정할 수 있고, 페이드는 전역 페이드이고, 컬러 WP 파라미터들(루마 및 크로마에 대한)은 국부적인 검색 없이 추정될 수 있다. 그러나, 이득들이 음이고, 및/또는 유사하지 않으면, 선택적으로 국부적인 검색은 크로마 및 루마 WP 파라미터들 모두를 위해 수행되어야 한다.
조도 보상을 위한 손실 크로마 파라미터들의 유도
이러한 실시예에 있어서, 개선된 조도 보상을 위한 알고리즘들은 특정 파라미터들에 대한 선험적인 지식이 존재할 때 사용된다. 다음의 통계들이 미리 알려진다고 간주된다 : (a) 블록-마다(예, 8×8 픽셀들) 또는 영역-마다(예, 슬라이스) 또는 루마 성분(Y)의 픽처 레벨 가중된 예측 이득들 및 오프셋들; 및 (b) 컬러 공간 변환에 대한 정보. 블록들 또는 영역은 중첩될 수 있다는 것을 주의하자. 전역적인 것은 전역 및 국부 (예, 블록-마다) 조도 보상 모두를 위해 손실 크로마 가중된 예측 파라미터들 얻는 것이다. 이러한 기술은 세 가지 컬러 공간 성분들 모두 대신에 단일 컬러 공간 성분에 대해 국부적으로 가중된 예측 파라미터들 검색함으로써 계산 복잡도를 감소시킨다. 이 방법은 손실 컬러 파라미터들의 추정의 속도를 증가시키는 것과는 별도로, 디코더에서 가중된 예측 방식의 한 성분으로 작용할 수 있다: 이러한 애플리케이션 시나리오에서, 압축된 비트 스트림은 오로지 상술한 정보(컬러 성분들에 대한 Y 파라미터들과 오로지 전역적인 DC 파라미터들)를 전달하고, 디코더는 제안된 방법을 사용하여 (H.264/AVC에서 함축적이고 가중된 예측과 유사하게) 손실 컬러 파라미터들을 추론한다. 다른 실시예에 있어서, 루마 및 크로마 관계에 대한 디코더 정보는 또한 디코더에 송신될 수 있다.
페이드들을 포함하는 상황들이 먼저 다루어질 것이다. 루마 WP 오프셋들과 이득들이 (예, 8×8 픽셀들) 블록 또는 영역 기반으로 추정되고, 압축 시스템에는 크로마 WP 파라미터들이 부족한 경우에 대해 시작한다. 크로마 WP 파라미터들이 사용 가능하지 않다면, 압축 효율이 손상받을 것이다. 공통적으로 사용되지만, 이러한 문제에 대한 차선의 해결책은 크로마 성분들을 위해 일부 디폴트 가중된 예측 파라미터들을 사용하는 것이다 : 크로마 가중된 예측을 위한 1의 이득 및 0의 오프셋. 상당히 간단한 다른 해결책은 역시 크로마 이득들로서 루마 이득들을 사용하는 것이다. 하지만, 상술한 해결책들 모두 정확하지 않을 수 있다. 다음의 단락에서, 효율적인 페이드-인 및 페이드-아웃 가중된 예측을 위해 루마 WP 파라미터들을 크로마 WP 파라미터들로 변환하는 알고리즘이 제공되고 기술된다.
전역적 및 국부적 Y 루마 파라미터들과 컬러 공간 변환에 대한 정보가 주어진 크로마 가중된 예측 파라미터 추정을 위한 알고리즘이 아래에서 기술된다. 이러한 알고리즘은, 페이드의 성질의 결정에 관해 위의 섹션에서 기술된 가정들이 충족된다면, 트리거될 수 있다. 그러나, 이것은 선택적이고, 그 방법에 결합될 필요는 없다. 픽셀, 블록, 영역, 또는 전체 프레임(m)에 대해, 루마 이득들 및 오프셋들이 프레임(m+k)로부터의 기준이 주어진 상태에서 공급된다고 가정된다:Y'm=wY×Y'm +k+fY. 이러한 목표는 수학식 10으로부터 크로마 파라미터들(wCb, wCr, fCb 및 fCr)을 추정하는 것이다. 세 가지 주요 경우들이 존재한다 :
(a) 이득(wY)은 1이 아니고, 오프셋(fY)은 0이 아니다.
(b) 이득(wY)은 1이 아니고, 오프셋(fY)은 0이다.
(c) 이득(wY)은 1이고, 오프셋(fY)은 0이 아니다.
도 2는 바로 위에서 기술된 세 가지 경우들을 다루는 동안 WP 파라미터들 추정을 위한 흐름도를 나타낸다. 아래에 기술된 것은 이들 세 가지 경우들 각각에 대한 추정 알고리즘에 관한 세부사항들이다.
이득(wY)이 1이 아니고, 오프셋(fY)이 0이 아닌 경우(경우 (a))에 대해, 수학식 17을 사용하는 것은 크로마 이득들이 아래의 수학식 22에 도시된 바와 같이 루마 가중과 동일하는 설정되는 것을 규정한다 :
수학식 17은, RGB-도메인 이득이 루마 이득과 동일하고(w = wY), Y'CbCr 도메인의 오프셋이 RGB 도메인에서의 오프셋에 루마 성분에 대한 RGB 도메인 이득 및 오프셋에 기초한 변경자를 더한 것과 동일한 것(fY = f + (1-w)d0), 모두를 필요로 하고, 이는 RGB 도메인 오프셋(f)의 계산을 허용한다: f = fY -(1-wY)d0. 수학식 16을 사용하는 크로마 성분들의 오프셋들에 대해, 아래의 수학식 23이 얻어진다:
크로마 성분들의 오프셋들이, 컬러 포맷 변환 오프셋들(dcmp), Y 루마 이득(wY), 루마 오프셋(fY), 및 RGB-Y'CbCr 변환 매트릭스의 계수들의 함수들로서 계산됨을 주목해야 한다.
이제 이러한 경우의 보다 더 실제적이고 복잡한 변형을 고려한다. 오로지 이득들만을 사용하여 페이드 전환이 RGB 도메인에서 이루어졌다고 가정될 수 있고, 이는 상당히 공통적인 실시가 되어야 한다. 이러한 변형에 있어서, RGB 도메인 오프셋(f)은 0으로 설정되고, 컬러 포맷 변환 오프셋이 0이 아닌 것이 추가로 간주된다:d0≠0. 이것은 이러한 알고리즘이 적용되기 위하여, 여전히 타당한지를 결정하기 위하여 다음의 수식이 평가되는 것을 의미한다 : 
. 이들 두 가지 양들이 충분이 인접하면, 이 모델이 적용되고, 크로마 오프셋들은 아래의 수학식 24에 도시된 바와 같이 계산된다.
다른 한 편으로, 이전 수식이 타당하지 않으면 
, 가정들에 대해, 또는 fY와 wY를 제공하는 메커니즘에 대해 무엇인가 잘못된 것이다. 이 경우, 다음의 선택사항들 중 하나가 간주될 수 있다 :
(a) 두 개의 파라미터들 중 가장 신뢰할 수 있는 것으로 wY에 유리하게 결정한다. fY를 f'Y = (1-wY)d0 로서 계산된 f'Y 로 대체한다. 예컨대, [fY-64, fY+64] 내에서 8-비트 정확도에 대해 원래 공급된 fY에 충분히 근접한 것과 같은 일부 합리적인 경계들을 충족시키는 것에 관해 새로운 오프셋을 검사한다. 그러나, 이들 경계들은 콘텐트에 의존할 수 있고, 적응적일 수 있음을 주목해야 한다. 만약 그렇다면, 신뢰할 수 있다고 선언한다.
(b) 두 개의 파라미터들 중 가장 신뢰할 수 있는 것으로 fY에 유리하게 결정한다. wY를 w'Y = (1-fY)d0 로서 계산된 w'Y 로 대체한다. 예컨대, [0.0, 1.0] 사이에서와 같이 일부 합리적인 경계들을 충족시키는 것에 관해 새로운 이득을 검사한다. 음의 이득들을 사용하는 것이 완벽하게 타당한 동안, 페이드들에 대해 이득들이 음이 아닐 수 있을 가능성이 높다는 것을 주목해야 한다. 만약 그렇다면, 신뢰할 수 있다고 선언한다.
(c) 두 개의 파라미터들 중 가장 신뢰할 수 있는 것으로 wY에 유리하게 결정한다. fY를 0으로 설정한다.
(d) 두 개의 파라미터들 중 가장 신뢰할 수 있는 것으로 fY에 유리하게 결정한다. wY를 1로 설정한다.
위의 4개의 선택사항들 중 각각의 하나에 대해, 수학식 22, 수학식 23 및 수학식 24로 이루어지는, 위에서 기술된 방법은 크로마 이득들 및 오프셋들을 얻기 위하여 적용된다. 예컨대 사전-분석 또는 다른 외부 지식을 통해 가장 높은 가능성으로 간주되는, 4가지 선택사항들 중 하나가 시험될 수 있는, 복잡도 고려사항들에 의존하여, 단일 선택사항의 경우에서와 유사한 이유들로 이들 중 4가지 모두는 아니지만 한 가지보다 많은 선택사항들, 또는 이들 중 모두가 병렬로 또는 직렬로, 일부 기준을 충족시킴으로써, 이들 선택사항들 중 하나의 유도된 파라미터들을 선택한다. 이러한 기준은 일부 측정기준(예, 왜곡 측정기준)을 최소화하거나 최대화하는 것, 또는 일부 건전성 검사들(예, 합리적인 경계들 내에서 유도된 파라미터들인)을 충족시키는 것을 포함할 수 있다.
컬러 파라미터 유도를 위한 알고리즘은, 이득(wY)이 1이 아니고, 오프셋(fY)이 0이 아닌 경우(경우 (a))에 대한 도 3에 도시된다. 도 3의 알고리즘들은 국부적으로 (예, 블록 기반으로) 또는 전역적으로 (전체 프레임에 대해) 적용될 수 있다는 것을 주의하자. 루마 파라미터 정보가 국부적 기반으로 사용 가능하다면, 가능한 최상의 성능을 보장하기 위하여 또한 국부적인 기반으로 컬러 성분 파라미터들을 추정하는 하는 것이 바람직하다. H.264/AVC를 포함하여 움직임 보상을 사용하는 모든 코덱들 또는 사전/후-처리 방식들이 국부적인 기반으로 WP 파라미터들을 시그널링하는 것을 지원하는 것은 아니다. 그러나, H.264의 경우, 코덱의 일부 특징들: 예, 다수의 기준 움직임-보상된 예측 및 기준 픽처 목록 수정 특징들을 통해 국부적인 파라미터들을 사용하는 것이 가능하다. 이들 특징들은 한 프레임의 움직임-보상된 예측에 대한 각 예측 목록을 위해 16개까지의 상이한 세트들의 WP 파라미터들을 사용하는 것을 허용한다. 따라서, 추가적인 실시예에 있어서, 각 예측 목록에 대한 16개까지의 보다 더 중요한 세트들이 선택되어, 기준 픽처 목록 수정 신호들의 도움으로 움직임-보상된 가중 예측을 위해 사용될 비트스트림내에서 송신되도록, 루마 및 크로마를 위한 국부적인 WP 파라미터들이 처리된다. P-코딩된 프레임들은 단일-목록의 예측을 사용하고, 반면에 B-코딩된 프레임들은 두 개의 목록들로부터 단일-목록 및 이중-예측 움직임 보상을 지원하는 것을 주목해야 한다.
이득(wY)이 1이 아니고, 오프셋(fY)이 0인 경우(경우 (b))에 대해, 크로마 이득들은 이득(wY)이 1이 아니고, 오프셋(fY)이 0이 아닌 경우에 대해 계산된 것과 동일하다. 크로마 Y'CbCr 성분들에 대한 오프셋들은 0의 루마 오프셋(fY=0)에 대해 아래의 수학식 25에 도시된 바와 같이 주어진다:
다시, 크로마 성분들의 오프셋들이, 컬러 포맷 변환 오프셋들(dcmp), Y 루마 가중(wY), 및 RGB-Y'CbCr 변환 매트릭스의 계수들의 함수들로서 계산된다.
이득(wY)이 1이고, 오프셋(fY)이 0이 아닌 경우(경우(c))에 대해, 크로마 이득들은 모두 1.0과 동일하다. 크로마 Y'CbCr 성분들에 대한 오프셋들은 루마 오프셋(fY)에 대해 아래의 수학식 26에 도시된 바와 같이 제공된다:
크로마 성분들의 오프셋들은, 루마 오프셋(fY) 및 RGB-Y'CbCr 변환 매트릭스의 계수들의 함수들로서 계산된다.
가장 실제적인 RGB-Y'CbCr 변환들에서 변환 매트릭스의 크로마 성분 행들의 합은 아래의 수학식 27에 도시된 바와 같이 0과 같다는 것을 주의하자.
이득(wY)이 1이고, 오프셋(fY)이 0이 아닌 경우, 예 경우(c)에 대해 수학식 27은 오프셋들이 모두 0인 것을 의미한다. ITU/SMPTE(수학식 3) 또는 JFIF(수학식 7) 아날로그-디지털 변환이 주어지면, 이전의 세 가지 경우들에 대해 다음의 단순화들이 유도될 수 있다 :
경우(a) : 크로마 오프셋들은 fCb = fCr = (1-wY)×128과 같이 기록된다.
경우(b) : 크로마 오프셋들은 fCb = fCr = (1-wY)×128과 같이 기록된다.
경우(c) : 크로마 오프셋들이 fCb = fCr = 0과 같이 기록된다.
교차 페이드들을 포함하는 상황들이 이제 다루어질 것이다. 교차-페이드들을 모델링하기 위하여, 수학식 14가 사용되고, 오프셋들이 모두 0인 것으로 가정하고, 아래의 수학식 28에 도시된 바와 같이 기준 색인들에 다시 이름을 붙임으로써, 더 단순화된다:
다시 w1 + w2 = 1라고 가정한다. 수학식 28과 수학식 29를 결합하면, 아래의 수학식 29 및 수학식 30에 도시된 수식들이 유도되어,
아래의 수학식 31을 유도한다.
오프셋들(di)이 0이 아닐 수 있다할지라도, RGB 도메인에서 선형 가중된 조합이 역시 Y'CbCr 도메인에서의 선형 가중된 조합인 것을 보장하기 위하여, w1 + w2 = 1의 조건이면 충분하다는 것을 주의하자. 따라서, 교차-페이드들에 대하 양-방향 예측에서, 이득들은 두 컬러 공간들에서 동일하다. 따라서, 프레임(m)이 교차 페이드에 속한다면, 각 기준 프레임에 대한 크로마 성분(Cr 및 Cr) 이득들은 루마 성분의 이득으로 동일하세 설정된다. 수학식 31의 모델은 이제 간략히 기술되는 H.264 코딩 표준의 가중된 양-방향 예측 구현에 관한 것이다. p0과 p1이 각 예측 블록 내에서 샘플들을 나타내고, f는 최종 예측된 값을 나타낸다고 가정한다. 또한, wo 및 wl은 이득들을 나타내고, o0과 o1이 오프셋들을 나타내고, logWD가 동작들의 수학적인 정확도를 제어하는 항을 나타낸다고 가정한다. 가중된 예측은 그 후 아래의 수학식 32에 도시된 바와 같이 구현될 수 있다.
플래시들 및 국부적인 조명들(국부적인
페이드들
및 교차-
페이드들
이외의)
플래시들 및 국부적인 조명들의 모델링은 본질적으로 페이드들 및 교차-페이드들의 모델링보다는 더 어렵다. 전역적인 Y'CbCr 성분 평균들에 대한 액세스가 존재할 수 있지만, 이들은 국부적인 조도 변화들을 다루는데 매우 유용하지는 않을 것이다. 루마 성분을 위해 1 이외의 이득들이 사용 가능하다면, 위의 페이드들을 위해 논의된 것들과 동일한 기술들이 크로마 성분들의 이득들을 결정하기 위하여 사용될 수 있다. 그렇지 않고 이득들이 1에 매우 근접하고, 0이 아닌 오프셋들이 존재한다면, 손실 크로마 오프셋들을 유도하기 위하여 이들 오프셋들에 대해 몇 가지 가설들이 만들어질 수 있다.
RGB 도메인 샘플들이 오프셋되는 경우가 이제 기술된다. RGB 도메인에서의 오프셋들은 아래의 수학식 33에 도시된 수식으로 모델링된다.
수학식 33과 수학식 9를 결합함으로써, 수학식 34에 도시된 수식이 얻어진다.
fY가 알려져 있기 때문에, c00fR + c01fG + c02fB = fY 이고, 이는 세 개의 알려지지 않은 (fR, fG, fB)에 대한 방정식이다. 블록-마다의 fY 는 손실되는 블록-마다의 fCb 및 fCr 오프셋들로 변환된다. 이러한 문제점에 대한 해결책은, 가정들에 대한 일부 단순화가 이루어지면 사용 가능하다. 4가지 가능한 해결책들이 아래에 제공된다:
(a) fR = fG = fB를 가정한다. c00+c01+c02 = 2 이기 때문에, fY =fR =fG =fB이다. 수학식 2의 BT.601 변환에 대해 c10+c11+c12 = 0이고 c20+c21+c22 = 0 이기 때문에, fCb= 0 이고, fCr = 0이다.
(b) fR =fG =0을 가정한다. 이는 fY = c02fB ⇔ fB = fY/c02 를 규정한다. 크로마 오프셋들은 그 후 fCb = (c12×fY)/c02 및 fCb = (c22×fY)/c02 와 같이 계산된다.
(c) fR =fB =0을 가정한다. 이는 fY = c01fG ⇔ fG = fY/c01 를 규정한다. 크로마 오프셋들은 그 후 fCb = (c11×fY)/c01 및 fCb = (c21×fY)/c01 과 같이 계산된다.
(d) fG =fB =0을 가정한다. 이는 fY = c00fR ⇔ fR = fY/c00 를 규정한다. 크로마 오프셋들은 그 후 fCb = (c10×fY)/c00 및 fCb = (c20×fY)/c00 과 같이 계산된다.
위의 4개의 해결책들은 (a) 광원이 백색, (b) 광원이 주로 청색, (c) 광원이 주로 녹색, 및 (d) 광원이 주로 적색인 가정들을 각각 나타낸다. 코딩 도중에, 이들 해결책들 중 임의의 것이 코딩이 플래시 장면일 때 사용될 수 있거나, 또는 일부 비용 예, 라그랑지안(Lagrangian) 비용을 최소화함으로써, 이들 중 모두가 인에이블될 수 있고, 최상의 해결책이 선택될 수 있다. 이러한 방법은 도 4에 도시된다. 추가적인 실시예에 있어서, 세 가지 알려지지 않은 것들을 갖는 수식이 검색의 속도를 높이기 위하여 사용될 수 있다. 검색은 알려지지 않은 것들 중 두 가지를 위해 이루어지고, 세 번째 것은 그 수식을 사용하여 유도된다. 이것은 세 가지 알려지지 않은 것들의 임의의 쌍방식의 결합에 대해 가능하다. 다른 변형이 또한 기술된다 : 제 1 성분에 대한 파라미터들은 검색을 행함으로써 유도되고, 제 2의 성분에 대한 파라미터들은 검색을 통하고 위의 4개의 해결책들 중 하나를 시험하는 모두를 통해 유도된다. 제 2 성분에 대한 값이 위의 해결책들 중 하나에 근접한 것이라면, 제 3의 성분은 위에서 논의된 방법을 통해 추정된다. 그렇지 않을 경우, 제 3 성분을 위한 검색이 이루어진다. 추가적인 속도 증가가 예컨대 과거의 프레임들에 대한 이전의 결정을 고려함으로써 가능하다. 프레임들이 특히 분산, 휘도, 색차 및/또는 텍스쳐 정보와 같은 유사한 특성들을 공유한다면, 프로세스의 속도를 증대시키기 위하여 이러한 정보를 사용할 수 있다.
디코더 실시예들 . 알려진 국부적인 또는 전역적인 루마 파라미터들 및 컬러 공간 변환 방식에 대한 지식으로부터 손실 크로마 파라미터들의 추정을 위한 위의 방법들은 도 16에 도시된 비디오 디코더의 부분으로서 사용될 수 있다. 이러한 실시예에 있어서, 압축된 비트 스트림은 쉽게 사용 가능한 정보를 전달하고, 디코더는 이 방법들을 디스패리리티 보상 모듈의 부분으로서 가중된 예측을 수행하기 전에 국부적이거나 전역적인 크로마 파라미터들을 유도하기 위하여 적용할 수 있다. 추가적인 실시예에 있어서, 손실 크로마 파라미터들을 완전하게 유도하는 것 대신에, 이들을 코딩된 비트 스트림 내에서 WP 파라미터들의 예측 잔류물을 송신하기 위한 예측자들로서 사용할 수 있다. 디코더는 송신된 잔류물을 수신하여, 여기에 손실 크로마 파라미터들을 산출하기 위한 방법들을 사용하여 획득된 예측들을 부가하고, 가중된 예측 샘플들을 형성한다. 상이한 실시예는 비트 스트림 내에 루마 및 크로마 파라미터들 사이의 관계에 대한 정보/파라미터들, 또는 일반적으로는 컬러 공간 성분들을 송신한다. 이러한 정보는, 컬러 공간 성분들을 얻기 위하여 사용된 변환 매트릭스들과 같은 매트릭스, 상이한 성분들의 이득들 및 오프셋들에 대한 전환 수식 또는 매트릭스(예, 루마로부터 크로마로, U로부터 V로, 등), 또는 일부 수식 파라미터들로 이루어질 수 있다. 또한, 현재의 프레임이 페이드인지 또는 교차-페이드인지의 여부, 또는 위에서 기술된 방법을 유도하는 가정들 중 일부가 충족되는지의 여부와 같은 특성 정보를 포함할 수 있다. 이러한 정보는 손실 컬러 공간 성분 파라미터들을 유도하기 위하여 우리의 방법 및 다른 비트스트림 정보와 함께 디코더에서 사용될 수 있다.
위에서 기술된 것과 유사한 추가적인 실시예는, 압축된 비트스트림이 WP 파라미터들을 전달하지 않고, 이들이 사용 가능한 원인의 정보를 사용하여 디코더 측에서 유도되는 경우들에서 한정된다. 예컨대, P. Yin, A.M. Tourapis 및 J.M. Boyce에 의한 "Localized weighted prediction for video coding"(IEEE Internatioinal Symposium on Circuits and System의 회보, 2005년 5월, vol.5, 4365-4368쪽)을 참조. 디코더 측에서 모든 컬러 성분들에 대한 파라미터들을 검색하는 대신에, 본 발명의 실시예에 따른 방법이 예컨대 오로지 루마 성분에서의 검색을 제한하기 위하여 사용될 수 있고, 그 후 손실, 예컨대 컬러 성분 파라미터들을 유도하는 것을 도울 수 있다. 이러한 실시예는 국부적이고 전역적인 가중된 예측 모두에 대해 유효하다.
추가적인 실시예들 . 위의 방법들은 국부적인 크로마 파라미터들을 유도하기 위하여 국부적인 기초로 적용될 수 있다. 이것은 움직임-보상된 예측을 위한 기준 픽처 목록 수정 및 다수의 기준들의 사용을 통해 초기에 기술된 H.264/AVC와 같은 코덱들에서 조차 가능하다. 조도 변화의 각 영상 영역 및 유형에 대해 상이한 방법들을 적용함으로써 개선된 성능이 가능하다. 예컨대, 한 영역은 페이드-인으로 분류될 수 있고, 다른 것은 플래시로 분류될 수 있다. 이러한 영역들은 중첩될 수 있다. 각 영역은 적절한 알고리즘에 의해 (전자에 대해서는 페이드 방법 그리고 후자에 대해서는 국부적인 조명/플래시 방법) 처리될 것이다. 영역들로의 영상의 분할은 일부 기존 알고리즘을 사용하여 또는 이들 방법들에 의해 추출된 크로마 또는 루마 정보를 사용하여 촉진될 수 있다. 예컨대, DC 값들 또는 히스토그램 정보는 따라서 영역/국부적인 기초로 계산될 수 있다. 분할은 움직임 보상으로부터 유리할 수 있고, 유사한 크로마 정보를 공유하는 장면 내의 물체들을 추적하는데 유용하다. 크로마 파라미터들은 따라서 정확한 손실 크로마 파라미터들을 유도하는 기회들을 개선하고 유도 속도를 증대시키는 일부 초기화 값들로부터 유리할 수 있다.
특정 항들의 사용을 단순히 반전시킴으로써 유도되는 다른 실시예는 알려진 크로마 파라미터들로부터 손실 루마 파라미터들의 유도를 가능케 한다. 사용된 변환 매트릭스들이 상당히 일반적이기 때문에, 다른 성분들로부터의 파라미터들과 컬러 공간 변환 매트릭스들/수식들에 대한 지식이 주어졌을 때, 이러한 문제가 임의의 성분의 손실 파라미터들을 찾는 것으로 재형식화되도록, 수식들을 수정하는 것은 장애가 되지 않는다. 이러한 실시예는 또한 위의 디코더 실시예들과 결합될 수 있다.
본 발명의 실시예들에 따른 방법들은 또한 동작 추정 및 보상을 통해 증대되는 반복 WP 파라미터 추정과 결합될 수 있다. J.M. Boyce에 의한 "Weighted prediction in the H.264/MPEG-4 AVC video coding standard"에서 기술된 바와 같이, 먼저 초기 WP 파라미터들을 추정할 수 있고, 그 후 움직임 추정을 수행할 수 있고, 이후 움직임 추정의 다른 라운드에 뒤이은 이전 단계에서 획득된 움직임 정보를 사용하여, 그리고 일부 기준이 충족될 때(예, 특히 최대 수의 반복)까지 더 반복하여 WP 파라미터들을 재추정할 수 있다. 추가적인 실시예에 있어서, 본 발명의 실시예에 따른 방법은 이와 같은 반복 방법의 초기 반복을 시드/초기화하기 위하여 사용될 수 있다. 계산들의 속도를 더 높이기 위하여, 이것은 중개 반복들과 함께 선택적으로 사용될 수 있다. 마직막으로, 이전 반복들로부터의 정보는 사용 가능한 모드들 중 어느 것, 예컨대 경우 (a) 또는 (b)가 주어진 콘텐트에 대해 정확한 것인지를 먼저 결정하기 위하여 사용될 수 있어서, 추가적인 속도 증진을 야기한다.
일 실시예에 있어서, 만약 코덱이 영역, 매클로블록, 또는 블록 레벨에 대해 WP 이득들 및 인자들을 시그널링하는 것을 지원한다면, 위의 방법을 통한 국부적인 기초로 가중된 예측이 가능하다. 영역들 또는 블록들은 중첩될 수 있다. 슬라이스 ㄹ레벨 상에서 WP 파라미터들의 시그널링만을 지원하는 H.264와 같은 코덱을 사용하는 실시예들에 대해, 국부적인 레벨에 대한 상이한 WP 파라미터들의 사용은 다수의 기준 움직임-보상된 예측 및 기준 재배열/수정의 결합 사용을 통해 가능하다. 상이한 실시예들에 있어서, 위의 방법들은, 가중된 예측과 조합하여 움직임 추정 및 보상을 또한 포함할 수 있는 사전- 또는 후-처리 모듈(움직임-보상된 시간적 사전- 또는 후-처리 필터)에 병합될 수 있다. 조도 변화들이 압축 및 변환 매트릭스/수식들 도중에 사용된 도메인이 아니라 컬러 공간 도메인에서 발생한 경우들에 대한 조도 보상 파라미터 유도는 선형이 아니다.
위의 설명들은 시작 컬러 공간으로부터 종료 컬러 공간으로의 변환이 선형이라는 가정을 하였다. 그러나, 이러한 가정이 적용되지 않는 예들이 존재한다. 예컨대, 감마 보정을 적용하기 전에 선형-도메인의 RGB-컬러 공간에서 직접 샘플들을 처리함으로써 페이드들과 교차-페이드들이 인공적으로 생성되는 경우를 고려한다. 선형-공간의 RGB(또는 심지어 감마-공간의 RGB)가 로그-공간의 RGB 또는 YCbCr 컬러 공간으로 변환되는 경우 역시 그러하다. 이것은 예컨대 로그-공간의 RGB 또는 YCbCr, 영상 및 비디오 콘텐트에서 기술된 높은 다이내믹 레인지의 코딩을 고려할 때 발생한다. 시작 컬러 공간으로부터 종료 컬러 공간으로의 WP 파라미터들에서 변화는 아래에서 기술된 바와 같이 모델링된다. 두 실시예들이 기술되는데, 하나는 감마-보정된 RGB(R'G'B')를 위한 것이고, 다른 하나는 로그-공간의 RGB(R''G''B'')를 위한 것이다.
수학식 1의 일반 감마 보정 수식은 아래에 도시된 바와 같이 수학식 35로 단순화될 수 있다.
로그-공간의 RGB에 대해, 아래에 도시된 바와 같이 수학식 36이 유도된다:
페이드들과 교차-페이드들의 예측에 대한 변환의 영향은 아래에 기술된다.
페이드들 . 감마-보정된 RGB에 대해, 가장 단순한 경우는, 페이드가 아래의 수학식 37에 도시된 바와 같이 단일 이득으로 모델링되는 경우이다.
w'와 f'를 계산하기 위하여, 그들의 감마-보정된 상대물들에 대해, 아래에 도시된 수학식 38이 사용될 수 있다.
수학식 35와 수학식 38을 결합함으로써, 수학식 39에 도시된 수식이 얻어진다.
위의 수식은 이득 인자(w)를 통해 모델링되는 선형 RGB 도메인에서 페이드가 다시 이득 인자(
)를 사용함으로써 감마-보정된 R'G'B'에서 모델링될 수 있음을 나타낸다. 선형 RGB 도메인에서 이득 인자들에 의해 모델링된 페이드 전환들이 감마-보정된 R'G'B' 도메인에서 보상될 수 있다고 결정될 수 있다. 항(
)이 사용되었지만, 
가 각 성분에 대해 동일하다는 가정을 의미하지는 않음을 주목해야 한다. 위의 동작들이 성분 기초로 적용될 수 있기 때문에, 기술된 방법은 지수가 성분마다 다른 경우에 대해 적용될 수 있다. 예컨대, 성분(R)에 대해, 인자(
)를 유도한다.
로그-공간의 RGB에 대해, 위와 유사하게 w'' 및 f''가 아래의 수학식 40에 도시된 바와 같이 그들의 로그-공간의 상대물에 대해 계산된다.
수학식 36과 수학식 40을 결합하면, 수학식 40에 도시된 수식이 얻어진다.
위의 수학식 41은 이득 인자(w)를 통해 모델링된 선형 RGB 도메인 내의 페이드가 logw로 설정된 오프셋을 통해 로그 공간의 R''G''B'' 도메인에서 모델링될 수 있다.
교차- 페이드들 . 이제, 수학식 28의 단순하지만 실제적인 모델을 사용하는 감마-보정된 RGB를 위한 실시예를 고려한다. 이 모델과 함께 수학식 37을 사용하면, 수학식 42에 도시된 수식이 얻어진다.
위의 수학식 42를 보면, 두 개의 기준 프레임들의 감마-보정된 성분들과 현재 프레임(m)의 것 사이의 선형 관계를 유도하는 것이 도전적인 것은 자명해질 것이다. 
의 멱수로 설정되는 합들 중 하나, 예, 
의 분석을 시도함으로써 일부 통찰력이 얻어질 수 있다. 이것은 아래의 수학식 43에 도시된 바와 같이 처음으로 단순화될 수 있다.
가장 우측의 항은 이항 급수를 사용하여 확장될 수 있고, 이는 수학식 44에 도시된 바와 같이 한정된다.
α가 실수이고 정수가 아니기 때문에, 이항 계수는 수학식 45에 도시된 바와 같이 계산될 수 있다.
따라서, 수학식 46에 도시된 수식이 얻어진다.
그러나, 수학식 45에 도시된 확장은 특별히 도움이 되지 않을 수 있다. 한 가지 결정은, 두 개의 기준들의 가중된 평균을 포함하는 선형 RGB 도메인에서 처리함으로써 생성된 교차-페이드가, 두 개의 (감마-보정된) 기준들의 가중된 평균에 0이 아닌 오프셋을 더한 것을 사용하여 감마-보정된 R'G'B' 도메인에서 보상될 수 있다는 점이다. 대안적으로, 오로지 이득들을 사용하여 교차-페이드를 모델링하는 것이 가능하지만, 그러한 경우에, 이들은 가장 흔히 동일하지 않을 것이고, 1로 합산되지 않을 것이다. 원래의 이득들 및 R1 및 R2 값들에 대한 액세스가 존재한다면, 최종 오프셋은 특정 정밀도로 계산될 수 있다. 잘-동작하는 콘텐트에 대해, 및 프레임(m)으로부터 동일 거리인 기준 프레임들에 대해, w1 = w2 = 1/2인 것이 간주될 수 있다. 이러한 가정은 RGB 도메인에서 이득들 및 오프셋에 대한 위의 계산들을 단순화시킬 수 있다.
더욱이, 위의 해는 괄호 내에서 미분 합산 밖의 곱함수 
를 유지함으로써 합산을 확장하는 것에 기초한다는 것을 주목해야 한다. 이러한 시간 항 
이 대안적인 미분 합산의 곱함수가 될 대안적인 확장을 획득하는 것이 확실히 가능하다. 따라서, 선형 도메인의 생성된 교차-페이드들에 대한 감마-보정된 도메인 내에서 이득들 및 오프셋을 결정하는 문제에 대한 두 개의 명확하고 동일하게 정확한 해들(가설들)이 얻어질 수 있다. 두 가지 해들의 이득들 및 오프셋들의 평균화는 조도 보상을 개선할 수 있다. 이러한 방법은 도 5에 도시된다. 항(
)이 사용될지라도, 
가 각 성분에 대해 동일하다는 가정을 의미하지는 않는다는 것을 주의하자. 위의 동작들이 성분 기반으로 적용될 수 있기 때문에, 기술된 방법은 또한 지수가 성분마다 다를 경우들에 적용될 수 있다.
위의 해와 유사한 해들이 로그-공간의 도메인 내에서 교차-페이드들에 대해 적용될 수 있다. 이러한 실시예에 있어서, 주된 차이는, 주로 이득 인자들의 도움을 통해 교차-페이드를 모델링하는 대신에, 이러한 경우에 교차-페이드는, 페이드들의 경우에 대해 그러한 것으로 밝혀진 것과 같이, 주로 오프셋들의 도움을 통해 모델링될 것이라는 점이다. 간단한 해결책은 가중된 이중-예측에 대한 오프셋들을 시작 도메인(예, 선형 RGB 도메인)에서 이득 인자의 로그와 동일하게 설정하는 것이다.
추가적인 실시예들 . 유사한 실시예들이 또한 다른 컬러 공간들로부터 또는 이들로의 변환, 예컨대 감마-보정된 RGB에서 로그-공간의 RGB로, 또는 비선형 변환을 통해 제 1 컬러 공간으로부터 얻어지는 일부 다른 제 2 컬러 공간을 위해 가능함을 주목해야 한다.
일 실시예에 있어서, 만약 코덱이 매크로블록, 블록 또는 영역 레벨에 대한 WP 이득들 및 인자들을 시그널링하는 것을 지원한다면, 위의 방법을 통한 국부적인 기초의 가중된 예측이 가능하다. 영역들 또는 블록들은 중첩할 수 있다. 슬라이스 레벨 상에서 WP 파라미터들을 시그널링하는 것만을 지원하는 H.264와 같은 코덱들을 사용하는 실시예들에 대해, 국부적인 레벨상에서 상이한 WP 파라미터들의 사용이 다수의 기준 움직임-보상된 예측 및 기준 재배열/수정의 결합 사용을 통해 가능하다. 상이한 실시예에 있어서, 위의 방법들은, 가중된 예측과 결합하여 움직임 추정 및 보상(움직임-보상된 시간적 사전 또는 후-필터)을 포함할 수 있는 사전 또는 후-처리 모듈에 병합될 수 있다.
다른 실시예는 크기조절 가능한 비디오 코딩에서 애플리케이션을 찾는데, 이러한 비디오 코딩에서 콘텐트는 두 개의 층들, 즉 기본 층(BL)과 강화 층(EL)으로 압축되고, EL은 종종 BL로부터 예측된다. BL이 제 1 컬러 표현을 사용하여 압축되는 반면, EL이 선형 또는 감마-보정될 수 있는 제 1 컬러 표현과는 대조적으로 비선형(로그-공간)일 수 있는 제 2 컬러 표현을 사용하여 압축되는 경우가 존재할 수 있다. 본 명세서에서 기술된 방법들은 한 층에 대해 유도된 WP 파라미터들을 다른 층으로 변환하기 위하여 사용될 수 있다. 이것은 디코더에서와 인코더에서 모두 구현될 수 있고, 따라서 두 개의 상이한 컬러 표현들에 대한 파라미터들을 송신할 필요성을 제거한다. 선택적으로, 실제 EL 파라미터들로부터 한 층(예, BL)이 주어지면, 예측된(예, EL) WP 파라미터들 감산함으로써 계산된 조도 및 움직임 보상된 잔류물은, BL로부터의 예측을 추가함으로써 실제 파라미터들을 재구성하고 사용하는 것을 돕기 위하여 EL 내의 디코더에 송신될 수 있다.
조도 변화 관계들을 사용한는 페이드 및 교차-페이드 검출.
본 섹션에서, 페이드 및 교차-페이드 검출 모두를 위해 유용한 알고리즘이 기술된다. 페이드들 및 교차-페이드들의 시작 및 종료 프레임들을 검출함으로써 기술된다. 알고리즘은 페이드 및 교차-페이드가 주로 선형이고 따라서 수학식 31 및 수학식 37과 같은 수식들에 의해 모델링된다는 가정에 기초한다. 이러한 가정은 현재 프레임과 기준 프레임(들) 사이의 거리에 비례하는 이득 인자들(wi)로 옮겨진다. Y' 성분에 대한 알고리즘의 한 가지 가능한 실시예가 제공되지만, RGB 도메인의 임의의 다른 성분, 또는 일부 다른 선형 컬러 공간 도메인이 고려될 수 있고, 여전히 페이드들 및 교차-페이드들을 한정함을 주목해야 한다. 일부 조건들 하에서, 이러한 알고리즘은 Cb 및 Cr 성분들로 확장될 수 있지만, 그들의 DC들은 페이드 및 교차-페이드 검출을 위해 신뢰하지 못할 수 있다. 상이한 실시예에 있어서, 하나 이상의 컬러 공간 성분들의 결합 사용은 이러한 페이드 검출 방법의 신뢰성을 증가시킬 수 있다. 이러한 설명을 위하여, Y'm , dc는 프레임(m)의 Y'성분의 DC 평균 값을 나타낸다고 가정한다.
페이드 전환들이 선형이라는 가정으로부터 유래하는 일부 특성들이 아래에 제공된다.
A. 프레임(m)의 DC의 값은 그 이전 및 후속 프레임들의 DC들의 값의 평균과 대략 동일하다 : 
. 이 속성은 식 31 및 식 37의 결과로서 그러하다.
B. 프레임(m)의 DC의 값은 그 다음 프레임의 DC 값의 두 배에서 그 다음 프레임에 후속하는 프레임의 DC 값을 감산한 것와 대략 동일하다: 
. 이는 위의 속성 A의 결과로서 그러하다.
C. 프레임(m)의 DC의 값은 그 이전 프레임의 DC 값의 두 배와 그 다음 프레임에 후속하는 프레임의 DC 값을 더한 합을 3으로 나눈 값과 대략 동일하다 : 
. 이는 위의 속성들 A와 B의 결과로서 그러하다. 경우 (c)와 (d)는 또한 반전된 순서로 한정될 수 있다. 이들 한정들은 다음과 같다.
D. 프레임(m)의 DC의 값은, 그 이전 프레임의 DC 값의 두 배에서 그 이전 프레임에 선행하는 프레임의 DC 값을 감산한 것과 대략 동일하다 : 
. 이는 속성 A의 결과로서 그러하다.
E. 프레임(m)의 DC의 값은 그 다음 프레임의 DC 값의 두 배와 그 이전 프레임에 선행하는 프레임의 DC 값을 더한 합을 3으로 나눈 값과 대략 동일하다 : 
. 이는 속성들 A와 D의 결과로서 그러하다.
도 6, 도 7, 도 8 및 도 9에 도시된 상황들에 대한 위의 경우들의 애플리케이션은 각 상황들에 결합된 일부 조건들의 유도와 함께 아래에서 기술된다.
조건 1 : 감소하는 DC 값(도 6 참조)를 갖는 페이드의 종료의 경우에 대해, 다음의 부등식들이 참이 될 것이다 : 속성 C의 프레임(m+2)의 DC 값은, 속성 B의 것보다 클 속성 A의 것보다 클 것이다, Y'm +2, dc(C) > Y'm +2, dc(A) > Y'm +2, dc(B), 그리고 프레임(m+1)의 DC 값에 대해서 그러할 것이다, Y'm +1, dc(C) > Y'm +1, dc(A) > Y'm +1, dc(B).
조건 2 : 증가하는 DC 값(도 7 참조)를 갖는 페이드의 종료의 경우에 대해, 다음의 부등식들이 참이 될 것이다 : 속성 C의 프레임(m+2)의 DC 값은, 특성 B의 것보다 작을 속성 A의 것보다 작을 것이다, Y'm +2, dc(C) < Y'm +2, dc(A) < Y'm +2, dc(B), 그리고 프레임(m+1)의 DC 값에 대해서 그러할 것이다, Y'm +1, dc(C) < Y'm +1, dc(A) < Y'm +1, dc(B).
조건 3 : 증가하는 DC 값(도 8 참조)를 갖는 페이드의 시작의 경우에 대해, 다음의 부등식들이 참이 될 것이다 : 속성 E의 프레임(m+2)의 DC 값은, 속성 D의 것보다 클 속성 A의 것보다 클 것이다, Y'm +2, dc(E) > Y'm +2, dc(A) > Y'm +2, dc(D), 그리고 프레임(m+3)의 DC 값에 대해서 그러할 것이다, Y'm +3, dc(E) > Y'm +3, dc(A) > Y'm +1, dc(B).
조건 4 : 감소하는 DC 값(도 9 참조)를 갖는 페이드의 시작의 경우에 대해, 다음의 부등식들이 참이 될 것이다 : 속성 E의 프레임(m+2)의 DC 값은, 속성 D의 것보다 작을 속성 A의 것보다 작을 것이다, Y'm +2, dc(E) < Y'm +2, dc(A) < Y'm +2, dc(D), 그리고 프레임(m+3)의 DC 값에 대해서 그러할 것이다, Y'm +3, dc(E) < Y'm +3, dc(A) < Y'm +3, dc(D).
대안적인 실시예에 있어서, 위의 조건들은 입력 시퀀스를 시간적으로 및 공간적으로 하위-샘플링함으로써 시험될 수 있다. 이것은 예컨대 더 긴 페이딩 전환들의 경우에 더 빠른 계산을 위해 유리할 수 있다. 이는 또한 범위밖에 놓이는 것(outlier)을 제거하는 것을 도울 수 있고, 따라서 디코더의 효율을 증대시킨다. 시간 축에서의 하위 샘플링은 검출 알고리즘을 위해 사용된 통계들의 시간적인 필터링으로부터 유리할 수 있다.
위의 경우들 및 조건들의 분석으로부터 초래되는 페이드 및 교차-페이드 검출 알고리즘은 아래에서 기술된다. 이러한 알고리즘의 흐름도는 도 10(단계 번호들은 도 10에 사용된 라벨 번호들을 나타낸다)에 도시된다.
(a) 단계(101) : 프레임 카운터를 초기화하고 프레임 분석을 시작한다. 단계(102)로 진행.
(b) 단계(102) : 현재 프레임(m)에 대해, Y'CbCr 및 RGB 도메인 성분들의 DC값들을 계산한다. 단계 3으로 진행.
(c) 단계(103) : 현재 프레임(m)에 대해, RGB 도메인 및 Y'CbCr 도메인의 Y' 성분의 모든 성분의 DC값들에 대한 Y'm , dc(A), Y'm , dc(B), Y'm , dc(C), Y'm , dc(D) 및 Y'm,dc(E)를 계산한다. 단계 4로 진행.
(d) 단계(104) : 아직 시험받지 않은 도메인의 성분을 선택한다.
(e) 단계(105) : 프레임들(m-l 및 m)에 대해 조건 1을 시험한다. 만약 충족되면, 프레임(m)을 감소하는 DC 값을 갖는 페이드의 종료 프레임으로 표시.
(f) 단계(106) : 프레임들(m-l 및 m)에 대해 조건 2을 시험한다. 만약 충족되면, 프레임(m)을 증가하는 DC 값을 갖는 페이드의 종료 프레임으로 표시.
(g) 단계(107) : 프레임들(m-l 및 m)에 대해 조건 3을 시험한다. 만약 충족되면, 프레임(m-l)을 증가하는 DC 값을 갖는 페이드의 시작 프레임으로 표시.
(h) 단계(108) : 프레임들(m-l 및 m)에 대해 조건 4를 시험한다. 만약 충족되면, 프레임(m-l)을 감소하는 DC 값을 갖는 페이드의 시작 프레임으로 표시.
(i) 단계(109) : 더 많은 선택되지 않은 컬러 공간 도메인 성분들이 존재하면, 성분 카운터(114)를 갱신하고, 단계(104)로 진행하고; 그렇지 않을 경우 단계(110)으로 진행.
(j) 단계(110) : 라벨링 처리 : 상충 라벨이 존재하면, 가장 많이 발생하는 것을 선택. 여기에서 특정 성분 라벨들을 다른 것보다 더 중요한 것으로 (예, Y가 Cb 또는 Cr보다 더 중요하다) 가중시키는 것이 가능하다. 결정 측정 기준은 따라서 가중될 수 있다. 최종 라벨링을 저장. 단계(111)로 진행.
(k) 단계(111) : 임의의 이전 최종 라벨링이 현재 프레임(m)에 앞선 프레임들의 처리 이전 및 이후에 저장되었는지를 검사. 만약 저장되지 않았다면, 단계(112)로 진행. 그렇지 않고 저장되었다면, 현재 및 이전에 저장된 라벨링이 "호환 가능"한지를 검사(단계(115)): 예, 이전 라벨이 "증가하는 DC를 갖는 페이드의 시작 프레임"인지 그리고 현재 라벨이 "증가하는 DC를 갖는 페이드의 종료 프레임"인지를 검사, 그후 이들 프레임들의 시퀀스가 페이드-인을 포함한다고 선언될 수 있다. 그러나, 현재 라벨이 "감소하는 DC를 갖는 페이드의 시작 프레임"이라면, 잘못된 알람이 존재한다. 대안적으로, 현재 라벨이 "증가하는 DC를 갖는 페이드의 종료 프레임"이라면, 프레임의 시퀀스가 교차-페이드인 것이 추측될 수 있다. 단계(112)로 진행.
(l) 단계(112) : 분석할 더 많은 프레임들이 존재하는지를 결정. 만약 그렇다면, 프레임 카운터를 갱신하고(단계 115), 단계(102)로 진행. 그렇지 않을 경우, 단계(113)로 진행.
(m) 단계(113) : 프레임 분석을 종료.
추가적인 실시예들에 있어서, 프레임들의 DC들을 고려하는 대신에, 프레임의 히스토그램 모드 또는 히스토그램의 가장 높은 값들의 조합을 고려할 수 있다. 시간적 및/또는 공간적 하위-샘플링은 또한 계산 복잡도를 제한하기 위하여 사용될 수 있다. 하위-샘플링은 컬러 성분 기초로 다를 수 있다: 페이드들에 의해 더 영향을 받는 것으로 알려진 컬러 공간 성분들은 더 낮은 하위-샘플링 인자로부터 유리할 수 있다. 하나 보다 많은 성분이 결합 검출을 위해 사용될 때, 결정 체계를 채택함으로써 추가적인 속도 상승이 가능하다 : 성분들은 이들이 얼마나 잘 페이드들의 검출을 용이하게 하는지에 따라 정렬될 수 있다. 제 1 성분이 이들 결정 방법과 함께 처리되고, 결과가 음이라면, 나머지 성분들을 검사할 필요는 없다. 상이한 실시예에 있어서, 이 방법은 또한, 국부적인 페이드들 및 교차-페이드들을 검출하기 위하여, 영역-기초로 적용될 수 있고, 선택적으로 분할을 통해 증대될 수 있다. 이러한 경우에 있어서, DC들, 또는 심지어 히스토그램들과 같은 통계들은 주어진 영역들에 대해 계산되어야 한다. 상이한 실시예에 있어서, 위의 방법들은, 또한 가중된 예측과 조합하여 동작 추정 및 보상(움직임-보상된 시간적인 사전 또는 사후-필터)을 포함할 수 있는 사전 또는 사후-처리 모듈에 병합될 수 있다.
낮은-복잡도의 교차- 페이드 검출. 페이드로서 프레임의 분류는 제 3 당사자 알고리즘을 통해 또는 도 11에 도시되고 아래에 기술된 알고리즘과 같은 알고리즘을 통해 이루어질 수 있다:
(a) 현재의 프레임(m)에 대해, RGB 및 Y'CbCr 컬러 공간 성분들의 평균 값: (Rm, Gm, Bm) 및 (Y'm, Cbm, Crm)을 계산한다. 또한 양-방향 예측 기준 프레임들에 대한 RGB 및 Y'CbCr 컬러 공간 성분들의 평균값들: (R1, G1, B1),(Y'1, Cb1, Cr1),(R2, G2, B2) 및 (Y'2, Cb2, Cr2)을 계산한다. 이들 평균값들은 전체 프레임 또는 일부 영역 상의 DC 값들로서, 또는 (다수의 히스토그램들이 프레임마다 계산되는 것을 가정하여) 히스토그램 모드들 또는 히스토그램 또는 히스토그램들의 가장 높은 피크들의 조합으로서 계산될 수 있다.
(b) 각 기준으로부터 평균 이득들(w1 및 w2)이 1까지 합산되는지를 검사. 또한 이득들의 크기가 현재 프레임으로부터 기준 프레임의 거리에 반비례하는지를 검사, 예컨대 동일거리의 프레임들에 대해, 대략 절반의 이득들이 관찰되는 것이 예상되는지를 검사.
(c) 최종적으로, 수학식 28 및 수학식 31이 이전의 두 단계들로부터 값들과 관계될 때 충족되는 지를 시험. 만약 크로마 성분 이득들이 (이 경우에서와 같이) 알려지지 않으면, 두 컬러 공간들에 대해 이들을 루마 성분 이득들의 값들로 설정한다.
위의 시험들이 충족되면, 프레임은 교차-페이드 프레임으로 선언되고, Y'CbCr 도메인에 대한 크로마 성분 가중들은 위에서 기술된 바와 같이 설정된다.
클리핑 및 포화를 통한 조도 보상 파라미터 유도.
Y'CbCr 도메인의 양자화된 디지털 형태들의 이전 유도는 Y'CbCr 성분들이 8-비트의 부호 없는 정수들에 대해 [0, 255]의 완전한 범위를 사용하지 않는 것이 가능하다는 것을 보여준다. 사실, BT.601 변환(수학식 6) 및 권고된 아날로그-디지털 변환 방법(수학식 3)에 대해, 최종 범위들은 Y'∈[16,235],Cb∈[16,240], 및 Cr∈[16,240]이다. (수학식 7의 JFIF 아날로그-디지털 변환을 통해) 전체 범위가 사용될 때 조차, 값들은 0과 255에서 여전히 클리핑되고 포화될 것이다. 8-비트 깊이의 콘텐트가 위에서 제공된 분석에서 사용되었지만, 클리핑 및 포화를 통해 문제점들이 항상 발생한다(포화된, 포화, 및 클리핑된의 용어들은 본 명세서에서 교환 가능하게 사용됨을 주목해야 한다). 예컨대 10 또는 12-비트 콘텐트와 같은 더 큰 비트-깊이의 콘텐트, 또한 동일한 문제점들을 겪을 것이다. 본 발명의 실시예들은 각각을 콘텐트 비트-깊이 및 컬러 공간(예, XYZ, YCbCr, YCgCo, 등)에 적용한다. 클리핑 및 포화 동작들은 전역적인 가중 예측의 예측 효율에 해로울 수 있다. 더욱이, 이들은 또한 최상의 전역적인 및 국부적인 가중된 예측 파라미터들(이득 및 오프셋)에 대한 검색을 방해한다. 두 가지 널리 이용되는 가중된 예측 검색 방법의 동작은 포화된 픽셀 값들을 갖는 경우들에서 아래에 논의된다.
도 12는 전역적인 조도 변화의 경우를 도시한다. 배경(C)은 어둡고, 어두운 채 유지되고: 값(16)으로 클리핑된다. 도 12에서, 이들 수들은 Y' 성분의 값들을 나타낸다고 가정한다. 물체의 제 1 부분(A)은 프레임(n)에서 값(32)으로 약하게 보이고, 프레임(n+l)에서 값(64)을 갖는 강도로 더욱 밝게 된다. 값(32)을 갖는 동일한 물체의 다른 부분(B)은 프레임(n+l)에서 출현한다. 구획(C)은 프레임의 절반과 동일하다고 가정한다. 구획들(A 및 B) 각각이 면적에서 프레임의 1/4과 동일하다고 가정한다. 또한 구획(C)의 콘텐트가 매우 편평하고 따라서 매우 적은 비트들로 코딩될 수 있다고 간주된다. 대조적으로, 구획들(A 및 B)은 조직화되고, 따라서 코딩하기 더 어렵다. 이러한 상황은 로고의 페이드-인 또는 페이드-아웃을 반영하고, 이는 영화 예고편들에서 극히 일반적이다.
전역적인 가중된 예측(오프셋(f) 및 이득(w))은 예측된 기준 프레임(m)을 사용하여 프레임(m+l)을 예측하기 위하여 사용될 수 있다. 이득 및 오프셋의 추정은 특히 DC 기반의 방법들, 반복 움직임-보상 기반 방법들, 및 히스토그램 방법들을 통해 이루어질 수 있다. 아래의 설명은 세 가지 기존의 DC-기반 기술들을 제공한다.
기술 1 : 제 1 기술은 오프셋을 0으로 설정하고, DCn +1/DCn으로서 이득을 계산하기 위함이다.
기술 2 : 제 2 기술은 이득을 1로 설정하고, DCn +1 - DCn으로서 오프셋을 계산하기 위함이다.
기술 3 : 제 3 기술은 이득을 w = (E{|In +1 - DCn +1|})/(E{|In - DCn|})로 설정하고, f = DCn +1 - w×DCn으로 오프셋을 계산하기 위함이다. 이 기술은 K. Kamikura 등에 의한 "Global Brightness-Variation Compensation for Video Coding" 및 Y. Kikuchi와 T. Chujoh에 의한 "Interpolation coefficient adaptation in multi-frame interpolative prediction"에서 기술된 평균 자승 최소법의 하나로 문제를 다룸으로써 유도된다. DC 값은 DCn = E{In}으로 한정되는데, 여기에서 In은 프레임(n) 내의 한 픽셀의 값이고, 동작 E{X}는 X의 평균값을 나타낸다.
위의 기술들을 통해 이득 및 오프셋을 추정하고, 조도 변화 보상을 위해 이들을 채용하는 결과들은 아래에 기술된다.
기술 1 : 기술 1을 사용하여, (w, f) = (1.0, 4)가 얻어진다. 이들 파라미터들을 통한 전역적인 조도 보상을 기준 프레임(n)에 적용하여, 구획들(B 및 C)은 19.2의 값들을 갖고, 구획(A)은 38.4의 값을 갖는다. 따라서, 모든 구획들은 잘못 예측된다.
기술 2 : 기술 2를 사용하여, (w, f) = (1.0, 4)가 얻어진다. 이들 파라미터들을 통한 전역적인 조도 보상을 기준 프레임(n)에 적용하여, 구획들(B 및 C)은 값 20을 갖고, 구획(A)은 36의 값을 갖는다. 따라서, 모든 구획들은 잘못 예측된다. 구획(A)이 코딩하기 더 힘들기 때문에, 기술 1이 이러한 예측 상황에 대해 기술 2보다 우수하다고 결정될 수 있다.
기술 3 : 기술 3를 사용하여, (w, f) = (2.67, -29.34)가 얻어진다. 이들 파라미터들을 통한 전역적인 조도 보상을 기준 프레임(n)에 적용하여, 구획들(B 및 C)은 값 2.66을 갖고, 구획(A)은 56.1의 값을 갖는다. 따라서, 모든 구획들은 잘못 예측된다. 구획들(A 및 B)이 구획(C)보다 코딩하기 더 힘들기 때문에, 이러한 예측 상황에 대해 기술 1과 2에 대한 기술 3의 성능에 관한 어떠한 결정도 존재하지 않는다.
위의 분석으로부터, 이들 세 가지 DC-기반 기술들이 클리핑/포화 값들에 근접한 전환을 다룰 수 없다는 것은 자명해진다. 사실, 위의 설명이 초기에 16에서 포화되는 흑색으로부터의 페이드-인을 제공하지만, 16 또는 0에서 포화되는 흑색으로의 페이드-아웃, 또는 255 또는 240에서 포화되는 백색으로의 페이드-아웃을 연구한다면 동일한 결정이 구축될 것이다. 유사한 결정들이 더 높은 비트-깊이들 또는 상이한 컬러 공간들에 대해 유효하다. 일반적으로, 가중된 파라미터 추정은, 포화점들에 근접하여, 예컨대 루마 및 크로마 다이내믹 레인지의 최소 및 최대에 근접하여 동작할 때, 손상될 수 있다. 이러한 설명에 있어서, 이들 포화 값들은 ls 와 hs 로 일반화될 수 있고, 이들은 반드시 0이 아닐 필요는 없다(값들이 0보다 작지 않도록 클리핑되기 때문에 0은 여전히 포화점이다). 다음의 하위 섹션에 있어서, 픽셀 값들의 포화가 평범한 페이드들의 에지들에서 전역적인 가중된 예측의 문제를 다룰 수 있는 두 가지 알고리즘들이 논의된다.
라벨이 붙여진 세트들에 기초한 알고리즘. 이러한 알고리즘은 픽셀들에 속한 픽셀 위치들에 대한 라벨링에 기초한다 :
(a) 프레임(n-1)에 대해 포화되었고, 프레임(n)에서 포화되지 않은 값을 취한다, 예컨대 픽셀 값들은 가장 낮은 포화 값(In -1 = ls), 또는 가장 높은 포화 값(In -1 = hs)에서 포화되었고, 이제 이들은 각각 가장 낮은 포화 값보다 크거나(In-1 > ls), 가장 큰 포화 값보다 작거나(In -1 < hs);
(b) 또는 프레임(n-1)에 대해 포화되지 않았고, 프레임(n)에서 포화된 값을 취한다, 예컨대 픽셀 값들은 가장 낮은 포화 값보다 크거나(In -1 > ls), 또는 가장 높은 포화 값(In -1 < hs)보다 작고, 이제 각각 가장 낮은 포화 값에서 포화되거나(In -1 = ls), 또는 가장 큰 포화 값에서 포화된다(In -1 = hs).
도 13에서, 프레임(n+k)에 대해, 구획(C)은 포화된채 유지되고, 반면에 구획(B)은 초기에 포화된 후, 포화되지 않은 값들을 취한다(프레임(n+k)에서). 구획(A)은 예측된 프레임 및 기준 프레임 모두에서 포화된 값들을 갖는 구획들의 세트로 한정된다. 구획(D)은 주어진 프레임에 대해 포화되지 않은 값들을 갖는 구획들의 세트로 한정된다. 도 13에 도시된 도면과는 대조적으로, 구획들은 연속적일 필요가 없음을 주목해야 한다. 이들은 이들이 위에서 기술된 조건들을 따르는 한, 다수의 영역들을 포함할 수 있다. 이것을 백색 및 흑색(또는 임의의 다른 균일한 컬러)으로 및 이로부터의 페이드-인들 및 페이드-아웃들로 일반화하기 위하여, k는 임의의 0이 아닌 정수라 가정한다. 따라서, 이러한 상황에 의존하여, 프레임(n)은 현재 프레임 또는 예측 기준으로서 작용할 수 있다. 그 반대도 프레임(n+k)에 대해 적용될 수 있다. An +k = Dn +k ∩ Dn를 주목할 가치가 있다. 또한 Dn +k = An +k ∪ Bn +k임을 주목해야 한다.
라벨이 붙여진 세트들에 기초한 WP 파라미터 검색을 알고리즘이 도 14(단계 번호들은 도면에 도시된 라벨 번호들을 나타낸다)에 도시되고, 아래에서 추가적으로 상세하게 기술된다 :
(a) 단계(201) : 각 예측된 프레임 및 기준 프레임 쌍에 대해, 프레임 번호를 초기화하고, 단계(202)로 진행;
(b) 단계(202) : 각 예측된 프레임 및 기준 프레임 쌍에 대해, 기준 카운터를 초기화하고, 단계(203)로 진행;
(c) 단계(203) : 각 예측된 프레임 및 기준 프레임 쌍 내에서 만약 있다면 포화된 구획들을 결정하고, 단계(204)로 진행;
(d) 단계(204) : 두 프레임들이 포화된 휘도 값들을 갖는 큰 영역들을 공유하는지를 결정. 이것은 기존의 방법들을 통해, 또는 대안적으로 프레임들 내에서 픽셀들을 적절하게 시험하고 분류함으로써 행해질 수 있다. 만약 공유한다면, 단계(205)로 진행; 그렇지 않을 경우 단계(208)로 진행;
(e) 단계(205) : 각 예측된 프레임 및 기준 프레임 쌍 내에서 만약 있다면 포화되지 않은 구획들을 결정하고, 단계(206)로 진행;
(f) 단계(206) : 두 프레임들이 포화되지 않은 휘도 값들을 갖는 큰 영역들()을 공유하는지를 결정. 기존의 방법들, 또는 픽셀-마다의 시험 및 분류가 이 업무를 위해 사용될 수 있다. 만약 공유한다면, 단계(207)로 진행; 그렇지 않을 경우 단계(208)로 진행;
(g) 단계(207) : (동일한 수의 픽셀들로) 정상화된 세트들(An +k 및 An) 상에 일부 WP 검색 방법(특히, DC-기반 방법들, 히스토그램-기반 방법들, 동작 추정 및 보상을 갖는 반복 방법들)을 적용. 현재의 프레임에 대한 검색을 초기화하기 위하여 이전 프레임들로부터의 WP 파라미터들을 재사용. 이득 및 인자를 획득. 단계(209)로 진행;
(h) 단계(208) : (동일한 수의 픽셀들로) 정상화된 프레임들(n 및 n+k) 상에 일부 WP 검색 방법(특히, DC-기반 방법들, 히스토그램-기반 방법들, 동작 추정 및 보상을 갖는 반복 방법들)을 적용. 현재의 프레임에 대한 검색을 초기화하기 위하여 이전 프레임들로부터의 WP 파라미터들을 재사용. 이득 및 인자를 획득. 단계(209)로 진행;
(i) 단계(209) : 추가적인 성분들이 분석될 것인지를 결정, 만약 그렇다면, 기준 카운터를 갱신하고(단계(211)), 단계(203)로 진행하고; 그렇지 않을 경우 단계(210)으로 진행;
(j) 단계(210) : 더 많은 예측된 프레임 및 기준 프레임 쌍들이 평가되어야 한다면, 하나의 쌍을 선택하고, 현재의 프레임 쌍에 대해 유도된 WP 파라미터들을 저장하고, 프레임 카운터를 갱신하고(단계(212)), 단계(202)로 진행; 그렇지 않을 경우 알고리즘를 종료.
추가적인 실시예들 . 포화된 및 포화되지 않은 영역들의 유도는 분할 방법들의 사용으로부터 유리할 수 있다. 움직임 보상은 한 프레임으로부터 다음 프레임으로 이들 영역들을 추적하는데 사용될 수 있고, 따라서 이들 방법들의 중요한 성분들인 구획들(A, B, C 및 D)의 형성을 위한 시드로서 작용한다. 대안적인 실시예에 있어서, WP 파라미터 추정 방법들을 구획들(A)에 이들 구획들이 마치 동일한 단일 영역을 나타내는 것처럼 적용하는 대신에, 분할이 이들을 상이한 물체들로 분류할 수 있고, 알고리즘들이 각 물체/영역에 개별적으로 적용될 수 있다. 일 실시예에 있어서, 만약 코덱이 매크로블록, 블록 또는 영역 레벨에 WP 이득들 및 인자들을 시그널링하는 것을 지원한다면, 위의 방법을 통한 국부적인 기초의 가중된 예측이 가능하다. 영역들 또는 블록들은 중첩될 수 있다. 슬라이스 레벨 상에서 WP 파라미터들을 시그널링하는 것만을 지원하는 H.264와 같은 코덱들을 사용하는 실시예들에 대해, 국부적인 레벨상에서 상이한 WP 파라미터들의 사용은 다수의 기준 움직임-보상된 예측 및 기준 재배열/수정의 결합 사용을 통해 가능하다. 상이한 실시예에 있어서, 위의 방법들은, 가중된 예측과 결합하여 동작 추정 및 보상(움직임-보상된 시간적 사전 또는 후-필터)을 포함할 수 있는 사전 또는 후-처리 모듈에 병합될 수 있다.
반복 추정에 기반한 알고리즘. 이러한 알고리즘은 포화된 값들의 문제점을 상이하게 다룬다. 더욱이, 이것은, 이전 알고리즘의 주된 문제점, 즉 동작들을 분기시키는 것에 관한 증가된 복잡도를 다룬다. 공통 세트의 단면적의 결정(An +k=Dn +k∩Dn)이 단순하게 들릴 수 있으나, 이들 세트들을 결정하기 위하여 픽셀-마다의 조건 분기들을 필요로 한다. 더욱이, 심지어 이들 세트들의 결정 이후에도, 가중된 파라미터들 추정 알고리즘에 따라, 최종 세트들을 위해 DC 값들을 새롭게 계산하는 것이 여전히 필요하다. 복잡한 기술 3과 같은 특정 WP 검색 방법들에 대해, 이것은 또한 다시 특정 세트에 대해 제한되어야 하는 픽셀-마다의 합산을 포함한다. 그러므로, 히스토그램들과 다수의 반복들에 기초하는 상이한 알고리즘이 유용할 수 있다. 이러한 알고리즘이 특히 DC-기반 방법들, 히스토그램-기반 방법들, 동작 추정 및 보상을 갖는 반복 방법들과 같은 가중된 파라미터 추정 기술들에 대한 애플리케이션을 따를 수 있음을 주목해야 한다.
반복 제거에 기초한 알고리즘에 있어서, 프레임(n)을 가중된 예측을 위해 사용된 현재 프레임이라 하고, 프레임(n+k)을 기준 프레임이라고 가정한다. 기준 프레임은 원래의 프레임 또는 압축된 잔류물들의 재구성 이후 압축해제된 프레임이 될 수 있다. 다음의 파라미터들은 다음과 같이 초기화될 수 있다:
(a) 현재의 반복 수 t = 0;
(b) 현재 프레임(n)에 대해 현재의 가장 낮은 포화값 
;
(c) 현재 프레임(n)에 대해 현재의 가장 높은 포화값 
;
(d) 기준 프레임(n+k)에 대해 현재의 가장 낮은 포화값 
;
(e) 기준 프레임(n+k)에 대해 현재의 가장 높은 포화값 
;
현재의 반복 수를 t라고 가정한다. 알고리즘은 선택적으로 두 프레임들의ㅏ 히스토그램들을 먼저 계산한다. 이러한 동작은 픽셀-마다의 분기들을 회피하고 이들을 픽셀-마다의 매트릭스 메모리 액세스로 대체하기 때문에 낮은 복잡도로 이루어지고, 이것은 일반적으로 구현하기에 더 빠른데, 왜냐하면 256-요소의 매트릭스이 임의의 프로세서의 캐쉬 메모리에 쉽게 어울릴 수 있기 때문이다. 이러한 선택적인 계산은 예컨대 히스토그램 매칭 또는 DC 값들에 의존하는 WP 검색 방법들에 유용하다. 다음 단계는 기준 프레임(n+k)을 사용하여 프레임(n)을 예측하는 가중된 파라미터들(WP 검색)의 추정을 포함한다. WP 검색은 특히 DC-기반 방법들, 히스토그램-기반 방법들(예, 히스토그램 매칭), 동작 추정 및 보상을 통한 반복 방법들을 고려할 수 있다. 더욱이, 반복(t-l)으로 유도된 WP 파라미터들은 반복(t)에서 WP 검색을 개선하고 속도를 높이기 위하여 사용될 수 있다.
WP 검색은 또한 오프셋들 및 이득들을 결정하기 위하여 히스토그램들을 사용하는 알고리즘들을 고려할 수 있다. 이들 히스토그램들은 이제 주어진 프레임(m)에 대해 파라미터들(lm s ,t 및 hm s ,t)을 통해 제한될 수 있다. 일반적으로 방법의 신규성은, 각 반복의 WP 검색이 현재 및 기준 프레임에 대해 미리 결정된 가장 낮은 및 가장 높은 포화 경계들을 고려하는데 제한된다는 점이다.
가중된 예측 파라미터들의 추정이 완료된 이후, 경계들의 파라미터들(lm s ,t 및 hm s ,t)은 갱신되어야 한다. 일반적으로, 현재 프레임의 파라미터들(ln s ,t 및 hn s ,t)은 반복들에 관계 없이 변화되지 않은 채 유지된다. 여기에서 ln s ,t = ln s ,t+1 및 hn s ,t = hn s ,t+1이다. 그러나 반복 프레임의 파라미터들(ln + k s ,t 및 hn + k s ,t)은 다음의 단락에서 기술된 것과 같은 알고리즘을 통해 갱신된다.
기준 프레임의 파라미터들을 갱신하기 위한 알고리즘에 있어서, (wt, ft)가 가중된 예측 추정 알고리즘에 의해 결정된 오프셋 및 이들을 나타낸다고 가정한다. 다음 반복을 위해 사용될 파라미터들(ln + k s ,t+1 및 hn + k s ,t+1)은 수학식 47에 도시된 다음의 부등식들을 충족시킴으로써 결정될 수 있다.
pn +k가 기준 프레임(n+k) 내의 임의의 픽셀이라고 가정한다. 새롭게 유도된 이득 및 오프셋을 통해 포화되거나 클리핑될 픽셀 값들은 바람직하지 않은 것으로 표시된다. 일반적으로, 본 발명의 일 실시예에 따라 알고리즘을 갱신하는 것은, 가중된 예측이 기준 프레임으로부터 현재 프레임을 예측하기 위하여 사용될 때, 최종 픽셀 값들이 포화되거나 클리핑되지 않도록 하는 방식으로, 기준 프레임에 대한 하부 및 상부 경계들을 설정할 것이다. 따라서, 위의 수식으로부터, 다음 반복(t+l)에 대한 새로운 포화 경계들이 아래의 수학식 48에 도시된 바와 같이 결정된다:
그 다음, 예컨대, 이전의 반복(wt -1, ft -1)의 것으로부터 절대 이득 차이가 0.03보다 크고, 절대 오프셋 차이가 3보다 큰, 8-비트 콘텐트와 실수-값의 이득들 간주하여, 이득 및 오프셋(wt, ft)이 충분히 상이한지가 결정된다. 이들이 충분히 상이하지 않다면, 알고리즘은 수렴되고, 가중된 파라미터들 추정은 종료된다. 최대 수의 반복에 도달된다면, 알고리즘은 또한 종료된다. 그렇지 않을 경우, 반복 카운터는 ㅅ+l까지 증분되고, 실행은 다시 가중된 파라미터들(wt -1, ft -1)의 추정으로 반환된다. 이러한 알고리즘은 도 15에 도시된다.
추가적인 실시예들 . 본 발명의 이러한 실시예는 또한 장면 내에서 상이한 물체들 또는 콘텐트에 대응하는 분할된 영역들을 고려함으로써 보강될 수 있다. 영역들의 분할 및 유도 이후, 각 영역에 별도로 위의 방법을 적용할 수 있다. 움직임 보상은 추적을 지원할 수 있다. 위의 방법은 컬러 공간의 단일 성분을 고려한다. 각 이들 및 오프셋 선택의 영향이 동일한 시간에 전체 컬러 공간에서 고려된다면, 더 양호한 성능이 얻어질 수 있다. 성분들 중 두 가지가 포화되지 않을 것이지만, 마지막이 포화 문제점들을 나타낼 수 있는 경우가 존재할 수 있다. 더욱이, 보다 더 중요하게, 컬러 공간 변환을 수행한 이후 샘플 값들에 대한 영역을 고려할 수 있다: 예컨대 압축을 위해 사용된 초기 컬러 공간, 예컨대 Y'CbCr에서 샘플들의 값들이 포화되지 않을 수 있지만, 포화된 값들은 디스플레이를 위해 또는 예컨대 층간 예측을 위해(강화 층 내에서 높은 다이내믹 레인지의 샘플에 대한 크기조정 가능한 코딩의 경우에), 샘플들을 다른 컬러 공간, 예컨대 RGB로 변환한 후의 하나 이상의 성분들을 초래할 수 있다. 이러한 알고리즘은 이점을 고려할 수 있고, 경계들을 심지어 포화되지 않은 컬러 공간 성분들에 제한한다. 일 실시예에 있어서, 코덱이 매크로블록 또는 블록 레벨 상에서 WP 이득들 및 인자들을 시그널링하는 것을 지원한다면, 위의 방법을 통해 국한적인 기초로 가중된 예측이 가능하다. 슬라이스 레벨 상에서 WP 파라미터들을 시그널링하는 것만을 지원하는 H.264와 같은 코덱들을 사용하는 실시예들에 대해, 국부적인 레벨상에서 상이한 WP 파라미터들의 사용은 다수의 기준 움직임-보상된 예측 및 기준 재배열/수정의 결합 사용을 통해 가능하다. 상이한 실시예에 있어서, 위의 방법들은, 가중된 예측과 결합하여 동작 추정 및 보상(움직임-보상된 시간적 사전 또는 후-필터)을 포함할 수 있는 사전 또는 후-처리 모듈에 병합될 수 있다.
조도 보상 파라미터들의 낮은 복잡도의 추정.
WP 파라미터 추정을 위해 이전에 제안된 방법들은 공통의 특징을 갖는다: 이들 세 가지 모두는 단일 컬러 성분에 대해 동작한다. 따라서, 예를 들면 Y'에 대한 옵셋 및 이득은, Cb 및 Cr 성분에 대한 결과에 대한 임의의 고려 없이 계산된다. 유사하게, G 성분에 대한 오프셋 및 이득은 R 및 B 성분에 관계없이 계산될 것이다. 그러나, 위의 논의는 페이딩 유형에 기초하여 많은 관계들이 존재함을 나타낸다. 다음의 문제점이 형식화될 수 있다 : RGB 및 Y'CbCr 성분들의 DC 값들은 현재 프레임(m) 및 기준 프레임(m+k)에 대해 알려지는데, 여기에서 k는 0이 아닌 정수이다. 덧붙여, 전역적인 조도 변화를 가정한다. 가중된 예측을 수행하기 위한 이득들 및 오프셋들이 추구된다. 일반적으로, 그렇게 행하는 것은 6개의 알려지지 않은 것들(예, 수학식 10 및 수학식 11)을 통해 세 개의 수식을 초래하고, 이들은 무한 해들을 산출한다. 그러나, 알려지지 않은 것들의 수가 수식들의 수와 동일하도록 특정 제약들이 부과된다면, 신뢰할 수 있고 고유한 해결책이 얻어질 수 있다. 제약들/가정들은 선험적인 지식의 결과가 될 수 있다. 다수의 해들이 다수의 가정들/제약들에 따라 생성될 수 있고, 그 후 최상의 해가 일관성/온건함 검사를 수행함으로써 (경계들 밖에 있는 값들, 즉 무리수에 대한 해들을 무시하면서) 선택될 수 있다.
만약 가중들이 모든 성분들을 통해, 예컨대 ,Y'CbCr에 대해 동일하도록 제한된다면, 대부분의 페이드 시나리오들에 대해 주로 적용되는, 하나의 해가 가능하다. 덧붙여, 크로마 오프셋들은 아래의 수학식 49에 도시된 것과 동일하도록 설정된다.
수학식 48은 이후 이득(w), 및 오프셋들(fY' 및 fC)을 유도하기 위하여 풀릴 수 있다.
다른 실시예는 RGB 도메인에서 가능하다(하지만, 단지 이들 두 개의 도메인에만으로 국한되지 않는다). RGB 오프셋들은 동일하게 설정되고, 반면에 이득들은 아래의 수학식 50에 도시된 바와 같이 제한될 수 있다.
대안적인 유도는 아래의 수학식 51에 도시된 바와 같이 이루어질 수 있다.
수식들의 위의 시스템들이 풀릴 수 있고, 이득들 및 오프셋들이 이 후 Y'CbCr 도메인에서 동작하는 예측 방식들 내에서 사용되도록 Y'CbCr 도메인으로 변환될 수 있다. 어디에서 계산들을 행할지, 즉 RGB 또는 Y'CbCr 도메인의 결정은 시퀀스에 대해 어떠한 선험적인 지식이 존재하는지에 의존한다 : 만약 대부분의 처리가 RGB 도메인에서 행해졌다면, 그 도메인에서 추정을 수행하는 것이 의미가 있다. 처리가 Y'CbCr 도메인에서 행해졌다면 그와 반대도 참이다.
추가적인 실시예들 . 위의 방법들은 아마도 분할을 통해 전역적인(전체 프레임 또는 성분) 또는 국부적인 기초로 적용될 수 있고, 이러한 분할은 주된 방법에 선행하고, 더 균일한 특성들을 갖는 콘텐트를 통해 영역들을 유도한다. 예컨대 DC 값들은 따라서 영역/국부적인 기초로 계산될 수 있다. 일 실시예에 있어서, 코덱이 매크로블록 또는 블록 레벨 상에서 WP 이득들 및 인자들을 시그널링하는 것을 지원한다면, 위의 방법을 통해 국부적인 기초로 가중된 예측이 가능하다. 슬라이스 레벨 상에서 WP 파라미터들을 시그널링하는 것만을 지원하는 H.264와 같은 코덱들을 사용하는 실시예들에 대해, 국부적인 레벨상에서 상이한 WP 파라미터들의 사용은 다수의 기준 움직임-보상된 예측 및 기준 재배열/수정의 결합 사용을 통해 가능하다. 상이한 실시예에 있어서, 위의 방법들은, 가중된 예측과 결합하여 동작 추정 및 보상(움직임-보상된 시간적 사전 또는 후-필터)을 포함할 수 있는 사전 또는 후-처리 모듈에 병합될 수 있다.
요약하면, 수 개의 실시예들에 따라, 본 개시사항은, 다양한 방법들을 통해 샘플링되고 다중화될 수 있었던 데이터를 위해 디블록킹 및 디노이징과 같은 처리의, 루프-내(인코딩/디코딩 프로세스의 부분) 또는 루프-밖(사전-처리 또는 사후-처리 스테이지)와 같은, 데이터 강화 또는 처리 시스템들 및 방법들을 고려한다. 이들 시스템들 및 방법들은 기존의 코덱들(인코더들 및 디코더들)에 적용될 수 있지만, 또한 수정들을 코어 성분들에 제공함으로써 미래의 인코더들 및 디코더들로 확장될 수 있다. 애플리케이션들은 블루-레이 비디오 인코더들과 플레이어들, 셋-톱 박스들, 소프트웨어 인코더들 및 플레이어들뿐만 아니라, 더 대역폭-제한되는 방송 및 다운로드 해결책들을 포함할 수 있다. 추가적인 애플리케이션들은 BD 비디오 인코더들, 플레이어들, 및 적절한 포맷으로 생성된 비디오 디스크들, 또는 심지어 방송, 위성 및 IPTV 시스템, 등과 같은 다른 애플리케이션들에 대해 타깃화된 콘텐트 및 시스템들을 포함한다.
본 개시사항에 기술된 방법들 및 시스템들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 블록들, 모듈들, 또는 성분들로서 기술된 특징들은 함께 (예, 집적된 논리 디바이스와 같은 논리 디바이스에서) 또는 별도로 (예, 별도로 연결된 논리 디바이스들) 구현될 수 있다. 본 개시사항의 방법들의 소프트웨어 부분은, 수행될 때 적어도 부분적으로 기술된 방법들을 수행하는 명령들을 포함한 컴퓨터-판독 가능한 매체를 포함할 수 있다. 컴퓨터-파독 가능한 매체는 예컨대 랜덤 액세스 메모리(RAM) 및/또는 판독-전용 메모리(ROM)을 포함할 수 있다. 이러한 명령들은 프로세서(예, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 또는 필드 프로그램 가능한 논리 어레이(FPGA))에 의해 실행될 수 있다.
본 명세서에서 기술된 바와 같이, 본 발명의 실시예는 따라서 아래의 테이블 1에 열거된 하나 이상의 예시적인 실시예들에 관련될 수 있다. 따라서, 본 발명은 본 명세서에서 기술된 형태들 중 임의의 형태로 구현될 수 있고, 이러한 형태들은 본 발명의 일부 부분들의 구조, 특징들 및 기능을 기술한 다음의 열거된 예시적인 실시예들(EEEs)을 포함하지만 이에 국한되지는 않는다.
테이블 1
열거된 예시 실시예들
EEE1. 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 하나 이상의 강도 관련 값들 및 하나 이상의 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 제 1 컬러 도메인에서 각각의 성분 값에 대한 가중된 예측 이득들을 계산하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 제로 오프셋을 가진 전역적인 전환이 주로 제 2 컬러 도메인에서 일어나는 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 전역적인 페이딩 전환, 제로 오프셋을 갖는 전역적인 페이딩 전환, 또는 상기 제 2 컬러 도메인에서 제로 오프셋을 갖는 전역적인 페이딩 전환 중 적어도 하나가 일어나지 않는 것을 결정하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE2. EEE1에 있어서,
상기 강도 관련 값들은 하나 이상의 루마 값 또는 휘도 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE3. EEE1에 있어서,
상기 컬러 관련 값들은 하나 이상의 크로마 값 또는 색차 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE4. EEE1에 있어서,
상기 제 1 컬러 도메인은 YCbCr 도메인이고, 상기 가중된 예측 이득들은 다음의 수식:
에 따라 계산되고,
Y'm 및 Y'm +k는 상기 프레임의 루마 성분들 및 프레임의 예측 기준 프레임이고,
Cbm 및 Crm은 상기 프레임의 크로마 성분 값들이고,
Cbm +k 및 Crm +k는 상기 프레임의 예측 기준 프레임의 크로마 성분 값들이고,
d0, d1, 및 d2는 컬러 포맷 변환 오프셋들인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE5. EEE1에 있어서,
상기 강도 관련 및 컬러 관련 값들은 평균 강도 관련 및 컬러 관련 값들인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE6. EEE1에 있어서,
상기 강도 관련 및 컬러 관련 값들은 히스토그램 정보로부터 계산되는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE7. EEE1에 있어서,
상기 복수의 프레임들은 프레임 시퀀스의 일부인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE8. EEE1에 있어서,
상기 복수의 프레임들은 조도 변경들을 갖는 것으로 표시된 프레임들의 세트의 일부인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE9. EEE1에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로부터의 전환을 규정하는 컬러 공간 매트릭스는 선형인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE10. EEE1에 있어서,
상기 가중된 예측 이득들은 상기 이득들이 서로의 5% 내지 10%인 경우 실질적으로 유사한, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE11. EEE1에 있어서,
0과 1 사이의 값들을 갖도록 상기 가중된 예측 이득들을 대수적으로 스케일링하는 단계, 및
상기 가중된 예측 이득 값들 사이의 차이가 0.1보다 작은지를 계산함으로써 상기 이득들이 실질적으로 유사한지의 여부를 결정하는 단계를 추가로 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE12. 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 강도 관련 가중된 예측 파라미터들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 계산된 강도 관련 및 컬러 관련 값들로부터 및 계산된 강도 관련 가중된 예측 파라미터들로부터 가중된 예측 이득들을 계산하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 제로 오프셋을 가진 전역적인 전환이 주로 제 2 컬러 도메인에서 일어나는 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 국부적인 전환이 발생하는지를 검사하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE13. EEE12에 있어서,
상기 강도 관련 값들은 하나 이상의 루마 값 또는 휘도 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE14. EEE13에 있어서,
상기 컬러 관련 값들은 하나 이상의 크로마 값 또는 색차 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE15. EEE12에 있어서,
상기 제 1 컬러 도메인은 YCbCr 도메인이고 상기 가중된 예측 이득들은 다음의 식:
에 따라 계산되고,
Y'm 및 Y'm +k는 상기 프레임의 루마 성분들 및 프레임의 예측 기준 프레임이고,
Cbm 및 Crm은 상기 프레임의 크로마 성분 값들이고,
Cbm +k 및 Crm +k는 상기 프레임의 예측 기준 프레임의 크로마 성분 값들이고,
d0, d1, 및 d2는 컬러 포맷 변환 오프셋들인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE16. EEE12에 있어서,
상기 강도 관련 및 컬러 관련 값들은 평균 강도 관련 및 컬러 관련 값들인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE17. EEE12에 있어서,
상기 강도 관련 및 컬러 관련 값들은 히스토그램 정보로부터 계산되는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE18. EEE12에 있어서,
상기 복수의 프레임들은 프레임 시퀀스의 일부인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE19. EEE12에 있어서,
상기 복수의 프레임들은 조도 변경들을 갖는 것으로 표시된 프레임들의 세트의 일부인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE20. EEE12에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로부터의 전환을 규정하는 컬러 공간 매트릭스는 선형인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE21. EEE12에 있어서,
상기 가중된 예측 이득들은 상기 이득들이 서로의 5% 내지 10%인 경우 실질적으로 유사한, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE22. EEE12에 있어서,
0과 1 사이의 값들을 갖도록 상기 가중된 예측 이득들을 대수적으로 스케일링하는 단계, 및
상기 가중된 예측 이득 값들 사이의 차이가 0.1보다 작은지를 계산함으로써 상기 이득들이 실질적으로 유사한지의 여부를 결정하는 단계를 추가로 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE23. 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 각각의 강도 관련 및 컬러 관련 값에 대한 가중된 예측 이득들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 가중된 예측 이득들을 서로 비교하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 전역적인 것으로 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 국부적인 것으로 결정하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE24. EEE23에 있어서,
상기 강도 관련 값들은 하나 이상의 루마 값 또는 색차 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE25. EEE23에 있어서,
상기 컬러 관련 값들은 하나 이상의 크로마 값 또는 색차 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법.
EEE26. 이미지 전환이 발생할 때 제 1 컬러 성분 가중된 예측 파라미터들 및 컬러 공간 변환에 관한 정보로부터 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법에 있어서,
상기 제 1 컬러 성분 가중된 예측 이득 및 오프셋을 계산하는 단계; 및
상기 계산된 제 1 컬러 성분 가중된 예측 이득 및 오프셋의 값들에 기초하여, 상기 컬러 변환 오프셋들, 컬러 변환 매트릭스의 계수들, 및 제 1 컬러 성분 가중된 예측 이득 및 오프셋의 함수들로 상기 제 2 및 제 3 컬러 성분 가중된 예측 이득들 및 오프셋들을 계산하는 단계를 포함하는, 제 1 컬러 성분 가중된 예측 파라미터들 및 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE27. EEE26에 있어서,
상기 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들은 컬러 관련 이득들 및 오프셋들을 포함하고, 상기 제 1 컬러 성분 가중된 예측 파라미터들은 강도 관련 이득 및 오프셋을 포함하고, 상기 이미지 전환은 페이드를 포함하고,
상기 방법은:
강도 관련 이득 및 오프셋을 계산하는 단계;
상기 강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 이득들을 강도 관련 이득들과 동일하게 설정하고 컬러 포맷 변환 오프셋들, 강도 관련 이득, 강도 관련 오프셋, 및 컬러 변환 매트릭스의 계수들의 함수들로서 컬러 관련 오프셋들을 계산하는 단계;
상기 강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 이득들을 상기 강도 관련 이득과 동일하게 설정하고, 컬러 포맷 변환 오프셋들, 강도 관련 이득, 및 컬러 변환 매트릭스의 계수들의 함수로서 컬러 관련 오프셋들을 계산하는 단계; 및
상기 강도 관련 이득이 1이고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 이득들을 1로 설정하고, 강도 관련 오프셋 및 컬러 변환 매트릭스의 계수들의 함수로서 컬러 관련 오프셋들을 계산하는 단계를 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE28. EEE27에 있어서,
상기 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE29. EEE27에 있어서,
상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE30. EEE27에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득이 1과 같지 않고 강도 관련 오프셋이 0인 경우, 컬러 관련 오프셋들은 다음의 수식:
에 따라 계산되고,
fCb 및 fCr은 상기 크로마 오프셋들이고,
c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들이고,
wY는 루마 이득이고,
d0, d1, 및 d2는 상기 컬러 포맷 변환 오프셋들인, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE31. EEE27에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득이 1이고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 오프셋들은 다음의 수식:
에 따라 계산되고,
fCb 및 fCr은 상기 크로마 오프셋들이고,
fY는 루마 오프셋이고,
c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들인, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE32. EEE27에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 오프셋들은 다음의 수식:
에 따라 계산되고,
fCb 및 fCr은 크로마 오프셋들이고,
c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들이고,
wY는 루마 이득이고,
fY는 루마 오프셋이고,
d0, d1, 및 d2는 상기 컬러 포맷 변환 오프셋들인, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE33. EEE27에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 상기 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고, 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고, d0, d1, 및 d2는 상기 컬러 포맷 변환 오프셋들이고, fY는 루마 오프셋이고, wY는 루마 이득이고, 상기 루마 오프셋이 0이 아니고 상기 루마 이득이 1이 아닌 경우 및 fY가 
와 근사적으로 동일할 경우, 크로마 이득들은 루마 이득과 동일하고 크로마 오프셋들은 다음의 수식:
에 따라 계산되고,
fCb 및 fCr은 상기 크로마 오프셋들인, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE34. EEE33에 있어서,
fY가 
와 근사적으로 동일하지 않은 경우, 선택들 A, B, C, 또는 D 중 하나를 선택하는 단계를 추가로 포함하고,
상기 선택들 A, B, C, 또는 D는:
선택 A: 루마 이득을 신뢰성 있는 것으로 선택하고 다음의 수식:
으로부터 루마 오프셋을 계산하고,
합리성을 위해 fY를 검사하고,
크로마 이득들을 루마 이득과 동일하게 설정하고,
다음의 수식:
에 따라 크로마 오프셋들을 계산하고,
선택 B: 루마 오프셋을 신뢰성 있는 것으로 선택하고 다음의 수식:
으로부터 루마 이득을 계산하고,
합리성을 위해 wY를 검사하고,
크로마 이득들을 루마 이득과 동일하게 설정하고,
다음의 수식:
에 따라 크로마 오프셋들을 계산하고,
선택 C: 루마 이득을 신뢰성 있는 것으로 선택하고 루마 오프셋을 0과 같게 설정하고,
크로마 이득들을 루마 이득과 동일하게 설정하고,
다음의 수식:
에 따라 크로마 오프셋들을 계산하고,
c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들이고,
선택 D: 루마 오프셋을 신뢰성 있는 것으로 선택하고 루마 이득을 1로 설정하고,
크로마 이득들을 루마 이득과 동일하게 설정하고,
다음의 수식:
에 따라 크로마 오프셋들을 계산하고,
c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들인, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE35. EEE34에 있어서,
선택들 A, B, C, 또는 D 중 하나는 선택된 기준을 만족하도록 선택되는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE36. EEE35에 있어서,
상기 선택된 기준은 선택된 메트릭을 최소화하거나 최대화하는 단계 또는 계산된 이득들 또는 오프셋들이 선택된 경계들내에 있는지를 결정하는 단계를 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE37. EEE35에 있어서,
상기 선택된 기준은 단일의 크로마 성분 또는 두 개의 크로마 성분들에 기초하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE38. EEE27에 있어서,
상기 강도 관련 및 컬러 관련 이득들 및 오프셋들은 완전한 이미지 프레임에 대한 데이터로부터 계산되는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE39. EEE27에 있어서,
상기 강도 관련 및 컬러 관련 이득들 및 오프셋들은 이미지 프레임의 선택된 부분에 대한 데이터로부터 계산되는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE40. EEE27에 있어서,
상기 컬러 공간 변환은 ITU/SMPTE 또는 JFIF 규격들에 따른 RGB 대 Y'CbCr 변환이고, 상기 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고,
상기 방법은:
루마 이득이 1이 아닌 경우, 상기 크로마 이득들을 상기 루마 이득과 동일하게 설정하고 다음의 수식:
에 따라 크로마 오프셋들을 계산하는 단계로서,
fCb 및 fCr은 상기 크로마 오프셋들이고 wY는 상기 루마 이득인, 상기 크로마 오프셋 계산 단계, 및
상기 루마 이득이 0인 경우, 상기 크로마 오프셋들을 0으로 설정하고 상기 크로마 이득들을 1로 설정하는 단계를 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE41. EEE27에 있어서,
이미지 교차 페이드가 발생할 때, 상기 방법은:
강도 관련 이득 및 루마 오프셋을 계산하는 단계, 및
컬러 관련 이득들을 강도 관련 이득과 동일하게 설정하는 단계를 추가로 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE42. EEE27에 있어서,
상기 제 1 컬러 성분 가중 예측 파라미터들은 한 쌍의 크로마 이득들 및 오프셋들 중 하나를 포함하고 상기 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들은 상기 한 쌍의 크로마 이득들 및 오프셋들 중 두 번째와, 루마 이득 및 루마 오프셋을 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법.
EEE43. 이미지 플래시가 발생할 때 컬러 공간 변환에 관한 정보 및 강도 관련 파라미터들로부터 컬러 관련 파라미터들을 계산하는 방법에 있어서,
강도 관련 이득 및 오프셋을 계산하는 단계;
강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 이득들을 강도 관련 이득과 동일하게 설정하고, 컬러 관련 오프셋들을 컬러 포맷 변환 오프셋들, 강도관련 이득, 강도 관련 오프셋, 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계;
강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0인 경우, 컬러 관련 이득들을 상기 강도 관련 이득과 동일하게 설정하고, 컬러 관련 오프셋들을 컬러 포맷 변환 오프셋들, 강도 관련 이득, 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계; 및
강도 관련 이득이 1이거나 1에 가까운 경우, 컬러 관련 이득들을 1로 설정하고, 컬러 관련 오프셋들을 강도 관련 오프셋 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계를 포함하는, 컬러 관련 파라미터들을 계산하는 방법.
EEE44. EEE43에 있어서,
상기 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하는, 컬러 관련 파라미터들을 계산하는 방법.
EEE45. EEE43에 있어서,
상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하는, 컬러 관련 파라미터들을 계산하는 방법.
EEE46. EEE43에 있어서,
상기 강도 관련 이득이 1이거나 1에 가까운 경우, 상기 컬러 관련 오프셋들을 계산하는 단계는 상기 이미지 플래시에 대한 1차 광원의 컬러에 기초하여 컬러 관련 오프셋들을 계산하는 단계를 포함하는, 컬러 관련 파라미터들을 계산하는 방법.
EEE47. EEE43에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고, 상기 루마 이득이 1이거나 1에 가까운 경우, 상기 크로마 오프셋들을 계산하는 단계는 다음의 수식들:
중 적어도 하나를 선택하는 단계를 포함하고,
c00, c01, c02, c10, c11, c12, c20, c21, 및 c22는 상기 컬러 변환 매트릭스의 계수들이고 fCb 및 fCr은 상기 크로마 오프셋들인, 컬러 관련 파라미터들을 계산하는 방법.
EEE48. EEE43에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고 상기 루마 이득이 1이거나 1에 가까운 경우, 상기 크로마 오프셋들을 계산하는 단계는:
상기 이미지 플래시가 백색광을 포함함을 가정하는 단계, 및
상기 크로마 오프셋들 fCb 및 fCr을 fCb=0 및 fCr=0으로서 계산하는 단계를 포함하는, 컬러 관련 파라미터들을 계산하는 방법.
EEE49. EEE43에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고, 상기 루마 이득이 1이거나 1에 가까운 경우, 상기 크로마 오프셋들을 계산하는 단계는:
상기 이미지 플래시가 청색광을 포함함을 가정하는 단계, 및
상기 크로마 오프셋들 fCb 및 fCr을 
및 
로서 계산하는 단계를 포함하고,
c02, c12, 및 c22는 상기 컬러 변환 매트릭스의 계수들인, 컬러 관련 파라미터들을 계산하는 방법.
EEE50. EEE43에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고, 상기 루마 이득이 1이거나 1에 가까운 경우, 상기 크로마 오프셋들을 계산하는 단계는:
상기 이미지 플래시가 녹색광을 포함함을 가정하는 단계, 및
상기 크로마 오프셋들 fCb 및 fCr을 
및 
로서 계산하는 단계를 포함하고,
c01, c11, 및 c21는 상기 컬러 변환 매트릭스의 계수들인, 컬러 관련 파라미터들을 계산하는 방법.
EEE51. EEE43에 있어서,
상기 컬러 공간 변환은 RGB 대 Y'CbCr 변환이고, 강도 관련 이득 및 오프셋은 루마 이득 및 오프셋을 포함하고 상기 컬러 관련 이득들 및 오프셋들은 크로마 이득들 및 오프셋들을 포함하고, 상기 루마 이득이 1이거나 1에 가까운 경우, 상기 크로마 오프셋들을 계산하는 단계는:
상기 이미지 플래시가 적색광을 포함함을 가정하는 단계, 및
상기 크로마 오프셋들 fCb 및 fCr을 
및 
로서 계산하는 단계를 포함하고,
c00, c10, 및 c20는 상기 컬러 변환 매트릭스의 계수들인, 컬러 관련 파라미터들을 계산하는 방법.
EEE52. EEE47에 있어서,
하나 이상의 계산이 선택되고 상기 계산들 중 하나로부터의 답은 선택된 기준에 기초하여 선택되는, 컬러 관련 파라미터들을 계산하는 방법.
EEE53. EEE47에 있어서,
계산은 이전 프레임에 관한 정보에 기초하여 선택되는, 컬러 관련 파라미터들을 계산하는 방법.
EEE54. 비디오 신호의 한 장면으로부터 다음 장면으로의 전환시 페이드 검출을 위한 방법에 있어서,
단계 A. 상기 비디오 신호로부터 복수의 프레임들을 제공하는 단계;
단계 B. 상기 복수의 프레임들 중 현재 프레임을 선택하는 단계;
단계 C. 상기 현재 프레임 전의 프레임들 및 상기 현재 프레임에 후속하는 프레임들의 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 상기 현재 프레임의 하나 이상의 컬러 공간 성분들에 대한 속성들의 세트를 계산하는 단계,
단계 D. 선행 프레임 전의 프레임들 및 상기 선행 프레임에 후속하는 프레임들의 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 상기 현재 프레임에 전의 상기 선행 프레임의 하나 이상의 컬러 공간 성분들의 속성들의 세트를 계산하는 단계, 및
단계 E. 상기 현재 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트를 상기 선행 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트와 비교하여, 상기 현재 프레임이 프레임 값의 증가 또는 감소를 갖는 페이드의 종료 프레임인지의 여부 또는 상기 현재 프레임에 선행하는 프레임이 프레임 값의 증가 또는 감소를 갖는 페이드의 시작 프레임인지를 결정하는 단계를 포함하는, 페이드 검출 방법.
EEE55. EEE54에 있어서,
프레임 m은 상기 복수의 프레임들에서 선택된 프레임을 나타내고, 프레임 m-1은 프레임 m에 선행하는 상기 복수의 프레임들의 프레임을 나타내고, 프레임 m-2은 프레임 m-1에 선행하는 상기 복수의 프레임들의 프레임을 나타내고, 프레임 m+1은 프레임 m에 후속하는 상기 복수의 프레임들의 프레임을 나타내고, 프레임 m+2는 프레임 m+1에 후속하는 상기 복수의 프레임들의 프레임을 나타내고, 하나 이상의 컬러 성분들에 대한 속성들의 세트를 계산하는 단계는:
속성 A. 프레임 m의 속성 A 프레임 값은 프레임 m+1 및 프레임 m-1의 프레임 값들의 평균과 같고,
속성 B. 프레임 m의 속성 B 프레임 값은 프레임 m+1의 프레임 값들의 두 배로부터 프레임 m+2의 프레임 값을 감산한 것과 같고,
속성 C. 프레임 m의 속성 C 프레임 값은 속성 C 제수(divisor)에 의해 나눠진 속성 C 피제수(dividend)와 동일하고, 상기 속성 C 피제수는 상기 프레임 m-1의 프레임 값의 두 배와 상기 프레임 m+2의 프레임 값의 합과 같고, 상기 속성 C 제수는 3이고,
속성 D. 프레임 m의 속성 D 프레임 값은 상기 프레임 m-1의 프레임 값의 두배와 상기 프레임 m-2의 프레임 값을 감산한 것과 같고,
속성 E. 프레임 m의 속성 E 프레임 값은 속성 E 제수에 의해 나눠진 속성 E 피제수와 동일하고, 상기 속성 E 피제수는 상기 프레임 m+1의 프레임 값의 두 배와 프레임 m-2의 프레임 값을 더한 값과 같고, 상기 속성 E 제수는 3인, 속성들을 계산하는 단계를 포함하는, 페이드 검출 방법.
EEE56. EEE54에 있어서,
상기 현재 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트를 상기 선행 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트와 비교하는 단계는:
조건 1. 상기 현재 프레임의 상기 속성 C 프레임 값이 상기 현재 프레임의 상기 속성 A 프레임 값보다 더 크고, 상기 현재 프레임의 상기 속성 A 프레임 값이 상기 현재 프레임의 상기 속성 B 프레임 값보다 더 크고, 상기 선행 프레임의 상기 속성 C 프레임 값이 상기 선행 프레임의 상기 속성 A 프레임 값보다 더 크고, 상기 선행 프레임의 상기 속성 A 프레임 값이 상기 선행 프레임의 상기 속성 B 프레임 값보다 더 큰 경우, 조건 1이 만족되고,
조건 2. 상기 현재 프레임의 상기 속성 C 프레임 값이 상기 현재 프레임의 상기 속성 A 프레임 값보다 더 작고, 상기 현재 프레임의 상기 속성 A 프레임 값이 상기 현재 프레임의 상기 속성 B 프레임 값보다 더 작고, 상기 선행 프레임의 상기 속성 C 프레임 값이 상기 선행 프레임의 상기 속성 A 프레임 값보다 더 작고, 상기 선행 프레임의 상기 속성 A 프레임 값이 상기 선행 프레임의 상기 속성 B 프레임 값보다 더 작은 경우, 조건 2가 만족되고,
조건 3. 상기 선행 프레임의 상기 속성 E 프레임 값이 상기 선행 프레임의 상기 속성 A 프레임 값보다 더 크고, 상기 선행 프레임의 상기 속성 A 프레임 값이 상기 선행 프레임의 상기 속성 D 프레임 값보다 더 크고, 상기 현재 프레임의 상기 속성 E 프레임 값이 상기 현재 프레임의 상기 속성 A 프레임 값보다 더 크고, 상기 현재 프레임의 상기 속성 A 프레임 값이 상기 현재 프레임의 상기 속성 D 프레임 값보다 더 큰 경우, 조건 3이 만족되고,
조건 4. 조건 4는 상기 선행 프레임의 상기 속성 E 프레임 값이 상기 선행 프레임의 상기 속성 A 프레임 값보다 더 작고, 상기 선행 프레임의 상기 속성 A 프레임 값이 상기 선행 프레임의 상기 속성 D 프레임 값보다 더 작고, 상기 현재 프레임의 상기 속성 E 프레임 값이 상기 현재 프레임의 상기 속성 A 프레임 값보다 더 작고, 상기 현재 프레임의 상기 속성 A 프레임 값이 상기 현재 프레임의 상기 속성 D 프레임 값보다 더 적은 경우, 조건 4가 만족되는, 조건들 중 적어도 하나에 대해 검사하는 단계를 포함하고,
상기 조건 1이 만족되는 경우, 상기 현재 프레임은 감소하는 프레임 값을 갖는 페이드의 종료 프레임으로서 지정되고,
상기 조건 2가 만족되는 경우, 상기 현재 프레임은 증가하는 프레임 값을 갖는 페이드의 종료 프레임으로서 지정되고,
상기 조건 3이 만족되는 경우, 즉시 선행하는 프레임은 증가하는 프레임 값을 갖는 페이드의 종료 프레임으로서 지정되고,
상기 조건 4가 만족되는 경우, 상기 즉시 선행하는 프레임은 감소하는 프레임 값을 갖는 페이드의 시작 프레임으로서 지정되는, 페이드 검출 방법.
EEE57. EEE49에 있어서,
상기 복수의 프레임들로부터 다른 프레임을 선택하는 단계;
상기 선택된 프레임을 현재 프레임으로 지정하는 단계;
단계들 C 내지 E를 반복하는 단계;
상기 선행하는 현재 프레임에 대한 단계 E로부터의 결과들을 상기 현재의 현재 프레임과 비교하여 상기 결과들이 양립할 수 있는지를 결정하는 단계; 및
페이드가 하나 이상의 프레임 값들에 기초하여 페이드 인 또는 페이드 아웃 또는 교차 페이드인지를 결정하는 단계를 추가로 포함하는, 페이드 검출 방법.
EEE58. EEE55에 있어서,
상기 프레임의 프레임 값은 하나 이상의 컬러 공간 성분들에 대한 전체 프레임의 DC의 값을 포함하는, 페이드 검출 방법.
EEE59. EEE55에 있어서,
상기 프레임의 프레임 값은 하나 이상의 컬러 공간 성분들에 대한 프레임의 지정된 부분 또는 부분들의 DC 값을 포함하는, 페이드 검출 방법.
EEE60. EEE55에 있어서,
상기 프레임의 프레임 값은 하나 이상의 컬러 공간 성분들에 대한 프레임의 히스토그램을 포함하는, 페이드 검출 방법.
EEE61. EEE55에 있어서,
상기 프레임의 프레임 값은 하나 이상의 컬러 공간 성분들에 대한 프레임의 지정된 부분 또는 부분들의 히스토그램을 포함하는, 페이드 검출 방법.
EEE62. EEE55에 있어서,
프레임 m-1은 프레임 m에 즉시 선행하고, 프레임 m-2는 프레임 m-1에 즉시 선행하고, 프레임 m+1은 프레임 m에 즉시 후속하고, 프레임 m+2는 프레임 m+1에 즉시 후속하는, 페이드 검출 방법.
EEE63. EEE55에 있어서,
프레임 m-1은 프레임 m에 시간적으로 선행하는 임의의 프레임을 나타내고, 프레임 m-2는 프레임 m-1에 시간적으로 선행하는 임의의 프레임을 나타내고, 프레임 m+1은 프레임 m에 시간적으로 후속하는 임의의 프레임을 나타내고, 프레임 m+2는 프레임 m+1에 시간적으로 후속하는 임의의 프레임을 나타내는, 페이드 검출 방법.
EEE64. EEE63에 있어서,
프레임들 m-1, m-2, m+1, m+2 중 임의의 하나의 시간적인 선택은 가변적인, 페이드 검출 방법.
EEE65. EEE64에 있어서,
시간적인 선택은 프레임 컨텐트에 의존하여 변하는, 페이드 검출 방법.
EEE66. EEE54에 있어서,
상기 컬러 공간 성분들은 강도 관련 및 컬러 관련 성분들을 포함하고 상기 속성들의 세트는 각각의 프레임의 루마 성분에 대해서만 계산되는, 페이드 검출 방법.
EEE67. EEE66에 있어서,
상기 강도 관련 성분들은 하나 이상의 루마 값 또는 휘도 값을 포함하는, 페이드 검출 방법.
EEE68. EEE66에 있어서,
상기 컬러 관련 성분들은 하나 이상의 크로마 값 또는 색차 값을 포함하는, 페이드 검출 방법.
EEE69. EEE54에 있어서,
모든 컬러 공간 성분들에 대해 단계들 C, D, 및 E를 수행하는 단계를 추가로 포함하는, 페이드 검출 방법.
EEE70. EEE54에 있어서,
컬러 공간 성분들의 제 1 선택된 세트에 대해 단계들 C, D, 및 E를 수행하는 단계, 및
페이드 조건의 결정이 상기 컬러 공간 성분들의 제 1 선택된 세트만을 검사하는 것에 기초하여 행해지는 경우 단계 E 이후에 종료하는 단계를 추가로 포함하는, 페이드 검출 방법.
EEE71. 교차 페이드 검출을 위한 방법에 있어서,
비디오 시퀀스의 복수의 프레임들 및 관련 양방향 예측 기준 프레임들을 제공하는 단계; 및
교차 페이드가 현재 프레임 및 관련된 양방향 예측 기준 프레임들의 제 1 컬러 도메인의 컬러 공간 성분들에 대해 계산된 평균 이득들 및 현재 프레임 및 관련 양방향 예측 기준 프레임들의 제 2 컬러 도메인의 컬러 공간 성분들에 대해 계산된 평균 이득들에 기초하여 나타나는지의 여부를 결정하는 단계를 포함하는, 교차 페이드 검출 방법.
EEE72. EEE71에 있어서,
교차 페이드가 나타나는지의 여부를 결정하는 단계는:
상기 현재 프레임의 상기 제 1 컬러 도메인의 컬러 공간 성분들의 평균값들 및 상기 관련된 양방향 예측 기준 프레임들의 상기 제 1 컬러 도메인의 컬러 공간 성분들의 평균값들을 계산하는 단계;
상기 현재 프레임의 상기 제 2 컬러 도메인의 컬러 공간 성분들의 평균값들 및 상기 관련된 양방향 예측 기준 프레임들의 상기 제 2 컬러 도메인의 컬러 공간 성분들의 평균값들을 계산하는 단계; 및
조건들 1 내지 6의 각각이:
조건 1: 상기 제 1 컬러 공간 도메인에 대한 각각의 양방향 예측 기준 프레임의 평균 이득들이 1이거나 1에 가까운 경우,
조건 2: 상기 제 2 컬러 공간 도메인에 대한 각각의 양방향 예측 기준 프레임의 평균 이득들이 1이거나 1에 가까운 경우,
조건 3: 상기 제 1 컬러 공간 도메인에 대한 각각의 양방향 예측 기준 프레임에 대한 평균 이득들의 크기가 상기 현재 프레임으로부터의 양방향 예측 기준 프레임들의 거리들에 반비례하는 경우,
조건 4: 상기 제 2 컬러 공간 도메인에 대한 각각의 양방향 예측 기준 프레임에 대한 평균 이득들의 크기가 상기 현재 프레임으로부터의 양방향 예측 기준 프레임들의 거리들에 반비례하는 경우,
조건 5: 상기 제 1 컬러 공간 도메인의 평균 이득들이 상기 제 1 컬러 공간 도메인에서 교차 페이드의 정확한 모델을 제공하는 경우,
조건 6: 상기 제 1 컬러 공간 도메인의 평균 이득들이 상기 제 2 컬러 공간 도메인에서 교차 페이드의 정확한 모델을 제공하는 경우를 만족하는지를 결정하는 단계를 포함하고,
조건들 1 내지 6 모두가 만족되는 경우, 교차 페이드가 제공되는 것으로 결정되는, 교차 페이드 검출 방법.
EEE73. EEE72에 있어서,
상기 제 1 컬러 공간 도메인은 RGB 도메인이고 상기 제 2 컬러 공간 도메인은 YCbCr 도메인이고,
조건들 5 및 6이 만족되는지의 여부를 결정하는 단계는 다음의 수식들:
이 만족되는지의 여부를 결정하는 단계를 포함하고,
w1 및 w2는 상기 평균 이득들을 나타내는 것이 만족되는지의 여부를 결정하는 단계를 포함하는, 교차 페이드 검출 방법.
EEE74. EEE71에 있어서,
교차 페이드가 나타나는 경우 크로마 성분 이득들을 루마 성분 이득들과 동일하게 설정하는 단계를 추가로 포함하는, 교차 페이드 검출 방법.
EEE75. 페이드 조건들의 존재시 가중된 파라미터 결정을 위한 방법에 있어서,
단계 A: 픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
단계 B: 컬러 성분을 선택하는 단계;
단계 C: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 프레임 및 그의 관련된 예측 기준 프레임 내 상기 선택된 컬러 성분에 대한 포화된 분할들을 결정하는 단계;
단계 D: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 두 프레임들이 상기 선택된 컬러 성분에 대한 포화된 값들을 갖는 큰 영역들을 공유하는지를 결정하는 단계로서, 포화된 값들을 갖는 공유된 큰 영역들이 없는 경우, 단계 H로 진행하는, 상기 결정 단계;
단계 E: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 프레임 및 그의 관련된 예측 기준 프레임 내 포화되지 않은 분할들을 결정하는 단계;
단계 F: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 두 프레임들이 상기 선택된 컬러 성분에 대한 포화되지 않은 값들을 갖는 큰 영역들을 공유하는지를 결정하는 단계로서, 포화되지 않은 값들을 갖는 공유된 큰 영역들이 없는 경우, 단계 H로 진행하는, 상기 결정 단계;
단계 G: 각각의 프레임 및 관련된 예측 프레임에 대하여, 공유되고, 동일한 픽셀 계수로 선택적으로 정규화된, 포화되지 않은 값들을 갖는 큰 영역들에 기초하여 가중된 예측 이득들 및 팩터들을 계산하는 단계; 및
단계 H: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 전체 프레임에 기초하여 가중된 예측 이득들 및 팩터들을 계산하는 단계를 포함하는, 가중된 파라미터 결정 방법.
EEE76. EEE75에 있어서,
다른 컬러 성분을 선택하는 단계 및 상기 선택된 컬러 성분에 대하여 단계들C 내지 H를 반복하는 단계를 추가로 포함하는, 가중된 파라미터 결정 방법.
EEE77. EEE75에 있어서,
상기 가중된 예측 이득들 및 팩터들을 계산하는 단계는 이전 프레임에 대한 가중된 예측 이득들 및 팩터들에 기초하는, 가중된 파라미터 결정 방법.
EEE78. EEE75에 있어서,
각각의 프레임 및 관련된 예측 프레임은 분할되고, 단계 A 내지 단계 H는 각각의 프레임 및 관련된 예측 프레임의 하나 이상의 세그먼트들상에 수행되고 가중된 예측 이득들 및 팩터들은 각각의 세그먼트에 대해 계산되는, 가중된 파라미터 결정 방법.
EEE79. EEE78에 있어서,
움직임 보상은 하나의 프레임으로부터 다른 프레임으로의 세그먼트들을 트랙킹하는, 가중된 파라미터 결정 방법.
EEE80. 페이드 조건들의 존재시 가중된 파라미터 결정을 위한 방법에 있어서,
단계 A: 픽처의 복수의 프레임들 및 컬러 샘플 데이터를 포함하는 관련된 예측 기준 프레임들을 제공하는 단계;
단계 B: 컬러 성분을 선택하는 단계;
단계 C: 각각의 프레임에 대하여, 상기 컬러 샘플 데이터에 대하여 선택된 컬러 도메인에 기초하여 상기 선택된 컬러 성분에 대한 현재의 최저의 포화값 및 현재의 최고의 포화값을 설정하는 단계;
단계 D: 각각의 관련된 예측 기준 프레임에 대하여, 상기 컬러 샘플 데이터에 대해 상기 선택된 컬러 도메인에 기초하여 상기 선택된 컬러 성분에 대한 현재의 기준 최저 포화값 및 현재의 기준 최고 포화값을 설정하는 단계;
단계 E: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 현재의 최저 포화값, 상기 현재의 최고 포화값, 상기 현재의 기준 최저 포화값, 및 상기 현재의 기준 최고 포화값에 기초하여 가중된 예측 파라미터들을 추정하는 단계;
단계 F: 각각의 관련된 예측 기준 프레임에 대하여, 추정된 가중된 예측 파라미터들에 기초하여 업데이트된 현재의 기준 최저 포화값 및 업데이트된 현재의 기준 최고 포화값을 계산하는 단계;
단계 G: 상기 현재의 기준 최저 포화값을 상기 업데이트된 현재의 기준 최저 포화값과 동일하게 설정하고 상기 현재의 기준 최고 포화값을 상기 업데이트된 현재의 기준 최고 포화값과 동일하게 설정하는 단계; 및
단계 H: 현재의 반복에 대한 상기 가중된 예측 파라미터들이 즉시 선행하는 반복에 대한 상기 가중된 예측 파라미터들과 선택된 값만큼 상이한 경우 또는 반복들의 수가 선택된 반복 계수보다 더 큰 경우 연속하는 반복들에 대해 단계들 D 내지 G를 반복하는 단계를 포함하는, 가중된 파라미터 결정 방법.
EEE81. EEE80에 있어서,
반복 t에 대한 상기 가중된 예측 파라미터들은 가중된 이득 wt 및 팩터 ft를 포함하고 상기 업데이트된 현재의 기준 최저 포화값 및 상기 업데이트된 현재의 기준 최고 포화값은 다음의 수식들:
에 따라 계산되고,
EEE82. EEE81에 있어서,
가중된 예측 파라미터들을 추정하기 전에 상기 프레임 및 상기 관련된 예측 기준 프레임의 히스토그램들을 계산하는 단계를 추가로 포함하고,
상기 가중된 예측 파라미터들의 추정은 상기 계산된 히스토그램들에 기초하는, 가중된 파라미터 결정 방법.
EEE83. EEE81에 있어서,
다른 컬러 성분을 선택하는 단계 및 상기 선택된 컬러 성분에 대하여 단계들 C 내지 H를 반복하는 단계를 추가로 포함하는, 가중된 파라미터 결정 방법.
EEE84. EEE81에 있어서,
상기 가중된 예측 파라미터들을 추정하는 단계는 상기 즉시 선행하는 반복에 대해 추정된 가중된 예측 파라미터들에 기초하는, 가중된 파라미터 결정 방법.
EEE85. EEE80에 있어서,
각각의 프레임 및 관련된 예측 프레임은 분할되고 단계 C 내지 단계 H는 각각의 프레임 및 관련된 예측 기준 프레임의 하나 이상의 세그먼트들상에 수행되는, 가중된 파라미터 결정 방법.
EEE86. EEE84에 있어서,
추정된 가중된 예측 파라미터들에 기초하여 상기 업데이트된 현재의 기준 최저 포화값 및 상기 업데이트된 현재의 기준 최고 포화값을 계산하는 단계는 픽셀값들이 가중된 예측의 결과로서 포화되거나 클립핑되지 않는 것을 규정하기 위해 상기 업데이트된 현재의 기준 최저 포화값 및 상기 업데이트된 현재의 기준 최고 포화값을 계산하는 단계를 포함하는, 가중된 파라미터 결정 방법.
EEE87. EEE84에 있어서,
상기 선택된 컬러 도메인은 초기의 컬러 공간을 포함하는, 가중된 파라미터 결정 방법.
EEE88. EEE84에 있어서,
상기 선택된 컬러 도메인은 제 1 컬러 도메인으로부터의 변환으로부터 도출된 제 2 컬러 도메인을 포함하고, 상기 추정된 가중된 예측 파라미터들은 상기 제 1 컬러 도메인에서 가중된 예측 파라미터들을 포함하는, 가중된 파라미터 결정 방법.
EEE89. EEE84에 있어서,
복수의 컬러 도메인들은 제 1 컬러 도메인으로부터의 변환으로부터 도출되고, 상기 선택된 컬러 도메인은 상기 복수의 컬러 도메인들 중 각각의 도메인을 선택하는 것을 포함하고, 추정된 가중된 예측 파라미터들은 상기 선택된 컬러 도메인들의 각각에 기초하는, 가중된 파라미터 결정 방법.
EEE90. 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 페이드 전환시 가중된 예측 이득들 및 오프셋들을 추정하는 방법에 있어서,
상기 비디오 신호내 픽처들로부터 현재의 프레임 및 관련된 예측 기준 프레임을 제공하는 단계;
각각의 현재의 프레임 및 관련된 예측 기준 프레임에 대하여, 컬러 도메인에서 컬러 성분값들을 계산하는 단계로서, Am은 상기 현재의 프레임에 대한 제 1 컬러 성분을 나타내고, Bm은 상기 현재의 프레임에 대한 제 2 컬러 성분을 나타내고, Cm은 상기 현재의 프레임에 대한 제 3 컬러 성분을 나타내고, Am +1은 상기 관련된 예측 기준 프레임에 대한 제 1 컬러 성분을 나타내고, Bm +1은 상기 관련된 예측 기준 프레임에 대한 제 2 컬러 성분을 나타내고, Cm +1은 상기 관련된 예측 기준 프레임에 대한 제 3 컬러 성분을 나타내는, 상기 컬러 성분값 계산 단계;
가중된 예측 이득들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계로서, w는 모든 컬러 성분들에 대한 동일한 값의 가중된 예측 이득을 나타내는, 상기 가중된 예측 이득 설정 단계;
두 개의 컬러 성분들에 대한 가중된 예측 오프셋들을 서로 동일하게 설정하는 단계로서, fA는 상기 제 1 컬러 성분에 대한 오프셋을 나타내고 fC는 두 개의 컬러 성분들에 대해 동일한 값의 가중된 예측 오프셋을 나타내는, 상기 가중된 예측 오프셋 설정 단계; 및
가중된 예측 이득 w 및 가중된 예측 오프셋들 fA 및 fC에 대한 다음의 수식:
의 값을 구하는 단계를 포함하는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE91. EEE90에 있어서,
상기 컬러 도메인은 YCbCr 도메인이고, 서로 동일하게 설정된 두 개의 컬러 성분들에 대한 상기 가중된 예측 오프셋들은 크로마 컬러 성분들에 대한 가중된 예측 오프셋들을 포함하는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE92. EEE90에 있어서,
컬러 성분값들은 상기 현재의 프레임 및 관련된 예측 기준 프레임의 하나 이상의 세그먼트들에 대해 계산되는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE93. 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 페이드 전환시 가중된 예측 이득들 및 오프셋들을 추정하는 방법에 있어서,
상기 비디오 신호내 픽처들로부터 현재의 프레임 및 관련된 예측 기준 프레임을 제공하는 단계;
각각의 현재의 프레임 및 관련된 예측 기준 프레임에 대하여, 컬러 도메인에서 컬러 성분값들을 계산하는 단계로서, Am은 상기 현재의 프레임에 대한 제 1 컬러 성분을 나타내고, Bm은 상기 현재의 프레임에 대한 제 2 컬러 성분을 나타내고, Cm은 상기 현재의 프레임에 대한 제 3 컬러 성분을 나타내고, Am +1은 상기 관련된 예측 기준 프레임에 대한 제 1 컬러 성분을 나타내고, Bm +1은 상기 관련된 예측 기준 프레임에 대한 제 2 컬러 성분을 나타내고, Cm +1은 상기 관련된 예측 기준 프레임에 대한 제 3 컬러 성분을 나타내는, 상기 컬러 성분값 계산 단계;
가중된 예측 오프셋들을 모든 컬러 성분들에 대해 동일하게 설정하는 단계로서, f는 모든 컬러 성분들에 대한 동일한 값의 가중된 예측 오프셋을 나타내는, 상기 가중된 예측 이득 설정 단계;
두 개의 컬러 성분들에 대한 가중된 예측 오프셋들을 서로 동일하게 설정하는 단계로서, wA는 상기 제 1 컬러 성분에 대한 오프셋을 나타내고 wC는 두 개의 컬러 성분들에 대해 동일한 값의 가중된 예측 오프셋을 나타내는, 상기 가중된 예측 오프셋 설정 단계; 및
가중된 예측 이득들 wA 및 wC 및 가중된 예측 오프셋 f에 대한 다음의 수식:
의 값을 구하는 단계를 포함하는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE94. EEE93에 있어서,
상기 컬러 도메인은 RGB 도메인이고, 서로 동일하게 설정된 상기 두 개의 컬러 성분들에 대한 상기 가중된 예측 이득들은 녹색 및 청색 성분들에 대한 가중된 예측 오프셋들을 포함하는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE95. EEE93에 있어서,
상기 컬러 도메인은 RGB 도메인이고, 서로 동일하게 설정된 상기 두 개의 컬러 성분들에 대한 상기 가중된 예측 이득들은 적색 및 청색 성분들에 대한 가중된 예측 오프셋들을 포함하는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE96. EEE93에 있어서,
컬러 성분값들은 상기 현재의 프레임 및 관련된 예측 기준 프레임의 하나 이상의 세그먼트들에 대해 계산되는, 가중된 예측 이득들 및 오프셋들을 추정하는 방법.
EEE97. 제 1 컬러 도메인으로부터 제 2 컬러 도메인으로 가중된 예측 파라미터들을 변환하는 방법으로서, 상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 변환은 선형이 아닌, 상기 가중된 예측 파라미터들을 변환하는 방법에 있어서,
제 1 컬러 도메인으로부터 제 2 컬러 도메인으로의 변환식에 기초하여 상기 제 2 도메인에서 하나 이상의 프레임들에 대해 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE98. EEE97에 있어서,
가중된 예측 파라미터들의 변환은 이미지 전환의 존재시 발생하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE99. EEE97에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 상기 변환식은 지수 변환을 포함하고,
상기 방법은:
상기 제 1 컬러 도메인에서 하나 이상의 프레임에 대한 제 1 컬러 도메인 가중된 예측 파라미터들을 계산하여 제 1 컬러 도메인 이득값을 획득하는 단계를 추가로 포함하고,
상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 지수 변환에서 지수의 거듭제곱으로 제곱된 상기 제 1 컬러 도메인 이득값과 동일한 제 2 컬러 도메인 이득값을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE100. EEE99에 있어서,
가중된 예측 파라미터들의 변환은 이미지 페이드의 존재시 발생하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE101. EEE99에 있어서,
상기 지수 변환은 감마 보정을 포함하고 
는 지수를 나타내고, 상기 제 1 컬러 도메인 값은 w로서 나타내고, 상기 제 2 컬러 도메인 값은 
와 같은, 가중된 예측 파라미터들을 변환하는 방법.
EEE102. EEE97에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 상기 변환식은 로그 공간 변환식을 포함하고, 상기 이미지 전환은 페이드를 포함하고,
상기 방법은:
상기 제 1 컬러 도메인의 이득값을 얻기 위하여 상기 제 1 컬러 도메인에서 하나 이상의 프레임들에 대한 제 1 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계를 추가로 포함하고,
상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 상기 제 1 컬러 도메인 이득값의 로그와 동일한 제 2 컬러 도메인 오프셋 값을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE103. EEE98에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 상기 변환식은 지수 변환을 포함하고, 상기 이미지 전환은 페이드를 포함하고, 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 1과 같지 않은 제 2 컬러 도메인 이득값 및 0과 같은 제 2 컬러 도메인 오프셋 값을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE104. EEE98에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 상기 변환식은 로그 공간 변환식을 포함하고, 상기 이미지 전환은 페이드를 포함하고, 상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 1과 같은 제 2 컬러 도메인 이득값 및 0이 아닌 제 2 컬러 도메인 오프셋 값을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE105. EEE97에 있어서,
상기 이미지 전환은 교차 페이드를 포함하고 상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 변환식은 지수 변환을 포함하고,
상기 방법은:
제 1 기준 프레임에 대한 제 1 기준 이득값 및 제 2 기준 프레임에 대한 제 2 기준 이득값을 포함하는 제 1 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계를 추가로 포함하고,
상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 상기 제 1 기준 이득값 및 상기 제 2 기준 이득값에 기초하여 제 2 컬러 도메인 이득값들을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE106. EEE105에 있어서,
상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 상기 제 1 기준 이득값, 하나 이상의 제 1 기준 프레임 값, 상기 제 2 기준 이득값, 및 하나 이상의 제 2 기준 프레임 값들에 기초하여 두 개의 이항식들의 값을 구하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE107. EEE97에 있어서,
상기 이미지 전환은 교차 페이드를 포함하고 상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 변환식은 로그 공간 변환을 포함하고,
상기 방법은:
제 1 기준 프레임에 대한 제 1 기준 이득값 및 제 2 기준 프레임에 대한 제 2 기준 이득값을 포함하는 제 1 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계를 추가로 포함하고,
상기 제 2 컬러 도메인 가중된 예측 파라미터들을 계산하는 단계는 상기 제 1 기준 프레임 이득값 및 상기 제 2 기준 이득값에 기초하여 제 2 컬러 도메인 이득값들을 계산하는 단계를 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE108. EEE107에 있어서,
상기 제 2 컬러 도메인 가중된 파라미터들에서의 오프셋들은 상기 제 1 기준 이득값 및 상기 제 2 기준 이득값의 로그들과 동일하게 설정되는, 가중된 예측 파라미터들을 변환하는 방법.
EEE109. EEE97에 있어서,
상기 제 1 컬러 도메인을 사용하여 제 1 계층으로 컨텐트를 압축하는 단계, 및
상기 제 2 컬러 도메인을 사용하여 제 2 계층으로 컨텐트를 압축하는 단계를 추가로 포함하고,
상기 제 1 계층에 대해 계산된 가중된 예측 파라미터들은 상기 제 2 계층에 대한 가중된 예측 파라미터들로 변환되는, 가중된 예측 파라미터들을 변환하는 방법.
EEE110. EEE109에 있어서,
상기 제 1 계층은 기저층을 포함하고 상기 제 2 계층은 강화층을 포함하는, 가중된 예측 파라미터들을 변환하는 방법.
EEE111. EEE110에 있어서,
상기 제 1 계층에 대한 상기 가중된 예측 파라미터들은 상기 제 2 계층에 대한 디코더 또는 인코더로 전송되는, 가중된 예측 파라미터들을 변환하는 방법.
EEE112. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 인코딩하기 위한, 인코더.
EEE113. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 인코딩하기 위한, 장치.
EEE114. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 인코딩하기 위한, 시스템.
EEE115. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 디코딩하기 위한, 디코더.
EEE116. EEE115에 있어서,
가중된 예측 파라미터들은 상기 디코더로 전달되지 않고 상기 가중된 예측 파라미터들은 상기 디코더에 전송된 픽처 정보로부터 도출되는, 디코더.
EEE117. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 디코딩하기 위한, 장치.
EEE118. EEE117에 있어서,
가중된 예측 파라미터들은 상기 장치에 전달되지 않고 상기 가중된 예측 파라미터들은 상기 장치에 전송된 픽처 정보로부터 도출되는, 장치.
EEE119. EEE1 내지 EEE111 중 어느 하나에 따른 방법에 따라 비디오 신호를 디코딩하기 위한, 시스템.
EEE120. EEE119에 있어서,
가중된 예측 파라미터들은 상기 시스템에 전달되지 않고 상기 가중된 예측 파라미터들은 상기 시스템에 전송된 픽처 정보로부터 도출되는, 시스템.
EEE121. EEE1 내지 EEE111 중 어느 하나에 따른 방법을 컴퓨터가 수행하게 하는 명령들의 세트를 포함하는, 컴퓨터 판독가능 매체.
EEE122. 비디오 신호를 인코딩하기 위해 EEE1 내지 EEE111 중 어느 하나에 따른 방법의 사용.
EEE123. 비디오 신호를 디코딩하기 위해 EEE1 내지 EEE111 중 어느 하나에 따른 방법의 사용.
EEE124. 하나 이상의 컴퓨터 또는 집적 회로(IC) 디바이스가 EEE1 내지 EEE111 중 어느 하나에 따른 방법을 수행하도록, 야기하거나, 제어하거나, 프로그래밍하거나, 구성하는 명령들의 세트를 포함하는, 컴퓨터 판독가능 저장 매체.
EEE125. EEE1 내지 EEE111 중 어느 하나에 따른 방법을 수행하기 위한 프로세스를 수행하도록 구성되거나, 프로그래밍되거나, 제어되거나, 또는 설계되는, IC 디바이스.
본 명세는 특정 방법들 또는 시스템들로 제한되지 않고, 이는 물론 변경할 수 있다는 것이 이해될 것이다. 또한, 여기에 사용된 용어는 특정 실시예들을 설명하는 목적만을 위한 것이고, 제한하는 것이 의도되지 않는 것을 이해할 것이다. 본 명세 및 첨부된 청구범위에 사용된 바와 같이, 단수 형태들은 내용이 명백하게 다르게 지시하지 않는다면 복수의 지시대상들을 포함한다. 용어 "복수"는 내용이 명백하게 다르게 지시하지 않는다면 두 개 이상의 지시대상들을 포함한다. 다르게 규정되지 않으면, 여기에 사용된 모든 기술적인 및 과학적인 용어들은 상기 명세가 속하는 기술 분야의 당업자에 의해 공통적으로 이해되는 동일한 의미를 가진다.
상기 설명된 예들은 당업자에게 명세의 샘플링되고 멀티플렉싱된 이미지 및 비디오 데이터에 대한 개선 방법들의 실시예를 행하고 사용하는 방법의 완전한 명세를 제공하고, 발명자들이 이들 명세로서 고려하는 것의 범위를 제한하는 것을 의도되지 않는다. 상기 명세를 실행하기 위한 상기 언급된 모드들의 변경들은 당업자에 의해 사용될 수 있고 다음의 청구항의 범위내에 있는 것이 의도된다.
본 명세의 다수의 실시예들이 설명되었다. 그럼에도 불구하고, 본 명세의 정신 및 범위로부터 벗어나지 않는 많은 변경들이 행해질 수 있다는 것이 의해될 것이다. 따라서, 다른 실시예들은 청구항의 범위내에 있고, 이하에 참고 문헌들의 목록이 있다.
참조 문헌들의 목록
[1] Ford and A. Roberts, "Color Space Conversions",
http://www.poynton.com/PDFs/coloureq.pdf.
2] K. Kamikura, H. Watanabe, H. Jozawa, H. Kotera, 및 S. Ichinose, "Global Brightness-Variation Compensation for Video Coding," IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no. 8, Wavelet Applications in Industrial Processing, Dec. 1998, pp. 988-1000.
[3] Y. Kikuchi and T. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolative prediction", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, JVT-C103, Mar. 2002.
[4] H. Kato and Y. Nakajima, "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction," Proc. IEEE 6th Workshop on Multimedia Signal Proc., Siena, Italy, Oct. 2004.
[5] J. M. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard," Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, May 2004, vol. 3, pp. 789-792.
[6] P. Yin, A. M. Tourapis, and J. M. Boyce, "Localized weighted prediction for video coding," Proc. IEEE International Symposium on Circuits and Systems, May 2005, vol. 5, pp. 4365-4368.
또한, 명세서에 언급된 모든 특허들 및 출판물들은 명세서가 관련하는 기술분야의 당업자의 기술의 레벨들을 표시할 수 있다. 본 명세에 인용된 모든 참고문헌들은 각각의 참조가 그의 완전한 참조로서 개별적으로 통합되는 것처럼 동일한 범위에 대한 참조에 의해 통합된다.
Claims (32)
- 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 하나 이상의 강도 관련 값들 및 하나 이상의 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 제 1 컬러 도메인에서 각각의 성분 값에 대한 가중된 예측 이득들을 계산하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 제로 오프셋을 가진 전역적인 전환이 주로 제 2 컬러 도메인에서 발생하는 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사한 경우, 전역적인 페이딩 전환, 제로 오프셋을 갖는 전역적인 페이딩 전환, 또는 상기 제 2 컬러 도메인에서 제로 오프셋을 갖는 전역적인 페이딩 전환 중 적어도 하나가 발생하지 않는 것을 결정하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 강도 관련 값들은 하나 이상의 루마 값 또는 휘도 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 컬러 관련 값들은 하나 이상의 크로마 값 또는 색차 값을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 제 1 컬러 도메인은 YCbCr 도메인을 포함하고, 상기 가중된 예측 이득들은:
프레임의 루마 성분들 및 상기 프레임의 예측 기준 프레임;
상기 프레임의 크로마 성분값들;
상기 프레임의 상기 예측 기준 프레임의 크로마 성분값들; 및
컬러 포맷 변환 오프셋 값들을 포함하는 값들로 계산되는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 강도 관련 및 컬러 관련 값들은 평균 강도 관련 및 컬러 관련 값들을 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 강도 관련 및 컬러 관련 값들은 히스토그램 정보로부터 계산되는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 복수의 프레임들은 프레임 시퀀스의 일부를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 복수의 프레임들은 조도 변경들을 갖는 것으로 표시된 프레임들의 세트의 일부를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로부터의 전환을 규정하는 컬러 공간 매트릭스는 선형인, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
상기 가중된 예측 이득들은 상기 이득들이 서로의 5% 내지 10%인 경우 실질적으로 유사한, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 제 1 항에 있어서,
0과 1 사이의 값들을 갖도록 상기 가중된 예측 이득들을 대수적으로 스케일링하는 단계, 및
상기 가중된 예측 이득 값들 사이의 차들이 0.1보다 작은지를 계산함으로써 상기 이득들이 실질적으로 유사한지의 여부를 결정하는 단계를 추가로 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 강도 관련 가중된 예측 파라미터들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 계산된 강도 관련 및 컬러 관련 값들로부터 및 계산된 강도 관련 가중된 예측 파라미터들로부터 가중된 예측 이득들을 계산하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 제로 오프셋을 가진 전역적인 전환이 주로 제 2 컬러 도메인에서 일어나는 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사한 경우, 국부적인 전환이 발생하는지를 검사하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 제 1 컬러 도메인에서 각각의 강도 관련 및 컬러 관련 값에 대한 가중된 예측 이득들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 가중된 예측 이득들을 서로 비교하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 전역적인 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 국부적인 것을 결정하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 비디오 신호의 하나의 픽처로부터 다음의 픽처로의 전환시 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법에 있어서,
픽처의 복수의 프레임들 및 관련된 예측 기준 프레임들을 제공하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 제 1 컬러 도메인에서 강도 관련 및 컬러 관련 값들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 제 1 컬러 도메인에서 각각의 강도 관련 및 컬러 관련 값에 대한 가중된 예측 이득들을 계산하는 단계;
각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 가중된 예측 이득들을 서로 비교하는 단계;
상기 가중된 예측 이득들이 모두 음이 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 전역적인 것을 결정하는 단계; 및
상기 가중된 예측 이득들이 모두 음이 아닌 것은 아니고 실질적으로 서로 유사한 경우, 상기 페이드가 국부적인 것을 결정하는 단계를 포함하는, 페이드 검출 및 페이드의 전역적 또는 국부적 성질의 결정을 위한 방법. - 이미지 전환이 발생할 때 제 1 컬러 성분 가중된 예측 파라미터들 및 컬러 공간 변환에 대한 정보로부터 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법에 있어서,
상기 제 1 컬러 성분 가중된 예측 이득 및 오프셋을 계산하는 단계; 및
상기 계산된 제 1 컬러 성분 가중된 예측 이득 및 오프셋의 값들에 기초하여, 상기 제 2 및 제 3 컬러 성분 가중된 예측 이득들 및 오프셋들을 상기 컬러 변환 오프셋들, 컬러 변환 매트릭스의 계수들, 및 상기 제 1 컬러 성분 가중된 예측 이득 및 오프셋의 함수들로서 계산하는 단계를 포함하는, 제 2 및 제 3 컬러 성분 가중된 예측 파라미터들을 계산하는 방법. - 이미지 플래시가 발생할 때 컬러 공간 변환에 관한 정보 및 강도 관련 파라미터들로부터 컬러 관련 파라미터들을 계산하는 방법에 있어서,
강도 관련 이득 및 오프셋을 계산하는 단계;
강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0이 아닌 경우, 컬러 관련 이득들을 강도 관련 이득과 동일하게 설정하고, 컬러 관련 오프셋들을 컬러 포맷 변환 오프셋들, 강도 관련 이득, 강도 관련 오프셋, 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계;
강도 관련 이득이 1이 아니고 강도 관련 오프셋이 0인 경우, 컬러 관련 이득들을 상기 강도 관련 이득과 동일하게 설정하고, 컬러 관련 오프셋들을 컬러 포맷 변환 오프셋들, 강도 관련 이득, 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계; 및
강도 관련 이득이 1이거나 1에 가까운 경우, 컬러 관련 이득들을 1로 설정하고, 컬러 관련 오프셋들을 강도 관련 오프셋 및 컬러 변환 매트릭스의 계수들의 함수들로써 계산하는 단계를 포함하는, 컬러 관련 파라미터들을 계산하는 방법. - 비디오 신호의 한 장면으로부터 다음 장면으로의 전환시 페이드 검출을 위한 방법에 있어서,
단계 A. 상기 비디오 신호로부터 복수의 프레임들을 제공하는 단계;
단계 B. 상기 복수의 프레임들 중 현재 프레임을 선택하는 단계;
단계 C. 상기 현재 프레임에 선행하는 프레임들 및 상기 현재 프레임에 후속하는 프레임들의 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 상기 현재 프레임의 하나 이상의 컬러 공간 성분들에 대한 속성들의 세트를 계산하는 단계,
단계 D. 상기 선행하는 프레임에 선행하는 프레임들 및 상기 선행하는 프레임에 후속하는 프레임들의 하나 이상의 컬러 성분들의 프레임 값들에 기초하여 상기 현재 프레임에 선행하는 상기 선행 프레임의 하나 이상의 컬러 공간 성분들의 속성들의 세트를 계산하는 단계, 및
단계 E. 상기 현재 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트를 상기 선행하는 프레임의 상기 하나 이상의 컬러 공간 파라미터들에 대한 속성들의 세트와 비교하여 상기 현재 프레임이 프레임 값의 증가 또는 감소를 갖는 페이드의 종료 프레임인지의 여부 또는 상기 현재 프레임에 선행하는 프레임이 프레임 값의 증가 또는 감소를 갖는 페이드의 시작 프레임인지를 결정하는 단계를 포함하는, 페이드 검출 방법. - 페이드 조건들의 존재시 가중된 파라미터 결정을 위한 방법에 있어서,
단계 A: 픽처의 복수의 프레임들 및 컬러 샘플 데이터를 포함하는 관련된 예측 기준 프레임들을 제공하는 단계;
단계 B: 컬러 성분을 선택하는 단계;
단계 C: 각각의 프레임에 대하여, 상기 컬러 샘플 데이터에 대하여 선택된 컬러 도메인에 기초하여 상기 선택된 컬러 성분에 대한 현재의 최저의 포화값 및 현재의 최고의 포화값을 설정하는 단계;
단계 D: 각각의 관련된 예측 기준 프레임에 대하여, 상기 컬러 샘플 데이터에 대한 상기 선택된 컬러 도메인에 기초하여 상기 선택된 컬러 성분에 대한 현재의 기준 최저 포화값 및 현재의 기준 최고 포화값을 설정하는 단계;
단계 E: 각각의 프레임 및 관련된 예측 기준 프레임에 대하여, 상기 현재의 최저 포화값, 상기 현재의 최고 포화값, 상기 현재의 기준 최저 포화값, 및 상기 현재의 기준 최고 포화값에 기초하여 가중된 예측 파라미터들을 추정하는 단계;
단계 F: 각각의 관련된 예측 기준 프레임에 대하여, 추정된 가중된 예측 파라미터들에 기초하여 업데이트된 현재의 기준 최저 포화값 및 업데이트된 현재의 기준 최고 포화값을 계산하는 단계;
단계 G: 상기 현재의 기준 최저 포화값을 상기 업데이트된 현재의 기준 최저 포화값과 동일하게 설정하고 상기 현재의 기준 최고 포화값을 상기 업데이트된 현재의 기준 최고 포화값과 동일하게 설정하는 단계; 및
단계 H: 현재의 반복에 대한 상기 가중된 예측 파라미터들이 즉시 선행하는 반복에 대한 상기 가중된 예측 파라미터들과 선택된 값만큼 상이한 경우 또는 반복들의 수가 선택된 반복 카운트보다 더 큰 경우 연속하는 반복들에 대해 단계들 D 내지 G를 반복하는 단계를 포함하는, 가중된 파라미터 결정 방법. - 제 1 컬러 도메인으로부터 제 2 컬러 도메인으로의 변환식에 기초하여 상기 제 2 도메인의 하나 이상의 프레임들의 제 2 컬러 도메인에 대한 하나 이상의 가중된 예측 파라미터들을 계산하는 단계; 및
상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 하나 이상의 가중된 예측 파라미터들을 변환하는 단계로서, 상기 제 1 컬러 도메인으로부터 상기 제 2 컬러 도메인으로의 변환은 비선형인, 상기 변환 단계를 포함하는, 방법. - 제 1 항 내지 제 19 항 중 어느 한 항의 방법에 따라 비디오 신호를 인코딩하기 위한, 인코더.
- 제 1 항 내지 제 19 항 중 어느 한 항에 따른 방법에 따라 비디오 신호를 인코딩하기 위한, 장치.
- 제 1 항 내지 제 19 항 중 어느 한 항의 방법에 따라 비디오 신호를 인코딩하기 위한, 시스템.
- 제 1 항 내지 제 19 항 중 어느 한 항의 방법에 따라 비디오 신호를 디코딩하기 위한, 디코더.
- 제 23 항에 있어서,
상기 가중된 예측 파라미터들은 상기 디코더에 전송된 픽처 정보로부터 유도되는, 디코더. - 제 1 항 내지 제 19 항 중 어느 한 항의 방법에 따라 비디오 신호를 디코딩하기 위한, 장치.
- 제 25 항에 있어서,
상기 가중된 예측 파라미터들은 상기 장치에 전송된 픽처 정보로부터 유도되는, 장치. - 제 1 항 내지 제 19 항 중 어느 한 항의 방법에 따라 비디오 신호를 디코딩하기 위한, 시스템.
- 제 27 항에 있어서,
상기 가중된 예측 파라미터들은 상기 시스템에 전송된 픽처 정보로부터 유도되는, 시스템. - 하나 이상의 컴퓨터 또는 집적 회로(IC) 디바이스가, 제 1 항 내지 제 19 항 중 어느 한 항의 방법을 수행하도록 야기하거나, 제어하거나, 프로그래밍하거나, 또는 구성하는 명령들의 세트를 포함하는, 컴퓨터 판독가능 저장 매체.
- 제 1 항 내지 제 19 항 중 어느 한 항의 방법을 수행하도록 구성되거나, 프로그래밍되거나, 제어되거나, 또는 설계되는, IC 디바이스.
- 비디오 신호를 디코딩하기 위해 제 1 항 내지 제 19 항 중 어느 한 항의 방법의 사용.
- 비디오 신호를 인코딩하기 위해 제 1 항 내지 제 19 항 중 어느 한 항의 방법의 사용.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US38011110P | 2010-09-03 | 2010-09-03 | |
| US61/380,111 | 2010-09-03 | ||
| PCT/US2011/050188 WO2012031107A1 (en) | 2010-09-03 | 2011-09-01 | Method and system for illumination compensation and transition for video coding and processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130036773A true KR20130036773A (ko) | 2013-04-12 |
| KR101535784B1 KR101535784B1 (ko) | 2015-07-10 |
Family
ID=44675829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137005585A KR101535784B1 (ko) | 2010-09-03 | 2011-09-01 | 비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9554156B2 (ko) |
| EP (1) | EP2612499B1 (ko) |
| JP (1) | JP5509390B2 (ko) |
| KR (1) | KR101535784B1 (ko) |
| CN (1) | CN103081468B (ko) |
| BR (1) | BR112013005122A2 (ko) |
| MX (1) | MX2013002429A (ko) |
| RU (5) | RU2556396C2 (ko) |
| WO (1) | WO2012031107A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012808A1 (ko) * | 2016-07-14 | 2018-01-18 | 삼성전자 주식회사 | 크로마 인트라 예측 방법 및 그 장치 |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7277486B2 (en) * | 2002-05-03 | 2007-10-02 | Microsoft Corporation | Parameterization for fading compensation |
| WO2012122423A1 (en) | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Pre-processing for bitdepth and color format scalable video coding |
| US9516085B2 (en) | 2011-09-20 | 2016-12-06 | Google Technology Holdings LLC | Constrained fidelity Adaptive Bit Rate encoding systems and methods |
| WO2013043918A1 (en) * | 2011-09-21 | 2013-03-28 | General Instrument Corporation | Adaptive streaming to multicast and constrained-fidelity constant bit rate encoding |
| US9420302B2 (en) | 2012-01-24 | 2016-08-16 | Dolby Laboratories Licensing Corporation | Weighted multi-band cross color channel predictor |
| US9143781B2 (en) | 2012-04-03 | 2015-09-22 | Qualcomm Incorporated | Weighted prediction parameter coding |
| CN103686194B (zh) * | 2012-09-05 | 2017-05-24 | 北京大学 | 基于非局部均值的视频去噪方法和装置 |
| EP2733933A1 (en) * | 2012-09-19 | 2014-05-21 | Thomson Licensing | Method and apparatus of compensating illumination variations in a sequence of images |
| TWI489090B (zh) * | 2012-10-31 | 2015-06-21 | Pixart Imaging Inc | 偵測系統 |
| US9596481B2 (en) * | 2013-01-30 | 2017-03-14 | Ati Technologies Ulc | Apparatus and method for video data processing |
| WO2014166360A1 (en) * | 2013-04-10 | 2014-10-16 | Mediatek Inc. | Method and apparatus for bi-prediction of illumination compensation |
| CN104125477B (zh) * | 2013-04-27 | 2017-08-18 | 华为技术有限公司 | 一种视频帧淡入/淡出检测方法及装置 |
| CN103327324A (zh) * | 2013-05-13 | 2013-09-25 | 深圳市云宙多媒体技术有限公司 | 一种光线突变视频编解码方法及系统 |
| US20140348240A1 (en) * | 2013-05-22 | 2014-11-27 | Qualcomm Incorporated | Video coding using sample prediction among color components |
| US9852519B2 (en) | 2013-06-25 | 2017-12-26 | Pixart Imaging Inc. | Detection system |
| JPWO2015005025A1 (ja) * | 2013-07-12 | 2017-03-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| EP3013052A4 (en) * | 2013-07-12 | 2017-02-01 | Samsung Electronics Co., Ltd. | Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction |
| US9654775B2 (en) * | 2014-01-09 | 2017-05-16 | Vixs Systems, Inc. | Video encoder with weighted prediction and methods for use therewith |
| WO2015192372A1 (en) * | 2014-06-20 | 2015-12-23 | Mediatek Singapore Pte. Ltd. | A simplified method for illumination compensation in multi-view and 3d video coding |
| US9866734B2 (en) * | 2014-08-26 | 2018-01-09 | Dolby Laboratories Licensing Corporation | Scene-change detection using video stream pairs |
| CN107077726B (zh) * | 2014-10-27 | 2019-04-09 | 杜比实验室特许公司 | 使用扩展颜色范围的内容映射 |
| US9697796B2 (en) * | 2015-03-26 | 2017-07-04 | Intel Corporation | Adaptive linear luma domain video pipeline architecture |
| US10516865B2 (en) * | 2015-05-17 | 2019-12-24 | Endochoice, Inc. | Endoscopic image enhancement using contrast limited adaptive histogram equalization (CLAHE) implemented in a processor |
| US10390015B2 (en) * | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
| CN106683047B (zh) * | 2016-11-16 | 2020-05-22 | 深圳市梦网视讯有限公司 | 一种全景图像的光照补偿方法和系统 |
| CN106786748B (zh) * | 2016-12-27 | 2019-01-25 | 电子科技大学 | 一种三电平逆变器并联系统零序环流抑制方法 |
| CN110169062A (zh) * | 2017-01-10 | 2019-08-23 | 瑞典爱立信有限公司 | 去块滤波控制 |
| IT201700099120A1 (it) * | 2017-09-05 | 2019-03-05 | Salvatore Lamanna | Sistema di illuminazione per schermo di qualsiasi tipo |
| FR3076386B1 (fr) * | 2017-12-29 | 2020-02-07 | Ateme | Methode de compression dynamique |
| WO2019205117A1 (en) * | 2018-04-28 | 2019-10-31 | Intel Corporation | Weighted prediction mechanism |
| AU2018436324B2 (en) | 2018-08-09 | 2022-12-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video image component prediction method and apparatus, and computer storage medium |
| WO2020141599A1 (ja) * | 2019-01-02 | 2020-07-09 | シャープ株式会社 | 予測画像生成装置、動画像復号装置、動画像符号化装置、および予測画像生成方法 |
| CN113491130B (zh) * | 2019-01-17 | 2024-02-27 | 北京达佳互联信息技术有限公司 | 用于视频编解码的线性模型推导的方法和装置 |
| WO2020149770A1 (en) * | 2019-01-18 | 2020-07-23 | Huawei Technologies Co., Ltd. | Method and apparatus of local illumination compensation for predictive coding |
| CN116260981B (zh) * | 2019-12-05 | 2024-01-30 | 阿里巴巴（中国）有限公司 | 用于色度采样的方法和装置 |
| CN115103188B (zh) * | 2022-08-24 | 2022-12-30 | 中南大学 | Svc的错误隐藏方法、模型训练方法、系统及设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266370B1 (en) * | 1996-09-03 | 2001-07-24 | Nippon Telegraph And Telephone Corporation | Brightness-variation compensation method and coding/decoding apparatus for moving pictures |
| US7277486B2 (en) | 2002-05-03 | 2007-10-02 | Microsoft Corporation | Parameterization for fading compensation |
| US7609767B2 (en) | 2002-05-03 | 2009-10-27 | Microsoft Corporation | Signaling for fading compensation |
| RU2333615C2 (ru) * | 2002-07-15 | 2008-09-10 | Томсон Лайсенсинг С.А. | Адаптивное взвешивание эталонных изображений при декодировании видеосигнала |
| US7010047B2 (en) * | 2002-10-11 | 2006-03-07 | Ub Video Inc. | Global brightness change compensation system and method |
| US7271812B2 (en) * | 2003-09-18 | 2007-09-18 | Seiko Epson Corporation | Method and apparatus for color space conversion |
| CN1902937A (zh) * | 2004-01-05 | 2007-01-24 | 皇家飞利浦电子股份有限公司 | 编码方法以及相应的已编码信号 |
| RU2378790C1 (ru) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Методики масштабируемости на основе информации содержимого |
| US7956930B2 (en) * | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
| JP4867497B2 (ja) * | 2006-06-21 | 2012-02-01 | ソニー株式会社 | 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム |
| JP2008166966A (ja) * | 2006-12-27 | 2008-07-17 | Toshiba Corp | 映像信号処理回路、映像信号処理装置及び映像信号処理方法 |
| HUE037450T2 (hu) | 2007-09-28 | 2018-09-28 | Dolby Laboratories Licensing Corp | Videó információ kezelése |
| US8811771B2 (en) * | 2008-08-22 | 2014-08-19 | Adobe Systems Incorporated | Content aware slideshows |
-
2011
- 2011-09-01 US US13/819,700 patent/US9554156B2/en active Active
- 2011-09-01 BR BR112013005122A patent/BR112013005122A2/pt not_active Application Discontinuation
- 2011-09-01 RU RU2013112660/08A patent/RU2556396C2/ru active
- 2011-09-01 MX MX2013002429A patent/MX2013002429A/es active IP Right Grant
- 2011-09-01 WO PCT/US2011/050188 patent/WO2012031107A1/en active Application Filing
- 2011-09-01 KR KR1020137005585A patent/KR101535784B1/ko active IP Right Grant
- 2011-09-01 CN CN201180042472.8A patent/CN103081468B/zh not_active Expired - Fee Related
- 2011-09-01 JP JP2013527313A patent/JP5509390B2/ja active Active
- 2011-09-01 RU RU2015100767A patent/RU2699253C2/ru active
- 2011-09-01 EP EP11760915.6A patent/EP2612499B1/en not_active Not-in-force
-
2019
- 2019-08-26 RU RU2019126819A patent/RU2019126819A/ru unknown
- 2019-08-26 RU RU2019126818A patent/RU2019126818A/ru unknown
- 2019-08-26 RU RU2019126816A patent/RU2019126816A/ru unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012808A1 (ko) * | 2016-07-14 | 2018-01-18 | 삼성전자 주식회사 | 크로마 인트라 예측 방법 및 그 장치 |
| US11277604B2 (en) | 2016-07-14 | 2022-03-15 | Samsung Electronics Co., Ltd. | Chroma intra prediction method and device therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2019126816A (ru) | 2021-02-26 |
| EP2612499B1 (en) | 2016-01-20 |
| CN103081468B (zh) | 2017-02-15 |
| CN103081468A (zh) | 2013-05-01 |
| JP2013537021A (ja) | 2013-09-26 |
| KR101535784B1 (ko) | 2015-07-10 |
| RU2019126819A (ru) | 2021-02-26 |
| RU2015100767A (ru) | 2015-10-27 |
| RU2019126818A (ru) | 2021-02-26 |
| JP5509390B2 (ja) | 2014-06-04 |
| MX2013002429A (es) | 2013-04-08 |
| WO2012031107A1 (en) | 2012-03-08 |
| EP2612499A1 (en) | 2013-07-10 |
| BR112013005122A2 (pt) | 2016-05-03 |
| RU2699253C2 (ru) | 2019-09-04 |
| US20130163666A1 (en) | 2013-06-27 |
| RU2013112660A (ru) | 2014-10-27 |
| RU2015100767A3 (ko) | 2018-10-31 |
| US9554156B2 (en) | 2017-01-24 |
| RU2556396C2 (ru) | 2015-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101535784B1 (ko) | 비디오 코딩 및 프로세싱을 위한 조도 보상 및 변환을 위한 방법 및 시스템 | |
| US11736701B2 (en) | Hash-based encoder decisions for video coding | |
| US9924171B2 (en) | Layer decomposition in hierarchical VDR coding | |
| EP3158751B1 (en) | Encoder decisions based on results of hash-based block matching | |
| US10013746B2 (en) | High dynamic range video tone mapping | |
| US8243797B2 (en) | Regions of interest for quality adjustments | |
| US20160269732A1 (en) | Encoder-side decisions for screen content encoding | |
| US10038917B2 (en) | Search strategies for intra-picture prediction modes | |
| WO2017083784A1 (en) | Adaptive chroma downsampling and color space conversion techniques | |
| EP2945377B1 (en) | Piecewise cross color channel predictor | |
| US20160373739A1 (en) | Intra/inter decisions using stillness criteria and information from previous pictures | |
| JP2005525014A (ja) | 符号化されたデジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法 | |
| US8971408B2 (en) | Piecewise cross color channel predictor | |
| JP2022515518A (ja) | イントラ予測のための成分間線形モデリングの方法および装置 | |
| Coria et al. | Using temporal correlation for fast and highdetailed video tone mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 5 |