KR20180054623A - Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 - Google Patents
Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 Download PDFInfo
- Publication number
- KR20180054623A KR20180054623A KR1020187007713A KR20187007713A KR20180054623A KR 20180054623 A KR20180054623 A KR 20180054623A KR 1020187007713 A KR1020187007713 A KR 1020187007713A KR 20187007713 A KR20187007713 A KR 20187007713A KR 20180054623 A KR20180054623 A KR 20180054623A
- Authority
- KR
- South Korea
- Prior art keywords
- luminance
- samples
- chroma
- sample
- decoder
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000001419 dependent effect Effects 0.000 claims abstract description 9
- 238000012546 transfer Methods 0.000 claims description 27
- 241000023320 Luma <angiosperm> Species 0.000 claims description 18
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 25
- 238000005070 sampling Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 14
- 238000007906 compression Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 238000013144 data compression Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
공통 공간에서의 크라마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계 (33, 44); 및 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용하는 단계 (34, 492) 를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법이 제공된다.
Description
본 개시는 일반적으로 비디오 인코딩 및/또는 디코딩에 관한 것으로, 특히 컬러 스페이싱을 이용한 비디오 인코딩 및/또는 디코딩에 관한 것이다.
디지털 신호 처리에서, 데이터 압축은 데이터 송신에서 매우 중요하게 되었다. 데이터 파일의 크기를 줄이는 프로세스를 데이터 압축이라고 한다. 압축은 데이터 저장 공간 또는 송신 용량과 같은 자원 사용을 줄이는데 도움이 되므로 유용하다. 그러나, 일단 데이터가 압축되면, 압축해제되어 사용할 수 있게 된다. 압축된 데이터는 사용하기 위해 압축 해제되어야 하므로, 이 추가 처리는 압축 해제를 통해 계산 또는 기타 비용을 부과한다. 또한, 데이터 압축 스키마의 설계는 압축 정도, (손실된 데이터 압축을 사용할 때) 도입되는 왜곡의 양, 및 데이터 압축 및 압축 해제에 필요한 계산 리소스를 포함한 다양한 팩터들 간의 트레이드 오프를 수반한다. 예를 들어, 비디오 압축 스키마는 비디오가 압축 해제될 때 볼 수 있을 정도로 충분히 빨리 압축 해제하려면 고가의 하드웨어를 필요로할 수도 있다. 비디오를 보기 전에 비디오를 완전히 압축 해제하는 옵션은 불편하거나 또는 추가적인 스토리지를 필요로 할 수도 있다.
비디오 압축에서, 이러한 트레이드 오프는 비압축 비디오가 매우 높은 데이터 레이트를 필요로 하므로 매우 중요한 고려 사항이 될 수 있다. 대부분의 비디오 압축 알고리즘은 공간 이미지 압축과 시간적 모션 보상을 결합한다. 또한, 비디오 압축 스트림은 하나의 패키지에서 오디오 스트림을 동반한다. 따라서, 대부분의 비디오 코딩 표준의 설계에서, 주요한 목표는 가장 높은 코딩 효율을 갖는 것을 목표로 한다. 코딩 효율은 특정 수준의 비디오 품질을 유지하면서 최저의 가능한 비트 레이트로 비디오를 인코딩하는 능력이다. 비디오 품질과 비트 레이트 사이의 트레이드 오프는 최근 수년 동안 많은 실제적 과제를 야기했다.
고효율 비디오 코딩 (이하 HEVC) 은 인기를 얻고 있는 비디오 압축 표준이다. 이러한 인기가 있는 이유는 HEVC가 동일한 수준의 비디오 품질에 비해 데이터 압축 레이트를 두 배로 높일 수 있기 때문이다. HEVC는 컬러 스페이싱, 스케일러블 코딩 확장 및 멀티뷰 확장과 같은 여러가지 기술을 지원한다. 더욱이, HEVC 비디오 압축 표준은, 무엇보다도, 소위 적합성 포인트 (conformance point) 에 따라 동작하는 비디오 디코딩 프로세스를 특정한다. 적합성 포인트는, 비디오 디코딩 및 렌더링 프로세스에서, 디코딩된 비디오 시퀀스와 HEVC 표준의 적합성이 검사될 수 있는 포인트에 대응한다. 임의의 후속 동작이 디코딩된 픽처 성분에 적용되기 이전에, 비디오 디코더의 고정 소수점 숫자 출력에 해당한다. 그러나, 대부분의 경우 이러한 기능들을 동시에 사용할 수 없었다. 따라서, 이러한 기능 중 일부를 동시에 최대한 활용할 수 있는 기술이 바람직하다.
픽처/비디오, 특히 고 동적 범위의 픽처/비디오를 인코딩 및 디코딩하기 위한 다른 기술들이 제안되어 왔다.
도 1은 종래의 고 동적 범위 (이하 HDR (high dynamic range)) 디코딩 워크플로우를 도시한 블록도이다. 대부분의 HDR 이미징 기술에서, 표준 디지털 이미징 또는 포토그래피 기술로 가능한 것보다 더 큰 동적 범위의 광도를 재현하기 위해 이미징 및 포토그래피가 사용된다. 이 기술은 비디오 및 이미지 전송 동안 유지되어야 하는 우수한 이미지들을 생성한다. 이를 위해, 도 1에 도시된 바와 같이, 일반적인 HDR 재구성 시스템 (HDR 재구성 (12), 컬러 업-샘플링 (13), HDR 후처리 (14)) 은, HEVC 디코더에 의해 생성된 디코딩된 비디오 시퀀스로부터 HDR 컨텐츠를 복원하는 것을 목표로 하는, 레거시 (HEVC) 비디오 디코더 (11) 이후에 배치된다. 대부분의 비디오 분배 사용 케이스에서, HEVC 코딩된 시퀀스는 4:2:0 크로마 포맷으로 표현되고, 컴포넌트 샘플은 10 비트 고정 소수점 숫자로 표현된다.
HDR 이미지는 여러개의 저 동적 범위 (LDR; low-dynamic-range) 또는 표준 동적 범위 (SDR; standard-dynamic-range) 사진을 병합하여 얻어지는 컴퓨터 렌더링 및 이미지일 수 있다. 또한, HDR 이미지는 오버샘플링된 바이너리 이미지 센서와 같은 특수 이미지 센서를 사용하여 또한 획득될 수 있다. 압축된 HDR 비디오를 배포하는 맥락에서, HDR을 대표하는 관련 SDR 비디오를 보다 제한된 동적 범위로 동시에 배포할 때, 몇 가지 과제가 있다. 이들 과제는, SDR 연관 비디오가 없는 경우에 경감되며, 결과적으로 SDR 비디오의 발생도 또한 해결될 과제의 일부이다.
도 1을 다시 참조하면, HEVC 코딩된 시퀀스들로 사용될 수 있는 디코더 및 특히 HDR 이미징을 사용하는 디코더는 4:2:0 크로마 샘플링로 샘플당 8 비트 내지 10 비트의 비트 심도를 허용하는 프로파일을 가져야 한다. 이러한 HEVC 디코더는 더 많은 수의 컬러를 허용하는 더 높은 비트 심도로 만들어진 비트스트림을 디코딩하고, 그리고 컬러 밴딩의 문제를 최화하하는 컬러의 더 부드러운 천이를 허용하기 위해 더 높은 비트 심도를 수용해야 한다. 도 1에서 사용된 예에서, HDR 재구성 프로세스의 대부분은 4:4:4 포맷으로 수행되는 반면, HEVC 코딩/디코딩 프로세스에서 고전적으로 사용되는 컬러 포맷은 4:2:0 이다. 결과는 HDR 재구성 프로세스의 높은 계산 복잡성이다.
더욱이, HEVC 비디오 압축 표준은, 무엇보다도, 소위 적합성 포인트 (conformance point) 에 따라 동작하는 비디오 디코딩 프로세스를 특정한다. 적합성 포인트는, 비디오 디코딩 및 렌더링 프로세스에서, 디코딩된 비디오 시퀀스와 HEVC 표준의 적합성이 검사될 수 있는 포인트에 대응한다. 임의의 후속 연산이 (크로마 업-샘플링, 컬러 공간 변환 및/또는 출력 디스플레이에 대한 비디오 신호 적응과 같이) 디코딩된 픽처 성분에 적용되기 이전에, 비디오 디코더의 고정 소수점 출력에 해당한다. 4:2:0 내지 4:4:4 크로마 업-샘플링 직전에, MPEG/HDR 비디오 압축을 위해 무빙 픽처 엑스퍼트 그룹 (이하 MPEG (Moving Picture Expert Group)) 표준화체에 의해 고려될 수 있는 적합성 포인트가 위치해 있다.
또한, 2015 년 8 월 24 일 출원된 유럽 특허 출원 n°15290214.4는 픽처/비디오 인코딩 및 디코딩 기술을 개시하여, 고 동적 범위의 픽처/비디오의 인코딩 및 디코딩을 가능하게 한다. 이러한 기술은, 인코더 측에서, 예를 들어, 레거시 SDR 워크플로우와 호환 가능한 포맷으로 표현된 SDR 픽처로 HDR 픽처를 매핑하는 것에 의존한다. 예시적으로, 포맷은 고해상도 TV (표준 ITU-R Rec BT.709에 의해 정의됨) 에 전용인 8 비트 YUV 포맷이거나 또는 초고해상도 TV (표준 ITU-R Rec BT.2020에 의해 정의됨) 에 전용인 10 비트 YUV 포맷일 수 있다. 그것은 레거시 SDR 이미지 코더를 사용하여 획득된 SDR 픽처를 인코딩하는 것을 더 포함한다. 예를 들어, 코더는 예를 들어 HEVC (또는 워크플로우에 의해 실행 가능한 임의의 다른 코덱) 의 표준 8 비트 h264/AVC 메인 프로파일 또는 표준 10 비트 HEVC 메인 프로파일일 수 있다. 또한, 분배 스킴은 획득된 인코딩된 SDR 픽처의 비트스트림을 분배하는 것을 포함한다. 디코더 측에서, 어드레싱된 사용자에 따라 두 가지 시나리오가 가능하다. 제 1 시나리오에서, 디코딩된 SDR 픽처는 분배된 비트스트림으로부터 얻어지고 SDR 가능 디바이스 상에 디스플레이된다.
제 2 시나리오에서, 디코딩된 HDR 픽처는 디코딩된 SDR 픽처를 먼저 얻고 디코딩된 SDR 픽처로부터 디코딩된 HDR 픽처로의 매핑을 두번째 적용함으로써 분배된 비트스트림으로부터 얻어진다.
HEVC 디코더를 구현하는 기술에 따르면, SDR 투 HDR 매핑 프로세스의 대부분은, 매핍 프로세스의 초기에 4:2:0 내지 4:4:4 업-샘플링을 수행하도록 구성되지 않은, XYZ 컬러 공간의 사용으로 인해, 4:4:4 크로마 포맷으로 디코딩된 컬러 픽처에 적용된다. 결과는 높은 계산 복잡도 디코더이다.
따라서 도메인은, 공정의 대부분이 4:2:0 도메인에서 수행되는, HDR 디코딩 프로세스를 갖는 것이 바람직할 것이다. 더욱이, 디코딩의 출력이 10-비트 정수 샘플들로 표현되는 HDR 디코딩 프로세스를 갖는 것이 바람직할 수 있어서, HDR 디코딩 프로세스는 확립된 표준 HDR 비디오 신호를 준수하는 HDR 신호를 생성한다.
추가적인 특징 및 장점은 본 원리의 기술을 통해 실현된다. 이 원리의 다른 실시형태 및 양태는 본 명세서에 상세히 설명되고 청구항의 일부로 간주된다. 장점과 특징이 있는 원리를 더 잘 이해하기 위해, 설명과 도면을 참조한다.
모든 관련된 코딩/디코딩 단계들에서 공통적으로 사용되는 공간 내의 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계; 및 크로마 샘플에 적용되는 루미넌스에 의존하는 프로세서에서 결정된 루미넌스 샘플을 채용하는 단계를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법이 제공된다.
이 원리는 다음의 실시형태 및 실행 예들에 의해, 제한적이지는 않지만 첨부된 도면을 참조하여 더 잘 이해되고 예시될 것이다:
- 도 1 은 종래 기술에 따른 디코딩 워크플로우 및 적합성 포인트를 도시한 블록도를 도시한다.
- 도 2는 본 원리의 일례에 따른 컬러 스페이싱 스킴을 사용하는 디코딩 기술을 도시한 흐름도이다.
- 도 3 은 본 원리의 일례에 따른 동기식 코-로케이터를 갖는 디코더를 도시한 블록도이다.
- 도 4는 본 원리의 일례에 따른 재형상화 피처를 갖는 인코딩 기술을 도시한 블록도이다.
- 도 5 는 본 원리의 일례에 따른 디바이스의 아키텍처의 예를 도시한다.
도 1 내지 도 4에서, 표현된 블록은 순수하게 기능적인 엔티티이며, 물리적으로 분리된 엔티티에 반드시 대응하는 것은 아니다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 또는 하나 이상의 프로세서를 포함하는 하나 또는 수개의 집적 회로로 구현될 수 있다.
가능하면, 도면 전체에 걸쳐 동일한 참조 번호가 동일하거나 유사한 부분을 나타내기 위해 사용될 것이다.
- 도 1 은 종래 기술에 따른 디코딩 워크플로우 및 적합성 포인트를 도시한 블록도를 도시한다.
- 도 2는 본 원리의 일례에 따른 컬러 스페이싱 스킴을 사용하는 디코딩 기술을 도시한 흐름도이다.
- 도 3 은 본 원리의 일례에 따른 동기식 코-로케이터를 갖는 디코더를 도시한 블록도이다.
- 도 4는 본 원리의 일례에 따른 재형상화 피처를 갖는 인코딩 기술을 도시한 블록도이다.
- 도 5 는 본 원리의 일례에 따른 디바이스의 아키텍처의 예를 도시한다.
도 1 내지 도 4에서, 표현된 블록은 순수하게 기능적인 엔티티이며, 물리적으로 분리된 엔티티에 반드시 대응하는 것은 아니다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 또는 하나 이상의 프로세서를 포함하는 하나 또는 수개의 집적 회로로 구현될 수 있다.
가능하면, 도면 전체에 걸쳐 동일한 참조 번호가 동일하거나 유사한 부분을 나타내기 위해 사용될 것이다.
본 원리의 도면 및 설명은, 일반적인 디지털 멀티미디어 콘텐츠 전달 방법 및 시스템에서 발견된 많은 다른 엘리먼트를 명확성을 위해 제거하면서, 본 원리의 명확한 이해와 관련된 엘리먼트를 나타내기 위해 단순화된 것으로 이해된다. 그러나, 그러한 엘리먼트는 당업계에 잘 알려져 있으므로, 그러한 엘리먼트에 대한 상세한 설명은 여기에 제공되지 않는다. 본원의 개시는 그러한 모든 변형 및 수정에 관한 것이다.
본 원리는, 공통 공간에서의 크라마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계; 및 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용하는 단계를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법을 제공하는 것이다.
적어도 하나의 실시형태에 따르면, 본 개시는 대부분의 프로세스가 4:2:0 크로마 포맷으로 수행되는 HDR 인코딩 또는 디코딩 프로세스를 제공한다.
또한, 적어도 하나의 실시형태에 따르면, 본 개시는 인코딩의 입력 및 디코딩의 출력이 10 비트 정수 샘플로 표현되는 HDR 인코딩 또는 디코딩 프로세스를 제공한다.
도 2는 HDR 픽처를 디코딩하고 재구성하는 주요 단계가 4:2:0 포맷으로 수행되는 디코딩의 일례를 도시한다. 예를 들어, 도 2에 도시된 디코더는, "마스터링 레퍼런스 디스플레이의 FCD SMPTE 표준 고 동적 범위 전기광학 전달 함수 (FCD SMPTE Standard High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays), SMPTE ST2084:201X, 버전 1.24, 2014-06-18"에 개시된 EOTF와 같은 표준 ST2084 전달 함수 TF를 통해 얻은 비선형 (R,G,B) 컬러 샘플에 기초하여 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서의 컬러 업-샘플링을 수행한다.
또한, 양호한 HDR 압축 효율을 보장하기 위해, 디코더와 동기식으로 크로마 다운-샘플링이 수행될 수 있는 HDR 인코딩 프로세스가 제안된다. 이것은, 디코더 및 인코더에 대해 도 3 및 도 4에 각각 도시된 블록도들에서 제공된다.
예를 들어, 도 2에 도시된 디코딩 기술은 입력 HDR 비트스트림으로부터 적어도 하나의 선형 RGB HDR 픽처를 재구성하는 것을 목표로 한다.
단계 21에서, 입력 HDR 비트스트림이, SDR 컨텐츠를 나타내는 루마 및 크로마 샘플로 디코딩된다. 디코딩은 예를 들어 HEVC 비디오 코딩 표준을 따른다. HEVC 디코딩된 4:2:0 10 비트 픽처에는 두 개의 연속적인 컬러 변환 단계가 적용된다.
제 1 컬러 변환 단계 22 는 HEVC 코딩/디코딩에 사용된 YCbCr 컬러 공간에서 HEVC 디코더에 의해 (또는 HEVC 디코딩 후에 동작하는 다른 처리 스테이지에 의해) 주어진 적어도 하나의 디코딩된 픽처 (단계 21) 에 적용된다. SDR을 동적으로 유지하면서 컬러 성분을 수정하는 것을 목표로 한다. 제 1 컬러 변환 단계 22 의 출력은 재구성된 픽처 또는 픽처 샘플이며, 루미넌스 및 크로마 샘플 은 하기 식을 통해 얻어진다:
예를 들어, Y의 함수로서 의 값은 (http://www.etsi.org/deliver/etsi_ts/103400_103499/103433/01.01.01_60/ts_103433v010101p.pdf.에 위치한) 표준 "ETSI TS 103 433" 의 에넥스 C.2.3 에 특정된 바와 같이, 룩-업 테이블 (LUT) 에 정의될 수 있다.
상기 식에서, 는 풀 해상도 루미넌스 샘플 Y로부터 유도된 루미넌스 샘플 값 L에 대응하고, 현재 고려되는 및 크로미넌스 샘플에 대응하는 공간 포지션에서 루미넌스 값을 제공하는 것을 목표로 한다. 의 결정은 통상적으로 현재 샘플 포지션에 가까이 위치한 2 또는 4개의 루미넌스 샘플들 사이의 공간 보간 프로세스에 대응한다. 예를 들어, 이것은 바이-선형 (bi-선형) 또는 바이-큐빅 (bi-cubic) 보간일 수 있다. 간단하고, 더 빠른 변형에 따르면, 주어진 (U',V') 샘플 포지션의 코-로케이팅된 샘플 은 공간 포지션 측면에서 (U',V') 의 좌상부 최근접한 이웃 루미넌스 샘플로서 선택될 수 있다.
a 및 b 는 상수 값이다. 예를 들어, 값 a 및 b 는 포함되는 0 내지 0.5 로 구성된다. 이들 값 사이의 값들은 2 개의 연속적인 값들 사이에서 1/1638의 단계들로 선택될 수 있다.
이 경우, 코-로케이팅된 및 크로마 샘플들은 각각의 보정된 루미넌스 샘플 L' 에 대해 결정되어야 한다. 또한, 주어진 루미넌스 샘플 의 코-로케이팅된 은 공간 포지션 측면에서 현재 샘플을 둘러싸는 수개의 및 샘플들 사이에서 각각 보간된 값으로 이루어질 수 있다.
제 2 컬러 변환 단계 23, 또는 크로마 변환 단계는 감소된 해상도로 2개의 재구성된 크로마 샘플들 에 적용되는데, 그 이유는 4:2:0 10 비트 도메인에서 수행되기 때문이다. 크로마 변환 단계 23 은 다음과 같이 정의된 전달 함수 TF를 통해 얻은 비선형 (R,G,B) 컬러 샘플들로부터 계산된 크로마 샘플들 을 출력한다:
단:
A: YUV 컬러 공간으로부터 RGB 컬러 공간으로의 변환 매트릭스,
단 P B = 0.7910, N B = -0.9702, P R = 0.4969, N R = -0.8591.
는 예를 들어, (L',U',V') 가 포함된 컬러 공간이 ITU-R BT709 인 경우 각각 (-0.27372,-0.68402,-0.12562) 와 동일할 수 있다. 는 예를 들어, (L',U',V') 가 포함된 컬러 공간이 ITU-R BT709 인 경우 각각 (-0.22826,-0.79256,-0.12749) 와 동일할 수 있다.
또한, 디코딩된 픽처의 루마 성분은, 표준 전달 함수 TF 의 도움으로 표현되기 위해, 별도의 채널에서 단계 24로 처리된다:
크로마 업-샘플링 단계 25 이후에 수행된 나머지 연산은 다음과 같다:
이 단계는 ITU-R BT2020 규격에 정의된 관계에 따라 선형-라이트 루미넌스 Y, 선형-라이트 R 및 선형-라이트 B 의 함수로서의 선형 G 성분의 인출을 가능하게 한다:
크로마 업-샘플링 25 이후에 구현된, 매트릭스 컬러 변환 26, 역 전달 단계 27 및 최종 매트릭스 컬러 변환 28 은, 표준 ST2084 전달 함수를 이용한 YCbCr 일정 루미넌스 BT2020 컬러 공간과 같이 표준 비디오 유용성 정보 (VUI (Video Usability Information), HEVC 표준 규격에서 정의됨) 가 고려될 때 유용하다. 결과적으로, 4:2:0 내지 4:4:4 크로마 업-샘플링을 수행하는 디코딩된 비디오 신호의 포맷을 특정할 수 있는 특정 SEI 메시지를 정의할 필요가 없다.
최종 매트릭스 컬러 변환 28의 출력은 적어도 하나의 선형 RGB HDR 샘플이다.
도 2를 보면, 다양한 디코딩 연산들이 크로마 성분 샘플들에 적용되는 일부 연산을 수반하고, 이들 크로마 성분 샘플과 연관된 루미넌스 샘플 값에 의존한다는 점에서, 도시된 디코더는 코-로케이팅된 루미넌스 샘플 관리 측면에서 비동기식이다. 픽처가 하나의 루미넌스 및 2개의 크로미넌스 성분들로 만들어진 4:2:0 컬러 공간에서 표현되는 경우, 2개의 컬러 성분들 (Cb,Cr) 은 폭 및 높이 모두에서 루미넌스 성분의 크기의 절반인 공간 크기를 갖는다. 따라서, (Cb,Cr) 샘플을 변경하는 경우, 하나는 이러한 크로마 샘플에 공간적으로 대응하는 루미넌스 값을 인출해야 한다. 소위 '코-로케이팅된' 루미넌스 또는 루마 샘플이 이후 고려되며, 이것은 고려되는 크로마 샘플 주위에 공간적으로 위치한 루마 샘플의 함수로서 유도된다. 하지만, 도 2에 나타낸 HDR 디코딩 시스템에서, 코-로케이팅된 루미넌스 샘플은 코딩 또는 디코딩 스테이지에 따라 변하는 컬러 공간에서 결정된다. 이것은 비최적의 HDR 압축 성능을 초래한다.
일 실시형태에서, 과제는 도 3 및 도 4 에 도시된 HDR 코딩/디코딩 스킴에 의해 해결될 수 있다. 도 3 및 도 4 의 HDR 디코더 및 인코더 스킴은 이러한 비동기화된 코-로케이팅된 루미넌스 샘플 결정으로부터 발행된 아티팩트들을 감소시킨다.
특히, 도 3 및 도 4 모두에 나타낸 디코더 및 인코더는 동일한 YCbCr 일정한 루미넌스 BT2020 컬러 공간과 같이 크로마 업 및 다운-샘플링을 수행하기 위해 동일한 컬러 공간 내에서 동작한다. 포맷 4:2:0 로부터 4:4:4 로의 업-샘플링은 이러한 특정 컬러 공간에 잘 적합하여, 디코딩 프로세스가 4:2:0 포맷에 주로 구현될 수 있게 한다.
하지만, 다른 컬러 공간들도 또한 사용될 수 있다.
추가로, 도 3 및 도 4에 나타낸 실시형태들에서, 코-로케이팅된 크로미넌스 샘플들 및 을 정의할 필요가 없다. 단지 코-로케이팅된 루미넌스 샘플 만이 정의될 필요가 있다. 이들 실시형태에 따르면, 코-로케이팅된 루미넌스 샘플 은 인코딩 측 및 디코딩 측의 동일한 컬러 공간에서 결정될 수 있다.
도 3의 디코더는, 일 실시형태에서, 주어진 컬러 샘플과 연관되는 코-로케이팅된 루미넌스 샘플을 제공한다. 고려된 컬러 샘플에 적용된 루미넌스 의존적인 연산이 무엇이든간에, 이러한 샘플은 다운-샘플링된 컬러 성분에 포함되고 프로세스는 동일한 도메인에서 수행된다.
본 실시형태에서, 도 4 의 실시형태는, 디코더 측에서 크로마 업-샘플링을 수행하기 위해 사용된 컬러 공간과 동일한 공간에서, 컬러 다운-샘플링이 HDR-투-SDR 매핑 프로세스 이전에 수행되는 HDR 비디오 인코딩 스킴으로 이루어진다.
도 3 및 도 4 를 함께 취하면, 하나의 실시형태에서, 디코더/인코더 스킴에서 컬러 샘플들을 처리하기 위해 루미넌스 값을 결정하는 방법이 사용된다. 본 실시형태에서, 먼저 공통 공간에서의 크로마 샘플 포지션과 연관되는 루미넌스 샘플이 결정된다. 후속하여, 결정된 루미넌스 샘플은 크로마 샘플들에 적용되는 루미넌스에 의존하는 프로세스에서 적용된다. 하나의 실시형태에서, 공통 공간은 표준 전달 함수를 적용하는 경우 얻어지는 비선형 루미넌스 공간을 도시된 바와 같이 포함할 수 있다. 또한, 표준 전달 함수는 수용될 수 있는 PQ 로도 불리는 SMPTE ST2084 역 전기 광학 전달 함수 (EOTF) 를 포함한다.
하나의 실시형태에서, 루미넌스 샘플은 크로마 샘플에 가깝게 위치된 비선형 픽셀 값들의 평균 값을 계산함으로써 결정될 수 있다.
주어진 컬러 샘플과 연관되는 코-로케이팅된 루미넌스 샘플을 제공하기 위해서, 적어도 하나의 실시형태에 따른 디코딩 방법은 도 3 에 나타낸 다음의 단계들을 포함한다.
다시 한번, EOTF 와 같은 표준 ST2084 전달 함수 TF 를 통해 얻은 비선형 (R,G,B) 컬러 샘플들에 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서 디코더가 컬러 업-샘플링을 수행하는 것을 고려한다. 하지만, 다른 컬러 공간 또는 다른 전달 함수가 고려될 수 있다.
식 중 는 비디오 (HEVC) 디코더에 의해 제공된 루마 값이고, 은 선택적 루미넌스 샘플 보정 단계가 도 3 에서 제거되기 때문에 와 동일하고, 그리고 는 인코더 측의 루미넌스에 적용된 비선형성의 역이다. 본 실시형태에서, 예비 루미넌스 샘플 보정을 적용할 필요는 없다.
단계 33 에서, 비선형 도메인에서의 코-로케이팅된 루미넌스 샘플, , 은 각각의 크로마 샘플에 대해 얻어진다. 이러한 단계는 공통 공간에서의 크로마 샘플 포지션과 연관된 루미넌스 샘플 () 을 결정하는 것을 목표로 한다.
선택적 단계 323 은 컬러 콘트라스트를 증가시키기 위해서 재형상화된 선형 성분 및 에 적용될 수 있다. 이러한 단계는 CPCE 타입 ("Colour-Preserving Contrast Enhancement") 의 필터링을 구현할 수 있다.
단계 34 에서, 크로마 보정은, 가능하게는 CPCE 필터링 이후, 2개의 재형상화된 선형 성분 및 에 적용된다. 크로마 보정 단계 34 는 다음과 같이 정의된 표준 ST2084 전달 함수 TF=PQ 를 통해 얻은 비선형 (R,G,B) 컬러 샘플들로부터 계산된 크로마 성분들 을 출력한다:
단:
P B = 0.7910, N B = -0.9702, P R = 0.4969, N R = -0.8591.
크로마 업-샘플링 35 이후에 수행된 나머지 연산들은 도 2 와 관련하여 기재된 연산들과 유사하다:
이들 단계들은 및 성분 계산의 역, 즉 YCbCr 일정한 루미넌스 BT2020 컬러 공간에 대한 역 식을 적용함으로써, 비선형 RGB 컬러 공간의 비선형 및 성분 샘플들의 인출을 가능하게 한다.
이 단계는 ITU-R BT2020 규격에 정의된 관계에 따라 선형-라이트 루미넌스 Y, 선형-라이트 R 및 선형-라이트 B 의 함수로서의 선형 G 성분의 인출을 가능하게 한다:
크로마 업-샘플링 35 이후에 구현된, 매트릭스 컬러 변환 36, 역 전달 단계 37 및 최종 매트릭스 컬러 변환 38 은 표준이고 알려져 있는 것이다. ITIU-R BT2020 표준 포맷 및 PQ 전달 함수를 구현하는 디바이스는 이들을 적용할 수 있다. 디코딩된 신호가 이 컬러 공간에 놓이는 지식은 HEVC 비트스트림에 포함된 VUI 메시지를 통해 얻으며, 이것은 표준 ST2084 전달 함수를 이용한 YCbCr 일정한 루미넌스 BT2020 컬러 공간의 사용을 나타낸다. 결과적으로, 특정 SEI 메시지를 정의할 필요가 없다.
출력은 적어도 하나의 선형 RGB HDR 샘플이다.
도 3 에 나타낸 디코더는, 동일한 전달 함수 및 컬러 공간이 사용되는 경우, 도 4 의 인코더로 코딩된 신호를 디코딩할 수 있다.
도 4 를 참조하면, PQ 전달 함수를 통해 얻은 비선형 (R,G,B) 컬러 샘플들에 기초하여 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서 인코더가 컬러 다운-샘플링을 수행한다고 고려하면, 인코딩 방법은 적어도 하나의 선형-라이트 HDR (R,G,B) 샘플에 대해 다음의 단계들을 구현한다.
단계 41 에서, 선형-라이트 HDR (R,G,B) 샘플은 비선형 지각 공간으로 변환된다:
그리고 단계 44 에서, 비선형 도메인에서의 코-로케이팅된 루미넌스 샘플, , 은 각각의 크로마 샘플에 대해 얻는다. 이러한 단계는 공통 공간에서의 크로마 샘플 포지션과 연관된 루미넌스 샘플 () 을 결정하는 것을 목표로 한다.
단계 45 에서, 비선형 도메인에서의 크로마 성분들 및 은 비선형 값들 , 및 로부터 계산된다. 이러한 계산은 예를 들어 ITU-R BT2020 규격 (Recommendation ITU-R BT.2020-1 (06/2014), 초 고화질을 위한 파라미터 값들, 제조 및 국제 프로그램 교환을 위한 텔레비전 시스템, BT 시리즈 브로드캐스팅 서비스 (텔레비전)) 에서 특정된다:
단계 48 에서, 컬러 성분들은, 역 함수 , 예를 들어 EOTF 함수를 적용함으로써 선형 지각 공간으로 변환되고, 이후 ITU-R BT709 권고에 가까운 비선형 함수를 수행하여, 입력 HDR 신호의 백워드 호환가능한 SDR 표현을 목표로 한다.
선택적 단계 491 은 컬러 콘트라스트를 향상시키기 위해 선형 성분 및 에 적용될 수 있다. 이러한 단계는 CPCE 타입 ("colour-Preserving Contrast Enhancement") 의 필터링을 구현할 수 있다.
이러한 단계는 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플 () 에 적용된다. 그 목표는, 일단 신호가 타겟 SDR 컬러 공간에 매핑되면, 입력 HDR 신호의 지각된 컬러들을 보존하는 SDR 매핑된 컬러 성분을 생성하는 것이다.
이러한 단계는, 표준 HEVC 인코더와 같이, 인코더 494 에 의해 인코딩될 루마 성분을 제공한다.
이러한 크로마 재형상화 단계 및 루마 재형상화 단계는 2016 년 1 월 25 일에 출원된 국제 특허 출원 PCT/EP16/051449 에서 보다 상세히 기재된다.
도 4 에 나타낸 인코더에 따르면, 크로마 다운-샘플링은 루미넌스 및 컬러 성분들에 적용된 동적 범위 감소 단계 이전에 수행된다. 이로써 컬러 다운-샘플링은 디코더 측에서 수행된 크로마 업-샘플링과 동일한 도메인에서 수행되어, 전체 HDR 비디오 코딩/디코딩 체인의 HDR 압축 효율을 향상시킬 수 있다.
도 5 는 도 1 내지 도 4 와 관련하여 설명된 방법을 구현하도록 구성될 수도 있는 디바이스 (50) 의 예시적인 아키텍처를 표현한다.
디바이스 (50) 는 데이터 및 어드레스 버스 (51) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다.
- 예를 들어, DSP (또는 디지털 신호 프로세서 (Digital Signal Processor)) 인 마이크로프로세서 (52) (또는 CPU);
- ROM (또는 판독 전용 메모리 (Read Only Memory)) (53);
- RAM (또는 랜덤 액세스 메모리 (Random Access Memory)) (54);
- 애플리케이션으로부터의, 송신하기 위한 데이터의 수신을 위한 I/O 인터페이스 (55); 및
- 배터리 (56)
예에 따르면, 배터리 (56) 는 디바이스의 외부에 있다. 언급된 메모리의 각각에서, 명세서에서 이용된 단어 <<레지스터 (register)>> 는 작은 용량의 영역 (일부 비트들) 또는 매우 큰 영역 (예컨대, 전체 프로그램 또는 많은 큰 양의 수신되거나 디코딩된 데이터) 에 대응할 수 있다. ROM (53) 은 적어도 프로그램 및 파라미터들을 포함한다. ROM (53) 은 본 원리들에 따라 기법들을 수행하기 위한 알고리즘들 및 명령들을 저장할 수도 있다. 스위칭 온 될 때, CPU (52) 는 RAM 에서 프로그램을 업로딩하고 대응하는 명령들을 실행한다.
RAM (54) 은 레지스터 내에, CPU (52) 에 의해 실행되고 디바이스 (50) 의 스위치 온 후에 업로딩된 프로그램, 레지스터에서의 입력 데이터, 레지스터에서의 방법의 상이한 상태들에서의 중간 데이터, 및 레지스터에서의 방법의 실행을 위하여 이용된 다른 변수들을 포함한다.
본원에서 설명된 구현예들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. (예를 들어, 오직 방법 또는 디바이스로서 논의된) 단일 형태의 구현예의 맥락에서 오직 논의되더라도, 논의된 특징들의 구현예는 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예를 들어, 프로세서와 같은 예를 들어, 장치에서 구현될 수도 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 전화들, 휴대용/개인용 정보 단말 (portable/personal digital assistant) ("PDA") 들, 및 최종-사용자들 사이의 정보의 통신을 가능하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
디코딩 또는 디코더의 예에 따르면, 디코딩된 4:2:0 픽처들은 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (53 또는 54), 예컨대, 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리 (Random Access Memory)), 플래시 메모리, ROM (또는 판독 전용 메모리 (Read Only Memory)), 하드 디스크;
- 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스;
- 통신 인터페이스 (55), 예컨대, 배선라인 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 (IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스와 같은) 무선 인터페이스; 및
- 픽처 캡처 회로 (예컨대, 예를 들어, CCD (또는 전하 결합 디바이스 (Charge-Coupled Device)) 또는 CMOS (또는 상보적 금속-옥사이드-반도체 (Complementary Metal-Oxide-Semiconductor)).
디코딩 또는 디코더의 예에 따르면, CIE XYZ 컬러 또는 RGB 컬러 스페이스와 같은 컬러 스페이스에서 표현된 재구성된 픽처는 목적지로 전송되고; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (53 또는 54), 예컨대, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스;
- 통신 인터페이스 (55), 예컨대, 배선라인 인터페이스 (예를 들어, 버스 인터페이스 (예컨대, USB (또는 유니버셜 직렬 버스 (Universal Serial Bus))), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI (고해상도 멀티미디어 인터페이스 (High Definition Multimedia Interface)) 인터페이스) 또는 (IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스와 같은) 무선 인터페이스; 및
- 디스플레이.
디코딩 또는 디코더의 예들에 따르면, 디코딩된 4:2:0 픽처들을 반송하는 비트스트림이 소스로부터 획득된다. 예시적으로, 비트스트림은 로컬 메모리, 예컨대, 비디오 메모리 (54), RAM (54), ROM (53), 플래시 메모리 (53), 또는 하드 디스크 (53) 로부터 판독된다. 변형에서, 비트스트림은 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, ROM, 플래시 메모리, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스로부터 수신되고, 및/또는 통신 인터페이스 (55), 예컨대, 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크, 또는 브로드캐스트 네트워크에 대한 인터페이스로부터 수신된다.
예들에 따르면, 도 5와 관련하여 설명된 디코딩 방법을 구현하도록 구성되는 디바이스 (60) 는 다음을 포함하는 세트에 속한다:
- 이동 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋톱 박스;
- TV 세트;
- 태블릿 (또는 태블릿 컴퓨터);
- 랩톱;
- 디스플레이; 및
- 디코딩 칩.
본원에서 설명된 다양한 프로세스들 및 특징들의 구현예들은 다양한 상이한 장비 또는 애플리케이션들 내에 내장될 수도 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 입력을 인코더에 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 전화, PDA, 및 픽처 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 이동식일 수도 있고, 심지어 이동 차량 내에 설치될 수도 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 이러한 명령들 (및/또는 구현예에 의해 생성된 데이터 값들) 은 컴퓨터 판독가능 저장 매체 상에서 저장될 수도 있다. 컴퓨터 판독가능 저장 매체는, 하나 이상의 컴퓨터 판독가능 매체(들)에서 구체화되고, 컴퓨터에 의해 실행가능한 그 상에서 구체화된 컴퓨터 판독가능 프로그램 코드를 가지는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본원에서 이용된 바와 같은 컴퓨터 판독가능 저장 매체는, 정보를 그 안에 저장하기 위한 고유의 능력뿐만 아니라, 그로부터 정보의 취출 (retrieval) 을 제공하기 위한 고유의 능력이 주어지면, 비-일시적 저장 매체로 고려된다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 상기한 것의 임의의 적당한 조합일 수 있지만, 이것으로 제한되지는 않는다. 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 더욱 구체적인 예들을 제공하지만, 다음은 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이, 단지 예시적이고 철저하지 않은 리스트라는 것이 인식되어야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독-전용 메모리 (read-only memory; ROM); 소거가능 프로그래밍가능 판독-전용 메모리 (EPROM 또는 플래시 메모리 (Flash memory)); 휴대용 컴팩트 디스크 판독-전용 메모리 (compact disc read-only memory; CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기한 것의 임의의 적당한 조합.
명령들은 프로세서-판독가능 매체 상에서 유형적으로 구체화된 애플리케이션 프로그램을 형성할 수도 있다.
명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 되어 있을 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션, 또는 둘의 조합에서 발견될 수도 있다. 프로세서는 예를 들어, 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령들을 가지는 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스의 양자로서 특징지어질 수도 있다. 또한, 프로세서-판독가능 매체는 명령들에 추가하여 또는 명령들 대신에, 구현예에 의해 생성된 데이터 값들을 저장할 수도 있다.
당해 분야의 당업자에게 명백한 바와 같이, 구현예들은 예를 들어, 저장될 수도 있거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현예들 중의 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 본 원리들의 설명된 예의 신택스를 기록하거나 판독하기 위한 규칙들을 데이터로서 반송하거나, 본 원리들의 설명된 예에 의해 기록된 실제적인 신택스-값들을 데이터로서 반송하도록 포맷팅될 수도 있다. 이러한 신호는 예를 들어, (예를 들어, 스펙트럼의 라디오 주파수 부분을 이용하는) 전자기파로서, 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은 예를 들어, 데이터 스트림을 인코딩하고 캐리어를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려져 있는 바와 같이, 다양한 상이한 유선 또는 무선 링크들 상에서 송신될 수도 있다. 신호는 프로세서-판독가능 매체 상에서 저장될 수도 있다.
다수의 구현예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수도 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현예들의 엘리먼트들은 다른 구현예들을 생성하기 위하여 조합될 수도 있거나, 보충될 수도 있거나, 수정될 수도 있거나, 제거될 수도 있다. 추가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 위하여 치환될 수도 있고 결과적인 구현예들은 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위하여 적어도 실질적으로 동일한 방법(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것이라는 것을 이해할 것이다. 따라서, 이러한 그리고 다른 구현예들은 이 출원에 의해 고려된다.
Claims (9)
- 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하는 방법으로서,
- 공통 공간에서 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정 (33, 44) 하는 단계; 및
- 상기 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용 (34, 492) 하는 단계를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법. - 제 1 항에 있어서,
상기 공통 공간은 표준 전달 함수를 적용하는 경우 얻어진 비선형 루미넌스 공간을 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법. - 제 2 항에 있어서,
상기 표준 전달 함수는 SMPTE ST2084 역 전기광학 전달 함수 (EOTF; electro-optical transfer function) 를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법. - 제 1 항에 있어서,
루미넌스 샘플을 결정하는 단계는 상기 크로마 샘플에 가까이 위치한 비선형 픽셀 값들의 평균 값을 계산하는 단계를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법. - 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치로서,
- 공통 공간에서 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정 (33, 44) 하기 위한 수단; 및
- 상기 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용 (34, 492) 하기 위한 수단을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치. - 제 5 항에 있어서,
상기 공통 공간은 표준 전달 함수를 적용하는 경우 얻어진 비선형 루미넌스 공간을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치. - 제 6 항에 있어서,
상기 표준 전달 함수는 SMPTE ST2084 역 전기광학 전달 함수 (EOTF) 를 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치. - 제 5 항에 있어서,
루미넌스 샘플을 결정하는 것은 상기 크로마 샘플에 가까이 위치한 비선형 픽셀 값들의 평균 값을 계산하는 것을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치. - 상기 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하기 위한 제 5 항 내지 제 8 항 중 어느 한 항에 기재된 장치를 포함하는 컬러 샘플들을 코딩 또는 디코딩하기 위한 디바이스.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15290234.2 | 2015-09-18 | ||
EP15290234 | 2015-09-18 | ||
PCT/EP2016/072101 WO2017046408A1 (en) | 2015-09-18 | 2016-09-19 | Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180054623A true KR20180054623A (ko) | 2018-05-24 |
KR102538197B1 KR102538197B1 (ko) | 2023-05-30 |
Family
ID=54337211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187007713A KR102538197B1 (ko) | 2015-09-18 | 2016-09-19 | Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10721484B2 (ko) |
EP (1) | EP3350774A1 (ko) |
JP (1) | JP6990172B2 (ko) |
KR (1) | KR102538197B1 (ko) |
CN (1) | CN108027978B (ko) |
WO (1) | WO2017046408A1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080175495A1 (en) * | 2007-01-23 | 2008-07-24 | Segall Christopher A | Methods and Systems for Inter-Layer Image Prediction with Color-Conversion |
WO2012122426A1 (en) * | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Reference processing for bitdepth and color format scalable video coding |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0963111A1 (en) * | 1998-06-02 | 1999-12-08 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for dynamic contrast improvement in video pictures |
JP3551857B2 (ja) * | 1999-09-09 | 2004-08-11 | 日本電気株式会社 | 高ダイナミックレンジ画像処理装置および方法 |
JP2008536450A (ja) * | 2005-04-13 | 2008-09-04 | トムソン ライセンシング | ビデオ復号化のための方法および装置 |
US8031267B2 (en) * | 2007-02-12 | 2011-10-04 | Intel Corporation | Motion adaptive upsampling of chroma video signals |
US8175158B2 (en) * | 2008-01-04 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction parameter determination |
RU2504011C2 (ru) * | 2009-03-13 | 2014-01-10 | Долби Лабораторис Лайсэнзин Корпорейшн | Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой |
US9036042B2 (en) * | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
TWI521973B (zh) * | 2011-04-15 | 2016-02-11 | 杜比實驗室特許公司 | 高動態範圍影像的編碼、解碼及表示 |
WO2013006986A1 (en) * | 2011-07-12 | 2013-01-17 | Intel Corporation | Luma-based chroma intra prediction |
CN103918269B (zh) * | 2012-01-04 | 2017-08-01 | 联发科技(新加坡)私人有限公司 | 色度帧内预测方法及装置 |
WO2013107939A1 (en) * | 2012-01-20 | 2013-07-25 | Nokia Corporation | Method for video coding and an apparatus, a computer-program product, a system, and a module for the same |
CN104541301B (zh) * | 2012-03-26 | 2017-11-03 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的基于视亮度区域的装置和方法 |
GB2503875B (en) * | 2012-06-29 | 2015-06-10 | Canon Kk | Method and device for encoding or decoding an image |
EP2894857A1 (en) * | 2014-01-10 | 2015-07-15 | Thomson Licensing | Method and apparatus for encoding image data and method and apparatus for decoding image data |
JP2015170905A (ja) * | 2014-03-05 | 2015-09-28 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
EP2961168A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for predicting image samples for encoding or decoding |
US9832388B2 (en) * | 2014-08-04 | 2017-11-28 | Nvidia Corporation | Deinterleaving interleaved high dynamic range image by using YUV interpolation |
KR102529013B1 (ko) | 2015-01-30 | 2023-05-08 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치 |
EP3051818A1 (en) | 2015-01-30 | 2016-08-03 | Thomson Licensing | Method and device for decoding a color picture |
US10880557B2 (en) * | 2015-06-05 | 2020-12-29 | Fastvdo Llc | High dynamic range image/video coding |
KR102509504B1 (ko) | 2015-08-24 | 2023-03-13 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 코딩 및 디코딩 방법과 대응하는 디바이스 |
US10674150B2 (en) * | 2015-09-23 | 2020-06-02 | Arris Enterprises Llc | System and method for reshaping and adaptation of high dynamic range video data |
EP3409015B1 (en) * | 2016-01-28 | 2019-09-25 | Koninklijke Philips N.V. | Encoding and decoding hdr videos |
US10264287B2 (en) * | 2016-10-05 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Inverse luma/chroma mappings with histogram transfer and approximation |
-
2016
- 2016-09-19 WO PCT/EP2016/072101 patent/WO2017046408A1/en active Application Filing
- 2016-09-19 EP EP16769971.9A patent/EP3350774A1/en active Pending
- 2016-09-19 JP JP2018512363A patent/JP6990172B2/ja active Active
- 2016-09-19 KR KR1020187007713A patent/KR102538197B1/ko active IP Right Grant
- 2016-09-19 CN CN201680054233.7A patent/CN108027978B/zh active Active
- 2016-09-19 US US15/761,100 patent/US10721484B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080175495A1 (en) * | 2007-01-23 | 2008-07-24 | Segall Christopher A | Methods and Systems for Inter-Layer Image Prediction with Color-Conversion |
WO2012122426A1 (en) * | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Reference processing for bitdepth and color format scalable video coding |
Non-Patent Citations (1)
Title |
---|
LASSERRE, S. et al., Modulation-based HDR video coding with SDR backward compatibility,JCTVC-U0085(Version 2),pp. 1-16, 2015.06.15. 1부.* * |
Also Published As
Publication number | Publication date |
---|---|
JP2018535569A (ja) | 2018-11-29 |
CN108027978A (zh) | 2018-05-11 |
US20180270490A1 (en) | 2018-09-20 |
KR102538197B1 (ko) | 2023-05-30 |
WO2017046408A1 (en) | 2017-03-23 |
EP3350774A1 (en) | 2018-07-25 |
JP6990172B2 (ja) | 2022-01-12 |
US10721484B2 (en) | 2020-07-21 |
CN108027978B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3251084B1 (en) | A method and apparatus of encoding and decoding a color picture | |
JP6921873B2 (ja) | ディスプレイストリーム圧縮のためのサブストリーム多重化 | |
JP2018533867A (ja) | Qp値の決定 | |
TW201931853A (zh) | 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 | |
JP6719391B2 (ja) | ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置 | |
JP2018506938A (ja) | 画像及びビデオを電気光変換及び光電気変換するための方法、システム、及び機器 | |
US10542265B2 (en) | Self-adaptive prediction method for multi-layer codec | |
US11741585B2 (en) | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image | |
CN110754085B (zh) | 用于非4:4:4格式视频内容的颜色重映射 | |
KR102537393B1 (ko) | Hdr 이미지를 재구성하기 위한 방법 및 디바이스 | |
EP3603046A1 (en) | Method and device for color gamut mapping | |
TWI713354B (zh) | 用於顯示器調適之色彩重映射資訊sei信息發信號 | |
US10600163B2 (en) | Method and device for reconstructing a display adapted HDR image | |
JP2018524924A (ja) | Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス | |
CA3054488A1 (en) | Method and device for decoding a high-dynamic range image | |
KR102496345B1 (ko) | Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치 | |
JP7043164B2 (ja) | 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス | |
KR20200002029A (ko) | 컬러 영역 매핑을 위한 방법 및 디바이스 | |
US20170105011A1 (en) | Method and Apparatus for Syntax Signaling in Image and Video Compression | |
WO2019203973A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
KR102538197B1 (ko) | Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 | |
US20110249719A1 (en) | Video compression | |
JP2019097013A (ja) | ディスプレイ適合hdr画像を再構成する方法およびデバイス | |
CA2986520A1 (en) | Method and device for reconstructing a display adapted hdr image | |
EP3528201A1 (en) | Method and device for controlling saturation in a hdr image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |