KR20150091149A

KR20150091149A - 향상된 동적 범위를 갖는 초고화질 비디오 신호들에 대한 하위 호환가능한 코딩

Info

Publication number: KR20150091149A
Application number: KR1020157017479A
Authority: KR
Inventors: 구안-밍 수; 로빈 앳킨스; 키안 첸
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2013-01-02
Filing date: 2013-12-04
Publication date: 2015-08-07
Also published as: WO2014107255A1; KR101901124B1; EP3490256B1; CN106713912A; HK1209937A1; KR20160072275A; US20150341675A1; US9549207B2; TWI595773B; JP2015233297A; ES2702614T3; EP3490256A1; TWI595774B; KR101632598B1; TW201637442A; JP2016506184A; US20170085918A1; CN104885457B; CN104885457A; EP2941872B1

Abstract

초고화질(UHD) 해상도 및 높거나 확장된 동적 범위(EDR) 데이터를 갖는 비디오 데이터는 레거시 디코더들이 HD 표준 동적 범위(SDR) 신호를 추출하도록 허용하는 하위 호환가능한 계층화된 스트림으로 코딩된다. 기저층 HD SDR 신호에 응답하여, 별개의 루마 및 크로마 예측 모델들을 사용하여 예측된 신호가 생성된다. 루마 예측자에서, 예측 신호의 루마 화소값들은 기저층의 루마 화소값들에만 기초하여 계산되지만, 크로마 예측자에서, 예측 신호의 크로마 화소값들은 기저층의 루마 및 크로마 화소값들 둘 모두에 기초하여 계산된다. 나머지 신호는 입력된 UHD EDR 신호 및 예측 신호에 기초하여 계산된다. 기저층 및 나머지 신호는 코딩된 비트스트림을 형성하기 위해 개별적으로 코딩된다. 호환 가능한 이중층 디코더가 또한 제시된다.

Description

확장된 동적 범위를 갖는 초고화질 비디오 신호들에 대한 하위 호환가능한 코딩{BACKWARD-COMPATIBLE CODING FOR ULTRA HIGH DEFINITION VIDEO SIGNALS WITH ENHANCED DYNAMIC RANGE}

본 출원은 2013년 1월 2일에 출원된 US 가출원 번호 61/748,411; 2013년 5월 8일에 출원된 US 가출원 번호 61/821,173; 및 2013년 9월 26일에 출원된 US 가특허 출원 번호 61/882,773에 대한 우선권을 주장하고, 이들 모두가 전체적으로 본 명세서에 참조로 통합된다.

본 발명은 일반적으로 이미지들에 관한 것이다. 특히, 본 발명의 일 실시예는 확장된 동적 범위를 갖는 고화질 신호들의 하위 호환가능한 코딩 및 디코딩에 관한 것이다.

오디오 및 비디오 압축은 멀티미디어 콘텐트의 개발, 저장, 분배, 및 소비에서 주요 구성 요소이다. 압축 방법의 선택은 코딩 효율, 코딩 복잡성, 및 지연 사이의 균형들을 포함한다. 계산 비용에 대한 처리 파워의 비율이 증가할 때, 이는 더 효율적인 압축을 허용하는 더 복잡한 압축 기술들의 전개를 허용한다. 일 예로서, 비디오 압축에서, 국제 표준화 기구(ISO)로부터의 동영상 전문가 그룹(MPEG)은 MPEG-2, MPEG-4(파트 2), 및 H.264/AVC(또는 MPEG-4, 파트 10) 코딩 표준들을 발표함으로써 원래의 MPEG-1 비디오 표준을 계속 개선해왔다.

H.264의 압축 효율 및 성공에도 불구하고, 고효율 비디오 코딩(HEVC)으로서 알려진 새로운 세대의 비디오 압축 기술이 현재 개발중이다. "고효율 비디오 코딩(HEVC) 텍스트 규격 드래프트 8"(ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC) 도큐먼트 JCTVC-J1003, 2012년 7월, B. Brass, W.-J. Han, G. J. Sullivan, J.-R. Ohm, 및 T. Wiegand에 의함)에서 초안이 입수가능하고, 그의 전체가 참조에 의해 여기에 통합되는 HEVC는 "Advanced Video Coding for generic audiovisual services"(ITU T Rec. H.264 및 ISO/IEC 14496-10)로서 공개되었고 그의 전체가 참조에 의해 여기에 통합되는 기존 H.264(AVC로서도 알려짐) 표준에 비해 개선된 압축 능력을 제공할 것이 예상된다.

비디오 신호들은 비트-깊이, 컬러 공간, 색역, 및 해상도와 같은 다수의 파라미터들을 특징으로 할 수 있다. 근대 텔레비전들 및 비디오 재생 디바이스들(예를 들면, 블루-레이 플레이어들)은 표준 화질(예를 들면, 720×480i) 및 고화질(HD)(예를 들면, 1920×1080p)을 포함하여 다양한 해상도들을 지원한다. 초고화질(UHD)은 적어도 3,840×2,160 해상도(4K UHD라고 불림) 및 7680×4320(8K UHD라고 불림)만큼 높아지는 옵션들을 갖는 차세대 해상도 포맷이다. 초고화질은 또한 울트라 HD, UHDTV, 또는 슈퍼 하이-비전이라고도 불릴 수 있다. 여기에 사용된 UHD는 HD 해상도보다 높은 임의의 해상도를 나타낸다.

비디오 신호의 특징의 다른 양태는 동적 범위이다. 동적 범위(DR)는 이미지에서 강도(예를 들면, 휘도, 루마)의 범위, 예를 들면, 가장 어두운 어둡기들로부터 가장 밝은 밝기들까지이다. 여기에 사용된, 용어 '동적 범위'(DR)는 이미지에서 강도(예를 들면, 휘도, 루마)의 범위, 예를 들면, 가장 어두운 어둡기들로부터 가장 밝은 밝기들까지를 지각하기 위해 인간 시각 심리 시스템(HVS)의 능력에 관한 것일 수 있다. 이런 의미에서, DR은 '장면-관련된' 강도에 관한 것이다. DR은 또한 특정 폭의 강도 범위를 적절히 또는 근사적으로 렌더링하기 위한 디스플레이 디바이스의 능력에 관한 것일 수 있다. 이런 의미에서, DR은 '디스플레이-관련된' 강도에 관한 것이다. 특정한 의미가 여기서의 기술에서 임의의 지점에서 특정 의미를 갖는 것으로 명시적으로 특정되지 않으면, 용어는 어느 의미로도, 예를 들면, 교체가능하게 사용될 수 있다는 것이 추측되어야 한다.

여기에 사용되는, 용어 높은 동적 범위(HDR)는 인간 시각계(HVS)의 크기의 몇몇 14 내지 15 차수들의 범위에 이르는 DR 폭에 관한 것이다. 예를 들면, 기본적으로 표준(예를 들면, 통계, 생체 측정, 또는 안과학적 의미 중 하나 이상에서)에 잘 적응된 인간들은 대략 15 차수들의 크기 범위에 이르는 강도 범위를 갖는다. 적응된 인간들은 단지 소수의 광자들만큼 적은 어두운 광원들을 지각할 수 있다. 그러나, 이들 동일한 인간들은 사막, 바다, 또는 눈의 한낮의 태양(또는 심지어 태양을 얼핏 봄, 그러나 손상을 방지하기 위해 잠시)의 거의 고통스럽게 눈부신 강도를 지각할 수 있다. 그래도, 이러한 범위는, 예를 들면, 리셋되고 적응될 시간 기간을 갖는 HVS를 갖는 '적응된' 인간들에게 이용가능하다.

반대로, 인간이 강도 범위에서 넓은 폭을 동시에 지각할 수 있는 DR은 HDR에 관하여 다소 줄어들 수 있다. 여기에 사용된 용어들 '확장된 동적 범위'(EDR), '비주얼 동적 범위', 또는 '가변적 동적 범위'(VDR)는 개별적이거나 교체가능하게 HVS에 의해 동시에 지각가능한 DR에 관한 것일 수 있다. 여기에 사용된, EDR은 5 내지 6 차수들의 크기의 범위에 이르는 DR에 관한 것일 수 있다. 따라서, 대개 실제 장면 참조된 HDR에 관하여 다소 더 좁지만, 그럼에도 불구하고 EDR은 넓은 DR 폭을 나타낸다. 여기에 사용된 용어 '동시적인 동적 범위'는 EDR에 관한 것일 수 있다.

새로운 HDR 또는 UHD 디스플레이 기술들뿐만 아니라 레거시 재생 디바이스들과의 하위 호환가능성을 지원하기 위해, 다수의 층들은 업스트림 디바이스로부터 다운스트림 디바이스로 UHD 및 HDR(또는 EDR) 비디오 데이터를 전달하기 위해 사용될 수 있다. 이러한 다층 스트림을 고려하면, 레거시 디코더들은 콘텐트의 HD SDR 버전을 재구성하기 위해 기저층을 사용할 수 있다. 향상된 디코더들은 콘텐트의 UHD EDR 버전을 재구성하여 더 가능한 디스플레이들상에 이를 렌더링하기 위해 기저층 및 확장층들 모두를 사용할 수 있다. 여기서 발명자들에 의해 이해되는 바와 같이, UHD EDR 비디오의 코딩을 위한 개선된 기술들이 바람직하다.

본 섹션에서 기술된 장치들은 추구될 수 있는 방식들이지만, 반드시 이전에 생각되거나 추구되었던 방식들은 아니다. 그러므로, 달리 표시되지 않으면, 본 섹션에서 기술된 방식들 중 어느 것도 본 섹션에서 그들의 포함에 의해 단순히 종래 기술로서 한정된다고 가정되지는 않아야 한다. 유사하게, 하나 이상의 방식들에 관하여 식별된 문제들은 달리 표시되지 않으면, 본 섹션에 기초하여 임의의 종래 기술에서 인식되었다고 가정되지 않아야 한다.

확장된 동적 범위를 갖는 초고화질 신호들의 하위 호환가능한 코딩이 여기에 기술된다. 두 개의 신호들로 표현될 수 있는 입력 비디오 신호가 주어진다: 하나의 신호는 초고화질(UHD) 해상도 및 높거나 또는 확장된 동적 범위(EDR)를 갖고, 다른 신호는 UHD(또는 더 낮은) 해상도 및 표준 동적 범위(SDR)를 갖고, 두 개의 신호들은 레거시 디코더들이 HD 표준 동적 범위(SDR) 신호를 추출하게 하고 새로운 디코더들이 UHD EDR 신호를 추출하게 하는 하위 호환가능한 계층화된 스트림에 코딩된다.

다음의 설명에서, 설명의 목적들을 위해, 다수의 특정한 상세들은 본 발명의 철저한 이해를 제공하기 위해 진술된다. 그러나, 본 발명이 이들 특정 상세들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 예들에서, 잘 알려진 구조들 및 디바이스들은 본 발명을 불필요하게 불명료하게 하는 것을 피하기 위해 완전히 상세하게 기술되지 않는다.

개요

여기에 기술된 예시적인 실시예들은 확장된 동적 범위를 갖는 초고화질 신호들의 하위 호환가능한 코딩 및 디코딩에 관한 것이다. 두 개의 신호들(하나의 신호는 초고화질(UHD) 해상도 및 높거나 확장된 동적 범위(EDR)를 갖고, 다른 신호는 UHD(또는 더 낮은) 해상도 및 표준 동적 범위(SDR)를 가짐)에 의해 나타내진 입력 비디오 신호를 고려하면, 두 개의 신호들은 레거시 디코더들이 HD 표준 동적 범위(SDR) 신호를 추출하게 하고 새로운 디코더들이 UHD EDR 신호를 추출하게 하는 하위 호환가능한 계층화된 스트림에서 코딩된다. 기저층 HD SDR 신호에 응답하여, 예측 신호는 별개의 루마 및 크로마 예측 모델들을 사용하여 생성된다. 루마 예측자에서, 예측 신호의 루마 화소값들은 기저층의 루마 화소값들에만 기초하여 계산되지만, 크로마 예측자에서, 예측 신호의 크로마 화소값들은 기저층의 루마 및 크로마 화소값들 모두에 기초하여 계산된다. 나머지 신호는 입력 UHD EDR 신호 및 예측 신호에 기초하여 계산된다. 기저층 신호 및 나머지 신호는 코딩된 비트스트림을 형성하기 위해 개별적으로 코딩된다.

다른 실시예에서, 수신기는 HD 해상도 및 표준 동적 범위(SDR)에서 코딩된 기저층(BL) 스트림 및 UHD 해상도 및 확장된 동적 범위(EDR)에서 코딩된 확장층 스트림을 생성하기 위해 수신된 계층화된 비트스트림을 디멀티플렉싱한다. 코딩된 BL 스트림은 HD 해상도 및 표준 동적 범위에서 디코딩된 BL 신호를 생성하기 위해 BL 디코더를 사용하여 디코딩된다. 디코딩된 BL 신호에 응답하여, 예측된 EDR 신호가 생성되고, 예측 신호의 루마 성분의 화소값들은 디코딩된 BL 신호의 루마 화소값들에만 기초하여 예측되고, 예측 신호의 적어도 하나의 크로마 성분의 화소값들은 디코딩된 BL 신호의 루마 및 크로마 값들 모두에 기초하여 예측된다. 코딩된 EL 스트림은 디코딩된 나머지 신호를 생성하기 위해 EL 디코더를 사용하여 디코딩된다. 디코딩된 나머지 신호 및 예측 신호에 응답하여 출력 UHD EDR 신호가 또한 생성될 수 있다.

다른 실시예에서, 확장층에서 나머지 신호들은 비선형 양자화기에 의해 양자화되기 전에 적응적으로 선처리된다. 일 실시예에서, 나머지 화소값들은 그들을 둘러싼 화소들의 표준 편차가 임계치보다 낮은 경우 0으로 미리 양자화된다.

다른 실시예에서, 비선형 양자화기의 입력 범위는 매우 크거나 매우 작은 화소값들을 갖는 나머지 화소들의 화소 접속성의 측정치에 따라 제한된다.

다른 실시예에서, 비선형 양자화기의 파라미터들은 장면에서 연속하는 시퀀스의 프레임들에 걸쳐 나머지 화소들의 극값들에 기초하여 설정된다.

본 발명은 확장된 동적 범위를 갖는 초고화질 비디오 신호들에 대한 하위 호환가능한 코딩 방법을 제공한다.

도 1은 본 발명의 일 실시예에 따른 UHD EDR 코딩 시스템의 일 예시적인 구현을 도시하는 도면.
도 2는 본 발명의 일 실시예에 따른 UHD EDR 디코딩 시스템의 일 예시적인 구현을 도시하는 도면.
도 3은 기저층이 비월된 신호를 포함하는 본 발명의 일 실시예에 따라 도 1에 도시된 시스템의 일 변형을 도시하는 도면.
도 4는 기저층이 비월된 비디오 신호를 포함하는 본 발명의 일 실시예에 따라 도 2의 디코딩 시스템의 일 변형을 도시하는 도면.
도 5는 본 발명의 일 실시예에 따라 확장층에서 나머지 신호에 대한 비선형 양자화기의 일 예시적인 구현을 도시하는 도면.
도 6a는 본 발명의 일 실시예에 따라 나머지 화소들의 적응식 선양자화 프로세스를 도시하는 도면.
도 6b는 본 발명의 일 실시예에 따라 나머지 신호들에 대한 비선형 양자화기의 하한 또는 상한 입력 경계들을 설정하기 위해 적응식 프로세스를 도시하는 도면.

본 발명의 일 실시예는 유사한 참조 번호들이 유사한 요소들을 나타내는 첨부하는 도면들의 도들에서 제한으로서가 아닌 예시로서 도시된다.

초고화질 EDR 신호들을 위한 인코더

기존 디스플레이 및 재생 디바이스들, 예컨대 HDTV들, 셋-탑 박스들, 또는 블루-레이 플레이어들은, 일반적으로 1080p HD 해상도(예를 들면, 초당 60 프레임들에서 1920×1080)까지의 신호들을 지원한다. 소비자 애플리케이션들에 대하여, 이러한 신호들은 지금 일반적으로, 일반적으로 크로마 성분들이 이후 루마 성분보다 낮은 해상도를 갖는 루마-크로마 컬러 포맷(예를 들면, YCbCr 또는 YUV 4:2:0 컬러 포맷)에서 컬러 성분당 화소마다 8 비트의 비트-깊이를 사용하여 압축된다. 8 비트-깊이 및 대응하는 낮은 동적 범위 때문에, 이러한 신호들은 일반적으로 표준 동적 범위(SDR)를 갖는 신호들이라고 불린다.

초고화질(UHD)과 같은, 새로운 텔레비전 표준들이 개발되고 있기 때문에, 레거시 HDTV 디코더들 및 더 새로운 UHD 디코더들 모두가 처리할 수 있는 포맷의 확장된 동적 범위 및/또는 확장된 해상도를 갖는 신호들을 인코딩하는 것이 바람직할 수 있다.

도 1은 확장된 동적 범위(EDR)를 갖는 UHD 신호의 하위 호환가능한 코딩을 지원하는 시스템의 일 예시적인 구현의 일 실시예를 도시한다. 인코더는 기저층(BL) 인코더(130) 및 확장층(EL) 인코더(160)를 포함한다. 일 실시예에서, BL 인코더(130)는 레거시 인코더, 예컨대 MPEG-2 또는 H.264 인코더이고, EL 인코더(160)는 새로운 표준 인코더, 예컨대 HEVC 인코더이다. 레거시 BL 디코더들을 지원하기 위해, BL 인코더(130)는 일반적으로 8-비트 인코더이다; 그러나, EL 인코더(160)는 더 높은 비트 깊이, 예컨대, H.264 및 HEVC 표준들에 의해 특정되는 10 비트를 갖는 입력 스트림들을 지원할 수 있다. 그러나, 이러한 시스템은 표준-기반이든 사적이든 알려진 또는 미래의 인코더들의 임의의 조합에 적용가능하다.

도 1에 도시된 바와 같이, 입력 신호, 예컨대 영화 또는 텔레비전 방송은 두 개의 신호들, UHD EDR 입력(102) 및 UHD SDR 입력(104)으로 표현될 수 있다. 예를 들면, UHD EDR 신호(102)는 HDR 카메라에 의해 캡처되고 EDR 디스플레이에 대해 컬러-등급이 나뉠 수 있는 4K(예를 들면, 3840×2160) 해상도 신호일 수 있다. 동일한 신호는 또한 대응하는 4K SDR 신호(104)를 생성하기 위해 4K SDR 디스플레이에 대해 컬러 등급이 나뉠 수 있다. 대안적으로, SDR 신호(104)는 기술 분야 톤-맵핑 또는 디스플레이 관리 기술들에서 알려진 것 중 임의의 것을 EDR 신호에 적용함으로써 생성될 수 있다. 일반성의 손실 없이, 이들 입력 신호들 둘 모두는 일반적으로 16-비트 또는 등가의 (예를 들면, 부동 소수점) 비트-깊이 표현들을 사용하여 RGB 컬러-공간에서 나타내어질 수 있다. 여기에 사용된 용어 N-비트 신호는 하나 이상의 컬러 성분들(예를 들면, RGB 또는 YCbCr)을 갖는 이미지 또는 비디오 신호를 표시하고, 이들 컬러 성분들 중 어느 하나의 각각의 화소(예를 들면, Y)는 N-비트 화소값으로 나타내어진다. N-비트 표현을 고려하면, 각각의 이러한 화소는 0과 2^N-1 사이의 값들을 취할 수 있다. 예를 들면, 8-비트 표현에서, 각각의 컬러 성분에 대하여, 각각의 화소는 0과 255 사이의 값들을 취할 수 있다.

일 실시예에서, UHD SDR 신호(104)는 HD SDR 신호(예를 들면, 1080p)로 다운샘플링될 수 있고, 이는 이후, 예를 들면, 8-비트 YCbCr 4:2:0 컬러 포맷에서, 레거시 8-비트 인코더를 사용하여 인코딩하기에 적합한 컬러 포맷으로 컬러 변환된다. 이러한 변환은 컬러 변환들(예컨대 RGB 대 YCbCr 변환(115-C)) 및 크로마 서브-샘플링(예를 들면, 4:4:4 대 4:2:0 변환(120-C))을 포함할 수 있다. 따라서, HD SDR 신호(128)는 원래의 UHD EDR 신호(102)의 하위 호환가능한 신호 표현을 나타낸다. 신호(128)는 하위 호환가능한 코딩된 비트스트림(132)을 생성하기 위해 BL 인코더(130)에 의해 인코딩될 수 있다. BL 인코더(130)는 알려진 또는 미래의 비디오 압축 알고리즘들, 예컨대 MPEG-2, MPEG-4, 파트2, H.264, HEVC, VP8, 등 중 어느 하나를 사용하여 HD SDR 신호(128)를 압축 또는 인코딩할 수 있다.

UHD EDR 신호(102)를 고려하면, 다운-샘플링(110-A) 및 컬러 변환 프로세스들(115-B, 120-B)은 UHD EDR 신호(102)를 기준 예측 HD EDR 신호(124)로 변환할 수 있다. 일 바람직한 실시예에서, 이러한 스테이지에서 다운-샘플링 및 컬러 변환 프로세스들(110-A, 115-B, 120-B)(예를 들면, 선택된 필터들 및 컬러 공간)은 기저층에서 HD SDR 신호(128)를 생성하기 위해 사용된 다운-샘플링 및 컬러 변환 프로세스들(110-B, 115-C, 120-C)과 동일하거나 가능한 한 근접해야 한다.

UHD EDR 대 HD EDR 변환에 후속하여, HD EDR 신호(124)의 출력은 루마 예측자(145) 및 크로마 예측자(140)에 대한 예측 계수들을 결정하기 위해 적용되는 루마(Y(124-Y)) 및 크로마(CbCr(124-C)) 성분들로 분할된다.

HD SDR 신호(128)를 고려하면, BL 인코더(130)는 코딩된 BL 비트스트림(132)뿐만 아니라 대응하는 BL 디코더에 의해 디코딩될 때 HD SDR 신호(128)를 나타내는 BL 신호(126)도 생성한다. 몇몇 실시예들에서, 신호(126)는 BL 인코더(130)에 후속하여 별개의 BL 디코더(도시되지 않음)에 의해 생성될 수 있다. 몇몇 다른 실시예들에서, 신호(126)는 BL 인코더(130)에서 움직임 보상을 수행하기 위해 사용된 피드백으로부터 생성될 수 있다. 도 1에 도시되는 바와 같이, HD EDR 신호(126)의 출력은 HD EDR의 신호(147)를 예측하기 위해 루마 예측자(145) 및 크로마 예측자(140)에 적용되는 그의 루마(Y(126-Y)) 및 크로마 성분들(CbCr(126-C))로 또한 분할될 수 있다.

일 실시예에서, 루마 예측자(145)는 기저층 HD SDR 신호(126-Y)의 루마 화소값들에 기초하여 HD EDR' 신호(147)의 루마 성분들을 예측하기 위해 다항식 예측자를 포함할 수 있다. 이러한 예측자에서, 루마 화소 성분은 신호의 다른 컬러 성분들 중 어느 하나의 컬러 성분에서 어떠한 화소값들도 고려하지 않고 예측될 수 있다. 예를 들면, g_i가 BL HD SDR 신호(126-Y)의 루마 화소값들을 표시한다고 하면, 이후, 일반성의 손실 없이, 제 3 차 다항식 예측자가 다음과 같이 표현될 수 있고,

a_k, b_k, 및 c_k는 예측자 계수들이다. 일 실시예에서, 예측자 계수들은 기술분야 에러 최소화 기술들에서 알려진, 임의의 기술, 예컨대 기준 HD EDR 신호(124-Y)(s_i)에서 예측값(

)과 루마 화소값들 사이의 평균 제곱 에러(예를 들면,

)를 최소화하는 기술에 의해 결정될 수 있다.

일 실시예에서, 크로마 예측자(140)는 또한 먼저 기술된 것과 유사한 다항식 예측자일 수 있다; 그러나, 일 바람직한 실시예에서, 크로마 예측자(140)는 다색 채널, 다중 회귀(MMR), 예측자를 포함하고, 이들은 "다색 채널 다중 회귀 예측자"(G-M Su 외에 의해, 2012년 4월 13일에 출원된 PCT 출원 번호 PCT/US2012/0033605(WO2012/142471로서 공개됨)에서)에 의해 기술되며, 위 출원은 그 전체가 참조로서 여기에 통합된다. MMR 예측자는 HD EDR 기준 신호(124) 및 기저층 HD SDR 신호(126)에서 루마 및 크로마 화소값들 모두로부터의 정보를 사용하여 HD EDR의 신호의 크로마 성분들을 예측한다. MMR 모델에서 예측 계수들은 또한 예측된 크로마 값들 및 기준 HD EDR 신호(124)의 루마 및 크로마 화소값들 사이의 MSE를 최소화함으로써 평균 제곱 에러 최소화 기술들을 사용하여 결정될 수 있다.

HD SDR 신호(126) 및 기준 HD HDR 신호(124) 모두가 YCbCr 4:2:0 포맷이고, 루마 성분의 공간 해상도가 크로마 성분들의 각각의 공간 해상도의 두 배이기 때문에, 이들 신호들 둘 모두의 루마 성분들은 크로마 예측자(140)에 적용되기 전에 다운-샘플링(135-A, 135-B)된다. 일 바람직한 실시예에서, 루마 다운샘플링(135-A, 135-B)에서 사용된 필터들은 4:4:4 대 4:2:0 처리(120)에서 사용된 크로마 다운-샘플링 필터들과 동일하다. 루마 및 크로마 예측 계수들은 관심 있는 다양한 시간 간격들, 예컨대 장면마다, 화상들의 그룹마다, 또는 프레임마다에서 갱신될 수 있다. 예측 필터 계수들은 다양한 방법들, 예컨대 비트스트림에서 그들의 값들을 보조 데이터 또는 메타데이터로서 임베딩함으로써 디코더에 전달될 수 있다.

예측된 HD EDR' 신호(147)를 고려하면, 업-샘플러(150)는 나머지 신호(167)를 생성하기 위해 사용되는 UHD EDR' 신호(152)를 생성한다. UHD EDR의 신호가 바람직한 코딩 포맷(예를 들면, YCbCr 4:2:0)이기 때문에, 추가의 컬러 변환(115-A) 및 크로마 다운-샘플링(120-A) 단계들이 원래의 UHD EDR 신호(102)를 원래의 포맷(예를 들면, RGB)으로부터 바람직한 코딩 포맷인 UHD EDR 신호(122)로 변환하기 위해 요구될 수 있다. 신호들(122, 152)은 EL 나머지 신호(167)를 생성하기 위해 추출된다.

일 실시예에서, 컬러 변환(115-A) 및 크로마 서브-샘플링 프로세스들(120-A)은 BL-코딩된 신호(128) 및 예측 신호(124)를 생성하기 위해 사용되는 컬러 변환(115-B, 115-C) 및 크로마 서브-샘플링 프로세스들(120-B, 120-C)과 동일하거나 가능한 한 근접한다.

일 실시예에서, EL 인코더(160)에 의해 EL 신호(167)를 코딩하기 전에, 신호는 비선형 양자화기(NLQ; 155)에 의해 처리될 수 있다. 적절한 비선형 양자화기들의 예들은 "Non-Linear VDR Residual Quantizer"(2012년 4월 24일에 출원된, PCT 특허 출원 번호 PCT/US2012/034747(WO2012/148883으로서 공개됨)에서 발견될 수 있고, 여기에 전체가 참조로서 통합된다. NLQ(155)의 출력은 적절한 디코더들에 송신될 수 있는 코딩된 EL 비스스트림(162)을 생성하기 위해 EL 인코더(160)를 사용하여 압축될 수 있다. 또한, 몇몇 실시예들에서, 나머지(167)는 또한 다운-샘플링 모듈(도시되지 않음)에 의해 공간적으로 다운-샘플링될 수 있다. 이러한 다운-샘플링(예를 들면, 두 개의 크기들에서 2 또는 4의 팩터에 의해)은 특히 매우 낮은 비트 레이트들에서 코딩 효율을 개선한다. 다운-샘플링은 비선형 양자화기(155) 전 또는 후에 수행될 수 있다.

EL 인코더(160)는 MPEG-2, MPEG-4, H.264, HEVC 규격들 등에 의해 기술된 것들과 같이 임의의 적절한 인코더일 수 있다. 일 실시예에서, BL 코딩된 비트스트림(132), EL 코딩된 비트스트림(162), 및 코딩 프로세스에 관련된 메타데이터(예를 들면, 예측자 파라미터들 또는 참조표들)는 단일 비트 스트림(도시되지 않음)으로 멀티플렉싱될 수 있다.

도 1에 도시된 바와 같이, 일 바람직한 실시예에서, 다운-샘플링(110-A, 110-B)은 바람직하게는 컬러 포맷 변환들(115-B 및 120-B, 또는 115-C 및 120-C) 전에 적용된다; 그러나, 몇몇 실시예들에서, 다운-샘플링은 컬러 변환들 후에 수행될 수 있다. 예를 들면, 일 실시예에서, 110-A에 대한 입력은 UHD EDR YCbCr 신호(122)로부터 직접 수신될 수 있고, 따라서 HD EDR 기준 신호(124)를 생성하기 위해 컬러 변환 처리(115-B, 120-B)를 행할 필요를 제거한다. 유사하게, 다운-샘플링(110-B)은 컬러 변환 단계(120-C) 후에 수행될 수 있다.

몇몇 실시예들에서, 기저선 HD SDR 신호(128)는 정확한 해상도 및 컬러 포맷에서 인코더(100)에 쉽게 이용가능할 수 있다. 이러한 경우에, 다운-샘플링(110-B) 및 컬러 변환 단계들(115-C, 120-C)이 우회될 수 있다.

몇몇 실시예들에서, UHD EDR 신호(102)는 16-비트보다 낮거나 또는 높은 정확도로 이용가능할 수 있다; 그러나, 그의 정확도는 8 비트(예를 들면, 10 비트 또는 12 비트)보다 높을 것이 예상된다. 유사하게, UHD SDR 신호(104)는 16 비트보다 낮은 정확도(예를 들면, 8 비트 또는 10 비트)로 이미 이용가능할 수 있다.

초고화질 EDR 신호들을 위한 디코더

도 2는 확장된 동적 범위(EDR)를 갖는 UHD 신호들의 하위 호환가능한 디코딩을 지원하는 시스템의 일 예시적인 구현의 일 실시예를 도시한다. 인코더(예를 들면, 100)에 의해 송신된 코딩된 신호에 응답하여, 디코더(200)는 적어도 두 개의 코딩된 서브-스트림들(코딩된 BL 스트림(132) 및 코딩된 EL 스트림(162))을 포함하는 코딩된 비트스트림을 수신 및 디멀티플렉싱한다.

코딩된 BL 스트림(123)은 BL 디코더(215)를 사용하여 디코딩될 수 있는 HD SDR 신호(217)를 포함한다. 일 실시예에서, BL 디코더(215)는 BL 인코더(130)에 매칭한다. 예를 들면, 기존 방송 및 블루-레이 표준들과의 하위 호환가능성을 위해, BL 디코더(215)는 MPEG-2 또는 H.264 코딩 규격들 중 하나 이상을 준수할 수 있다. BL 디코딩(215)에 후속하여, HD SDR 디코더는 들어오는 신호를 압축에 적합한 컬러 포맷(예를 들면, YCbCr 4:2:0)으로부터 디스플레이에 적합한 컬러 포맷(예를 들면, RGB 4:4:4)으로 전환하기 위해 디코딩된 HD SDR 신호(217)에 추가의 컬러 변환들(270)을 적용할 수 있다. 확장된 해상도 및/또는 EDR 디스플레이 능력들을 갖는 수신기들은 도 2에 도시된 확장된 동적 범위를 갖는 UHD 신호(예를 들면, 232)를 생성하기 위해 BL 및 EL 비트스트림들(132, 162) 모두로부터 정보를 조합할 수 있다.

BL 디코딩(215)에 후속하여, 디코딩된 신호(217)는 그의 루마(217-Y) 및 크로마(217-C) 성분들로 분할된다. 루마 성분(217-Y)은 HD EDR' 신호(255)에 대한 루마 추정값들을 생성하기 위해 루마 예측자(240)에 의해 처리된다. 루마 및 크로마 성분들은 또한 HD EDR' 신호(255)에 대한 크로마 추정값들을 생성하기 위해 크로마 예측자(250)에 의해 처리된다. 일 실시예에서, 루마 신호(217-Y)를 크로마 예측자에 의해 처리하기 전에, 크로마 성분들의 해상도와 일치하도록 다운-샘플러(245)에 의해 서브-샘플링된다. 루마 및 크로마 예측자들(240, 250)은 인코더(100)의 루마 및 크로마 예측자들(145, 140)과 일치한다. 따라서, 루마 예측자(240)는 다항식 예측자일 수 있고 크로마 예측자는 MMR 예측자일 수 있다. 일 실시예에서, 이들 예측자들의 특징들 및 필터 파라미터들은 수신된 코딩 비트스트림에 임베딩된 메타데이터를 사용하여 결정될 수 있다. 루마 및 크로마 예측 단계들(240, 250)에 후속하여, 예측된 HD EDR' 신호(255)는 UHD EDR' 신호(265)를 생성하기 위해 업-샘플링된다(260).

코딩된 비트스트림(162)을 고려하면, EL 디코더(210)는 UHD EDR 나머지 신호(212)를 생성하기 위해 이를 디코딩한다. EL 디코더(210)는 EL 인코더(160)에 매칭한다. 인코더(100)가 나머지(167)에 비선형 양자화기(155)를 적용한 경우, 비선형 양자화 프로세스는 역양자화된 나머지(222)를 생성하기 위해 비선형 역양자화기(NLDQ; 220)를 적용함으로써 역으로 된다. 인코더(100)가 나머지(167)에 공간 다움-샘플링을 적용한 경우, NLDQ(220) 전 또는 후에 공간 업-샘플러(도시되지 않음)는 그의 적절한 공간 해상도로 디코딩된 나머지(예를 들면, 212 또는 222)를 업샘플링할 수 있다. UHD EDR' 추정치(265)에 나머지(222)를 추가(225)함으로써, 디코더(200)는 인코더에 의해 송신된 UHD EDR 신호(122)의 해상도 및 컬러 포맷(예를 들면, 4:2:0 YCbCr)에 매칭하는 UHD EDR 신호(227)를 생성할 수 있다. 타깃 애플리케이션에 따라, 일 세트의 컬러 변환들(230)은 UHD EDR 신호(232)를 디스플레이 또는 다른 처리에 적절한 포맷으로 변환할 수 있다. 일 실시예에서, YCbCr 4:2:0 신호(227)를 고려하면, 컬러 변환들(230)은 4:2:0 대 4:4:4 크로마 업-샘플링 단계를 포함할 수 있고, 뒤이어 YCbCr 대 RGB 컬러 변환 단계가 후속된다.

믹싱된 순차 및 비월 포맷들의 인코딩 및 디코딩

순차 비디오 신호들(예를 들면, 720p 또는 1080p)의 증가하는 채택에도 불구하고, 비월된 비디오 신호들(예를 들면, 1080i)의 방송은 비디오 방송에서 여전히 아주 흔하다. 다른 실시예에서, 도 3은 순차 및 비월 포맷들의 믹스를 사용하여 계층 인코딩을 지원하는 UHD EDR 인코딩 시스템(300)의 다른 예를 도시한다. 일 예에서, BL 신호(332)는 비월 포맷(예를 들면, 1080i 또는 2160i)으로 코딩되고 EL 신호(162)는 순차 포맷(예를 들면, 2160p)으로 코딩된다.

인코딩 시스템(300)은 인코딩 시스템(100)의 기능의 대부분을 공유하고, 따라서, 본 섹션에서 두 개의 시스템들 사이의 주요 차이점들만이 논의될 것이다. 도 3에 도시된 바와 같이, 기저층 처리에서, SDR 신호(104)는 BL 인코더(130)를 사용하여 인코딩(예를 들면, 4:2:0 YCbCr)에 적절한 컬러 포맷으로 컬러 변환된다. 일 예시적인 실시예에서, BL 인코더(130)의 출력(332)은 비월된 SDR 신호를 포함할 수 있다. 인터레이서(320-A)는 순차 입력(128)을 기저층 신호(332)의 바람직한 코딩 해상도의 비월된 신호로 변환하기 위해 본 기술에서 알려진 임의의 인터레이싱 및 다운-샘플링 기술들을 적용할 수 있다.

시스템(100)과 비교하면, 확장층에서, 시스템(100)의 처리 구성 요소들(110-A, 115-B, 120-B)은 순차 입력(122)을 비월된 신호(126)의 해상도에 매칭하는 비월된 신호(124)로 본 기술 분야에서 알려진 임의의 인터레이싱 및 다운-샘플링 기술들을 적용할 수 있다. 일 바람직한 실시예에서, (320-A) 및 (320-B)의 다운-샘플링 및 인터레이싱 기능들은 컬러 아티팩트들을 감소시키고 전체 이미지 코딩 품질을 개선하기 위해 동일하거나 또는 서로 가능한 한 유사해야 한다.

시스템(300)에서 루마 및 크로마 예측자들(145, 140)은 시스템(100)의 것들과 동일하게 유지된다; 그러나, 신호들(124, 126)이 여기서 비월된 신호들이기 때문에, 그들은 여기서 그들의 입력들의 개별 필드들상에서 동작한다

디인터레이서(350)는 또한 이중 기능을 갖는다: 이는 예측된 HD EDR의 신호(347)를 디인터레이스하고, 이를 업샘플링하여 UHD EDR 신호(122)의 해상도에 매칭하고, 그래서 신호(122)와 동일한 해상도 및 포맷을 갖는 예측된 UHD EDR의 신호(152)를 생성한다. 시스템(300)에서 나머지(167)의 처리는 시스템(100)에 대해 기술된 것과 동일하게 유지된다.

몇몇 실시예들에서, SDR 신호(104)는 이미 비월 포맷일 수 있고, 이후 인터레이서(320-A)는 다운-샘플러로 교체될 수 있다. 인터레이서(320-A)는 입력 신호(104)가 이미 인터레이스되고 적절한 해상도에 있는 경우 제거될 수 있다.

일 실시예에서, 입력 신호들(102, 104)은 모두 HD 해상도 신호들(예를 들면, 1080p)일 수 있다. 이후 시스템(300)의 출력은 코딩된 비월된 HD(예를 들면, 1080i) 기저층 신호(332) 및 코딩된 순차 HD(예를 들면, 1080p) 나머지(162)를 포함할 수 있다.

일 실시예에서, BL 신호(332) 및 나머지(162) 모두는 동일한 해상도이지만 믹싱된 포맷일 수 있다. 예를 들면, BL 신호(332)는 2160i에서 코딩될 수 있지만, EL 신호(162)는 2160p에서 코딩될 수 있다.

도 4는 믹스-포맷 인코더(300)에 의해 생성된 신호들을 디코딩하기 위한 디코더 시스템(400)의 일 예시적인 구현의 일 실시예를 도시한다. 시스템(400)은 다음의 차이들을 제외하면 디코더 시스템(200)과 거의 동일하다: a) 디코딩된 BL 신호(417)는 이제 비월된 비디오 신호이고, (b) 루마 및 크로마 예측자들(240, 250)은 비월된 신호들(417, 247)의 필드들상에 동작하고, 및 c) 예측된 HD EDR의 신호(455)는 비월된 신호이다.

디인터레이서(460)는 시스템(300)에서 디인터레이서(350)와 기능에서 매치하고; 따라서 이는 그의 출력, UHD EDR' 신호(465)가 디코딩된 에러 나머지 신호(222)와 동일한 해상도 및 포맷을 갖도록 비월된 HD EDR의 신호(455)를 디인터레이스 및 업샘플링한다.

이전에 언급한 바와 같이, 시스템(300)은, 비선형 양자화기(155) 전 또는 후에, EL 경로에서 공간 다운-샘플링 모듈(도시되지 않음)을 또한 포함할 수 있다. 이러한 경우, 디코더(400)에서, NLDQ(220) 전 또는 후의 공간 업-샘플러는 디코딩된 나머지(212)를 그의 적절한 공간 해상도로 복구하기 위해 사용될 수 있다.

루마-범위-구동된 적응식 업-샘플링

도 1에 도시된 바와 같이, 루마 및 크로마 예측 단계들(140, 145)에 후속하여, 예측된 HD EDR' 신호(147)는 예측된 UHD EDR' 신호(152)를 생성하기 위해 두 개의 팩터(150)에 의해 업-샘플링된다. 유사한 프로세스는 디코더(200)에서 또한 수행되고 있고, 루마 및 크로마 예측 단계들(240, 250)에 후속하여, 예측된 HD EDR' 신호(255)는 예측된 UHD EDR' 신호(265)를 생성하기 위해 2의 팩터(260)에 의해 업-샘플링된다. 업-샘플러들(150, 260)은 본 기술 분야에서 알려진 임의의 업-샘플링 기술들을 포함할 수 있다; 그러나, 개선된 이미지 품질은 본 섹션에서 기술되는 루마-범위 구동된 적응식 업-샘플링 기술들을 채용함으로써 달성될 수 있다.

원래의 EDR 신호(122) 및 그의 예측된 값(152) 사이의 예측 에러(167)는 대응하는 SDR 신호(104)에서 휘도값들에 따라 변할 수 있다는 것이 관측되었다. 즉, 이미지에서 밝은 또는 하이라이트 영역들에서 나머지들(167)은 어두운 톤들 또는 중간 톤 영역들의 나머지와 상이한 형태들의 특징들을 나타낸다. 일 실시예에서, SDR 입력의 휘도 범위는 두 개 이상의 루마 서브-범위들로 분할될 수 있다. 적응식 업-샘플링 필터링 방법은 EDR 예측된 이미지의 상이한 화소들에 상이한 업-샘플링 필터들을 적용할 수 있고, 각각의 필터는 SDR 이미지에서 대응하는 화소들의 루마 서브-범위에 따라 선택된다. 이들 루마 서브-범위들의 각각을 식별하는 임계치들 및 사용되고 있는 필터들의 식별, 및/또는 필터 계수들 자신들은 메타데이터 또는 다른 보조 데이터를 통해 인코더(100)로부터 디코더(200)로 전달될 수 있고, 그래서 인코더 및 디코더 모두는 개선된 이미지 품질을 위해 동일한 업-샘플링 필터들을 적용할 수 있다.

가 BL-인코더(130)의 출력, 즉, SDR 신호(s_ij; 125-Y)의 휘도값들에 기초하여 예측되는 HD EDR'신호(147)의 휘도 화소값들을 표시한다고 하자. th(i)(i = 0, N)이 화소들(s_ij)의 휘도 범위(0 ≤ s_ij ≤ 1)를 관심 있는 N 개의 루마 범위들(N≥1)로 분할하는 일 세트의 임계치들을 표시한다고 하자(예를 들면, N=3에 대하여, 블랙들, 중간-톤들, 및 하이라이트들로). H_i가 관심 있는 i번째 루마 범위에 대하여 단계(150 또는 260)에서 사용되고 있는 i번째(i = 1, N) 업-샘플링 필터에 대한 일 세트의 필터 계수들을 표시한다고 하고,

가 s_ij 또는 그의 로컬 이웃들의 함수를 표시한다고 하면, 이후 일 실시예에서, 업-샘플링 필터링(예를 들면, 150 또는 260)은 의사 코드로 표현되는 다음의 알고리즘 1에 따라 수행될 수 있다:

몇몇 실시예들에서, H_i는 2D 분할가능하지 않은 필터의 필터 계수들을 나타낼 수 있다. 몇몇 다른 실시예들에서, H_i는 수평 및 수직 업-샘플링 필터에 대한 계수들을 제한 없이 포함하는 2-D 분리가능한 업-샘플링 필터의 계수들을 나타낼 수 있다. 필터 계수들(H_i)은 미리 계산되어 메모리에 저장될 수 있거나 또는 그들은 몇몇 이미지 품질 기준에 따라 적응적으로 계산될 수 있다. 예를 들면, 일 실시예에서, 필터 계수들(H_i)은 업-스케일링 필터의 출력, 예측된 UHD EDR'신호(152), 및 입력된 UHD EDR 신호(122) 사이의 평균 제곱 에러가 최소화되도록 계산될 수 있다.

몇몇 실시예들에서,

는 관심 있는 단일 화소값(예를 들면, s_ij 또는 s_ij-1)을 나타낼 수 있지만, 몇몇 다른 실시예들에서,

는 s_ij 주위의 하나 이상의 화소들의 로컬 평균 또는 몇몇 다른 함수(예를 들면, 중간값, 최소값, 또는 최대값)를 나타낼 수 있다.

일 실시예에서, 임계치들(th(i))은 입력 신호의 이미지 통계치들(예를 들면, 블랙들, 중간-톤들, 또는 하이라이트들의 평균값)에 기초하여 결정될 수 있다. 이들 통계치들은 화소 영역당 기반, 프레임 기반, 또는 장면당 기반(예를 들면, 유사한 휘도 특징들을 갖는 일 그룹의 순차적인 픽처들)에 대해 계산될 수 있다. 몇몇 실시예들에서, th(i)는 필터링 설계 프로세스의 부분으로서 반복적으로 결정될 수 있다. 예를 들면, 필터 계수들(H_i)이 몇몇 최적화 기준, 예를 들면, 신호(167)의 평균 제곱 에러(MSE)를 최소화하는 것에 기초하여 계산되는 경우를 생각하면, 일 실시예에서, 알고리즘 2는 의사코드에서 두 개의 바운딩 임계치들(t_low 및 t_high)이 주어진 새로운 임계치(th*)를 결정하기 위한 일 예시적인 방법, 및 임계치 검색 단계(단계)를 기술한다:

상기 기술에서, t_low 및 t_high는 임계치를 검색할 수 있는 관심 있는 경계값들을 표시한다. 예를 들면, 일 실시예에서, t_low = min(s_ij) = 0 및 t_high = max(s_ij) = 1(1은 정규화된 최대 가능한 값을 표시함)은 가능한 휘도값들의 완전한 범위를 포함한다; 그러나, 다른 실시예들에서, 경계값들의 범위는 훨씬 더 작을 수 있다. 예를 들면, 시간 t에서 입력 프레임에 대한 임계치들의 계산은 더 먼저, 즉 시간 t-1에서 계산된 임계값들을 고려할 수 있고, 따라서 이전 임계치(예를 들면, (th(i)-C), th(i)+C, 여기서 C는 상수) 주위를 중심으로 하는 더 작은 범위 내에서만 검색한다.

알고리즘 2를 고려하면, 몇몇 실시예들에서, 추가의 임계치들을 사용하여 픽처 프레임의 루마 범위를 휘도 범위의 추가의 분할들로 분할하기 위해 유사한 방식이 사용될 수 있다. 일 예시적인 실시예에서, 다음의 알고리즘(알고리즘 3)은 주어진 휘도값(A, B)를 두 개 또는 세 개의 휘도 서브-범위들로 세분하기 위해 사용될 수 있다.

알고리즘들 2 및 3에 의해 계산된 임계치들은 인코더(100) 및 디코더(200) 모두에서 알고리즘 1에 적용될 수 있다. 일 실시예에서, 계산된 임계치들은 메타데이터를 사용하여 인코더(100)로부터 디코더(200)로 송신될 수 있다.

이전에 기술된 바와 같이, 디-인터레이서들(350, 460)은 인터레이싱 및 업-샘플링 기능 모두를 조합할 수 있다. 이미지 처리의 분야의 당업자들은 업-샘플러들(150, 126)의 개선된 설계에 대해 여기에 논의된 루마-범위-구동된 방법들이 디인터레이서들(350, 460)에서 업-샘플러들의 설계에 또한 적용될 수 있다는 것을 이해할 것이다.

적응식 나머지 처리

도 1 및 도 3에 도시된 바와 같이, 확장층(EL)에서, 나머지 신호(167)는 EL 스트림(162)을 생성하기 위해 EL 인코더(160)에 의해 압축되기 전에 비선형 양자화기(NLQ; 155)에 의해 처리될 수 있다. 일반성의 손실 없이, 도 5는 본 발명의 일 실시예에 따른 NLQ(155)에 대한 일 예시적인 입력-출력 관계를 도시한다.

도 5에 도시된 바와 같이, (-X_max, X_max)가 관심 있는 프레임 또는 프레임 영역에서 코딩될 나머지 화소들 x(167)의 화소값들의 범위를 나타낸다고 하자. Level이 양자화기의 각각의 측면에서 이용가능한 코드워드들의 수를 나타낸다고 하고(예를 들면, x > 0에 대해 Level =128), 이후 양의 임계치(T)를 고려하면,

로 하자.

이후, 입력 나머지들(x)을 고려하면, 범위 (-X_max, X_max) 내에 x를 클립핑한 후, 도 5의 양자화 동작들은,

로서 표현될 수 있고, Q(x)는 양자화된 출력을 표시하고, SL은 (T, X_max) 내 Q(x)의 기울기를 표시하고, M은 나머지 x=0일 때 출력 코드워드를 나타내는 오프셋 값을 표시한다. 임계치(T)는 비교적 작은 수이고 몇몇 실시예들에서 T=0이다.

파라미터들(T, M, X_max, SL)은 나머지 신호(x)의 각각의 컬러 성분에 대해 개별적으로 규정될 수 있고 메타데이터를 사용하여 수신기에 전달될 수 있다. 몇몇 실시예들에서, 하나 이상의 NLQ 양자화 파라미터들은 전체 프레임, 프레임의 하나 이상의 분할들 또는 서브 영역들에 대하여, 또는 일 그룹의 프레임들(예를 들면, 장면)에 대하여 또한 규정될 수 있다.

이러한 양자화기를 고려하면, 수신기(예를 들면, (200))상에서, 역양자화 프로세스(예를 들면, NLDQ(220))는 다음과 같이 표현될 수 있다:

R_cmp는 수신된 (디코딩된) 나머지(또는 EL 신호(212))를 표시하고,

는, 예를 들면, 범위(-

,

)에서 또한 제한될 수 있는 역양자화된 출력(222)을 표시한다.

실험 결과들은 NLQ(155)의 파라미터들의 적응식 설정과 조합된 나머지 데이터(167)의 적절한 선처리가 EL 스트림의 더 효율적인 코딩을 산출할 수 있고, 따라서, 감소된 코딩 아티팩트들 및 더 양호한 전체 이미지 품질을 초래한다는 것을 나타낸다. 본 섹션에서, 세 개의 나머지 선처리 알고리즘들이 다음에 기술된다.

표준 편차 메트릭을 사용한 나머지 선양자화

특히 비교적 저 비트 레이트(예를 들면, 0.5 Mbits/s)로 EL 스트림을 코딩할 때, 나머지 신호(167)의 부적절한 양자화 및 코딩은 디코딩된 신호(232)에서 구획 잡음들을 초래할 수 있다. 일 실시예에서, 이들 아티팩트들은 비교적 "평탄한" 영역들에 위치되는 것으로 지각되는 특정한 나머지 값들을 적응적으로 선양자화함으로써 감소될 수 있다. 본 발명의 일 실시예에 따른 이러한 프로세스의 일 예는 도 6a에 도시되고, 여기서, 제한 없이, 각각의 나머지 화소를 둘러싸는 직사각형 화소 영역의 평탄도를 측정하는 것은 상기 영역에서 화소들의 표준 편차를 계산하는 것에 기초한다.

r_fi가 f번째 프레임의 i번째 나머지 화소를 나타낸다고 하자. 이러한 화소는 n_fi로 표시되는 W_σ×W_σ 화소 영역(예를 들면, W_σ = 15)의 중심에 있다고 하자. 이후, 단계(602)에서, 이러한 화소에 대한 표준 편차(σ_fi)는

로서 결정될 수 있고, 여기서

이다.

단계(606)에서 임계치 T_σ를 고려하면, 나머지 화소들(r_fi)은 σ_fi < T_σ인 경우 미리 결정된 값(예를 들면, 0)으로 설정될 수 있다. 임계치 T_σ는 나머지 프레임 특징들 및 전체 비트 레이트 요구 사항들에 의존하여 적응적으로 결정될 수 있다. 예를 들면, P_f가 f번째 프레임에서 화소들의 총 수를 표시한다고 하자. σ_fi는 단계(602)에서 계산된 표준 편차값들을 표시한다고 하자. 단계(604)에서, T_σ는 다음과 같이 결정될 수 있다:

(a) 분류된

리스트를 생성하기 위해 감소하는 순서로 σ_fi를 분류

(b) 이후 T_σ는

분류된 리스트에서 k*P_f값이고, k는 범위(0.0 내지 1.0)에서 규정된다. 예를 들면, k=0.25에 대하여, 1920 × 1080 프레임을 고려하면, T_σ는 분류된 리스트에서 400번째 표준 편차값, 518의 값에 대응한다.

평탄도를 계산하기 위한 대안적인 방법들은 W_σ×W_σ 화소들의 평균 또는 분산을 계산하는 단계, 또는 각각의 화소를 둘러싸는 영역의 에지 맵에 기초하여 메트릭을 계산하는 단계, 또는 본 기술에 알려진 임의의 다른 평탄도 검출 및 결정 알고리즘을 사용하는 단계를 또한 포함할 수 있다.

나머지 말단 경계들 조정

가 프레임(f)에서 최대 양의 나머지값을 표시하는 것으로 하고

가 프레임(f)에서 최소 음의 나머지값의 절대값을 표시한다고 하자. 이후,

및

이다.

도 5에서 도시된 바와 같이, 양자화기의 입력 경계들은

및

에 의해서 결정될 수 있다(예를 들면,

); 그러나, 실험 결과들은 나머지 값들이 종형 분포를 가지고 일반적으로

또는

중 하나에 근접한 각각의 프레임에서 매우 적은 화소들이 존재한다는 것을 보여준다. 이전에 언급된 바와 같이, 도 5에 도시된 양자화기에 대하여, 양자화 단계는

에 비례한다. 고정된 수의 코드워드들(예를 들면, Level의 값)에 대하여, 양자화로 인한 왜곡은 X_max의 값에 정비례한다; 따라서, 더 작은 X_max 값들이 바람직하다. 일 실시예에서,

또는

에 따라 X_max를 결정하는 대신, 새롭고 더 작은 범위 [

]가 결정된다. NLQ(155)를 적용하기 전에, 나머지 화소값들은 새로운 범위[

] 내에 맞도록 제한된다(또는 클립핑된다); 프레임 f에 대하여,

는 양의 나머지들에 대한 경계를 표시하고

는 음의 나머지들에 대한 경계를 표시한다. 즉,

이고, clip3() 함수는 상기

보다 큰 나머지 화소값들이

로 클립되고,

보다 작은 나머지 화소값들이 로 클립된다는 것을 표시한다.

NLQ 프로세스에 대한 더 적은 입력 범위는 양자화 때문에 더 적은 에러들을 산출하지만, 나머지 신호의 제한되지 않은 클립핑은 현저한 아티팩트들을 산출할 수 있고, 따라서 나머지 신호의 특징들에 따라 새로운 범위의 선택을 적응시킬 필요가 있다. 일 실시예에서, 이들 두 개의 임계치들은 나머지 화소값들의 관찰된 접속(또는 희박성)에 기초하여 적응적으로 결정된다. 즉, 매우 큰 값들을 갖는 이격된 나머지 화소들은 전체 품질에 최소 영향을 갖고 클립될 수 있다; 그러나, 접속된 나머지 화소들의 화소값들은 적절하게 코딩되어야 한다. 본 발명의 일 실시예에 따른 이러한 경계 결정 프로세스의 일 예시적인 구현은 프로세스(650)에 의해 도 6b에 도시된다.

프로세스(650)는 Th 이상인 나머지 화소값들이 드물게 접속된다고 생각되고, 따라서 그들이 클립핑될 수 있는 조건을 만족하는 임계치 Th를 계산한다. 프로세스(650)는 입력된 나머지 값들에 의존하여

또는

경계들 중 하나를 계산하기 위해 사용될 수 있다. 예를 들면,

를 결정하기 위해, 프로세스는, 예를 들면, 범위(0,

)에서, 단지 양의 나머지 화소값들만을 생각하고,

.

를 결정하기 위해, 프로세스는, 예를 들면, 범위(0,

)에서, 단지 음의 나머지 화소값들의 절대값들만을 고려하고,

.

단계(610)에서, 프로세스는 초기값을 임계치(Th)로 설정함으로써 시작한다. 그래서, r_fi의 원래의 경계들(예를 들면, Th_L=0 및

또는

)을 고려하면, 일 예시적인 실시예에서, 초기 임계치는 알려진 범위의 중간값으로 설정될 수 있고, 예를 들면, Th= (Th_H + Th_L)/2이다.

임계치(Th)를 고려하면, 단계(612)에서, 2진 맵(M_f)이 생성되고, 2진 맵의 요소들은,

로서 계산된다.

M_f를 고려하면, 단계(614)에서, 각각의 2진 화소의 접속을 결정할 수 있다. 예를 들면, MATLAB에서, 이웃 접속(예를 들면, 4-화소 또는 8-화소 접속된 이웃)은 함수 bwconncomp를 사용하여 계산될 수 있다. NC_f(i)가 2진 이미지(M_f)에서 각각의 화소의 이웃들의 수를 표시한다고 하자. 단계(618)에서, 임계치(Th)는, 그들의 접속이 미리 결정된 접속 임계치(T_cc)(T_cc = 5 화소들)를 초과하는 경우 어떠한 화소도 0 클립핑되지 않도록 조정될 수 있다. 예를 들면, 모든 화소들에 걸친 최대 화소 접속이 미리 결정된 접속 임계치(T_cc)를 초과하는 경우, 임계치(Th)는 증가할 수 있고, 임계치를 초과하지 않은 경우, 이는 감소될 수 있다. 예를 들면, 2진 검색을 사용하면,

계산 복잡성을 감소시키기 위하여, 일 실시예에서, 프로세스는 수렴 테스트 단계(620)를 포함할 수 있다. 예를 들면, 수렴 단계(620)는 이전(또는 오래된) 및 새로운 임계치들 사이의 차이를 계산할 수 있다. 이들 차이가 미리 결정된 수렴 임계치보다 큰 경우, 프로세스는 새로운 임계치를 갖고 단계(612)로부터 다시 계속한다. 임계치보다 작은 경우, 이는 종료되고 사용될 최종 경계를 출력한다(예를 들면,

).

장면 기반 비선형 양자화

먼저 논의된 바와 같이, 몇몇 실시예들에서, 비선형 양자화기(155)는 다음의 파라미터들로 나타낼 수 있다: X_max, offset(예를 들면, M), 및 Level(도 5에 관한 논의를 또한 참조). 몇몇 실시예들에서, 일 시퀀스의 프레임들, 예를 들면, 장면에서 나머지 화소 특징들에 의해 이들 파라미터들을 결정하는 것이 이로울 수 있다.

F 개의 프레임들의 시퀀스에 대한

및

를 고려하면,

로 하자.

이후, 비선형 양자화기의 파라미터들은,

, 및

로서 전체 장면에 대해 설정될 수 있고, EL_bitdepth는 EL 인코더(160)의 비트-깊이(예를 들면, EL_bitdepth = 8)를 표시하고 Δ는 작은 양의 값(예를 들면, Δ = 0.1)을 표시한다. 일 실시예에서, 크로마 성분들에 대하여, 양자화 레벨들의 수는,

를 사용하여 결정될 수 있다.

다른 실시예에서,

및

값들은 이전에 계산된 대응하는

및

값들로 또한 교체될 수 있다.

예시적인 컴퓨터 시스템 구현

본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 구성 요소들로 구성된 시스템들, 마이크로컨트롤러, 필드 프로그램가능 게이트 어레이(FPGA), 또는 다른 구성가능하거나 프로그램 가능한 논리 디바이스(PLD)와 같은 집적 회로(IC) 디바이스, 이산 시간 또는 디지털 신호 프로세서(DSP), 주문형 IC(ASIC), 및/또는 하나 이상의 이러한 시스템들, 디바이스들 또는 구성 요소들을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 여기에 기술된 것들과 같은 코딩 UHD EDR 신호들에 관한 명령들을 수행, 제어, 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 여기에 기술되는 코딩 UHD EDR 신호들에 관련되는 다양한 파라미터들 또는 값들 중 어느 것을 계산할 수 있다. 인코딩 및 디코딩 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그의 다수의 조합들로 구현될 수 있다.

본 발명의 임의의 구현들은 프로세서들이 본 발명의 방법을 수행하게 하는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들면, 디스플레이, 인코더, 셋 탑 박스, 트랜스코더 등에서 하나 이상의 프로세서들은 프로세서들에 액세스가능한 프로그램 메모리에서 소프트웨어 명령들을 실행함으로써 상기에 기술되는 UHD EDR 신호들을 코딩하는 것에 관련된 방법들을 실행할 수 있다. 본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은, 데이터 프로세서에 의해 실행될 때, 데이터 프로세서가 본 발명의 방법을 실행하게 하는 명령들을 포함하는 일 세트의 컴퓨터 판독가능 신호들을 갖는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 매우 다양한 형태들 중 어느 하나일 수 있다. 프로그램 제품은, 예를 들면, 플로피 디스켓들을 포함하는 자기 데이터 저장 매체, 하드 디스크 드라이브들, CD 롬들, DVD들을 포함하는 광 데이터 저장 매체, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체, 등을 포함할 수 있다. 프로그램 제품상의 컴퓨터 판독가능 신호들은 선택적으로 압축 또는 암호화될 수 있다.

구성 요소(예를 들면, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로, 등)가 상기에 참조될 때, 다르게 표시되지 않으면, 구성 요소에 대한 참조("수단"에 대한 참조를 포함하여)는 본 발명의 도시된 예시적인 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성 요소들을 포함하여, 기재된 구성 요소(예를 들면, 기능적으로 동등한 것)의 기능을 수행하는 임의의 구성 요소를 상기 구성요소들의 동등물들로서 포함하는 것으로 해석되어야 한다.

균등물들, 확장들, 대안들 및 여러가지들

UHD EDR 신호들의 하위 호환가능한 코딩 및 디코딩에 관련하는 예시적인 실시예들이 이와 같이 기술된다. 전술된 명세에서, 본 발명의 실시예들은 구현마다 다를 수 있는 다수의 특정 상세들을 참조하여 기술되었다. 따라서, 본 발명이 무엇인지, 및 출원인들에 의해 본 발명으로 의도되는 것이 무엇인지의 유일하고 철저한 표시자는 청구항들의 세트이고, 이들 청구항들은 임의의 후속 보정을 포함하는 특정 형태로 본 출원으로부터 공개된다. 이러한 청구항들에 포함된 용어들에 대해 본 명세서에서 명백히 설명된 임의의 정의들은 청구항들에서 사용되는 이러한 용어들의 의미를 결정할 것이다. 따라서, 청구항에서 명확히 인용되지 않은 요소, 특성, 특징, 이점 또는 속성 중 어느 것도 임의의 방식으로 이러한 청구항의 범위를 제한하지 않아야 한다. 명세 및 도면들은, 따라서, 제한적인 의미라기보다는 예시적인 것으로 생각되는 것이다.

130 : BL 인코더 140 : 크로마 예측자
145 : 루마 예측자 160 : EL 인코더

Claims

입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법에 있어서,
제 1 공간 해상도 및 제 1 동적 범위를 갖는 제 1 신호를 액세스하는 단계;
제 2 공간 해상도 및 상기 제 1 동적 범위보다 낮은 제 2 동적 범위를 갖는 제 2 신호를 액세스하는 단계;
상기 제 2 신호에 응답하여, 프로세서에 의해 바람직한 코딩 컬러 포맷을 갖는 기저층 신호를 생성하는 단계;
상기 제 1 신호에 응답하여, 상기 프로세서에 의해 상기 제 2 공간 해상도, 상기 제 1 동적 범위, 및 상기 바람직한 코딩 컬러 포맷을 갖는 기준 예측 신호를 생성하는 단계;
상기 기준 예측 신호의 루마 화소값들 및 상기 기저층 신호의 루마 화소값들에 응답하여 루마 예측자에 대해 루마 예측 계수들을 계산하는 단계;
상기 기준 예측 신호의 루마 및 크로마 화소값들 및 상기 기저층 신호의 루마 및 크로마 화소값들 모두에 응답하여 크로마 예측자에 대한 크로마 예측 계수들을 계산하는 단계;
상기 기저층 신호 및 상기 루마 및 크로마 예측 계수들에 응답하여 상기 루마 예측자 및 상기 크로마 예측자를 사용하여 상기 제 1 동적 범위를 갖는 예측 신호를 생성하는 단계;
상기 제 1 신호 및 상기 예측 신호에 응답하여 나머지 신호를 생성하는 단계;
상기 기저층 신호에 응답하여 기저층 인코더를 사용하여 코딩된 기저층 스트림을 생성하는 단계; 및
상기 나머지 신호에 응답하여 확장층 인코더를 사용하여 코딩된 확장층 스트림을 생성하는 단계를 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 제 1 공간 해상도는 초고화질(UHD) 해상도이고, 상기 제 2 공간 해상도는 고화질(HD) 공간 해상도인, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 제 1 동적 범위는 높거나 확장된 동적 범위이고, 상기 제 2 동적 범위는 표준 동적 범위인, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 바람직한 컬러 포맷은 YCbCr 4:2:0 포맷을 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 루마 예측자는 다항식 예측자를 포함하고, 예측 신호의 루마 성분의 화소값들은 단지 입력 신호의 루마 화소값들에만 기초하여 예측되는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 크로마 예측자는 다색 채널 다중 회귀(MMR) 예측자를 포함하고, 예측 신호의 크로마 성분의 화소값들은 입력 신호의 루마 및 크로마 화소값들 모두에 기초하여 예측되는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 코딩된 확장층 스트림을 생성하기 전에 비선형 양자화기에 의해 상기 나머지 신호를 처리하는 단계를 추가로 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 루마 예측 계수들 및 상기 크로마 예측 계수들에 응답하여 메타데이터를 생성하는 단계 및 상기 메타데이터를 디코더에 송신하는 단계를 추가로 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
계층화된 스트림을 디코딩하기 위한 방법에 있어서,
제 1 공간 해상도 및 제 1 동적 범위를 갖는 코딩된 확장층(EL) 스트림 및 제 2 공간 해상도 및 제 2 동적 범위를 갖는 코딩된 기저층(BL) 스트림을 포함하는 코딩된 비트스트림을 수신하는 단계로서, 상기 제 1 동적 범위는 상기 제 2 동적 범위보다 높은, 상기 코딩된 비트스트림을 수신하는 단계;
디코딩된 BL 신호를 생성하기 위해 BL 디코더를 사용하여 상기 코딩된 BL 스트림을 디코딩하는 단계;
상기 디코딩된 BL 신호에 응답하여, 상기 제 1 동적 범위를 갖는 예측 신호를 생성하는 단계로서, 상기 예측 신호의 루마 화소값들은 상기 디코딩된 BL 신호의 루마 화소값들에만 기초하여 예측되고, 상기 예측 신호의 적어도 하나의 크로마 성분의 크로마 화소값들은 상기 디코딩된 BL 신호의 상기 루마 및 크로마 화소값들 모두에 기초하여 예측되는, 상기 예측 신호를 생성하는 단계;
디코딩된 나머지 신호를 생성하기 위해 EL 디코더를 사용하여 상기 코딩된 EL 스트림을 디코딩하는 단계; 및
상기 디코딩된 나머지 신호 및 상기 예측 신호에 응답하여 상기 제 1 해상도 및 상기 제 1 동적 범위를 갖는 출력 신호를 생성하는 단계를 포함하는, 계층화된 스트림을 디코딩하기 위한 방법.
제 9 항에 있어서,
상기 출력 신호를 생성하기 전에 비선형 역양자화기에 의해 상기 디코딩된 나머지 신호를 처리하는 단계를 추가로 포함하는, 계층화된 스트림을 디코딩하기 위한 방법.
제 9 항에 있어서,
상기 제 1 공간 해상도는 상기 제 2 공간 해상도보다 높고, 상기 출력 신호를 생성하기 위해 상기 예측 신호를 적용하기 전에, 상기 예측 신호는 상기 제 1 공간 해상도를 갖는 업샘플링된 예측 신호를 생성하기 위해 업샘플링되는, 계층화된 스트림을 디코딩하기 위한 방법.
제 11 항에 있어서,
상기 제 1 공간 해상도는 초고화질(UHD) 해상도이고, 상기 제 2 해상도는 고화질(HD) 공간 해상도인, 계층화된 스트림을 디코딩하기 위한 방법.
제 9 항에 있어서,
상기 제 1 동적 범위는 높거나 확장된 동적 범위이고, 상기 제 2 동적 범위는 표준 동적 범위인, 계층화된 스트림을 디코딩하기 위한 방법.
제 1 항에 있어서,
상기 나머지 신호를 생성하는 단계는:
상기 제 1 공간 해상도를 갖는 업-스케일링된 예측 신호를 생성하기 위해 업-스케일링 프로세스를 사용하여 상기 예측 신호를 업-스케일링하는 단계; 및
상기 제 1 신호 및 상기 업-스케일링된 예측 신호에 응답하여 상기 나머지 신호를 생성하는 단계를 추가로 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 14 항에 있어서,
상기 업-스케일링된 예측 신호를 생성하는 단계는:
상기 예측 신호에서 하나 이상의 화소들에 대해, 상기 제 2 신호에서 대응하는 화소의 휘도 서브-범위를 선택하기 위해 루마 임계치들 및 선택 기준을 적용하는 단계; 및
상기 업-스케일링된 예측 신호에 대해 대응하는 화소값들을 생성하기 위해 상기 휘도 서브-범위에 대해 결정된 업-스케일링 필터를 상기 예측 신호에서 하나 이상의 화소들에 적용하는 단계를 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 15 항에 있어서,
상기 휘도 서브-범위에 대하여 상기 업-스케일링 필터에 관한 상기 루마 임계치들 및 정보를 디코더에 시그널링하는 단계를 추가로 포함하는, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 11 항에 있어서,
상기 업-샘플링된 예측 신호를 생성하는 단계는:
휘도 범위를 휘도 서브-범위들로 분할하기 위해 인코더로부터 루마 임계치들을 수신하는 단계;
상기 휘도 서브-범위들의 각각에 대해 상기 인코더로부터 업-스케일 필터 정보를 수신하는 단계;
상기 예측 신호에서 하나 이상의 화소들에 대해, 상기 디코딩된 BL 신호에서 하나 이상의 대응하는 화소들에 대하여 상기 휘도 서브-범위들 중에서 하나의 휘도 서브-범위를 결정하기 위해 상기 루마 임계치들 및 선택 기준을 적용하는 단계; 및
상기 업-샘플링된 예측 신호에 대해 대응하는 화소값들을 생성하기 위해 상기 휘도 서브-범위에 대응하는 상기 업-스케일링 필터를 상기 예측 신호에서 상기 하나 이상의 화소들에 적용하는 단계를 추가로 포함하는, 계층화된 스트림을 디코딩하기 위한 방법.
제 9 항에 있어서,
상기 디코딩된 BL 신호는 인터페이스된 신호를 포함하고,
상기 출력 신호를 생성하는 단계는:
상기 제 1 공간 해상도를 갖는 순차 업-샘플링된 예측 신호를 생성하기 위해 상기 예측 신호를 업샘플링하고 디-인터레이싱하는 단계; 및
상기 디코딩된 나머지 신호 및 상기 순차 업-샘플링된 예측 신호에 응답하여 상기 제 1 해상도 및 상기 제 1 동적 범위를 갖는 출력 신호를 생성하는 단계를 추가로 포함하는, 계층화된 스트림을 디코딩하기 위한 방법.
제 1 항에 있어서,
상기 제 1 해상도는 상기 제 2 해상도와 동일한, 입력 비디오 데이터를 하위 호환가능한 계층화된 스트림으로 인코딩하기 위한 방법.
제 9 항에 있어서,
상기 제 1 해상도는 상기 제 2 해상도와 동일한, 계층화된 스트림을 디코딩하기 위한 방법.
계층화된 비디오 인코더의 확장층에서 나머지 화소 데이터를 선처리하기 위한 방법에 있어서,
비선형 양자화기에 의해 처리될 나머지 픽처 프레임의 나머지 화소값들에 액세스하는 단계;
상기 나머지 픽처 프레임에서 하나 이상의 나머지 화소들에 대한 하나 이상의 평탄도 메트릭 값들을 계산하는 단계; 및
그들의 대응하는 평탄도 메트릭값이 임계치보다 작은 상기 하나 이상의 나머지 화소들의 화소값들을 미리 결정된 값으로 설정하는 단계를 포함하는, 계층화된 비디오 인코더의 확장층에서 나머지 화소 데이터를 선처리하기 위한 방법.
제 21 항에 있어서,
분류된 평탄도 메트릭 값들의 리스트를 생성하기 위해 상기 계산된 하나 이상의 평탄도 메트릭 값들을 감소하는 순서로 분류하는 단계; 및
상기 평탄도 메트릭 값들 중 하나를 상기 임계치로서 선택하는 단계를 추가로 포함하는, 계층화된 비디오 인코더의 확장층에서 나머지 화소 데이터를 선처리하기 위한 방법.
제 21 항에 있어서,
나머지 화소에 대한 상기 평탄도 메트릭 값은 상기 나머지 화소 주변의 영역에서 화소 값들의 표준 편차에 기초하여 계산되는, 계층화된 비디오 인코더의 확장층에서 나머지 화소 데이터를 선처리하기 위한 방법.
계층화된 비디오 인코더의 확장층에서 나머지 화소 데이터에 대하여 비선형 양자화기의 입력 범위 파라미터들을 결정하기 위한 방법에 있어서,
나머지 화소 프레임에서 상기 비선형 양자화기에 의해 처리될 나머지 화소값들에 액세스하는 단계;
a) 제 1 임계치를 설정하는 단계;
b) 상기 제 1 임계치에 따라 상기 나머지 화소 프레임의 2진 맵을 생성하는 단계;
c) 상기 2진 맵에서 화소들에 대해 최대 화소 접속을 계산하는 단계;
d) 상기 계산된 최대 화소 접속 및 접속 임계치 기준에 기초하여 제 2 임계치를 생성하는 단계; 및
e) 상기 단계들 b), c), 및 d)를 반복하거나 또는 상기 제 2 및 제 1 임계치를 상기 비선형 양자화기의 입력 범위 경계값으로서 출력하는 단계를 포함하는, 비선형 양자화기의 입력 범위 파라미터들을 결정하기 위한 방법.
제 23 항에 있어서,
상기 단계 d)는:
상기 계산된 최대 접속이 상기 접속 임계치 기준보다 큰 경우 상기 제 1 임계치를 증가시키거나 또는 상기 계산된 최대 접속이 상기 접속 임계치 기준보다 작은 경우 상기 제 1 임계치를 감소시킴으로써 상기 제 2 임계치를 생성하는 단계를 추가로 포함하는, 비선형 양자화기의 입력 범위 파라미터들을 결정하기 위한 방법.
제 23 항에 있어서,
상기 단계들 b), c), 및 d)는 상기 제 1 및 제 2 임계치들 간의 차가 수렴 임계치보다 크다는 것이 결정된 경우 반복되는, 비선형 양자화기의 입력 범위 파라미터들을 결정하기 위한 방법.
프로세서를 포함하고 제 1 항, 제 9 항, 또는 제 24 항 중 어느 한 항에서 인용된 방법들 중 어느 하나를 수행하도록 구성된, 장치.
제 1 항, 제 9 항, 또는 제 24 항 중 어느 한 항에 따른 방법을 실행하기 위해 컴퓨터 실행가능한 명령들이 저장된, 비일시적 컴퓨터 판독가능 저장 매체.