KR20170113713A

KR20170113713A - 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법

Info

Publication number: KR20170113713A
Application number: KR1020177027095A
Authority: KR
Inventors: 얀 예; 지에 동; 유웬 헤
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2013-12-13
Filing date: 2014-12-12
Publication date: 2017-10-12
Also published as: JP6463820B2; JP2017505028A; US20150172616A1; AU2014362246B2; KR20160096712A; US20180146181A1; WO2015089352A1; JP6240331B2; JP2018038076A; JP2019050640A; TW201537992A; KR101786414B1; AU2014362246A1; TWI628959B; CN105830440B; US9912925B2; CN105830440A; MX358758B; MX2016007619A; EP3080985A1

Abstract

제1 컬러 공간과 관련되는 픽쳐 - 픽쳐는 제1 샘플링 위치(C0)에 있는 제1 성분, 제2 샘플링 위치(L0)에 있는 제2 성분 및 제3 샘플링 위치(L4)에 있는 제2 성분을 포함함 - 를 수신하기 위한 비디오 코딩 디바이스 및 방법. 제1 보간 필터가 제2 샘플링 위치(L0)에 있는 제2 성분 및 제3 샘플링 위치(L4)에 있는 제2 성분에 적용되어 제1 샘플링 위치(L(C0))에 있는 제2 성분을 결정한다. 제1 샘플링 위치(L(C0))에 있는 제2 성분은 제1 컬러 공간과 관련될 수도 있다. 제1 샘플링 위치에 있는 제1 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델이 제1 샘플링 위치(C0)에 있는 제1 성분에 그리고 제1 샘플링 위치(L(C0))에 있는 제2 성분에 적용된다.

Description

보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법{COLOR GAMUT SCALABLE VIDEO CODING DEVICE AND METHOD FOR THE PHASE ALIGNMENT OF LUMA AND CHROMA USING INTERPOLATION}

교차 참조

본 출원은 2013년 12월 13일자로 출원된 미국 특허 가출원 제61/915,892호의 이점을 주장하는데, 상기 출원의 내용 각각은 참조에 의해 그 전체가 본원에 통합된다.

배경

입력 비디오 스트림의 루마(luma) 및 크로마(chroma) 샘플 위치의 위상은 정렬되지 않을 수도 있다. 루마 및 크로마 샘플 위치의 이러한 오정렬은 3D LUT 보간(interpolation)의 정확성에 영향을 끼칠 수도 있고, 그에 따라, 추정될 수도 있는 3D LUT에도 영향을 끼칠 수도 있다.

개요

컬러 변환 성분을 추정하기 위한 시스템 및/또는 방법. 비디오 코딩 디바이스가 제1 컬러 공간과 관련되는 픽쳐를 수신할 수도 있다. 픽쳐는 제1 샘플링 위치에 있는 제1 성분, 제2 샘플링 위치에 있는 제2 성분, 및 제3 샘플링 위치에 있는 제2 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 성분을 결정하기 위해, 제2 샘플링 위치에 있는 제2 성분 및 제3 샘플링 위치에 있는 제2 성분에 제1 보간 필터를 적용할 수도 있다. 제1 샘플링 위치에 있는 제2 성분은 제1 컬러 공간과 관련될 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 성분에 그리고 제1 샘플링 위치에 있는 제2 성분에 적용할 수도 있다. 제1 성분은 루마 성분일 수도 있고, 제2 성분은 제1 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분) 또는 제2 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)일 수도 있다. 제1 성분은 제1 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분) 또는 제2 크로마 성분일 수도 있고, 제2 성분은 루마 성분일 수도 있다.

비디오 코딩 디바이스는 제1 보간 필터를 적용할 수도 있다. 제1 보간 필터는: 제2 샘플링 위치에 있는 제2 성분을 3으로 승산하는 것; 제2 샘플링 위치에 있는 승산된 제2 성분, 제3 샘플링 위치에 있는 제2 성분, 및 2를 가산하여 합을 결정하는 것; 및 그 합을 4로 제산하는 것을 포함할 수도 있다. 제1 보간 필터는: 제2 샘플링 위치에 있는 제2 성분, 제3 샘플링 위치에 있는 제2 성분, 및 1을 가산하여 합을 결정하는 것; 및 그 합을 2로 제산하는 것을 포함할 수도 있다.

픽쳐는 제4 샘플링 위치에 있는 제2 성분 및 제5 샘플링 위치에 있는 제2 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 제2 성분, 제3 샘플링 위치에 있는 제2 성분, 제4 샘플링 위치에 있는 제2 성분, 및 제5 샘플링 위치에 있는 제2 성분에 적용할 수도 있다. 제1 보간 필터는: 제2 샘플링 위치에 있는 제2 성분 및 제3 샘플링 위치에 있는 제2 성분을 가산하여 제1 합을 결정하는 것; 제4 샘플링 위치에 있는 제2 성분 및 제5 샘플링 위치에 있는 제2 성분을 가산하여 제2 합을 결정하는 것; 제2 합을 3으로 승산하여 제3 합을 결정하는 것; 제1 합, 제3 합, 및 4를 가산하여 제4 합을 결정하는 것; 및 제4 합을 8로 제산하는 것을 포함할 수도 있다.

픽쳐는 제2 샘플링 위치에 있는 제3 성분 및 제3 샘플링 위치에 있는 제3 성분을 포함할 수도 있다. 제1 성분은 루마 성분일 수도 있고, 제2 성분은 레드 차이 크로마 성분(red difference chroma component)일 수도 있고, 제3 성분은 블루 차이 크로마 성분(blue difference chroma component)일 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제3 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 제3 성분 및 제3 샘플링 위치에 있는 제3 성분에 적용할 수도 있다. 제1 샘플링 위치에 있는 제3 성분은 제1 컬러 공간과 관련될 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 성분, 제1 샘플링 위치에 있는 제2 성분에, 그리고 제1 샘플링 위치에 있는 제3 성분에 적용할 수도 있다.

픽쳐는 제1 샘플링 위치에 있는 제3 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 성분에, 제1 샘플링 위치에 있는 제3 성분에, 그리고 제1 샘플링 위치에 있는 제2 성분에 적용할 수도 있다. 제1 성분은 제1 크로마 성분일 수도 있고, 제2 성분은 루마 성분일 수도 있고, 제3 성분은 제2 크로마 성분일 수도 있다. 제1 성분은 제2 크로마 성분일 수도 있고, 제2 성분은 루마 성분일 수도 있고, 제3 성분은 제1 크로마 성분일 수도 있다.

픽쳐는 4:2:0 크로마 포맷을 특징으로 할 수도 있다. 컬러 변환 모델은 3차원 룩업 테이블(look up table; LUT)에 기초할 수도 있다.

제1항의 비디오 코딩 디바이스에 있어서, 프로세서는 또한 스케일러블 비트스트림(scalable bitstream) - 스케일러블 비트스트림은 베이스 레이어(base layer) 및 향상 레이어(enhancement layer)를 포함함 - 을 수신하도록 구성되고, 베이스 레이어는 픽쳐를 포함하고, 베이스 레이어는 제1 컬러 공간과 관련되고 향상 레이어는 제2 컬러 공간과 관련된다.

비디오 코딩 디바이스가 제1 컬러 공간과 관련되는 픽쳐를 수신할 수도 있다. 픽쳐는 제1 샘플링 위치에 있는 제1 크로마 성분, 제1 샘플링 위치에 있는 제2 크로마 성분, 제2 샘플링 위치에 있는 루마 성분, 제3 샘플링 위치에 있는 루마 성분, 제4 샘플링 위치에 있는 루마 성분, 및 제5 샘플링 위치에 있는 루마 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 루마 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 루마 성분, 제3 샘플링 위치에 있는 루마 성분, 제4 샘플링 위치에 있는 루마 성분, 및 제5 샘플링 위치에 있는 루마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 루마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 크로마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 크로마 성분에, 제1 샘플링 위치에 있는 제2 크로마 성분에, 그리고 제1 샘플링 위치에 있는 루마 성분에 적용할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 크로마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 크로마 성분에, 제1 샘플링 위치에 있는 제2 크로마 성분에, 그리고 제1 샘플링 위치에 있는 루마 성분에 적용할 수도 있다. 제1 크로마 성분 및/또는 제2 크로마 성분은 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분일 수도 있다.

비디오 코딩 디바이스가 제1 컬러 공간과 관련되는 픽쳐를 수신할 수도 있다. 픽쳐는, 제1 샘플링 위치에 있는 루마 성분, 제2 샘플링 위치에 있는 제1 크로마 성분, 제2 샘플링 위치에 있는 제2 크로마 성분, 제3 샘플링 위치에 있는 제1 크로마 성분, 제3 샘플링 위치에 있는 제2 크로마 성분, 제4 샘플링 위치에 있는 제1 크로마 성분, 제4 샘플링 위치에 있는 제2 크로마 성분, 제5 샘플링 위치에 있는 제1 크로마 성분, 및 제5 샘플링 위치에 있는 제2 크로마 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 크로마 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 제1 크로마 성분, 제3 샘플링 위치에 있는 제1 크로마 성분, 제4 샘플링 위치에 있는 제1 크로마 성분, 및 제5 샘플링 위치에 있는 제1 크로마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 제1 크로마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 크로마 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 제2 크로마 성분, 제3 샘플링 위치에 있는 제2 크로마 성분, 제4 샘플링 위치에 있는 제2 크로마 성분, 및 제5 샘플링 위치에 있는 제2 크로마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 제2 크로마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 루마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 루마 성분, 제1 샘플링 위치에 있는 제1 크로마 성분, 및 제1 샘플링 위치에 있는 제2 크로마 성분에 적용할 수도 있다. 제1 크로마 성분 및/또는 제2 크로마 성분은 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분일 수도 있다.

도 1은 N개의 레이어와 같은 하나 이상의 레이어를 갖는 스케일러블 비디오 코딩 시스템의 한 예의 블록도이다.
도 2는 MVC를 사용하는 입체(예를 들면 2뷰) 비디오 코딩을 위한 시간적 및/또는 레이어간 예측의 예이다.
도 3은 CIE 컬러 정의 또는 공간에서의 BT.709(HDTV)와 BT.2020(UHDTV) 사이의 예시적인 컬러의 주요 비교이다.
도 4a는 BT.709에서 보정된(graded) 픽쳐와 BT.709에서 렌더링된 픽쳐 사이의 엔드 유저에 대한 시각적 차이의 예이다.
도 4b는 BT.2020에서 보정된 픽쳐와 BT.709에서 렌더링된 픽쳐 사이의 엔드 유저에 대한 시각적 차이의 예이다.
도 5는 픽쳐 레벨 레이어간 예측(inter-layer prediction; ILP)을 갖는 컬러 색역 스케일러빌러티(color gamut scalability; CGS) 코딩의 예이다.
도 6은 8비트 YUV 신호에 대한 3D 룩업 테이블의 예이다.
도 7은 (예를 들면, 3D LUT 추정에서 사용될 수도 있는) 3중선형 보간(tri-linear interpolation) 또는 사면체 보간(tetrahedral interpolation)에서의 가중치 계산의 예이다.
도 8은 (예를 들면, 3D LUT 추정에서 사용될 수도 있는) 사면체 보간의 예이다.
도 9a 내지 도 9f는, (예를 들면, 3D LUT 추정에서 사용될 수도 있는) 보간 포인트를 포괄하는 사면체(tetrahedron)의 예이다.
도 10은, 정사각형이 루마 픽셀 그리드를 나타낼 수도 있고 원이 크로마 그리드를 나타낼 수도 있는 크로마 포맷에 대한(예를 420 크로마 포맷에 대한) 루마 성분과 크로마 성분 사이의 위상 시프트의 예이다.
도 11a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템의 도면이다.
도 11b는 도 11a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 도면이다.
도 11c는 도 11a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크와 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 11d는 도 11a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 11e는 도 11a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.

상세한 설명

H.261, MPEG-1, MPEG-2, H.263, MPEG-4 파트 2 및 H.264/MPEG-4 파트 10 AVC과 같은 디지털 비디오 압축 기술은 효율적인 디지털 비디오 통신, 배포 및 소비를 가능하게 할 수도 있다.

전통적인 디지털 비디오 서비스, 예컨대 위성, 케이블 및 지상 송신 채널을 통해 TV 신호를 전송하는 것과 비교하여, IPTV, 비디오 챗(video chat), 모바일 비디오, 및 스트리밍 비디오과 같은 점점 더 많은 비디오 애플리케이션이 이질적인 환경(heterogeneous environment)에 배치될 수도 있다. 예를 들면, 비디오 애플리케이션은 상이한 사이즈의 셀, 및/또는 등등을 갖는 네트워크에서 비디오 스트림을 제공할 수도 있다. 이질성은 클라이언트 상에 또는 클라이언트에서뿐만 아니라, 네트워크에서 존재할 수도 있다. 예를 들면, 클라이언트 측에서, 스마트폰, 태블릿, PC 및 TV, 및/또는 등등을 포함해서, 다양한 스크린 사이즈 및 디스플레이 성능을 갖는 디바이스 상에서 비디오 컨텐츠를 소비하고 있는 N 스크린(N-screen) 시나리오가 제공될 수도 있고/있거나 사용될 수도 있다. 네트워크 측에서, 비디오는 인터넷, 와이파이(WiFi) 네트워크, 모바일(3G 및 4G) 네트워크, 및/또는 이들의 임의의 조합을 통해 송신될 수도 있다.

스케일러블 비디오 코딩은 가장 높은 해상도에서 한 번 신호를 인코딩할 수도 있다. 스케일러블 비디오 코딩은 소정의 애플리케이션에 의해 요구되는 및/또는 클라이언트 디바이스에 의해 지원되는 특정 레이트 및 해상도에 의존하여 스트림의 서브셋으로부터 디코딩을 인에이블할 수도 있다. 해상도는, 공간 해상도(예를 들면, 픽쳐 사이즈), 시간 해상도(예를 들면, 프레임 레이트), 비디오 품질(예를 들면, MOS와 같은 주관적 품질, 및/또는 PSNR 또는 SSIM 또는 VQM과 같은 객관적 품질), 및/또는 등등을 포함하지만 이들로 제한되지는 않는 다수의 비디오 파라미터에 의해 정의될 수도 있다. 다른 공통적으로 사용되는 비디오 파라미터는, (예를 들면, YUV420 또는 YUV422 또는 YUV444와 같은) 크로마 포맷, (예를 들면, 8비트 또는 10비트와 같은) 비트 깊이, 복잡도, 뷰, 색역(gamut), 및/또는 종횡비(예를 들면, 16:9 또는 4:3)를 포함할 수도 있다. MPEG-2 비디오, H.263, MPEG4 비주얼 및 H.264와 같은 국제 비디오 표준은 스케일러빌러티 모드를 지원하는 프로파일 및/또는 툴을 구비할 수도 있다.

스케일러블 비디오 코딩은 부분적인 비트스트림의 송신 및 디코딩을 인에이블할 수도 있다. 부분적인 비트스트림의 송신 및 디코딩은, (예를 들면, 부분적인 비트스트림의 각각의 레이트가 주어지면) 상대적으로 높은 재구성 품질을 유지하면서, 스케일러블 비디오 코딩(scalable video coding; SVC) 시스템이, 더 낮은 시간 및/또는 공간 해상도를 갖는 비디오 서비스를 제공하는 것을 가능하게 할 수도 있다. SVC는 단일 루프 디코딩으로 구현될 수도 있고, 따라서, SVC 디코더는 디코딩되고 있는 레이어에서 모션 보상 루프를 셋업할 수도 있고, 하나 이상의 다른 하위 레이어(들)에서 모션 보상 루프(들)를 셋업하지 않을 수도 있다. 예를 들면, 비트스트림은, 베이스 레이어일 수도 있는 제1 레이어(레이어1) 및 향상 레이어일 수도 있는 제2 레이어(레이어2)를 포함해서, 두 개의 레이어를 포함할 수도 있다. 이러한 SVC 디코더가 레이어2 비디오를 재구성하는 경우, 모션 보상된 픽쳐 및 디코딩된 픽쳐 버퍼의 셋업은 레이어2로 제한될 수도 있다. SVC의 이러한 구현예에서, 하위 레이어(lower layer)로부터의 각각의 참조 픽쳐(reference picture)는 완전히 재구성되지 않을 수도 있고, 이것은 디코더에서 계산적 복잡도 및/또는 메모리 소비를 감소시킬 수도 있다.

단일 루프 디코딩은 제약된 레이어간 텍스쳐 예측(inter-layer texture prediction)에 의해 달성될 수도 있는데, 여기서는, 주어진 레이어의 현재 블록에 대해, 대응하는 하위 레이어 블록이 인트라 모드에서 코딩되면, 하위 레이어로부터의 공간 텍스쳐 예측이 허용될 수도 있다. 이것은 제한된 인트라 예측으로 칭해질 수도 있다. 하위 레이어 블록이 인트라 모드에서 코딩되는 경우, 하위 레이어 블록은 모션 보상 동작 및/또는 디코딩된 픽쳐 버퍼 없이 재구성될 수도 있다.

SVC는, 하나 이상의 하위 레이어로부터, 모션 벡터 예측, 잔차 예측, 모드 예측 등등과 같은 하나 이상의 추가적인 레이어간 예측 기술을 구현할 수도 있다. 이것은 향상 레이어(enhancement layer)의 레이트-왜곡 효율성을 향상시킬 수도 있다. 단일 루프 디코딩을 갖는 SVC 구현은, 디코더에서, 감소된 계산적 복잡도 및/또는 감소된 메모리 소비를 나타낼 수도 있고, 예를 들면, 블록 레벨 레이어간 예측에 대한 의존성에 기인하여, 증가된 구현 복잡도를 나타낼 수도 있다. 단일 루프 디코딩 제약을 부과하는 것에 의해 초래될 수도 있는 성능 페널티를 보상하기 위해, 인코더 설계 및 계산 복잡성은, 소망의 성능이 달성되도록, 증가될 수도 있다. 인트레이스식 컨텐츠(interlaced content)의 코딩은 SVC에 의해 지원되지 않을 수도 있다.

도 1은 예시적인 블록 기반의 하이브리드 스케일러블 비디오 코딩(SVC) 시스템을 묘사하는 단순화된 블록도이다. 레이어1(예를 들면, 베이스 레이어)에 의해 표현될 공간 및/또는 시간 신호 해상도는 입력 비디오 신호의 다운샘플링에 의해 생성될 수도 있다. 후속하는 인코딩 단계에서, Q1과 같은 양자화기의 설정은 기본 정보의 품질 레벨로 이어질 수도 있다. 하나 이상의 후속하는 상위(higher) 레이어(들)는, 상위 레이어 해상도 레벨의 근사를 나타낼 수도 있는 베이스 레이어 재구성(Y1)을 사용하여 인코딩될 수도 있고/있거나 디코딩될 수도 있다. 업샘플링 유닛은, 베이스 레이어 재구성 신호를 레이어2의 해상도로 업샘플링하는 것을 수행할 수도 있다. 다운샘플링 및/또는 업샘플링은 복수의 레이어(예를 들면, N개의 레이어의 경우, 레이어1, 레이어2, …, 레이어N) 전체에 걸쳐 수행될 수도 있다. 다운샘플링 및/또는 업샘플링 비율은, 예를 들면, 두 레이어 사이의 스케일러빌러티의 차원에 의존하여 상이할 수도 있다.

도 1의 예시적인 스케일러블 비디오 코딩 시스템에서, 주어진 상위 레이어n(예를 들면, 2≤n≤N, N은 레이어의 총 수)에 대해, 현재의 레이어n 신호로부터, 업샘플링된 하위 레이어 신호(예를 들면, 레이어n-1 신호)를 감산하는 것에 의해 차분 신호(differential signal)가 생성될 수도 있다. 이 차분 신호는 인코딩될 수도 있다. 두 레이어(레이어n1 및 레이어n2)에 의해 표현되는 각각의 비디오 신호가 동일한 공간 해상도를 가지면, 대응하는 다운샘플링 및/또는 업샘플링 동작은 바이패스될 수도 있다. 상위 레이어로부터의 디코딩 정보를 사용하지 않고도 레이어n(예를 들면, 1≤n≤N) 또는 복수의 레이어가 디코딩될 수도 있다.

예를 들면, 도 1의 예시적인 SVC 시스템을 사용하여, 베이스 레이어 이외의 레이어에 대한 잔차 신호(예를 들면, 두 레이어 사이의 차분 신호)의 코딩에 의존하는 것은, 시각적 아티팩트(visual artifact)를 야기할 수도 있다. 이러한 시각적 아티팩트는, 예를 들면, 잔차 신호의 다이나믹 레인지를 제한하기 위한 잔차 신호의 양자화 및/또는 정규화 및/또는 잔차의 코딩 동안 수행되는 양자화에 기인할 수도 있다. 하나 이상의 상위 레이어 인코더는, 각각의 인코딩 모드로서 모션 추정 및/또는 모션 보상된 예측을 채택할 수도 있다. 잔차 신호에서의 모션 추정 및/또는 보상은 종래의 모션 추정과는 상이할 수도 있고, 시각적 아티팩트로 나타나기 쉬울 수도 있다. 시각적 아티팩트의 발생을 감소시키기 위해(예를 들면, 최소화하기 위해), 예를 들면, 잔차 신호의 다이나믹 레인지를 제한하기 위한 잔차 신호의 양자화 및/또는 정규화 및/또는 잔차의 코딩 동안 수행되는 양자화 둘 다를 포함할 수도 있는 조인트 양자화 프로세스와 함께, 더 복잡한 잔차 양자화가 구현될 수도 있다. 이러한 양자화 프로세스는 SVC 시스템의 복잡도를 증가시킬 수도 있다.

다중 뷰 비디오 코딩(multi-view video coding; MVC)은 뷰 스케일러빌러티를 제공할 수도 있다. 뷰 스케일러빌러티의 한 예에서, 종래의 2차원(two dimensional; 2D) 비디오를 재구성하기 위해 베이스 레이어 비트스트림이 디코딩될 수도 있고, 동일한 비디오 신호의 다른 뷰 표현을 재구성하기 위해, 하나 이상의 추가적인 향상 레이어가 디코딩될 수도 있다. 이러한 뷰가 결합되어 3차원(three dimensional; 3D) 디스플레이에 의해 디스플레이될 때, 적절한 깊이감을 갖는 3D 비디오가 생성될 수도 있다.

도 2는 좌측 뷰(레이어1) 및 우측 뷰(레이어2)를 갖는 입체 비디오를 코딩하기 위해 MVC를 사용하는 예시적인 예측 구조를 묘사한다. 좌측 뷰 비디오는 I-B-B-P 예측 구조로 코딩될 수도 있고, 우측 뷰 비디오는 P-B-B-B 예측 구조로 코딩될 수도 있다. 도 2에서 도시되는 바와 같이, 우측 뷰에서, 좌측 뷰의 제1의 I픽쳐와 병치되는(collocated) 제1 픽쳐는 P 픽쳐로서 코딩될 수도 있고, 우측 뷰에서의 후속하는 픽쳐는 우측 뷰에서 시간 참조로부터 유래하는 제1 예측, 및 좌측 뷰에서 레이어간 참조로부터 유래하는 제2 예측을 갖는 B 픽쳐로서 코딩될 수도 있다. MVC는 단일 루프 디코딩 피쳐를 지원하지 않을 수도 있다. 예를 들면, 도 2에서 도시되는 바와 같이, 우측 뷰(레이어2) 비디오의 디코딩은, 좌측 뷰(레이어1)의 픽쳐 전체의 이용가능성을 조건으로 할 수도 있는데, 하나 이상의(예를 들면, 각각의) 레이어(예를 들면, 뷰)는 각각의 보상 루프를 갖는다. MVC의 구현은 하이 레벨 구문 변경을 포함할 수도 있고, 블록 레벨 변경을 포함하지 않을 수도 있다. 이것은 MVC의 구현을 용이하게 할 수도 있다. 예를 들면, MVC는 슬라이스 및/또는 픽쳐 레벨에서 참조 픽쳐를 구성하는 것에 의해 구현될 수도 있다. MVC는, 다수의 뷰에 걸쳐 레이어간 예측을 수행하도록 도 2에서 도시되는 예를 확장하는 것에 의해, 두 개보다 많은 뷰의 코딩을 지원할 수도 있다.

MPEG 프레임 호환(MPEG frame compatible; MFC) 비디오 코딩은 3D 비디오 코딩에 대해 스케일러블 확장을 제공할 수도 있다. 예를 들면, MFC는 프레임 호환 베이스 레이어 비디오(예를 들면, 동일한 프레임으로 패킹된 두 개의 뷰)에 스케일러블 확장을 제공할 수도 있고, 풀 해상도 뷰를 복원하기 위한 하나 이상의 향상 레이어를 제공할 수도 있다. 입체 3D 비디오는, 좌측 및 우측 뷰를 포함해서, 두 개의 뷰를 구비할 수도 있다. 입체 3D 컨텐츠는, 두 개의 뷰를 하나의 프레임으로 패킹하고/하거나 멀티플렉싱하는 것에 의해, 그리고 패킹된 비디오를 압축하여 송신하는 것에 의해 전달될 수도 있다. 수신기 측에서, 디코딩 이후, 프레임은 언패킹되고 두 개의 뷰로서 디스플레이될 수도 있다. 뷰의 이러한 멀티플렉싱은 시간 도메인 및/또는 공간 도메인에서 수행될 수도 있다. 공간 도메인에서 수행되는 경우, 동일한 픽쳐 사이즈를 유지하기 위해, 두 개의 뷰는 (예를 들면, 2의 인자에 의해) 공간적으로 다운샘플링될 수도 있고 하나 이상의 배치예에 따라 패킹될 수도 있다. 예를 들면, 좌우(side-by-side) 배치예는 다운샘플링된 좌측 뷰를 픽쳐의 좌측 절반 상에 그리고 다운샘플링된 우측 뷰를 픽쳐의 우측 절반 상에 둘 수도 있다. 다른 배치예는 상하(top-and-bottom), 라인별(line-by-line), 체커보드 등등을 포함할 수도 있다. 프레임 호환 3D 비디오를 달성하기 위해 사용되는 배치예는, 예를 들면, 하나 이상의 프레임 패킹 배치 SEI 메시지에 의해 전달될 수도 있다. 이러한 배치예가 대역폭 소비를 최소한으로 증가시키면서 3D 전달을 달성할 수도 있지만, 공간적 다운샘플링은 뷰에서 앨리어싱(aliasing)을 야기할 수도 있고/있거나 3D 비디오의 시각적 품질 및 유저 경험을 감소시킬 수도 있다.

비디오 애플리케이션, 예컨대 IPTV, 비디오 챗, 모바일 비디오, 및/또는 스트리밍 비디오는 이질적 환경에 배치될 수도 있다. 이질성은 클라이언트 측에서 존재할 수도 있다. 이질성은 네트워크에서 존재할 수도 있다. N 스크린은, 스마트폰, 태블릿, PC, 및/또는 TV를 포함해서, 다양한 스크린 사이즈 및/또는 디스플레이 성능을 갖는 디바이스 상에서 비디오 컨텐츠를 소비하는 것을 포함할 수도 있다. N 스크린은, 예를 들면, 클라이언트 측에 대한 이질성에 기여할 수도 있다. 비디오는, 예를 들면, 네트워크 측에서, 인터넷, 와이파이 네트워크, 모바일 네트워크(예를 들면, 3G 및/또는 4G), 및/또는 이들 네트워크의 임의의 조합을 통해 송신될 수도 있다. 스케일러블 비디오 코딩은 서비스의 유저 경험 및/또는 비디오 품질을 향상시킬 수도 있다. 스케일러블 비디오 코딩은 가장 높은 해상도에서 한 번 신호를 인코딩하는 것을 포함할 수도 있다. 스케일러블 비디오 코딩은, 예를 들면, 소정의 애플리케이션에 의해 사용되는 및/또는 클라이언트 디바이스에 의해 지원되는 이용가능한 네트워크 대역폭 및/또는 비디오 해상도에 의존하여 스트림의 서브셋으로부터 디코딩을 인에이블하는 것을 수반할 수도 있다. 해상도는 비디오 파라미터의 수를 특징으로 할 수도 있다. 비디오 파라미터는 다음 중 하나 이상을 포함할 수도 있다: 공간 해상도, 시간 해상도, 비디오 품질, 크로마 포맷, 비트 깊이, 복잡도, 뷰, 컬러 색역, 및/또는 종횡비 등등. 공간 해상도는 픽쳐 사이즈를 포함할 수도 있다. 시간 해상도는 프레임 레이트를 포함할 수도 있다. 비디오 품질은 MOS와 같은 주관적 품질 및/또는 PSNR, SSIM 또는 VQM과 같은 객관적 품질을 포함할 수도 있다. 크로마 포맷은 YUV420, YUV422 또는 YUV444 등등을 포함할 수도 있다. 비트 깊이는 8비트 비디오, 10비트 비디오 등등을 포함할 수도 있다. 종횡비는 16:9 또는 4:3 등등을 포함할 수도 있다. HEVC 스케일러블 확장은 적어도 공간적 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 하나보다 많은 공간 해상도의 신호를 포함할 수도 있다), 품질 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 하나보다 많은 품질 레벨의 신호를 포함할 수도 있다), 및/또는 표준 스케일러빌러티(예를 들면, 스케일러블 비트스트림은 H.264/AVC를 사용하여 코딩된 베이스 레이어 및 HEVC를 사용하여 코딩된 하나 이상의 향상 레이어를 포함할 수도 있다)를 지원할 수도 있다. 공간적 스케일러빌러티에서, 스케일러블 비트스트림은 하나 이상의 공간 해상도의 신호를 포함할 수도 있다. 품질 스케일러빌러티에서, 스케일러블 비트스트림은 하나 이상의 품질 레벨의 신호를 포함할 수도 있다. 표준 스케일러빌러티에서, 스케일러블 비트스트림은, 예를 들면, H.264/AVC를 사용하여 코딩된 베이스 레이어, 및 예를 들면, HEVC를 사용하여 코딩된 하나 이상의 향상 레이어를 포함할 수도 있다. 품질 스케일러빌러티는 SNR 스케일러빌러티로 칭해질 수도 있다. 뷰 스케일러빌러티는 3D 비디오 애플리케이션을 지원할 수도 있다. 뷰 스케일러빌러티에서, 스케일러블 비트스트림은 2D 및 3D 비디오 신호 둘 다를 포함할 수도 있다.

비디오 코딩 시스템(예를 들면, 고효율 비디오 코딩의 스케일러블 확장(scalable extensions of high efficiency video coding; SHVC)에 따른 비디오 코딩 시스템)은, 비디오 코딩을 수행하도록 구성되는 하나 이상의 디바이스를 포함할 수도 있다. 비디오 코딩을 수행하도록(예를 들면, 비디오 신호를 인코딩하도록 및/또는 디코딩하도록) 구성되는 디바이스는 비디오 코딩 디바이스로서 칭해질 수도 있다. 이러한 비디오 코딩 디바이스는 비디오 대응 디바이스(video-capable device), 예를 들면, 텔레비전, 디지털 미디어 플레이어, DVD 플레이어, Blu-ray™ 플레이어, 네트워크형 미디어 플레이어 디바이스(networked media player device), 데스크탑 컴퓨터, 랩탑 퍼스널 컴퓨터, 태블릿 디바이스, 모바일 폰, 비디오 회의 시스템, 하드웨어 및/또는 소프트웨어 기반의 비디오 인코딩 시스템, 또는 등등을 포함할 수도 있다. 이러한 비디오 코딩 디바이스는 무선 통신 네트워크 엘리먼트, 예컨대 무선 송수신 유닛(wireless transmit/receive unit; WTRU), 기지국, 게이트웨이, 또는 다른 네트워크 엘리먼트를 포함할 수도 있다.

HEVC의 스케일러블 향상이 본원에서 논의될 수도 있다. 예를 들면, 공간 스케일러빌러티에 대해, 하나 이상의 목표가 확립될 수도 있다. 예를 들면, 더 높은 해상도 비디오에 대해 측정된, 넌스케일러블(non-scalable) 코딩을 사용하는 것과 비교하여, 2x 공간 스케일러빌러티에 대해 25% 비트율 감소 및 1.5x 공간 스케일러빌러티에 대해 50% 비트율 감소의 목표가 달성될 수도 있다. 스케일러빌러티는, 예를 들면, 스케일러블 HEVC에 대한 사용 사례를 확장시키기 위해 사용될 수도 있다. 스케일러빌러티는, 하나 이상의 향상 레이어가, 예를 들면, HEVC를 사용하여 인코딩되는 동안, 베이스 레이어가 H.264/AVC, 또는 MPEG2로 인코딩될 수도 있는 경우의 스케일러빌러티의 타입을 지칭할 수도 있다. 스케일러빌러티는, H.264/AVC, 또는 MPEG2를 사용하여 인코딩될 수도 있는 레거시 컨텐츠에 대한 이전 버전과의 호환성(backward compatibility)을 제공할 수도 있고, 더 나은 코딩 효율성을 제공할 수도 있는, HEVC로 인코딩된 하나 이상의 향상 레이어로 레거시 컨텐츠의 품질을 향상시킬 수도 있다.

3D 스케일러블 비디오 코딩 기술은 3D 비디오 코딩 또는 3DV로 칭해질 수도 있다. 3DV가 본원에서 논의될 수도 있다. 3DV는, 자동입체 애플리케이션(autostereoscopic application)을 목표로 할 수도 있는 뷰 스케일러빌러티의 다양한 묘미를 개발할 수도 있다. 자동입체 디스플레이 및 애플리케이션은, 성가신 안경 없이, 사람들이 3D를 경험하는 것을 허용할 수도 있거나 또는 가능하게 할 수도 있다. 안경 없이, 적절한 또는 양호한 3D 경험을 달성하기 위해, 두 개보다 많은 뷰가 제공될 수도 있고/있거나 사용될 수도 있다. (예를 들면, 9개의 뷰 또는 10개의 뷰와 같은) 많은 뷰를 코딩하는 것은 비용이 많이 들 수도 있다. 3DV는, 뷰의 깊이 정보를 제공할 수도 있는 깊이 맵과 함께, 상대적으로 큰 디스패리티를 갖는 몇몇 뷰(예를 들면, 2개 또는 3개의 뷰)를 코딩하는 하이브리드 방식을 제공할 수도 있고/있거나 사용할 수도 있다. 디스플레이 측에서, 코딩된 뷰 및 깊이 맵은 디코딩될 수도 있고, 나머지 뷰는, 디코딩된 뷰 및 그들의 깊이 맵을 사용하여, 예를 들면, 뷰 합성 기술을 사용하여, 생성될 수도 있다. 3DV는 뷰 및 깊이 맵을 고려하기 위해 다양한 방법, 예를 들면, H.264/AVC, MVC 및 HEVC와 같은 상이한 기술의 조합을 사용하여 뷰 및 깊이 맵을 코딩하는 것을 고려할 수도 있는데, 하나의 기술(예를 들면, H.264/AVC)로 베이스 레이어를 코딩하고 다른 기술(예를 들면, HEVC)로 하나 이상의 향상 레이어를 코딩하는 것을 포함한다. 3DV는 애플리케이션이 선택할 수도 있는 상이한 옵션의 메뉴를 제공할 수도 있다.

테이블 1은 본원에서 논의되는 상이한 타입의 스케일러빌러티의 예를 요약할 수도 있다. 테이블 1의 하부에서, 비트 깊이 스케일러빌러티 및 크로마 포맷 스케일러빌러티가, 전문가용 비디오 애플리케이션에서 사용되는 비디오 포맷(예를 들면, 8비트 비디오보다 더 높은 및/또는 YUV 4:2:0보다 더 높은 크로마 샘플링 포맷)에 관련될 수도 있다. 비트 깊이 스케일러빌러티 및 크로마 포맷 스케일러빌러티가 활용될 수도 있다. 종횡비 스케일러빌러티 및 컬러 색역 스케일러빌러티는 바람직한 스케일러빌러티로서 제공될 수도 있고/있거나 사용될 수도 있다(예를 들면, 그러나 스케일러블 HEVC 개발의 제1 국면에 대해, 현재로서는 제공, 사용, 및/또는 계획되지 않을 수도 있다).

도 3은 CIE 컬러 정의에서의 BT.709(HDTV)와 BT.2020(UHDTV) 사이의 비교를 예시한다. 진보된 디스플레이 기술과 함께, 초고선명 TV(ultra-high definition TV; UHDTV)는, HDTV 명세(specification)(예를 들면, BT.709)와 비교하여, 더 높은 해상도, 더 높은 비트 깊이, 더 높은 프레임율, 및 더 넓은 컬러 색역을 지원할 수도 있다. 유저 경험은, BT.2020가 제공할 수도 있는 고충실 품질(high fidelity quality)로 인해 크게 향상될 수도 있다. UHDTV는, 120Hz까지인 프레임율, 및 10비트 또는 12비트인 픽쳐 샘플의 비트 깊이를 가지고, 4K(3840×2160) 및 8K(7680×4320) 해상도까지 지원할 수도 있다. UHDTV(310)의 컬러 공간은 BT.2020에 의해 정의될 수도 있다. UHDTV(320)의 컬러 공간은 BT.790에 의해 정의될 수도 있다. BT.2020(310)에서 렌더링되는 컬러의 볼륨은 HDTV(320)(예를 들면, BT.709)에서의 컬러 공간의 볼륨보다 더 넓을 수도 있고, 이것은 UHDTV 명세를 사용하여 더 많은 가시적인 컬러 정보가 렌더링될 수도 있다는 것을 의미할 수도 있다.

컬러 색역 스케일러빌러티. 컬러 색역 스케일러블(color gamut scalable; CGS) 코딩은, 두 개 이상의 레이어가 상이한 컬러 색역 및 비트 깊이를 가질 수도 있는 멀티 레이어 코딩(multi-layer coding)일 수도 있다. 예를 들면, 테이블 1에서 나타내어지는 바와 같이, 2 레이어 스케일러블 시스템에서, 베이스 레이어는 BT.709에서 정의되는 바와 같은 HDTV 컬러 색역일 수도 있고 향상 레이어는 BT.2020에서 정의되는 바와 같은 UHDTV 컬러 색역일 수도 있다. P3 컬러 색역은, 사용될 수도 있는 컬러 색역이다. P3 컬러 색역은 디지털 시네마 애플리케이션에서 사용될 수도 있다. CGS 코딩에서의 레이어간 프로세스는, 베이스 레이어 컬러 색역을 향상 레이어 컬러 색역으로 변환하기 위해 컬러 색역 변환 기술을 사용할 수도 있다. 컬러 색역 변환이 적용될 수도 있은 이후, 생성되는 레이어간 참조 픽쳐는, 예를 들면, 더 나은 또는 향상된 정확도를 가지고, 향상 레이어 픽쳐를 예측하기 위해 사용될 수도 있다.

도 4a 및 도 4b는, 각각, BT.709 컬러 색역과 BT.2020 컬러 색역 사이의 엔드 유저에 대한 시각적 차이의 예를 묘사할 수도 있다. 도 4a 및 도 4b에서, 동일한 컨텐츠는 상이한 컬러 색역을 사용하여 두 번 색보정될 수도 있다. 예를 들면, 도 4a의 컨텐츠는 BT.709에서 색보정될 수도 있고 BT.709 디스플레이 상에서 렌더링/디스플레이될 수도 있다. 도 4b의 컨텐츠는 BT.2020에서 색보정될 수도 있고 BT.709 디스플레이 상에서 렌더링/디스플레이될 수도 있다. 도시되는 바와 같이, 두 이미지 사이의 컬러 차이는 상이할 수도 있다.

도 5는 픽쳐 레벨 레이어간 예측을 갖는 예시적인 컬러 색역 스케일러빌러티(CGS)를 예시할 수도 있다. 예시적인 실시형태에서, 도 4a는 베이스 레이어에서 코딩될 수도 있고 도 4b는 향상 레이어에서 코딩될 수도 있다. 예를 들면, 도 5의 CGS 코딩 시스템을 사용하여, 향상 레이어 코딩 효율성을 향상시키기 위해, 추가적인 레이어간 프로세싱이 제공될 수도 있고/있거나 사용될 수도 있다. 컬러 색역 변환은 CGS를 위한 레이어간 프로세싱에서 사용될 수도 있다. 컬러 색역 변환의 사용을 통해, BT.709 공간에서의 컬러는 BT.2020 공간으로 변환될 수도 있다. BT.709 공간에서의 컬러는 BT.2020 공간에서의 향상 레이어 신호를 보다 효율적으로 예측하기 위해 사용될 수도 있다.

도 5에서 도시되는 바와 같이, 베이스 레이어(base layer; BL) 비디오 입력(530)은 HD 비디오 신호일 수도 있고, 향상 레이어(enhancement layer; EL) 비디오 입력(502)은 UHD 비디오 신호일 수도 있다. HD 비디오 신호(530) 및 UHD 비디오 신호(502)는, 예를 들면, 다음 중 하나에 의해 서로 대응할 수도 있다: 하나 이상의 다운샘플링 파라미터(예를 들면, 공간적 스케일러빌러티); 하나 이상의 컬러 보정 파라미터(color grading parameter)(예를 들면, 컬러 색역 스케일러빌러티), 또는 하나 이상의 색조(tone) 매핑 파라미터(예를 들면, 비트 깊이 스케일러빌러티)(528).

BL 인코더(518)는, 예를 들면, 고효율 비디오 코딩(HEVC) 비디오 인코더 또는 H.264/AVC 비디오 인코더를 포함할 수도 있다. BL 인코더(518)는, 예측을 위해 하나 이상의 BL 재구성 픽쳐(BL reconstructed picture)(예를 들면, BL DPB(320)에 저장됨)를 사용하여 BL 비트스트림(532)을 생성하도록 구성될 수도 있다. EL 인코더(504)는, 예를 들면, HEVC 인코더를 포함할 수도 있다. EL 인코더(504)는, 예를 들면, EL DPB에 레이어간 참조 픽쳐를 추가하는 것에 의해 레이어간 예측을 지원하기 위한 하나 이상의 하이 레벨 구문 수정을 포함할 수도 있다. EL 인코더(504)는, 예측을 위해 하나 이상의 EL 재구성 픽쳐(예를 들면, EL DPB(506)에 저장됨)를 사용하여 EL 비트스트림(508)을 생성하도록 구성될 수도 있다.

BL DPB(520)에서의 하나 이상의 재구성된 BL 픽쳐는, 업샘플링(예를 들면, 공간적 스케일러빌러티의 경우), 컬러 색역 변환(예를 들면, 컬러 색역 스케일러빌러티의 경우), 또는 역 색조 매핑(예를 들면, 비트 깊이 스케일러빌러티의 경우) 중 하나 이상을 포함하는 하나 이상의 픽쳐 레벨 레이어간 프로세싱 기술을 사용하여, 레이어간 프로세싱(inter-layer processing; ILP) 유닛(522)에서 프로세싱될 수도 있다. 하나 이상의 프로세싱된 재구성된 BL 픽쳐는 EL 코딩에 대한 참조 픽쳐로서 사용될 수도 있다. 레이어간 프로세싱은 EL 인코더(504)로부터 수신되는 향상 비디오 정보(514) 및/또는 BL 인코더(518)로부터 수신되는 베이스 비디오 정보(516)에 기초하여 수행될 수도 있다. 이것은 EL 코딩 효율성을 향상시킬 수도 있다.

526에서, EL 비트스트림(508), BL 비트스트림(532), 및 레이어간 프로세싱에서 사용되는 파라미터, 예컨대 ILP 정보(524)는, 함께, 스케일러블 비트스트림(512)으로 멀티플렉싱될 수도 있다. 예를 들면, 스케일러블 비트스트림(512)은 SHVC 비트스트림을 포함할 수도 있다.

컬러 색역 변환을 위한 모델 파라미터는, 예를 들면, BL 컬러 색역 및 EL 컬러 색역이 고정될 수도 있는 경우이더라도, 상이한 컨텐츠에 대해 상이할 수도 있다(예를 들면, BL은 709에 있을 수도 있고 EL은 2020에 있을 수도 있다). 이들 파라미터는, 채색전문가(colorist)가 그의 또는 그녀의 아티스트적 의도를 반영하기 위해 상이한 공간 및/또는 상이한 컨텐츠에 상이한 보정 파라미터(grading parameter)를 적용할 수도 있는, 컨텐츠 생성에서의 후반 제작(post production) 동안의 색 보정 프로세스에 의존할 수도 있다. 컬러 보정을 위한 입력 비디오는 고충실 픽쳐를 포함할 수도 있다. 스케일러블 코딩 시스템에서, BL 픽쳐의 코딩은 양자화 노이즈(quantization noise)를 도입할 수도 있다. 계층적 예측 구조와 같은 코딩 구조에서, 양자화의 레벨은 픽쳐마다 및/또는 픽쳐의 그룹마다 조정될 수도 있다. 컬러 조정으로부터 생성되는 모델 파라미터는 코딩 목적에 충분히 정확하지 않을 수도 있다. 한 실시형태에서, 임의의 포인트에서 모델 파라미터를 추정하는 것에 의해 인코더가 코딩 노이즈를 보상하는 것이 보다 효과적일 수도 있다. 인코더는 픽쳐마다 또는 픽쳐의 그룹마다 모델 파라미터를 추정할 수도 있다. 예를 들면, 컬러 조정 프로세스 동안 및/또는 인코더에 의해 생성되는 이들 모델 파라미터는, 레이어간 예측 동안 디코더가 동일한 컬러 색역 변환을 수행할 수도 있도록 시퀀스 및/또는 픽쳐 레벨에서 디코더로 시그널링될 수도 있다.

컬러 색역 변환 예는, 선형 컬러 변환 또는 조각 단위의 선형 컬러 변환을 포함할 수도 있지만, 이들로 제한되지는 않는다. 영화 산업계에서, 하나의 컬러 색역 방법 또는 기술에서 다른 것으로의 컬러 색역 변환에 대해 3D 룩업 테이블(3D LUT)이 사용될 수도 있다. 추가적으로, CGS 코딩을 위한 3D LUT가 제공될 수도 있고/있거나 사용될 수도 있다. 도 5는 픽쳐 레벨 레이어간 예측(ILP)을 갖는 예시적인 CGS 코딩 스킴을 묘사한다. ILP는 베이스 레이어(BL) 컬러 색역으로부터 향상 레이어(EL) 컬러 색역으로의 컬러 색역 변환, BL 공간 해상도로부터 EL 공간 해상도로의 업샘플링, 및/또는 BL 샘플 비트 깊이로부터 EL 샘플 비트 깊이로의 역 색조 매핑(inverse tone mapping)을 포함한다.

도 6은 8비트 YUV 신호에 대한 예시적인 3D 룩업 테이블을 예시한다. 도 7은 3중선형 또는 사면체 보간에서의 예시적인 가중치 계산을 예시한다. 본원에서 설명되는 바와 같이, 컬러 색역 변환을 위해 컬러 변환 모델, 예컨대 3D LUT가 사용될 수도 있다. 예를 들면, (y, u, v)는 베이스 레이어의 컬러 색역에서 샘플 삼중선(sample triplet)으로서 표기될 수도 있고, (Y, U, V)는 EL 컬러 색역에서 삼중선으로 표기될 수도 있다. 3D LUT에서, BL 컬러 공간의 범위는, 예를 들면, 도 6에서 도시되는 바와 같이, 동일한 팔분공간(octant)으로 분할될 수도 있다.

3D LUT의 입력은 BL 컬러 색역에서 (y, u, v)일 수도 있고 3D LUT의 출력은 EL 컬러 색역에서 매핑된 삼중선 (Y, U, V)일 수도 있다. 예를 들면, 도 7을 참조하면, 입력은 팔분공간(700) 내에 존재하는 인덱스(y, u, v)일 수도 있다. 변환 프로세스 동안, 입력 (y, u, v)가 팔분공간의 정점 중 하나와 중첩하면, 출력 (Y, U, V)는, 3D LUT 엔트리 중 하나, 예를 들면, 자신의 각각의 정점에 중첩하는 성분 (y, u, v)를 직접적으로 참조하는 것에 의해 유도될 수도 있다. 입력 (y, u, v)(예를 들면, 또는 입력의 성분 중 임의의 하나), 예컨대 도 7의 입력 (y, u, v)가 (예를 들면, 팔분공간의 정점 중 하나 상에 놓이는 것이 아니라) 팔분공간 내부에 놓이면, 보간 프로세스가 적용될 수도 있다. 예를 들면, 동일한 것을 수행하기 위한 삼중선형 및/또는 사면체 보간 및 방법이 적용될 수도 있다. 삼중선형 보간은, 예를 들면, 도 7에서 도시되는 바와 같이, 그것의 가장 가까운 8개의 정점과 함께 적용될 수도 있다. 삼중선형 보간은 다음 식 중 하나 이상을 사용하여 실행될 수도 있다:

예를 들면, 식 (1) 내지 (3) 및 도 7을 참조하면, (y_i, u_j, v_k)는 BL 컬러 색역의 정점(즉, 3D LUT에 대한 입력)을 나타낼 수도 있다. LUT[y_i][u_j][v_k]는 EL 컬러 색역의 정점(즉, 엔트리 (y_i, u_j, v_k)에서의 3D LUT의 출력)을 나타낼 수도 있다. LUT[y_i][u_j][v_k].Y, LUT[y_i][u_j][v_k].U, LUT[y_i][u_j][v_k].V는, 각각, 정점 LUT[y_i][u_j][v_k]의 Y, U, 및 V 성분을 나타낼 수도 있다. i,j,k = {0, 1}, 및 s₀(y) = y₁-y, s₁(y) = y-y₀, s₀(u) = u₁-u, s₁(u) = u-u₀, s₀(v) = v₁-v, s₁(v) = v-v₀은, 예를 들면, 도 7에서 도시되는 바와 같이, 적용되는 가중치일 수도 있다.

도 8은 예시적인 사면체 보간을 예시한다. 도 9a, 도 9b, 도 9c, 도 9d, 도 9e 및 도 9f는 보간 포인트를 포괄하기 위한 사면체의 타입을 예시한다. 사면체 보간은, 계산을 위해 보간될 포인트 P(y, u, v)를 포함하는 사면체의 네 개의 정점을 사용할 수도 있다. 도 8에서 입력 포인트 P(즉, P(y, u, v))는, 그 정점이 P0, P1, P5, P7일 수도 있는 사면체 내부에 들어갈 수도 있다. 사면체 보간은 각각의 성분에 대해 식 (4), (5), (6)에서 계산될 수도 있다. 보간될 포인트 P를 포함할 수도 있는 사면체의 여섯 개의 가능한 선택권이 존재할 수도 있다. 도 9a 내지 도 9f는 여섯 개의 가능한 경우를 도시하거나 열거할 수도 있다. 한 예에서, 정점 P0 및 P7은 사면체에 포함될 수도 있다.

3D LUT는, 예를 들면, 하나의 컬러 공간에서의 원래의 신호 및 다른 컬러 공간에서의 대응하는 신호를 사용하여, 인코더에 의해 추정될 수도 있다. 예를 들면, 3D LUT 보간 기술 또는 프로세스가 선형적이면, 3D LUT를 추정하기 위해, 예를 들면, 최소 자승(Least Square; LS) 추정법이 사용될 수도 있다. 추정을 위해, 기울기 하강 기반의 반복 기술(gradient descent based iterative technique)이 사용될 수도 있다. 본원에서 설명되는 바와 같이, 3D LUT 추정은 LS 추정법으로 수행될 수도 있다.

LS를 사용한 3D LUT 추정에 대해 도전과제가 존재할 수도 있다. 예를 들면, 추정될 수도 있는 3D LUT 파라미터의 스케일은 클 수도 있다. 도 6에서, 샘플 비트 깊이는 8비트일 수도 있다. 단위 팔분공간 사이즈가 16×16×16이면, 3D LUT 테이블에 17×17×17 엔트리가 존재할 수도 있다. 3D LUT의 하나 이상의(예를 들면, 각각의) 엔트리는 세 개의 성분을 포함할 수도 있다. 각각의 성분의 4913(17×17×17)개의 미지의 파라미터가 존재할 수도 있다. 이러한 대규모 선형 시스템 추정은 많은 양의 메모리를 사용할 수도 있고 많은 수의 계산을 호출할 수도 있다.

3D LUT는 주어진 비디오 입력의 컬러 색역 변환을 위해 완전히 사용되지 않을 수도 있다. 예를 들면, 컬러 색역 스케일러빌러티의 핵심 실험에서 사용되는 하나 이상의 테스트 시퀀스의 통계적 분석에서, 3D LUT에서의 사용되는 엔트리의 비율은 20% 미만일 수도 있다. 이러한 실시형태에서, LS 추정법은 직접적으로 적용될 수 없을 수도 있는데, 측정되지 않을 수도 있는 하나 이상의 엔트리가 존재할 수도 있기 때문이다.

BL 픽셀의 분포는 3D 컬러 공간에서 균일하지 않을 수도 있다. 예를 들면, 이러한 BL 픽셀은 몇몇 컬러(예를 들면, 주 컬러(major color)) 근처에 집중될 수도 있고, 다른 컬러 근처에 성기게 분포될 수도 있다. 이 불균형 특성은, 본원에서 설명될 수도 있는 바와 같이, LS 추정의 안정성에 관련될 수도 있다.

도 10은 YUV 4:2:0 비디오의 루마 및 크로마 샘플 위치의 예를 예시한다. 입력 비디오의 루마 및 크로마의 위상은 정렬되지 않을 수도 있다. 하나 이상의(예를 들면, 각각의) 성분에 대해 3D LUT를 추정하고 적용하기 위해, 세 성분에 의해 형성되는 삼중선이 사용될 수도 있다. 삼중선은, 동일한 샘플링 위치에 있는 하나의 루마 성분 및 두 개의 크로마 성분(예를 들면, 동일한 샘플링 위치에 있는 루마 성분, 레드 차이 크로마 성분, 및 블루 차이 크로마 성분)을 가리킬 수도 있다. 루마 및 크로마 샘플 위치의 오정렬은 3D LUT 보간의 정확성에 영향을 끼칠 수도 있다.

이러한 도전과제 중 하나 이상을 해결하기 위해, 3D LUT 추정을 향상시키기 위한 시스템 및/또는 방법이 제공될 수도 있다. 예를 들면, BT.709에서 BT.2020로의 컬러 색역 변환이 본원에서 설명될 수도 있다. 예를 들면, 3D LUT 추정에서의 입력 신호는 BT.709 압축/압축해제 비디오일 수도 있고, 출력 신호는 BT.2020 비디오(예를 들면, 이것은 트레이닝 기준 또는 목표일 수도 있음)일 수도 있다. 식 (7)은 3D LUT를 갖는 컬러 색역 변환 프로세스를 설명하기 위해 사용될 수도 있다.

여기서 x는 BT.709에서의 삼중선 (y, u, v)의 형태의 입력 신호를 나타낼 수도 있다. z(c)는 성분 c의 출력 신호일 수도 있는데, 여기서 c는 BT.2020에서의 Y, U 또는 V일 수도 있다. P(c)는 추정될 성분 c의 파라미터일 수도 있다. P(c)는 성분 c의 3D LUT 출력일 수도 있다. f_P(c)는 보간 함수일 수도 있다. f_P(c)는 본원에서 설명되는 바와 같은 삼중선형 또는 사면체와 같은 선형 함수일 수도 있다. i는 입력 픽셀의 인덱스일 수도 있다. N은 입력 픽셀의 총 수일 수도 있다. 매트릭스의 형태로 다시 기록하면, 그것은 다음과 같을 수도 있다:

여기서 식 (8)에서 *는 매트릭스 곱셈일 수도 있다.

는 i번째 입력 픽셀에 대한 가중 벡터일 수도 있다. w_i,j는 i번째 입력 픽셀에 대한 3D LUT의 j번째 출력 엔트리의 가중치일 수도 있다. 한 예에서, w_i,j는 선형 보간의 경우 식 (1) 내지 (3)에 따라 그리고 사면체 보간의 경우 식 (4) 내지 (6)에 따라 계산될 수도 있다. 가중 벡터는 한 예에서 다음과 같을 수도 있다:

P(c)는, 3D LUT의 출력 엔트리일 수도 있는 추정될 파라미터 벡터일 수도 있고, 다음과 같을 수도 있다:

M은 3D LUT 출력 엔트리의 수일 수도 있다. 예를 들면, M은 17×17×17 사이즈의 3D LUT에 대해 4913일 수도 있다. 한 예에서, 성분 c는 다음의 식에서 생략될 수도 있는데, 하나 이상의(예를 들면, 각각의) 성분의 3D LUT가 독립적으로 추정될 수도 있기 때문이다. 하나 이상의(예를 들면, 모든) 픽셀에 대한 식 (8)을 집성하면, 다음의 것이 정의되거나 제공될 수도 있다:

최소 자승 추정에 의해, 해(solution)는 다음과 같을 수도 있다:

여기서 H는 자동 상관 매트릭스일 수도 있다.

3D LUT 추정이 본원에서 설명될 수도 있다. 예를 들면, BT.709와 같은 입력 비디오 신호의 경우, 3D LUT 엔트리(예를 들면, 3D LUT 엔트리의 20%)는 3D LUT를 갖는 컬러 변환에서 사용될 수도 있다. 이것은 식 (10)의 매트릭스(W)가 희소할(sparse) 수도 있고 그 엘리먼트 중 하나 이상은 제로일 수도 있다. 식 (12)에서 자동 보정 매트릭스 H가 정의될 수도 있다. 자동 보정 매트릭스 H는 희소할 수도 있다. 자동 보정 매트릭스 H는 역행렬이 없을 수도 있다. 식 (11)의 해는 자동 보정 매트릭스 H에 대해 이용가능하지 않을 수도 있다. 한 예에서, 매트릭스 W는 3D LUT의 참조된 엔트리를 고려하는 것에 의해 컴팩트하게 될 수도 있다. 매트릭스를 컴팩트하게 하기 위해, 입력 비디오의 입력 픽셀 (y, u, v)는 스캔될 수도 있다. 3D LUT 정점은, 예를 들면, 정점이 3D LUT 보간 프로세스에서 사용될 수도 있으면, 마스킹될 수도 있다. 컴팩트 파라미터 세트 P'는, 미사용 정점을 제거하는 것에 의해, 결정, 계산, 또는 생성될 수도 있다. P' 이후 P를 재구성하기 위해 사용될 수도 있는 P로의 P'으로부터의 매핑이, 예를 들면,

P' = compact(P)

로서 추정될 수도 있고/있거나 만들어질 수도 있다.

W' 및 H'는 컴팩트하게 된 P'을 사용하여 계산될 수도 있는데, 예를 들면, 이 경우 미사용 정점은 제거되었을 수도 있다. 해는 다음으로서 정의될 수도 있다:

3D LUT 추정은 매트릭스 W의 희소성(sparsity)을 감소시킬 수도 있다. 3D LUT 추정을 위한 자동 상관 매트릭스 H를 저장하기 위해 사용될 수도 있는 메모리는, 예를 들면, 컴팩트화(compaction) 이후에 감소될 수도 있는데, H'의 사이즈가 H보다 더 작을 수도 있기 때문이다.

본원에서 설명되는 바와 같이, 입력 비디오의 컬러 분포는 균일하지 않을 수도 있다. 예를 들면, 픽셀은 유사한 컬러를 가질 수도 있다. 높은 발생률을 갖는 컬러는 주요 컬러일 수도 있다. 이것은 W'에서 불균형 문제를 야기할 수도 있다. 예를 들면, W'의 엘리먼트는 큰 값을 가질 수도 있는 주요 컬러에 대응할 수도 있다. 자주(예를 들면, 상대적으로 자주 또는 드물게) 나타나지 않을 수도 있는 컬러에 대응할 수도 있는 W'에서의 다른 엘리먼트는 더 낮은 또는 더 작은 값을 가질 수도 있다. 결과는, 자동 상관 매트릭스 H'에서의 엘리먼트의 다이나믹 레인지가 커질 수도 있다는 것일 수도 있고, 이것은 H'의 역변환 프로세스(inversion process)가 불안정하게 되게 할 수도 있다. P'의 추정은 불안정하게 될 수도 있다. 이러한 문제점을 감소시키기 위해, 정확한 추정 결과와 추정 프로세스의 안정성 사이에 절충(trade-off)을 확립하기 위한 제약사항이 제공될 수도 있고/있거나 사용될 수도 있다. 예를 들면,

인데, 여기서, I는 단위 행렬이고, λ는 추정 정확도와 프로세스의 안정성 사이의 균형에 대한 인자일 수도 있다. 더 큰 λ는, 방법 또는 프로세스의 안정성에 더 많은 바이어스가 놓일 수도 있다는 것을 의미할 수도 있다. λ의 값은 W'에서의 불균형의 정도에 기초하여 결정될 수도 있다.

원래의 파라미터 벡터 P는, 예를 들면, 컴팩트 파라미터 벡터 P'이 추정될 수도 있은 이후, 추정된 정점을 P'으로부터 P로 매핑하는 것에 의해 획득될 수도 있다. 예를 들면,

P에서의 미사용 정점은, 예를 들면, 3D LUT 코딩에서 보간 프로세스(예를 들면, 삼중선형 보간 또는 사면체 보간)를 사용하여, P'에서의 대응하는 정점을 사용하여 채워질 수도 있다.

본원에서 설명되는 바와 같이, 도 10은 4:2:0 크로마 포맷에 대한 루마 성분과 크로마 성분 사이의 위상을 예시한다. 3D LUT 추정에서의 루마 및 크로마 위상 정렬이 본원에서 설명될 수도 있다. 예를 들면, 식 (1) 내지 (3)에서의 삼중선형 보간 또는 식 (4) 내지 식 (6)에서의 사면체 보간으로부터, 하나 이상의(예를 들면, 각각의) 출력 성분에 대한 3D LUT 보간은 입력 신호의 세 개의 입력 성분을 사용할 수도 있다.

도 10에서 도시되고 본원에서 설명되는 바와 같이, 한 예에서, 루마 성분 샘플링 위치 및 크로마 성분 샘플링 위치는 정렬되지 않을 수도 있다. 도 10은 4:2:0 크로마 포맷을 묘사할 수도 있다. 성분 변환이 도 10 및/또는 4:2:0 크로마 포맷에 관하여 설명될 수도 있지만, 본원에서 설명되는 예는 4:1:0 크로마 포맷, 4:2:2:0 크로마 포맷, 4:4:4 크로마 포맷, 등등에 대해 활용될 수도 있다. 도 10이 YCbCr 포맷을 참조로 설명되지만, 다른 컬러 포맷이 사용될 수도 있다.

도 10에서, 샘플 위치(L0-L15)는 루마 성분의 샘플링 위치를 나타낼 수도 있다. 도 10에서, L은 루마 성분을 나타낼 수도 있고 숫자(예를 들면, 0-15)는 샘플링 위치를 나타낼 수도 있다. 샘플링 위치(C0-C3)는 하나 이상의(예를 들면, 두 개의) 중첩하는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및 블루 차이 크로마 성분)의 샘플링 위치를 나타낼 수도 있다. 도 10에서, C는 하나 이상의(예를 들면 두 개의) 중첩하는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및 블루 차이 크로마 성분)을 나타낼 수도 있고 숫자(예를 들면, 0-3)는 샘플링 위치를 나타낼 수도 있다.

도 10은 x 축 및 y 축을 갖는 그리드일 수도 있는데, 여기서 x 축은 수평 축일 수도 있고 y 축은 수직 축일 수도 있다. 샘플링 위치(L0-L15)에서의 루마 성분은 x 좌표 및 y 좌표를 가질 수도 있다. 샘플링 위치(C0-C3)에 있는 하나 이상의(예를 들면, 두 개의) 중첩하는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및 블루 차이 크로마 성분)은 x 좌표 및 y 좌표를 구비할 수도 있다.

샘플링 위치의 오정렬은 3D LUT 추정의 정확도를 감소시킬 수도 있다. 예를 들면, 도 10에서 도시되는 바와 같이, 루마 성분 샘플링 위치인 L0-L15는 크로마 성분 샘플링 위치인 C0-C3과 중첩하지 않는다. 샘플링 위치의 오정렬은 4:2:0 또는 4:2:2와 같은 크로마 포맷에서 존재할 수도 있는데, 이 경우 크로마 성분은 양방향(예를 들면, 4:2:0, 여기서는 매 네 개의 루마 성분에 대해 하나의 레드 차이 크로마 성분 샘플과 하나의 블루 차이 크로마 성분 샘플이 존재함)에서 또는 수평 방향(예를 들면, 4:2:2)에서 서브샘플링된다. 크로마 서브샘플링 프로세스의 결과로서, 루마 및 크로마 위치의 샘플 위치는 오정렬될 수도 있다.

루마 성분 보간을 위해, 크로마 성분을 루마 성분 샘플 위치에 정렬하도록 하나 이상의 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)의 복수의 샘플링 위치가 사용될 수도 있다. 크로마 성분 보간을 위해, 루마 성분을, 크로마 성분 샘플링 위치에 정렬하도록 루마 성분의 하나 이상의 샘플링 위치가 사용될 수도 있다. 일단 정렬되면, 성분(예를 들면, 루마 또는 크로마)을 하나의 컬러 공간으로부터 다른 것으로 변환하기 위해, 컬러 성분 변환 모델, 예컨대 3D LUT가 사용될 수도 있다. 성분을 하나의 컬러 공간으로부터 다른 컬러 공간으로 변환하는 것은, 예를 들면, 제1 컬러 공간에서의 (예를 들면, 특정한 샘플링 위치에 있는) 성분을 사용하여, 제2 컬러 공간에서의 성분을 결정하는 것일 수도 있다.

비디오 코딩 디바이스는 스케일러블 비트스트림을 수신할 수도 있다. 스케일러블 비트스트림은 베이스 레이어 및 향상 레이어를 포함할 수도 있다. 베이스 레이어는 픽쳐를 포함할 수도 있고 베이스 레이어는 제1 컬러 공간과 관련될 수도 있다. 향상 레이어는 제2 컬러 공간과 관련될 수도 있다.

3D LUT 변환을 위한 입력은 하나의 컬러 공간(예를 들면, BT.709)에서의 성분(예를 들면, (y, u, v))을 시그널링할 수도 있고, 3D LUT 변환의 출력은 다른 컬러 공간(예를 들면, BT.2020)에서의 성분(예를 들면, (Y, U, V))일 수도 있다. 크로마 성분 변환을 위해, 루마 성분(y)은, 크로마 성분 샘플링 위치에 정렬하도록 y'로 조정될 수도 있다. 보간 필터는 식 (17)-(18)일 수도 있다. 크로마 성분의 3D LUT 변환을 위한 입력은 (y', u, v)일 수도 있고, 출력은 U 또는 V일 수도 있다. 보간 필터는 2탭 필터 [1,1], 4탭 필터, 및/또는 등등일 수도 있다.

비디오 코딩 디바이스가 제1 컬러 공간과 관련되는 픽쳐를 수신할 수도 있다. 픽쳐는 제1 샘플링 위치에 있는 제1 크로마 성분, 제1 샘플링 위치에 있는 제2 크로마 성분, 제2 샘플링 위치에 있는 루마 성분, 제3 샘플링 위치에 있는 루마 성분, 제4 샘플링 위치에 있는 루마 성분, 및 제5 샘플링 위치에 있는 루마 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 루마 성분을 결정하기 위해, 제1 보간 필터를, 제2 샘플링 위치에 있는 루마 성분, 제3 샘플링 위치에 있는 루마 성분, 제4 샘플링 위치에 있는 루마 성분, 및 제5 샘플링 위치에 있는 루마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 루마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 크로마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 크로마 성분에, 제1 샘플링 위치에 있는 제2 크로마 성분에, 그리고 제1 샘플링 위치에 있는 루마 성분에 적용할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 크로마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 제1 크로마 성분에, 제1 샘플링 위치에 있는 제2 크로마 성분에, 그리고 제1 샘플링 위치에 있는 루마 성분에 적용할 수도 있다. 제1 크로마 성분 및/또는 제2 크로마 성분은, 예를 들면, YCbCr 포맷이 사용되면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분일 수도 있다. 제1 크로마 성분 및/또는 제2 크로마 성분은, 예를 들면, YCgCo 포맷이 사용되면, 그린 차이 크로마 성분 및/또는 오렌지 차이 크로마 성분일 수도 있다. 본원의 설명은 다른 포맷으로 표현되는 컬러 공간에 적용될 수도 있다는 것을 유의해야 한다.

도 10에서 도시되는 바와 같이, 예를 들면, 하나 이상의 보간 필터(예를 들면, 식 (17)-(18)에서 나타내어진 것)는, 루마 성분을, 오정렬된 크로마 성분의 샘플링 위치에 정렬시키기 위해 사용될 수도 있다. 일단 정렬되면, 변환 모델, 예컨대 3D LUT는 크로마 성분을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하기 위해 사용될 수도 있다. 예를 들면, 크로마 성분이 샘플링 위치를 가지면, 크로마 성분의 3D LUT 변환을 위한 입력은 (y', u, v)일 수도 있는데, 여기서 y'은 조정된 루마 성분(예를 들면, 크로마 성분(u, v)의 샘플링 위치와 중첩하는 샘플링 위치에 있는 루마 성분)이다. 성분 (y', u, v)는 제1 컬러 공간과 관련될 수도 있다. 3D LUT의 출력은, 제2 컬러 공간에서의 크로마 성분 U 또는 V를 가리킬 수도 있는 U 또는 V일 수도 있다.

보간 필터(예를 들면, 식 (17)-(18)에서 도시된 것)는, 변환 모델이 사용될 수도 있도록, 루마 성분을, 크로마 성분의 샘플링 위치에 정렬시키기 위해 사용될 수도 있다. 예를 들면, 크로마 성분의 샘플링 위치(예를 들면, 샘플링 위치(C0))에 있는 루마 성분은, 예를 들면, 식 (17)-(18)을 참조로 설명된 바와 같이, 두 개 이상의 루마 샘플링 위치(예를 들면, 샘플링 위치(L0, L1, L4, 및/또는 L5))에서 루마 성분을 사용하여 보간 필터를 적용하는 것에 의해 결정될 수도 있다. 크로마 성분의 샘플링 위치는 두 개 이상의 크로마 성분, 예를 들면, 레드 차이 크로마 성분(C_r0) 및 대응하는 블루 차이 크로마 성분(C_b0)을 포함할 수도 있다. 샘플링 위치(C0)에 있는 루마 성분 및 샘플링 위치(C0)에 있는 크로마 성분은, 위치(C0)에 있는 크로마 성분을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하기 위해 사용될 수도 있다.

예를 들면, 본원에서 논의되는 바와 같이, 크로마 성분을 하나의 컬러 공간으로부터 다른 것으로 변환할 때, 크로마 성분 샘플링 위치에 있는 루마 성분의 값은 결정될 수도 있다. 크로마 성분의 샘플링 위치(예를 들면, 샘플링 위치(C0))에 있는 루마 성분의 값을 결정하기 위해, 비디오 코딩 디바이스는 4탭 보간 필터(four-tap interpolation filter) 또는 2탭 보간 필터를 사용할 수도 있다. 비디오 코딩 디바이스는, 도 10의 x-y 축 상의 크로마 성분의 샘플링 위치에 기초하여 어떤 보간 필터를 사용할지를 결정할 수도 있다. 예를 들면, 비디오 코딩 디바이스는 샘플링 위치에 있는 크로마 성분의 x 및 y 성분을 결정할 수도 있다. 그 다음, 비디오 코딩 디바이스는 크로마 성분 샘플링 위치의 x 좌표를 2로 제산할 수도 있고, 비디오 코딩 디바이스는 크로마 성분 샘플링 위치의 y 좌표를 2로 나눌 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 1이고, 2에 의한 y 좌표의 제산의 나머지가 1이면, 비디오 코딩 디바이스는 크로마 성분의 샘플링 위치에 있는 루마 성분을 결정하기 위해 식 (17) 또는 식 (18)에서 보간 필터를 활용할 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 제로이고, 2에 의한 y 좌표의 제산의 나머지가 1이면, 비디오 코딩 디바이스는 크로마 성분의 샘플링 위치에 있는 루마 성분을 결정하기 위해 식 (17) 또는 식 (18)에서 보간 필터를 활용할 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 1이고, 2에 의한 y 좌표의 제산의 나머지가 제로이면, 비디오 코딩 디바이스는 크로마 성분의 샘플링 위치에 있는 루마 성분을 결정하기 위해 식 (17) 또는 식 (18)에서 보간 필터를 활용할 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 제로이고, 2에 의한 y 좌표의 제산의 나머지가 제로이면, 비디오 코딩 디바이스는 크로마 성분의 샘플링 위치에 있는 루마 성분을 결정하기 위해 식 (17) 또는 식 (18)에서 보간 필터를 활용할 수도 있다. 비디오 코딩 디바이스는, 크로마 성분의 샘플링 위치에 있는 루마 성분을 결정하기 위해(예를 들면, 정렬하기 위해) 식 (17)-(18)을 상호교환적으로 사용할 수도 있다.

예를 들면, 샘플링 위치(C0)에 있는 루마 성분은, 예를 들면, 식 (17)에서 나타내어지는 바와 같이, 4탭 필터를 사용하여 결정될 수도 있다:

여기서 >>3은, ((L0+L4)*3+(L1+L5)+4)의 합이 2³에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>3은 3만큼의 우측 시프트를 사용하여 계산된다. ((L0+L4)*3+(L1+L5)+4)의 합이 정수가 아니면, 소수는 2³에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 17에서, 샘플링 위치(C0)에 있는 루마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(L0)에 있는 루마 성분이 상이한 샘플링 위치(L4)에 있는 루마 성분에 가산되어 합을 결정하게 되는 보간 필터를 적용할 수도 있다. 그 다음, 비디오 코딩 디바이스는 그 합을 3으로 승산할 수도 있고, 승산된 합을 샘플링 위치(L1)에 있는 루마 성분, 샘플링 위치(L5)에 있는 루마 성분 및 4에 가산하여, 최종 합을 결정할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 그 다음, 비디오 코딩 디바이스는 이 정수 합을 8로 제산하여 샘플링 위치(C0)에 있는 루마 성분을 결정할 수도 있다. 샘플링 위치(C1, C2, 및 C3)에 있는 루마 성분은 적절한 루마 성분을 가지고 식 (17)을 사용하여 결정될 수도 있다.

샘플링 위치(C0)에 있는 루마 성분은 2탭 필터를 사용하여 결정될 수도 있다. 사용될 수도 있는 2탭 필터의 예는 식 (18)에서 제공된다:

여기서 >>1은 (L0 + L4 + 1)의 합이 2¹에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>1은 1만큼의 우측 시프트를 사용하여 계산된다. (L0 + L4 + 1)의 합이 정수가 아니면, 소수는 2¹에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 18에서, 샘플링 위치(C0)에 대한 루마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(L0)에 있는 루마 성분이 상이한 샘플링 위치(L4)에 있는 루마 성분 및 1에 가산되어 합을 결정하는 2탭 필터를 적용할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 그 다음, 비디오 코딩 디바이스는 그 합의 정수 값을 2로 제산하여 샘플링 위치(C0)에 있는 루마 성분을 결정할 수도 있다. 샘플링 위치(C1, C2, 및 C3)에 있는 루마 성분은 적절한 루마 성분을 가지고 식 (18)을 사용하여 결정될 수도 있다.

비디오 코딩 디바이스는, 변환 모델, 예를 들면, 본원에서 설명되는 바와 같은 3D LUT를 사용하여, 제2 컬러 공간에서의 샘플링 위치(C0)에 있는 크로마 성분을, 제1 컬러 공간에서의 샘플링 위치(C0)에 있는 루마 성분 및 제1 컬러 공간에서의 샘플링 위치(C0)에 있는 크로마 성분 둘 다를 사용하여 변환(예를 들면, 결정)할 수도 있다. 언급된 바와 같이, 샘플링 위치(C0)에 있는 루마 성분은, 예를 들면, 식 (17) 또는 (18)에서 나타내어지는 바와 같이, 보간 필터를 사용하여 결정될 수도 있다.

비디오 코딩 디바이스가 제1 컬러 공간과 관련되는 픽쳐를 수신할 수도 있다. 픽쳐는, 제1 샘플링 위치에 있는 루마 성분, 제2 샘플링 위치에 있는 제1 크로마 성분, 제2 샘플링 위치에 있는 제2 크로마 성분, 제3 샘플링 위치에 있는 제1 크로마 성분, 제3 샘플링 위치에 있는 제2 크로마 성분, 제4 샘플링 위치에 있는 제1 크로마 성분, 제4 샘플링 위치에 있는 제2 크로마 성분, 제5 샘플링 위치에 있는 제1 크로마 성분, 및 제5 샘플링 위치에 있는 제2 크로마 성분을 포함할 수도 있다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제1 크로마 성분을 결정하기 위해, 보간 필터를, 제2 샘플링 위치에 있는 제1 크로마 성분, 제3 샘플링 위치에 있는 제1 크로마 성분, 제4 샘플링 위치에 있는 제1 크로마 성분, 및 제5 샘플링 위치에 있는 제1 크로마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 제1 크로마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 제2 크로마 성분을 결정하기 위해, 보간 필터를, 제2 샘플링 위치에 있는 제2 크로마 성분, 제3 샘플링 위치에 있는 제2 크로마 성분, 제4 샘플링 위치에 있는 제2 크로마 성분, 및 제5 샘플링 위치에 있는 제2 크로마 성분 중 둘 이상에 적용할 수도 있는데, 제1 샘플링 위치에 있는 제2 크로마 성분은 제1 컬러 공간과 관련된다. 비디오 코딩 디바이스는, 제1 샘플링 위치에 있는 루마 성분을 제2 컬러 공간으로 변환하기 위해, 컬러 변환 모델을, 제1 샘플링 위치에 있는 루마 성분, 제1 샘플링 위치에 있는 제1 크로마 성분, 및 제1 샘플링 위치에 있는 제2 크로마 성분에 적용할 수도 있다. 제1 크로마 성분 및/또는 제2 크로마 성분은 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분일 수도 있다.

도 10에서 도시되는 바와 같이, 예를 들면, 하나 이상의 보간 필터(예를 들면, 식 (19)-(22)에서 나타내어진 것)는, 하나 이상의 크로마 성분을, 오정렬된 크로마 성분의 샘플링 위치에 정렬시키기 위해 사용될 수도 있다. 일단 정렬되면, 변환 모델, 예컨대 3D LUT는 루마 성분을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하기 위해 사용될 수도 있다. 루마 성분에 대한 3D LUT 변환을 위한 입력은 (y, u', v')일 수도 있는데, 여기서 u' 및 v'는 조정된 크로마 성분(예를 들면, 루마 성분의 샘플링 위치와 중첩하는 샘플링 위치에 있는 크로마 성분)이다. 성분 (y, u', v')는 제1 컬러 공간과 관련될 수도 있다. 3D LUT의 출력은 Y인데, 이것은 제2 컬러 공간에서의 루마 성분을 가리킬 수도 있다.

보간 필터(예를 들면, 식 (19)-(22)에서 도시된 것)는, 변환 모델이 사용될 수도 있도록, 크로마 성분을, 루마 성분의 샘플링 위치에 정렬시키기 위해 사용될 수도 있다. 예를 들면, 루마 성분의 샘플링 위치(예를 들면, 샘플링 위치(L4, L5, L8, 및/또는 L9))에 있는 크로마 성분은, 두 개 이상의 샘플링 위치(예를 들면, 샘플링 위치(C0, C1, C2, 및 또는 C3)에 있는 크로마 성분을 사용하여 재샘플링 필터를 적용하는 것에 의해 결정될 수도 있다. 이와 같이, 성분의 재샘플링된 값(예를 들면, 상이한 재샘플링 위치에 있는 성분의 값)은 복수의 다른 샘플링 위치에 있는 성분을 사용하여 결정될 수도 있다. 예를 들면, 도 10의 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 루마 성분은 3D LUT를 사용하여 보간될 수도 있다. 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 루마 성분을 보간하기 위해, 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 크로마 성분(예를 들면, u, v)이 결정될 수도 있다. 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 크로마 성분은, 예를 들면, 본원에서 설명되는 바와 같이, 하나 이상의 재샘플링 필터(예를 들면, 식 (19)-(22))를 사용하여 유도될 수도 있다. 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 루마 성분 및 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 크로마 성분은, 샘플링 위치(L4, L5, L8, 및/또는 L9)에 있는 루마 성분을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하기 위해 사용될 수도 있다.

예를 들면, 본원에서 논의되는 바와 같이, 루마 성분을 하나의 컬러 공간으로부터 다른 것으로 변환할 때, 루마 성분 샘플링 위치에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)의 값이 결정될 수도 있다. 루마 성분의 샘플링 위치(예를 들면, 샘플링 위치(L0, L1, L4, L5))에 있는 크로마 성분의 값을 결정하기 위해, 비디오 코딩 디바이스는 4탭 보간 필터 또는 2탭 보간 필터를 사용할 수도 있다. 비디오 코딩 디바이스는, 도 10의 x-y 축 상의 루마 성분의 샘플링 위치에 기초하여 어떤 보간 필터를 사용할지를 결정할 수도 있다. 예를 들면, 비디오 코딩 디바이스는 샘플링 위치에 있는 크로마 성분의 x 및 y 성분을 결정할 수도 있다. 그 다음, 비디오 코딩 디바이스는 루마 성분 샘플링 위치의 x 좌표를 2로 제산할 수도 있고, 비디오 코딩 디바이스는 루마 성분 샘플링 위치의 y 좌표를 2로 제산할 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 제로이고, 2에 의한 y 좌표의 제산의 나머지가 1이면, 비디오 코딩 디바이스는 루마 성분의 샘플링 위치에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 식 (19)에서 보간 필터를 활용할 수도 있다. 도 10에서 도시되는 바와 같이, 식 (19)는 루마 성분 샘플링 위치(L4, L6, L12 및 L14)에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 활용될 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 1이고, 2에 의한 y 좌표의 제산의 나머지가 1이면, 비디오 코딩 디바이스는 루마 성분의 샘플링 위치에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 식 (20)에서 보간 필터를 활용할 수도 있다. 도 10에서 도시되는 바와 같이, 식 (20)은 루마 성분 샘플링 위치(L5, L7, L13 및 L15)에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 활용될 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 제로이고, 2에 의한 y 좌표의 제산의 나머지가 제로이면, 비디오 코딩 디바이스는 루마 성분의 샘플링 위치에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 식 (21)에서 보간 필터를 활용할 수도 있다. 도 10에서 도시되는 바와 같이, 식 (21)은 루마 성분 샘플링 위치(L0, L2, L8 및 L10)에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 활용될 수도 있다. 2에 의한 x 좌표의 제산의 나머지가 1이고, 2에 의한 y 좌표의 제산의 나머지가 제로이면, 비디오 코딩 디바이스는 루마 성분의 샘플링 위치에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 식 (22)에서 보간 필터를 활용할 수도 있다. 도 10에서 도시되는 바와 같이, 식 (22)는 루마 성분 샘플링 위치(L1, L3, L9 및 L11)에 있는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분)을 결정하기 위해 활용될 수도 있다.

샘플링 위치(L4)에 있는 크로마 성분은 식 (19)를 사용하여 유도될 수도 있다:

여기서 >>2는 (C0*3 + C2 + 2)의 합이 2²에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>2는 2만큼의 우측 시프트를 사용하여 계산된다. (C0*3 + C2 + 2)의 합이 정수가 아니면, 소수는 2²에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 (19)에서, 샘플링 위치(L4)에 있는 크로마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(C0)에 있는 크로마 성분(예를 들면, C_r0 또는 C_b0)이 3에 의해 승산되고, 그 다음 그 합이 상이한 크로마 샘플링 위치(C2)에 있는 크로마 성분(예를 들면, C_r2 또는 C_b2)에 가산되고, 그 합이 2에 가산되어 최종 합을 결정하게 되는 보간 필터를 적용할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 보간 필터는 정수 합을 4로 제산하여 샘플링 위치(L4)에 있는 크로마 성분을 결정할 수도 있다. 샘플링 위치(L4)에 있는 복수의 크로마 성분(예를 들면, Cr 및 Cb, u 및 v, 등등)의 값은 보간 필터(예를 들면, 식 (19))를 사용하여 결정될 수도 있다. 다른 샘플링 위치(예를 들면, 샘플링 위치(L6, L14, L112))에 있는 크로마 성분은, 적절한 샘플링 위치에 있는 크로마 성분을 사용하여 식 (19)를 사용하여 결정될 수도 있다.

샘플링 위치(L8)에 있는 크로마 성분은 식 (20)을 사용하여 유도될 수도 있다: 샘플링 위치(L8)에 있는 크로마 성분은 샘플링 위치(L4)에 대한 유도된 크로마 성분과 유사할 수도 있다. 식 (20)이 본원에서 제공된다:

여기서 >>2는 (C0 + C2*3 + 2)의 합이 2²에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>2는 2만큼의 우측 시프트를 사용하여 계산된다. (C0 + C2*3 + 2)의 합이 정수가 아니면, 소수는 2²에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 (20)에서, 샘플링 위치(L8)에 있는 크로마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(C2)에 있는 크로마 성분(예를 들면, C_r2 또는 C_b2)이 3에 의해 승산되고, 그 다음 그 합이 상이한 크로마 샘플링 위치(C0)에 있는 크로마 성분(예를 들면, C_r0 또는 C_b0)에 가산되고, 그 합이 2에 가산되어 최종 합을 결정하게 되는 보간 필터를 적용할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 보간 필터는 정수 합을 4로 제산하여 샘플링 위치(L8)에 있는 크로마 성분을 결정할 수도 있다. 샘플링 위치(L8, L2, L10)에 대한 크로마 성분은, 크로마 성분의 적절한 샘플링 위치를 가지고 식 (20)을 사용하여 결정될 수도 있다. 샘플링 위치(L8)에 있는 복수의 크로마 성분(예를 들면, Cr 및 Cb, u 및 v, 등등)의 값은 보간 필터(예를 들면, 식 (20))를 사용하여 결정될 수도 있다.

샘플링 위치(L5)에 있는 크로마 성분은 식 (21)을 사용하여, 예를 들면, 다음과 같이 결정될 수도 있다:

여기서 >>3은 ((C0+C1)*3 + (C2+C3) + 4)의 합이 2³에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>3은 3만큼의 우측 시프트를 사용하여 계산된다. ((C0+C1)*3 + (C2+C3) + 4)의 합이 정수가 아니면, 소수는 2³에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 (21)에서, 샘플링 위치(L5)에 있는 크로마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(C0)에 있는 크로마 성분(예를 들면, C_r0 또는 C_b0)이 상이한 샘플링 위치(C1)에 있는 크로마 성분(예를 들면, C_r1 및 C_b1)에 가산되는 보간 필터를 적용할 수도 있다. 그 다음, 비디오 코딩 디바이스는 샘플링 위치(C1) 및 샘플링 위치(C0)의 합을 3으로 승산하고, 승산된 합을 샘플링 위치(C2)에 있는 크로마 성분(예를 들면, C_r2 및 C_b2), 샘플링 위치(C3)에 있는 크로마 성분(예를 들면, C_r3 및 C_b3) 및 4에 가산하여 최종 합을 결정할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 그 다음, 비디오 코딩 디바이스는 이 정수 값을 8로 제산하여 샘플링 위치(L5)에 있는 크로마 성분을 결정할 수도 있다. 샘플링 위치(L7, L13, L15)에 대한 크로마 성분은, 크로마 성분의 적절한 샘플링 위치를 가지고 식 (21)을 사용하여 결정될 수도 있다. 샘플링 위치(L5)에 있는 복수의 크로마 성분(예를 들면, Cr 및 Cb, u 및 v, 등등)의 값은 보간 필터(예를 들면, 식 (21))를 사용하여 결정될 수도 있다.

샘플링 위치(L9)에 있는 루마 성분에 대한 유도된 크로마 성분은, 샘플링 위치(L5)에 있는 루마 성분에 대한 유도된 크로마 성분과 유사할 수도 있다. 샘플링 위치(L9)에 있는 크로마 성분은 식 (22)를 사용하여, 예를 들면, 다음과 같이 결정될 수도 있다:

여기서 >>3은 ((C0+C1) + (C2+C5)*3 + 4)의 합이 2³에 의해 제산된다는 것을 의미할 수도 있고 및/또는 >>3은 3만큼의 우측 시프트를 사용하여 계산된다. ((C0+C1) + (C2+C5)*3 + 4)의 합이 정수가 아니면, 소수는 2³에 의해 합을 제산하기 이전에 버려질 수도 있다. 식 (22)에서, 샘플링 위치(L9)에 있는 크로마 성분을 결정하기 위해, 비디오 코딩 디바이스는, 샘플링 위치(C0)에 있는 크로마 성분(C0)(예를 들면, C_r0 또는 C_b0)이 샘플링 위치(C1)에 있는 크로마 성분(C1)(예를 들면, C_r1 및 C_b1)에 가산되는 보간 필터를 적용할 수도 있다. 그 다음, 비디오 코딩 디바이스는 샘플링 위치(C2)에 있는 크로마 성분(예를 들면, C_r2 또는 C_b2)을 상이한 샘플링 위치(C5)에 있는 크로마 성분(예를 들면, C_r5 또는 C_b5)에 가산할 수도 있다. 그 다음, 비디오 코딩 디바이스는 샘플링 위치(C2)에 있는 크로마 성분과 샘플링 위치(C5)에 있는 크로마 성분의 합을 3으로 승산할 수도 있고, 승산된 합은 샘플링 위치(C0)에 있는 크로마 성분 및 샘플링 위치(C1)에 있는 크로마 성분의 합 및 4에 가산하여 최종 합을 결정할 수도 있다. 최종 합의 정수 합이 결정될 수도 있다. 그 다음, 비디오 코딩 디바이스는 이 정수 값을 8로 제산하여 샘플링 위치(L9)에 있는 크로마 성분을 결정할 수도 있다. 샘플링 위치(L11, L1, L3)에 대한 크로마 성분은 적절한 크로마 성분 샘플링 위치를 가지고 식 (22)를 사용하여 결정될 수도 있다.

샘플링 위치(L4 및 L8)에 있는 루마 성분에 대한 보간 필터는, 각각, 2탭 필터, 예를 들면, 2탭 필터 [1, 3] 및 [3, 1]일 수도 있다. 예를 들면, 샘플링 위치(L4 및 L8)에 있는 루마 성분에 대한 보간 필터는, 각각, 식 (19) 및 식 (20)을 참조로 설명된 보간 필터일 수도 있다. 샘플링 위치(L5 및 L9)에 있는 루마 성분에 대한 보간 필터는, 각각, 4탭 필터, 예를 들면, 4탭 필터 [3, 3, 1, 1] 및 [1, 1, 3, 3]일 수도 있다. 예를 들면, 샘플링 위치(L5 및 L9)에 있는 루마 성분에 대한 보간 필터는, 각각, 식 (21) 및 식 (22)를 참조로 설명된 보간 필터일 수도 있다.

비디오 코딩 디바이스는 제1 샘플링 위치에 있는 크로마 성분에 제1 보간 필터를 적용하도록 그리고 제2 샘플링 위치에 있는 크로마 성분에 제2 보간을 적용하도록, 등등을 하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는, 식 (17)-(18) 중 하나 이상을, 하나 이상의 샘플링 위치에 있는 두 개의 중첩하는 크로마 성분(예를 들면, 레드 차이 크로마 성분 및/또는 블루 차이 크로마 성분) 중 하나 이상에 적용하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는 제1 샘플링 위치에 있는 크로마 성분에 식 (17)을 적용하고 그 다음 제2 샘플링 위치에 있는 크로마 성분에 식 (18)을 적용하고, 그 다음 제3 샘플링 위치에 있는 크로마 성분에 식 (17)을 적용하고, 등등을 할 수도 있다. 마찬가지로, 비디오 코딩 디바이스는 제1 샘플링 위치에 있는 루마 성분에 제1 보간 필터를 적용하도록 그리고 제2 샘플링 위치에 있는 루마 성분에 제2 보간을 적용하도록, 등등을 하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는 식 (19)-(22) 중 하나 이상을, 하나 이상의 샘플링 위치에 있는 루마 성분에 적용하도록 구성될 수도 있다. 예를 들면, 비디오 코딩 디바이스는 제1 샘플링 위치에 있는 루마 성분에 식 (19)를, 제2 샘플링 위치에 있는 루마 성분에 식 (20)을, 제3 샘플링 위치에 있는 루마 성분에 식 (21)을, 제4 샘플링 위치에 있는 루마 성분에 식 (22)를 적용할 수도 있고, 등등을 할 수도 있다.

도 11a는, 하나 이상의 개시된 실시형태가 구현될 수도 있고/있거나 사용될 수도 있는 예시적인 통신 시스템(1100)의 도면을 묘사한다. 통신 시스템(1100)은 보이스, 데이터, 비디오, 메시징, 브로드캐스트 등등과 같은 컨텐츠를 다수의 무선 유저에게 제공하는 다중 액세스 시스템일 수도 있다. 통신 시스템(1100)은, 무선 대역폭을 포함한 시스템 리소스의 공유를 통해 다수의 무선 유저가 이러한 컨텐츠에 액세스하는 것을 가능하게 할 수도 있다. 예를 들면, 통신 시스템(1100)은, 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 싱글 캐리어 FDMA(single-carrier FDMA; SC-FDMA) 등등과 같은 하나 이상의 채널 액세스 방법을 활용할 수도 있다.

도 11a에서 도시되는 바와 같이, 통신 시스템(1100)은 무선 송수신 유닛(WTRU)(1102a, 1102b, 1102c 및/또는 1102d)(일반적으로 또는 일괄적으로 WTRU(1102)로 칭해질 수도 있음), 무선 액세스 네트워크(radio access network; RAN)(1103/1104/1105), 코어 네트워크(1106/1107/1109), 공중 교환 전화망(public switched telephone network; PSTN)(1108), 인터넷(1110), 및 기타 네트워크(1112)를 포함할 수도 있지만, 개시된 실시형태는 임의의 수의 WTRU, 기지국(base station), 네트워크, 및/또는 네트워크 엘리먼트를 고려한다는 것을 알 수 있을 것이다. WTRU(1102a, 1102b, 1102c, 및/또는 1102d)의 각각은 무선 환경에서 동작 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(1102a, 1102b, 1102c, 및/또는 1102d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있고 유저 기기(user equipment; UE), 이동국(mobile station), 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화, 개인 휴대형 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩탑, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전기기(consumer electronics) 등등을 포함할 수도 있다.

통신 시스템(1100)은 기지국(1114a) 및 기지국(1114b)을 또한 포함할 수도 있다. 기지국(1114a, 1114b)의 각각은, 코어 네트워크(1106/1107/1109), 인터넷(1110), 및/또는 네트워크(1112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(1102a, 1102b, 1102c, 및/또는 1102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(1114a, 1114b)은 기지국 트랜스시버(base transceiver station; BTS), 노드 B, eNode B, 홈 노드 B, 홈 eNode B, 사이트(site) 컨트롤러, 액세스 포인트(access point; AP), 무선 라우터 등등일 수도 있다. 기지국(1114a, 1114b) 각각이 단일의 엘리먼트로서 묘사되지만, 기지국(1114a, 1114b)은 임의의 수의 인터커넥트된(interconnected) 기지국 및/또는 네트워크 엘리먼트를 포함할 수도 있다는 것을 알 수 있을 것이다.

기지국(1114a)은, 기지국 컨트롤러(base station controller; BSC), 무선 네트워크 컨트롤러(radio network controller; RNC), 중계 노드 등등과 같은 다른 기지국 및/또는 네트워크 엘리먼트(도시되지 않음)를 또한 포함할 수도 있는 RAN(1103/1104/1105)의 일부일 수도 있다. 기지국(1114a) 및/또는 기지국(1114b)은, 셀(도시되지 않음)로서 칭해질 수도 있는 특정 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있다. 셀은 셀 섹터로 더 분할될 수도 있다. 예를 들면, 기지국(1114a)과 관련되는 셀은 3개의 섹터로 분할될 수도 있다. 따라서, 일 실시형태에서, 기지국(1114a)은 3개의 트랜스시버, 즉, 셀의 각각의 섹터에 대해 하나의 트랜스시버를 포함할 수도 있다. 다른 실시형태에서, 기지국(1114a)은 다중입력 다중출력(multiple-input multiple-output; MIMO) 기술을 활용할 수도 있고, 따라서, 셀의 각각의 섹터에 대해 다수의 트랜스시버를 활용할 수도 있다.

기지국(1114a 및/또는 1114b)은, 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광 등등)일 수도 있는 무선 인터페이스(air interface; 1115/1116/1117)를 통해 WTRU(1102a, 1102b, 1102c, 및/또는 1102d) 중 하나 이상과 통신할 수도 있다. 무선 인터페이스(1115/1116/1117)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 사용하여 확립될 수도 있다.

더 구체적으로는, 위에서 언급된 바와 같이, 통신 시스템(1100)은 다중 액세스 시스템일 수도 있고 CDMA, TDAM, FDAM, OFDMA, SC-FDMA 등등과 같은 하나 이상의 채널 액세스 방식을 활용할 수도 있다. 예를 들면, RAN(1103/1104/1105) 내의 기지국(1114a) 및 WTRU(1102a, 1102b, 및/또는 1102c)는, 광대역 CDMA(wideband CDMA; WCDMA)를 사용하여 무선 인터페이스(1115/1116/1117)를 확립할 수도 있는, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access)(UTRA)와 같은 무선 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.

다른 실시형태에서, 기지국(1114a) 및 WTRU(1102a, 1102b, 및/또는 1102c)는, 롱 텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 사용하여 무선 인터페이스(1115/1116/1117)를 확립할 수도 있는 진화된 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 무선 기술을 구현할 수도 있다.

다른 실시형태에서, 기지국(1114a) 및 WTRU(1102a, 1102b, 및/또는 1102c)는, IEEE 802.16(즉, 와이맥스(Worldwide Interoperability for Microwave Access; WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등등과 같은 무선 기술을 구현할 수도 있다.

도 11a의 기지국(1114b)은, 예를 들면, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 사업장, 가정, 차량, 캠퍼스 등등과 같은 국소화된 영역에서 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 활용할 수도 있다. 일 실시형태에서, 기지국(1114b) 및 WTRU(1102c, 1102d)는 무선 근거리 통신망(wireless local area network; WLAN)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수도 있다. 다른 실시형태에서, 기지국(1114b) 및 WTRU(1102c, 1102d)는 무선 사설 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(114b) 및 WTRU(102c, 1102d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등등)를 활용할 수도 있다. 도 11a에서 도시되는 바와 같이, 기지국(1114b)은 인터넷(1110)에 대한 직접 연결을 구비할 수도 있다. 따라서, 기지국(1114b)은 코어 네트워크(1106/1107/1109)를 통해 인터넷(1110)에 액세스할 필요가 없을 수도 있다.

RAN(1103/1104/1105)은, WTRU(1102a, 1102b, 1102c, 및/또는 1102d) 중 하나 이상으로 보이스, 데이터, 애플리케이션, 및/또는 인터넷 전화 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성되는 임의의 타입의 네트워크일 수도 있는 코어 네트워크(1106/1107/1109)와 통신할 수도 있다. 예를 들면, 코어 네트워크(1106/1107/1109)는 호 제어(call control), 과금 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 연결성, 비디오 분배 등등을 제공할 수도 있고 및/또는 유저 인증과 같은 하이 레벨의 보안 기능을 수행할 수도 있다. 도 11a에서 도시되지는 않지만, RAN(1103/1104/1105) 및/또는 코어 네트워크(1106/1107/1109)는, RAN(1103/1104/1105)과 동일한 RAT 또는 상이한 RAT를 활용하는 다른 RAN과 직접 또는 간접 통신할 수도 있다는 것을 알 수 있을 것이다. 예를 들면, E-UTRA 무선 기술을 활용할 수도 있는 RAN(1103/1104/1105)에 연결되는 것 외에, 코어 네트워크(1106/1107/1109)는 GSM 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 또한 통신할 수도 있다.

코어 네트워크(1106/1107/1109)는 WTRU(1102a, 1102b, 1102c, 및/또는 1102d)가 PSTN(1108), 인터넷(1110), 및/또는 기타 네트워크(112)에 액세스하는 데 게이트웨이로서 또한 기능할 수도 있다. PSTN(1108)은, 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환 전화 네트워크를 포함할 수도 있다. 인터넷(1110)은, TCP/IP(transmission control protocol/internet protocol; 전송 제어 프로토콜/인터넷 프로토콜) 일군(suite)에서의 TCP, 유저 데이터그램 프로토콜(user datagram protocol; UDP) 및 IP와 같은 일반적인 통신 프로토콜을 사용하는 인터커넥트된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(1112)는 다른 서비스 공급자에 의해 소유되고/되거나 운영되는 유선 또는 무선 통신 네트워크를 포함할 수도 있다. 예를 들면, 네트워크(1112)는, RAN(1103/1104/1105)과 동일한 RAT 또는 상이한 RAT를 활용할 수도 있는, 하나 이상의 RAN에 연결되는 다른 코어 네트워크를 포함할 수도 있다.

통신 시스템(1100)에서의 WTRU(1102a, 1102b, 1102c, 및/또는 1102d) 중 몇몇 또는 전체는 다중 모드 성능을 포함할 수도 있다, 즉, WTRU(1102a, 1102b, 1102c, 및/또는 1102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 트랜스시버를 포함할 수도 있다. 예를 들면, 도 11a에서 도시되는 WTRU(1102c)는, 셀룰러 기반 무선 기술을 활용할 수도 있는 기지국(1114a)과, 그리고 IEEE 802 무선 기술을 활용할 수도 있는 기지국(1114b)과 통신하도록 구성될 수도 있다.

도 11b는 예시적인 WTRU(1102)의 시스템 도면이다. 도 11b에서 도시되는 바와 같이, WTRU(1102)는 프로세서(1118), 트랜스시버(1120), 송신/수신 엘리먼트(1122), 스피커/마이크(1124), 키패드(1126), 디스플레이/터치패드(1128), 비착탈식 메모리(1130), 착탈식 메모리(1132), 전원(1134), 글로벌 포지셔닝 시스템(global positioning system; GPS) 칩셋(1136), 및 기타 주변장치(1138)를 포함할 수도 있다. WTRU(1102)는 한 실시형태와 여전히 부합하면서 상기 엘리먼트의 임의의 부조합을 포함할 수도 있다는 것을 알 수 있을 것이다. 또한, 실시형태는, 기지국(1114a 및 1114b), 및/또는, 다른 것들 중에서도, 기지국 트랜스시버(BTS), 노드 B, 사이트 컨트롤러, 액세스 포인트(AP), 홈 노드 B, 진화형 홈 노드 B(eNodeB), 홈 진화형 노드 B(home evolved node-B; HeNB), 홈 진화형 노드 B 게이트웨이, 프록시 노드와 같은 그러나 이들에 한정되지 않는 기지국(1114a 및 1114b)이 나타낼 수도 있는 노드가 도 11b에서 묘사되고 본원에서 설명되는 엘리먼트 중 일부 또는 전체를 포함할 수도 있다는 것을 고려한다.

프로세서(1118)는 범용 프로세서, 특수 목적의 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서, DSP 코어와 관련하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 주문형 반도체(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신 등등일 수도 있다. 프로세서(1118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입/출력 프로세싱, 및/또는 WTRU(1102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성(functionality)을 수행할 수도 있다. 프로세서(1118)는, 송신/수신 엘리먼트(1122)에 커플링될 수도 있는 트랜스시버(1120)에 커플링될 수도 있다. 도 11b가 프로세서(1118)와 트랜스시버(1120)를 별개의 컴포넌트로서 묘사하지만, 프로세서(1118)와 트랜스시버(1120)는 전자적 패키지 또는 칩에 함께 집적될 수도 있다는 것을 알 수 있을 것이다.

송신/수신 엘리먼트(1122)는 무선 인터페이스(1115/1116/1117)를 통해 기지국(예를 들면, 기지국(1114a))으로 신호를 송신하거나, 또는 그 기지국으로부터 신호를 수신하도록 구성될 수도 있다. 예를 들면, 하나의 실시형태에서, 송신/수신 엘리먼트(1122)는 RF 신호를 송신 및/또는 수신하도록 구성되는 안테나일 수도 있다. 다른 실시형태에서, 송신/수신 엘리먼트(1122)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성되는 방출기(emitter)/검출기일 수도 있다. 또 다른 실시형태에서, 송신/수신 엘리먼트(1122)는 RF 및 광 신호 둘 다를 송신 및 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(1122)는 무선 신호의 임의의 조합을 송신 및/또는 수신하도록 구성될 수도 있다는 것을 알 수 있을 것이다.

또한, 송신/수신 엘리먼트(1122)가 도 11b에서 단일의 엘리먼트로서 묘사되지만, WTRU(1102)는 임의의 수의 송신/수신 엘리먼트(1122)를 포함할 수도 있다. 더 구체적으로는, WTRU(1102)는 MIMO 기술을 활용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(1102)는, 무선 인터페이스(1115/1116/1117)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송신/수신 엘리먼트(1122)(예를 들면, 다수의 안테나)를 포함할 수도 있다.

트랜스시버(1120)는, 송신/수신 엘리먼트(1122)에 의해 송신될 신호를 변조하도록 그리고 송신/수신 엘리먼트(1122)에 의해 수신되는 신호를 복조하도록 구성될 수도 있다. 위에서 언급된 바와 같이, WTRU(1102)는 다중 모드 성능을 가질 수도 있다. 따라서, 트랜스시버(1120)는, WTRU(1102)가, 예를 들면, UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 트랜스시버를 포함할 수도 있다.

WTRU(1102)의 프로세서(1118)는, 스피커/마이크(1124), 키패드(1126), 및/또는 디스플레이/터치패드(1128)(예를 들면, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light- emitting diode; OLED) 디스플레이 유닛)에 커플링될 수도 있고, 그리고 이들로부터 유저 입력 데이터를 수신할 수도 있다. 프로세서(1118)는 유저 데이터를 스피커/마이크(1124), 키패드(1126), 및/또는 디스플레이/터치패드(1128)로 또한 출력할 수도 있다. 또한, 프로세서(1118)는, 비착탈식 메모리(1130) 및/또는 착탈식 메모리(1132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스할 수도 있고, 그리고 그 임의의 타입의 적절한 메모리에 데이터를 저장할 수도 있다. 비착탈식 메모리(1130)는 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 하드디스크, 또는 임의의 다른 타입의 메모리 스토리지 디바이스를 포함할 수도 있다. 착탈식 메모리(1132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 시큐어 디지털(secure digital; SD) 메모리 카드 등등을 포함할 수도 있다. 다른 실시형태에서, 프로세서(1118)는, 서버 또는 가정용 컴퓨터(도시되지 않음) 상에서와 같은 WTRU(1102) 상에 물리적으로 위치되지 않는 메모리로부터의 정보에 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다.

프로세서(1118)는 전원(1134)으로부터 전력을 수신할 수도 있고, WTRU(1102)의 다른 컴포넌트로 전력을 분배하도록 및/또는 그 전력을 제어하도록 구성될 수도 있다. 전원(1134)은 WTRU(1102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(1134)은 하나 이상의 드라이 셀 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소(NiMH), 리튬 이온(Li ion) 등등), 솔라 셀, 연료 전지 등등을 포함할 수도 있다.

프로세서(1118)는, WTRU(1102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(1136)에 또한 커플링될 수도 있다. 또한, GPS 칩셋(1136)으로부터의 정보 외에, 또는 그 정보 대신, WTRU(1102)는 무선 인터페이스(1115/1116/1117)를 통해 기지국(예를 들면, 기지국(1114a, 1114b))으로부터 위치 정보를 수신할 수도 있고/있거나 두 개 이상의 가까운 기지국으로부터 수신되고 있는 신호의 타이밍에 기초하여 자신의 위치를 결정할 수도 있다. WTRU(1102)는 한 실시형태와 여전히 부합하면서 임의의 적절한 위치 결정 방법을 통해 위치 정보를 획득할 수도 있다는 것을 알 수 있을 것이다.

프로세서(1118)는, 추가적인 피쳐, 기능성, 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 기타 주변장치(1138)에 추가로 커플링될 수도 있다. 예를 들면, 주변장치(1138)는 가속도계, 전자 콤파스, 위성 트랜스시버, (사진 및 비디오용의) 디지털 카메라, 범용 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜스시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(frequency modulated; FM) 라디오 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등등을 포함할 수도 있다.

도 11c는 한 실시형태에 따른 RAN(1103)과 코어 네트워크(1106)의 시스템 도면을 묘사한다. 위에서 언급되는 바와 같이, RAN(1103)은 무선 인터페이스(1115)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위해 UTRA 무선 기술을 활용할 수도 있다. RAN(1103)은 코어 네트워크(1106)와 또한 통신할 수도 있다. 도 11c에서 도시되는 바와 같이, RAN(1103)은, 무선 인터페이스(1115)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위한 하나 이상의 트랜스시버를 각각 포함할 수도 있는 노드 B(1140a, 1140b, 및/또는 1140c)를 포함할 수도 있다. 노드 B(1140a, 1140b, 및/또는 1140c) 각각은 RAN(1103) 내의 특정 셀(도시되지 않음)과 관련될 수도 있다. RAN(1103)은 또한 RNC(1142a 및/또는 1142b)를 포함할 수도 있다. RAN(1103)은, 한 실시형태와 여전히 부합하면서, 임의의 수의 노드 B 및 RNC를 포함할 수도 있다는 것을 알 수 있을 것이다.

도 11c에서 도시되는 바와 같이, 노드 B(1140a 및/또는 1140b)는 RNC(1142a)와 통신할 수도 있다. 추가적으로, 노드 B(1140c)는 RNC(1142b)와 통신할 수도 있다. 노드 B(1140a, 1140b, 및/또는 1140c)는 Iub 인터페이스를 통해 각각의 RNC(1142a, 1142b)와 통신할 수도 있다. RNC(1142a, 1142b)는 Iur 인터페이스를 통해 서로 통신할 수도 있다. RNC(1142a, 1142b)의 각각은, 자신이 연결되는 각각의 노드 B(1140a, 1140b, 및/또는 1140c)를 제어하도록 구성될 수도 있다. 또한, RNC(1142a, 1142b)의 각각은 다른 기능성, 예컨대 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등등을 수행하거나 지원하도록 구성될 수도 있다.

도 11c에서 도시되는 코어 네트워크(1106)는 미디어 게이트웨이(media gateway; MGW)(1144), 모바일 스위칭 센터(mobile switching center; MSC)(1146), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(1148), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(1150)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(1106)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고/되거나 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

RAN(1103)에서의 RNC(1142a)는 IuCS 인터페이스를 통해 코어 네트워크(1106)의 MSC(1146)에 연결될 수도 있다. MSC(1146)는 MGW(1144)에 연결될 수도 있다. MSC(1146) 및 MGW(1144)는, WTRU(1102a, 1102b, 및/또는 1102c)와 전통적인 지상 회선(land-line) 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(1108)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다.

RAN(1103)에서의 RNC(1142a)는 IuPS 인터페이스를 통해 코어 네트워크(1106)의 SGSN(1148)에 또한 연결될 수도 있다. SGSN(1148)은 GGSN(1150)에 연결될 수도 있다. SGSN(1148) 및 GGSN(1150)은, WTRU(1102a, 1102b, 및/또는 1102c)와 IP 대응 디바이스(IP-enabled device) 사이의 통신을 용이하게 하기 위해, 패킷 교환 네트워크, 예컨대 인터넷(1110)에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다.

위에서 언급된 바와 같이, 코어 네트워크(1106)는 네트워크(1112)에 또한 연결될 수도 있는데, 네트워크(1112)는 다른 서비스 공급자에 의해 소유되고/되거나 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있다.

도 11d는 한 실시형태에 따른 RAN(1104)과 코어 네트워크(1107)의 시스템 도면을 묘사한다. 위에서 언급되는 바와 같이, RAN(1104)은 무선 인터페이스(1116)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위해 E-UTRA 무선 기술을 활용할 수도 있다. RAN(1104)은 코어 네트워크(1107)와 또한 통신할 수도 있다.

RAN(1104)은 eNode B(1160a, 1160b, 및/또는 1160c)를 포함할 수도 있지만, RAN(1104)은 한 실시형태와 여전히 부합하면서 임의의 수의 eNode B를 포함할 수도 있다는 것을 알 수 있을 것이다. eNode B(1160a, 1160b, 및/또는 1160c) 각각은 무선 인터페이스(1116)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, eNode B(1160a, 1160b, 및/또는 1160c)는 MIMO 기술을 구현할 수도 있다. 따라서, eNode B(1160a)는, 예를 들면, WTRU(1102a)로 무선 신호를 송신하고 그 WTRU(1102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다.

eNode B(1160a, 1160b, 및/또는 1160c)의 각각은 특정한 셀(도시되지 않음)과 관련될 수도 있고 무선 리소스 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 유저의 스케줄링 등등을 핸들링하도록 구성될 수도 있다. 도 11d에서 도시되는 바와 같이, eNode B(1160a, 1160b, 및/또는 1160c)는 X2 인터페이스를 통해 서로 통신할 수도 있다.

도 11d에서 도시되는 코어 네트워크(1107)는 이동성 관리 엔티티 게이트웨이(mobility management entity gateway; MME)(1162), 서빙 게이트웨이(1164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(1166)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(1107)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고/되거나 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

MME(1162)는 S1 인터페이스를 통해 RAN(1104) 내의 eNode B(1160a, 1160b, 및/또는 1160c)의 각각에 연결될 수도 있고 제어 노드로서 기능할 수도 있다. 예를 들면, MME(1162)는 WTRU(1102a, 1102b, 및/또는 1102c)의 유저를 인증하는 것, 베어러 활성/비활성, WTRU(1102a, 1102b, 및/또는 1102c)의 초기 연결 동안 특정 서빙 게이트웨이를 선택하는 것 등등을 담당할 수도 있다. MME(1162)는, GSM 또는 WCDMA와 같은 다른 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 RAN(104) 사이를 스위칭하기 위한 제어 플레인 기능을 또한 제공할 수도 있다.

서빙 게이트웨이(1164)는 S1 인터페이스를 통해 RAN(1104) 내의 eNode B(1160a, 1160b, 및/또는 1160c)의 각각에 연결될 수도 있다. 서빙 게이트웨이(1164)는 일반적으로 유저 데이터 패킷을 WTRU(1102a, 1102b, 및/또는 1102c)로 라우팅하고 WTRU(1102a, 1102b, 및/또는 1102c)로부터 포워딩할 수도 있다. 서빙 게이트웨이(1164)는 다른 기능, 예컨대 eNode B간 핸드오버 동안 유저 플레인을 앵커링하는 것, 다운링크 데이터가 WTRU(1102a, 1102b, 및/또는 1102c)에 대해 이용가능할 때 페이징을 트리거하는 것, WTRU(1102a, 1102b, 및/또는 1102c)의 상황(context)을 관리하고 저장하는 것 등등을 또한 수행할 수도 있다.

서빙 게이트웨이(1164)는, WTRU(1102a, 1102b, 및/또는 1102c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(1110)과 같은 패킷 교환 네트워크에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있는 PDN 게이트웨이(1166)에 또한 연결될 수도 있다.

코어 네트워크(1107)는 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, 코어 네트워크(1107)는, WTRU(1102a, 1102b, 및/또는 1102c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(1108)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다. 예를 들면, 코어 네트워크(1107)는, 코어 네트워크(1107)와 PSTN(1108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 또는 그 IP 게이트웨이와 통신할 수도 있다. 또한, 코어 네트워크(1107)는, 다른 서비스 공급자에 의해 소유되고/되거나 다른 서비스 공급자에 의해 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(1112)에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다.

도 11e는 한 실시형태에 따른 RAN(1105)과 코어 네트워크(1109)의 시스템 도면을 묘사한다. RAN(1105)은, 무선 인터페이스(1117)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위해 IEEE 802.16 무선 기술을 활용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 하기에 더 논의되는 바와 같이, WTRU(1102a, 1102b, 및/또는 1102c), RAN(1105), 및 코어 네트워크(1109)의 상이한 기능적 엔티티 사이의 통신 링크는 기준 포인트(reference point)로서 정의될 수도 있다.

도 11e에서 도시되는 바와 같이, RAN(1105)은 기지국(1180a, 1180b, 및/또는 1180c) 및 ASN 게이트웨이(1182)를 포함할 수도 있지만, RAN(1105)은, 한 실시형태와 여전히 부합하면서, 임의의 수의 기지국 및 ASN 게이트웨이를 포함할 수도 있다는 것이 인식되어야 한다. 기지국(1180a, 1180b, 및/또는 1180c) 각각은, RAN(1105) 내의 특정 셀(도시되지 않음)과 관련될 수도 있고 무선 인터페이스(1117)를 통해 WTRU(1102a, 1102b, 및/또는 1102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, 기지국(1180a, 1180b, 및/또는 1180c)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(1180a)은, 예를 들면, WTRU(1102a)로 무선 신호를 송신하고 그로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다. 또한, 기지국(1180a, 1180b, 및/또는 1180c)은, 핸드오프 트리거링(handoff triggering), 터널 확립, 무선 리소스 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 강화(enforcement) 등등과 같은 이동성 관리 기능을 제공할 수도 있다. ASN 게이트웨이(1182)는 트래픽 집성 포인트(traffic aggregation point)로서 기능할 수도 있으며 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(1109)로의 라우팅 등등을 담당할 수도 있다.

WTRU(1102a, 1102b, 및/또는 1102c)와 RAN(1105) 사이의 무선 인터페이스(1117)는, IEEE 802.16 명세를 구현하는 R1 기준 포인트로서 정의될 수도 있다. 또한, WTRU(1102a, 1102b, 및/또는 1102c)의 각각은 코어 네트워크(1109)와의 논리 인터페이스(logical interface)(도시되지 않음)를 확립할 수도 있다. WTRU(1102a, 1102b, 및/또는 1102c)와 코어 네트워크(1109) 사이의 논리 인터페이스는 R2 기준 포인트로서 정의될 수도 있는데, R2 기준 포인트는 인증(authentication), 인가(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리에 대해 사용될 수도 있다.

기지국(1180a, 1180b, 및/또는 1180c) 각각의 사이의 통신 링크는, WTRU 핸드오버 및 기지국 사이의 데이터의 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 참조 포인트로서 정의될 수도 있다. 기지국(1180a, 1180b, 및/또는 1180c)과 ASN 게이트웨이(1182) 사이의 통신 링크는 R6 기준 포인트로서 정의될 수도 있다. R6 기준 포인트는 WTRU(1102a, 1102b, 및/또는 1102c)의 각각과 관련된 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수도 있다.

도 11e에서 도시되는 바와 같이, RAN(1105)은 코어 네트워크(1109)에 연결될 수도 있다. RAN(1105)과 코어 네트워크(1109) 사이의 통신 링크는, 예를 들면, 데이터 전송 및 이동성 관리 성능을 용이하게 하기 위한 프로토콜을 포함하는 R3 기준 포인트로서 정의될 수도 있다. 코어 네트워크(1109)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(1184), 인증, 인가, 어카운팅(authentication, authorization, accounting; AAA) 서버(1186), 및 게이트웨이(1188)를 포함할 수도 있다. 상기 엘리먼트의 각각이 코어 네트워크(1109)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고/되거나 그 엔티티에 의해 동작될 수도 있다는 것을 알 수 있을 것이다.

MIP-HA는 IP 어드레스 관리를 담당할 수도 있고, WTRU(1102a, 1102b, 및/또는 1102c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이에서 로밍하는 것을 가능하게 할 수도 있다. MIP-HA(1184)는, WTRU(1102a, 1102b, 및/또는 1102c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 패킷 교환 네트워크, 예컨대 인터넷(1110)에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다. AAA 서버(1186)는 유저 인증 및 유저 서비스 지원을 담당할 수도 있다. 게이트웨이(1188)는 다른 네트워크와의 상호연동(interworking)을 용이하게 할 수도 있다. 예를 들면, 게이트웨이(1188)는, WTRU(1102a, 1102b, 및/또는 1102c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(1108)과 같은 회선 교환 네트워크에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다. 또한, 게이트웨이(1188)는, 다른 서비스 공급자에 의해 소유되고/되거나 다른 서비스 공급자에 의해 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(1112)에 대한 액세스를 WTRU(1102a, 1102b, 및/또는 1102c)에게 제공할 수도 있다.

도 11e에서 도시되지 않지만, RAN(1105)은 다른 ASN에 연결될 수도 있고 코어 네트워크(1109)는 다른 코어 네트워크에 연결될 수도 있다는 것이 인식되어야 하고, 인식될 수도 있고, 및/또는 인식될 것이다. RAN(1105)과 다른 ASN 사이의 통신 링크는 R4 기준 포인트로서 정의될 수도 있는데, R4 기준 포인트는 RAN(1105)과 다른 ASN 사이에서 WTRU(1102a, 1102b, 및/또는 1102c)의 이동성을 조정하기(coordinating) 위한 프로토콜을 포함할 수도 있다. 코어 네트워크(1109)와 다른 코어 네트워크 사이의 통신 링크는 R5 기준으로서 정의될 수도 있는데, R5 기준은 홈 코어 네트워크와 방문 코어 네트워크(visited core network) 사이에서의 상호연동을 용이하게 하기 위한 프로토콜을 포함할 수도 있다.

피쳐 및 엘리먼트가 특정 조합으로 위에서 설명되었지만, 기술분야에서 통상의 지식을 가진 자라면, 각각의 피쳐 또는 엘리먼트는 단독으로 사용될 수 있거나 또는 다른 피쳐 및 엘리먼트와의 임의의 조합으로 사용될 수 있다는 것을 알 수 있을 것이다. 또한, 본원에서 설명되는 방법은, 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능 매체에 통합되는 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어에서 구현될 수도 있다. 컴퓨터 판독가능 매체의 예는 전자 신호(유선 또는 무선 연결을 통해 송신됨) 및 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체의 예는, 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내장 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 광자기 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(digital versatile disk; DVD)와 같은 광학 매체를 포함하지만, 이들로 한정되는 것은 아니다. 소프트웨어와 관련하는 프로세서는, WTRU, UE, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 트랜스시버를 구현하기 위해 사용될 수도 있다.

Claims

비디오 코딩 디바이스에 있어서,
프로세서를 포함하고,
상기 프로세서는,
제1 컬러 볼륨을 커버하는 제1 컬러 공간과 관련되는 픽쳐 - 상기 픽쳐는 제1 샘플링 위치에서의 제1 성분(component), 제2 샘플링 위치에서의 제2 성분 및 제3 샘플링 위치에서의 상기 제2 성분을 포함함 - 를 수신하고;
상기 제1 샘플링 위치에서의 상기 제2 성분 - 상기 제1 샘플링 위치에서의 상기 제2 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제2 성분 및 상기 제3 샘플링 위치에서의 상기 제2 성분에 적용하며
- 상기 제1 성분이 루마 성분인 경우, 상기 제1 샘플링 위치는 루마 샘플링 위치이며, 상기 루마 샘플링 위치에서의 크로마 성분을 결정하기 위해 상기 제1 보간 필터가 상기 제2 샘플링 위치 및 상기 제3 샘플링 위치에서의 크로마 성분에 적용되고,
상기 제1 성분이 크로마 성분인 경우, 상기 제1 샘플링 위치는 크로마 샘플링 위치이며, 상기 크로마 샘플링 위치에서의 루마 성분을 결정하기 위해 상기 제1 보간 필터가 상기 제2 샘플링 위치 및 상기 제3 샘플링 위치에서의 루마 성분에 적용됨 - ;
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제1 컬러 볼륨과 비교하여 더 넓은 컬러 볼륨을 커버하는 제2 컬러 공간으로 변환(translate)하기 위해, 컬러 변환 모델(color conversion model)을, 상기 제1 샘플링 위치에서의 상기 제1 성분에 그리고 상기 제1 샘플링 위치에서의 상기 제2 성분에 적용하도록
구성되는, 비디오 코딩 디바이스.
제1항에 있어서,
상기 제1 성분은 루마 성분이고 상기 제2 성분은 제1 크로마 성분 또는 제2 크로마 성분이거나, 또는 상기 제1 성분은 상기 제1 크로마 성분 또는 상기 제2 크로마 성분이고 상기 제2 성분은 상기 루마 성분인, 비디오 코딩 디바이스.
제2항에 있어서, 상기 프로세서는 또한,
상기 제2 샘플링 위치에서의 상기 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 및 1을 가산하여 합을 결정하고;
상기 합을 2로 제산하도록
구성되는 것인, 비디오 코딩 디바이스.
제1항에 있어서, 상기 프로세서는 또한,
상기 제2 샘플링 위치에서의 상기 제2 성분을 3으로 승산하고;
상기 제2 샘플링 위치에서의 상기 승산된 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 및 2를 가산하여 합을 결정하며;
상기 합을 4로 제산하도록
구성되는 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 픽쳐는 제4 샘플링 위치에서의 상기 제2 성분 및 제5 샘플링 위치에서의 상기 제2 성분을 포함하고;
상기 프로세서는, 상기 제1 샘플링 위치에서의 상기 제2 성분을 결정하기 위해, 상기 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 상기 제4 샘플링 위치에서의 상기 제2 성분, 및 상기 제5 샘플링 위치에서의 상기 제2 성분에 적용하도록 구성되는, 비디오 코딩 디바이스.
제5항에 있어서, 상기 프로세서는 또한,
상기 제2 샘플링 위치에서의 상기 제2 성분 및 상기 제3 샘플링 위치에서의 상기 제2 성분을 가산하여 제1 합을 결정하고;
상기 제4 샘플링 위치에서의 상기 제2 성분 및 상기 제5 샘플링 위치에서의 상기 제2 성분을 가산하여 제2 합을 결정하고;
상기 제2 합을 3으로 승산하여 제3 합을 결정하고;
상기 제1 합, 상기 제3 합, 및 4를 가산하여 제4 합을 결정하며;
상기 제4 합을 8로 제산하도록
구성되는 것인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 픽쳐는 상기 제2 샘플링 위치에서의 제3 성분 및 상기 제3 샘플링 위치에서의 상기 제3 성분을 포함하고, 상기 제1 성분은 루마 성분이고, 상기 제2 성분은 제1 크로마 성분이고, 상기 제3 성분은 제2 크로마 성분이고,
상기 프로세서는 또한,
상기 제1 샘플링 위치에서의 상기 제3 성분 - 상기 제1 샘플링 위치에서의 상기 제3 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 상기 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제3 성분 및 상기 제3 샘플링 위치에서의 상기 제3 성분에 적용하고;
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제2 컬러 공간으로 변환(translate)하기 위해, 상기 컬러 변환 모델을, 상기 제1 샘플링 위치에서의 상기 제1 성분에, 상기 제1 샘플링 위치에서의 상기 제2 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 제3 성분에 적용하도록
구성되는, 비디오 코딩 디바이스.
제1항에 있어서,
상기 픽쳐는 상기 제1 샘플링 위치에서의 제3 성분을 포함하고,
상기 프로세서는 또한,
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제2 컬러 공간으로 변환(translate)하기 위해, 상기 컬러 변환 모델을, 상기 제1 샘플링 위치에서의 상기 제1 성분에, 상기 제1 샘플링 위치에서의 상기 제3 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 제2 성분에 적용하도록 구성되는, 비디오 코딩 디바이스.
제8항에 있어서,
상기 제1 성분은 제1 크로마 성분이고 상기 제2 성분은 루마 성분이고 상기 제3 성분은 제2 크로마 성분이거나, 또는 상기 제1 성분은 상기 제2 크로마 성분이고 상기 제2 성분은 상기 루마 성분이고 상기 제3 성분은 상기 제1 크로마 성분인, 비디오 코딩 디바이스.
제1항에 있어서,
상기 픽쳐는 4:2:0 크로마 포맷을 특징으로 하는, 비디오 코딩 디바이스.
제1항에 있어서,
상기 컬러 변환 모델은 3차원 룩업 테이블(look up table; LUT)에 기초하는, 비디오 코딩 디바이스.
제1항에 있어서,
상기 프로세서는 또한, 스케일러블 비트스트림(scalable bitstream) - 상기 스케일러블 비트스트림은 베이스 레이어(base layer) 및 향상 레이어(enhancement layer)를 포함함 - 을 수신하도록 구성되고, 상기 베이스 레이어는 상기 픽쳐를 포함하고, 상기 베이스 레이어는 상기 제1 컬러 공간과 관련되고 상기 향상 레이어는 상기 제2 컬러 공간과 관련되는, 비디오 코딩 디바이스.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고,
상기 프로세서는,
제1 컬러 볼륨을 커버하는 제1 컬러 공간과 관련되는 픽쳐 - 상기 픽쳐는 제1 샘플링 위치에서의 루마 성분, 제2 샘플링 위치에서의 제1 크로마 성분, 상기 제2 샘플링 위치에서의 제2 크로마 성분, 제3 샘플링 위치에서의 상기 제1 크로마 성분, 상기 제3 샘플링 위치에서의 상기 제2 크로마 성분, 제4 샘플링 위치에서의 상기 제1 크로마 성분, 상기 제4 샘플링 위치에서의 상기 제2 크로마 성분, 제5 샘플링 위치에서의 상기 제1 크로마 성분, 및 상기 제5 샘플링 위치에서의 상기 제2 크로마 성분을 포함함 - 를 수신하고;
상기 루마 성분의 상기 제1 샘플링 위치에서의 상기 제1 크로마 성분 - 상기 제1 샘플링 위치에서의 상기 제1 크로마 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제1 크로마 성분, 상기 제3 샘플링 위치에서의 상기 제1 크로마 성분, 상기 제4 샘플링 위치에서의 상기 제1 크로마 성분, 및 상기 제5 샘플링 위치에서의 상기 제1 크로마 성분 중 둘 이상에 적용하고;
상기 루마 성분의 상기 제1 샘플링 위치에서의 상기 제2 크로마 성분 - 상기 제1 샘플링 위치에서의 상기 제2 크로마 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 상기 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제2 크로마 성분, 상기 제3 샘플링 위치에서의 상기 제2 크로마 성분, 상기 제4 샘플링 위치에서의 상기 제2 크로마 성분, 및 상기 제5 샘플링 위치에서의 상기 제2 크로마 성분 중 둘 이상에 적용하며;
상기 제1 샘플링 위치에서의 상기 루마 성분을 상기 제1 컬러 볼륨과 비교하여 더 넓은 컬러 볼륨을 커버하는 제2 컬러 공간으로 변환(translate)하기 위해, 컬러 변환 모델(color conversion model)을, 상기 제1 샘플링 위치에서의 상기 루마 성분, 상기 제1 샘플링 위치에서의 상기 제1 크로마 성분, 및 상기 제1 샘플링 위치에서의 상기 제2 크로마 성분에 적용하도록 구성되는, 비디오 코딩 디바이스.
비디오 코딩 디바이스에 있어서,
프로세서를 포함하고,
상기 프로세서는,
제1 컬러 볼륨을 커버하는 제1 컬러 공간과 관련되는 픽쳐 - 상기 픽쳐는 제1 샘플링 위치에서의 제1 크로마 성분, 상기 제1 샘플링 위치에서의 제2 크로마 성분, 제2 샘플링 위치에서의 루마 성분, 제3 샘플링 위치에서의 상기 루마 성분, 제4 샘플링 위치에서의 상기 루마 성분, 및 제5 샘플링 위치에서의 상기 루마 성분을 포함함 - 를 수신하고;
상기 제1 크로마 성분의 상기 제1 샘플링 위치에서의 상기 루마 성분 - 상기 제1 샘플링 위치에서의 상기 루마 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 보간 필터를, 상기 제2 샘플링 위치에서의 상기 루마 성분, 상기 제3 샘플링 위치에서의 상기 루마 성분, 상기 제4 샘플링 위치에서의 상기 루마 성분, 및 상기 제5 샘플링 위치에서의 상기 루마 성분 중 둘 이상에 적용하고;
상기 제1 샘플링 위치에서의 상기 제1 크로마 성분을 상기 제1 컬러 볼륨과 비교하여 더 넓은 컬러 볼륨을 커버하는 제2 컬러 공간으로 변환(translate)하기 위해, 컬러 변환 모델(color conversion model)을, 상기 제1 샘플링 위치에서의 상기 제1 크로마 성분에, 상기 제1 샘플링 위치에서의 상기 제2 크로마 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 루마 성분에 적용하며;
상기 제1 샘플링 위치에서의 상기 제2 크로마 성분을 상기 제1 컬러 볼륨과 비교하여 더 넓은 컬러 볼륨을 커버하는 상기 제2 컬러 공간으로 변환(translate)하기 위해, 상기 컬러 변환 모델을, 상기 제1 샘플링 위치에서의 상기 제1 크로마 성분에, 상기 제1 샘플링 위치에서의 상기 제2 크로마 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 루마 성분에 적용하도록
구성되는, 비디오 코딩 디바이스.
비디오 코딩 방법에 있어서,
제1 컬러 볼륨을 커버하는 제1 컬러 공간과 관련되는 픽쳐 - 상기 픽쳐는 제1 샘플링 위치에서의 제1 성분, 제2 샘플링 위치에서의 제2 성분 및 제3 샘플링 위치에서의 상기 제2 성분을 포함함 - 를 수신하는 단계;
상기 제1 샘플링 위치에서의 상기 제2 성분 - 상기 제1 샘플링 위치에서의 상기 제2 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제2 성분 및 상기 제3 샘플링 위치에서의 상기 제2 성분에 적용하는 단계
- 상기 제1 성분이 루마 성분인 경우, 상기 제1 샘플링 위치는 루마 샘플링 위치이며, 상기 루마 샘플링 위치에서의 크로마 성분을 결정하기 위해 상기 제1 보간 필터가 상기 제2 샘플링 위치 및 상기 제3 샘플링 위치에서의 크로마 성분에 적용되고,
상기 제1 성분이 크로마 성분인 경우, 상기 제1 샘플링 위치는 크로마 샘플링 위치이며, 상기 크로마 샘플링 위치에서의 루마 성분을 결정하기 위해 상기 제1 보간 필터가 상기 제2 샘플링 위치 및 상기 제3 샘플링 위치에서의 루마 성분에 적용됨 - ; 및
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제1 컬러 볼륨과 비교하여 더 넓은 컬러 볼륨을 커버하는 제2 컬러 공간으로 변환(translate)하기 위해, 컬러 변환 모델(color conversion model)을, 상기 제1 샘플링 위치에서의 상기 제1 성분에 그리고 상기 제1 샘플링 위치에서의 상기 제2 성분에 적용하는 단계
를 포함하는, 비디오 코딩 방법.
제15항에 있어서,
상기 제1 성분은 루마 성분이고 상기 제2 성분은 제1 크로마 성분 또는 제2 크로마 성분이거나, 또는 상기 제1 성분은 상기 제1 크로마 성분 또는 상기 제2 크로마 성분이고 상기 제2 성분은 상기 루마 성분인, 비디오 코딩 방법.
제16항에 있어서,
상기 제1 보간 필터를 적용하기 위한 상기 방법은,
상기 제2 샘플링 위치에서의 상기 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 및 1을 가산하여 합을 결정하는 단계; 및
상기 합을 2로 제산하는 단계를 더 포함하는, 비디오 코딩 방법.
제15항에 있어서,
상기 제1 보간 필터를 적용하기 위한 상기 방법은,
상기 제2 샘플링 위치에서의 상기 제2 성분을 3으로 승산하는 단계;
상기 제2 샘플링 위치에서의 상기 승산된 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 및 2를 가산하여 합을 결정하는 단계; 및
상기 합을 4로 제산하는 단계를 더 포함하는, 비디오 코딩 방법.
제15항에 있어서,
상기 픽쳐는 제4 샘플링 위치에서의 상기 제2 성분 및 제5 샘플링 위치에서의 상기 제2 성분을 포함하고,
상기 방법은,
상기 제1 샘플링 위치에서의 상기 제2 성분을 결정하기 위해, 상기 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제2 성분, 상기 제3 샘플링 위치에서의 상기 제2 성분, 상기 제4 샘플링 위치에서의 상기 제2 성분, 및 상기 제5 샘플링 위치에서의 상기 제2 성분에 적용하는 단계를 더 포함하는, 비디오 코딩 방법.
제19항에 있어서,
상기 제1 보간 필터를 적용하기 위한 상기 방법은,
상기 제2 샘플링 위치에서의 상기 제2 성분 및 상기 제3 샘플링 위치에서의 상기 제2 성분을 가산하여 제1 합을 결정하는 단계;
상기 제4 샘플링 위치에서의 상기 제2 성분 및 상기 제5 샘플링 위치에서의 상기 제2 성분을 가산하여 제2 합을 결정하는 단계;
상기 제2 합을 3으로 승산하여 제3 합을 결정하는 단계;
상기 제1 합, 상기 제3 합, 및 4를 가산하여 제4 합을 결정하는 단계; 및
상기 제4 합을 8로 제산하는 단계를 더 포함하는, 비디오 코딩 방법.
제15항에 있어서,
상기 픽쳐는 상기 제2 샘플링 위치에서의 제3 성분 및 상기 제3 샘플링 위치에서의 상기 제3 성분을 포함하고, 상기 제1 성분은 루마 성분이고, 상기 제2 성분은 제1 크로마 성분이고, 상기 제3 성분은 제2 크로마 성분이고,
상기 방법은,
상기 제1 샘플링 위치에서의 상기 제3 성분 - 상기 제1 샘플링 위치에서의 상기 제3 성분은 상기 제1 컬러 공간과 관련됨 - 을 결정하기 위해, 상기 제1 보간 필터를, 상기 제2 샘플링 위치에서의 상기 제3 성분 및 상기 제3 샘플링 위치에서의 상기 제3 성분에 적용하는 단계; 및
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제2 컬러 공간으로 변환(translate)하기 위해, 상기 컬러 변환 모델을, 상기 제1 샘플링 위치에서의 상기 제1 성분에, 상기 제1 샘플링 위치에서의 상기 제2 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 제3 성분에 적용하는 단계를 더 포함하는, 비디오 코딩 방법.
제15항에 있어서,
상기 픽쳐는 상기 제1 샘플링 위치에서의 제3 성분을 포함하고,
상기 방법은,
상기 제1 샘플링 위치에서의 상기 제1 성분을 상기 제2 컬러 공간으로 변환(translate)하기 위해, 상기 컬러 변환 모델을, 상기 제1 샘플링 위치에서의 상기 제1 성분에, 상기 제1 샘플링 위치에서의 상기 제3 성분에, 그리고 상기 제1 샘플링 위치에서의 상기 제2 성분에 적용하는 단계를 더 포함하는, 비디오 코딩 방법.
제22항에 있어서,
상기 제1 성분은 제1 크로마 성분이고 상기 제2 성분은 루마 성분이고 상기 제3 성분은 제2 크로마 성분이거나, 또는 상기 제1 성분은 상기 제2 크로마 성분이고 상기 제2 성분은 상기 루마 성분이고 상기 제3 성분은 상기 제1 크로마 성분인, 비디오 코딩 방법.
제15항에 있어서,
상기 픽쳐는 4:2:0 크로마 포맷을 특징으로 하는, 비디오 코딩 방법.
제15항에 있어서,
상기 컬러 변환 모델은 3차원 룩업 테이블(LUT)에 기초하는, 비디오 코딩 방법.
제15항에 있어서,
상기 방법은,
스케일러블 비트스트림 - 상기 스케일러블 비트스트림은 베이스 레이어 및 향상 레이어를 포함함 - 을 수신하는 단계를 더 포함하고, 상기 베이스 레이어는 상기 픽쳐를 포함하고, 상기 베이스 레이어는 상기 제1 컬러 공간과 관련되고 상기 향상 레이어는 상기 제2 컬러 공간과 관련되는, 비디오 코딩 방법.