KR20210129266A

KR20210129266A - 멀티 레이어 비디오 코딩용 코덱 아키텍처

Info

Publication number: KR20210129266A
Application number: KR1020217033594A
Authority: KR
Inventors: 얀 예; 조지 더블유 맥클레란; 용 히; 시아오유 시우; 유웬 히; 지에 덩; 캔 발; 은 류
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2012-07-09
Filing date: 2013-07-09
Publication date: 2021-10-27
Also published as: MX361767B; CN104429071A; US10484717B2; US11627340B2; EP3407608A1; CN104429071B; IN2015DN00191A; BR112015000480A2; BR112015000480B1; KR20200038564A; AU2013288832A1; CA2878807A1; HK1204515A1; US20200059671A1; TWI606716B; SG10201700161UA; JP2015523815A; US20140010294A1; JP2022023856A; MX344952B

Abstract

비디오 코딩 시스템(VCS)을 실현하기 위해 시스템, 방법 및 수단이 제공된다. VCS는 하나 이상의 레이어(예를 들면, 기본 레이어(BL) 및/또는 하나 이상의 향상 레이어(EL))을 포함할 수 있는 비디오 신호를 수신하도록 구성될 수 있다. VCS는 예를 들면, 픽처 레벨 레이어 간 예측 프로세스를 사용하여 BL 픽처를 레이어 간 참조(ILR) 픽처로 처리하도록 구성될 수 있다. VCS는 처리된 ILR 픽처 또는 향상 레이어(EL) 참조 픽처 중 하나 또는 양자를 선택하도록 구성될 수 있다. 선택된 참조 픽처(들)는 EL 참조 픽처 또는 ILR 픽처 중 하나를 포함할 수 있다. VCS는 선택된 ILR 픽처 또는 EL 참조 픽처 중 하나 이상을 사용하여 현재의 EL 픽처를 예측하도록 구성될 수 있다. VCS는 처리된 ILR 픽처를 EL 디코딩 픽처 버퍼(DPB)에 저장하도록 구성될 수 있다.

Description

멀티 레이어 비디오 코딩용 코덱 아키텍처{CODEC ARCHITECTURE FOR MULTIPLE LAYER VIDEO CODING}

본 출원은 2012년 7월 9일에 출원된 미국 가특허 출원 제61/699,356호 및 2012년 12월 06일에 출원된 미국 가특허 출원 제61/734,264호의 이익을 청구하며, 그 전체내용이 참고로 본 명세서에 병합되어 있다.

멀티미디어 기술 및 모바일 통신은 최근에 엄청난 성장 및 상업적 성공을 얻고 있다. 무선 통신 기술은 무선 대역폭을 극적으로 증가시켜 왔고 모바일 사용자에 대한 서비스의 품질을 향상시켜 왔다. 예를 들면, 3세대 파트너십 프로젝트(3GPP: 3rd Generation Partnership Project) 롱 텀 에볼루션(LTE: Long Term Evolution) 표준은 2세대(2G) 및/또는 3세대(3G)와 비교하여 서비스의 품질을 향상시켰다.

무선 네트워크 상에서의 높은 대역폭의 가용성에 의해, 유선 웹 상에서 사용 가능한 비디오 및 멀티미디어 콘텐츠는 사용자가 상이한 사이즈, 품질, 및/또는 연결 능력을 갖는 매우 다양한 모바일 디바이스로부터 그 콘텐츠에의 등가의 주문형 액세스를 원하게 할 수 있다.

네트워크 상에서 사용 가능한 여러 가지 타입의 비디오 콘텐츠를 제작하기 위해, 하나 이상의 비디오 코딩 및 압축 메커니즘이 사용될 수 있다. 비디오 코딩 시스템은 디지털 비디오 신호를 압축하기 위해 예를 들면, 그러한 신호의 송신 대역폭 및/또는 저장 필요량을 감소시키기 위해 사용될 수 있다. 하나 이상의 비디오 코딩 표준을 기초로 하는 여러 가지 타입의 비디오 압축 기술이 사용될 수 있다. 그러한 표준은 예를 들면, H.261, MPEG-1, MPEG-2, H.263, MPEG-4 part 2, 및 H.264/MPEG-4 part 10 AVC, 고효율 비디오 코딩(HEVC: High Efficiency Video Coding) 등을 포함할 수 있다. 비디오 코딩 표준의 확장, 예를 들면, H.264(스케일러블 비디오 코딩(SVC: scalable video coding)) 및/또는 스케일러블 HEVC가 사용될 수 있다. 제공되는 스케일러블 코딩 메커니즘은 결점을 가지고 있을 수 있고 적절하지 못할 수 있다.

비디오 코딩 시스템(VCS)을 실현하기 위한 시스템, 방법 및 수단이 제공된다. 예를 들면, 기본 레이어(BL: base layer) 코더, 향상 레이어(EL: enhancement layer) 코더, 레이어 간 예측(ILP: inter-layer prediction) 처리 및 관리 유닛 등을 포함하는 VCS는 비디오 신호를 수신하도록 구성될 수 있다. 비디오 신호는 하나 이상의 레이어(예를 들면, 기본 레이어(BL) 및/또는 하나 이상의 향상 레이어(EL))를 포함할 수 있다. VCS는 예를 들면, 픽처(picture) 레벨 레이어 간 예측 프로세스를 사용하여 BL 픽처를 레이어 간 참조(ILR: inter-layer reference) 픽처로 처리할 수 있다. 처리된 ILR 픽처는 비-동위치화된(non-collocated) ILR 픽처일 수 있다.

BL 픽처의 ILR 픽처로의 처리는 BL 픽처를 현재의 EL 픽처의 예측에 적합할 수 있는 포맷으로 포맷시키는 것을 포함할 수 있다. 포맷은 BL 코덱과 EL 코덱 사이의 확장성(scalability)의 타입에 의존할 수 있다. BL 코덱과 EL 코덱 사이의 확장성의 타입은 공간 확장성, 채도 포맷 확장성, 품질 확장성, 공간 확장성, 뷰 확장성, 또는 비트 깊이 확장성 중의 하나 이상을 포함할 수 있다. 포맷팅은 업샘플링, 노이즈 제거, 복원, 또는 리타게팅(retargeting), 격차 보상(disparity compensatio), 또는 역 색조 매핑(inverse tone mapping) 중의 하나 이상을 포함할 수 있다.

VCS는 처리된 ILR 픽처 또는 향상 레이어(EL) 참조 픽처 중 하나 또는 양자를 선택할 수 있다. 선택된 참조 픽처(들)는 EL 참조 픽처 또는 ILR 픽처 중 하나를 포함할 수 있다. 복수의 선택된 참조 픽처는 공통 시간 인스턴스(common time instance)에 대응할 수 있다.

VCS는 선택된 ILR 픽처 또는 EL 참조 픽처 중 하나 이상을 사용하여 현재의 EL 픽처를 예측할 수 있다. VCS는 EL 디코딩된 픽처 버퍼(DPB: decoded picture buffer) 내에 처리된 ILR 픽처를 저장할 수 있다. VCS는 BL로부터 BL 정보를 추출할 수 있다. BL 정보는 BL 모드 정보 또는 BL 움직임 정보 중 하나 이상을 포함할 수 있다. VCS는 추출된 BL 정보를 포함하는 정보를 기초로 하여 BL 픽처를 처리할 수 있다. VCS는 BL 정보를 제1 포맷으로부터 제2 포맷으로 변환시킬 수 있고 변환된 BL 정보를 EL 코딩에 사용할 수 있다. 제1 포맷은 BL 코덱에 관한 것일 수 있고 제2 포맷은 EL 코덱에 관한 것일 수 있으며, 제1 포맷은 제2 포맷과 상이할 수 있다.

VCS는 ILP 정보를 패킷화(packetize)하여 그 ILP 정보를 예를 들면, 네트워크 추상 레이어(NAL: network abstraction layer) 유닛을 통해 전송할 수 있다. ILP 정보는 예를 들면, 업샘플링 필터 정보, 업샘플링을 위한 하나 이상의 계수, 노이즈 제거를 위한 하나 이상의 계수, 하나 이상의 격차 보상 파라미터, 하나 이상의 역 색조 매핑 파라미터 등을 포함할 수 있다.

첨부하는 도면과 관련하여 예로서 제공되는 아래의 설명으로부터 더욱 상세한 이해가 이루어질 수 있다.
도 1은 스케일러블 비디오 인코딩 시스템의 일례를 도시하는 도면이다.
도 2는 멀티 뷰 비디오 코딩(MVC)을 사용하여 스테레오스코픽 비디오를 예를 들면, 좌측 뷰 및 우측 뷰로 코딩하기 위한 예측 구조의 일례를 도시하는 도면이다.
도 3은 2 레이어 스케일러블 비디오 인코더의 아키텍처의 일례를 도시하는 도면이다.
도 4는 2 레이어 스케일러블 비디오 디코더의 아키텍처의 일례를 도시하는 도면이다.
도 5는 블록 기반 단일 레이어 비디오 인코더의 일례를 도시하는 도면이다.
도 6은 블록 기반 단일 레이어 비디오 디코더의 일례를 도시하는 도면이다.
도 7은 픽처 레벨 레이어 간 예측(ILP) 지원을 받는 2 레이어 스케일러블 인코딩 시스템의 일례를 도시하는 도면이다.
도 8은 픽처 레벨 ILP 지원을 받는 2 레이어 스케일러블 디코딩 시스템의 일례를 도시하는 도면이다.
도 9는 향상 레이어 코딩을 위해 인에이블된 시간 예측 및 레이어 간 예측을 갖는 2 레이어 시스템의 일례를 도시하는 도면이다.
도 10은 ILP 처리 및 관리 유닛의 일례를 도시하는 도면이다.
도 11은 레이어 간 움직임 벡터 예측을 사용하는 예측 구조의 일례를 도시한다.
도 12는 향상된 ILP 처리 및 관리 유닛을 사용할 수 있는 스케일러블 코딩 시스템의 일례를 도시하는 도면이다.
도 13a는 하나 이상의 개시된 실시예가 실현될 수 있는 통신 시스템의 일례의 시스템도이다.
도 13b는 도 13a에 도시된 통신 시스템 내에서 사용될 수 있는 무선 송/수신 유닛(WTRU)의 일례의 시스템도이다.
도 13c는 도 13a에 도시된 통신 시스템 내에서 사용될 수 있는 무선 액세스 네트워크의 일례 및 코어 네트워크의 일례의 시스템도이다.
도 13d는 도 13a에 도시된 통신 시스템 내에서 사용될 수 있는 무선 액세스 네트워크의 다른 예 및 코어 네트워크의 다른 예의 시스템도이다.
도 13e는 도 13a에 도시된 통신 시스템 내에서 사용될 수 있는 무선 액세스 네트워크의 다른 예 및 코어 네트워크의 다른 예의 시스템도이다.

예시적인 실시예의 상세한 설명은 다양한 도면을 참조하여 이제 설명할 것이다. 이 설명은 가능한 구현의 상세한 예를 제공하지만, 이 상세는 예시적인 것으로 및 본 출원의 범위를 제한하지 않도록 의도됨을 주의하라. 또한, 도면들은 본보기인 것을 의미하는 흐름도를 예시할 수 있다. 다른 실시예들이 사용될 수 있다. 메시지의 순서는 적절한 경우에 변경될 수 있다. 메시지는 필요하지 않은 경우에는 생략될 수 있고, 추가의 흐름이 부가될 수 있다.

스케일러블 비디오 코딩이 여러 다른 종류들로 이뤄진 네트워크 상에서 상이한 능력을 갖는 디바이스에서 실행하는 비디오 애플리케이션에 대한 체감 품질을 향상시킬 수 있다. 스케일러블 비디오 코딩은 최상의 재현(예를 들면, 시간 해상도, 공간 해상도, 품질 등) 시에 신호를 한 번 인코드할 수 있지만, 클라이언트 디바이스에서 실행하는 특정 애플리케이션에 의해 요구되는 특정 레이트 및 재현에 따라서 비디오 스트림의 서브세트로부터 디코딩을 인에이블시킬 수 있다. 스케일러블 비디오 코딩은 비스케일러블 해결법에 비해 대역폭 및/또는 저장소를 절감할 수 있다. 국제적인 비디오 표준, 예를 들면, MPEG-2 비디오, H.263, MPEG4 비주얼, H.264 등은 확장성의 모드를 지원하는 도구 및/또는 프로파일을 가질 수 있다.

도 1은 블록 기반 하이브리드 스케일러블 비디오 인코딩 시스템의 일례를 도시하는 도면이다. 레이어 1(예를 들면, 기본 레이어)에 의해 재현될 수 있는 공간/시간 신호 해상도가 입력 비디오 신호의 다운 샘플링에 의해 생성될 수 있다. 양자화기(예를 들면, Q1)의 적절한 설정은 기본 정보의 일정 품질 레벨을 유도할 수 있다. 더 높은 레이어 해상도 레벨의 하나 이상의(예를 들면, 모두의) 근사치일 수 있는 기본 레이어 재구성(Y1)이 예를 들면, 후속하는 상위 레이어를 더욱 효율적으로 인코드하기 위해 후속하는 레이어의 인코딩/디코딩 시에 이용될 수 있다. 업샘플링 유닛(1010 및/또는 1012)은 기본 레이어 재구성 신호의, 레이어 2의 해상도로의 업샘플링을 수행할 수 있다. 다운샘플링 및 업샘플링은 각각의 레이어(예를 들면, 1, 2,..., N)를 거쳐 수행될 수 있다. 다운샘플링 및 업샘플링 비율은 2개의 주어진 레이어 사이의 확장성의 치수에 따라 상이할 수 있다.

도 1에 도시된 바와 같이, 임의의 주어진 상위 레이어 n(2≤n≤N)에 대해, 차분 신호가 현재의 레이어 n 신호로부터 업샘플링된 하위 레이어 신호(예를 들면, 레이어 n-1 신호)를 감산함으로써 생성될 수 있다. 수득되는 차이 신호는 인코딩될 수 있다. 2개의 레이어(예를 들면, n1 및 n2)에 의해 재현되는 비디오 신호가 동일한 공간 해상도를 갖는 경우에는, 대응하는 다운샘플링 및 업샘플링 동작은 우회될 수 있다. 임의의 주어진 레이어 n(1≤n≤N) 또는 복수의 레이어는 상위 레이어으로부터 임의의 디코딩된 정보를 사용함 없이 디코딩될 수 있다. 예를 들면, 도 1의 시스템에 의해 이용될 수 있는 바와 같이, 기본 레이어를 제외한 레이어들에 대한 잔여 신호(예를 들면, 2개의 레이어 사이의 차이 신호)의 코딩에 따라서, 시각적인 아티팩트(visual artifacts)를 초래할 수 있다. 시각적인 아티팩트는 잔여 신호의 코딩 동안 수행되는 추가의 양자화 및/또는 그 동적 범위를 제한하기 위해 잔여 신호를 양자화 및 정규화하려는 욕구에 기인할 수 있다. 하나 이상의 상위 레이어 디코더가 움직임 추정 및/또는 움직임 보상된 예측을 인코딩 모드로서 채택할 수 있다. 잔여 신호에서의 움직임 추정 및/또는 움직임 보상은 종래의 움직임 예측과 상이할 수 있고, 예를 들면, 가시적인 아티팩트로 더욱 되기 쉬울 수 있다. 더욱 복잡한 잔여 양자화뿐만 아니라 잔여 신호의 코딩 동안 수행되는 추가의 양자화 및 그 동적 범위를 제한하기 위해 잔여 신호를 양자화 및 정규화하려는 욕구 사이의 공동 양자화가 이용될 수 있고, 예를 들면, 그러한 시각적인 아티팩트를 최소화하기 위해 시스템 복잡도를 증가시킬 수 있다. 도 1의 시스템은 이것이 달성할 수 있는 압축 효율의 레벨을 제한할 수 있는 다른 레이어 간 예측 모드를 고려하지 않을 수 있다.

스케일러블 비디오 코딩(SVC)은 예를 들면, 부분적인 비트 스트림의 레이트를 고려해 볼 때 재구성 품질(예를 들면, 더 높은 재구성 품질)을 유지하면서 감소된 충실도 또는 더 낮은 시간 또는 공간 해상도를 비디오 서비스에 제공하기 위해 부분적인 비트 스트림의 송신 및 디코딩을 인에이블시킬 수 있는 H.264의 확장이다. SVC는, SVC 디코더가 디코딩 중인 레이어에서 하나의 움직임 보상 루프를 설정하고 다른 하위 레이어(들)에서는 움직임 보상 루프(들)를 설정하지 못할 수 있는 것을 규정할 수 있는 단일 루프 디코딩을 포함할 수 있다. 예를 들면, 비트스트림이 2개의 레이어, 즉, 레이어 1(예를 들면, 기본 레이어) 및 레이어 2(예를 들면, 향상 레이어)를 포함하면, 디코더는 디코딩된 픽처 버퍼 및 움직임 보상된 예측을 설정함으로써 레이어 2 비디오를 재구성할 수 있다(예를 들면, 레이어 1에 대해서가 아닌 레이어 2에 대해서, 레이어 2는 레이어 1에 따를 수 있다). SVC는 완전히 재구성되기 위해 하위 레이어로부터 참조 픽처(들)를 필요로 하지 않을 수 있으며, 이것이 디코더에서 이용되는 메모리 및 계산 복잡도를 감소시킬 수 있다. 단일 루프 디코딩은 제한된 레이어 간 텍스처(texture) 예측에 의해 달성될 수 있다. 주어진 레이어에서의 블록(예를 들면, 현재의 블록)에 대해, 하위 레이어로부터의 공간 텍스처 예측은 대응하는 하위 레이어 블록이 인트라 모드(예를 들면, 제한된 인트라 예측)로 코딩되는 경우 이용될 수 있다. 하위 레이어 블록이 인트라 모드로 코딩될 때, 움직임 보상 동작 및 디코딩된 픽처 버퍼 없이 재구성될 수 있다. SVC는 추가의 레이어 간 예측 기술 예를 들면, 움직임 벡터 예측, 잔여 예측, 모드 예측 등을 이용할 수 있다. SVC의 단일 루프 디코딩 특징은 디코더에서 이용되는 메모리 및/또는 계산 복잡도를 감소시킬 수 있다. 단일 루프 디코딩은 예를 들면, 만족스러운 성능을 달성하기 위해 블록 레벨 레이어 간 예측 구현에 전적으로 의존함으로써 구현 복잡도를 증가시킬 수 있다. 인코더 설계 및 보상 복잡도는 원하는 성능이 예를 들면, 단일 루프 디코딩 제한을 부과함으로써 초래되는 성능 페널티(penalty)를 보상하기 위해 달성될 수 있도록 증가될 수 있다. 비월 주사된(interlaced) 콘텐츠의 스케일러블 코딩은 충분한 성능을 갖는 SVC에 의해 지원되지 않을 수 있으며, 이것이 방송 산업에 의한 그 채택에 영향을 줄 수 있다.

멀티 뷰 비디오 코딩(MVC: multi-view video coding)는 뷰 확장성을 제공할 수 있는 H.264의 확장의 일례이다. 뷰 확장성은 기본 레이어 비트스트림이 종래의 2D 비디오를 재구성하기 위해 디코딩될 수 있고, 추가의 향상 레이어가 동일한 비디오 신호의 다른 뷰 재현을 재구성하기 위해 디코딩될 수 있음을 의미할 수 있다. 하나 이상의 뷰(예를 들면, 모든 뷰)가 함께 결합되어 적절한 3D 디스플레이에 의해 디스플레이될 때, 사용자는 적절한 깊이 지각(proper depth perception)을 갖는 3D 비디오를 체감할 수 있다. 도 2는 좌측 뷰(예를 들면, 레이어 1) 및 우측 뷰(예를 들면, 레이어 2)를 갖는 스테레오스코픽 비디오를 코딩하기 위해 MVC를 사용하는 예측 구조의 일례를 도시하는 도면이다. 도 2에 예로서 도시되는 바와 같이, 좌측 뷰 비디오는 IBBP 예측 구조로 코딩될 수 있다. 우측 뷰 비디오는 PBBB 예측 구조로 코딩될 수 있다. 예를 들면, 우측 뷰에서, 좌측 뷰 내의 제1의 I 픽처와의 제1의 동위치화된 픽처가 P 픽처(2004)로서 코딩될 수 있다. 우측 뷰 내의 다른 픽처들의 각각은 예를 들면, 제1 예측 픽처가 우측 뷰에서의 시간 참조의 결과이고 제2 픽처가 좌측 뷰에서의 레이어 간 참조의 결과인 B 픽처로서 코딩될 수 있다. MVC는 단일 루프 디코딩을 지원하지 않을 수 있다. 예를 들면, 도 2에 도시된 바와 같이, 우측 뷰(예를 들면, 레이어 2) 비디오의 디코딩은 좌측 뷰(예를 들면, 레이어 1) 내의 전체 픽처가 사용 가능하게 될 필요가 있을 수 있고, 이것이 양 뷰/레이어 내의 움직임 보상 루프를 지원할 수 있다.

MVC는 고레벨 신택스 변화(syntax change)를 포함할(예를 들면, 오직 포함할) 수 있고, H.264/AVC로의 블록 레벨 변화를 포함하지 않을 수 있다. 예를 들면, 하부 MVC 인코더/디코더 로직이 동일성을 유지할 수 있고 복제될 수 있기 때문에, 슬라이스/픽처 레벨에서의 참조 픽처(예를 들면, 오직 참조 픽처만)가 MVC를 인에이블시키도록 정확하게 구성될 수 있다. MVC는 다중 뷰에 걸쳐 레이어 간 예측을 수행하도록 도 2의 예를 확장시킴으로써 2개 이상의 뷰의 코딩을 지원할 수 있다.

MPEG(Moving Picutre Experts Gruop) 프레임 호환(MFC: MPEG frame compatible) 코딩이 코딩 기술로서 이용될 수 있다. 3D 콘텐츠는 하나 이상의 뷰 예를 들면, 좌측 뷰 및 우측 뷰를 포함할 수 있는 스테레오스코픽 3D 비디오일 수 있다. 스테레오스코픽 3D 콘텐츠 콘텐츠 전달은 2개의 뷰를 하나의 프레임으로 패킹/다중화, 압축 및 패킹된 비디오를 코덱(예를 들면, H.264/AVC)과 함께 송신함으로써 달성될 수 있다. 수신기 측에서는, 디코딩 후에, 프레임이 언패킹되어 2개의 뷰로서 디스플레이될 수 있다. 뷰는 시간 도메인 및/또는 공간 도메인에서 다중화될 수 있다. 뷰가 공간 도메인에서 다중화되는 경우에는, 2개의 뷰는, 예를 들면, 동일한 픽처 사이즈를 유지하기 위해 인자(예를 들면, 2의 인자)만큼 공간적으로 다운샘플링되어 다양한 배열로 패킹될 수 있다. 예를 들면, 픽처는 픽처의 좌측 반부에 다운샘플링된 좌측 뷰 및 픽처의 우측 반부에 다운샘플링된 우측 뷰가 배열될 수 있다. 다른 배열은 상부-하부 배열, 라인(line)별 배열, 체커판 배열 등을 포함할 수 있다. 프레임 호환 가능 3D 비디오를 달성하기 위해 사용되는 특정 배열이 프레임 패킹 배열 SEI 메시지에 의해 전송될 수 있다. 공간 다운샘플링은 뷰 내에 얼라이어싱(aliasing)을 초래할 수 있어 3D 비디오의 사용자 체감 및 시각적 품질을 감소시킬 수 있다. 프레임 호환 가능(예를 들면, 동일한 프레임으로 패킹되는 2개의 뷰) 기본 레이어 비디오에 스케일러블 확장을 제공하는 것 및/또는 향상된 3D 체감을 위한 전체 해상도 뷰를 복원시키도록 하나 이상의 향상 레이어를 제공하는 것에 중점이 두어질 수 있다. 3D 비디오 전달을 제공하는 것에 맞추어질 수 있지만, 전체 해상도 MFC를 인에이블시킬 수 있는 기본 기술이 공간 확장성 기술에 관련될 수 있다.

HEVC의 스케일러블 향상이 제공될 수 있다. 표준 확장성은 하나 이상의 향상 레이어가 다른 표준 예를 들면, HEVC 표준을 사용하여 코딩될 수 있는 한편 기본 레이어가 하나의 표준 예를 들면, H.264/AVC 또는 MPEG2인 경우의 확장성의 타입을 칭할 수 있다. 표준 확장성은 이전의 표준을 사용하여 인코딩된 레거시(legacy) 콘텐츠에 대한 역방향 호환성을 제공할 수 있고, 하나 이상의 향상 레이어로 레거시 콘텐츠의 품질을 향상시킬 수 있다.

3D 비디오 코딩(3DV)이 제공될 수 있다. 3DV는 오토스테레오스코픽(autostereoscopic) 애플리케이션에 대해 목표로 될 수 있는 하나 이상의 상이한 뷰 확장성을 제공할 수 있다. 오토스테레오스코픽 디스플레이 및 애플리케이션은 사람들이 번거로운 안경 없이 3D를 체험할 수 있게 할 수 있다. 안경 없이 양호한 3D 체험을 달성하기 위해, 2개 이상의 뷰가 이용될 수 있다. 2개 이상의 뷰(예를 들면, 9개 뷰 또는 10개 뷰)를 코딩하는 것은 고가일 수 있다. 3DV는 뷰들의 깊이 정보를 제공할 수 있는 하나 이상의 깊이 맵을 갖는 및/또는 비교적 큰 격차를 갖는 몇 개의 뷰(예를 들면, 2개 또는 3개의 뷰)를 코딩하는 하이브리드 방법을 함께 이용할 수 있다. 이것은 멀티 뷰 플러스 깊이(MVD: Multi-View plus Depth)라고 칭해질 수 있다. 디스플레이 측에서, 코딩된 뷰 및 깊이 맵이 디코딩될 수 있다. 나머지 뷰는 디코딩된 뷰를 사용하여 생성될 수 있고 뷰 합성 기술을 사용하여 그 깊이 맵이 생성될 수 있다. 3DV는 뷰 및 깊이 맵을 코딩하기 위해 다양한 구현예를 이용할 수 있으며, 예를 들면, H.264/AVC, MVC, HEVC 등에 한정되는 것은 아니지만 이들과 같은 상이한 표준의 조합을 사용하여 뷰 및 깊이 맵을 코딩한다. 3DV는 하나의 표준(예를 들면, H.264/AVC)으로 기본 레이어를 코딩할 수 있고, 다른 표준(예를 들면, HEVC)으로 하나 이상의 향상 레이어를 코딩할 수 있다.

표 1은 상이한 타입의 확장성 및 이들을 지원할 수 있는 대응하는 표준의 일례를 제공한다. 비트 깊이 확장성 및 채도 포맷 확장성은 전문적인 비디오 애플리케이션에 의해 주로 사용되는 비디오 포맷(예를 들면, 8 비트 비디오보다 더 높고 YUV4:2:0보다 더 높은 채도 샘플링 포맷)에 묶여질 수 있다. 종횡비 확장성이 제공될 수 있다.

확장성	예	표준
뷰 확장성	2D→3D (2개 이상의 뷰)	MVC, MFC, 3DV
공간 확장성	720p→1080p	SVC, 스케일러블 HEVC
품질 (SNR) 확장성	35dB→38dB	SVC, 스케일러블 HEVC
시간 확장성	30fps→60fps	H.264/AVC, SVC, 스케일러블 HEVC
표준 확장성	H.264/AVC→HEVC	3DV, 스케일러블 HEVC
비트 깊이 확장성	8 비트 비디오→10 비트 비디오	스케일러블 HEVC
채도 포맷 확장성	YUV4:2:0→YUV4:2:2, YUV4:4:4	스케일러블 HEVC
종횡비 확장성	4:3→16:9	스케일러블 HEVC

스케일러블 비디오 코딩은 기본 레이어 비트스트림을 사용하여 비디오 파라미터의 제1 세트와 관련된 제1 레벨의 비디오 품질을 제공할 수 있다. 스케일러블 비디오 코딩은 하나 이상의 향상 레이어 비트스트림을 사용하여 향상된 파라미터의 하나 이상의 세트와 관련된 더 높은 품질의 하나 이상의 레벨을 제공할 수 있다. 비디오 파라미터의 세트는 공간 해상도, 프레임 레이트, 재구성된 비디오 품질(예를 들면, SNR, PSNR, VQM, 시각적 품질 등의 형태로), 3D 능력(예를 들면, 2개 이상의 뷰를 가짐), 루마(luma) 및 채도 비트 깊이, 채도 포맷 및 하부 단일 레이어 코딩 표준 중의 하나 이상을 포함할 수 있다. 표 1에 나타내는 바와 같이, 상이한 사용 예는 상이한 타입의 확장성을 필요로 할 수 있다. 본 명세서에서 논의되는 바와 같이, 스케일러블 코딩 아키텍처는 하나 이상의 확장성(예를 들면, 표 1에 목록화되어 있는 확장성)을 지원하도록 구성될 수 있는 공통 구조를 제공할 수 있다. 스케일러블 코딩 아키텍처는 최소 구성 노력으로 상이한 확장성을 지원하도록 유연성이 있을 수 있다. 스케일러블 코딩 아키텍처는 코딩 로직(예를 들면, 인코딩 및/또는 디코딩 로직)이 스케일러블 코딩 시스템 내에서 최대한으로 재활용될 수 있도록 블록 레벨 동작으로의 변화를 필요로 하지 않을 수 있는 적어도 하나의 바람직한 동작 모드를 포함할 수 있다. 예를 들면, 픽처 레벨 레이어 간 처리 및 관리 유닛을 기초로 하는 스케일러블 코딩 아키텍처가 제공될 수 있고, 여기에서 레이어 간 예측은 픽처 레벨에서 수행될 수 있다.

도 3은 2 레이어 스케일러블 비디오 인코더의 아키텍처의 예의 도면이다. 예를 들면, 향상 레이어 비디오 입력 및 기본 레이어 비디오 입력은 공간 확장성을 달성할 수 있는 다운샘플링 프로세스에 의해 서로에 대응할 수 있다. 도 3에 나타내는 바와 같이, 향상 레이어 비디오가 다운샘플러(3003)를 사용하여 다운샘플링될 수 있다. 기본 레이어 인코더(3006)(예를 들면, 이 예에서는 HEVC 인코더)는 기본 레이어 비디오 입력을 블록 단위로 인코딩하여 기본 레이어 비트스트림을 생성할 수 있다. 도 5는 도 3에서의 기본 레이어 인코더로서 사용될 수 있는 블록 기반 단일 레이어 비디오 인코더의 일례를 도시하는 도면이다. 도 5에 나타내는 바와 같이, 단일 레이어 인코더는 효율적인 압축을 달성하기 위해 및/또는 입력 비디오 신호를 예측하기 위해 공간 예측(5020)(예를 들면, 인트라 예측이라고 함) 및/또는 시간 예측(5022)(예를 들면, 인터 예측 및/또는 움직임 보상 예측이라고 함)과 같은 기술을 채용할 수 있다. 인코더는 가장 적절한 형태의 예측을 선택할 수 있는 모드 결정 로직(5002)을 가질 수 있다. 인코더 결정 로직은 레이트 및 변형 고려사항의 조합을 기초로 할 수 있다. 인코더는 변환 유닛(5004) 및 양자화 유닛(5006)을 각각 사용하여 예측 잔여(예를 들면, 입력 신호와 예측 신호 사이의 차이 신호)를 변환 및 양자화할 수 있다. 모드 정보(예를 들면, 인트라 또는 인터 예측) 및 예측 정보(예를 들면, 움직임 벡터, 참조 픽처 인덱스, 인트라 예측 모드 등)와 함께 양자화된 잔여는 엔트로피 코더(5008)에서 더욱 압축되고 출력 비디오 스트림으로 패킹될 수 있다. 인코더는 재구성된 잔여를 수득하기 위해 (예를 들면, 역양자화 유닛(5010)을 사용하여) 역양자화 및 (예를 들면, 역변환 유닛(5012)을 사용하여) 역변환을 양자화된 잔여에 적용함으로써 재구성된 비디오 신호를 또한 생성할 수 있다. 인코더는 재구성된 비디오 신호를 예측 신호(5014)에 되돌려 가산할 수 있다. 재구성된 비디오 신호는 (예를 들면, 디블로킹 필터, 샘플 적응 오프셋, 및/또는 적응형 루프 필터를 사용하여) 루프 필터 프로세스(5016)를 통과하여 진행할 수 있고, 장래의 비디오 신호를 예측하는 데 사용되도록 참조 픽처 스토어(5018)에 저장될 수 있다.

용어 참조 픽처 스토어는 본 명세서에서는 용어 디코딩된 픽처 버퍼 또는 DPB와 상호 교환 가능하게 사용될 수 있다. 도 6은 도 5의 인코더에 의해 생성되는 비디오 비트스트림을 수신할 수 있고 디스플레이될 비디오 신호를 재구성할 수 있는 블록 기반 단일 레이어 디코더의 일례의 블록도이다. 비디오 디코더에서, 비트스트림이 엔트로피 디코더(6002)에 의해 분석될 수 있다. 잔여 계수가 (예를 들면, 역양자화 유닛(6004)을 사용하여) 역양자화될 수 있고 (예를 들면, 역변환 유닛(6006)을 사용하여) 역변환되어 재구성된 잔여를 수득할 수 있다. 코딩 모드 및 예측 정보는 예측 신호를 수득하기 위해 사용될 수 있다. 이것은 공간 예측(6010) 및/또는 시간 예측(6008)을 사용하여 달성될 수 있다. 예측 신호 및 재구성된 잔여가 함께 가산되어 재구성된 비디오를 얻을 수 있다. 재구성된 비디오는 부가적으로, (예를 들면, 루프 필터(6014)를 사용하여) 루프 필터링을 거칠 수 있다. 재구성된 비디오는 그 후 장래의 비디오 신호를 디코딩하기 위해 사용되도록 및/또는 디스플레이되도록 참조 픽처 스토어(6012)에 저장될 수 있다.

도 3의 스케일러블 인코더의 예에 나타내는 바와 같이, 향상 레이어에서는, 향상 레이어(EL) 인코더(3004)는 더 높은 공간 해상도(및/또는 다른 비디오 파라미터의 더 높은 값)의 EL 입력 신호를 취할 수 있다. EL 인코더(3004)는 기본 레이어 비디오 인코더(3006)와 실질적으로 동일한 방식으로 예를 들면, 압축을 달성하기 위해 공간 및/또는 시간 예측을 이용하여 EL 비트스트림을 생성할 수 있다. 본 명세서에서 (예를 들면, 도 3에서 음영 표시된 화살표에 의해 나타내는 바와 같이) 레이어 간 예측(ILP)이라고 하는 추가의 예측 형태가 그 코딩 성능을 향상시키기 위해 향상 인코더에서 사용 가능하게 될 수 있다. 현재의 향상 레이어의 코딩된 비디오 신호를 기초로 하여 예측 신호를 도출하는 공간 및 시간 예측과 달리, 레이어 간 예측은 기본 레이어(및/또는 스케일러블 시스템 내에 2개 이상의 레이어가 존재하는 경우 다른 하위 레이어)로부터의 코딩된 비디오 신호를 기초로 하여 예측 신호를 도출할 수 있다. 적어도 2개의 형태의 레이어 간 예측에서는, 픽처 레벨 ILP 및 블록 레벨 ILP가 스케일러블 시스템 내에 존재할 수 있다. 픽처 레벨 ILP 및 블록 레벨 ILP가 본 명세서에서 논의되고 있다. 비트스트림 멀티플렉서(예를 들면, 도 3의 MUX(3014)는 하나의 스케일러블 비트스트림을 생성하기 위해 기본 레이어 및 향상 레이어 비트스트림을 함께 결합할 수 있다.

도 4는 2 레이어 스케일러블 비디오 디코더의 아키텍처의 예의 블록도이다. 도 4의 2 레이어 스케일러블 비디오 디코더 아키텍처는 도 3의 스케일러블 인코더에 대응할 수 있다. 예를 들면, 디멀티플렉서(예를 들면, DEMUX(4002))는 스케일러블 비트스트림을 기본 레이어 및 향상 레이어 비트스트림으로 분리시킬 수 있다. 기본 레이어 디코더(4006)는 기본 레이어 비트스트림을 디코딩할 수 있고 기본 레이어 비디오를 재구성할 수 있다. 향상 레이어 디코더(4004)는 향상 레이어 비트스트림을 디코딩할 수 있다. 향상 레이어 디코더는 현재의 레이어로부터의 정보 및/또는 하나 이상의 종속 레이어(예를 들면, 기본 레이어)로부터의 정보를 사용하여 향상 레이어 비트스트림을 디코딩할 수 있다. 예를 들면, 그러한 하나 이상의 종속 레이어로부터의 정보는 층간 처리를 거칠 수 있고, 이는 픽처 레벨 ILP 및/또는 블록 레벨 ILP가 사용되는 경우 달성될 수 있다. 도 3 및 도 4에 도시되지 않았지만, 추가의 ILP 정보가 MUX(3014)에서 기본 및 향상 레이어 비트스트림과 함께 다중화될 수 있다. ILP 정보는 DEMUX(4002)에 의해 디멀티플렉싱될 수 있다.

도 7은 픽처 레벨 ILP 지원을 받는 2 레이어 스케일러블 인코딩 시스템의 일례이다. 도 7의 BL 인코더(7006)(예를 들면, HEVC 인코더)는 도 5를 참조하여 논의된 것에 제한되는 것은 아니지만 이와 같은 공간 및/또는 시간 예측의 조합을 사용하여 BL 비디오 입력을 인코딩할 수 있다. BL 인코더는 예를 들면, 시간 움직임 보상 예측을 통해 입력 비디오 신호의 예측을 수행하기 위해 재구성된 픽처를 저장하도록 기본 레이어 DPB(7010)를 설립할 수 있다. 향상 레이어에서는, EL 인코더(7004)는 BL 인코더(7006)와 실질적으로 유사한 방식으로 동작할 수 있다. EL 인코더에 의해 입력 EL 비디오의 예측을 위한 참조 픽처를 제공할 수 있는 향상 레이어 DPB(7008)는 현재의 향상 레이어로부터의 참조 픽처 및/또는 하나 이상의 종속 레이어의 DPB(예를 들면, 도 7에 나타내는 바와 같은 BL DPB(7010))로부터의 참조 픽처를 포함할 수 있다. BL DPB로부터의 참조 픽처는 EL 비디오를 예측하는 데 사용되기 전에 레이어 간 예측 처리 및 관리 유닛(7012)에 의해 처리될 수 있다. 레이어 간 예측 처리 및 관리 유닛(7012)은 EL 비디오를 예측하는 데 BL DPB(7010)로부터의 픽처를 사용하기 전에 그들 픽처를 처리할 수 있다. ILP 처리 및 관리 유닛(7012)은 BL DPB(7010)에 저장된 하나 이상의 참조 픽처를 향상 레이어 비디오의 예측에 적합한 포맷으로 처리할 수 있다. ILP 처리 및 관리 유닛(7012)은 처리된 관리 픽처를 관리하여, 처리된 픽처 중 어느 것이 EL 인코더(7004)에 의해 EL 비디오에 대한 예측으로서 사용될지를 적응적으로 결정할 수 있다.

ILP 처리 및 관리 유닛은 BL DPB에 저장된 참조 픽처를 향상 레이어 비디오의 예측에 적합할 수 있는 포맷으로 처리할 수 있다. 처리의 유형(nature)은 BL과 EL 사이의 확장성의 타입을 기초로 할 수 있다. 예를 들면, BL 비디오 및 EL 비디오가 상이한 공간 해상도로 되어 있는 경우, 처리는 BL 및 EL 공간 해상도를 정렬하기 위해 업샘플링을 수반할 수 있다. 처리는 업샘플링 프로세스에 사용되는 파라미터를 전달할 수 있다. 예를 들면, ILP 처리 및 관리 유닛(7012)은 업샘플링 필터의 미리 정의된 세트를 설립할 수 있다. ILP 처리 및 관리 유닛(7012)은 BL DPB 내의 픽처를 업샘플링하기 위해 하나 이상의 미리 정의된 업샘플링 필터를 선택할 수 있고, 비트스트림 내의 하나 이상의 대응하는 필터 인덱스를 전송할 수 있다. 예를 들면, 디코더는 동일한 업샘플링 프로세스를 수행할 수 있다. ILP 처리 및 관리 유닛은 (예를 들면, 업샘플링된 참조가 EL 비디오를 더욱 효과적으로 예측하여 더욱 유리한 레이트 변형 특성(rate distortion characteristics)을 생성하는 데 사용될 수 있다는 의미로) 사용하기에 유리한 하나 이상의 업샘플링 필터를 도출(예를 들면, 적응적으로 도출)할 수 있다. 적응형 업샘플링 필터가 사용되는 경우에는, 필터 계수 및 필터 탭 사이즈가 비트스트림 내에 포함될 수 있다.

SNR 또는 품질 확장성의 다른 예에서는, BL 비디오 및 EL 비디오가 동일한 해상도를 가질 수 있다. BL 비디오는 거친 양자화(예를 들면, 더 낮은 품질을 갖고 더 낮은 비트 레이트)로 코딩될 수 있는 반면에, EL 비디오는 미세한 양자화(예를 들면, 더 높은 품질을 갖고 더 높은 비트 레이트)로 코딩될 수 있다. ILP 처리 및 관리 유닛(7012)은 BL DPB(7010) 내의 참조 픽처에 대해 노이즈 제거 및/또는 이미지 복원 타입의 동작을 수행할 수 있다. 그러한 노이즈 제거 또는 복원 동작은 적응형 필터(예를 들면, 최소 제곱 또는 LS 기술을 기초로 함), 샘플 적응 오프셋(SAO)(예를 들면, HEVC에 의해 지원될 수 있음), 및/또는 예를 들면, 양자화 노이즈를 감소시키는 것을 목적으로 하는 다른 타입의 노이즈 제거 필터에 제한되는 것은 아니지만 이들을 포함할 수 있다. 노이즈 제거 또는 복원 동작에 사용될 수 있는 대응하는 파라미터는 디코더로 시그널링될 수 있다. 그러한 노이즈 제거 또는 복원 기술은 공간 확장성 예에 대한 예측 효율성을 향상시키기 위해 업샘플링 프로세스와 결합될 수 있다. 도 7에 나타내는 바와 같이, 코딩된 EL 비트스트림, 코딩된 BL 비트스트림 및 ILP 정보가 스케일러블 HEVC 비트스트림으로 (예를 들면, MUX(7104)에서) 다중화될 수 있다.

공간 확장성 또는 종횡비 확장성의 다른 예에서, BL 비디오의 리타게팅(retargeting)이 수행될 수 있다. 리타게팅은 2개의 레이어들 간에 공간 대응을 확립하는데 사용될 수 있다. 예를 들어, 리타게팅은 BL 비디오의 픽처(하지만 반드시 전체 픽처인 것은 아님)와 연관된 공간 영역을 EL 비디오의 픽처(하지만 반드시 전체 픽처인 것은 아님)에 대응시킬 수 있다. 예를 들어, EL 비디오가 대형 스크린 TV 상에 디스플레이될 더 높은 해상도이고, BL 비디오가 한정된 스크린 해상도로 이동 장치 상에 디스플레이될 더 낮은 해상도일 때, BL 비디오는 EL 비디오의 일부를 나타낼 수 있다(예를 들어, EL 픽처의 관심있는 영역). 다양한 양의 수평 및/또는 수직 스케일링이, 예를 들어 BL 샘플이 BL 영역 내에 위치된 곳에 따라, BL의 공간 영역에 적용될 수 있다. 리타게팅은 종횡비 확장성에 이용될 수 있다. 예를 들어, BL이 4:3 종횡비로 이루어지고 EL이 16:9 종횡비로 이루어질 때, BL 영역 내의 주 객체(예를 들어, 뉴스 앵커)가 수평 및 수직 방향으로 동등한(예를 들어, 동일한) 스케일링을 적용함으로써 4:3 종횡비로 보존될 수 있는 반면에, 주변 영역은 EL의 16:9 종횡비에 맞도록 수평으로 늘어질 수 있다.

뷰 확장성의 일례로서, BL 비디오 및 EL 비디오가 스테레오스코픽 3D 비디오의 2개의 뷰를 나타낼 수 있다. BL 비디오는 하나의 뷰를 나타낼 수 있고 EL 비디오가 다른 보조 뷰를 나타낼 수 있다. ILP 처리 및 관리 유닛은 참조 픽처들이 EL 비디오에 대해 효과적인 예측 신호가 되도록 BL DPB 내의 참조 픽처에 격차 보상을 적용할 수 있다. 디코더가 동일한 격차 보상 처리를 수행하기 위해서, 격차 보상 동안 사용되는 파라미터(예를 들면, 아핀 변환이 사용되는 경우에는 아핀 변환 파라미터 및/또는 워핑(warping)이 사용되는 경우 워핑 파라미터)가 비트스트림으로 시그널링될 수 있다.

표 2는 ILP 처리 및 관리 유닛이 수행할 수 있는 기능 및 특정 기능이 사용될 수 있는 대응하는 확장성 타입의 예의 리스트를 나타낸다.

ILP 처리 예	적용 가능한 확장성 타입
업샘플링	공간 확장성, 채도 포맷 확장성
노이즈 제거, 복원, 리타게팅	SNR 또는 품질 확장성, 공간 확장성, 뷰 확장성, 표준 확장성, 종횡비 확장성 등
격차 보상	뷰 확장성
역 색조 매핑	비트 깊이 확장성

ILP 처리 및 관리 유닛은 처리된 참조 픽처를 관리할 수 있고, 참조 픽처 중 어느 것이 EL 인코더에 의한 예측으로서 사용될 수 있는지를 결정(예를 들면, 적응적으로 결정)할 수 있다. ILP 처리 및 관리 유닛은 얼마나 많은 및 어느 처리된 ILP 픽처가 현재의 향상 레이어 픽처의 예측에 사용될 수 있는지를 결정할 수 있다. 도 9는 시간 예측 및 향상 레이어 코딩을 위해 인에이블된 레이어 간 예측을 갖는 2 레이어 시스템의 일례를 도시하는 도면이다. 시간 예측을 위해, 도 9의 예측 구조는 레이어적 B 예측이라고 칭해질 수 있다. EL 픽처에 대해, 그 참조 픽처는 시간 도메인 내의 참조 픽처, BL 내의 참조 픽처의 동위치화된 픽처, 및/또는 동위치화된 BL 픽처의 시간 참조 픽처의 조합일 수 있다. 예를 들면, 픽처 EL2(9006)는 시간 참조(예를 들면, EL0(9004) 및/또는 EL4(9008)) 및/또는 레이어 간 참조(예를 들면, BL2(9010), BL0(9002), BL4(9012))로부터 예측될 수 있다. 레이어 간 참조의 집합(BL2, BL0, BL4)는 EL2 픽처(9006)를 예측하는 데 사용되기 전에 ILP 처리 및 관리 유닛에 의해 처리될 수 있다. 본 명세서에서 기술된 바와 같이, ILP 처리는 BL 참조 픽처를 EL용으로 적합할 수 있는 포맷(예를 들면, 적절한 공간 해상도, 비트 깊이 등)으로 처리할 수 있고/있거나 예를 들면, 기본 레이어 픽처에 대해 노이즈 제거 및/또는 복원을 적용함으로써 ILP 참조의 예측 품질을 향상시킬 수 있다.

처리된 ILP 참조 픽처는 효과적인 예측 신호를 제공할 수 있다. 향상 레이어 내의 더 많은 참조로부터 선택하는 것은 문제점들을 초래할 수 있다. 예를 들면, 블록 레벨에서는, 어떤 참조 픽처(들)가 예측 신호(들)을 수득하기 위해 선택될 수 있는지를 나타내기 위한 시그널링 오버헤드가 증가할 수 있다. 인코딩 복잡도는 참조 픽처의 확장된 세트에 대한 움직임 추정이 수행될 수 있기 때문에 또한 증가할 수 있다. 참조 픽처 선택 및 관리는 복잡도의 증가 없이 효율적인 스케일러블 코딩을 제공할 수 있다.

도 10은 ILP 처리 및 관리 유닛의 일례의 도면이다. 시간 인스턴스(instance) "t"에서, 기본 레이어 동위치화된 픽처 BLt(1054)는 BL DPB(1056)으로부터의 그 참조 픽처 BLt-1, BLt-2 및 BLt+1과 함께 처리되어 ILPt, ILPt-1, ILPt-2, ILPt+2가 될 수 있다. 이들 ILP 참조는 시간 참조 ELt-1, ELt-2 및 ELt+1과 함께 ILP 관리 유닛(1064)에 의해 조사될 수 있다. 서브세트가 선택될 수 있다. 도 10의 예에서는, 선택된 참조 픽처는 비-동위치화된 레이어 간 참조 픽처(예를 들면, ILPt+1(1070))를 포함할 수 있다. 또 다른 예를 들면, 선택된 참조 픽처는 동일한 시간 인스턴스에 대응할 수 있는 하나 이상의 참조 픽처(예를 들면, ILPt+1(1070) 및 ELt+1(1068)을 포함할 수 있다.

예를 들면, ILP 관리 유닛(1064)은 시간 및 레이어 간 참조(ELt-1, ELt-2, ELt+1, ILPt, ILPt-1, ILPt-2, ILPt+1)의 조합된 세트 내의 하나 이상의 참조와 현재의 EL 픽처, ELt 사이의 움직임 추정(예를 들면, 정수 픽셀 움직임 추정)을 수행할 수 있다. ILP 관리 유닛(1064)은 현재의 픽처와 하나 이상의 조사된 참조 픽처 사이의 움직임 추정 변형(예를 들면, 제곱 에러의 합, 평균 제곱 에러, 및/또는 절대 변환 변형(Absolute Transform Distortion)의 합)을 수집할 수 있다. ILP 관리 유닛(1064)은 미리 정의된 임계값보다 낮은 움직임 추정 변형을 결과적으로 생성하는 참조 픽처의 서브세트를 선택할 수 있다. ILP 처리 및 관리 유닛(1064)은 미리 정의된 수의 참조가 선택될 때까지 변형이 증가하는 순으로 참조 픽처의 서브세트를 선택할 수 있다. 멀티 패스(multi-pass) 인코딩이 ILP 관리 동작을 수행하는 데 사용될 수 있다. 예를 들면, 제1 인코딩 패스가 참조 픽처의 서브세트를 선택하는 데 적합한 비디오 코딩 통계를 수득하기 위해 사용될 수 있고, 하나 이상의 후속 인코딩 패스가 코딩 성능이 (예를 들면, 그 레이트 변형 특성에 관하여) 만족할만하다고 여겨질 수 있을 때까지 현재의 EL 픽처를 코딩하기 위해 사용될 수 있다. 도 10에 나타내는 바와 같이, ILP 관리 유닛(1064)은 어느 참조 픽처를 사용할지를 결정할 때 향상 레이어 비디오를 그 입력 중 하나로서 취할 수 있다.

픽처 레벨 ILP를 수행하면 하부 저레벨 인코딩 및 디코딩 로직이 단일 레이어 비스케일러블 시스템에서 사용되는 것과 실질적으로 동일하게 유지하는 것을 가능하게 할 수 있다. 예를 들면, 도 7에 나타내는 바와 같이, 향상 레이어 인코더(예를 들면, HEVC 인코더)는 (예를 들면, 레이어 간 참조 픽처를 포함하도록) 픽처에서의 최소 재구성 또는 슬라이스 레벨을 가능한 제외하고 기본 레이어 인코더(예를 들면, HEVC 인코더)와 실질적으로 동일한 방식으로 동작할 수 있다. ILP 처리 및 관리 유닛은 스케일러블 코딩을 인에이블시킬 수 있다. ILP 처리 및 관리 유닛은 시스템 내의 추가의 블록으로서 동작할 수 있다. 그러한 특성은 단일 레이어 인코더 및 디코더 설계가 최대한으로 재활용될 수 있음에 따라 실현 복잡도를 상당히 감소시키기 때문에 다수의 애플리케이션에서 매우 바람직하게 될 수 있다.

도 7의 EL 인코더(7004)는 ILP 처리 및 ILP 관리 동안 도 8의 EL 디코더(8004)가 동일한 레이어 간 참조를 구성하여 사용할 수 있게 하는데 사용되는 다양한 파라미터를 신호할 수 있다. 본 명세서에서 ILP 정보라고 칭하는 그러한 정보는 스케일러블 비트스트림의 일부로서 전송될 수 있다. 도 7에 나타내는 바와 같이, ILP 처리 및 관리 유닛(7012)은 BL 및 EL 비디오의 코딩된 비디오 데이터를 함유하는 패킷으로부터 ILP 정보를 별개로 패킷화할 수 있다. ILP 정보는 ILP 처리 및 관리 유닛을 단독 방식으로 실현시키도록 및 실현 복잡도를 감소시키도록 비디오 패킷과 별개로 전송될 수 있다. 예를 들면, HEVC 및 H.264에서는, 네트워크 추상 레이어(NAL) 유닛이 패킷화 유닛으로서 사용될 수 있다. HEVC 및 H.264를 하부 단일 레이어 코덱으로서 사용하는 스케일러블 시스템에서 있어서, ILP 처리 및 관리 유닛은 별개의 NAL 유닛의 ILP 정보를 전송할 수 있다. 도 7에서, 예를 들면, MUX(7014)는 ILP 정보를 EL 비트스트림 및 BL 비트스트림으로 반송하는 NAL 유닛을 다중화할 수 있다. 예를 들면, 도 8에 도시된 바와 같이, DEMUX 유닛(8002)은 BL 코딩된 슬라이스/픽처, EL 코딩된 슬라이스/픽처, 및 ILP 정보에 대응하는 NAL 유닛을 함유하는 스케일러블 비트스트림을 수신할 수 있다. DEMUX 유닛은 비트스트림을 디멀티플렉싱할 수 있고, BL 코딩된 슬라이스/픽처에 대응하는 NAL 유닛을 BL 디코더에, EL 코딩된 슬라이스/픽처에 대응하는 NAL 유닛을 EL 디코더에, 그리고 ILP 정보에 대응하는 NAL 유닛을 ILP 처리 및 관리 유닛에 전송할 수 있다.

스케일러블 비디오 코딩 시스템은 ILP 처리 및 관리 유닛에 의해 필요로 하는 ILP 정보를 전달하도록 HEVC 내의 적응 파라미터 세트(APS)를 사용할 수 있다. APS 패킷은 예를 들어, 특정의 nal_unit_type을 갖는 별개의 NAL 유닛일 수 있다. APS NAL 유닛은 단일 레이어 코딩에 사용되는 코딩 파라미터 예를 들면, 적응 루프 필터링(ALF) 파라미터 및/또는 디블로킹 파라미터를 포함할 수 있다. 각각의 APS NAL 유닛은 이들 코딩 파라미터를 어느 APS로부터 수득하는지를 식별하기 위해 코딩된 슬라이스에 의해 사용될 수 있는 aps_id가 할당될 수 있다. HEVC 내의 APS 신택스는 1 비트 플래그 aps_extension_flag를 함유할 수 있다. 예를 들면, aps_extension_flag가 1로 설정되는 경우, 추가의 APS 데이터가 후속할 수 있다. 본 명세서에 개시된 스케일러블 시스템은 ILP 정보를 APS 확장의 일부로서 반송할 수 있다. ILP 정보는 ILP 처리 파라미터(예를 들면, 공간 확장성이 인에이블되는 경우에는 업샘플링 필터, 뷰 확장성이 인에이블되는 경우에는 격차 보상 파라미터, 비트 깊이 확장성이 인에이블되는 경우에는 역 색조 매핑 파라미터 등)를 포함할 수 있다. ILP 정보는 ILP 관리 파라미터를 포함할 수 있다. ILP 관리 파라미터는 현재의 EL 픽처를 예측하기 위해 시간 참조 및/또는 레이어 간 참조의 서브세트를 특정할 수 있고, 이는 다른 참조 픽처 시그널링과 조합될 수 있다. ILP 관리 파라미터는 APS 확장의 일부가 아닐 수 있고, 슬라이스 세그먼트 헤더의 일부로서 시그널링될 수 있다.

레이어 간 처리는 기준 레이어 DPB로부터 재구성된 텍스처를 검색하여 진보된 필터링 기술을 적용할 수 있고, 이는 예를 들면, 향상 레이어에서의 코딩 효율성을 향상시키기 위해, 레이어 간 처리 동안에 기준 레이어 비트스트림으로부터의 움직임 정보 및 특정 모드에 의존할 수 있다. ILP는 BL DPB로부터 재구성된 텍스처 데이터를 초과하여 기본 레이어 정보를 이용할 수 있다. 인트라 모드 종속 방향성 필터(IMDDF: Intra Mode Dependent Directional Filter)가 제공될 수 있다. 예를 들면, 인크라 코딩된 기본 레이어 블록의 인트라 예측 모드가 향상 레이어 코딩 동안 레이어 간 예측을 위해 적절한 방향성 필터를 사용하기 전에 기본 레이어 재구성된 픽처에 적용될 적절한 방향성 필터를 선택하는 데 사용될 수 있다. 움직임 필드 매핑(MFM: Motion Field Mapping)이 제공될 수 있다. 기본 레이어 비트스트림으로부터의 블록 움직임 정보(예를 들면, 참조 픽처 인덱스 및 움직임 벡터를 포함할 수 있음)이 ILR 픽처에 대한 "가상" 움직임 필드를 형성하도록 매핑될 수 있다. 매핑된 가상 움직임 필드는 예를 들면, HEVC에 의해 지원되는 시간 움직임 벡터 예측(TMVP)을 통해 향상 레이어 움직임을 예측하는 데 사용될 수 있다.

기본 레이어 비트스트림으로부터의 모드 및 움직임 정보는 BL 디코더의 특정 구현에 따라서 사용 가능하게 될 수도 또는 되지 않을 수 있다. 예를 들면, 도 8의 스케일러블 디코딩 시스템이 HEVC의 ASIC 구현을 그 BL 디코더로서 사용하는 경우에, BL 디코더는 오픈 애플리케이션 프로그래밍 인터페이스(API)를 통해 ILP 처리 및 관리 유닛에 모드 및 움직임 정보를 제공하지 않을 수 있다. 진보된 ILP 처리는 기본 레이어로부터의 추가의 모드 및 움직임 정보(예를 들면, 도 8에 파선 및 점선으로 나타내는 바와 같음)가 사용 가능하게 되지 않는 경우 디스에이블될 수 있다.

표준 확장성은 BL 코덱 및 EL 코덱 예를 들면, 도 7 및 도 8의 코덱이 상이한 코덱이 가능하게 할 수 있다. 예를 들면, BL 코덱은 H.264/AVC 표준을 사용할 수 있고, EL 코덱은 HEVC 표준을 사용할 수 있다. BL 및 EL 코덱이 상이한 경우에, EL 코덱에 유용할 수 있는 특정 정보가 BL 코덱에 자동으로 존재하지 않을 수 있다. 예를 들면, HEVC 표준은 DPB 관리를 달성하기 위해 참조 픽처 세트(RPS)를 이용할 수 있다. H.264/AVC 표준에서는 RPS와 유사한 기능이 슬라이딩 윈도우 DPB 관리 및 메모리 관리 커맨드 옵션(MMCO: Memory Management Command Option)의 조합에 의해 제공될 수 있다. EL 코덱이 레이어 간 RPS 예측을 예를 들면, 본 명세서에 기술된 구현예 중 하나 이상에 따라서 수행하는 경우에는, 그리고 BL 코덱이 RPS 정보가 H.264/AVC를 기초로 할 수 있기 때문에 RPS 정보를 생성하지 않을 수 있는 경우에는, 레이어 간 RPS 예측은 간단한 방식으로 적용될 수 없다. 일부 경우에는, EL 코덱에 유용한 하나 이상의 타입의 정보가 예를 들면, BL 코덱이 EL 코덱과 상이한 표준을 사용하는 경우에는 사용 불가능하게 될 수 있다.

예를 들면, 기본 레이어(BL) 비디오 비트스트림 정보는 구현 제약으로 인해 사용 가능하게 되지 않을 수 있고/있거나 유효한 EL 비디오 코딩을 위해 사용될 적절한 포맷이 없을 수 있다. 본 명세서에 기술된 구현예는 향상된 ILP 처리 및 관리 유닛을 포함할 수 있다. 향상된 ILP 유닛은 코딩 효율성을 향상시키기 위해 및/또는 스케일러블 코딩 시스템에 최대의 설계 유연성을 제공하기 위해 추가의 기능을 수행할 수 있다.

향상된 ILP 유닛이 제공될 수 있다. 향상된 ILP 유닛은 스케일러블 코딩 효율성을 감소시키지 않고 제약(예를 들면, 구현 제약)을 극복하기 위해 이용될 수 있다. 향상된 ILP 유닛은 BL DPB에 저장된 참조 픽처를 향상 레이어 비디오의 예측에 적합할 수 있는 포맷으로 처리할 수 있다. 향상된 ILP 유닛은 처리된 참조 픽처를 관리할 수도 및/또는 처리된 픽처의 어느 것이 EL 인코더에 의해 EL 비디오에 대한 예측으로서 사용될지를 결정(예를 들면, 적응적으로 결정)할 수 있다. 향상된 ILP 유닛은 레이어 간 예측을 위해 이용될 수 있는 기본 레이어 비트스트림으로부터 모드 및 움직임 정보를 추출할 수 있다. 예를 들면, 향상된 ILP 유닛은 BL DPB에 저장된 참조 픽처를 향상 레이어 비디오의 예측에 적합할 수 있는 포맷으로 처리하기 위해 추출된 모드 및 움직임 정보를 사용할 수 있다. 향상된 ILP 유닛은 기본 레이어 비트스트림으로부터의 정보를 향상 레이어 코딩에 사용될 적절한 포맷으로 해석할 수 있다. 예를 들면, 향상된 ILP 유닛은 H.264/AVC BL 코덱에 사용되는 슬라이딩 윈도우 DPB 관리 및 MMCO를 EL 내의 HEVC 코덱에 의해 사용될 RPS로 해석할 수 있다.

도 12는 향상된 ILP 유닛(1202)을 사용할 수 있는 스케일러블 디코딩 시스템의 일례를 도시하는 도면이다. 도 12에 나타내는 바와 같이, 향상된 ILP 유닛(1202)은 예를 들면, 정보를 처리, 관리, 추출, 또는 해석하는 것을 포함하는 하나 이상의 기능을 수행할 수 있다. 향상된 ILP 유닛(1202)은 BL 재구성된 픽처를 이용하여, 처리된 BL 재구성된 픽처를 생성하기 위해 비트스트림 디멀피플렉서(DEMUX)에 의해 제공되는 ILP 정보에 따라서 레이어 간 처리 기술을 적용할 수 있다. BL 디코더(1212)가 레이어 간 처리를 위한 정보를 제공할 수 없는 경우(예를 들면, BL 디코더(1212)가 BL 비트스트림의 모드 및 움직임 정보가 아닌 재구성된 BL 픽처를 제공하는 경우), 향상된 ILP 유닛(1202)은 (예를 들면, 본 명세서에 기술된 바와 같이, 향상된 ILP 유닛의 추출 기능을 통해) 정보를 도출할 수 있다. 하나 이상의 처리된 BL 재구성된 픽처는 향상 레이어 코딩을 위해 EL DPB(1214)로 삽입딜 수 있다.

향상된 ILP 유닛(1202)은 DEMUS(1216)에 의해 제공되는 ILP 정보를 이용할 수 있고, 하나 이상의 처리된 BL 재구성된 픽처 중 어느 것이 EL DPB(1214)로 삽입될 수 있는지를 결정할 수 있다. 향상된 ILP 유닛은 처리된 BL 재구성된 픽처의 순서를 결정할 수 있다. BL 정보는 향상된 ILP 유닛에(예를 들면, 향상된 ILP 유닛의 관리 기능에) 적절한 포맷이 아닐 수 있다. 예를 들면, BL 정보는 BL 비트스트림이 EL 코덱에 의해 사용되는 표준과 상이한 표준을 사용하여 코딩되는 경우에 적절한 포맷이 아닐 수 있다. BL 정보가 향상된 ILP 유닛(1202)에 적절함 포맷이 아닌 경우에는, 향상된 ILP 유닛(1202)은 (예를 들면, 본 명세서에 기술된 바와 같이, 향상된 ILP 유닛(1202)의 해석 기능을 통해) BL 정보를 적절한 포맷으로 재포맷 및/또는 해석할 수 있다. 도 5에 예로서 나타내는 바와 같이, 향상된 ILP 유닛(1202)은 적절한 참조 픽처 버퍼 관리를 수행하기 위해 해석된 BL 정보를 이용할 수 있다.

향상된 ILP 유닛(1202)은 BL 정보를 추출할 수 있다. 예를 들면, BL 비디오 정보가 BL 디코더로부터 사용 가능하지는 않지만 (예를 들면, 향상된 ILP 유닛의 처리 기능을 위해) 향상된 ILP 유닛에 의해 이용될 수 있는 경우에는, 향상된 ILP 유닛은 BL 비트스트림을 분석하여 (예를 들면, BL 모드 및 움직임 정보로 제한되는 것은 아니지만 이와 같은) 정보를 추출할 수 있다. 분석되어 추출된 정보는 (예를 들면, 향상된 ILP 유닛의 처리 기능에 의해) 향상된 ILP 유닛에 의해 사용될 수 있다. 예를 들면, BL 모드 정보는 기본 레이어 블록이 인터 코딩되는지 또는 인트라 코딩되는지, 인트라 코딩된 기본 레이어 블록에 대한 방향성 인트라 예측 모드 등에 제한되는 것은 아니지만 이들을 포함할 수 있다. BL 움직임 정보는 기본 레이어 블록 파티션, 기본 레이어 블록 예측 방향 정보(예를 들면, 단방향 또는 양방향), 기본 레이어 블록 움직임 벡터, 기본 레이어 블록 참조 픽처 인덱스 등에 제한되는 것은 아니지만 이들을 포함할 수 있다.

향상된 ILP 유닛은 BL 정보를 해석할 수 있다. 예를 들면, BL 비디오 정보가 향상 레이어 코딩에 의해 사용되기에 적합한 포맷이 아닌 경우에는, 향상된 ILP 유닛은 BL 비디오 정보를 향상 레이어 코딩에 사용하기에 적합한 포맷으로 재포맷 및 해석할 수 있다. 예를 들면, 향상된 ILP 유닛은 스케일러블 시스템(예를 들면, 도 7 및 도 8에 예시된 시스템들)이 상이한 BL 및 EL 코드를 이용하는 경우 BL 정보를 재포맷 및 해석할 수 있다. 하이브리드 코덱이 스케일러블 시스템에 사용되는 경우에는, 향상된 ILP 유닛은 BL 코덱으로의 정보를 EL 코덱에 의해 사용되기에 적합한 포맷으로 해석 및 준비할 수 있다. 예를 들면, H.264/AVC 기본 레이어 코덱으로부터 슬라이딩 윈도우 및 MMCO 커맨드를 기초로 하는 DPB 관리 정보는 향상 레이어 코덱이 HEVC를 사용하는 경우 EL 코딩을 위한 RPS로 해석될 수 있다. 향상된 ILP 유닛은 임의의 BL 코덱으로부터의 정보를 임의의 향상 레이어 코덱에 의해 유용한 정보로 재포맷 및 해석할 수 있다. 도 12에 나타내는 바와 같이, 향상된 ILP 유닛의 출력은 예를 들면, 효율적인 레이어 간 예측을 위해 EL 디코딩된 픽처 버퍼(DPB)(1214)내에 삽입될 수 있는 처리된 BL 픽처를 포함할 수 있다. 향상된 ILP 유닛은 BL 모드 및 움직임 정보, 해석된 RPS 정보 등을 출력할 수 있다.

향상된 ILP 유닛(1202)은 예를 들면, 추가의 정보가 기본 레이어 코덱으로부터 쉽게 사용 가능하지 않은 경우에 효율적인 스케일러블 비디오 코딩을 달성하기 위해 이용될 수 있는 정보를 제공할 수 있다. 향상된 ILP 유닛(1202)은 단일 레이어 코덱 구현예의 사용을 최대화하기 위해 설계될 수 있다. 향상된 ILP 유닛(1202)은 예를 들면, 단일 레이어 코덱 구현예가 수행하지 못할 수 있는 흡수 기능에 의해 BL 코덱과 EL 코덱 사이의 심리스(seamless) 및 유효한 인터페이스를 제공할 수 있다. 예를 들면, 향상된 ILP 유닛(1202)은 기본 및 향상 레이어 코덱의 하위 레벨 기능(예를 들면, 인트라 예측, 인터 예측, 변환, 양자화, 역변환, 역양자화, 루프 필터링, 블록 재구성 등)에 영향을 주지 않고 효율적인 스케일러블 코딩을 허용할 수 있다. 향상된 ILP 유닛(1202)은 높은 코딩 효율성을 갖고 하이브리드 코덱 아키텍처를 지원할 수 있는 스케일러블 시스템 내에 사용될 수 있다(예를 들면, 기본 레이어 인코더 및/또는 디코더와 향상 레이어 인코더 및/또는 디코더가 상이한 코덱을 이용할 수 있다). 향상된 ILP 유닛은 구현 비용을 감소시키고 스케일러블 코딩 효율성을 유지할 수 있다.

도 3 및 도 4를 참조하면, 스케일러블 코딩 성능을 더욱 향상시키기 위해 사용될 수 있다. 블록 레벨 ILP는 향상 레이어 인코더 및 디코더가 기본 레이어 인코더 및 디코더의 하부 로직과 상이한 하부 로직을 (예를 들면, 추가의 코딩 모드, 산술 코딩을 위한 추가의 콘텍스트(context) 등의 형태로) 갖게 하는 것을 필요로 할 수 있지만, 블록 레벨 ILP는 레이트 변형 고려사항을 기초로 하여 동작 모드의 확장된 세트로부터 인코더가 선택할 수 있게 할 수 있다. 추가의 선택이 더 높은 스케일러블 코딩 성능의 형태로 나타날 수 있다. 예를 들면, 비디오 코딩 표준은 도 5 및 도 6에 도시된 블록도를 갖는 하이브리드 블록 기반 비디오 코딩 시스템일 수 있다.

HEVC의 경우에는, 비디오 블록이 예측을 위해 사용되는 경우에는 예측 유닛(PU), 코딩 유닛으로서 사용되는 경우에는 코딩된 트리 블록(CTB), 및 변환 및 역변환을 위해 사용되는 경우에는 변환 유닛(TU)으로 칭해질 수 있다. HEVC는 사지 트리(QT: quadtree) 기반 구획을 사용할 수 있다. 기본 레이어 및 향상 레이어 비디오 신호는 상관될 수 있기 때문에, (PU, TU 및 CTB에 제한되는 것은 아니지만 이들을 포함하는) 대응하는 블록 코딩 모드 및 사이즈가 상관될 수 있다. 그러한 상관은 QT 분할, PU, TU 및 CTB 모드 및/또는 향상 레이어에서의 사이즈의 코딩을 향상시키기 위해 향상 레이어 인코더 및 디코더에 의해 사용될 수 있다. 이것이 시그널링 오버헤드를 감소시킬 수 있다. 공간 확장성이 2개의 레이어 사이에서 인에이블될 때, 블록 사이즈 조정이 먼저 적용될 수 있다. 예를 들면, EL 비디오 및 BL 비디오가 2:1 공간 비인 경우(예를 들면, EL 비디오가 각 치수에서 2배 큰 경우), 기본 레이어 PU, TU 및 CTB 사이즈가 향상 레이어 블록 사이즈를 예측하는 데 사용되기 전에 각 치수에 2의 배수로 승산될 수 있다. 기본 레이어 블록 모드 및/또는 사이즈는 향상 레이어 블록 모드 및/또는 사이즈를 코딩하기 위해 추가의 이진 산술 코더의 콘텍스트로서 사용될 수 있다. 비디오 코딩 시스템은 블록(예를 들면, PU, TU, 또는 CTB)의 도출된 정보(예를 들면, 모드 및/또는 사이즈)를 에측 레벨 레이어 간 참조 픽처에 할당할 수 있다. 비디오 코딩 디바이스는 레이어 예를 들면, EL 레이어에서 블록을 예측하기 위해 블록의 이들 도출된 정보를 사용할 수 있다.

움직임 보상된 예측이 기본 레이어 및 향상 레이어 픽처 및/또는 슬라이스에 대해 동일한 시간 인스턴스 t에서 인에이블될 때, 기본 레이어로부터의 움직임 벡터가 향상 레이어의 움직임 벡터를 예측하는 데 사용될 수 있다. 예를 들면, 공간 확장성이 인에이블되는 경우, 기본 레이어로부터의 움직임 벡터가 적절하게 크기 조정될 수 있다. 예를 들면, 도 11에 예로서 나타내는 바와 같이, 시간 인스턴스 t에서 BL(1102)에서, 수평으로 해싱된 블록(1104)이 움직임 벡터 MVa(1106)에 의해 시간 인스턴스 (t-1)에서의 BL 참조로부터 예측될 수 있다. 시간 인스턴스 (t-1)에서 EL 참조로부터 예측되는 경우에, EL 내의 크기 조정된 수평으로 해싱된 블록(1108)은, 그 값이 R*MVa에 가까운 움직임 벡터를 가질 수 있고, 여기에서 R은 공간 축척 비(scaling ratio)일 수 있다. EL 내의 수직으로 해싱된 블록(1110)에 있어서, 대응하는 기본 레이어 수직 해싱된 블록(1112)은 움직임 벡터 MVb에 의해 시간 인스턴스 (t-2)로부터 예측될 수 있다. 시간 인스턴스 (t-2)에서 EL 참조로부터 예측되는 경우에, EL 내의 크기 조정된 수직으로 해싱된 블록(1116)은, 그 값이 R*MVb에 실질적으로 가까운 움직임 벡터를 가질 수 있다. 뷰 확장성이 인에이블되는 경우, 제1 뷰를 나타내는 기본 레이어로부터의 움직임 벡터가 워프될 수 있고/있거나 이 움직임 벡터가 제2 뷰를 나타내는 향상 레이어 내의 움직임 벡터와 최대로 상관될 수 있게 하기 위해 뷰 격차를 보상하도록 아핀 변환될 수 있다. 그러한 레이어 간 움직임 벡터 사이의 강한 상관의 이점을 취하기 위해, 크기 조정된 기본 레이어 움직임 벡터(또는 뷰 확장성의 경우에는 워프된/변환된 움직임 벡터)가 향상 레이어 움직임 벡터 코딩 비트를 감소시키기 위해 움직임 벡터 예측자로서 사용될 수 있다.

블록 레벨 레이어 간 예측은 기본 레이어 잔여로부터 향상 레이어 내의 잔여 신호를 예측하는 것을 수반할 수 있다. 예를 들면, 잔여 예측은 기본 레이어로부터의 블록 잔여가 (예를 들면, 필요한 경우 적절한 치수로 업샘플링된 후에) 향상 레이어 잔여 에너지 및 그것을 코딩하는 데 필요한 비트의 수를 더욱 감소시키기 위해 향상 레이어 잔여로부터 감산될 수 있는 경우 수행될 수 있다. 블록 레벨 레이어 간 예측 기술은 SVC에 사용된 것과 유사한 방식으로 EL 텍스처(예를 들면, 픽셀 값)를 코딩하는 데 사용될 수 있다. 상기 논의된 스케일러블 시스템에서는, 텍스처 예측이 픽처 레벨 ILP의 형태로 제공될 수 있다.

멀티 레이어 비디오 코딩용 스케일러블 아키텍처(예를 들면, 유연한 스케일러블 아키텍처)가 표 1에 리스트된 상이한 타입의 확장성 중 어느 하나를 지원하도록 재구성될 수 있다. 예를 들면, 하나의 동작 모드가 픽처 레벨 ILP에 집중할 수 있다. 예를 들면, ILP 처리 및 관리 유닛은 기본 레이어 참조 픽처를 처리할 수 있어, 기본 레이어 참조 픽처 세트가 적절한 포맷일 수 있고 향상 레이어 비디오 코딩에 정확하고 효과적인 예측 신호를 제공할 수 있게 된다. 예를 들면, ILP 처리 및 관리 유닛은 임의의 유리한 레이트, 변형, 및/또는 계산 복잡도 트레이드 오프(trade-off)를 달성하기 위해 시간 참조 및 처리된 레이어 간 참조의 조합으로부터 서브세트를 선택할 수 있다. 예를 들면, ILP 처리 및 관리 유닛은 ILP 정보를 별개의 NAL 유닛으로 패킷화할 수 있어, 레이어 간 예측 동작이 기본 및 향상 레이어 인코더 및 디코더 동작의 최소 방해를 받고 수행될 수 있게 된다. 픽처 레벨 ILP의 포함은 스케일러블 시스템이 기본 및 향상 레이어에서 단일 레이어 인코더 및 디코더를 최대한으로 재활용할 수 있게 함으로써 구현 복잡도를 감소시킬 수 있다.

도 13a는 하나 이상의 개시된 실시예가 구현될 수 있는 통신 시스템(100)의 일례의 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 무선 대역폭을 포함하는 시스템 자원의 공유를 통해 그러한 콘텐츠에 다수의 무선 사용자가 액세스할 수 있게 할 수 있다. 예를 들면, 통신 시스템(100)은 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 주파수 분할 다중 액세스(FDMA), 직교 FDMA(OFDMA), 단일 반송파 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법을 채용할 수 있다.

도 13a에 도시되는 바와 같이, 개시된 실시예는 임의의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 구성요소를 고려하는 것을 이해하겠지만, 통신 시스템(100)은 무선 송/수신 유닛(WTRU)(102a, 102b, 102c, 및/또는 102d)(전체적으로 또는 집합적으로 WTRU(102)로 칭해질 수 있음), 무선 액세스 네트워크(RAN)(103/104/105), 코어 네트워크(106/107/109), 공중 교환 전화 네트워크(PSTN: public switched telephone network)(108), 인터넷(110) 및 다른 네트워크를 포함할 수 있다. 각각의 WTRU(102a, 102b, 102c, 102d)는 무선 환경에서 동작 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수 있다. 예로서, WTRU(102a, 102b, 102c, 102d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 송/수신 유닛(WTRU), 이동국, 고정 또는 이동 가입자 유닛, 페이저(pager), 셀룰러 전화기, 개인 디지털 정보 단말(PDA), 스마트폰, 랩탑(laptop), 넷북(netbook), 퍼스널 컴퓨터, 무선 센서, 가전제품 등을 포함할 수 있다.

통신 시스템(100)은 또한 기지국(114a) 및 기지국(114b)을 포함할 수 있다. 각각의 기지국(114a, 114b)은 코어 네트워크(106/107/109), 인터넷(110), 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에의 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성되는 임의의 타입의 디바이스일 수 있다. 예로서, 기지국(114a, 114b)은 기지 송수신국(BTS), 노드-B, eNode B, 홈 노드 B, 홈 eNode B, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국(114a, 114b)은 각각 단일 구성요소로서 도시되어 있지만, 기지국(114a, 114b)은 임의의 수의 상호 연결된 기지국 및/또는 네트워크 구성요소를 포함할 수 있다.

기지국(114a)은 다른 기지국 및/또는 기지국 제어기(BSC), 무선 네트워크 제어기(RNC), 중계 노드 등과 같은 네트워크 구성요소(도시 생략)를 또한 포함할 수 있는 RAN(103/104/105)의 부분일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시 생략)이라고 칭해질 수 있는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 셀 섹터로 더욱 분리될 수 있다. 예를 들면, 기지국(114a)과 관련된 셀은 3개의 섹터로 분리될 수 있다. 그러므로, 일 실시예에서는, 기지국(114a)은 3개의 송수신기 즉, 셀의 각 섹터마다 하나를 포함할 수 있다. 일 실시예에서는, 기지국(114a)은 다중 입력 다중 출력(MIMO) 기술을 채용할 수 있으며, 그에 따라 셀의 각 섹터마다 다수의 송수신기를 이용할 수 있다.

기지국(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(RF), 마이크로웨이브, 적외선(IR), 자외선(UV), 가시 광 등)일 수 있는 무선 인터페이스(115/116/117)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 무선 인터페이스(115/116/117)는 임의의 적절한 무선 액세스 기술(RAT)을 사용하여 확립될 수 있다.

더욱 구체적으로는, 상기 지적한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 채용할 수 있다. 예를 들면, RAN(103/104/105) 내의 기지국(114a) 및 WTRU(102a, 102b, 102c, 102d)는 광대역 CDMA(WCDMA)를 사용하여 무선 인터페이스(115/116/117)를 확립할 수 있는 범용 이동 전기통신 시스템(UMTS) 지상 무선 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진보된 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.

일 실시예에서는, 기지국(114a) 및 WTRU(102a, 102b, 102c, 102d)는 롱 텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE-A)를 사용하여 무선 인터페이스(115/116/117)를 확립할 수 있는 진보된 UMTS 지상 무선 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.

일 실시예에서는, 기지국(114a) 및 WTRU(102a, 102b, 102c, 102d)는 IEEE 802.16(즉, 마이크로웨이브 액세스를 위한 월드와이드 상호 운용성(WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 이동 통신용 글로벌 시스템(GSM), GSM 에볼루션을 위한 증가된 데이터 속도(EDGE), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.

도 13a에서의 기지국(114b)은 예를 들면, 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수 있고, 사무소, 홈, 차량, 캠퍼스 등과 같은 국소화된 영역에서의 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서는, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신 네트워크(WLAN)를 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 일 실시예에서는, 기지국(114b) 및 WTRU(102c, 102d)는 무선 개인 영역 네트워크(WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또한 일 실시예에서는, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용할 수 있다. 도 13a에 도시되는 바와 같이, 기지국(114b)은 인터넷(110)에 직접 연결을 가질 수 있다. 그러므로, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 액세스할 필요가 없을 수 있다.

RAN(103/104/105)은 WTRU(102a, 102b, 102c, 102d) 중 하나 이상에 음성, 데이터, 애플리케이션, 및/또는 인터넷 전화 통화 규약(VoIP: voice over internet protocol) 서비스를 제공하도록 구성된 임의의 타입의 네트워크일 수 있는 코어 네트워크(106/107/109)와 통신하고 있을 수 있다. 예를 들면, 코어 네트워크(106/107/109)는 호 제어, 과금 서비스, 모바일 위치 기반 서비스, 선불 요금 호(pre-paid calling), 인터넷 연결성, 비디오 배포 등을 제공 및/또는 사용자 인증과 같은 고 레벨 보안 기능을 수행할 수 있다. 도 13a에 도시되지는 않지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN과 직접적으로 또는 간접적으로 통신하고 있을 수 있음을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용할 수 있는 RAN(103/104/105)에 추가하여, 코어 네트워크(106/107/109)는 또한 GSM 무선 기술을 채용하는 RAN(도시 생략)과 통신하고 있을 수 있다.

코어 네트워크(106/107/109)는 또한, WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 다른 네트워크(112)에 액세스하기 위한 게이트웨이로서의 역할을 할 수 있다. PSTN(108)은 기존 전화 서비스(POTS)를 제공하는 회선 교환 전화 네트워크를 포함할 수 있다. 인터넷(110)은 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 TCP/IP 인터넷 프로토콜 슈트(suite) 내의 인터넷 프로토콜(IP)과 같은 일반적인 통신 프로토콜을 사용하는 상호 연결된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수 있다. 네트워크(112)는 다른 서비스 제공자에 의해 소유 및/또는 동작되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(112)는 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 채용할 수 있는 하나 이상의 RAN에 연결되는 코어 네트워크를 포함할 수 있다.

통신 시스템(100) 내의 WTRU(102a, 102b, 102c, 102d)의 일부 또는 전부가 멀티 모드 능력을 포함할 수 있다, 즉, WTRU(102a, 102b, 102c, 102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다중 송수신기를 포함할 수 있다. 예를 들면, 도 13a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 채용할 수 있는 기지국(114a)와, 그리고 IEEE 802 무선 기술을 채용할 수 있는 기지국(114b)와 통신하도록 구성될 수 있다.

도 13b는 WTRU(102)의 일례의 시스템도이다. 도 13b에 도시되는 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송/수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), 글로벌 측위 시스템(GPS) 칩셋(136), 및 다른 주변장치(138)를 포함할 수 있다. WTRU(102)가 일 실시예와의 일관성을 유지하면서 이전의 구성요소의 임의의 서브 조합을 포함할 수 있음을 이해할 것이다. 또한, 실시예들은 기지국(114a 및 114b) 및/또는 특히 송수신국(BTS), 노드-B, 사이트 제어기, 액세스 포인트(AP), 홈 노드-B, 진보된 홈 노드-B(eNodeB), 홈 진보된 노드-B(HeNB), 홈 진보된 노드-B 게이트웨이, 및 프록시 노드에 제한되지는 않지만 이들과 같은 기지국(114a 및 114b)이 나타낼 수 있는 노드가 도 13b에 도시되는 및 본 명세서에 기술되는 구성요소의 일부 또는 각각을 포함할 수 있음을 고려한다.

프로세서(118)는 범용 프로세서, 특수 용도 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 관련되는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 특정 용도의 주문형 반도체(ASIC: Application Specific Integrated Circuit), 필드 프로그램 가능한 게이트 어레이(FPGA) 회로, 임의의 다른 타입의 집적 회로(IC), 상태 머신 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 처리, 전력 제어, 입/출력 처리, 및/또는 WTRU(102)가 무선 환경에서 동작하도록 인에이블시키는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송/수신 요소(122)에 결합될 수 있는 송수신기(120)에 결합될 수 있다. 도 13b가 프로세서(118) 및 송수신기(120)를 별개의 부품으로 도시하고 있지만, 프로세서(118) 및 송수신기(120)는 전자 패키지 또는 칩에 함께 집적될 수 있음을 이해할 것이다.

송/수신 요소(122)는 무선 인터페이스(115/116/117)를 통해 기지국(예를 들면, 기지국(114a))로부터 신호를 수신하거나 기지국으로 신호를 송신하도록 구성될 수 있다. 예를 들면, 일 실시예에서는, 송/수신 요소(122)는 RF 신호를 송신 및/또는 수신하도록 구성되는 안테나일 수 있다. 일 실시예에서는, 송/수신 요소(122)는 예를 들면, IR, UV, 또는 가시 광 신호를 송신 및/또는 수신하도록 구성되는 이미터/검출기일 수 있다. 또한 일 실시예에서는, 송/수신 요소(122)는 RF와 가시 광 신호의 양자를 송신 및 수신하도록 구성될 수 있다. 송/수신 요소(122)는 무선 신호의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있음을 이해할 것이다.

또한, 송/수신 요소(122)는 도 13b에서는 단일 요소로서 도시되어 있지만, WTRU(102)는 임의의 수의 송/수신 요소(122)를 포함할 수 있다. 더욱 구체적으로는, WTRU(102)는 MIMO 기술을 채용할 수 있다. 그러므로, 일 실시예에서는, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 무선 신호를 송신 및 수신하기 위한 2개 이상의 송/수신 요소(122)(예를 들면, 다중 안테나)를 포함할 수 있다.

송수신기(120)는 송/수신 요소(122)에 의해 송신되는 신호를 변조하고 송/수신 요소(122)에 의해 수신되는 신호를 복조하도록 구성될 수 있다. 상기 지적한 바와 같이, WTRU(102)는 멀티 모드 능력을 가질 수 있다. 그러므로, 송수신기(120)는 WTRU(102)가 예를 들면, UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 인에이블시키기 위한 다수의 송수신기를 포함할 수 있다.

WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(OLED) 디스플레이 유닛)에 결합될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(118)는 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고 이들 메모리에 데이터를 저장할 수 있다. 비착탈식 메모리(130)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 메모리 기억 디바이스를 포함할 수 있다. 착탈식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 일 실시예에서는, 프로세서(118)는 서버 또는 홈 컴퓨터(도시 생략) 상에와 같은 WTRU(102) 상에 물리적으로 위치하지 않는 메모리로부터의 정보에 액세스하고 이 메모리에 데이터를 저장할 수 있다.

프로세서(118)는 전원(134)으로부터 전력을 받을 수 있고, 전력을 WTRU(102) 내의 다른 부품에 배전 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력 공급을 위한 임의의 적절한 디바이스일 수 있다. 에를 들면, 전원(134)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이브리드(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

프로세서(118)는 또한, WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하여, 또는 그 대신에, WTRU(102)는 기지국(예를 들면, 기지국(114a, 114b))로부터 무선 인터페이스(115/116/117)를 통해 위치 정보를 수신할 수 있고/있거나 2개 이상의 근처의 기지국으로부터 수신된 신호의 타이밍을 기초로 하여 그 정보를 결정할 수 있다. WTRU(102)가 일 실시예와의 일관성을 유지하면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있음을 이해할 것이다.

프로세서(118)는 추가의 특징, 기능성 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변장치(138)에 추가로 결합될 수 있다. 예를 들면, 주변장치(138)는 가속도계, 전자 나침반(e-compass), 위성 송수신기, 디지털 카메라(사진 또는 비디오용), 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈 프리 헤드셋, 블루투스(등록상표) 모듈, 주파수 변조(FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.

도 13c는 일 실시예에 따르는 RAN(103) 및 코어 네트워크(106)의 시스템도이다. 상기 지적한 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 UTRA 무선 기술을 채용할 수 있다. RAN(103)은 또한 코어 네트워크(106)와 통신하고 있을 수 있다. 도 13c에 도시되는 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 송수신기를 각각 포함할 수 있는 노드-B(140a, 140b, 140c)를 포함할 수 있다. 노드-B(140a, 140b, 140c)는 RAN(103) 내의 특정 셀(도시 생략)과 각각 관련될 수 있다. RAN(103)은 또한 RNC(142a, 142b)를 포함할 수 있다. RAN(103)은 일 실시예와의 일관성을 유지하면서 임의의 수의 노드-B 및 RNC를 포함할 수 있음을 이해할 것이다.

도 13c에 도시되는 바와 같이, 노드-B(140a, 140b)는 RNC(142a)와 통신하고 있을 수 있다. 또한, 노드-B(140c)는 RNC(142b)와 통신하고 있을 수 있다. 노드-B(140a, 140b, 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로 통신하고 있을 수 있다. 각각의 RNC(142a, 142b)는 이들 RNC(142a, 142b)가 연결되는 각각의 노드-B(140a, 140b, 140c)를 제어하도록 구성될 수 있다. 또한, 각각의 RNC(142a, 142b)는 외부 루프 전력 제어, 부하 제어, 수락(admission) 제어, 패킷 스케줄링, 핸드오버 제어, 매크로 다이버시티(macro diversity), 보안 기능, 데이터 암호 등과 같은 다른 기능을 실행하거나 지원하도록 구성될 수 있다.

도 13c에 도시된 코어 네트워크(106)는 미디어 게이트웨이(MGW)(144), 이동 교환 센터(MSC)(146), 서비스하는 GPRS 지원 노드(SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(150)를 포함할 수 있다. 위의 구성요소의 각각이 코어 네트워크(106)의 부분으로서 도시되어 있지만, 이들 구성요소 중 어느 하나가 코어 네트워크 운용자와 다른 엔티티에 의해 소유 및/또는 운영될 수 있음을 이해할 것이다.

RAN(103) 내의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106) 내의 MSC(146)에 연결될 수 있다. MSC(146)는 MGW(144)에 연결될 수 있다. MSC(146) 및 MGW(144)는 WTRU(102a, 102b, 102c)와 재래식 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.

RAN(103) 내의 RNC(142a)는 IuPS 인터페이스를 통해 코어 네트워크(106) 내의 SGSN(148)에 연결될 수 있다. SGSN(148)은 GGSN(150)에 연결될 수 있다. SGSN(148) 및 GGSN(150)은 WTRU(102a, 102b, 102c)와 IP 인에이블된 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.

상기 지적한 바와 같이, 코어 네트워크(106)는 또한 다른 서비스 제공자에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 연결될 수 있다.

도 13d는 일 실시예에 따르는 RAN(104) 및 코어 네트워크(107)의 시스템도이다. 상기 지적한 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 E-UTRA 무선 기술을 채용할 수 있다. RAN(104)은 또한 코어 네트워크(107)와 통신하고 있을 수 있다.

RAN(104)은 일 실시예와의 일관성을 유지하면서 임의의 수의 eNode-B를 포함할 수 있음을 이해할 것이지만, RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수 있다. eNode-B(160a, 160b, 160c)는 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시예에서는, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수 있다. 그러므로, eNode-B(160a)는 예를 들면, WTRU(102a)에 무선 신호를 송신하고 WTRU(102a)로부터 무선 신호를 수신하기 위해 다중 안테나를 사용할 수 있다.

각각의 eNode-B(160a, 160b, 160c)는 특정 셀(도시 생략)과 관련될 수 있고 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 사용자의 스케줄링 등을 다루도록 구성될 수 있다. 도 13d에 도시되는 바와 같이, eNode-B(160a, 160b, 160c)는 X2 인터페이스를 통해 서로 통신할 수 있다.

도 13d에 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(MME)(162), 서비스하는 게이트웨이(164), 및 패킷 데이터 네트워크(PDN) 게이트웨이(166)를 포함할 수 있다. 위의 구성요소의 각각이 코어 네트워크(107)의 부분으로서 도시되어 있지만, 이들 구성요소 중의 어느 하나가 코어 네트워크 운용자와 다른 엔티티에 의해 소유 및/또는 운영될 수 있다.

MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B(160a, 160b, 160c)의 각각에 연결될 수 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 102c)의 사용자를 인증, 베어러 활성화/비활성화(bearer activation/deactivation), WTRU(102a, 102b, 102c)의 초기 접속 동안 특정의 서비스하는 게이트웨이를 선택할 책임이 있을 수 있다. MME(162)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 채용하는 다른 RAN(도시 생략)과 RAN(104) 사이의 교환을 위한 제어 플레인(plane) 기능을 제공할 수 있다.

서비스하는 게이트웨이(164)는 S1 인터페이스를 통해 eNode-B(160a, 160b, 160c)의 각각에 연결될 수 있다. 서비스하는 게이트웨이(164)는 일반적으로 WTRU(102a, 102b, 102c)로/로부터 사용자 데이터 패킷을 라우트 및 전송할 수 있다. 서비스하는 게이트웨이(164)는 또한 eNode B 간 핸드오버 동안 사용자 플레인을 앵커링(anchoring), 다운링크 데이터가 WTRU(102a, 102b, 102c)에 사용 가능한 경우 페이징을 트리거하는 것(triggering), WTRU(102a, 102b, 102c)의 콘텍스트를 관리 및 저장하는 것 등과 같은 다른 기능을 수행할 수 있다.

서비스하는 게이트웨이(164)는 또한, WTRU(102a, 102b, 102c)와 IP 인에이블된 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있는 PDN 게이트웨이(166)에 연결될 수 있다.

코어 네트워크(107)는 다른 네트워크와의 통신을 용이하게 할 수 있다. 예를 들면, 코어 네트워크(107)는 WTRU(102a, 102b, 102c)와 재래식 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다. 예를 들면, 코어 네트워크(107)는 코어 네트워크(107)와 PSTN(108) 사이의 인터페이스로서의 역할을 하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수 있거나 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(107)는 다른 서비스 제공자에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.

도 13e는 일 실시예에 따르는 RAN(105) 및 코어 네트워크(109)의 시스템도이다. RAN(105)은 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 IEEE 802.16 무선 기술을 채용하는 액세스 서비스 네트워크(ASN)일 수 있다. 이후에 더욱 논의되는 바와 같이, WTRU(102a, 102b, 102c), RAN(105), 및 코어 네트워크(109)의 상이한 기능 엔티티 사이의 통신 링크가 참조 포인트로서 정의될 수 있다.

도 13e에 도시된 바와 같이, RAN(105)은 일 실시예와의 일관성을 유지하면서 임의의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있음을 이해할 것이지만, RAN(105)은 기지국(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수 있다. 기지국(180a, 180b, 180c)은 각각 RAN(105) 내의 특정 셀(도시 생략)과 관련될 수 있고, 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시예에서는, 기지국(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 그러므로, 기지국(180a)은 예를 들면, WTRU(102a)에 무선 신호를 송신하고 WTRU(102a)로부터 무선 신호를 수신하기 위해 다중 안테나를 사용할 수 있다. 기지국(180a, 180b, 180c)은 또한 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스의 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 집중 포인트로서의 역할을 할 수 있고 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(109)로의 라우팅 등의 책임이 있을 수 있다.

WTRU(102a, 102b, 102c)와 RAN(105) 사이의 무선 인터페이스(117)는 IEEE 802.16 사양을 구현하는 R1 참조 포인트로서 정의될 수 있다. 또한, 각각의 WTRU(102a, 102b, 102c)는 코어 네트워크(109)와의 논리 인터페이스(도시 생략)를 확립할 수 있다. WTRU(102a, 102b, 102c)와 코어 네트워크(109) 사이의 논리 인터페이스는 인증, 허가, IP 호스트 구성 관리 및/또는 이동성 관리를 위해 사용될 수 있는 R2 참조 포인트로서 정의될 수 있다.

각각의 기지국(180a, 180b, 180c) 사이의 통신 링크는 기지국 사이의 데이터의 전송 및 WTRU 핸드오버를 용이하게 하기 위한 프로토콜을 포함하는 R8 참조 포인트로서 정의될 수 있다. 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182) 사이의 통신 링크는 R6 참조 포인트로서 정의될 수 있다. R6 참조 포인트는 각각의 WTRU(102a, 102b, 102c)와 관련되는 이동성 이벤트를 기초로 하는 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수 있다.

도 13e에 도시되는 바와 같이, RAN(105)은 코어 네트워크(109)에 연결될 수 있다. RAN(105)과 코어 네트워크(109) 사이의 통신 링크는 예를 들면, 데이터 전송 및 이동성 관리 능력을 용이하게 하기 위한 프로토콜을 포함하는 R3 참조 포인트로서 정의될 수 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(MIP-HA)(184), 인증, 허가, 과금(AAA) 서버(186), 및 게이트웨이(188)를 포함할 수 있다. 위의 구성요소의 각각은 코어 네트워크(109)의 부분으로서 도시되어 있지만, 이들 구성요소 중 어느 하나는 코어 네트워크 운용자와 다른 엔티티에 의해 소유 및/또는 운영될 수 있음을 이해할 것이다.

MIP-HA는 IP 어드레스 관리의 책임이 있을 수 있고, WTRU(102a, 102b, 102c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이에서 로밍하도록 인에이블시킬 수 있다. MIP-HA(184)는 WTRU(102a, 102b, 102c)와 IP 인에이블된 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다. AAA 서버(186)는 사용자 인증 및 사용자 서비스를 지원할 책임이 있을 수 있다. 게이트웨이(188)는 다른 네트워크와의 상호 연동을 용이하게 할 수 있다. 예를 들면, 게이트웨이(188)는 WTRU(102a, 102b, 102c)와 재래식 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다. 또한, 게이트웨이(188)는 다른 서비스 제공자에 의해 소유 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에의 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.

도 13e에 도시되지는 않았지만, RAN(105)가 다른 ASN에 연결될 수 있고 코어 네트워크(109)가 다른 코어 네트워크에 연결될 수 있음을 이해할 것이다. RAN(105)과 다른 ASN 사이의 통신 링크는 RAN(105)과 다른 ASN 사이에서의 WTRU(102a, 102b, 102c)의 이동성을 조정하기 위한 프로토콜을 포함할 수 있는 R4 참조 포인트로서 정의될 수 있다. 코어 네트워크(109)와 다른 코어 네트워크 사이의 통신 링크는 홈 코어 네트워크와 방문 코어 네트워크 사이의 상호 연동을 용이하게 하기 위한 프로토콜을 포함할 수 있는 R5 참조 포인트로서 정의될 수 있다.

당업자는 각각의 특징 또는 구성요소가 단독으로 또는 다른 특징 및 구성요소와의 임의의 조합으로 사용될 수 있음을 이해할 것이다. 또한, 본 명세서에 기술된 방법은 컴퓨터 또는 프로세서에 의해 실행하기 위한 컴퓨터로 판독 가능한 매체에 내장되는 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터로 판독 가능한 매체의 예는 전자 신호(유선 또는 무선 접속을 통해 전송됨) 및 컴퓨터로 판독 가능한 기억 매체를 포함한다. 컴퓨터로 판독 가능한 기억 매체의 예는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(DVD)와 같은 광학 매체에 제한되는 것은 아니지만 이들을 포함한다. 소프트웨어와 관련하여 프로세서는 WTRU에서 사용하기 위한 무선 주파수 송수신기, WTRU, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터를 구현하는 데 사용될 수 있다.

2 레이어 스케일러블 시스템을 사용하여 설명하였지만, 당업자는 본 명세서에 논의된 아키텍처를 멀티 레이어 스케일러블 비디오 코딩 시스템에 확장시킬 수 있다. 또한, HEVC가 전형으로서 단일 레이어 코덱에 종종 사용되었지만, 시스템은 하부 단일 레이어 비디오 코덱 자체에 의존성을 거의 갖지 않을 수 있고, 임의의 다른 단일 코덱과 결합될 수 있다. 당업자는 각각의 특징 또는 구성요소가 단독으로 또는 다른 특징 및 구성요소와의 임의의 조합으로 사용될 수 있음을 이해할 것이다.

본 명세서에 기술된 방법은 컴퓨터 또는 프로세서에 의해 실행하기 위한 컴퓨터로 판독 가능한 매체에 내장되는 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터로 판독 가능한 매체의 예는 (유선 또는 무선 연결을 통해 송신되는) 전자 신호 및 컴퓨터로 판독 가능한 기억 매체를 포함한다. 컴퓨터로 판독 가능한 기억 매체의 예는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(DVD)와 같은 광학 매체에 제한되는 것은 아니지만 이들을 포함한다. 소프트웨어와 관련하여 프로세서는 WTRU에서 사용하기 위한 무선 주파수 송수신기, WTRU, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터를 구현하는 데 사용될 수 있다.

Claims

방법에 있어서,
기본 레이어(BL: base layer) 및 향상 레이어(EL: enhancement layer)를 포함하는 비디오 신호를 수신하는 단계;
상기 BL로부터 BL 픽처를 재구성(reconstruct)하는 단계;
상기 BL 픽처에 대한 움직임 정보를 결정하는 단계;
레이어 간 참조 픽처를 생성하기 위하여 상기 BL 픽처에 대한 픽처 레벨 레이어 간 처리를 수행하는 단계;
상기 BL 픽처에 대한 움직임 정보를 사용하여 EL 참조 픽처에 대한 움직임 정보를 예측하는 단계; 및
상기 EL 참조 픽처를 사용하여 EL 픽처를 예측하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 결정하는 단계는, 인덱스 및 움직임 벡터를 결정하는 단계를 포함하는 것인, 방법.
제2항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 사용하여 EL 참조 픽처에 대한 움직임 정보를 예측하는 단계는, 상기 EL 참조 픽처에 대한 움직임 벡터 및 인덱스를 결정하는 단계를 포함하는 것인, 방법.
제2항에 있어서,
상기 EL 참조 픽처에 대한 움직임 정보를 예측하는 단계는, 상기 EL 참조 픽처에 사용하기 위한 움직임 벡터를 생성하기 위하여 상기 BL 픽처에 대한 움직임 벡터를 스케일링하는 단계를 포함하는 것인, 방법.
제1항에 있어서,
상기 EL 참조 픽처를 사용하여 EL 픽처를 예측하는 단계는, 시간 움직임 벡터 예측을 사용하여 상기 EL 픽처를 예측하는 단계를 포함하는 것인, 방법.
제1항에 있어서,
상기 EL 픽처를 예측하는 단계는, 상기 EL 참조 픽처에 대한 움직임 정보에 기초하여 상기 EL 픽처에 대한 향상 레이어 움직임 정보를 예측하는 단계를 포함하는 것인, 방법.
제1항에 있어서,
상기 EL 참조 픽처는 상기 레이어 간 참조 픽처인 것인, 방법.
제1항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 결정하는 단계는,
블록 파티션; 방향 정보; 움직임 벡터; 또는 참조 픽처 인덱스 중 적어도 하나를 결정하는 단계를 포함하는 것인, 방법.
제8항에 있어서,
상기 방향 정보는 단방향 예측(uni-prediction) 정보 및 양방향 예측(bi-prediction) 정보 중 하나 이상을 식별하는 정보를 포함하는 것인, 방법.
제1항에 있어서,
상기 BL 픽처에 대한 모드 정보를 결정하는 단계;
상기 모드 정보에 기초하여 상기 BL 픽처에 적용될 방향성 필터를 결정하는 단계; 및
필터링된 BL 픽처를 생성하기 위하여 상기 BL 픽처에 상기 결정된 방향성 필터를 적용하는 단계
를 더 포함하고,
상기 레이어 간 참조 픽처를 생성하기 위하여 상기 BL 픽처에 대한 픽처 레벨 레이어 간 처리를 수행하는 단계는, 상기 필터링된 BL 픽처에 픽처 레벨 레이어 간 처리를 수행하는 단계를 포함하는 것인, 방법.
시스템에 있어서,
프로세서를 포함하고, 상기 프로세서는,
기본 레이어(BL) 및 향상 레이어(EL)를 포함하는 비디오 신호를 수신하고;
상기 BL로부터 BL 픽처를 재구성하고;
상기 BL 픽처에 대한 움직임 정보를 결정하고;
레이어 간 참조 픽처를 생성하기 위하여 상기 BL 픽처에 대한 픽처 레벨 레이어 간 처리를 수행하고;
상기 BL 픽처에 대한 움직임 정보를 사용하여 EL 참조 픽처에 대한 움직임 정보를 예측하고; 그리고
상기 EL 참조 픽처를 사용하여 EL 픽처를 예측하도록 구성되는 것인, 시스템.
제11항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 결정하도록 구성된 프로세서는, 인덱스 및 움직임 벡터를 결정하도록 구성되는 것인, 시스템.
제12항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 사용하여 EL 참조 픽처에 대한 움직임 정보를 예측하도록 구성된 프로세서는, 상기 EL 참조 픽처에 대한 움직임 벡터 및 인덱스를 결정하도록 구성되는 것인, 시스템.
제12항에 있어서,
상기 EL 참조 픽처에 대한 움직임 정보를 예측하도록 구성된 프로세서는, 상기 EL 참조 픽처에 사용하기 위한 움직임 벡터를 생성하기 위하여 상기 BL 픽처에 대한 움직임 벡터를 스케일링하도록 구성되는 것인, 시스템.
제11항에 있어서,
상기 EL 참조 픽처를 사용하여 EL 픽처를 예측하도록 구성된 프로세서는, 시간 움직임 벡터 예측을 사용하여 상기 EL 픽처를 예측하도록 구성되는 것인, 시스템.
제11항에 있어서,
상기 EL 픽처를 예측하도록 구성된 프로세서는, 상기 EL 참조 픽처에 대한 움직임 정보에 기초하여 상기 EL 픽처에 대한 향상 레이어 움직임 정보를 예측하도록 구성되는 것인, 시스템.
제11항에 있어서,
상기 EL 참조 픽처는 상기 레이어 간 참조 픽처인 것인, 시스템.
제11항에 있어서,
상기 BL 픽처에 대한 움직임 정보를 결정하도록 구성된 프로세서는, 블록 파티션; 방향 정보; 움직임 벡터; 또는 참조 픽처 인덱스 중 적어도 하나를 결정하도록 구성되는 것인, 시스템.
제18항에 있어서,
상기 방향 정보는 단방향 예측 정보 및 양방향 예측 정보 중 하나 이상을 식별하는 정보를 포함하는 것인, 시스템.
제11항에 있어서,
상기 프로세서는 또한,
상기 BL 픽처에 대한 모드 정보를 결정하고;
상기 모드 정보에 기초하여 상기 BL 픽처에 적용될 방향성 필터를 결정하고; 그리고
필터링된 BL 픽처를 생성하기 위하여 상기 BL 픽처에 상기 결정된 방향성 필터를 적용하도록 구성되고,
상기 레이어 간 참조 픽처를 생성하기 위하여 상기 BL 픽처에 대한 픽처 레벨 레이어 간 처리를 수행하도록 구성된 프로세서는, 상기 필터링된 BL 픽처에 픽처 레벨 레이어 간 처리를 수행하도록 구성되는 것인, 시스템.