KR101946039B1

KR101946039B1 - 스케일가능한 비디오 코딩을 위한 계층간 예측

Info

Publication number: KR101946039B1
Application number: KR1020167010528A
Authority: KR
Inventors: 토르스텐 라우데; 샤오유 시우; 지에 동; 얀 예; 유웬 헤
Original assignee: 브이아이디 스케일, 인크.
Priority date: 2013-09-24
Filing date: 2014-09-24
Publication date: 2019-02-08
Anticipated expiration: 2034-09-24
Also published as: KR102136666B1; JP2016538740A; KR20190015605A; CN105765979B; US20160212436A1; CN105765979A; WO2015048176A8; US20190014333A1; JP6397902B2; CN110460843A; EP3050301A1; KR20160058927A; WO2015048176A1; JP2018201245A; US10148971B2

Abstract

시스템, 방법 및 수단은 향상 계층 화상의 계층간 예측을 위한 참조 화상으로서 향상된 계층간 참조(EILR) 화상을 이용하여 계층간 예측의 효율을 증가시키기 위해 개시된다. 휘도 성분 및/또는 계층간 참조(ILR) 화상의 색차 성분은 향상될 수 있다. 고주파 정보는 고역 통과 필터로 계층간 모션 보상(ILMC) 화상을 처리함으로써 획득될 수 있다. 저주파 정보는 저역 통과 필터로 ILR 화상을 처리함으로써 획득될 수 있다. EILR 화상은 고주파 정보, 저주파 정보 및/또는 ILR 화상의 함수로서 생성될 수 있다.

Description

스케일가능한 비디오 코딩을 위한 계층간 예측{INTER-LAYER PREDICTION FOR SCALABLE VIDEO CODING}

본 출원은 2013년 9월 24일에 출원된 미국 특허 가출원 제61/881,801호의 이익을 주장하며, 이 가출원의 개시물은 그 전체가 본 명세서에 통합된다.

비디오 코딩 시스템은 사용된 저장 자원 및/또는 디지털 비디오 신호의 전송 대역폭을 줄이기 위해 디지털 비디오 신호를 압축하는데 사용될 수 있다. 블록 기반, 웨이블릿 기반 및/또는 객체 기반 시스템과 같은 다양한 타입의 비디오 코딩 시스템 중에서, 블록 기반 하이브리드 비디오 코딩 시스템은일반적으로 사용되고 배치될 수 있다. 블록 기반 비디오 코딩 시스템의 예는 MPEG 1/2/4 파트 2, H.264/MPEG-4 파트 10 AVC, 및 VC-1 표준과 같은 국제 비디오 코딩 표준을 포함할 수 있다. 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준은 또한 블록 기반 하이브리드 비디오 코딩 프레임워크를 수행할 수 있다.

시스템, 방법 및 수단은 향상 계층 화상(enhancement layer picture)의 계층간 예측을 위한 참조 화상으로서 향상된 계층간 참조(enhanced inter-layer reference; EILR) 화상을 사용하여 계층간 예측의 효율을 증가시키기 위해 개시된다. 휘도 성분 및/또는 계층간 참조(ILR) 화상의 색차 성분은 향상될 수 있다. 고주파 정보는 고역 통과 필터로 계층간 모션 보상(inter-layer motion compensated; ILMC) 화상을 처리함으로써 획득될 수 있다. 저주파 정보는 저역 통과 필터로 ILR 화상을 처리함으로써 획득될 수 있다. EILR 화상은 고주파 정보, 저주파 정보 및/또는 ILR 화상의 함수로서 생성될 수 있다.

비디오 코딩 방법은 제 1 참조 화상 및 제 2 참조 화상을 수신하는 단계를 포함할 수 있다. 제 1 참조 화상은 고주파 정보를 생성하기 위해 고역 통과 필터로 처리될 수 있다. 제 2 참조 화상은 저주파 정보를 생성하기 위해 저역 통과 필터로 처리될 수 있다. 예측인자는 고주파 정보 및 저주파 정보의 선형 조합의 함수로서 생성될 수 있다.

도 1a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템의 시스템 다이어그램이다.
도 1b는 도 1a에 도시된 통신 시스템 내에 사용될 수 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 다이어그램이다.
도 1c는 도 1a에 도시된 통신 시스템 내에 사용될 수 있는 예시적인 무선 액세스 네트워크 및 예시적인 코어 네트워크의 시스템 다이어그램이다.
도 1d는 도 1a에 도시된 통신 시스템 내에 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 시스템 다이어그램이다.
도 1e는 도 1a에 도시된 통신 시스템 내에 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 시스템 다이어그램이다.
도 2는 예시적인 비디오 인코딩 시스템을 도시한 블록 다이어그램이다.
도 3은 예시적인 비디오 디코딩 시스템을 도시한 블록 다이어그램이다.
도 4는 예시적인 스케일가능한 비디오 인코딩 시스템을 도시한 블록 다이어그램이다.
도 5는 예시적인 두 계층 스케일가능한 비디오 디코딩 시스템을 도시한 블록 다이어그램이다.
도 6은 예시적인 계층간 예측 처리 및 관리 서브시스템을 도시한 다이어그램이다.
도 7은 원본(original) 향상 계층 화상 및 계층 간 예측(ILP) 화상 사이를 처리하는 예를 도시한 다이어그램이다.
도 8a 내지 도 8c는 원본 향상 계층 화상과 시간 참조 및 계층간 참조(ILR) 화상 사이의 예시적인 왜곡을 도시한 화상이다.
도 9는 ILR 향상의 예를 도시한 블록 다이어그램이다.
도 10은 ILR 향상의 다른 예를 도시한 블록 다이어그램이다.
도 11은 ILR 향상의 또 다른 예를 도시한 블록 다이어그램이다.
도 12는 ILR 향상의 예를 도시한 흐름 다이어그램이다.
도 13은 예시적인 EILR 맵을 도시한 다이어그램이다.
도 14는 ILR 향상의 다른 예를 도시한 흐름 다이어그램이다.
도 15는 ILR 향상의 예를 도시한 블록 다이어그램이다.

예시적인 실시예의 상세한 설명은 이제 여러 도면을 참조하여 설명될 것이다. 이러한 설명은 가능한 구현의 상세한 예를 제공하지만, 상세 사항은 예시적이고 본 출원의 범위를 결코 제한하지 않는 것으로 의도된다는 것이 주목되어야 한다.

도 1a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)의 다이어그램이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자가 무선 대역폭을 포함하는 시스템 자원의 공유를 통해 이러한 콘텐츠에 액세스하도록 할 수 있다. 예를 들어, 통신 시스템(100)은 코드 분할 다중 접속(code division multiple access; CDMA), 시분할 다중 접속(time division multiple access; TDMA), 주파수 분할 다중 접속(frequency division multiple access; FDMA), 직교 FDMA(OFDMA), 단일 반송파 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법을 이용할 수 있다.

도 1a에 도시된 바와 같이, 개시된 실시예가 다수의 WTRU, 기지국, 네트워크, 및/또는 네트워크 엘리먼트를 고려한다는 것이 이해될 것이지만, 통신 시스템(100)은 (일반적으로 또는 집합적으로 WTRU(102)로 지칭될 수 있는) 무선 송수신 유닛(WTRU)(102a, 102b, 102c, 및/또는 102d), 무선 액세스 네트워크(RAN)(103/104/105), 코어 네트워크(106/107/109), 공중 전화 교환망(public switched telephone network; PSTN)(108), 인터넷(110) 및 다른 네트워크들(112)을 포함할 수 있다. WTRU(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로서, WTRU(102a, 102b, 102c, 102d)는 무선 신호를 송신하고/하거나 수신하도록 구성될 수 있고, 사용자 장치(user equipment; UE), 이동국, 고정 또는 이동 가입자 유닛, 페이저, 셀룰러 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 가전 제품 등을 포함할 수 있다.

통신 시스템(100)은 또한 기지국(114a) 및 기지국(114b)을 포함할 수 있다. 기지국(114a, 114b) 각각은 코어 네트워크(106/107/109), 인터넷(110), 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로서, 기지국(114a, 114b)은 송수신 기지국(base transceiver station; BTS), Node-B, eNode B, Home Node B, Home eNode B, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국(114a, 114b)이 각각 하나의 엘리먼트로서 도시되어 있지만, 기지국(114a, 114b)은 다수의 상호 접속된 기지국 및/또는 네트워크 엘리먼트를 포함할 수 있다는 것이 이해될 것이다.

기지국(114a)은 또한 기지국 제어기(BSC), 무선 네트워크 제어기(RNC), 중계 노드 등과 같은 (도시되지 않은) 다른 기지국 및/또는 네트워크 엘리먼트를 포함할 수 있는 RAN(103/104/105)의 부분일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 (도시되지 않은) 셀로서 지칭될 수 있는 특정 지리적 영역 내에서 무선 신호를 송신하고/하거나 수신하도록 구성될 수 있다. 셀은 또한 셀 섹터로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 송수신기, 즉 셀의 각 섹터에 대해 하나를 포함할 수 있다. 다른 실시예에서, 기지국(114a)은 다중 입력 다중 출력(multiple-input multiple output; MIMO) 기술을 채용할 수 있으며, 따라서 셀의 각 섹터에 대한 다수의 송수신기를 이용할 수 있다.

기지국(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들어, 무선 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시 광선 등)일 수 있는 무선 인터페이스(115/116/117)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 무선 인터페이스(115/116/117)는 임의의 적절한 무선 액세스 기술(RAT)을 사용하여 설정될 수 있다.

보다 구체적으로, 상술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들어, RAN(103/104/105) 및 WTRU(102a, 102b, 102c, 102d)에서의 기지국(114a)은 광대역 CDMA(WCDMA)를 사용하여 무선 인터페이스(115/116/117)를 설정할 수 있는 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access; UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 Evolved HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.

다른 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 LTE(Long Term Evolution) 및/또는 LTE-A(LTE- Advanced)를 사용하여 무선 인터페이스(115/116/117)를 설정할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.

다른 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE (GERAN) 등과 같은 무선 기술을 구현할 수 있다.

도 1a에서의 기지국(114b)은 예를 들어, 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 가정, 차량, 캠퍼스 등과 같은 지역화된 영역에서 무선 접속을 용이하게 하기 위한 임의의 적합한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신망(WLAN)을 설정하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 다른 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 설정하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 설정하기 위해 셀룰러 기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷에 직접 접속할 수 있다. 따라서, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 액세스하기 위해 필요하지 않을 수 있다.

RAN(103/104/105)은 음성, 데이터, 애플리케이션, 및/또는 VoIP(voice over internet protocol)를 WTRU(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수 있는 코어 네트워크(106/107/109)와 통신할 수 있다. 예를 들어, 코어 네트워크(106/107/109)는 호 제어(call control), 과금 서비스, 모바일 위치 기반 서비스, 선불 호출, 인터넷 접속, 비디오 분배, 등을 제공하고/하거나, 사용자 인증과 같은 높은 수준의 보안 기능을 수행할 수 있다. 도 1a에 도시되지 않았지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN과 직접적 또는 간접적으로 통신할 수 있다는 것이 이해될 것이다. 예를 들면, E-UTRA 무선 기술을 활용할 수 있는 RAN(103/104/105)에 접속되는 것 이외에, 코어 네트워크(106/107/109)는 또한 GSM 무선 기술을 이용하는 (도시되지 않은) 다른 RAN과 통신할 수 있다.

코어 네트워크(106/107/109)는 또한 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 다른 네트워크(112)에 액세스하기 위한 게이트웨이의 역할을 할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화망을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 슈트(internet protocol suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜을 사용하는 상호 접속된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수 있다. 네트워크(112)는 다른 서비스 제공자가 소유하고/하거나 동작하는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크(112)는 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.

통신 시스템(100)에서의 WTRU(102a, 102b, 102c, 102d)의 일부 또는 모두는 다중 모드 능력을 포함할 수 있으며, 즉, WTRU(102a, 102b, 102c, 102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 송수신기를 포함할 수 있다. 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반의 무선 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 무선 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.

도 1b는 예시적인 WTRU(102)의 시스템 다이어그램이다. 도 1b에 도시된 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송신/수신 엘리먼트(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), 위성 위치 확인 시스템(GPS) 칩셋(136) 및 다른 주변장치들(138)을 포함할 수 있다. WTRU(102)는 실시예와 일치하면서 상술한 엘리먼트의 임의의 하위 조합을 포함할 수 있다는 것이 이해될 것이다. 또한, 실시예는 기지국(114a 및 114b), 및/또는 기지국(114a 및 114b)이 예컨대, 특히, 송수신국(transceiver station; BTS), Node-B, 사이트 제어기, 액세스 포인트(AP), 홈 노드 B, eNodeB(evolved home node-B), HeNB 또는 HeNodeB(home evolved node-B), 홈 진화된 노드 B 게이트웨이, 및 프록시 노드를 나타낼 수 있지만, 이에 제한되지 않을 수 있는 노드가 도 1b에 도시되고 본 명세서에서 설명되는 엘리먼트의 일부 또는 모두를 포함할 수 있다는 것을 고려한다.

프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 관련된 하나 이상의 마이크로프로세서, 제어기, 마이크로컨트롤러, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 회로, 임의의 다른 타입의 집적 회로(LC), 상태 머신 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리, 및/또는 WTRU(102)가 무선 환경에서 동작하도록 할 수 있는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송신/수신 엘리먼트(122)에 결합될 수 있는 송수신기(120)에 결합될 수 있다. 도 1b가 프로세서(118) 및 송수신기(120)를 별도의 구성 엘리먼트로서 도시하지만, 프로세서(118) 및 송수신기(120)는 전자 패키지 또는 칩에 함께 통합될 수 있다.

송신/수신 엘리먼트(122)는 무선 인터페이스(115/116/117)를 통해 신호를 기지국(예를 들어, 기지국(114a))으로 전송하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송신/수신 엘리먼트(122)는 RF 신호를 송신하고/하거나 수신하도록 구성된 안테나일 수 있다. 다른 실시예에서, 송신/수신 엘리먼트(122)는 예를 들어 IR, UV 또는 가시광 신호를 송신하고/하거나 수신하도록 구성된 에미터/검출기일 수 있다. 또 다른 실시예에서, 송신/수신 엘리먼트(122)는 RF 및 광 신호 모두 송수신하도록 구성될 수 있다. 송신/수신 엘리먼트(122)는 무선 신호의 임의의 조합을 송신하고/하거나 수신하도록 구성될 수 있다는 것이 이해될 것이다.

게다가, 송신/수신 엘리먼트(122)가 단일 엘리먼트로서 도 1b에 도시되어 있지만, WTRU(102)는 다수의 송신/수신 엘리먼트(122)을 포함할 수 있다. 특히, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 무선 신호를 송수신하기 위한 둘 이상의 송신/수신 엘리먼트(122)(예를 들어, 다수의 안테나)를 포함할 수 있다.

송수신기(120)는 송신/수신 엘리먼트(122)에 의해 송신되는 신호를 변조하고, 송신/수신 엘리먼트(122)에 의해 수신되는 신호를 복조하도록 구성될 수 있다. 상술한 바와 같이, WTRU(102)는 다중 모드 능력을 가질 수 있다. 따라서, 송수신기(120)는 예를 들어 UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 WTRU(102)가 통신할 수 있도록 하기 위한 다수의 송수신기를 포함할 수 있다.

WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, LCD(liquid crystal display) 표시 유닛 또는 유기 발광 다이오드(OLED) 표시 유닛)에 결합될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로 사용자 데이터를 출력할 수 있다. 게다가, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고, 이러한 메모리 내에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 다른 실시예에서, 프로세서(118)는 (도시되지 않은) 서버 또는 홈 컴퓨터와 같이 WTRU(102) 상에 물리적으로 위치되지 않는 메모리로부터 정보에 액세스하고, 이러한 메모리 내에 데이터를 저장할 수 있다.

프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102)에서 다른 구성 엘리먼트로의 전력을 분배하고/하거나 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 드라이 셀 배터리(dry cell batteries)(예를 들어, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 수소(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하거나 대신에, WTRU(102)는 기지국(예를 들어, 기지국(114a, 114b)으로부터 무선 인터페이스(115/116/117)를 통해 위치 정보를 수신하고/하거나, 둘 이상의 인접한 기지국으로부터 수신되는 신호의 타이밍에 기초하여 위치를 결정할 수 있다. WTRU(102)는 실시예와 일치하면서 임의의 적절한 위치 결정 구현에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.

프로세서(118)는 또한 추가적인 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변장치들(138)에 결합될 수 있다. 예를 들어, 주변장치들(138)은 가속도계, 전자 나침반(e-compass), 위성 송수신기, (화상 또는 비디오용) 디지털 카메라, 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈 프리 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 라디오 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.

도 1c는 실시예에 따라 RAN(103) 및 코어 네트워크(106)의 시스템 다이어그램이다. 상술한 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 UTRA 무선 기술을 이용할 수 있다. RAN(103)은 또한 코어 네트워크(106)와 통신할 수 있다. 도 1c에 도시된 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 각각 하나 이상의 송수신기를 포함할 수 있는 Node-B(140a, 140b, 140c)를 포함할 수 있다. Node-B(140a, 140b, 140c)는 각각 RAN(103) 내의 (도시되지 않은) 특정 셀과 연관될 수 있다. RAN(103)은 또한 RNC(142a, 142b)를 포함할 수 있다. RAN(103)은 실시예와 일치하면서 다수의 Node-B 및 RNC를 포함할 수 있다는 것이 이해될 것이다.

도 1c에 도시된 바와 같이, Node-B(140a, 140b)는 RNC(142a)와 통신할 수 있다. 추가적으로, Node-B(140c)는 RNC(142b)와 통신할 수 있다. Node-B(140a, 140b, 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로와 통신할 수 있다. RNC(142a, 142b) 각각은 접속되는 각각의 Node-B(140a, 140b, 140c)를 제어하도록 구성될 수 있다. 게다가, RNC(142a, 142b) 각각은 외부 루프 전력 제어, 부하 제어, 승인 제어, 패킷 스케쥴링, 핸드오버 제어, 매크로다이버시티(macrodiversiiy), 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행하거나 지원하도록 구성될 수 있다.

도 1c에 도시된 코어 네트워크(106)는 미디어 게이트웨이(MGW)(144), 이동 전화 교환국(mobile switching center; MSC)(146), 서빙 GPRS 지원 노드(SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(150)를 포함할 수 있다. 상술한 엘리먼트 각각이 코어 네트워크(106)의 부분으로서 도시되어 있지만, 이들 엘리먼트 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해될 것이다.

RAN(103)에서의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106)에서의 MSC(146)에 접속될 수 있다. MSC(146)는 MGW(144)에 접속될 수 있다. MSC(146) 및 MGW(144)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 디바이스(land-line communications devices) 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

RAN(103)에서의 RNC(142a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(106)에서의 SGSN(148)에 접속될 수 있다. SGSN(148)은 GGSN(150)에 접속될 수 있다. SGSN(148) 및 GGSN(150)은 WTRU(102a, 102b, 102c)와 IP 가능(IP-enabled) 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

상술한 바와 같이, 코어 네트워크(106)는 또한 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 접속될 수 있다.

도 1d는 실시예에 따라 RAN(104) 및 코어 네트워크(107)의 시스템 다이어그램이다. 상술한 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 E-UTRA 무선 기술을 이용할 수 있다. RAN(104)은 또한 코어 네트워크(107)와 통신할 수 있다.

RAN(104)은 실시예와 일치하면서 다수의 eNode-B를 포함할 수 있다는 것이 이해될 것이지만, RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수 있다. eNode-B(160a, 160b, 160c)는 각각 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 각각 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는 예를 들어 무선 신호를 WTRU(102a)로 송신하고, WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다.

eNode-B(160a, 160b, 160c) 각각은 (도시되지 않은) 특정 셀과 연관될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 사용자의 스케줄링 등을 처리하도록 구성될 수 있다. 도 1d에 도시된 바와 같이, eNode-B(160a, 160b, 160c)는 X2 인터페이스를 통해 서로 통신할 수 있다.

도 1d에 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(mobility management gateway; MME)(162), 서빙 게이트웨이(164) 및 패킷 데이터 네트워크(PDN) 게이트웨이(166)를 포함할 수 있다. 상술한 엘리먼트 각각이 코어 네트워크(107)의 부분으로서 도시되어 있지만, 이들 엘리먼트 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해될 것이다.

MME(162)는 S1 인터페이스를 통해 RAN(104)에서 eNode-B(160a, 160b, 160c) 각각에 접속될 수 있고, 제어 노드의 역할을 할 수 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 102c)의 사용자를 인증하고, 베어러를 활성화/비활성화하며, WTRU(102a, 102b, 102c)의 초기 부착 동안에 특정 서빙 게이트웨이를 선택할 책임 등이 있을 수 있다. MME(162)는 또한 RAN(104)과, GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 (도시되지 않은) 다른 RAN 사이에서 전환을 위한 제어 평면 기능을 제공할 수 있다.

서빙 게이트웨이(164)는 S1 인터페이스를 통해 RAN(104)에서 eNode-B(160a, 160b, 160c) 각각에 접속될 수 있다. 서빙 게이트웨이(164)는 일반적으로 WTRU(102a, 102b, 102c)로/로부터 사용자 데이터 패킷을 라우팅하고 전송할 수 있다. 서빙 게이트웨이(164)는 또한 eNode B간 핸드오버 동안 사용자 평면을 앵커링(anchoring)하고, 다운링크 데이터가 WTRU(102a, 102b, 102c)에 이용 가능할 때 페이징을 트리거하며, WTRU(102a, 102b, 102c)의 콘텍스트를 관리하고 저장하는 것과 같은 다른 기능을 수행한다.

서빙 게이트웨이(164)는 또한 WTRU(102a, 102b, 102c)와 IP 가능 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있는 PDN 게이트웨이(166)에 접속될 수 있다.

코어 네트워크(107)는 다른 네트워크와의 통신을 용이하게 할 수 있다. 예를 들어, 코어 네트워크(107)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. 예를 들어, 코어 네트워크(107)는 코어 네트워크(107)와 PSTN(108) 사이의 인터페이스의 역할을 하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수 있거나 이러한 IP 게이트웨이와 통신할 수 있다. 게다가, 코어 네트워크(107)는 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

도 1e는 실시예에 따라 RAN(105) 및 코어 네트워크(109)의 시스템 다이어그램이다. RAN(105)은 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 IEEE 802.16 무선 기술을 이용하는 액세스 서비스 네트워크(ASN)일 수 있다. 아래에 더 논의되는 바와 같이, WTRU(102a, 102b, 102c), RAN(105), 및 코어 네트워크(109)의 상이한 기능적 엔티티 사이의 통신 링크는 참조점으로서 정의될 수 있다.

도 1e에 도시된 바와 같이, RAN(105)은 실시예와 일치하면서 다수의 기지국(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수 있다는 것이 이해될 것이지만, RAN(105)은 기지국(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수 있다. 기지국(180a, 180b, 180c)은 각각 RAN(105)에서 (도시되지 않은) 특정 셀과 연관될 수 있고, 각각 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, 기지국(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 따라서, 기지국(180a)은 예를 들어 무선 신호를 WTRU(102a)로 송신하고, WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다. 기지국(180a, 180b, 180c)은 또한 핸드오프 트리거링(handoff triggering), 터널 설정, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 집행 등과 같은 이동성 관리 기능을 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 집약 포인트의 역할을 할 수 있고, 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(109)로의 라우팅 등에 책임이 있을 수 있다.

WTRU(102a, 102b, 102c)와 RAN(105) 사이의 무선 인터페이스(117)는 IEEE 802.16 규격을 구현하는 R1 참조점으로 정의될 수 있다. 또한, WTRU(102a, 102b, 102c) 각각은 코어 네트워크(109)로 (도시되지 않은) 논리적 인터페이스를 설정할 수 있다. WTRU(102a, 102b, 102c)와 코어 네트워크(109) 사이의 논리적 인터페이스는 인증, 인가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있는 R2 참조점으로 정의될 수 있다.

기지국(180a, 180b, 180c) 각각 사이의 통신 링크는 WTRU 핸드오버 및 기지국 사이의 데이터 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 참조점으로 정의될 수 있다. 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182) 사이의 통신 링크는 R6 참조점으로 정의될 수 있다. R6 참조점은 WTRU(102a, 102b, 102c) 각각과 연관된 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수 있다.

도 1e에 도시된 바와 같이, RAN(105)은 코어 네트워크(109)에 접속될 수 있다. RAN(105)과 코어 네트워크(109) 사이의 통신 링크는 예를 들어 데이터 전송 및 이동성 관리 능력을 용이하게 하기 위한 프로토콜을 포함하는 R3 참조점으로 정의될 수 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(MIP-HA)(184), 인증, 인가, 과금(authentication, authorization, accounting; AAA) 서버(186), 및 게이트웨이(188)를 포함할 수 있다. 상술한 엘리먼트 각각이 코어 네트워크(109)의 부분으로서 도시되어 있지만, 이들 엘리먼트 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해될 것이다.

MIP-HA는 IP 어드레스 관리에 책임이 있을 수 있으며, WTRU(102a, 102b, 102c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이를 로밍하도록 할 수 있다. MIP-HA(184)는 WTRU(102a, 102b, 102c)와 IP 가능 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. AAA 서버(186)는 사용자를 인증하고 사용자 서비스를 지원하기 위한 책임이 있을 수 있다. 게이트웨이(188)는 다른 네트워크와의 연동을 용이하게 할 수 있다. 예를 들어, 게이트웨이(188)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. 게다가, 게이트웨이(188)는 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

도 1e에 도시되지 않았지만, RAN(105)는 다른 ASN에 접속될 수 있고, 코어 네트워크(109)는 다른 코어 네트워크에 접속될 수 있다는 것이 이해될 것이다. RAN(105)과 다른 ASN 사이의 통신 링크는 RAN(105)과 다른 ASN 사이의 WTRU(102a, 102b, 102c)의 이동성을 조정하기 위한 프로토콜을 포함할 수 있는 R4 참조점으로 정의될 수 있다. 코어 네트워크(109)와 다른 코어 네트워크 사이의 통신 링크는 홈 코어 네트워크와 방문 코어 네트워크 사이의 연동을 용이하게 하기 위한 프로토콜을 포함할 수 있는 R5 참조점으로 정의될 수 있다.

개시된 발명의 대상(subject matter)에 따르면, 계층간 예측의 효율은 향상 계층 화상의 계층간 예측을 위한 참조 화상으로서 향상된 계층간 참조(EILR) 화상을 사용하여 증가될 수 있다. 휘도 성분 및/또는 계층간 참조(ILR) 화상의 색차 성분은 향상될 수 있다. 고주파 정보는 고역 통과 필터로 계층간 모션 보상(ILMC) 화상을 처리함으로써 획득될 수 있다. 저주파 정보는 저역 통과 필터로 ILR 화상을 처리함으로써 획득될 수 있다. EILR 화상은 고주파 정보, 저주파 정보 및/또는 ILR 화상의 함수로서 생성될 수 있다.

도 2는 예시적인 블록 기반 하이브리드 비디오 인코딩 시스템(200)을 도시한다. 입력 비디오 신호(202)는 블록 단위로 처리될 수 있다. 비디오 블록 유닛은 16×16 픽셀로 구성될 수 있다. 이러한 블록 유닛은 또한 일반적으로 매크로 블록 또는 MB로 지칭될 수 있다. HEVC에서, 코딩 유닛 또는 CU로 알려진 확장된 블록 크기는 예를 들어 1080p 이상의 해상도를 갖는 고해상도 비디오 신호를 효율적으로 압축하기 위해 사용될 수 있다. CU는 사각형일 수 있고, 유연한 크기를 가질 수 있다. 가장 큰 크기는 시퀀스에 기초하여 설정될 수 있으며, 예를 들어 64×64 픽셀일 수 있다. CU는 또한 별도의 예측 방법이 적용되는 예측 유닛 또는 PU로 분할될 수 있다. 입력 비디오 블록(MB 또는 CU)에 대해, 공간적 예측 및/또는 시간적 예측은 각각 260 및 262에서 수행될 수 있다. 공간적 예측(예를 들어, 인트라 예측)은 현재 비디오 블록을 예측하기 위해 동일한 비디오 화상/슬라이스에서의 이미 코딩된 이웃한 블록으로부터의 픽셀을 이용할 수 있다. 공간적 예측은 비디오 신호에서 고유의 공간적 중복성(redundancy)을 감소시킬 수 있다. (예를 들어, 또한 인터 예측 또는 모션 보상 예측으로 지칭되는) 시간적 예측은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 화상으로부터의 픽셀을 이용할 수 있다. 시간적 예측은 비디오 신호에서 고유의 시간적 중복성을 감소시킬 수 있다. 주어진 비디오 블록에 대한 시간적 예측 신호는 예를 들어 다중 참조 화상이 사용되는 경우에 하나 이상의 모션 벡터 및/또는 하나 이상의 참조 화상 인덱스를 포함할 수 있다. 이러한 참조 화상 인덱스는 시간적 예측 신호가 올 수 있는 참조 화상 저장부(264)에 있는 어떤 참조 화상으로부터 식별하기 위해 포함될 ㅅ된수 있다. 공간적 및/또는 시간적 예측 후, 인코더 내의 모드 결정 블록(280)은 예측 모드를 선택할 수 있으며, 예를 들어, 레이트 왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택할 수 있다. 예측 블록은 216에서 현재 비디오 블록으로부터 감산될 수 있다. 예측 잔여(prediction residual)는 204에서 변환될 수 있고/있거나 206에서 양자화될 수 있다. 양자화된 잔여 계수는 210에서 역 양자화될 수 있고/있거나 재구성된 잔여를 형성하기 위해 212에서 역 변환될 수 있으며, 이러한 재구성된 잔여는 재구성된 비디오 블록을 형성하기 위해 226에서 예측 블록에 다시 추가될 수 있다. 디블로킹 필터(deblocking filter) 및/또는 적응성 루프 필터와 같은 추가의 인루프 필터링(in-loop filtering)은 266에서 참조 화상 저장부(264)에 넣고, 미래의 비디오 블록을 코딩하기 위해 사용되기 전에 재구성된 비디오 블록에 적용될 수 있다. 출력 비디오 비트스트림(220)을 형성하기 전에, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔여 계수는 비트스트림을 형성하기 위해 더 압축되고 팩(pack)되도록 엔트로피 코딩 유닛(208)으로 전송될 수 있다.

도 3은 도 2의 블록 기반 하이브리드 비디오 인코딩 시스템(200)에 대응할 수 있는 블록 기반 비디오 디코더(300)의 일반적인 블록 다이어그램을 제공한다. 비디오 비트스트림(302)은 언팩(unpack)되고, 엔트로피 디코딩 유닛(308)에서 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 (인트라 코딩될 경우) 공간적 예측 유닛(360) 또는 (인터 코딩될 경우) 시간적 예측 유닛(362)으로 송신될 수 있다. 잔여 변환 계수는 잔여 블록을 재구성하기 위해 역 양자화 유닛(310) 및/또는 역 변환 유닛(312)으로 송신될 수 있다. 예측 블록 및 잔여 블록은 326에서 합산될 수 있다. 재구성된 블록은 또한 참조 화상 저장부(364) 내에 저장될 수 있기 전에 인루프 필터링을 통과할 수 있다. 참조 화상 저장부(364) 내의 재구성된 비디오는 미래의 비디오 블록을 예측하기 위해 사용될 뿐만 아니라 표시 디바이스를 구동하기 위해 송출(send out)될 수 있다.

디지털 비디오 서비스는 위성, 케이블, 및/또는 지상 방송 채널을 통해 TV 서비스를 나타낼 수 있다. 그러나, 모바일 디바이스에 대한 인터넷이 특히 해상도 및 계산 능력에서 스마트폰과 태블릿의 최근의 성장으로 더 확립되기 시작함에 따라, 비디오 채팅, 모바일 비디오 레코딩 및 공유, 및 비디오 스트리밍과 같은 비디오 애플리케이션의 증가는 이종 환경(heterogeneous environments)에서의 비디오 전송을 사용할 수 있다. 다양한 소비자 디바이스(예를 들어, PC, 스마트 폰, 태블릿, TV)를 고려하는 3 스크린과 N 스크린으로 알려진 시나리오는 계산한 전력, 메모리/저장 크기, 표시 해상도, 표시 프레임 레이트 등의 측면에서 폭넓게 가변적인 능력을 가진 디바이스에 대한 비디오 소비를 수용할 수 있다. 추가적으로, 네트워크 및 전송 채널은 또한 패킷 손실률, 이용 가능한 채널 대역폭, 버스트 에러 레이트 등의 측면에서 폭넓게 가변적인 특성을 가질 수 있다. 더욱이, 비디오 데이터는 유선 네트워크 및 무선 네트워크의 조합을 통해 전송될 수 있고, 기본 전송 채널 특성을 더 복잡하게 할 수 있다. 이러한 시나리오에서, 스케일가능한 비디오 코딩은 이종 네트워크를 통해 상이한 능력을 가진 디바이스에서 실행하는 비디오 애플리케이션에 대한 체감 품질(quality of experience)을 향상하기 위한 매력적인 솔루션을 제공할 수 있다. 스케일가능한 비디오 코딩은 최고 표현(시간적 해상도, 공간적 해상도, 품질 등)에서 한 번 신호를 인코딩하는 것을 포함할 수 있다. 비디오 스트림의 서브세트로부터의 디코딩은 특정 클라이언트 디바이스에서 실행될 수 있는 어떤 애플리케이션에 의해 사용되는 특정 레이트 및 표현에 따라 가능하게 될 수 있다. 스케일가능한 비디오 코딩은 스케일가능하지 않은 솔루션에 비해 대역폭과 저장 공간을 절약할 수 있다. 국제 비디오 표준 MPEG-2 Video, H.263, MPEG4 Visual 및 H.264는 일부 확장성 모드를 지원하는 도구 및/또는 프로파일을 갖는다. HEVC는 SHVC로 알려진 스케일가능한 확장을 포함할 수 있다.

도 4는 예시적인 스케일가능한 비디오 인코딩 시스템(400)을 도시한다. 2계층 스케일가능한 코딩 시스템은 베이스 계층 및 향상 계층을 포함할 수 있다. 2계층 사이의 공간 해상도는 상이할 수 있으며, 예를 들어, 공간 확장성이 적용될 수 있다. 베이스 계층 인코더(402), 예를 들어, HEVC 인코더는 블록 단위로 베이스 계층 비디오 입력(404)을 인코딩할 수 있으며, 예를 들어, 도 2에 도시된 예에 따라 베이스 계층 비트스트림(406)을 생성할 수 있다. 향상 계층 인코더(408)는 블록 단위로 향상 계층 비디오 입력(410)을 인코딩할 수 있으며, 예를 들어, 도 2에 도시된 예에 따라 향상 계층 비트스트림(412)을 생성할 수 있다. 향상 계층 비디오 입력(410)이 인코딩되는 경우에 스케일가능한 시스템의 코딩 효율을 향상시키기 위해, 베이스 계층 재구성된 비디오로부터의 신호의 상관은 예측 정밀도를 향상하기 위해 사용될 수 있다. 예를 들어, 베이스 계층 재구성된 비디오는 처리될 수 있고, 처리된 베이스 계층 화상의 적어도 일부는 향상 계층 DPB 414에 삽입될 수 있고, 향상 계층 비디오 입력을 예측하는데 사용될 수 있다. 도 4에 도시된 예에서, 베이스 계층 비디오 입력(404) 및 향상 계층 비디오 입력(410)은 본질적으로 상이한 공간적 해상도에서 나타난 동일한 비디오 소스일 수 있다. 이들은 다운샘플링 프로세스를 통해 서로에 대응할 수 있다. 계층간 처리 및 관리 서브시스템(416)은 계층간 예측 처리의 부분으로서 베이스 계층 재구성의 공간적 해상도를 향상 계층 비디오의 것과 정렬하기 위해 사용되는 업샘플링 동작을 수행할 수 있다. 각각 베이스 계층 인코더(402) 및 향상 계층 인코더(408)에 의해 생성된 베이스 계층 비트스트림(406) 및 향상 계층 비트스트림(412) 이외에, 어떤 계층간 예측 정보는 또한 ILP 처리 및 관리 서브시스템(416)에 의해 생성될 수 있다. 예를 들면, ILP 정보는 적용되는 계층간 처리의 타입을 포함할 수 있고, 파라미터는 처리(예를 들어, 사용되는 업샘플링 필터) 시에 사용디고, 하나 이상의 처리된 베이스 계층 화상 중 어떤 화상이 확장 계층 DPB 등에 삽입되어야 한다. 베이스 및 향상 계층 비트스트림 및 ILP 정보는 스케일가능한 비트스트림(420)을 형성하기 위해 예를 들어 멀티플렉서(418)에 의해 함께 다중화될 수 있다.

도 5는 도 4의 스케일가능한 인코더(400)에 대응할 수 있는 2계층 스케일가능한 비디오 디코더(500)를 도시한다. 디코더(500)는 인코더(400)에 대한 역순으로 대응하는 동작을 수행할 수 있다. 스케일가능한 비트스트림(502)은 먼저 예를 들어 디멀티플렉서(504)에 의해 베이스 계층 비트스트림(506), 향상 계층 비트스트림(508) 및 ILP 정보(510)로 역다중화된다. 베이스 계층 디코더(512)는 베이스 계층 비트스트림(506)을 디코딩할 수 있고, 베이스 계층 재구성(514)을 생성할 수 있다. ILP 처리 및 관리 서브시스템(516)은 ILP 정보(510)를 수신할 수 있고, 수신된 ILP 정보(510)에 따라 베이스 계층 재구성(514)을 생성할 수 있다. ILP 처리 및 관리 서브시스템(516)은 또한 수신된 ILP 정보(510)에 따라 처리된 베이스 계층 화상 중 하나 이상을 향상 계층 DPB(518)에 선택적으로 삽입할 수 있다. 향상 계층 디코더(520)는 향상 계층 비디오(522)를 재구성하기 위해 시간적 참조 화상 및 계층간 참조(ILR) 화상, 예를 들어 처리된 베이스 계층 화상의 조합으로 향상 계층 비트스트림(508)을 디코딩할 수 있다. 용어 "계층간 참조 화상" 및 "처리된 베이스 계층 화상"은 본 명세서에서 상호 교환 가능하게 사용될 수 있다.

도 6은 예시적인 ILP 처리 및 관리 서브시스템(600)을 도시한다. ILP 처리 및 관리 서브시스템(600)은 베이스 계층(BL) 텍스처 샘플 및/또는 모션 필드를 처리하기 위한 구성 엘리먼트를 포함할 수 있다. 계층간 텍스처 예측부(602)는 예를 들어 다수의 스테이지를 포함할 수 있다. 604에서, BL 재구성된 화상은 업샘플링되기 전에 향상될 수 있다. 606에서, BL 해상도가 공간적 확장성에서 향상 계층(EL) 해상도보다 낮은 경우에는 업샘플링이 수행될 수 있다. 업샘플링된 출력은 EL과 동일한 해상도를 가질 수 있다. 업샘플링된 화상이 EL DPB(610)에 배치되기 전에, 다른 향상은 608에서 ILR 화상의 품질을 더 향상시키기 위해 수행될 수 있다. 하나 이상의 스테이지는 생략될 수 있다. BL 화상이 EL 화상과 동일한 해상도를 갖지만, 낮은 품질을 갖는 SNR 확장성에서, 3 스테이지 중 하나 이상은 스킵될 수 있고, 예를 들어 BL 재구성 화상은 계층간 예측을 위해 EL DPB에 직접 삽입될 수 있다. 예를 들어, 공간적 확장성에서, 업샘플링은 606에서 수행될 수 있지만, 향상은 604 및 608에서 업샘플링된 BL 재구성된 화상이 EL 화상과 동일한 해상도를 갖게 하기 생략될 수 있다. 604 및 608에서의 향상은 ILR 화상의 품질을 개선하는데 사용되며, 따라서 EL 코딩에서 높은 효율을 달성할 수 있다.

ILR 화상의 샘플을 생성하기 위해 사용될 수 있는 계층간 텍스처 예측부(602) 이외에, 모션 필드 처리부(612)는 베이스 계층 및 향상 계층의 모션 정보의 상관을 이용하여 ILR 화상의(예를 들어, 모션 벡터 및 참조 인덱스를 포함하는) 모션 필드를 생성하기 위해 사용될 수 있다. 모션 필드 매핑(MFM)(614)은 모션 필드를 생성하기 위해 사용될 수 있다. 이러한 두 부분의 출력으로서 계층간 화상은 또한 2-D 샘플 어레이 및 모션 필드를 포함할 수 있는 향상 계층의 시간적 참조 화상 이외에 추가적인 참조 화상으로서 기능을 하며, 따라서 향상 계층 코딩의 효율을 개선시킬 수 있다.

화상 레벨 ILP, 예를 들어 스케일가능한 시스템에서의 화상 레벨 ILPㅁ만을 수행하는 것은 구현의 복잡성을 감소시킬 수 있다. 블록 레벨에서의 베이스 계층 및 향상 계층 인코더 및 디코더 논리는 변경 없이 재사용될 수 있다. 향상 계층 DPB로 처리된 베이스 계층 화상의 하나 이상의 삽입을 포함하는 고 레벨(예를 들어, 화상/슬라이스 레벨) 구성이 포함될 수 있다. 블록 레벨 변경은 스케일가능한 시스템에서 화상 레벨 계층간 예측 이외에 블록 레벨 계층간 예측을 용이하게 하도록 허용될 수 있다.

EL 인코더는 EL 코딩을 위해 EL DPB의 참조 화상을 선택할 수 있다. 예를 들어, EL 인코더는 계층간 예측 처리 및 관리 서브시스템의 출력일 수 있는 ILR 화상, 및/또는 이전의 코딩된 EL 화상일 수 있는 시간적 참조 화상을 선택할 수 있다. ILR 화상 및 시간적 참조 화상은 상이한 특성을 가질 수 있다.

도 6에 도시된 바와 같이, ILR 화상은 프로세스를 적용함으로써 생성될 수 있다. 계층간 텍스처 예측은 BL 텍스처를 업샘플링하는 단계(예를 들어, 공간적 비율 > 1인 경우) 또는 BL 텍스처를 복사하는 단계(예를 들어, 공간적 비율 = 1인 경우)를 포함할 수 있다. ILR 화상에서의 16×16 블록에 대한 모션 정보를 생성하기 위해 BL과 EL 비디오 사이의 상대 스케일링 비율에 따라 모션 필드 매핑은 예를 들어 BL 블록 예측 모드, 하나 이상의 모션 벡터, 및/또는 하나 이상의 참조 화상 인덱스를 포함할 수 있는 압축된 BL 모션 필드를 확장할 수 있다. 이러한 프로세스를 적용한 후, ILR 화상은 EL DPB에 추가될 수 있다.

도 6에 도시된 바와 같이, ILR 화상은 BL DPB(616)에서 취해진 재구성된 BL 화상에 기초하여 생성될 수 있다. 그러나, ILR 화상의 품질은 향상의 효율적 계층간 예측을 위해 충분하지 않을 수 있다. 예를 들어, BL 화상은 거친 양자화(coarser quantization), 예를 들어 더 높은 양자화 파라미터(QP) 값으로 코딩될 수 있다. 거친 양자화가 적용되면, BL 재구성된 텍스처는 블로킹 아티팩트, 링잉 아티팩트(ringing artifact), 컬러 아티팩트 등과 같은 원하지 않는 코딩 아티팩트를 포함할 수 있다. 이것은 계층간 텍스처 예측의 효과를 감소시킬 수 있다. 공간적 확장성의 경우에, BL 화상은 EL 화상보다 작은 공간적 해상도를 가질 수 있고, 예를 들어, 도 4에서의 다운샘플링 프로세스가 적용될 수 있다. 앨리어싱(aliasing)을 줄이기 위해, 다운샘플링 필터는 비디오 신호의 고주파 정보를 줄이거나 제거할 수 있다. 결과적으로, ILR 화상의 텍스처 정보는 어떤 고주파 정보가 부족할 수 있고/있거나, EL 비디오를 코딩하기 위해 효과적인 예측 정보를 제공할 수 없다.

도 7은 원본 EL 화상(700)과 대응하는 ILR 화상(702) 사이를 처리하는 예를 도시한다. 704에서 원본 BL 화상(706)을 생성하기 위해 다운샘플링이 적용될 수 있다. 예를 들어, SNR 확장성의 경우에 다운샘플링은 생략될 수 있다. 인코더(708)는 코딩된 BL 화상(710)을 생성하기 위해 BL 화상을 인코딩할 수 있다. 계층간 예측 처리 및 관리 서브시스템(712)은 ILR 화상(702)을 생성할 수 있다.

ILR 화상의 손실된 고주파 정보를 예시하기 위해, 도 8b 및 도 8c는 도 8b의 EL 시간적 참조 화상(802)과 도 8c의 ILR 화상(804)으로부터 도 8a의 원본 EL 화상(800)의 차의 일례를 도시한다. 객체의 가장자리(edge)에서, 즉 고주파에서 ILR 화상(804)과 원본 EL 화상(800) 사이에는 큰 차가 있을 수 있다.

도 8c에서의 차이 화상과 비교하면, 도 8b의 시간적 참조 화상(802)은 이러한 누락된 고주파 정보를 보여주지 않을 수 있다. 시간적 참조 화상(802)으로부터의 고주파 정보는 ILR 화상의 품질을 향상시키기 위해 사용될 수 있다. 계층간 모션 보상(ILMC) 화상 또는 하이브리드 ILR 화상이 생성될 수 있다. 이러한 ILMC 화상은 ILR 화상에서 누락한 고주파 성분을 포함할 수 있다. 고주파 성분은 ILR 화상의 품질을 향상시키기 위해 고역 통과 필터를 이용하여 EL 참조 화상으로부터 추출될 수 있다. 예를 들어 BL 코딩에 의해 도입될 수 있는 ILR 화상에서의 의도되지 않은 노이즈 정보를 감소시키기 위해 ILR 텍스처 샘플에 저역 통과 필터가 적용될 수 있다. ILR 화상으로부터의 저주파와 ILMC 화상으로부터의 고주파의 조합은 향상 계층 화상의 계층간 예측을 위한 ILR 화상보다 더 나은 품질을 제공할 수 있다.

EL 시간적 참조 화상으로부터 추출될 수 있는 고주파 정보와 ILR 화상으로부터 추출될 수 있는 저주파 정보는 ILR 화상의 품질을 향상시키기 위해 조합될 수 있고, EL 코딩을 위한 예측 효율은 향상될 수 있다. 계층간 모션 보상(ILMC) 서브시스템은 예를 들어 ILMC 화상을 생성하기 위해 BL 모션 정보를 이용하여 모션 보상을 EL 시간적 참조에 적용할 수 있다. 적응 필터는 설계되어 ILMC 및/또는 ILR 화상에 적용될 수 있다. 필터링된 ILMC 화상과 필터링된 ILR 화상은 ILR 화상의 품질을 향상시키기 위해 조합될 수 있다. 필터 계수는 오버헤드가 수행시에 페널티 없이 비트스트림에 알맞을 수 있도록 적절히 양자화되고/되거나 시그널링될 수 있다. ILR 향상 방법은 화상 레벨 및/또는 블록 레벨 레이트 왜곡(RD) 결정에 기초하여 활성화되고/되거나 비활성화될 수 있다.

예측이 생성될 수 있다. 예를 들어, EL 시간적 참조 화상으로부터 추출될 수 있는 고주파 정보와 ILR 화상으로부터 추출될 수 있는 저주파 정보는 예측인자를 생성하기 위해 조합될 수 있다. 예측인자는 EL 코딩의 계층간 예측을 위해 사용될 수 있다. 예측인자의 하나의 예는 향상된 계층간 참조(EILR) 화상일 수 있다. EILR 화상을 참조하여 본 명세서에 설명된 하나 이상의 예는 예측인자에 적용할 수 있고, 그 반대로 적용할 수 있다. 예를 들어, ILR 화상의 휘도 및 색차 성분은 본 명세서에서 설명되는 바와 같이 예를 들어 EILR 화상을 생성시키기 위해 향상될 수 있다.

EILR 화상의 휘도 성분이 생성될 수 있다. 도 9는 EILR 화상의 휘도 성분의 생성의 예를 도시한다. EL 코딩을 위한 계층간 참조 화상은 예를 들어 EL 시간적 참조 화상 상에 매핑된 BL 모션 정보를 이용하여 모션 보상을 적용하여 생성될 수 있다. 시간 t에서 위치(x,y)에 배치되는 ILMC 화상의 블록 B_ILMC,t(x,y)에 대해, mvx 및 mvy는 각각 매핑된 BL 모션 벡터 MV_BL,t의 수평 및 수직 성분을 나타낼 수 있다. 대응하는 BL 블록이 단방향 예측되는 경우, 블록 B_ILMC,t(x,y)은 식 (1)에 따라 (mvx,mvy)으로 나타내는 바와 같이 EL 시간적 참조 화상 EL_x의 정합 블록을 모션 보상에 의해 생성될 수 있다:

(1)

대응하는 대응하는 BL 블록이 쌍방향 예측되는 경우, 블록 B_ILMC,t(x,y)은 식 (2)에 따라 2개의 EL 시간적 참조 화상 EL_x0 및 EL_x1로부터 획득된 2개의 예측 성분을 조합함으로써 생성될 수 있다:

(2)

여기서, (mvx₀,mvy₀) 및 (mvx₁,mvy₁)은 각각 EL_x0 및 EL_x1을 가리키는 모션 벡터일 수 있다. 대응하는 BL 블록이 인트라 코딩되는 경우, B_ILMC,t(x,y)의 샘플은 식 (3)에서 언급된 바와 같이 ILR 화상에서의 배치된 블록의 샘플로부터 직접 복사될 수 있다:

(3)

EL 텍스처 정보는 ILR 화상을 생성하기 위해 다운샘플링 및/또는 업샘플링 프로세스에 의해 제거될 수 있는 고주파 정보를 포함할 수 있다. ILR 화상에서의 흐릿한 가장자리와 텍스처는 ILMC 화상의 대응하는 고주파 정보로부터 복원될 수 있다. ILR 화상은 해상도가 BL 비디오와 EL 비디오 사이에서 상이한 경우에 업샘플링될 수 있는 재구성된 BL 화상으로부터 직접 생성될 수 있다. ILR 화상의 품질은 예상치 않은 노이즈 및/또는 양자화 에러를 포함할 수 있는 BL 화상의 품질에 의존할 수 있다. 저하된 ILR 화질은 결과적으로 EL 비디오의 덜 효율적인 코딩을 초래할 수 있다. 예를 들어, 손실된 고주파에 의해 발생되는 품질 손실, 양자화 에러 및/또는 ILR 화상의 노이즈를 보상하기 위해 계층간 예측은 ILMC 화상의 고주파와 EL 코딩을 위한 ILR 화상의 저주파를 조합함으로써 향상될 수 있다. 시간 t에서 ILR 화상(902) 및 ILMC 화상(904)이 주어지면, 대응하는 EILR 화상(906)은 고역 통과 필터(908)를 ILMC 화상(904)에 적용하고, 저역 통과 필터(910)를 ILR 화상(902)에 적용하며, 식 (4)에 나타내고, 도 9에 도시된 바와 같이 912에서 필터링된 신호를 추가함으로써 생성될 수 있다.

(4)

여기서,

은 2-D 콘볼루션(convolution)을 나타낸다. 식 (4)에 나타낸 바와 같이, EILR 화상은 하나 이상의 필터링 프로세스로부터 생성될 수 있다. 그러나, 식 (4)의 다른 변형이 또한 유익하게 적용될 수 있다. 예를 들어, 일부 EL 화상에 대해, 저역 통과 필터를 ILR 화상에 적용하는 것이 유익할 수 있지만, 고역 통과 필터를 ILMC 화상에 적용하는 것은 유익하지 않을 수 있으며, 예를 들어, EL 계층간 예측을 위해 ILR 화상의 저역 통과 성분을 배타적으로 사용하는 것이 유익할 수 있다. 일부 EL 화상에 대해, 고역 통과 필터를 ILMC 화상에 적용하는 것이 유익할 수 있지만, 저역 통과 필터를 ILR 화상에 적용하는 것은 유익하지 않을 수 있으며, 예를 들어, 고주파 정보를 필터링되지 않은 ILR 화상에 추가하는 것이 유익할 수 있다. 이러한 경우는 BL 화상 및 EL 화상이 동일한 해상도를 갖는 SNR 확장성에 적합할 수 있다. ILR 화상에서 고주파 정보를 줄일 수 있는 다운샘플링/업샘플링 프로세스는 ILR 화상을 생성할 때 생략될 수 있다. 또 다른 EL 화상에 대해, 식 (4)에 도시된 바와 같이, 고역 통과 필터링된 ILMC 화상과 저역 통과 필터링된 ILR 화상을 함께 추가하는 것이 유익할 수 있다. 더욱이, 고역 통과 필터 및 저역 통과 필터 모두가 EILR 화상을 생성하기 위해 적용될 수 있는 경우에, 필터 트레이닝 프로세스의 복잡성과 EILR 화상의 품질 사이의 상이한 트레이드오프(tradeoff)를 고려한 2개의 필터가 공동으로 도출되거나 별도로 주어질 수 있다.

다수의 방법이 EILR 화상을 생성하기 위해 사용될 수 있다.

EILR 화상은 ILR 화상에 저역 통과 필터를 적용함으로써 생성될 수 있다.

EILR 화상은 고역 통과 필터링된 ILMC 화상으로부터 획득된 고주파 정보를 필터링되지 않은 ILR 화상에 추가함으로써 생성될 수 있다.

EILR 화상은 고역 통과 필터링된 ILMC 화상으로부터 획득된 고주파 정보와 저역 통과 필터링된 ILR 화상으로부터 획득된 저주파 정보를 조합함으로써 생성될 수 있다. 2개의 필터는 예를 들어 동시에 두 필터를 최적화함으로써 공동으로 도출될 수 있다.

EILR 화상은 고역 통과 필터링된 ILMC 화상으로부터 획득된 고주파 정보와 저역 통과 필터링된 ILR 화상으로부터 획득된 저주파 정보를 조합함으로써 생성될 수 있다. 2개의 필터는 고역 통과 필터가 트레이닝 프로세스의 부분으로서 초기에 ILR 화상으로 도출될 수 있는 방식으로 별도로 도출될 수 있다. ILMC 화상에 고역 통과 필터를 적용한 후, 저역 통과 필터는 고역 통과 필터링된 ILMC 화상에 기초하여 도출될 수 있다. 또한, 먼저 ILR 화상에 기초하여 저역 통과 필터를 도출하고 적용하여, 필터링된 ILR 화상에 기초하여 고역 통과 필터를 도출하는 것이 가능하다.

필터 계수에 대한 상세한 도출 프로세스의 예는 본 명세서에 개시되어 있다.

식 (1) 및 (2)에 나타낸 바와 같이, 매핑된 BL 모션 벡터 MV_BL,t는 대응하는 ILMC 화상을 생성하기 위해 사용될 수 있다. 매핑된 BL 모션 벡터는 BL 화상의 압축된 모션 필드 또는 BL 화상의 압축되지 않은 모션 필드 중 하나에서 도출될 수 있다. 압축된 BL 모션 필드가 사용되는 경우, 대응하는 BL 모션은 16×16 블록의 단위로 설명될 수 있으며, 예를 들어, 16×16 블록은 동일한 모션 정보를 가질 수 있는 반면에, 4×4 블록의 단위는 압축되지 않은 BL 모션 필드에 이용될 수 있다. 추가적으로, 압축되지 않은 모션이 ILMC 화상 생성을 위해 사용되는 경우, BL 모션 필드의 압축은 대응하는 EL 화상의 인코딩 및/또는 디코딩 후에 지연될 수 있다. 압축된 BL 모션 필드는 다음의 BL 화상의 시간적 모션 벡터 예측을 위해 사용될 수 있다. 압축되지 않은 BL 모션 필드를 사용하면은 식 (4)에서 EILR 화상의 더 나은 품질 향상을 제공할 수 있지만, 더 높은 계산 복잡성을 초래할 수 있다.

ILMC 화상이 대응하는 매핑된 BL 모션 정보에 기초하여 ILMC 화상의 블럭에 대한 모션 보상 예측을 적용하여 블록별로 생성될 수 있다는 것이 주어지면, 두 인접한 ILMC 블록은 상이한 모션 벡터를 가질 수 있고, 인접한 ILMC 블록 사이의 원하지 않은 블로킹 아티팩트(예를 들어, 인접한 ILMC 블록 사이의 가짜 경계(fake boundary))를 생성할 수 있다. 이러한 ILMC 화상이 식 (4)에서 고역 통과 필터를 도출하는데 사용되는 경우, 가짜 경계는 설계된 고역 통과 필터 계수의 정확도를 심하게 저하시킬 수 있으며, 따라서 EILR 화상의 품질을 감소시킬 수 있다. EILR 화상의 블록의 경우, 모션 보상된 예측의 확장된 블록 크기는 식 (4)에 나타낸 바와 같이 고역 통과 정보를 추출하기 위해 ILMC 화상에서의 대응하는 영역을 생성하는 것으로 고려될 수 있다. 예를 들어, EILR 화상의 블록이 블록 크기 N×N 및 M×M 고역 통과 필터를 갖는 경우, 각각의 방향에서 길이

를 가진 확장된 블록은 식 (1) 및 (2)에 따라 고역 통과 필터링을 위해 ILMC 화상에서의 대응하는 영역을 생성하기 위해 사용될 수 있다.

식 (1) 및 (2)에서, ILMC 블록을 생성하기 위해 사용될 수 있는 매핑된 BL 모션 벡터는 정수 위치 또는 분수 위치 중 하나를 가리킬 수 있다. 분수 픽셀 정밀도로의 모션 보상은 EILR 화상의 생성 시에 높은 계산 복잡도 및 메모리 액세스 요구 사항을 초래할 수 있는 분수 픽셀 위치에서 샘플 값을 계산하기 위한 보간 프로세스를 포함할 수 있다. 식 (1) 및 (2)에서의 매핑된 BL 모션 벡터는 예를 들어 이러한 분수 모션 보상 보간을 피하기 위해 대응하는 ILMC 블록을 형성하기 전에 가장 가까운 정수 픽셀 위치로 반올림될 수 있다.

EILR 화상의 색차 성분은 다수의 방식으로 생성될 수 있다.

EILR 화상의 색차 성분은 예를 들어 복사 동작을 제외한 색차 성분의 추가 처리 없이 ILR 화상의 색차 성분을 직접 복사하여 생성될 수 있다.

EILR 화상의 색차 성분은 ILMC 화상으로부터 색차 성분을 복사하여 생성될 수 있다. 대응하는 BL 블록이 인터 코딩되는 경우, EILR 블록의 색차 성분은 매핑된 BL 모션 정보를 사용하여 EL 시간적 참조 화상의 색차 성분에 모션 보상 예측을 적용함으로써 획득될 수 있다. 대응하는 BL 블록이 인트라 코딩되는 경우, EILR 블록의 색차 성분은 ILR 화상으로부터 색차 블록을 복사하여 생성될 수 있다.

EILR 화상의 색차 성분은 ILMC 화상에서의 색차 성분을 생성하기 위해 본 명세서에서 설명된 바와 같이 휘도 성분의 동일한 ILR 향상 방법을 이용하여 생성될 수 있다. 식 (4)에 나타낸 바와 같이 ILMC 화상의 색차 성분의 고주파를 ILR 화상의 색차 성분의 저주파를 조합하여 생성될 수 있다.

EILR 화상의 색차 성분은 ILMC 색차 성분 및 ILR 색차 성분의 가중된 예측을 이용하여 생성될 수 있다.

참조 리스트가 구성될 수 있다. 생성된 E1LR 화상은 계층간 예측을 위해 EL 참조 화상 리스트에 추가될 수 있다. ILR 화상 및 EILR 화상이 상이한 생성 방법으로 인해 상이한 특성을 가질 수 있다고 하면, ILR 화상 및 EILR 화상은 모두 EL 참조 화상 리스트에 포함될 수 있다. EL 슬라이스가 P-Slice인 경우, EILR 화상은 참조 리스트 L0에서의 ILR 화상 후에 하나의 추가적인 참조 화상으로 추가될 수 있다. EL 슬라이스가 B-Slice인 경우, EILR 화상은 참조 리스트 L1의 끝에 배치될 수 있지만, ILR 화상은 참조 리스트 L0의 끝에 배치될 수 있다.

인코딩/디코딩 복잡성을 감소시키기 위해, EILR은 참조 리스트 L0, 및 EL 슬라이스가 B-Slice인 경우에는 참조 리스트 L1의 ILR 화상을 대체하는데 사용될 수 있다.

EILR 화상은 예를 들어 슬라이스 레벨에서 명시적으로 시그널링되는 ILR 화상 재정렬 명령을 이용함으로써 리스트 L0, 리스트 L1, 또는 둘 다에 삽입될 수 있다. EILR 화상이 추가될 수 있는 참조 화상 리스트에서의 위치가 선택될 수 있다. 결정은 이전에 코딩된 화상에서의 EILR 화상의 사용(usage)에 기초할 수 있다. 예를 들어, EILR 화상 사용이 증가하는 경우, EILR 화상은 리스트에서 전방으로 이동될 수 있다. EILR 화상 사용이 감소하는 경우, 그것은 이에 따라 후방으로 이동될 수 있다.

식 (4)에서 고역 통과 필터 및 저역 통과 필터의 필터 계수가 도출될 수 있다. 예를 들면, 고역 통과 필터 및/또는 저역 통과 필터의 계수를 포함하는 최적의 필터 계수 f_opt(i,j)를 도출하기 위하여, 최적의 필터 계수는 Org_EL,t로서 나타낼 수 있는 시간 t에서의 원본 EL 화상과 생성된 EILR 화상 EILR_t 사이의 왜곡을 최소화할 수 있다. 본 명세서에서 설명되는 바와 같이 ETLR 화상을 생성하는 선택된 방법에 따라, 상이한 방법은 최적의 필터 계수를 도출하기 위해 적용될 수 있다.

도 10에 도시된 바와 같이, EILR 화상(1002)은 ILR 화상(1006)에 저역 통과 필터(1004)를 적용함으로써 생성될 수 있다. 식 (4)은 다음과 같이 단순화될 수 있다:

(5)

선형 최소 평균 제곱 에러(linear minimum mean square error; LMMSE) 추정 방법은 저역 통과 필터(1004)의 최적의 계수를 도출하기 위해 적용될 수 있다. LMMSE 모듈은 입력 트레이닝 데이터 세트로서 LR_t 및 Org_EL,t의 샘플을 사용할 수 있고, Org_EL,t와 EILR_t 사이의 왜곡이 식 (6)에 나타낸 바와 같이 감소되거나 최소화될 수 있도록 최적의 필터 계수를 출력할 수 있다.

(6)

f_LP의 도출된 계수의 저역 통과 특성을 보장하기 위해, 그것은 f_LP의 도출된 계수의 합계가 1과 같을 수 있는 LMMSE 트레이닝 프로세스 동안에 적용될 수 있다.

도 11에 도시된 바와 같이, EILR 화상(1102)은 고역 통과 필터(1106)에 의해 ILMC 화상(1104)으로부터 획득된 고주파 정보를 추가하여 생성될 수 있다. 식 (4)은 다음과 같이 단순화될 수 있다:

(7)

LMMSE 모듈은 입력 트레이닝 데이터 세트로서 ILMCt, lLRt 및 Org_EL,t 의 샘플을 사용할 수 있고, 식 (8)에서 LMMSE 추정치에 기초하여 최적의 필터 계수를 출력할 수 있다.

(8)

f_HP의 도출된 계수의 고역 통과 특성을 보장하기 위해, 그것은 f_HP의 계수의 합계가 0과 같을 수 있는 LMMSE 트레이닝 프로세스 동안에 적용될 수 있다.

도 9에 도시된 바와 같이, 예를 들어, 식 (4)에 따라, EILR 화상(906)은 고역 통과 필터(908)에 의해 ILMC 화상(904)으로부터 획득된 고주파 정보와, 저역 통과 필터(910)에 의해 ILR 화상(902)으로부터 획득된 저주파 정보를 조합함으로써 생성될 수 있다. 예를 들어, 식 (9)에 나타낸 바와 같이, f_HP와 f_LP의 최적의 계수는 LMMSE 문제를 해결함으로써 공동으로 도출될 수 있다.

생성된 EILR 화상의 에너지가 ILR 화상의 에너지와 일치할 수 있다는 것을 보장하기 위해, 그것은 f_HP와 f_LP의 성분의 합계가 1과 같을 수 있는 LMMSE 트레이닝 프로세스 동안에 적용될 수 있다.

두 필터의 계수의 조인트 도출(joint derivation)은 원본 EL 화상과 출력 EILR 화상 사이의 최소 왜곡의 관점에서 필터 계수의 전역 최적의 솔루션을 달성할 수 있다. 그러나, 단일 트레이닝 프로세스를 위한 입력 계수의 수가 증가되면, 조인트 트레이닝 방법은 LMMSE 트레이닝 프로세스의 계산 복잡도를 증가시킬 수 있는 큰 매트릭스를 승산하고 반전하는(inverting) 것을 포함할 수 있다. 조인트 트레이닝 방법으로부터 도출된 필터 계수는 고역 통과 필터 및 저역 통과 필터가 아니고, 예를 들어 고역 통과 필터 및/또는 저역 통과 필터 이외의 것일 수 있다. 출력 필터의 고역 통과 특성 및 저역 통과 특성을 보장하기 위해, 제약된(constrained) 조인트 도출 방법은 f_HP가 고역 통과 필터이고, f_LP가 저역 통과 필터인 것을 적용하여 f_HP 및 f_LP의 필터 계수를 계산하기 위해 적용될 수 있다. 예를 들어, 필터 계수 f_HP 및 f_LP는 또한 f_HP의 계수의 합계가 0과 같고, f_LP의 계수의 합계가 1과 같은 제약 조건을 제외하고는 식 (9)에 기초하여 도출될 수 있다. 복잡도를 감소시키고, 2개의 출력 필터의 고역 통과 특성 및 저역 통과 특성을 보장하기 위해, 두 필터의 계수는 별도로 도출될 수 있다. 계수의 합계가 0과 동일할 수 있다는 LMMSE 트레이닝 및 적용을 위한 입력으로서 ILR 화상의 샘플을 사용함으로써 f_HP의 계수는 식 (8)에 기초하여 도출될 수 있다. 도출된 필터 f_HP는 대응하는 고주파 화상

을 생성하기 위해 ILMC 화상 ILMC_t에 적용될 수 있다.

의 샘플을 입력으로서 사용함으로써, 트레이닝 프로세스의 제 2 스테이지에서, f_LP의 계수는 필터 계수의 합계가 1과 동일할 수 있는 제약 조건으로 식 (10)에서 LMMSE 추정 문제를 해결함으로써 획득될 수 있다.

(10)

제약되지 않은 조인트 도출 방법은 필터 계수를 계산하기 위해 적용될 수 있다. 제약되지 않은 조인트 도출 방법에서, f_HP는 고역 통과 필터인 것으로 제약받지 않을 수 있고/있거나, f_LP는 저역 통과 필터인 것으로 제약받지 않을 수 있으며, 예를 들어, f_HP 및/또는 f_LP는 임의의 필터일 수 있다.

필터의 크기는 오버헤드의 크기 및 계산 복잡도에 비례할 수 있다. 예를 들어, 3×3 필터는 전송될 9의 필터 계수를 가질 수 있고, 하나의 샘플을 필터링하기 위해 9의 승산 및 8의 덧셈을 포함할 수 있고, 5×5 필터는 전송될 25의 필터 계수를 가질 수 있고, 하나의 샘플을 필터링하기 위해 25의 승산 및 24의 덧셈을 포함할 수 있다. 보다 큰 필터가 더 나은 결과를 제공할 수 있다. 필터의 크기는 계산 복잡도, 오버헤드, 및 성능의 균형을 달성하도록 선택될 수 있다. 시뮬레이션 결과는 3×3의 필터 크기가 방법에 대한 만족스러운 트레이드오프(tradeoff)를 생성하는 것으로 나타났다. 필터의 크기는 예를 들어 특정 코딩 시스템에 대한 복잡도와 성능 사이의 여러 균형을 달성하기 위해 사용자에 의해 변화될 수 있다.

본 명세서에서 개시된 필터 도출 방법은 ILMC 화상 및 ILR 화상의 이용 가능한 샘플이 LMMSE 트레이닝 프로세스에 이용될 수 있는 방식으로 구현될 수 있다. 생성된 EILR가 EL 코딩의 계층간 예측 효율을 향상시킬 수 있지만, EILR 화상의 품질은 멀티패스 인코딩을 적용함으로써 더 높아질 수 있다. 이러한 시나리오에서, 필터 계수는 두 번 도출될 수 있다. 예를 들어, 제 1 도출 절차는 LMMSE 트레이닝을 위해 (예를 들어, 본 명세서에서 설명되는 바와 같이) 이용 가능한 샘플을 사용할 수 있다. 생성된 필터 계수는 EL 화상을 인코딩하기 위해 대응하는 EILR 화상을 생성하는데 사용될 수 있다. EL 화상이 인코딩된 후, 인코더는 EL 화상에 의해 참조이 되는 EILR 샘플의 위치를 기록할 수 있다. 제 2 패스(pass)에서, 인코더는 필터 계수를 도출하기 위해 이러한 참조 샘플의 위치를 이용할 수 있다. 제 2 필터 계수의 세트는 제 2 패스로부터 도출되는 필터 계수가 EL 예측에 이용되는 EILR 픽셀의 품질을 증가시키고/시키거나 최대화할 수 있는 반면에, 제 1 패스로부터 획득된 필터 계수가 참조이 되지 않은 EILR 픽셀을 지나치게 향상시킴으로써 참조이 되는 EILR 픽셀의 품질을 희생시킬 수 있다는 점에서 제 1 필터 계수의 세트보다 더 좋을 수 있다.

필터(예를 들어, 고정된 미리 정의된 필터)는 저역 통과 필터 및/또는 고역 통과 필터에 사용될 수 있다. 이 경우, ILR 화상 및/또는 ILMC 화상에 적용되는 필터는 이전에 미리 정의된 필터의 리스트로부터 선택될 수 있다. 이러한 리스트는 디코더에 알려질 수 있다. 리스트가 디코더에 알려져 있는 경우, 필터 계수는 시그널링되지 않을 수 있으며; 대신에, 선택된 필터에 대한 인덱스는 시그널링될 수 있다. 예를 들어, 이러한 필터는 상이한 공간적 스케일링 비율을 반영하고, 고주파의 예상된 손실을 반영하도록 설계될 수 있다. 미리 정의된 필터는 또한 필터 도출 프로세스를 회피함으로써 인코딩 복잡도를 단순화할 수 있다.

트레이닝된 필터는 전송하기 전에 양자화될 수 있는 실수 값(real value) 계수를 가질 수 있다. 실수 값 필터 f_loat는 f_int로서 나타낼 수 있는 정수 값 필터에 의해 근사화될 수 있다. 균일한 양자화기는 양자화를 위해 사용될 수 있다. 양자화기의 정밀도는 계수의 동적 범위에 대해 선택될 수 있다. 양자화기의 정밀도는 필터를 트레이닝하는데 사용되는 방법에 의존할 수 있다. 예를 들어, 양자화의 정밀도는 단독으로 또는 고주파 정보와 조합하여 저주파 정보를 이용하는 필터 트레이닝 방법에 대한 계수당 4 비트와 고주파 정보를 이용하는 필터 트레이닝 방법에 대한 계수당 6 비트일 수 있다. 다른 양자화는 특정 코딩 시스템에 대해 더 잘 수행하는 경우 사용자에 의해 선택될 수 있다.

인자, 예를 들어, 양자화기의 스텝 크기 k는 식 (11)에 나타낸 바와 같이 실수 값 필터와 정수 값 필터 사이의 관계를 나타내는 데 사용될 수 있다.

(11)

식(11)에서, 계수 k는 실수 값일 수 있다. 비트스트림에서 이러한 인자 k를 시그널링하기 위해, 인자 k는 식 (12)에 따라 두 정수 값 M 및 N으로 근사화될 수 있다.

(12)

인자 k는 정수 값 M과 승산으로 적용되고 나서 오른쪽으로의 N 비트의 비트 시프트로 적용될 수 있다. 부동 소수점(k)이 계산되면, M 및 N으로의 정수 근사화는 식 (13) 및 (14)을 이용하여 계산될 수 있다.

(13)

(14)

여기서,

는 인자 N에 대한 비트의 수이고,

는 인자 M에 대한 비트의 수이고, Round(x)는 다음 정수 값으로의 x 아래로의 반올림을 나타내고, abs(x)는 x의 절대 값을 나타내고, min(x,y) 및 max(x,y)는 각각 x 및 y의 최소 및 최대 값을 나타낸다.

k는 양자화기의 스텝 크기와 동일할 수 있다. 양자화 프로세스 중에 이슈(issue)의 반올림으로 인해, k의 실제 값은 양자화기의 스텝 크기와 약간 상이할 수 있다. 예를 들면, 필터 계수의 합계가 32와 동일할 수 있는 경우, 합계가 31 또는 33과 같은 주변 값과 같을 수 있는 것이 발생할 수 있다. 인자 k는 예를 들어 에너지 기반 최적화 및/또는 계수 기반 최적화를 이용하여 더 최적화될 수 있다.

k의 에너지 기반 도출에서, 예를 들면, 인자 k는 에너지 계산에 기초하여 최적화될 수 있다. 어떤 필터 트레이닝 방법이 이용되는가에 따라, 상이한 에너지가 계산될 수 있다. Sum_LP(x,y)는 위치 (x,y)에서 샘플에 대한 저역 통과 필터링 프로세스 동안의 합계를 나타낼 수 있다. Sum_HP(x,y)는 위치 (x,y)에서 샘플에 대한 고역 통과 필터링 프로세스 동안의 합계를 나타낼 수 있다. 이러한 합은 본 명세서에서 식 (27) 및 (28)에 개시되어 있다.

저역 통과 ILR 필터, 예를 들어 저역 통과 ILR 필터만이 트레이닝될 수 있다. 인자 k는 EILR 화상과 원본 EL 화상 사이의 왜곡 에너지가 감소되거나 최소화될 수 있는 방식으로 계산될 수 있다. 인자 k는 식 (15)에서 나타낸 바와 같이 계산될 수 있다.

(15)

고역 통과 ILMC 필터, 예를 들어 고역 통과 ILMC 필터만이 트레이닝될 수 있다. 인자 k는 필터링된 ILMC 화상과 원본 차이 화상 사이의 왜곡 에너지가 감소되거나 최소화되는 방식으로 계산될 수 있다. 원본 차이 화상은 원본 EL 화상과 ILR 화상 사이의 차로서 정의될 수 있다. 인자 k는 식 (16)에서 나타낸 바와 같이 도출될 수 있다.

(16)

2개의 필터의 조인트 트레이닝의 경우, EILR 화상과 원본 EL 화상 사이의 왜곡 에너지는 감소되거나 최소화될 수 있다. 인자 k는 식 (17)에서 나타낸 바와 같이 계산될 수 있다.

(17)

다수의 인자, 예를 들어, 2 인자는 다수의 인자, 예를 들어 2개의 필터의 별도의 트레이닝을 위해 사용될 수 있다. ILMC 필터에 대한 인자 k_HP는 식 (18)에 기초하여 계산될 수 있다.

(18)

ILMC 필터는 인자 k_HP를 사용하여 ILMC 화상에 적용되어, ILMC_t,filt를 생성할 수 있다. 인자 k_LP가 아직 계산될 수 없기 때문에 ILR 필터는 인자를 고려하지 않고 ILR 화상에 적용되어, ILR_t,filt를 생성할 수 있다. 필터를 적용한 후, ILR 필터에 대한 제 2 인자 k_LP는 식 (19)에 따라 계산될 수 있다.

(19)

k번, 또는 별도의 트레이닝의 경우에, 두 인자 k_HP 및 k_LP는 계산되고, 식 (13) 및 (14)은 인자에 대한 정수 근사치를 찾기 위해 적용될 수 있다. 별도의 트레이닝을 위해, 두 인자 k_HP 및 k_LP는 상이할 수 있다. M 및 N의 두 세트: k_HP에 대한 하나의 세트(M_HP 및 N_HP)와 k_LP에 대한 다른 세트(M_LP 및 N_LP)가 이용될 수 있다.

이러한 방법은 독립된 합계와 관계없이 다양한 타입의 필터에 적용할 수 있다. M 및 N이 비트스트림에서 시그널링될 수 있음에도 불구하고, 두 정수 M 및 N을 시그널링하는 오버헤드는 비교적 소수일 수 있다.

k의 계수 기반 도출에서, 인자 k는 필터 계수의 값에 기초하여 계산될 수 있다. 이러한 방법은 부동 소수점 계수의 합계가 1과 동일한 경우에 적용될 수 있다. 그것은 개별적으로 또는 고주파 정보와 조합하여 저주파 정보를 이용하는 필터 트레이닝 방법과 조인트 도출 필터 트레이닝 방법의 ILR 필터에 대한 경우이다. 인자 k는 식 (20)을 이용하여 계산될 수 있다.

(20)

sum_filter_coeff는 필터 계수의 합계이다.

계수의 합계가 또한 디코더에서 계산될 수 있기 때문에, M 및 N은 비트스트림으로 전송되거나 전송되지 않을 수 있다. 그것은 예를 들어 부동 소수점 계수의 합계가 1과 동일한 경우에 적용될 수 있다.

필터가 설계되고/되거나 양자화된 후, 필터는 각각 ILMC 화상 및/또는 ILR 화상에 적용될 수 있다. 두 필터의 출력은 EILR 화상을 형성하도록 조합될 수 있다. 식 (21)-(31)은 필터 출력의 필터링 및 조합의 예를 나타낸다. 식 (21)-(31)에서,

은 패딩 영역의 크기, 예를 들어, 필터의 크기가 SxS인 경우에 현재 샘플의 각 측면에 대한 필터 범위를 나타낸다.

ILR 필터가 트레이닝되면, 프로세스는 식 (21)-(23)에 의해 나타낼 수 있다.

(21)

(22)

(23)

ILMC 필터가 트레이닝되면, 프로세스는 식 (24)-(26)에 의해 나타낼 수 있다.

(24)

(26)

두 필터가 트레이닝되면, 프로세스는 식 (27)-(31)에 의해 나타낼 수 있다.

이들 식에서, abs(x)는 x의 절대 값을 나타낼 수 있고, <<x 및 >>x는 x 비트 위치에 의해 왼쪽 및/또는 오른쪽으로의 비트 시프트를 나타낼 수 있다. sign(x)는 x의 부호를 반환할 수 있으며, min(x,y) 및 max(x,y)는 각각 x 및 y의 최소 및/또는 최대 값을 반환할 수 있다. M 및 N의 첨자는 이러한 인자가 HP 필터에 속하는지 LP 필터에 속하는지를 나타낼 수 있다. 조인트 필터 도출 프로세스의 경우에, 인자는 두 필터에 대해 동일할 수 있다. round() 연산자는 다음의 용어가 다음 정수 값에 아래로 반올림되는 것을 의미한다.

항(term)은 이러한 반올림 연산의 부분일 수 있다. 식 (22), (26) 및 (31)에서, EILR 샘플의 값은 사용된 비트 깊이의 동적 범위, 예를 들어 8비트 샘플에 대해 0 내지 255의 범위에 클리핑될 수 있다.

ILR 향상은 선택적으로 활성화되고/되거나 비활성화될 수 있다. 특히, 추가적인 시그널링 오버헤드, 예를 들어, 정규화 인자와 같은 필터 계수 및 파라미터가 주어지면, 생성된 EILR 화상은 EL 비디오 시퀀스의 화상에 대한 계층간 예측을 향상시킬 수 있거나 향상시키지 않을 수 있다. 이를 위해, LagrangianRD 비용 기반 비교는 화상 또는 슬라이스 레벨에서 ILR 향상 방법을 활성화하고/하거나 비활성화하는데 사용될 수 있다. 예를 들어, EILR 화상의 사용을 활성화하거나 비활성화할지에 대한 결정은 각각 식 (32) 및 식 (33)에 따라 EILR 화상이 비활성화되는 경우(RD_ILR)와 EILR 화상이 활성화되는 경우의 RD 비용을 비교하는 것에 기초할 수 있다.

여기서, D_ILR 및 D_EILR는 원본 EL 화상에 비해 각각 ILR 및 EILR 화상의 왜곡을 나타낼 수 있다. SSE(sum of square error), SAD(sum of absolute difference), 및/또는 SATD(sum of absolute transformed difference)와 같지만, 이에 제한되지 않는 상이한 메트릭스가 왜곡을 도출하기 위해 적용될 수 있으며, num_bits_coeff는 양자화된 필터 계수를 인코딩하는 오버헤드일 수 있고, num_bits_factor는 인자 M 및 대응하는 시프트 N을 인코딩하는 오버헤드일 수 있다. λ는 Lagrangian 가중 인자일 수 있다. RD_EILR이 RD_ILR보다 작은 경우, EILR 화상은 EL 코딩의 성능과 관련하여 ILR 화상보다 향상된 계층간 예측 품질과 증가된 오버헤드 간의 더 좋은 트레이드오프를 보여줄 수 있다. ILR 향상 방법은 EL 화상에 대해 활성화될 수 있다. 그렇지 않으면, (예를 들어, RD_EILR이 RD_ILR보다 크거나 동일한 경우), ILR 향상은 EL 화상에 대해 비활성화될 수 있다. ILR 향상의 사용은 고 레벨 시그널링 방법에 의해 디코더 측으로 시그널링될 수 있다.

Lagrangian RD 기반 화상 레벨 스위치 방법은 ILR 화상의 샘플에 영역 기반 향상을 적용함으로써 더 개선될 수 있다. 화상 레벨 스위치를 사용할 시에, 동일한 필터는 ILR 화상의 샘플에 적용될 수 있다. ILR 화상의 평균 품질이 개선될 수 있지만, 다른 영역의 품질이 악화될 수 있는 동안 ILR 화상의 일부 영역의 품질이 증가할 수 있는 경우가 있을 수 있다. ILR 화상의 품질을 개선하기 위해, 영역 기반 스위치 방법은 향상 방법이 특정 영역에 적용되는지의 여부를 결정하는데 사용될 수 있다. 영역은 어떤 레벨에서 어떤 크기의 연산 유닛, 화상의 특정 치수 및 위치의 영역, 블록의 그룹(예를 들어, LCD, CU, PU) 등일 수 있다. 영역 기반 스위치 방법의 경우, EILR 화상은 평소와 같이 생성될 수 있다. EILR 화상과 원본 EL 화상 사이의 왜곡, 및 ILR 화상과 원본 EL 화상 사이의 왜곡은 각각 선택된 동작 레벨에서 비교될 수 있다. 예를 들어, 영역 기반 방법은 64×64 블록 레벨에서 동작할 수 있다. 크기 64×64의 EILR 유닛의 왜곡이 주어진 위치에서 크기 64×64의 대응하는 ILR 유닛의 왜곡보다 작은 경우, EILR 유닛의 샘플은 EILR 화상을 생성하기 위해 사용되도록 남을 수 있다. 그렇지 않으면, 예를 들어, EILR 왜곡이 ILR 왜곡보다 크거나 같으면, ILR 유닛의 샘플은 EILR 유닛의 샘플을 대체하는데 사용될 수 있다. ILR 향상의 사용은 디코더가 디코딩을 위해 동일한 EILR 화상을 생성할 수 있도록 영역에 대해 시그널링될 수 있다. EILR 맵이 생성될 수 있다. EILR 맵은 영역이 향상되는지의 여부를 나타내는 영역에 대한 하나의플래그(예를 들어, 64×64 블록)를 포함할 수 있다. 비트스트림의 오버헤드를 감소시키기 위해, EILR 맵은 일부 인기있는 소스 코딩(popular source coding) 방법, 예를 들어, 지수-골롬(exponential-Golomb ) 코드, 런-길이(run-length) 코드, 및/또는 산술 코드를 사용하여 압축될 수 있다.

도 12는 EILR 맵을 갖고 갖지 않은 예시적인 ILR 향상 프로세스(1200)를 도시한다. 1202 및 1204에서, ILMC 화상은 EILR 맵이 사용되는지에 상관없이 생성될 수 있다. 1206 및 1208에서, 하나 이상의 필터는 트레이닝될 수 있다. 1210 및 1212에서, EILR 화상은 EILR 맵이 사용되는지에 상관없이 생성된다. EILR 맵이 사용되는 경우에 그것이 생성될 수 있고, 1214에서 EILR 화상이 업데이트될 수 있다. EL 화상은 1216에서 인코딩될 수 있다. 도 13은 향상된 (EILR) 블록(1302) 및 향상되지 않은(ILR) 블록(1304)을 도시하는 예시적인 EILR 맵(1300)을 도시한다.

EILR 맵(1300)이 주어지면, 인코더는 EILR 샘플의 품질이 ILR 샘플의 품질을 능가하는 영역을 알 수 있다. 이러한 지식은 예를 들어 필터 계수에 대한 제 2 도출 프로세스을 적용함으로써 계층간 예측의 효율을 개선시킬 수 있다. 제 2 도출 프로세스에서, ILR 향상이 활성화되는 영역(1302)의 샘플은 필터 계수를 트레이닝하는데 사용될 수 있으며, 예를 들어, 영역(1304)의 샘플은 생략될 수 있다.

도 14는 2개의 필터 도출 프로세스를 이용하여 예시적인 ILR 향상 프로세스(1400)를 도시한다. 1402에서, ILMC 화상은 생성될 수 있다. 하나 이상의 필터는 1404에서 트레이닝될 수 있다. EILR 화상은 1406에서 생성될 수 있다. EILR 맵은 1408에서 생성될 수 있다. 맵은 1410에서 필터 트레이닝을 위해 사용될 수 있다. 1412에서, EILR 화상은 EILR 맵에 기초하여 생성될 수 있다.

EL의 계층간 예측을 위한 ILR 향상을 적용하기 위해, EILR 맵, 양자화된 정수 필터 계수, 및 스케일링 인자는 디코더가 디코딩을 위해 동일한 EILR 화상을 재생시키도록 하기 위해 슬라이스 헤더의 부분으로서 비트스트림에서 시그널링될 수 있다. 예를 들어, 표 1은 조인트 필터 도출 프로세스가 필터 계수에 대한 4 비트의 정밀도로 적용될 때 슬라이스 헤더의 수정된 시그널링의 예를 도시한다.

수정된 슬라이스 세그먼트 헤더

플래그 eilr_enabled_falg는 ILR 향상이 현재 슬라이스를 위해 활성화되는 경우에 1의 값을 가질 수 있다. 플래그 eilr_enabled_falg는 ILR 향상이 현재 슬라이스를 위해 비활성화되는 경우에 0의 값을 가질 수 있다.

값 eilr_coeff_hp_plus8[i] 마이너스 8은 ILR 향상에 사용된 고역 통과 필터의 제 i 계수를 지정할 수 있다. eilr_coeff_hp_plus8[i]의 값은 0..15까지의 범위에 있어야 한다.

값 eilr_coeff_lp_plus8[i] 마이너스 8은 ILR 향상에 사용된 저역 통과 필터의 제 i 계수를 지정할 수 있다. eilr_coeff_lp_plus8[i]의 값은 0..15까지의 범위에 있어야 한다.

값 eilr_scaling_factor_abs은 필터 계수를 역 양자화하기 위한 스케일링 인자의 절대값을 지정할 수 있다.

값 eilr_factor_sign은 필터 계수를 역 양자화하기 위한 스케일링 인자의 부호를 지정할 수 있다.

값 eilr_bit_shift은 필터 계수를 역 양자화할 때 스케일링 동작 후에 오른쪽으로 시프트될 비트의 수를 지정할 수 있다.

구문 엘리먼트 num_coeff_hp 및 num_coeff_lp은 각각 고역 통과 필터 및 저역 통과 필터의 계수의 수를 지정할 수 있다.

상이한 ILR 향상 방법은 EILR 화상을 생성하기 위해 사용될 수 있다. 방법을 선택하는 결정은 시퀀스 레벨 및/또는 화상/슬라이스 레벨에서 행해질 수 있다. 결정이 시퀀스 레벨에서 행해질 경우, 선택된 방법은 다중 화상, 예를 들어, 비디오 시퀀스의 모든 화상을 위해 사용될 수 있다. 선택된 ILR 향상 방법은 비디오 파라미터 세트(Video Parameter Set; VPS), 시퀀스 파라미터 세트(Sequence Parameter Set; SPS) 및/또는 화상 파라미터 세트(Picture Parameter Set; PPS)와 같은 임의의 파라미터 세트에 시그널링될 수 있다. 상이한 화상/슬라이스는 결정이 화상/슬라이스 레벨에서 행해질 경우에 상이한 ILR 향상 방법을 사용할 수 있다. 기본 방법은 시퀀스 레벨에서 선택될 수 있고, 상이한 방법은 화상 레벨에서 특정 화상을 위해 선택되고 화상 레벨에서 시그널링될 수 있다.

EL 화상에 대한 하나의 특정 ILR 향상 방법을 이용하는 선택 방법 이외에, 또한 예를 들어 다중 EILR 화상을 생성하기 위해 다수의 ILR 향상 방법을 사용하는 것이 가능하다. EILR 화상은 상이한 특성을 보여줄 수 있고, EL 코딩을 위한 참조 화상으로서 사용되는 경우에 상이한 예측 신호를 제공할 수 있다. 예를 들면, 일부 EILR 화상은 BL 화상의 압축 아티팩트를 완화할 수 있으면서, 일부 EILR 화상은 BL 화상의 손실된 고주파를 보상할 수 있다. 상이한 방법에서 생성된 다중 EILR 화상을 조합할 경우에 EL 압축 효율이 개선될 수 있다. 다중 EILR 화상은 EILR 화상, 예를 들어 최상의 EILR 화상을 선택하여, 그것을 참조 화상 리스트에 추가하여 조합될 수 있다. 다중 EILR 화상은 참조 화상 리스트에 하나 이상의 EILR 화상을 추가하여 조합될 수 있다. 다중 EILR 화상을 조합하는 방법에 관한 결정은 VPS, SPS, PPS 또는 슬라이스 헤더에 시그널링함으로써 시퀀스 레벨 및/또는 화상 레벨에서 행해질 수 있다.

도 15는 ILR 향상의 예를 도시한다. 제 1 참조 화상(1502) 및 제 2 참조 화상(1504)이 주어지고, 두 참조 화상이 시간 t에서 이용할 수 있는 경우에, 예측인자(1506)는 저역 통과 필터(1508)를 제 1 참조 화상(1502)의 제 1 데이터(1510)(예를 들어, 픽셀 값)에 적용하고, 고역 통과 필터(1512)를 제 2 참조 화상(1504)의 제 2 데이터(1514)에 적용함으로써 생성될 수 있다. 예를 들면, 제 1 참조 화상(1502)은 업샘플링되고 이전에 디코딩된 베이스 계층 화상, 예를 들어, ILR 화상일 수 있다. 제 2 참조 화상(1504)은 이전에 디코딩된 향상 계층 화상, 예를 들어, ILMC 화상일 수 있다. 제 2 데이터(1514)는 ILMC 화상의 모션 보상된 픽셀 값을 포함할 수 있다. 모션 보상은 제 1 참조 화상(1502)의 하나 이상의 모션 벡터에 기초할 수 있다. 필터링된 신호는 예를 들어 예측인자(1506)를 생성하기 위해 선형 조합, 예를 들어, 추가 또는 가중 추가를 이용하여 1516에서 조합될 수 있다.

예측인자(1506)는 제 3 참조 화상, 예를 들어, EILR 화상일 수 있다. 예측인자(1506)는 예를 들어, 하이브리드 DCT 기반 비디오 코덱에서 비디오 프레임의 픽셀 값을 예측하는 데 사용될 수 있다.

저역 통과 필터(1508) 및/또는 고역 통과 필터(1512)의 계수는 비디오 비트스트림으로 인코딩될 수 있다. 저역 통과 필터(1508) 및/또는 고역 통과 필터(1512)는 모든 통과 필터로서 구현될 수 있으며, 예를 들어 베이스 계층 데이터 및/또는 향상 계층 데이터에서 필터링은 수행될 수 없다.

본 명세서에서 설명된 프로세스 및 수단은 임의의 조합에 적용할 수 있고, 다른 무선 기술에 적용할 수 있으며, 다른 서비스를 위해 적용할 수 있다.

WTRU는 물리적 디바이스의 아이덴티티, 또는 가입 관련 아이덴티티, 예를 들어, MSISDN, SIP URI 등과 같은 사용자의 아이덴티티를 나타낼 수 있다. WTRU는 애플리케이션 기반 아이덴티티, 예를 들어, 애플리케이션마다 사용될 수 있는 사용자 이름을 나타낼 수 있다.

상술한 프로세스는 컴퓨터 및/또는 프로세서에 의해 실행하기 위한 컴퓨터 판독 가능한 매체에 포함되는 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독 가능한 매체의 예는 (유선 및/또는 무선 접속을 통해 전송되는) 전자 신호 및/또는 컴퓨터 판독 가능한 저장 매체를 포함하지만, 이에 제한되지 않는다. 컴퓨터 판독 가능한 저장 매체의 예는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크 및 탈착 가능한 디스크와 같지만 이에 제한되지 않는 자기 매체, 광자기 매체, CD-ROM 디스크와 같은 광 매체, 및/또는 디지털 다기능 디스크(DVD)를 포함하지만, 이에 제한되지 않는다. 소프트웨어와 관련된 프로세서는 WTRU, UE, 단말기, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims

비디오 코딩 방법에 있어서,
제 1 참조 화상(reference picture) 및 제 2 참조 화상을 수신하는 단계;
복수의 모션 보상된 픽셀 값들을 생성하기 위해, 상기 제 2 참조 화상과 연관된 모션 정보에 기초하여, 상기 제 1 참조 화상의 복수의 픽셀 값들에 대하여 모션 보상을 수행하는 단계;
제 3 참조 화상을 생성하기 위해 상기 제 2 참조 화상을 업샘플링하는 단계;
고주파 정보를 생성하기 위해 상기 복수의 모션 보상된 픽셀 값들에 대하여 고역 통과(high pass) 필터를 적용하는 단계;
저주파 정보를 생성하기 위해 상기 제 3 참조 화상에 대하여 저역 통과(low pass) 필터를 적용하는 단계; 및
상기 고주파 정보 및 상기 저주파 정보의 조합에 기초하여 예측인자(predictor)를 생성하는 단계
를 포함하는 비디오 코딩 방법.
제 1 항에 있어서,
참조 화상으로서 상기 예측인자를 사용하여 현재 화상을 생성하는 단계를 더 포함하는 비디오 코딩 방법.
제 2 항에 있어서,
상기 현재 화상은 향상 계층(enhancement layer) 화상을 포함하는 것인 비디오 코딩 방법.
제 1 항에 있어서,
상기 제 1 참조 화상 및 상기 제 2 참조 화상은 상이한 계층들로부터의 화상들인 것인 비디오 코딩 방법.
제 1 항에 있어서,
상기 제 1 참조 화상은 향상 계층 참조 화상을 포함하는 것인 비디오 코딩 방법.
삭제
삭제
삭제
제 1 항에 있어서,
상기 제 2 참조 화상은 베이스 계층 참조 화상을 포함하는 것인 비디오 코딩 방법.
제 1 항에 있어서,
상기 제 3 참조 화상은 상기 제 2 참조 화상을 업샘플링함으로써 생성되는 것인 비디오 코딩 방법.
제 1 항에 있어서,
상기 조합은 추가(addition) 또는 가중(weighted) 추가 중 적어도 하나를 포함하는 것인 비디오 코딩 방법.
제 1 항에 있어서,
상기 고역 통과 필터와 연관된 복수의 제 1 필터 계수(coefficient)들과, 상기 저역 통과 필터와 연관된 복수의 제 2 필터 계수들을 비디오 비트스트림 내에 포함시키는 단계를 더 포함하는 비디오 코딩 방법.
제 1 항에 있어서,
상기 고역 통과 필터 또는 상기 저역 통과 필터 중 적어도 하나는 전역 통과(all-pass) 필터인 것인 비디오 코딩 방법.
비디오 코딩 디바이스에 있어서,
프로세서로 실행가능한 명령어들을 저장하도록 구성되는 메모리; 및
상기 프로세서로 실행가능한 명령어들을 실행하도록 구성되는 프로세서를 포함하고, 상기 프로세서는,
제 1 참조 화상 및 제 2 참조 화상을 수신하고;
복수의 모션 보상된 픽셀 값들을 생성하기 위해, 상기 제 2 참조 화상과 연관된 모션 정보에 기초하여, 상기 제 1 참조 화상의 복수의 픽셀 값들에 대하여 모션 보상을 수행하고;
제 3 참조 화상을 생성하기 위해 상기 제 2 참조 화상을 업샘플링하고;
고주파 정보를 생성하기 위해 상기 복수의 모션 보상된 픽셀 값들에 대하여 고역 통과 필터를 적용하고;
저주파 정보를 생성하기 위해 상기 제 3 참조 화상에 대하여 저역 통과 필터를 적용하고;
상기 고주파 정보 및 상기 저주파 정보의 조합에 기초하여 예측인자를 생성하도록
구성되는 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
참조 화상으로서 상기 예측인자를 사용하여 화상을 생성하는 단계를 더 포함하는 비디오 코딩 디바이스.
제 15 항에 있어서,
상기 화상은 향상 계층 화상을 포함하는 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
상기 제 1 참조 화상 및 상기 제 2 참조 화상은 상이한 계층들로부터의 화상들인 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
상기 제 1 참조 화상은 향상 계층 참조 화상을 포함하는 것인 비디오 코딩 디바이스.
삭제
삭제
삭제
제 14 항에 있어서,
상기 예측인자는 향상된 계층간 참조(enhanced inter-layer reference; EILR) 화상을 포함하는 것인 비디오 코딩 디바이스.
제 22 항에 있어서,
상기 프로세서는 또한 참조 화상으로서 상기 EILR 화상을 사용하여 향상 계층 화상을 인코딩하도록 구성되는 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
상기 조합은 추가 또는 가중 추가 중 적어도 하나를 포함하는 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
상기 프로세서는 또한 상기 고역 통과 필터와 연관된 복수의 제 1 필터 계수들과, 상기 저역 통과 필터와 연관된 복수의 제 2 필터 계수들을 비디오 비트스트림 내에 포함시키도록 구성되는 것인 비디오 코딩 디바이스.
제 14 항에 있어서,
상기 고역 통과 필터 또는 상기 저역 통과 필터 중 적어도 하나는 전역 통과 필터인 것인 비디오 코딩 디바이스.
제 1 항에 있어서,
상기 제 3 참조 화상은 계층간 참조(inter-layer reference) 화상인 것인 비디오 코딩 방법.