KR20150060736A

KR20150060736A - 부호화 표준 확장성을 위한 계층 간 참조 화상 처리

Info

Publication number: KR20150060736A
Application number: KR1020157008033A
Authority: KR
Inventors: 팽 인; 타우뤤 루; 타우? 루; 따오 첸
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2012-09-27
Filing date: 2013-09-24
Publication date: 2015-06-03
Also published as: MY172388A; BR112015006551B1; CN110460846A; AU2013323836A1; AU2013323836B2; EP3748969B1; WO2014052292A1; EP3748969A1; MX346164B; MY201898A; HK1205838A1; IN2015DN02130A; EP3255890A2; EP2901689A1; CN104685879A; RU2595966C1; TW201419871A; KR101806101B1; JP6152421B2; IL237562A0

Abstract

비디오 데이터는 부호화 표준 계층화된 비트열에서 부호화된다. 기본 계층(BL) 및 하나 이상의 향상 계층(EL) 신호들을 고려해 볼 때, BL 신호는 제 1 부호화 표준을 따르는 BL 부호기를 사용하여 부호화된 BL열로 부호화된다. BL 신호 및 EL 신호에 대한 응답으로, 참조 처리 유닛(RPU)은 RPU 처리 파라미터들을 결정한다. RPU 처리 파라미터들 및 BL 신호에 대한 응답으로, RPU는 계층 간 참조 신호를 발생시킨다. 제 2 부호화 표준을 따르는 EL 부호기를 사용하여, EL 신호는 부호화된 EL열로 부호화되는데, EL 신호의 부호화는 계층 간 참조 신호에 적어도 부분적으로 기초한다. 제 1 및 제 2 부호화 표준 둘 다 따르는 RPU를 갖는 수신기들 및 비디오 복호기들은 BL 및 EL 부호화된 열들 둘 다 복호화할 수 있다.

Description

부호화 표준 확장성을 위한 계층 간 참조 화상 처리 {INTER-LAYER REFERENCE PICTURE PROCESSING FOR CODING STANDARD SCALABILITY}

본 출원 청구항들은 2012년 9월 27일에 제출된 미국 예비 특허 출원번호 61/706,480에 우선권을 두고 있고, 본 명세서에 그 전부가 참조로서 포함되어 있다.

본 발명은 일반적으로 이미지와 관련되어 있다. 좀 더 구체적으로, 본 발명의 실시예는 부호화 표준 확장성을 위한 계층 간 참조 화상(picture) 처리와 관련되어 있다.

오디오 및 비디오 압축은 멀티미디어 컨텐츠의 개발, 저장, 분배 및 소비에서 핵심 구성요소이다. 압축방법의 선택은 부호화 효율성, 부호화 복잡도, 및 지연 사이에서 트레이드 오프(tradeoffs)를 수반한다. 컴퓨터 비용 대비 처리 전력의 비율이 증가함에 따라, 좀 더 효율적인 압축을 가능하게 하는 좀 더 복잡한 압축 기술들의 개발이 가능하게 된다. 예를 들어, 비디오 압축에서, 국제 표준화 기구(International Standards Organization: ISO)로부터 동화상 전문가 그룹(Motion Pictures Expert Group: MPEG)이 MPEG-2, MPEG-4(part 2), 및 H.264/AVC(또는 MPEG-4, part 10) 부호화 표준들을 출시함으로서 원래의 MPEG-1 비디오 표준을 향상시키고 있다.

H.264의 압축 효율 및 성공에도 불구하고, 고효율 비디오 코딩(High Efficiency Video Coding: HEVC)으로 알려진 비디오 압축 기술의 새로운 세대가 지금 개발 하에 있다. HEVC에 대한 원고는 B. Bross, W.-J. Han, G.J. Sullivan, J.-R. Ohm, 및 T. Wiegand가 2012년 7월에 작성한 ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC) JCTVC-J1003 문서의 "High efficiency video coding (HEVC) text specification draft 8"에서 이용이 가능하고, 본 명세서에 그 전부가 참조로서 포함되어 있다. HEVC는, 본 명세서에 그 전부가 포함되어 있는, ITU T Rec. H.264 및 ISO/IEC 14496-10, "Advanced Video Coding for generic audio-visual services"으로 발행된, 기존의 H.264 표준(또한 AVC로 알려짐)을 넘어서는 향상된 압축 용량을 제공할 것으로 기대된다. 발명자로서 인정하건대, 향후 몇 년간 H.264는 여전히 디지털 비디오의 분배를 위해 전 세계적으로 사용되는 우세한 비디오 부호화 표준일 것으로 예상된다. 나아가, HEVC와 같은 새로운 표준들은 기존의 표준들과 이전 버전 호환성(backward compatibility)이 가능하게 해야 하는 것으로 인식된다.

본 명세서에서, 용어 "부호화 표준(coding standard)"는 압축(coding)과 해제(decoding) 알고리즘들을 나타내는 것으로 사용된다. 압축과 해제 알고리즘들 모두 표준에 기반들 둔, 오픈소스(open-source), 또는 MPEG 표준들과 같은, 윈도우 미디어 비디오(Window Media Video: WMV), 플래시 비디오(flash video), VP8, 및 그 밖의 유사한 것들과 같은 독점적일 수 있다.

본 섹션에서 설명된 접근 방식은 추구될 수 있는 접근 방식이나, 사전에 생각되거나 추구된 접근 방식은 필연적으로 아니다. 따라서, 달리 명시하지 않았다면, 본 섹션에서 설명된 접근 방식 중 어느 것도 본 섹션에서 단지 포함되었다는 이유로 선행기술로서 볼 수 있다고 추정되어서는 안 된다. 유사하게, 하나 이상의 접근 방식에 관하여 확인된 쟁점(issue)은, 달리 명시하지 않았다면, 본 섹션을 기초로 하여 어느 선행 기술에서 인식되었던 것으로 추정되어서는 안 된다.

본 발명의 실시예는 예로서 도시되는 것이고, 첨부 도면의 그림에 제한된 것으로 도시되지 않는다. 비슷한 참조 번호는 유사한 구성 요소를 첨부 도면에서 나타낸다.
도 1은 본 발명의 실시예에 따라서 부호화 표준 확장성을 지원하는 부호화 시스템의 구현예를 도시한다.
도 2A 및 도 2B는 본 발명의 실시예에 따라서 AVC/H.264 및 HEVC 코덱(codec) 확장성을 지원하는 부호화 시스템의 구현예를 도시한다.
도 3은 본 발명의 실시예에 따라서 크로핑(cropping) 창을 지닌 계층화된 부호화의 예시를 도시한다.
도 4는 본 발명의 실시예에 따라서 인터레이스드(interlaced) 화상들을 위한 계층 간 처리의 예시를 도시한다.
도 5A 및 도 5B는 본 발명의 실시예에 따라서 부호화 표준 확장성을 지원하는 계층 간 처리의 예시를 도시한다.
도 6은 본 발명의 실시예에 따라서 신호 부호화 모델(signal encoding model) 확장성을 위한 RPU 처리의 예를 도시한다.
도 7은 본 발명의 실시예에 따라서 부호화 처리 예시를 도시한다.
도 8은 본 발명의 실시예에 따라서 복호화(decoding) 처리 예시를 도시한다.
도 9는 본 발명의 실시예에 따라서 복호화 RPU 처리 예를 도시한다.

본 명세서에서 부호화 표준 확장성을 위한 계층 간 참조 화상 처리를 설명한다. 제 1 부호화 표준(예를 들어, H.264)을 따르는 기본 계층(BL) 부호기(encoder)에 의하여 부호화된 기본 계층 신호를 고려해 볼 때, 참조 처리 유닛(RPU) 처리는 기본 계층 및 하나 이상의 향상 계층들에서 입력 신호들의 특성에 따라서 참조 화상들과 RPU 파라미터들을 발생시킨다. 이러한 계층 간 참조 프레임은 하나 이상의 향상 계층 신호들을 압축(encode)하기 위하여 제 2 부호화 표준(예를 들어, HEVC)을 따르는 향상 계층(EL) 부호기에 의해 사용될 수 있고, 확장 가능한 비트열(scalable bit stream)을 형성하기 위하여 기본 계층과 결합할 수 있다. 수신기에서 BL열을 제 1 부호화 표준을 준수하는 BL열 복호기로 복호화한 후, RPU 복호기는 복호화된 BL열로부터 계층 간 참조 프레임들을 발생시키기 위해 수신된 RPU 파라미터들을 적용할 수 있다. 이러한 참조 프레임들은 부호화된 EL열을 복호화하기 위해 제 2 부호화 표준을 따르는 EL 복호기에 의해 사용될 수 있다.

다음의 설명에서 설명의 편의를 위해, 다수의 특정 세부사항들은 본 발명의 철저한 이해를 제공하기 위해 출발된다. 그러나, 본 발명이 이러한 특정 세부사항 없이도 실행될 수 있는 것은 분명할 것이다. 다른 경우에, 알려진 구조들 및 장치들은 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해서 철저히 세세하게 설명되지는 않는다.

개요

본 명세서에서 설명한 실시예들은 부호화 표준 확장성을 위한 계층 간 참조 화상 처리에 관련되어 있다. 일 실시예에서, 비디오 데이터는 부호화 표준 계층화된 비트열에서 부호화된다. 기본 계층(BL) 및 향상 계층(EL) 신호들을 고려해 볼 때, BL 신호는 제 1 부호화 표준을 따르는 BL 부호기를 사용하여 BL열로 부호화된다. BL 신호 및 EL 신호에 대한 응답으로, 참조 처리 유닛(RPU)은 RPU 처리 파라미터들을 결정한다. RPU 처리 파라미터들 및 BL 신호에 대한 응답으로, RPU는 계층 간 참조 신호를 발생시킨다. 제 2 부호화 표준을 따르는 EL 부호기를 사용하여 EL 신호는, EL 신호의 부호화가 계층 간 참조 신호에 적어도 부분적으로 기초로 하여 부호화된 EL열로 부호화된다.

다른 실시예에서, 수신기는 부호화된 BL열, 부호화된 EL열, 및 RPU 데이터열을 발생시키기 위해서 수신된 확장 가능한 비트열을 역다중화한다. 제 1 부호화 표준을 따르는 BL 복호기는 복호화된 BL 신호를 생성하기 위해 부호화된 BL열을 복호화한다. RPU를 갖는 수신기는 RPU 처리 파라미터들을 결정하기 위해서 RPU 데이터열을 또한 복호화할 수 있다. RPU 처리 파라미터들 및 BL 신호에 대한 응답으로, RPU는 계층 간 참조 신호를 발생시킬 수 있다. 제 2 부호화 표준을 따르는 EL 복호기는 복호화된 EL 신호를 발생시키기 위해서 부호화된 EL열을 복호화할 수 있다. 여기서, 부호화된 EL열의 복호화가 계층 간 참조 신호에 적어도 부분적으로 기초한다.

계층화된 기반의 부호화 표준 확장성

MPEG-2, MPEG-4(part 2), H.264, 플래시, 및 기타 동종의 것과 같은 압축 표준들은 디지털 컨텐츠를 여러 가지의 미디어, 예를 들어, DVD 디스크 또는 블루레이(Blu-ray) 디스크, 또는 공중, 케이블, 또는 광대역 방송을 통해서전달(deliver)하는데 전 세계적으로 쓰인다. 새로운 비디오 부호화 표준, 예를 들어, HEVC가 개발되면서 기존의 표준들과 약간의 이전 버전 호환성을 지원할 수 있다면 새로운 표준의 채택이 증가할 수 있다.

도 1은 부호화 표준 확장성을 지원하는 시스템의 구현예의 일 실시예를 도시한다. 부호기는 기본 계층(BL) 부호기(110)와 향상 계층(EL) 부호기(120)를 포함한다. 일 실시예에서, BL 부호기(110)은 MPEG-2 또는 H.264 부호기와 같은 레거시(legacy) 부호기이다. 그리고 EL 부호기(120)는 HEVC 부호기와 같은 새로운 표준 부호기이다. 그러나, 이 시스템은 표준 기반이든 독점이든, 알려진 또는 미래의 부호기들의 어느 조합에도 적용된다. 이 시스템은 둘 이상의 부호화 표준들 또는 알고리즘들을 지원하기 위해서 확장될 수 있다.

도 1에 따르면, 입력 신호는 둘 이상의 신호들, 예를 들어, 기본 계층(BL) 신호(102) 및 하나 이상의 향상 계층(EL) 신호들, 예를 들어, EL(104)를 포함할 수 있다. 신호 BL(102)은 부호화된 BL열(112)을 발생시키기 위해서 BL 부호기(110)로 압축(또는 부호화)된다. 신호 EL(104)는 부호화된 EL열(122)을 발생시키기 위해서 EL 부호기(120)에 의해 압축된다. 상기 두 열들은 부호화된 확장 가능한 비트열(127)을 발생시키기 위해서 (예를 들어, MUX(125)에 의해서) 다중화된다. 수신기에서 역다중화기(DEMUX(130))는 두 개의 부호화된 비트열들을 분리할 수 있다. 레거시 복호기, 예를 들어, BL 복호기(140)는 BL 출력 신호(142)를 발생시키기 위해서 오직 기본 계층(132)을 복호화할 수 있다. 그러나, 새로운 부호기 방법(EL 부호기(120))을 지원하는 복호기는 또한 EL 출력 신호(144)를 발생시키기 위해서 부호화된 EL열(134)에 의해 제공된 추가적인 정보를 복호화할 수 있다. BL 복호기(140), 예를 들어, MPEG-2 또는 H.264 복호기는 BL 부호기(110)에 대응된다. EL 복호기(150), 예를 들어, HEVC 복호기는 EL 부호기(120)에 대응된다.

그러한 확장 가능한 시스템은 적절하게 계층 간 예측을 탐험(explore)하면서, 즉, 낮은 계층(102)으로부터 이용 가능한 정보를 고려하면서 향상 계층 신호(예를 들어, (104))를 부호화함으로써, 동시방송(simulcast) 시스템과 비교하여 부호화 효율성을 개선할 수 있다. BL 부호기와 EL 부호기는 다른 부호화 표준들에 따르기 때문에, 일 실시에에서, 부호화 표준 확장성은 분리된 처리 유닛, 부호화 참조 처리 유닛(RPU)(115)을 통해서 달성될 수 있다.

RPU(115)는 본 명세서에 모든 목적을 위한 참조로서 포함되어 있고, 2010년 6월 30일에 제출되고, WO 2011/005624로 공개된, A. Tourapis 등에 의한 PCT 출원 PCT/US2010/040545, "Encoding and decoding architecture for format compatible 3D video delivery"에 설명된 RPU 디자인의 확장으로 고려될 수 있다. RPU의 다음의 설명은, 달리 명시하지 않는 한, 부호기의 RPU와 복호기의 RPU 둘 다 모두에 적용된다. 비디오 부호화에 관련된 통상의 기술자는 차이점을 이해할 것이고, 부호기에 특정된, 복호기에 특정된, 및 일반적인(generic) RPU의 설명들, 기능들, 및 처리를 본 발명을 읽으면 구별할 수 있을 것이다. 도 1에 도시된 비디오 부호화 시스템의 맥락 내에서, RPU(115)는 다른 RPU 필터들과 처리들을 선택하는 규칙 세트에 따라서, BL 부호기(110)으로부터 복호화된 이미지들에 기초로 계층 간 참조 프레임들을 발생시킨다.

RPU(115)는 영역(region) 레벨에서 처리가 적응할 수 있게 가능하게 하는데, 화상/시퀀스의 각각의 영역이 지역의 특성에 따라 처리된다. RPU(115)는 수평, 수직, 또는 2D(two dimensional) 필터들, 영역-의존 필터들에 기반한 에지 적응 또는 주파수, 및/또는 픽셀(pixel) 복제 필터들 또는 인터레이싱(interlacing), 디인터레이싱(deinterlacing), 필터링, 업 샘플링(up-sampling), 및 다른 이미지 처리를 위한 다른 방법들 또는 수단을 사용할 수 있다.

부호기는 RPU 부호기( 예를 들어, (135))에 입력 데이터로서 제공되는 RPU 처리들 및 출력들 영역의 처리 신호들을 선택할 수 있다. 신호( 예를 들어, (117))은 영역당 기준으로 처리 방법을 명시할 수 있다. 예를 들어, 숫자, 크기, 모양 및 다른 특성들과 같은 지역 속성에 관련된 파라미터들은 RPU-데이터 관련 데이터 헤더에 명시될 수 있다. 일부 필터들은 고정된 필터 계수들을 포함할 수 있다. 이 경우 필터 계수들은 RPU에 의해 명시적으로 시그널링될(signaled) 필요 없다. 다른 처리 모드들은 명시(explicit) 모드들을 포함할 수 있으며, 계수 값과 같은 처리 파라미터들은 명시 모드에서 명시적으로 시그널링된다. RPU 처리들은 각각의 색 구성마다 또한 측정될 수 있다.

RPU 데이터 시그널링(RPU data signaling)(117)은 부호화된 비트열( 예를 들어, (127))에 임베딩되거나 또는 복호기에 개별적으로 전송될 수 있다. RPU 데이터는 RPU 처리가 수행되는 계층과 함께 시그널링될 수 있다. 추가적으로 또는 대안적으로, 모든 계층의 RPU 데이터는, EL 부호화된 데이터를 임베딩하는 것에 앞서 또는 그 다음에 비트열 내에 임베딩되는 하나의 RPU 데이터 패킷 내에 시그널링될 수 있다. RPU 데이터의 제공은 특정한 계층에 대해 선택적일 수 있다. RPU 데이터가 이용 가능하지 않은 경우에, 디폴트 방식(scheme)은 계층의 상향 변환(up-conversion)을 위해 사용될 수 있다. 다르지 않게, 향상 계층으로 부호화된 비트 스트림 제공은 또한 선택적이다.

일 실시예는 RPU 내에 처리 과정들을 선택하는 다수의 가능한 방법들을 허용한다. 다수의 기준은 RPU 처리를 결정할 때 결합해서 또는 각각 사용될 수 있다. RPU 선택 기준은 기본 계층 비트열의 부호화된 품질(quality), 향상 계층 비트열들의 부호화된 품질, RPU 데이터를 포함하는 각각의 계층을 부호화하는 것을 위해 요구되는 비트율(bit rate), 및/또는 데이터의 복호화 및 RPU 처리의 복잡도를 포함할 수 있다.

RPU(115)는 EL 부호기(120) 내에 향상 계층을 위한 잠재적 예측변수(predictor)로 이 정보를 이용하기 전에, BL 부호기(110)로부터 정보를 처리하는 사전 처리 단계의 역할을 할 수 있다. RPU 계층열(136)을 사용하여 도 1에 도시된 대로, RPU 처리에 관련되어 있는 정보는 복호기에 (예를 들어, 메타데이터(metadata)로서) 통신될 수 있다. RPU 처리는 다양한 이미지 처리 작업들, 예를 들어, 색 공간 변환(color space transformations), 비선형 양자화(non-linear quantization), 루마(luma) 및 채도(chroma) 업 샘플링(up-sampling), 및 필터링을 포함할 수 있다. 전형적인 실행에서, EL(122), BL(112), 및 RPU 데이터(117) 신호들은 단일 부호화된 비트열(127)로 다중화된다.

복호기 RPU(135)는 부호기 RPU(115)에 대응하고, RPU 데이터 입력(136)의 지도(guidance)와 함께, 부호기 RPU(115)에 의해 수행된 작업들에 대응하는 작업들을 수행하는 것에 의해 EL 계층(134)의 복호화를 도울 수 있다.

도 1에 도시된 실시예는 둘 이상의 계층들을 지원하기 위해서 쉽게 확장될 수 있다. 나아가, 시간적(temporal), 공간적(spatial), 신호대잡음비(SNR), 채도, 비트 심도(bit-depth), 및 다시점 확장성(multiview scalability)을 포함하는 추가적 확장성 특성들을 지원하기 위해서 확장될 수 있다.

H.264 및 HEVC 부호화 표준 확장성

일 실시예 예시에서, 도 2A 및 도 2B는 HEVC 및 H.264 표준들에 적응될 수 있기 때문에 계층 기반 부호화 표준 확장성을 위한 일 실시예를 도시하였다. 보편성을 잃지 않으면서, 도 2A 및 도 2B는 단 두 개의 계층을 그렸다. 그러나, 그 방법들은 다수의 향상 계층들을 지원하는 시스템들로 쉽게 확장될 수 있다.

도 2A에 도시하였듯이, H.264 부호기(110) 및 HEVC 부호기(120) 둘 다 내부(intra) 예측, 상호(inter) 예측, 푸리에 변환 및 양자화(forward transform and quantization: FT), 역푸리에 변환 및 양자화(inverse transform and quantization: IFT), 엔트로피 부호화(entropy coding: EC), 볼록해제 필터(deblocking filters: DF), 및 복호화된 화상 버퍼(Decoded Picture Buffers: DPB)를 포함한다. 게다가, HEVC 부호기는 샘플 어답티브 오프셋(Sample Adaptive Offset: SAO) 블록을 또한 포함한다. 일 실시예에서, 후술하겠지만, RPU(115)는 DF 이전에 또는 DPB로부터 BL 데이터에 접근할 수 있다. 유사하게, 다수 표준 복호기(도 2B 참조)에서 복호기 RPU(135)는 DF 이전에 또는 DPB로부터 BL 데이터에 또한 접근할 수 있다.

확장성 비디오 부호화에서, 용어 "다수 루프 솔루션(multi-loop solution)"은 향상 계층 내에 화상들이 같은 계층 및 다른 부계층들(sub-layers) 둘 다에 의해서 추출된 참조 화상들에 기초하여 복호화되는 계층화된 복호기를 나타낸다. 기본/참조 계층들의 화상들은 DPB에서 복원되고 저장된다. 이러한 기본 계층 화상들은 계층 간 참조 화상들로 불리는데, 향상 계층을 복호화할 때 추가적인 참조 화상들의 역할을 할 수 있다. 향상 계층은 시간적 참조 화상들 또는 계층 간 참조 화상들 사용할 수 있는 선택사항들을 가진다. 보통, 계층 간 예측은 확장 가능한 시스템에서 EL 부호화 효율성을 향상시키는 것에 도움이 된다. AVC 및 HEVC는 두 개의 다른 부호화 표준들이고 다른 부호화 표준 처리들을 사용하기 때문에, 추가적인 계층 간 처리가 AVC 부호화된 화상들이 유효한 HEVC 참조 화상들로 여겨지는 것을 보장하기 위해 요구될 수 있다. 일 실시예에서, 관심이 있는 다양한 경우에 대해 다음에 설명되는 바와 같이, 그러한 처리는 RPU(115)에 의해 수행될 수 있다. 부호화 표준 확장성을 위해서, RPU(115)의 이용은 높은 구문(syntax) 레벨과 부호화 도구 레벨 모두에서 두 개의 다른 표준들을 사용하는 것에서 발생하는 차이들 또는 충돌들을 해결하는 것을 목표로 한다.

화상 순서 셈(Picture Order Count: POC)

HEVC 및 AVC는 높은 레벨의 구문에서 몇 가지 차이점들을 가진다. 게다가, 같은 구문도 각각의 표준 내에서 다른 의미를 가질 수 있다. RPU는 기본 계층 및 향상 계층 사이에서 높은 레벨 구문의 "번역가(translator)"로 작동할 수 있다. 그런 일 예는 화상 순서 셈(POC)에 관련되어 있는 구문이다. 계층 간 예측에 있어서, 향상 계층에서 부호화되고 있는 화상들을 지닌 기본 계층으로부터 계층 간 참조 화상들을 동기화하는 것이 중요하다. 그러한 동기화는 기본 계층 및 향상 계층들이 다른 화상 부호화 구조들을 사용할 때 더욱 중요하다. AVC 및 HEVC 표준 모두를 위해서, 화상 순서 셈(POC) 용어는 부호화된 화상들의 표시의 순서를 나타내기 위해서 쓰인다. 그러나, AVC에서 변수 pic _ order _ cnt _ type에 의해 지시되는 POC 정보를 시그널링하는 세 가지 방법들이 있는 반면에, HEVC에서는, AVC 경우에서 pic_order_cnt_type==0와 같은 오직 하나의 방법이 허용된다. 일 실시예에서, AVC 비트열에서 pic _ order _ cnt _ type이 0과 같지 않은 때에, 그때 RPU(135)는 HEVC 구문에 부합하는 POC 값으로 번역될 필요가 있을 것이다. 일 실시예에서, RPU(115) 부호기는 표 1에 나와 있듯이, 새로운 pic _ order _ cnt _ lsb 변수를 이용하여, 추가적인 POC-관련 데이터를 시그널링할 수 있다. 다른 실시예에서, RPU 부호기는 기본 계층 AVC 부호기가 간단히 pic_order_cnt_type==0만을 사용하도록 만들 수 있다.

[표 1] POC 구문

표 1에서, pic _ order _ cnt _ lsb는 현재 계층 간 참조을 위한 화상 순서 셈 모듈로(picture order count modulo) MaxPicOrderCntLsb를 명시한다. pic_order_cnt_lsb 구문 요소의 길이는 log2_max_pic_order_lsb_minus4+4 비트들이다. pic_order_cnt_lsb의 값은 0 내지 MaxPicOrderCntLsb-1까지의 범위 내일 것이다. pic_order_cnt_lsb가 없을 때, pic_order_cnt_lsb는 0과 같다고 추론된다.

크로핑 창(cropping window)

AVC 부호화에서 화상 해상도는 반드시 16의 배수이다. HEVC에서 해상도는 8의 배수가 될 수 있다. RPU에서 계층 간 참조 화상을 처리할 때, 크로핑 창은 AVC에서 패드(pad)된 픽셀들을 제거하는데 사용될 수 있다. 기본 계층 및 향상 계층이 다른 공간적 해상도(예를 들어, 기본 계층이 1920×1080이고, 향상 계층이 4K이다)를 가진다면, 또는 화상 영상비(picture aspect ratio: PAR)가 다르다면(예를 들어, 향상 계층을 위한 16:9 PAR 및 기본 계층을 위한 4:3 PAR), 이미지는 크로핑되어야 하고, 그에 맞춰서 다시 크기가 조정될 수 있다. RPU 구문에 관련된 크로핑 창의 예시가 표 2에 나와있다.

[표 2]화상 크로핑 구문

표 2에서, pic _ cropping _ flag이 1인 것은 화상 크로핑 오프셋 파라미터들이 다음을 따른다는 것을 나타낸다. 만약 pic_cropping_flag=0이라면, 그러면 화상 크로핑 오프셋 파라미터들은 없고, 크로핑이 필요가 없다.

pic _ crop _ left _ offset, pic _ crop _ right _ offset, pic _ crop _ top _ offset, 및 pic_crop_bottom_offset은 RPU 입력을 위한 화상 좌표(coordinates) 내에 명시된 직사각형의 영역(region)에 관하여, RPU 복호화 처리로 입력되는 부호화된 비디오 시퀀스(sequence)의 화상 내에 샘플들의 수를 명시한다.

RPU 처리가 각각의 계층 간 참조를 위해서 수행되기 때문에, 크로핑 창 파라미터들은 프레임 단위로 바뀔 수 있다는 점에 유의해야 한다. 따라서, 어답티브(adaptive) 관심 영역 기반 비디오 재타겟팅(retargeting)은 이와 같이 팬(줌)스캔 접근법(pan-(zoom)-scan approach)을 이용하여 지원받을 수 있다.

도 3은 HD(예를 들어, 1920×1080) 기본 계층은 H.264를 사용하여 부호화되고, 모든 레거시 HD 복호기들에 의해 복호화될 수 있는 화상을 제공하는 계층화된 부호화의 예시를 도시한다. 낮은 해상도(예를 들어, 640×480) 향상 계층은 "줌" 특성을 위한 선택적 지원을 제공하기 위해서 사용될 수 있다. EL 계층은 BL보다 작은 해상도를 가지나, 전반적인 비트 전송률을 줄이기 위해서 HEVC에서 부호화된다. 본 명세서에서 설명되는 계층 간 부호화는 이 EL 계층의 부호화 효율성을 더 향상시킬 수 있다.

인-루프(in-loop) 블록해제 필터

AVC 및 HEVC 둘 다 부호화 및 복호화에서 블록해제 필터(DF)를 이용한다. 블록해제 필터는 블록 기반 부호화에 기인하는 블록 아티팩트(artifacts)을 줄이기 위해서 의도된다. 그러나, 각각의 표준에서 블록해제 필터의 디자인은 상당히 다르다. AVC에서 블록해제 필터는 4×4 샘플 그리드(grid) 단위 상에 적용되나, HEVC에서는 블록해제 필터는 8×8 샘플 그리드 상에 만들어진 모서리에 오직 적용된다. HEVC에서 블록해제 필터의 강점은 AVC와 유사한 다수의 구문 요소들의 값에 의해서 제어된다. 그러나, HEVC는 오직 세 가지 강점을 지원하는 반면에, AVC는 다섯 가지 강점을 지원한다. HEVC에서 AVC와 비교하여 필터링의 경우가 적다. 예를 들어, 루마에 대해, 필터링이 없는 것, 강한 필터링 및 약한 필터링, 세 가지의 경우 중에서 한 가지가 선택된다. 채도에 대해, 필터링이 없는 것과 보통의 필터링, 오직 두 가지 경우만 있다. 향상 계층으로부터 기본 계층 참조 화상과 시간적 참조 화상 사이에서 블록해제 필터 기능들을 조정하기 위해서, 다수의 접근들이 적용될 수 있다.

일 실시예에서, AVC 블록해제가 없는 참조 화상은, 후(後)처리가 더 없이 RPU에 의해 직접 접근될 수 있다. 다른 실시예에서, RPU는 HEVC 블록해제 필터를 계층 간 참조 화상에 적용할 수 있다. HEVC에서 필터 결정은 몇 개의 구문 요소들의 값, 예를 들어, 변환 계수(transform coefficients), 레퍼런스 인덱스(reference index), 및 움직임 벡터(motion vector)에 기반을 두고 있다. RPU가 필터 결정을 하기 위해서 모든 정보를 분석할 필요가 있다면, 매우 복잡해질 수 있다. 대신에, 하나가 8×8 블록 레벨, CU(Coding Unit) 레벨, LCU/CTU(Largest Coding Unit 또는 Corded Tree Unit) 레벨, 다수의 LCU 레벨, 조각(slice) 레벨 또는 화상 레벨 상의 필터 인덱스를 명백하게 시그널링할 수 있다. 하나는 루마 및 채도 필터 인덱스를 별도로 시그널링할 수 있거나, 또는 같은 구문을 공유할 수 있다. 표 3은 블록해제 필터 결정이 어떻게 RPU 데이터열의 부분으로서 보여질 수 있는지 예시를 보여준다.

[표 3]블록해제 필터 구문

표 3에서, filter _ idx는 루마 및 채도 요소들을 위한 필터 인덱스를 명시한다. 루마에 대해, 0인 filter_idx는 필터링이 없는 것을 명시한다. 1인 filter_idx는 약한 필터링을 명시하고, 2인 filter_idx는 강한 필터링을 명시한다. 채도에 대해, 0 또는 1인 filter_idx는 필터링이 없는 것을 명시하고, 2인 filter_idx는 보통의 필터링을 명시한다.

샘플 어답티브 오프셋(Sample Adaptive Offset: SAO)

SAO는 블록해제 필터(DF) 이후에 샘플들을 탐색표(look-up table)를 통해서 수정하는 처리이다. 도 2A 및 도 2B에 도시되었듯이, HEVC 표준의 단지 일부이다. SAO의 목표는, 부호기 측에서 히스토그램(histogram) 분석에 의해 결정될 수 있는 몇 개의 추가적인 파라미터들에 의해 설명된 탐색표를 이용하여, 원래의 신호 진폭을 더 잘 복원하는 것이다. 일 실시예에서, RPU는 HEVC에서 설명되었듯이, 정확한 SAO 처리를 사용하여 AVC 기본 계층으로부터, 블록해제/비(非)블록해제 계층 간 참조 화상을 처리할 수 있다. 시그널링은 CTU(LCU) 레벨, 다수의 LCU 레벨들, 조각 레벨, 또는 화상 레벨에 의해 조정(adapted)될 수 있는 지역 기반일 수 있다. 표 4는 SAO 파라미터들을 통신하는 것을 위한 예시 구문을 보여준다. 표 4에서, 구문 표기법(notation syntax)은 HEVC 설명서에서 설명된 것과 동일하다.

[표 4]샘플 어답티브 ( adaptive ) 오프셋 구문

어답티브 루프 필터(Adaptive Loop Filter: ALF)

HEVC의 개발 중에, 어답티브 루프 필터(Adaptive Loop Filter: ALF) 또한 SAO 다음의 처리 블록으로 평가되었다. 그러나, ALF는 HEVC의 최초 버전의 일부가 아니다. ALF 처리는 계층 간 부호화를 향상시킬 수 있기 때문에, 미래의 부호기에 의해서 실행된다면, RPU에 의해 또한 실행될 수 있는 다른 처리 과정이다. ALF의 적응(adatation)은 CTU(LCU) 레벨, 다수의 LCU 레벨들, 조각 레벨, 또는 화상 레벨에 의해 적응될(adapted) 수 있는, 영역 기반일 수 있다. ALF 파라미터들의 예시는 2012년 5월, ITU-T/ISO/IEC Joint Collaborative Team on Video Coding(JCT-VC) 문서 JCTVC-I1003, B. Bross, W.-J. Han, G.J. Sullivan, J.-R. Ohm, 및 T. Wiegand의 "High efficiency video coding (HEVC) text specification draft 7"에서 alf_picture_info()에 의해 서술되어 있고, 본 명세서에 그 전부가 참조로서 포함되어 있다.

인터레이스드 및 프로그레시브 스캐닝

AVC는 프로그레시브(progressive) 및 인터레이스드(interlaced) 컨텐츠 둘 다를 위한 부호화 도구들을 지원한다. 인터레이스드 시퀀스들을 위해, 프레임 부호화 및 필드 부호화 둘 다 허용한다. HEVC에서 인터레이스드 스캐닝의 사용을 지원하기 위해서 명백한 부호화 도구들은 있지 않다. HEVC는 부호기가 어떻게 인터레이스드 컨텐츠가 부호화 되는지 나타낼 수 있도록 하기 위해 메타데이터 구문(Field Indication SEI 메시지 구문 및 VUI)만을 제공한다. 다음 시나리오들이 고려된다.

시나리오 1: 기본 계층 및 향상 계층이 둘 다 인터레이스드이다.

이번 시나리오에서, 다수의 방법들이 고려될 수 있다. 제 1 실시예에서, 부호기는 오직 시퀀스 단위로 프레임 또는 필드 모드에서 기본 계층 부호화를 변경하도록 제한될 수 있다. 향상 계층은 기본 계층으로부터 부호화 결정을 따를 것이다. 즉, AVC 기본 계층이 한 시퀀스 내에서 필드 부호화를 사용한다면, HEVC 향상 계층은 대응하는 시퀀스 내에서 역시 필드 부호화를 사용할 것이다. 유사하게, AVC 기본 계층이 한 시퀀스 내에서 프레임 부호화를 사용한다면, HEVC 향상 계층도 역시 대응하는 시퀀스 내에서 프레임 부호화를 사용할 것이다. 주목할 것은 필드 부호화를 위해서, AVC 구문에서 시그널링된 수직의 해상도가 프레임 높이이나, HEVC에서는 구문에서 시그널링된 수직의 해상도가 필드 높이이다. 특히 크로핑 창이 사용된다면, 비트열 내에서 이 정보를 통신하는데 있어서 특별한 주의가 필요하다.

다른 실시예에서, HEVC 부호기가 시퀀스 레벨 어답티브 프레임 또는 필드 부호화를 수행하는 반면에, AVC 부호기는 화상 레벨 어답티브 프레임 또는 필드 부호화를 사용할 수 있다. 두 가지 경우 모두, RPU는 다음의 방법 중 한 가지로 계층 간 참조 화상들을 처리할 수 있다: a) RPU는 AVC 기본 계층에서 프레임 또는 필드 부호화 결정에 상관없이, 필드처럼 계층 간 참조 화상을 처리할 수 있다, 또는 b) RPU는 AVC 기본 계층에서 프레임/필드 부호화 결정에 기초하여 계층 간 참조 화상의 처리를 조정(adapt)할 수 있다. 즉, AVC 기본 계층이 부호화된 프레임이라면, RPU는 계층 간 참조 화상을 프레임으로서 처리할 것이고, 그렇지 않으면, 계층 간 참조 화상을 필드로서 처리할 것이다.

도 4는 시나리오 1의 예시를 도시하였다. 기호 Di 또는 Dp는 프레임 비율 및 포맷이 인터레이스드 또는 프로그레시브인지를 나타낸다. 그러므로, Di는 초당 D 인터레이스드 프레임들(또는, 초당 2D 필드들)을 나타내고, Dp는 초당 D 프로그레시브 프레임들을 나타낸다. 이 예시에서, 기본 계층은 AVC를 사용하여 부호화된 표준 화질(standard-definition: SD) 720×480, 30i 시퀀스를 포함한다. 향상 계층은 HEVC를 사용하여 부호화된 고정밀도(high-sequence: HD) 1920×1080, 60i 시퀀스이다. 이 예시는 코덱 확장성, 시간적 확장성, 및 공간적 확장성을 포함한다. 시간적 확장성은 오직 시간적 예측을 갖는 계층 구조를 사용하는 향상 계층 HEVC 복호기에 의해서 처리된다(이 모드는 단일 계층에서 HEVC에 의해서 지원된다). 공간적 확장성은 계층 간 참조 필드/프레임의 조각들을 향상 계층 내에서 대응하는 필드/프레임 조각들과 조정(adjust) 및 동기화하는 RPU에 의해서 처리된다.

시나리오 2: 기본 계층이 인터레이스드이고, 향상 계층이 프로그레시브이다

이번 시나리오에서, AVC 기본 계층은 인터레이스드 시퀀스이고, HEVC 향상 계층은 프로그레시브 시퀀스이다. 도 5A는 입력 4K 120p 신호(502)가 세 가지 계층들로 부호화되는 실시예를 도시한다. 세 가지 계층들은 1080 30i BL열(532), 1080 60p로 부호화된 제 1 향상 계층(EL0)열(537), 및 4K 120p로 부호화된 제 2 향상 계층열(EL1)(517)이다. EL1 신호가 HEVC를 사용하여 부호화될 수 있는 반면에, BL 및 EL0 신호들은 H.264/AVC 부호기를 사용하여 부호화된다. 부호기 상에서 높은 해상도, 높은 프레임 4K, 120p 신호(102)로 시작하여, 부호기는 프로그레시브 1080 60p 신호(512)를 발생시키기 위해서 시간적 및 공간적 다운 샘플링(510)을 적용한다. 상호보완적 프로그레시브에서 디인터레이싱으로의 테그닉(520)을 사용하여, 부호기는 두 가지 상호보완적, 1080 30i, 인터레이스드 신호들 BL(522-1) 및 EL0(522-2)를 또한 발생시킬 수 있다. 본 명세서에서 사용된 용어 "상호보완적 프로그레시브에서 디인터레이싱으로의 테크닉(complementary progressive to deinterlacing technique)"은 같은 프로그레시브 입력으로부터 두 가지 인터레이스드 신호들을 발생시키는 방식을 나타내는데. 두 가지 인터레이스드 신호들은 같은 해상도를 가지나, 제 1 인터레이스드 신호는 제 2 인터레이스드 신호의 일부가 아닌 프로그레시브 신호로부터 필드들을 포함한다. 예를 들어, 시간 T_i(i=0,1,....,n)에서 입력 신호가 최상위(top) 및 최하위(bottom) 인터레이스드 필드들(Top-T_i,Bottom-T_i)로 나뉜다면, 제 1 인터레이스드 신호는 (Top-T₀, Bottom-T₁), (Top-T₂, Bottom-T₃) 등을 사용하여 구성될 수 있고, 제 2 인터레이스드 신호는 나머지 필드들을, 즉, (Top-T₁, Bottom-T₀), (Top-T₃, Bottom-T₂) 등을 사용하여 구성될 수 있다.

이번 예시에서, BL 신호(522-1)는 레거시 복호기들에 의해 복호화될 수 있는 이전 기종과 호환이 되는 인터레이스드 신호이고, EL0 신호(522-2)는 원래의 프로그레시브 신호로부터의 상호보완적 샘플들을 표시한다. 풀 프레임 레이트(full frame-rate)의 마지막 화상 구성을 위해서, BL 신호로부터 모든 복원된 필드 화상은 동일 접근 단위 내에, 그러나, 반대 필드 패리티(parity)를 갖는 필드 화상과 결합되어야 한다. 부호기(530)는 두 가지 AVC 부호기들(530-1 및 530-2) 및 RPU 프로세서(530-3)을 포함하는 AVC 부호기일 수 있다. 부호기(530)는 BL 및 EL0 신호들 둘 모두로부터의 참조 프레임을 사용하여, 신호 EL0를 압축하기 위해서 계층 간 처리를 사용할 수 있다. RPU(530-3)는 부호기(530-2)에 의해 사용되는 BL 참조 프레임들을 준비하기 위해서 사용될 수 있다. 또한, EL1 부호기(515)에 의해 EL1 신호(502)의 부호화를 위해 사용되는 프로그레시브 신호(537)를 만들기 위해서 사용될 수 있다.

일 실시예에서, RPU(535)의 업 샘플링 처리는 RPU(530-3)로부터 출력된, 1080 60p(537)를 계층 간 예측 동안 HEVC 부호기(515)에 의해서 사용되는 4K 60p 신호로 전환하기 위해서 이용된다. EL1 신호(502)는 압축된 4K 120p열(517)을 발생시키기 위해서 시간적 및 공간적 확장성을 이용하여 부호화될 수 있다. 복호기는 1080 30i 신호, 1080 60p 신호, 또는 4K 120p 신호를 복호화하기 위해서 유사한 처리를 적용할 수 있다.

도 5B는 실시예에 따라서 인터레이스드/프로그레시브 시스템의 다른 실시예를 도시한다. 이것은 두 가지 계층 시스템으로서, 1080 30i 기본 계층 신호(522)는 부호화된 BL열(542)를 발생시키기 위해서 AVC 부호기(540)를 이용하여 부호화되고, 4K 120p 향상 계층 신호(502)는 부호화된 EL열(552)를 발생시키기 위해서 HEVC 부호기(515)를 이용하여 부호화된다. 상기 두 열들은 부호화된 확장 가능한 비트열(572)를 형성하기 위해서 다중화될 수 있다.

도 5B에 도시된 대로, RPU(560)는 두 가지 처리를 포함할 수 있다: BL(522)을 1080 60p 신호로 전환하는 디인터레이싱 처리, 및 1080 60p 신호를 다시 4K 60p 신호로 전환하기 위한 업 샘플링 처리. 그래서, RPU의 출력은 부호기(515)에서 계층 간 예측 동안 참조 신호로서 사용될 수 있다.

시나리오 3: 기본 계층은 프로그레시브이고, 향상 계층은 인터레이스드이다

이번 시나리오에서, 일 실시예에서, RPU는 프로그레시브 계층 간 참조 화상을 인터레이스드 화상으로 변환할 수 있다. 이러한 인터레이스드 화상들은 RPU에 의해서 a) HEVC 부호기가 시퀀스 기반 프레임을 사용하는지 필드 부호화를 사용하는지에 관계없이 항상 필드들로서, 또는 b) HEVC 부호기에 의해 사용되는 모드에 따른 필드들 또는 프레임들로서 처리될 수 있다. 표 5는 부호기 처리에 관한 부호기 RPU를 안내하기 위해서 사용될 수 있는 예시 구문을 도시한다.

[표 5] 인터레이스 처리 구문

표 5에서, 1인 base _ field _ seq _ flag은 기본 계층 부호화된 비디오 시퀀스가 필드들을 나타내는 화상들을 전달하는 것을 지시한다. 0인 base _ field _ seq _ flag는 기본 계층 부호화된 비디오 시퀀스가 프레임들을 나타내는 화상들을 전달하는 것을 지시한다.

1인 enh _ field _ seq _ flag는 향상 계층 부호화된 비디오 시퀀스가 필드들을 나타내는 화상들을 전달하는 것을 지시한다. 0과 같은 enh_field_seq_flag은 향상 계층 부호화된 비디오 시퀀스가 프레임들을 나타내는 화상들을 전달하는 것을 지시한다.

표 6은 RPU가 base_field_seq_flag 또는 enh_field_seq_flags에 기반들 둔 참조 화상들을 어떻게 처리할 수 있는지 보여준다.

[표 6] 프로그레시브 / 인터레이스드 스캐닝 시퀀스들을 위한 RPU 처리

신호 부호화 모델 확장성

감마(gamma) 부호화는 표준 동적 범위(standard dynamic range: SDR) 이미지들을 나타내는 효율성 때문에 틀림없이 가장 널리 사용된 신호 부호화 모델이다. 고동적범위(high-dynamic range: HDR) 이미징에 대한 최근 연구에서, 이미지들의 몇 가지 유형들에 대해 다른 신호 부호화 모델들, 예를 들어, 본 명세서에 참조로서 그 전부가 포함되어 있는, Craig Todd에 의해 SG6 WP 6C, WP6C/USA002에 제출된, "Parameter values for UHDTV"에 서술된 지각의 양자화기(Perceptual Quantizer: PQ), 또는 2012년 7월 23일 제출된, Jon S. Miller 등에 의한 "Perceptual luminance nonlinearity-based image data exchange across different display capabilities" 제목의 일련번호 61/674,503를 갖는 U.S. 예비 특허 출원이 데이터를 좀 더 효율적으로 표현할 수 있다는 것이 발견되었다. 그러므로, 확장가능 시스템이 감마 부호화된 SDR 컨텐츠의 하나의 계층, 및 다른 신호 부호화 모델을 이용하여 부호화된 높은 동적 범위 컨텐츠의 다른 계층을 가질 수 있는 것이 가능하다.

도 6은 RPU(610)( 예를 들어, 도 1에서 RPU(115))가 기본 계층의 신호 양자화기를 조정할 수 있도록 세팅될 수 있는 실시예를 도시하였다. BL 신호(102)( 예를 들어, 4:2:0 Rec.(709)에서 감마 부호화된 8-bit SDR 비디오 신호), 및 EL 신호(104)( 예를 들어, P3 색 공간에서 4:4:4로 인코딩된 PQ 부호화된 12-bit HDR 비디오 신호)를 고려해 볼 때, RPU(610)에서 처리는 감마 복호화, 다른 역맵핑들(inverse mappings)( 예를 들어, 색 공간 변환, 비트 심도 변환, 채도 샘플링 등), 및 SDR에서 HDR으로 지각의 양자화(SDR to HDR perceptual quantization: PQ)를 포함할 수 있다. 신호 복호화 및 부호화 방법(예를 들어, 감마 및 PQ), 및 관련 파라미터들은 부호화된 비트열과 함께 전송되는 메타데이터의 일부가 될 수 있거나 미래의 HEVC 구문의 일부가 될 수 있다. 그러한 RPU 처리는 확장성의 다른 유형(예를 들어, 비트 심도, 채도 포맷, 및 색 공간 확장성)과 관련되어 있는 다른 RPU 처리와 결합할 수 있다. 도 1에 도시된 바와 같이, 유사한 RPU 처리는 확장 가능한 비트열(127)의 복호화 동안 복호기 RPU에 의해 또한 수행될 수 있다.

확장성 확대는 몇 개의 다른 범주들, 예를 들어, 공간적 또는 SNR 확장성, 시간적 확장성, 비트 심도 확장성, 및 채도 해상도 확장성을 포함할 수 있다. 그러므로, RPU는 다양한 부호화 시나리오들 하에서 계층 간 참조 화상들을 처리하기 위해서 구성될 수 있다. 향상된 부호기-복호기 호환성을 위해서, 부호기들은 대응하는 RPU 복호기를 안내하기 위해서 공간적 RPU 관련 비트열 구문을 포함할 수 있다. 구문은 조각 레벨, 화상 레벨, GOP 레벨, 장면(scene) 레벨, 또는 시퀀스 레벨을 포함한 다양한 부호화 레벨들에서 업데이트될 수 있고, 또한, 다양한 보조의 데이터, 예를 들어, NAL 유닛 헤더, 시퀀스 파라미터 세트(Sequence Parameter Set: SPS) 및 SPS의 확장(extension), SubSPS, 화상 파라미터 세트(Picture Parameter Set: PPS), 조각 헤더(slicer header), SEI 메세지, 또는 새로운 NAL 유닛에 포함될 수 있다. 많은 RPU 관련 처리 도구들이 있을 수 있기 때문에, 최대 유연성 및 용이한 실행을 위해서, 일 실시예에서, 우리는 RPU를 분리된 비트열로 만들기 위해서 새로운 NAL 유닛 유형을 보유(reserve)할 것을 제안한다. 그러한 구현예에서, 분리된 RPU 모듈은 기본 계층 및 하나 이상의 향상 계층과 상호 작용하기 위해서 부호기 및 복호기 모듈들에 추가된다. 표 7은 새로운 NAL 유닛에서 rpu_header_data()(표 8에 표시됨) 및 rpu_payload_data()(표 9에 표시됨)를 포함하는 RPU 데이터 구문의 예시를 보여준다. 이 예시에서, 다수의 분할(partition)이 영역(region) 기반 블록해제 및 SAO 결정을 허용하는 것을 가능해진다.

[표 7] RPU 데이터 구문

[표 8] RPU 헤더 데이터 구문

[표 9] RPU 페이로드 ( payload ) 데이터 구문

표 8에서, rpu _ type은 RPU 신호를 위한 예측 유형 목적을 명시하고, 확장성의 다른 종류를 명시하기 위해서 사용될 수 있다. 예를 들어, 0인 rpu_type은 공간적 확장성을 명시할 수 있고, 1인 rpu_type은 비트 심도 확장성을 명시할 수 있다. 다른 확장성 모드들을 결합하기 위해서, rpu _ mask와 같은 마스킹(masking) 변수를 또한 사용할 수 있다. 예를 들어, rpu_mask=0×01(2진법의 00000001)은 오직 공간적 확장성이 가능하다는 것을 나타낼 수 있다. rpu_mask=0×02(2진법의 00000010)은 오직 비트-심도 확장성이 가능하다는 것을 나타낼 수 있다. rpu_mask=0×03(2진법의 00000011)은 공간적 및 비트-심도 확장성 둘 다 가능하다는 것을 나타낼 수 있다.

1인 deblocking _ present _ flag는 블록해제 필터에 관련된 구문이 RPU 데이터에 있다는 것을 나타낸다.

1인 sao _ present _ flag는 SAO에 관련된 구문이 RPU 데이터에 있다는 것을 나타낸다.

1인 alf _ present _ flag는 ALF 필터에 관련된 구문이 RPU 데이터에 있다는 것을 나타낸다.

num _x_ partitions _ minus1은 RPU에서 수평 차원에서 처리된 화상들을 나누기(subdivide)위해서 사용되는 분할들의 수를 시그널링한다.

num _y_ partitions _ minus1은 RPU에서 수직 차원에서 처리된 화상들을 나누기 위해서 사용되는 분할들의 수를 시그널링한다.

다른 실시예에서, 기본 계층과 향상 계층들을 동기화하기 위해서 POC를 사용하는 대신에, RPU 구문은 화상 레벨에서 시그널링되어, 다수의 화상들이 동일한 RPU 구문을 재이용할 수 있고, 그 결과로 일부 구현예들에서 낮은 비트 오버헤드(overhead)로 이어지고, 처리 오버헤드 감소를 가져올 수 있다. 이러한 구현예에서, rpu_id는 RPU 구문에 더해질 것이다. slice_header()에서, 현재의 조각과 RPU 구문을 동기화하기 위해 rpu_id를 항상 참조할 것이고, 여기서 rpu_id 변수는 조각 헤더에서 참조되는 rpu_data()를 식별한다.

도 7은 실시예에 따라서 부호화 처리 예시를 도시한다. 일련의 화상들 또는 프레임들을 고려해 볼 때, 부호기는 제 1 압축 표준(예를 들어, AVC)을 사용하여 BL 부호기로 기본 계층을 부호화한다(715). 다음(720, 725)으로, 도 2A 및 2B에 도시된 바와 같이, RPU처리(115)는 DF 전에 또는 후에 기본 계층 화상들을 접근할 수 있다. 결정은 왜곡 비율(rate-distortion: RD) 최적화 또는 RPU가 수행하는 처리에 기초하여 만들어질 수 있다. 예를 들어, RPU가 블록 경계들을 블록해제하는 것에 또한 사용될 수 있는 업 샘플링을 수행한다면, 그러면, RPU는 단지 블록해제 필터 이전에 복호화된 기본 계층을 사용할 수 있고, 업 샘플링 처리는 좀 더 세부사항들을 유지할 수 있다. RPU(115)는 BL 및 부호화 파라미터들에 기초하여 RPU 처리 파라미터들을 결정할 수 있다. 필요하다면, RPU 처리는 EL 입력으로부터 데이터를 또한 접근할 수 있다. 그러면, 단계(730)에서, RPU는 결정된 RPU 처리 파라미터들에 따라서 계층 간 참조 화상들을 처리한다. 발생된 계층 간 화상들(735)은 향상 계층 신호를 압축하기 위해서 제 2 압축 표준(예를 들어, HEVC 부호기)을 이용하여 EL 부호기에 의해서 이제 사용될 수 있다.

도 8은 실시예에 따라서 복호화 처리 예시를 도시한다. 처음(810)에는, 복호기는 시퀀스 파라미터들 및 RPU 관련 정보를 추출하기 위해서 입력 비트열의 높은 레벨 구문을 분석(parse)한다. 다음(820)으로, 제 1 압축 표준(예를 들어, AVC 복호기)에 따라서 BL 복호기로 기본 계층을 복호화한다. RPU 처리 관련 파라미터들(825)을 복호화한 후에, RPU 처리는 이러한 파라미터들(단계(830) 및 (835))에 따라서 계층 간 참조 화상들을 발생시킨다. 마지막으로, 복호기는 제 2 압축 표준(예를 들어, HEVC 복호기)(840)을 따르는 EL 복호기를 이용하여 향상 계층을 복호화한다.

표 1-9에 정의된 RPU 파라미터 예시를 고려해 볼 때, 도 9는 실시예에 따라서 RPU 처리 복호화(decoding RPU process) 예시를 도시한다. 먼저(910), 복호기는 비트열 구문으로부터 RPU 유형(예를 들어, 표 8에 있는 rpu _ type), POC(), 및 pic_cropping()과 같은 높은 레벨 RPU 관련 데이터를 추출한다. 용어 "RPU 유형(type)"은 앞에서 설명한 바와 같이, 고려될 필요가 있는 RPU 관련 부처리들(sub-processes), 예를 들어, 부호화 표준 확장성, 공간적 확장성, 비트 심도 확장성 등을 나타낸다. BL 프레임, 크로핑, 및 ALF 관련 기능들은 먼저(예를 들어, (915), (925)) 처리될 수 있다면, 다음으로, 요구되는 인터레이스드 또는 디인터레이스드 모드(930)를 추출한 후에, 각각의 부분을 위해서 RPU는 블록해제 및 SAO 관련 동작들(예를 들어, (935), (940))을 수행한다. 추가적 RPU 처리가 수행(945)될 필요가 있다면, 그러면, RPU는 적절한 파라미터들(950)을 복호화하고, 이러한 파라미터들에 따라서 기능들을 수행한다. 이러한 처리의 끝에서, 계층 간 프레임들의 시퀀스는 EL열을 복호화하기 위해 EL복호기에서 이용 가능하다.

컴퓨터 시스템 구현예 예시

본 발명의 실시예들은 컴퓨터 시스템, 전기적 회로 및 부품들로 구성된 시스템들, 마이크로컨트롤러, 필드 프로그래머블 게이트 어레이(field programmable gate array: FPGA), 또는 다른 설정 가능한 또는 프로그램 가능한 논리 장치(programmable logic device: PLD)와 같은 집적 회로(integrated circuit: IC), 이산 신호 또는 디지털 신호 처리기(discrete time or digital signal processor: DSP), 어플리케이션에 특정된 IC(application specific IC: ASIC), 및/또는 하나 이상의 그러한 시스템들), 디바이스들, 또는 구성요소들을 포함하는 장치들로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명한 RPU 처리에 관련된 명령들을 수행, 제어, 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에 설명된 RPU 처리에 관련되어 있는 다양한 파라미터들 또는 값들을 계산할 수 있다. RPU 관련 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 이들의 다양한 조합에서 실행될 수 있다.

본 발명의 특정 구현예는 프로세서들이 본 발명의 방법을 수행하도록 하는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들어, 디스플레이의 하나 이상의 프로세서들, 부호기, 셋톱박스(set top box), 트랜스코더(transcoder), 또는 그밖에 유사한 것은 프로세서에 접근 가능한 프로그램 메모리 내에 있는, 소프트웨어 명령들을 실행하면서 앞에서 설명한 바와 같은 RPU 처리 방법들을 실행한다. 본 발명은 프로그램 제품의 형태로 또한 제공된다. 프로그램 제품은 데이터 프로세서에 의해 실행될 때, 데이터 프로세서가 본 발명의 방법을 실행하도록 하는 명령들을 포함하는 컴퓨터로 읽을 수 있는 신호들의 세트를 전달하는 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 넓고 다양한 어느 형태도 될 수가 있다. 예를 들어, 프로그램 제품은 플로피 디스켓 또는 하드 디스크 드라이브를 포함하는 자기적(magnetic) 데이터 저장 매체, CD ROMs 또는 DVD를 포함한 광학 데이터 저장 매체, ROMs 또는 플래시 RAM을 포함하는 전기적 데이터 저장 매체, 또는 그밖에 유사한 것과 같은 물리적 매체를 포함할 수 있다. 프로그램 제품상의 컴퓨터가 읽을 수 있는 신호들은 선택적으로 압축 또는 암호화될 수 있다.

구성요소(예를 들어, 소프트웨어 모듈, 프로세서, 어셈블리(assembly), 장치, 회로 등)가 앞서 언급될 때, 달리 명시하지 않으면, "수단(means)"에 대한 언급를 포함하는 해당 구성요소에 대한 언급은 본 발명의 설명된 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 균등하지 않은 구성요소들을 포함하여, 설명했던 구성요소(예를 들어, 기능적으로 균등물인 것)의 기능을 수행하는 어느 구성요소의 균등물을 포함하는 것으로서 해석되어야 한다.

균등물들, 확대들, 대체물 및 기타

RPU 처리 및 표준 기반 코덱 확장성에 관련된 실시예들이 설명되었다. 앞서 말한 설명에서, 본 발명의 실시예들은 구현예에 따라서 달라질 수 있는 많은 구체적 세부사항들을 참조하여 설명되었다. 그러므로, 무엇이 발명인지, 및 무엇이 발명이 되도록 출원인에 의해 의도된 것인지에 대한 유일하고 독점적인 지표는, 후속하는 정정을 포함하여, 청구항이 발행되는 구체적 형태로서, 본 출원으로부터 발행하는 청구항에 기재된 집합이다. 청구항에 포함된 용어들에 대해 본 명세서에서 명백하게 설명된 정의들은 청구항에 사용된 그러한 용어의 의미를 좌우할 것이다. 그러므로 청구항에 분명하게 기재되지 않은, 어떠한 한정, 요소, 특성, 특징, 장점 또는 속성은 어떤 방식으로든지 청구항의 범위를 제한해서는 안 된다. 발명의 상세한 설명 및 도면은, 따라서, 제한하는 의미보다 설명에 도움이 되는 의미로 여겨져야 한다.

102: 기본 계층 신호 104: 향상 계층 신호
110: BL 부호기 112: BL
115: RPU 117: RPU 데이터
120: HEVC 부호기 122: 부호화된 EL열
125: MUX 127: 비트열
130: DEMUX 132: 기본 계층
134: EL 계층 135: RPU
136: RPU 계층열 140: BL 복호기
142: BL 출력 신호 144: EL 출력 신호
150: EL 복호기 502: 입력 4K 120p 신호
510: 시간적 및 공간적 다운 샘플링 512: 프로그레시브 1080 60p 신호
515: EL1 부호기 517: 압축된 4K 120p 신호
520: 프로그레시브에서 디인터레이싱으로의 테크닉
522: 1080 30i 기본 계층 신호 522-1: 인터레이스드 신호들 BL
522-2: EL0 535: RPU

Claims

부호화 표준 계층화된 열(coding-standard layered stream)에서 입력 데이터를 부호화하는 방법에 있어서,
제 1 부호화 표준을 따르는 기본 계층(Base Layer: BL) 부호기를 사용하여 기본 계층(BL) 신호를 부호화된 BL열로 부호화하는 단계;
상기 BL 신호 및 향상 계층(EL) 신호에 대한 응답으로, 참조 처리 유닛(Reference Processing Unit: RPU)를 사용하여 RPU 처리 파라미터들을 결정하는 단계;
상기 RPU 처리 파라미터들 및 상기 BL 신호에 대한 응답으로, 상기 RPU를 사용하여 계층 간 참조 신호를 발생시키는 단계; 및
상기 EL 신호를 EL 부호기를 사용하여 부호화된 EL열로 부호화하는 단계로서, 상기 EL 부호기는 제 2 부호화 표준을 따르고, 상기 EL 신호의 부호화는 상기 계층 간 참조 신호에 적어도 부분적으로 기초하는, 상기 EL 신호를 부호화하는 단계를 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 1항에 있어서,
상기 제 1 부호화 표준은 H.264 표준에 따른 부호화하는 단계를 포함하고, 상기 제 2 부호화 표준은 HEVC 표준에 따른 부호화하는 단계를 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 1항에 있어서,
상기 RPU 처리 파라미터들을 결정하는 단계는 상기 제 1 및 상기 제 2 부호화 표준 사이의 하나 이상의 차이점들을 상기 RPU로 해결하는 단계를 더 포함하고, 상기 차이점들은 높은 레벨 구문 또는 부호화 도구들에 관련되어 있는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 3항에 있어서,
상기 RPU 처리 파라미터들이 화상 순서 셈(picture order count: POC), 크로핑 창들(cropping windows), 인루프(in-loop) 블록해제 필터, 샘플 어답티브 오프셋(sample adaptive offset: SAO), 어답티브 루프 필터(adaptive loop filter: ALF), 인터레이스드 및 프로그레시브 스캐닝(interlaced and progressive scanning), 또는 신호 부호화 모델에 관련된 하나 이상의 파라미터들을 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 4항에 있어서,
크로핑 창에 관련된 상기 RPU 처리 파라미터들이 하나 이상의 화상 크로핑 오프셋 파라미터들이 다음 화상 크로핑 오프셋 파라미터를 뒤따르는 것을 나타내는 변수를 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 4항에 있어서,
상기 인루프 블록해제 필터에 관련된 상기 RPU 처리 파라미터들이 필터링이 없는 것, 약한 필터링, 또는 강한 필터링을 수행하는 것인지를 나타내는 변수를 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 3항에 있어서,
상기 RPU는 화상 순서 셈(picture order count: POC) 변수의 구문에서 차이점들을 해결하고, 상기 POC 변수의 상기 구문을 상기 부호화된 BL열에 정의된 제 1 값에서 상기 제 2 부호화 표준을 따르는 제 2 값으로 번역하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 3항에 있어서,
상기 RPU가 부호화 인터레이스드 및 프로그레시브 화상들에 관련된 상기 부호화 도구에서 차이점들을 해결하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 8항에 있어서,
부호화 인터레이스드 및 프로그레시브 화상들에 관련된 상기 RPU 처리 파라미터들이 상기 기본 계층 신호가 인터레이스드 또는 프로그레시브 신호인지를 나타내는 제 1 변수, 및 상기 EL 신호가 인터레이스드 또는 프로그레시브 신호인지를 나타내는 제 2 변수를 포함하는,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
제 3항에 있어서,
상기 RPU는 인너루프(inner-loop) 블록해제 필터에 관련된 상기 부호화 도구들에 있어서의 차이점들을 해결하고,
부호화 표준 계층화된 열에서 입력 데이터를 부호화하는 방법.
부호화 표준 계층화된 열을 복호화하는 방법에 있어서,
부호화된 BL열, 부호화된 EL열, RPU 데이터열을 수신하는 단계;
제 1 부호화 표준을 따르는 BL 복호기를 사용하여, 복호화된 BL 신호를 발생시키기 위해서 상기 부호화된 BL열을 복호화하는 단계;
RPU 처리 파라미터들을 결정하기 위해서 RPU로 상기 RPU 데이터열을 복호화하는 단계;
상기 RPU 처리 파라미터들 및 상기 BL 신호에 대한 응답으로, 상기 RPU를 사용하여 계층 간 참조 신호를 발생시키는 단계; 및
복호화된 EL 신호를 발생시키기 위해 EL 복호기를 사용하여 상기 부호화된 EL 열을 복호화하는 단계로서, 상기 EL 복호기는 제 2 부호화 표준을 따르고, 상기 EL 신호의 복호화는 상기 계층 간 참조 신호에 적어도 부분적으로 기초하는, 상기 부호화된 EL열을 복호화하는 단계를 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
제 11항에 있어서,
상기 제 1 부호화 표준은 H.264 표준에 따라서 복호화하는 단계를 포함하고, 상기 제 2 부호화 표준은 HEVC 표준에 따라서 복호화하는 단계를 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
제 11항에 있어서,
상기 RPU 처리 파라미터들이 화상 순서 셈(picture order count: POC), 크로핑 창들, 인루프 블록해제 필터, 샘플 어답티브 오프셋(sample adaptive offset: SAO), 어답티브 루프 필터(adaptive loop filter: ALF), 인터레이스드 및 프로그레시브 스캐닝, 또는 신호 부호화 모델에 관련된 하나 이상의 파라미터들을 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
제 11항에 있어서,
크로핑 창에 관련된 상기 RPU 처리 파라미터들은, 화상 크로핑 오프셋 파라미터들이 직사각형의 영역(region)을 결정하는 하나 이상의 변수들이 따르는 다음 화상 크로핑 오프셋 파라미터를 따르는 것을 나타내는 변수를 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
제 11항에 있어서,
인루프 블록해제 필터에 관련된 상기 RPU 처리 파라미터들이 필터링이 없는 것, 약한 필터링, 또는 강한 필터링을 수행하는 것인지를 나타내는 변수를 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
제 11항에 있어서,
인터레이스드 및 프로그레시브 스캐닝에 관련된 상기 RPU 처리 파라미터들이 상기 기본 계층 신호가 인터레이스드 또는 프로그레시브 신호인지를 나타내는 제 1 변수, 및 상기 EL 신호가 인터레이스드 또는 프로그레시브 신호인지를 나타내는 제 2 변수를 포함하는,
부호화 표준 계층화된 열을 복호화하는 방법.
프로세서를 포함하고, 제 1항 또는 제 11항에 따른 방법들 중의 어느 하나를 수행하도록 구성되는 장치.
제 1항 또는 제 11항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 실행 가능한 명령들이 저장된 일시적이지 않은 컴퓨터가 판독 가능한 저장 매체.