KR101759855B1

KR101759855B1 - 영상 디코딩 방법 및 이를 이용하는 장치

Info

Publication number: KR101759855B1
Application number: KR1020167013967A
Authority: KR
Inventors: 헨드리헨드리; 김정선; 김철근; 전병문; 정상오
Original assignee: 엘지전자 주식회사
Priority date: 2012-06-12
Filing date: 2013-06-12
Publication date: 2017-07-19
Also published as: KR20190114021A; CN107087203A; KR102028527B1; CN107087205B; US11546622B2; KR20150027024A; KR20200077615A; CN103843342A; CN107087205A; KR20190060008A; KR20150031500A; US20180027253A1; US10469861B2; US20150085938A1; KR20200019783A; US9794582B2; CN103843342B; KR102079803B1; WO2013187698A1; US20210058635A1

Abstract

본 발명은 인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 포함하는 비트스트림을 수신하는 단계와, 상기 NAL 유닛의 NAL 유닛 헤더를 파싱하는 단계를 포함하고, 상기 NAL 유닛 헤더는 확장된 비트스트림에서 확장된 레이어를 식별하는reserved_one_5bits와 비트스트림의 시간적 레이어(temporal layer)를 식별하는 temporal_id 를 포함하는 레이어 정보를 포함하고, 상기 레이어 정보는 reserved_one_5bits는 temporal_id 보다 먼저 수신되는 것을 특징으로 하는 영상 정보 디코딩 방법을 포함할 수 있다. 이로 인하여, 계층적 비트스트림 내 스케일러빌리티 정보를 기술하는 방법이 제공된다.

Description

영상 디코딩 방법 및 이를 이용하는 장치{IMAGE DECODING METHOD AND APPARATUS USING SAME}

본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 비트스트림 내 영상 정보를 디코딩하는 방법 및 장치에 관한 것이다.

최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.

정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.

구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.

예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.

최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.

따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.

본 발명은 계층적 비트스트림 내 스케일러빌리티 정보를 기술하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 유연한 방식으로 비트스트림의 스케일러빌리티 정보를 표현하는 방법 및 장치를 제공함에 있다.

또한, 본 발명은 비트스트림 내 비디오 코딩 레이어 타입을 단순화 하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 실시형태는 인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 포함하는 비트스트림을 수신하는 단계와, 상기 NAL 유닛의 NAL 유닛 헤더를 파싱하는 단계를 포함하고, 상기 NAL 유닛 헤더는 확장된 비트스트림에서 확장된 레이어를 식별하는reserved_one_5bits와 비트스트림의 시간적 레이어(temporal layer)를 식별하는 temporal_id 를 포함하는 레이어 정보를 포함하고, 상기 레이어 정보는 reserved_one_5bits는 temporal_id 보다 먼저 수신될 수 있다.

reserved_one_5bits과 temporal_id는 동시에 파싱될 수 있다.

본 발명의 다른 실시예는 인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 포함하는 비트스트림을 수신하는 단계와, 상기 NAL 유닛의 NAL 유닛 헤더를 파싱하는 단계를 포함하고, 상기 NAL 유닛 헤더는 NAL 유닛 타입에 대응하는 NAL 유닛 타입 정보를 포함하고, 상기 NAL 유닛 타입은 픽처의 그룹(Group of Picture)이 열린(open) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처인 CRA(clean random access) 픽처 타입 및 코딩된 픽처가 스플라이싱(splicing)되거나 비트스트림이 중간에 끊어지면 랜덤 억세스 포인트로서 비트스트림 중간에 존재하는 BLA(Broken link access)픽처 타입을 포함할 수 있다.

이 때, 상기 CAR 픽처는 랜덤 억세스 포인트가 되는 픽처보다 선행하여 출력되고, 후행하여 디코딩되는 리딩 픽처(leading picture)와 무관하게 하나의 NAL 유닛 타입을 가질 수 있다.

또한, 상기 BLA 픽처의 뒤에는 랜덤 억세스 포인트가 되는 픽처보다 선행하여 출력되고, 후행하여 디코딩되는 리딩 픽처(leading picture)가 존재하지 않을 수 있다.

상기 BLA 픽처의 뒤에는 랜덤 억세스 포인트가 되는 픽처보다 선행하여 출력되고, 후행하여 디코딩되는 것는 리딩 픽처(leading picture) 중 디코딩되지 않고 제거되는 리딩 픽처가 존재하지 않을 수 있다.

본 발명의 일 실시예에 따르면, 계층적 비트스트림 내 스케일러빌리티 정보를 기술하는 방법 및 장치가 제공된다.

또한, 본 발명의 일 실시예에 따르면 유연한 방식으로 비트스트림의 스케일러빌리티 정보를 표현하는 방법 및 장치가 제공된다.

또한, 본 발명의 일 실시예에 따르면 비트스트림 내 비디오 코딩 레이어 타입을 단순화 하는 방법 및 장치가 제공된다.

도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
도 5는 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.
도 6은 IDR 픽처를 설명하기 위한 도면이다.
도 7은 CRA 픽처를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 CRA 픽처가 BLA 픽처로 변경되는 것을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 영상 정보의 인코딩 방법을 설명하기 위한 제어 흐름도이다.
도 10은 본 발명에 따른 영상 정보의 디코딩 방법을 설명하기 위한 제어 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 비디오 인코딩/ 디코딩 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 비디오 인코딩/ 디코딩 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 인코딩 장치의 기초가 될 수 있는 비디오 인코딩 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.

픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 'PU'라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 'CU'라 함)일 수도 있다.

픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.

예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.

인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.

예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.

인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.

인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.

인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.

인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.

PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m＜1) 등의 PU를 더 정의하여 사용할 수도 있다.

생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.

변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.

변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.

변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.

예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.

변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.

양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.

재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.

재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.

엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.

또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.

역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.

역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.

도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.

필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.

디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.

한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.

메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.

도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 디코딩 장치의 기초가 될 수 있는 비디오 디코딩 장치의 일 실시예를 나타낸다

도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.

비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.

예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.

엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.

재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.

재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.

역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.

역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.

역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.

예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.

현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.

현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.

복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.

스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.

복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.

메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.

디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.

또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.

도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 기본 계층은 참조 계층 또는 Base layer, 향상 계층은 Enhancement layer를 의미할 수 있다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHE(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.

예를 들어, 전송 대역폭이 4Mbps라면 상기 제1향상계층 HD의 프레임 레이트를 줄여서 15Hz이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은 이하 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

상술한 바와 같이, 이종의 통신망 및 다양한 단말로 인해 스케일러빌리티는 현재 비디오 포맷의 중요한 기능이 되고 있다.

한편, 복수의 계층을 포함하는 비트스트림은 패킷 스위칭 네트워크(packet-switching network)를 통하여 비디오의 적응적 전송을 용이하게 하는 NAL (Network Abstraction Layer) 유닛들로 구성된다. 복수의 계층과 유사하게 비트스트림 내 복수의 다시점 영상을 포함하는 멀티 뷰 비디오 코딩(multi-view video coding)에서 복수의 시점간의 관계는 복수의 레이어를 지원하는 비디오에서의 공간적 계층(spatial layer)간의 관계와 유사하다.

도 4는 디코딩 장치에 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.

코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer, 비디오 코딩 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템의 사이에 있는 NAL(network abstraction layer, 네트워크 추상 계층)로 구분되어 있다.

NAL의 기본 단위인 NAL 유닛은 코딩된 영상을 소정의 규격에 따른 파일 포맷, RTP(Real-time Transport Protocol, TS(Transport Stream) 등과 같은 하위 시스템의 비트열에 매핑시키는 역할을 한다.

한편, VCL은 시퀀스와 픽처 등의 헤더에 해당하는 파라미터 세트(픽처 파라미터 세트, 시퀀스 파라미터 세트, 비디오 파라미터 세트) 및 영상의 디코딩 과정에 부가적으로 필요한 SEI(Supplemental Enhancement Information) 메세지도 영상에 대한 정보(슬라이스 데이터)와 분리되어 있다. 영상에 대한 정보를 지닌 VCL은 슬라이스 데이터와 슬라이스 헤더로 이루어진다.

도시된 바와 같이, NAL 유닛은 NAL 유닛 헤더와 VCL에서 생성된 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과 데이터)의 두 부분으로 구성된다. NAL 유닛 헤더에는 해당 NAL 유닛의 타입에 대한 정보가 포함되어 있다.

NAL 유닛은 VCL에서 생성된 RBSP의 따라 VCL NAL 유닛과 non-VCL NAL 유닛으로 구분된다. VCL NAL 유닛은 영상에 대한 정보를 포함하고 있는 NAL 유닛을 의미하고, non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메세지)를 포함하고 있는 NAL 유닛을 나타낸다.

VCL NAL 유닛은 해당 NAL 유닛이 포함하는 픽처의 성질 및 종류 등에 따라 여러 타입으로 나뉠 수 있다.

한편, 콘텐츠 전달경로(content delivery path)에서의 모든 노드에서 비트스트림을 효과적이며 효율적으로 변환하기 위해서는 비트스트림의 스케일러빌리티 정보가 매우 중요하다. 현재 단일 레이어에 대한 비디오 코딩에 대한 표준(high efficiency video coding)에서는 NAL 유닛 헤더(header)에 계층 정보와 관련된 2개의 필드인 temporal_id와 reserved_one_5bits의 정보가 포함된다. 3 bits의 길이를 갖는 temporal_id는 비디오 비트스트림의 시간적 레이어(temporal layer)를 나타내며, reserved_one_5bits는 추후에 다른 계층 정보를 나타내기 위한 영역에 해당한다. 시간적 레이어는 VCL NAL 유닛으로 구성된 시간적으로 스케일될 수 있는 비트스트림의 레이어를 의미하며, 시간적 레이어는 특정의 temporal_id 값을 갖는다.

본 발명은 복수의 레이어를 지원할 수 잇는 비트스트림 내에서 영상의 추출 정보(extraction) 및 계층적 정보(scalability information)를 효과적으로 기술하고, 이를 시그널링 하기 위한 방법 및 이를 구현하는 장치에 대하여 것이다.

이하에서는 설명의 편의를 위하여 비트스트림을 2가지 타입으로 나누어 설명한다. 비트스트림이 시간 스케일러빌리티(temporal scalability)만을 지원하는 경우, 이를 기본 타입(base type)으로 표현하고, 비트스트림이 시간을 포함한 공간/화질/시점을 지원하는 스케일러빌리티를 가질 수 있는 경우 확장 타입(extended type)으로 표현한다.

표 1은 본 발명의 일 실시예에 따라 인코딩 장치에서 인코딩되어 디코딩 장치에서 디코딩되는 NAL 유닛 헤더의 신택스를 나타낸다.

표 1에서, NAL 유닛 헤더에 포함되어 있는 정보 중 forbidden _ zero _ bit는0이 되어야 한다.

nal _ unit _ type은 해당 NAL 유닛에 포함되어 있는 RBSP의 데이터 구조를 의미하는 것으로 RBSP의 데이터 구조에 따라 복수의 타입이 존재한다.

nal _ ref _ flag는 인코딩 할 당시 해당 NAL 유닛이 전체 비트스트림 상에서 비 참조 픽처인지 참조 픽처인지 여부를 나타내는 정보를 나타내는 플래그이다. nal_ref_flag가 1이면, NAL 유닛은 SPS(sequence parameter set), PPS(picture parameter set), APS(adaptation parameter set) 또는 참조 픽처의 슬라이스를 포함하는 것을 의미하고, nal_ref_flag가 0이면 NALU는 비 참조 픽처의 일부 혹은 전부를 포함하는 슬라이스를 포함하는 것을 의미한다.

reserved _ one _5 bits은 3D 영상 코딩 확장 타입 등과 같이 스케일러빌러티를 지원하는 확장 타입에서 활용될 수 있는 정보로서 코딩된 영상 시퀀스(coded video sequence, CVS) 내 존재하는 추가적인 레이어들을 식별하기 위하여 사용된다. 레이어는 공간적으로 스케일되는 레이어(spatial scalable layer), 화질적으로 스케일되는 레이어(a quality scalable layer), 텍스쳐 뷰(texture view) 또는 깊이 뷰(depth view) 등일 수 있다.

비트스트림이 기본 타입일 경우, reserved_one_5bits은 0이 되고, 비트스트림의 디코딩 단위에 포함되어 있는 데이터 양을 결정하는 사용될 수 있다.

temporal _ id는NAL 유닛에 대한 시간적 레이어의 식별자를 의미한다.

layer _ id는 NAL 유닛에 대한 레이어 식벌자를 의미하며 하나의 억세스 유닛에 대한 모든 VCL NAL 유닛은 동일한 layer_id 값을 갖는다. layer_id는 8 비트로 시그널링 될 수 있다.

표 1의 NAL 유닛 헤더는 nal_unit_type, nal_ref_flag, reserved_one_5bits, temporal_id, layer_id 등의 정보를 포함하고 있지만, NAL 유닛 헤더의 정보를 최소화하여 전송 효율과 코딩/디코딩 효율을 높일 수도 있다.

즉, NAL 유닛 헤더 레벨에서 필요한 최소한의 정보로서, 예컨대, nal_unit_type, temporal_id, layer_id 등이 NAL 유닛 헤더에 포함되고, 나머지 정보들은 다른 신택스 레벨, 예컨대 NAL 유닛에서 NAL 유닛 헤더를 참조하여 전송되도록 할 수도 있다.

표 1에 나타난 바와 같이, nal_unit_type이 단일 계층의 비트스트림을 지원하는 경우, 즉, 비트스트림이 기본 타입이면, reserved_one_5bits과 temporal_id 이 순차적으로 인코딩 및 디코딩되고, 만약 비트스트림이 기본 타입이 아닌 확장 타입이면 layer_id가 인코딩되어 디코딩 장치로 전송된다.

예를 들어, 베이스 레이어 즉, 기본 레이어에서는 reserved_one_5bits 및 temporal_id 순으로 시그널링 되고, 확장 레이어에서는 reserved_one_5bits와 temporal_id이 결합된 형태의 layer_id가 시그널링 될 수 있다.

layer_id는 NAL 유닛 헤더뿐만 아니라 비디오 파라미터 세트(Video Parameter Set, VPS)에서 추가적으로 시그널링 될 수 있다.

한편, NAL 유닛 헤더의 크기는 2 바이트(byte)로 고정되었고, 이러한 2 바이트 공간 내에서 요구되는 모든 정보를 전송해야 한다.

기본 타입의 비트스트림의 경우 시간적 스케일러빌러티(temporal scalability)만을 지원하고, 이는 temporal_id 신택스에 의하여 설명된다. 하지만, 확장 타입의 경우, 레이어 정보 또는 의존 관계(dependency) 등과 같은 정보가 NAL 유닛 헤더에 포함되어야 하고, 이러한 정보를 전송하기 위하여 기본 타입에서는 사용되지 않았던 reserved_one_5bits가 사용된다.

reserved_one_5bits는 5비트 신호로 확장 타입에서 요구되는 모든 정보를 전송하는데 부족할 수 있다. 즉, 5비트로 모두 32개의 레이어의 표현이 가능하지만, 비트스트림이 많은 개수의 스케일러빌러티 타입을 지원하거나 복수의 뷰 레이어를 지원하는 경우 모든 레이어 식별하는데 5 비트는 부족할 수 있다.

또한, 기존에는 NAL 유닛 헤더에서 temporal_id가 reserved_one_5bits 보다 먼저 시그널링 되었다, 다시 말해, 시간적 레이어를 식별하기 위한 temporal_id가 먼저 시그널링 되고, 그 뒤에 확장 타입에 사용되는 레이어의 식별을 위한 reserved_one_5bits가 시그널링 되었다. 시간적 스케일러빌러티와 다른 타입의 스케일러빌러티 간의 이러한 분리는 혼란을 초래할 수 있다. 시간적 스케일러빌러티는 스케일러빌러티의 하나의 형태일 수 있고, 이런 경우, 시간적 스케일러빌러티는 다른 스케일러빌러티와 유사하게 취급될 수 있다.

또한, reserved_one_5bits 전에 temporal_id을 시그널링하는 경우, 시간적 스케일러빌러티를 설명하기 위하여 3 비트가 강제적(mandatory)으로 할당된다. 하지만, 시간적 스케일러빌러티는 항상 사용되는 것이 아니고, 만약 비트스트림이 확장 타입인 경우, 시간적 스케일러빌러티는 지원하지 않고 다른 타입의 스케일러빌러티를 지원할 수 있다. 이런 경우, 시간적 스케일러빌러티에 할당되었던 3 비트는 불필요한 정보가 될 수 있다. 이처럼 불필요한 temporal_id는 다른 스케일러빌러티를 설명하는데 사용될 수 있다.

이러한 점을 고려하여, 본 발명은 temporal_id를 확장 타입의 비트스트림에서 레이어를 식별하는 하나의 정보로 사용한다. 즉, 확장 타입에서 레이어의 식별을 위하여 reserved_one_5bits뿐만 아니라 reserved_one_5bits와 temporal_id를 결합시켜 사용한다.

또한, 본 발명과 같이 기존의 reserved_one_5bits과 temporal_id의 시그널링 순서를 바꾸어 reserved_one_5bits를 temporal_id 보다 먼저 시그널링하는 경우, 파싱 효율이 증가한다. 기존의 경우, 3비트의 temporal_id를 파싱하고, 5 비트의 reserved_one_5bits 를 파싱해야 했지만, 본 발명에 따를 경우, 두 개의 정보, 즉 reserved_one_5bits와 temporal_id를 한번에 파싱할 수 있다. 다시 말해, 5 비트의 비트스트림과 3비트의 비트스트림을 각각 두 번 리드하는 것이 아니라 한 번에 8비트의 비트스트림을 리드할 수 있다.

reserved_one_5bits와 temporal_id의 시그널링 순서에 따라 파싱 회수가 달라질 수 있다. 예를 들어 temporal_id 값이 101이고, temporal_id가 나중에 시그널링 되면, reserved_one_5bits와 temporal_i를 파싱한 값은 00000101이 되고, temporal_id가 먼저 시그널링 되면 파싱 값은 10100000이 된다. 기존의 방식에 따른 후자의 경우, 디코딩 장치는 비트스트림을 두 번 파싱해야 한다.

또한, layer_id를 시그널링하는 데 8 비트가 필요하다면, 상기와 같이 reserved_one_5bits와 temporal_id를 동시에 파싱하는 것은 layer_id를 파싱하는 것과 유사하게 취급되기 때문에 구현 효율도 증가된다.

본 발명과 같이, temporal_id를 확장 타입의 비트스트림에서 레이어를 식별하는 하나의 정보로 사용할 경우, 레이어를 식별하기 위하여 8비트를 사용할 수 있으므로 기존보다 표현할 수 있는 레이어의 수가 32에서 256개로 증가하는 효과가 있다.

또한, 본 발명에 따를 경우, 시간적 스케일러빌러티는 다른 타입의 스케일러빌러티와 동일하게 취급되기 때문에 시간적 스케일러빌러티가 다른 타입의 스케일러빌러티와 동일한지 여부에 대한 혼란이 없어진다. 또한, temporal_id는 다른 타입의 스케일러빌러티과 결합하여 사용될 수 있기 때문에 스케일러빌러티를 보다 다양하게 표현할 수 있는 장점이 존재한다.

또한, 시간적 스케일러빌러티를 적용하지 않는 비트스트림의 경우, 비트스트림 내에서 시간적 스케일러빌러티에 할당되었던 비트는 다른 스케일러빌러티를 설멍하는 데 유용하게 사용될 수 있다.

표 2는 본 발명의 다른 실시예에 따른 NAL 유닛 헤더의 신택스를 나타낸다.

표 2에 나타나 있는 layer _ id는 NAL 유닛에 대한 시간적 식별자를 의미한다. 하나의 억세스 유닛에 대한 모든 VCL NAL 유닛은 동일한 layer_id 값을 가지며, 단일 계층을 지원하는 비트스트림의 경우 layer_id의 범위는 0부터 7이 될 수 있고, 억세스 유닛이 랜덤 억세스 포인트가 되는 억세스 유닛인 경우 해당 억세스 유닛에 대한 모든 VCL NAL 유닛에 대한 layer_id 값은 0이 된다.

본 실시예에서는 reserved_one_5bits와 temporal_id를 결합시켜 layer_id라는 새로운 신택스를 사용한다. 상술한 바와 같이, 단일 계층을 지원하는 비트스트림, 즉 기본 타입의 경우 layer_id는 0부터 7까지의 범위를 가질 수 있고, 이 경우 layer_id는 temporal_id과 동일한 정보를 시그널링하는 신택스로 사용될 수 있다.

표 2의 NAL 유닛 헤더도, 표 1과 동일하게 nal_unit_type, nal_ref_flag, reserved_one_5bits, temporal_id, layer_id 등의 정보를 포함하고 있지만, NAL 유닛 헤더의 정보를 최소화하여 전송 효율과 코딩/디코딩 효율을 높일 수도 있다.

한편, 모든 비 참조 픽처(non-reference picture)들, 특히 대부분 최상위 시간적 레이어에 해당하는 비 참조 픽처가 추출된다면, 추출 후 남은 모든 픽처들의 nal_ref_flag 는 1이 된다. 그러나, 추출된 비트스트림의 일부 픽처들, 즉 남은 비트스트림에서 최상위 시간적 레이어에 해당하는 픽처는 nal_ref_flag가 1이라고 하더라도 비 참조 픽처들이 된다.

따라서, 이러한 nal_ref_flag에 할당되었던 비트를 NAL 유닛 헤더의 다른 신택스 요소들, 예를 들어, temporal_id 또는 reserved_one_5bits에 사용할 수 있다. nal_ref_flag에 할당되었던 1 비트를 temporal_id 또는 reserved_one_5bits에 사용한다면, 비트스트림에 포함되는 보다 많은 수의 레이어를 식별하는 것이 가능해진다.

예를 들어 nal_ref_flag에 할당되었던 1 비트를 reserved_one_5bits에 사용할 경우, reserved_one_5bits는 1비트가 추가된 6 비트 신호가 될 수 있다.

상술한 바와 같이, NAL 유닛은 해당 NAL 유닛이 포함하는 픽처의 성질 및 종류 등에 따라 여러 타입으로 나뉠 수 있다.

표 3은 NAL 유닛 타입의 일 예를 나타낸 것이다.

표 3에 기재된 바와 같이, NAL 유닛 타입은 영상에 대한 정보를 포함하고 있는지 여부에 따라 VCL NAL 유닛과 non-VCL NAL 유닛으로 분류될 수 있다. VCL NAL 유닛은 영상에 대한 정보를 포함하고 있는 NAL 유닛을 의미하고, non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메세지)를 포함하고 있는 NAL 유닛을 나타낸다.

VCL NAL 유닛은 랜덤 억세스가 가능한 픽처와 그렇지 않은 픽처로 구분될 수 있다. 표 3에서 nal_unit_type이 4 내지 8인 NAL 유닛은 랜덤 억세스가 가능한 픽처이고, nal_unit_type이 1 내지 3인 NAL 유닛은 랜덤 억세스가 되지 않는 픽처들이다.

도 5는 랜덤 억세스가 가능한 픽처를 설명하기 위한 도면이다.

랜덤 억세스가 가능한 픽처, 즉 랜덤 억세스 포인트가 되는 IRAP(intra random access point) 픽처는 랜덤 억세스 시 비트스트림에서 디코딩 순서(decoding order) 상 첫 번째 픽처이며, I 슬라이스만을 포함한다.

도 5에는 픽처의 출력 순서(output order 또는 display order)와 디코딩 순서가 도시되어 있다. 도시된 바와 같이 픽처의 출력 순서와 디코딩 순서는 서로 다를 수 있다. 편의 상 픽처들은 소정의 그룹으로 구분하여 설명된다.

제1 그룹(Ⅰ)에 속하는 픽처들은 IRAP 픽처와 출력 순서 및 디코딩 순서 모두에서 선행하는 픽처를 나타내고, 제2 그룹(Ⅱ)에 속하는 픽처들은 IRAP 픽처보다 출력 순서는 선행하지만 디코딩 순서는 후행하는 픽처를 나타낸다. 마지막 제3 그룹(Ⅲ)의 픽처들은 IRAP 픽처보다 출력 순서 및 디코딩 순서 모두에서 후행한다.

제1 그룹(Ⅰ)의 픽처들은 IRAP 픽처와 무관하게 디코딩 되어 출력될 수 있다.

IRAP 픽처에 선행하여 출력되는 제2 그룹(Ⅱ)에 속하는 픽처들을 리딩 픽처(leading picture)라고 하며, 리딩 픽처들은 IRAP 픽처가 랜덤 억세스 포인트로 사용될 경우 디코딩 과정에서 문제될 수 있다.

출력 및 디코딩 순서가 IRAP 픽처에 후행하는 제3 그룹(Ⅲ)에 속하는 픽처를 노말 픽처라고 한다. 노말 픽처는 리딩 픽처의 참조 픽처로 사용되지 않는다.

비트스트림에서 랜덤 억세스가 발생하는 랜덤 억세스 포인트는 IRAP 픽처가 되고, 제2 그룹(Ⅱ)의 첫 번째 퍽처가 출력되면서 랜덤 억세스가 시작 된다.

한편, IRAP 픽처는 IDR(instantaneous decoding refresh) 픽처, CRA(clean random access) 픽처, BLA(Broken link access) 픽처 중 어느 하나가 될 수 있다.

도 6은 IDR 픽처를 설명하기 위한 도면이다.

IDR 픽처는 픽처의 그룹(Group of Picture)이 닫힌(closed) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. IDR 픽처는 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 비트스트림 중간에 올 수도 있다. IDR 픽처는 디코딩되면 DPB(decoded picture buffer)에 저장되어 있는 모든 참조 픽처들은"unused for referenc"로 표시된다.

도 6에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처(들)가 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.

도시된 바와 같이, IDR 픽처의 POC는 32이고, POC가 25내지 31며 IDR 픽처에 선행하여 출력되는 픽처는 리딩 픽처들(610)이다. POC가 33보다 큰 픽처들은 노말 픽처(620)에 해당한다.

IDR 픽처에 선행하는 리딩 픽처들(610)은 IDR 픽처와 다른 리딩 픽처를 참조 픽처로 이용할 수 있지만, 리딩 픽처들(610)에 선행하는 과거 픽처(630)을 참조 픽처로 이용할 수 없다.

IDR 픽처에 후행하는 노말 픽처들(620)는 IDR 픽처와 리딩 픽처 및 다른 노말 픽처를 참조하여 디코딩 될 수 있다.

도 7은 CRA 픽처를 설명하기 위한 도면이다.

CRA 픽처는 픽처의 그룹(Group of Picture)이 열린(open) 구조를 가질 때 랜덤 억세스 포인트가 되는 픽처이다. CRA 픽처 역시 IRAP 픽처이므로 I 슬라이스만을 포함하며, 비트스트림에서 디코딩 순서 상 첫 번째 픽처가 될 수도 있고, 노멀 플레이를 위하여 비트스트림 중간에 올 수도 있다(appear).

도 7에 도시되어 있는 막대는 픽처를 나타내고 화살표는 픽처가 다른 픽처를 참조 픽처로 이용할 수 있는지 여부에 대한 참조 관계를 나타낸다. 화살표 상에 표시되어 있는 x 마크는 해당 픽처 또는 픽처들이 화살표가 가리키는 픽처를 참조할 수 없음을 나타낸다.

CRA 픽처에 선행하는 리딩 픽처들(710)은 CRA 픽처와 다른 리딩 픽처, 및 리딩 픽처들(710)에 선행하는 과거 픽처(730) 모두를 참조 픽처로 이용할 수 있다.

반면, CRA 픽처에 후행하는 노말 픽처들(720)는 CRA 픽처와 다른 노말 픽처를 참조하여 디코딩 될 수 있지만, 리딩 픽처들(710)을 참조 픽처로 이용할 수 없다.

BLA 픽처는 CRA 픽처와 유사한 기능 및 성질을 가지며, 코딩된 픽처가 스플라이싱(splicing)되거나 비트스트림이 중간에 끊어지면 랜덤 억세스 포인트로서 비트스트림 중간에 존재하는 픽처를 의미한다. 다만, BLA 픽처는 새로운 시퀀스의 시작으로 간주되기 때문에 CRA 픽처와 달리 BLA 픽처가 디코더에 수신될 때 영상에 대한 파라미터 정보가 다시 모두 수신된다.

BLA 픽처는 인코딩 장치에서부터 정해질 수도 있고, 인코딩 장치로부터 비트스트림을 수신한 시스템에서 수신된 CRA 픽처를 BLA 픽처로 변경할 수 있다. 예를 들어 비트스트림이 스플라이싱이 되는 경우 시스템은 CRA 픽처를 BLA 픽처로 변경하여 영상을 디코딩하는 디코더에게 제공하고, 이 때 영상에 대한 파라미터 정보 역시 시스템으로부터 디코더에 새롭게 제공된다. 본 발명에서 디코더란 영상을 디코딩하는 영상 처리부를 포함하는 모든 디바이스를 의미하며, 도 2의 디코딩 장치로 구현될 수도 있고, 영상을 처리하는 핵심 모듈인 디코딩 모듈을 의미할 수도 있다.

다시 표 3으로 돌아가면 TED(tagged for discard) 픽처는 디코딩이 불가능한 리딩 픽처로 버려질 수 있는 픽처를 의미한다. TED 픽처는 가용하지 않는 참조 픽처를 참조하는 것과 같이 정상적으로 디코딩 되지 않는 픽처를 의미하며, TED 픽처는 디코딩 과정 및 출력 과정에서 제외된다.

TLA(temporal layer access) 픽처는 시간적 스케일러빌러티에서 업 스위칭이 가능한 위치를 알려주는 픽처로서, TLA 픽처 또는 TLA 픽처보다 큰 temporal_id를 갖는 서브 레이어를 포함하는 서브 레이어에서 업 스위칭이 가능한지 여부를 알려준다.

표 3에서 CRA 픽처를 나타내는 nal_unit_type은 4 및 5이고, BLA 픽처를 나타내는 nal_unit_type이 6 및 7이다. CRA 픽처와 BLA 픽처는 아래와 같이 분류될 수 있다.

-Type 4: Coded slice of a CRAT (CRA with TFD) picture

-Type 5: Coded slice of a CRANT (CRA with no TFD) picture

-Type 6: Coded slice of a BLAT (Broken link access unit with TFD) picture

-Type 7: Coded slice of a BLANT (Broken link access unit with no TFD) picture

하지만, 상기 nal_unit_type이 4 내지 7인ㅇ 픽처는 CRA 픽처 및 BLA 픽처를 구분하는데 중복적일 수 있다. TFD 픽처를 수반하는 CRA 픽처(CRA with TFD)와 그렇지 않은 CRA 픽처(CRA with no TFD) 간의 구분이 모호하고, BLA 픽처 역시 TED 픽처를 수반하는지 여부를 구별할 실익이 크지 않다. 따라서, TFD 픽처의 유무에 따라 CRA 픽처와 BLA 픽처를 구분하는 것은 NAL 유닛 타입에 중복성을 더해 불필요할뿐만 아니라 이들의 구분이 명확하지 않아 혼란을 초래할 수 있다.

따라서, 본 발명의 일 실시예에서는 NAL 유닛 타입의 중복성을 해소하기 위하여 상기 네 가지 타입을 두 가지 타입으로 재구성할 것을 제안한다.

새로운 NAL 유닛 타입은 TED 픽처의 유무에 관계 없이 CRA 픽처와 BLA 픽처만을 NAL 유닛 타입으로 정의 한다. 즉, 표 3의 CRA 픽처는 Type 4 및 Type 5로 구분되지 않는 하나의 타입으로 표현되고, BLA 픽처 역시 Type 6 및 Type 7로 구분되지 않는 하나의 타입으로 표현될 수 있다.

본 발명에서는 랜덤 억세스 포인트가 되는 픽처로서 뒤에 TED 픽처가 올 수 있는 픽처를 CRA 픽처로 정의하고 하나의 NAL 유닛 타입으로 표현한다.

반면, 새로운 랜덤 억세스 포인트까지 뒤에 TED 픽처가 올 수 없는 픽처를 BLA 픽처로 정의하고 하나의 NAL 유닛 타입으로 표현한다. 즉, BLA 픽처와 다음 랜덤 억세스 포인트 사이에는 TED 픽처가 존재하지 않는다.

정리하면, TED 픽처, CRA 픽처 및 BLA 픽처는 각각 독립된 NAL 유닛 타입으로 표현되고, 뒤에 TED 픽처가 올 수 있는 지 여부에 따라 CRA 픽처와 BLA 픽처를 구분할 뿐 CRA 픽처와 BLA 픽처를 두 개의 NAL 유닛 타입으로 분류하지 않는다.

이와 같이 기능적으로 유사한 4개의 NAL 유닛 타입을 2개로 줄이는 단순화를 통하여 NAL 유닛 타입을 보다 정확하게 정의할 수 있고, 이러한 단순화는 복잡성 낮추는 효과가 있다.

도 8은 본 발명의 일 실시예에 따라 CRA 픽처가 BLA 픽처로 변경되는 것을 설명하기 위한 도면이다.

도 8의 (a)는 인코딩 장치에서 출력되는 원래의 비트스트림을 도시한 것이고, (b)는 시스템에서 디코더에 제공하는 비트스트림을 도시한 도면이다.

도 8의 CS(coded slice)는 정상적으로 인코딩된 슬라이스를 의미하고, 픽처를 식별하는 숫자는 픽처의 출력 순서, 즉 POC를 나타낸다.

(a)의 비트스트림에서 갑작스럽게 랜넘 억세스가 발생하면, 디코딩 과정은 CRA 픽처에서 시작된다. 이 경우, 시스템은 CRA 픽처의 NAL 유닛 타입을 (b)와 같이 BLA 픽처로 변경하고 CRA 픽처 뒤에 존재했던 모든 TED 픽처를 비트스트림에서 제거할 수 있다.

그런 경우, (b)의 비트스트림을 수신한 디코더는 POC 28의 BLA 픽처를 디코딩한 뒤, 순차적으로 뒤에 존재하는 CS를 디코딩할 수 있다. 이 경우, 디코더는 입력되는 비트스트림의 픽처 비트열을 유지하기 위하여, 즉 픽처를 저장하는 버퍼의 오버플로우나 언더 플로우를 방지하기 위하여 소정의 지연 시간만큼 시간을 지연시킨 후 후속 픽처를 디코딩 할 수 있다.

도 9는 본 발명에 따른 영상 정보의 인코딩 방법을 설명하기 위한 제어 흐름도이다.

도시된 바와 같이, 인코딩 장치는 영상에 관련된 정보를 포함하는 NAL 유닛을 인코딩 한다(S910).

NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 스케일러블 레이어를 식별하기 위한 계층 식별 정보를 포함하고 있다. 이러한 레이어 식별 정보는 reserved_one_5bits 및 temporal_id 또는 layer_id와 같은 신택스로 인코딩될 수 있다.

인코딩 장치는 비트스트림이 단일 계층을 지원하는 경우 reserved_one_5bits과 temporal_id을 순차적으로 인코딩하고, 비트스트림이 기본 타입이 아닌 확장 타입이면 layer_id을 인코딩할 수 있다.

또는, 비트스트림이 지원하는 계층의 수와 관계 없이 reserved_one_5bits와 temporal_id를 결합시켜 layer_id라는 하나의 신택스 정보만을 인코딩 할 수도 있다.

인코딩 장치는 NAL 유닛 타입에 대한 정보를 NAL 유닛 헤더 부분에 인코딩 한다. VCL NAL 유닛 중 랜덤 억세스 포인트가 되는 픽처에는 IDR 픽처, CRA 픽처 및 BLA 픽처가 존재하며, 이러한 IRAP 픽처에 선행하여 출력되는 픽처는 리딩 픽처라고 한다.

이러한 각각의 픽처는 서로 다른 nal_unit_type 정보로 식별된다.

기존에는 리딩 픽처 중 디코딩되지 않고 비트스트림에서 제거될 수 있는 TED 픽처의 유무에 따라 CRA 픽처와 BLA 픽처는 각각 두 개의 NAL 유닛 타입으로 표현되었다.

본 발명의 일 실시예에 따른 인코딩 장치는 TED 픽처의 유무에 관계 없이 TED 픽처, CRA 픽처 및 BLA 픽처는 각각 독립된 NAL 유닛 타입으로 인코딩하고, 뒤에 TED 픽처가 올 수 있는 지 여부에 따라 CRA 픽처와 BLA 픽처를 구분하여 인코딩한다.

다른 실시예에 따르면, NAL 유닛의 NAL 유닛 헤더는 NAL 유닛이 비 참조 픽처의 적어도 일부 또는 전부를 포함하는 슬라이스를 포함하는지 여부를 나타내는 정보인 nal_ref_fla를 포함하지 않을 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 인코딩 장치는 BLA 픽처 뒤에 인코딩되는 리딩 픽처 중 TED 픽처가 아닌 디코딩 가능한 리딩 픽처가 존재할 경우 이를 식별하기 위하여 이러한 BLA 픽처를 새로운 nal_unit_type 정보로 인코딩 할 수도 있다.

인코딩 장치는 인코딩된 영상에 관련된 정보를 포함하는 NAL 유닛을 비트스트림으로 디코딩 장치로 전송한다(S902)

도 10은 본 발명에 따른 영상 정보의 디코딩 방법을 설명하기 위한 제어 흐름도이다.

도 10을 참조하면, 디코딩 장치는 비트스트림을 통하여 인코딩된 영상에 관련된 정보를 포함하는 NAL 유닛을 수신한다(S1001).

NAL 유닛 헤더에는 스케일러블 계층을 지원하는 비트스트림에서 스케일러블 계층을 식별하기 위한 계층 식별 정보 및 성질에 따라 NAL 유닛을 구분하고 있는 nal_unit_type 정보가 포함되어 있다.

디코딩 장치는 NAL 유닛의 헤더 및 NAL 페이로드(payload)를 파싱한다(S1002). 영상 정보에 대한 파싱은 엔트로피 디코딩부 또는 별도의 파싱부에서 수행될 수 있다.

디코딩 장치는 파싱을 통하여 NAL 유닛 헤더 및 NAL 페이로드에 포함되어 있는 다양한 정보를 획득할 수 있다.

디코딩 장치는 단일 계층을 지원하는 비트스트림에서 계층을 식별하는 정보인 reserved_one_5bits 및 temporal_id 순으로 수신하고, 두 개의 정보를 한번에 파싱할 수 있다. 이 경우 복수의 계층을 지원하는 비트스트림에서 계층을 식별하는 정보인 layer_id과 유사한 패턴으로 파싱할 수 있는 효과가 있다.

디코딩 장치는 또한, nal_unit_type을 파싱하여 픽처의 종류를 구분하고, 이에 대응하여 영상을 처리할 수 있다. 예를 들어, IDR 픽처, CRA 픽처 및 BLA 픽처에 대해서는 랜덤 억세스 포인트가 되는 픽처이므로 I 슬라이스에 대응하는 영상 처리를 하고, TED 픽처에 대하여는 디코딩 하지 않는다.

디코딩 장치에서 CRA 픽처를 BLA 픽처로 변경할 수 있는 경우, 디코딩 장치는 BLA 픽처로 변경된 픽처 뒤에 수신되는 TED 픽처를 비트스트림에서 제거하거나 디코딩 하지 않을 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함할 수 있으므로 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

210 : 엔트로피 디코딩부 220 : 역양자화부
225 : 역변환부 230 ; 예측부
235 : 필터부 240 : 메모리

Claims

NAL(Network Abstraction Layer) 유닛을 포함하는 비트스트림을 수신하는 단계;
상기 NAL 유닛의 NAL 유닛 헤더에서 NAL 유닛 타입을 지시하는 NAL 유닛 타입 정보를 획득하는 단계;
상기 NAL 유닛 타입 정보를 기반으로 픽처를 디코딩하는 단계; 및
상기 디코딩된 픽처를 DPB(decoded picture buffer)에 저장하는 단계를 포함하되,
상기 NAL 유닛 타입은 CRA(clean random access) 픽처에 대한 CRA 픽처 타입 및 BLA(Broken link access) 픽처에 대한 BLA 픽처 타입을 포함하는 NAL 유닛 타입들 중 하나이고,
상기 CRA 픽처는 랜덤 억세스 포인트 픽처이고, 상기 CRA 픽처보다 출력 순서가 선행하는 리딩 픽처(leading picture)로 스킵 픽처가 존재하는지 여부와 무관하게 하나의 NAL 유닛 타입을 갖는 것을 특징으로 하는 픽처 디코딩 방법.
제1항에 있어서,
상기 스킵 픽처는 출력되지 않는 리딩 픽처인 것을 특징으로 하는 픽처 디코딩 방법.
제1항에 있어서,
상기 BLA 픽처의 뒤에는 상기 스킵 픽처가 존재하지 않는 것을 특징으로 하는 픽처 디코딩 방법.
제1항에 있어서,
상기 스킵 픽처는 디코딩 및 출력되지 않는 것을 특징으로 하는 픽처 디코딩 방법.
제1항에 있어서,
상기 NAL 유닛 헤더는 확장된 비트스트림에서 확장된 레이어를 식별하는 확장된 레이어 정보와 비트스트림의 시간적 레이어(temporal layer)를 식별하는 시간적 레이어 정보를 포함하고,
상기 레이어 정보 중 확장된 레이어 정보는 시간적 레이어 정보보다 먼저 수신되는 것을 특징으로 하는 픽처 디코딩 방법.
제5항에 있어서,
상기 확장된 레이어 정보와 상기 시간적 레이어 정보는 동시에 파싱되는 것을 특징으로 하는 픽처 디코딩 방법.
제5항에 있어서,
상기 비트스트림이 복수의 계층을 지원하는 확장 타입이면,
상기 확장된 레이어 정보 및 상기 시간적 레이어 정보가 결합된 하나의 레이어 정보로 수신되는 것을 특징으로 하는 픽처 디코딩 방법.