KR20140076488A - 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 기본 계층과 향상 계층을 지원하는 영상 복호화 방법에 관한 것이다. 상기 영상 복호화 방법은 상기 향상 계층의 현재 PU(Prediction Unit)에 대한 화면 내 예측(intra prediction)을 위한 참조 데이터를 유도하는 단계 및 상기 참조 데이터를 이용하여 상기 현재 PU에 대한 화면 내 예측을 수행하여 상기 현재 PU의 예측 값을 생성하는 단계를 포함한다. 상기 참조 데이터는 상기 현재 PU에 인접한 인접 PU의 화소로서, 상기 기본 계층 또는 상기 향상 계층의 화소로부터 유도되며, 상기 인접 PU는 상기 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단 및 좌하단 인접 PU를 포함할 수 있다.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}

본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 기반으로 하는 영상 부호화 및 복호화에 관한 것이다.

다양한 공간적 해상도(Spatial Resolution), 다양한 프레임율(Frame-rate)을 지원 가능한 하나의 통합된 데이터를 생성하여 다양한 전송 환경과 다양한 단말들에게 데이터를 효율적으로 전송할 수 있도록 지원하기 위한 비디오 부호화 기술로써, HEVC(High Efficiency Video Coding)를 기반으로 하는 SHVC(Scalable HEVC)에 대한 표준화가 진행 중이다.

본 발명은 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.

본 발명은 스케일러블 비디오 인코딩/디코딩에서 압축 효율을 높이는 방법 및 장치를 제공한다.

본 발명은 스케일러블 비디오 인코딩/디코딩에서 상위 계층의 데이터에 대하여 효율적으로 화면 내 부호화하는 방법 및 장치를 제공한다.

본 발명은 상위 계층을 부호화하기 위한 하위 계층 영상의 업샘플링된 예측 신호를 생성하기 위해서, 하위 계층의 화소값과 상위 계층의 화소값을 혼합하여 사용하는 방법 및 장치를 제공한다.

본 발명의 일 양태에 따르면, 기본 계층과 향상 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은, 상기 향상 계층의 현재 PU(Prediction Unit)에 대한 화면 내 예측(intra prediction)을 위한 참조 데이터를 유도하는 단계 및 상기 참조 데이터를 이용하여 상기 현재 PU에 대한 화면 내 예측을 수행하여 상기 현재 PU의 예측 값을 생성하는 단계를 포함한다.

상기 참조 데이터는 상기 현재 PU에 인접한 인접 PU의 화소로서, 상기 기본 계층 또는 상기 향상 계층의 화소로부터 유도되며, 상기 인접 PU는 상기 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단 및 좌하단 인접 PU를 포함할 수 있다.

본 발명의 다른 양태에 따르면, 기본 계층과 향상 계층을 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는, 상기 향상 계층의 현재 PU(Prediction Unit)에 대한 화면 내 예측(intra prediction)을 위한 참조 데이터를 유도하고, 상기 참조 데이터를 이용하여 상기 현재 PU에 대한 화면 내 예측을 수행하여 상기 현재 PU의 예측 값을 생성하는 예측부를 포함한다.

상기 참조 데이터는 상기 현재 PU에 인접한 인접 PU의 화소로서, 상기 기본 계층 또는 상기 향상 계층의 화소로부터 유도되며, 상기 인접 PU는 상기 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단 및 좌하단 인접 PU를 포함할 수 있다.

본 발명은 비디오 부호화에서 부호화 효율을 향상시킬 수 있다. SHVC의 공간적 스케일러빌리티에서 향상 계층의 화면 내 예측 부호화를 수행할 때, 참조 데이터로 기본 계층의 데이터를 업샘플링(Upsampling)한 후 재구성한 데이터를 사용함으로써, 높은 부호화 효율과 하드웨어적 효율을 증가시킨다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다.
도 4는 영상을 부호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 5는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 6은 코딩 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 7은 인트라 예측 모드의 일예를 도시한 도면이다.
도 8은 SHVC에서 계층별로 화면 내 예측 부호화를 위해 저장하고 있어야 하는 참조 데이터에 따른 최대 메모리 크기를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따라 기본 계층을 업샘플링하여 향상 계층의 화면 내 예측 부호화를 위한 참조 데이터를 유도하는 것을 나타내는 도면이다.
도 10은 HEVC에서 적용되는 화면 내 예측 부호화 단위를 나타내는 일 예이다.
도 11은 SHVC의 공간적 스케일러빌리티 시 화면 내 예측 부호화(또는 복호화)를 위해 필요로 하는 시간을 나타내는 일 예이다.
도 12는 프레임 경계에서 화면 내 예측 부호화를 수행하는 경우 참조 데이터를 유도하는 것을 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따라 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-A)을 나타내는 도면이다.
도 14는 본 발명의 다른 실시예에 따라 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-B)을 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따라 CIP 환경에서 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-A-1)을 나타내는 도면이다.
도 16은 본 발명의 다른 실시예에 따라 CIP 환경에서 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-B-1)을 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따라 기본 계층의 화소값과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따라 CIP 환경에서 기본 계층의 화소값과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 나타내는 도면이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 포함한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬(Exponential-Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1에서 상술한 바와 같이, 스케일러블 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.

본 명세서에서 기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 또한, 향상 계층은 부가 계층이라고 지칭할 수도 있다. 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 그리고, 특정 계층이 부호화 혹은 복호화 시에 참조하는 계층은 참조 계층이라 지칭할 수 있다.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.

스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

도 4는 영상을 부호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.

HEVC(High Efficiency Video Coding)에서는 영상을 효율적으로 분할하기 위해 코딩 유닛(Coding Unit; CU)으로 부호화를 수행한다.

도 4를 참조하면, HEVC에서는 영상(400)을 최대 코딩 유닛(Largest Coding Unit; LCU)(이하, LCU라 함) 단위로 순차적으로 분할한 후, LCU 단위로 분할 구조를 결정한다. 분할 구조는 LCU(410) 내에서 영상을 효율적으로 부호화하기 위한 코딩 유닛(이하, CU라 함)의 분포를 의미하며, 이러한 분포는 하나의 CU를 그 가로 크기 및 세로 크기의 절반으로 감소된 4개의 CU로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU는 동일한 방식으로 상기 분할된 CU에 대해서 그 가로 크기 및 세로 크기가 절반씩 감소된 4개의 CU로 재귀적으로 분할될 수 있다.

이때, CU의 분할은 미리 정의된 깊이까지 재귀적으로 분할될 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보로써, 각 CU마다 저장되어 있다. 예컨대, LCU의 깊이는 0이고, SCU의 깊이는 미리 정의된 최대 깊이일 수 있다. 여기서, LCU는 상술한 바와 같이 최대 코딩 유닛 크기를 가지는 코딩 유닛이며, SCU(Smallest Coding Unit)는 최소 코딩 유닛 크기를 가지는 코딩 유닛이다.

LCU(410)로부터 가로 및 세로 크기의 절반으로 분할을 수행할 때마다 CU의 깊이는 1씩 증가한다. 각각의 깊이 별로, 분할을 수행하지 않는 CU의 경우에는 2Nx2N 크기로, 분할을 수행하는 CU의 경우에는 분할되어 4개의 NxN 크기 CU가 된다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소한다.

도 4을 참조하면, 최소 깊이가 0인 LCU의 크기는 64x64 화소이고, 최대 깊이가 3인 SCU의 크기는 8x8 화소일 수 있다. 이때, 64x64 화소의 CU(LCU)는 깊이 0으로, 32x32 화소의 CU는 깊이 1로, 16x16 화소의 CU는 깊이 2로, 8x8 화소의 CU(SCU)는 깊이 3으로 표현될 수 있다.

또한, 특정 CU를 분할할지에 대한 정보는 CU마다 1비트의 분할 정보를 통해 표현될 수 있다. 이 분할 정보는 SCU를 제외한 모든 CU에 포함될 수 있으며, 예컨대 CU를 분할하지 않을 경우에는 분할 정보에 0을 저장할 수 있고, CU를 분할할 경우에는 분할 정보에 1을 저장할 수 있다.

한편, LCU로부터 분할된 CU는 예측을 위한 기본 단위인 예측 유닛(Prediction Unit; PU 또는 Prediction Block; PB)과 변환을 위한 기본 단위인 변환 유닛(Transform Unit; TU 또는 Transform Block; TB)으로 구성될 수 있다.

도 5는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.

LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛으로 분할되며 이 행위 자체 역시 분할(partition)(혹은 파티션)이라고 일컫는다. 예측 유닛(이하, PU라 함)은 예측을 수행하는 기본 단위로써, 스킵(skip) 모드, 인터(inter) 모드, 인트라(intra) 모드 중 어느 하나로 부호화되며, 각 모드에 따라서 다양한 형태로 파티션될 수 있다.

도 5를 참조하면, CU가 스킵 모드로 부호화되는 경우, CU는 파티션 없이, CU와 동일한 크기를 갖는 2Nx2N 모드(510)의 PU를 포함할 수 있다.

CU가 인터 모드로 부호화되는 경우, CU는 8가지의 파티션 모드, 예컨대 2Nx2N 모드(510), 2NxN 모드(515), Nx2N 모드(520), NxN 모드(525), 2NxnU 모드(530), 2NxnD 모드(535), nLx2N 모드(540), nRx2N 모드(545)의 형태로 분할(파티션)된 PU를 포함할 수 있다.

CU가 인트라 모드로 부호화되는 경우, CU는 2Nx2N 모드(510), NxN 모드(525)의 형태로 분할(파티션)된 PU를 포함할 수 있다.

도 6은 코딩 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.

변환 유닛(이하, TU라 함)은 CU 내에서 공간 변환과 양자화 과정을 위해 사용되는 기본 단위이다. TU는 정사각형 또는 직사각형 형태를 가질 수 있다. LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 혹은 그 이상의 TU로 분할될 수 있다. 이때, TU의 분할 구조는 도 6에 도시된 바와 같이 쿼드트리(quad-tree) 형태일 수 있다.

한편, HEVC에서는 H.264/AVC와 같이 화면 내 예측(인트라 예측) 부호화를 수행하며, 이때 현재 블록의 인트라 예측 모드에 따라 현재 블록의 주변에 위치한 주변 블록을 이용하여 예측 부호화를 수행한다. H.264/AVC는 9가지 방향성을 가지는 예측 모드를 가지는 반면, HEVC는 33 가지의 방향성 예측 모드와 3가지의 비방향성 예측 모드를 포함하는 총 36가지의 예측 모드를 가지고 부호화를 수행한다.

도 7은 인트라 예측 모드의 일예를 도시한 도면이다. 각 인트라 예측 모드에는 서로 다른 모드 번호가 할당될 수 있다.

도 7을 참조하면, 인트라 예측 모드는 총 36개의 예측 모드가 존재하며, 현재 블록의 픽셀 값을 예측하는데 사용되는 참조 픽셀들이 위치한 방향 및/또는 예측 방식에 따라 33가지의 방향성 모드와 3가지의 비방향성 모드를 포함할 수 있다.

3가지의 비방향성 모드에는 평면(Planar; Intra_Planar) 모드, 평균(DC; Intra_DC) 모드, 그리고 복원된 휘도 신호로부터 색차 신호를 예측하는 LM 모드(Intra_FromLuma)가 존재한다.

도 7에 도시된 바와 같은 36가지의 인트라 예측 모드에 대한 부호화는 휘도 신호 및 색차 신호 각각에 적용될 수 있다. 이때, 휘도 신호의 경우, LM 모드는 제외된다. 색차 신호에 대한 인트라 예측 모드의 부호화는 아래 표 1과 같이 3가지 방법으로 수행될 수 있다.

표 1은 색차 신호에 대한 인트라 예측 모드의 부호화 방법을 나타내는 일예이다.

표 1을 참조하여 3가지 색차 신호에 대한 인트라 예측 모드의 부호화 방법을 설명한다. 첫 번째 방법은, 휘도 신호의 인트라 예측 모드를 색차 신호의 인트라 예측 모드로 그대로 적용하는 유도된 모드(DM; Derived Mode)를 이용하는 방법이다. 두 번째 방법은, 실제 인트라 예측 모드를 적용하는 부호화 모드(EM; Explict Mode)를 이용하는 방법이다. EM 모드로 부호화되는 색차 신호의 인트라 예측 모드는 평면 모드(Planar), 평균 모드(DC), 수평모드(Hor), 수직 모드(Ver), 수직 방향에서 8번째 위치한 모드(Ver+8 혹은 34 번 모드)를 포함한다. 세 번째 방법은, 복원된 휘도 신호로부터 색차 신호를 예측하는 LM 모드를 이용하는 방법이다. 상술한 세 가지 모드의 부호화 방법 중에서 가장 효율이 좋은 것이 선택될 수 있다.

상술한 바와 같이, 스케일러블 비디오 코딩(혹은 SHVC)에서는 기본 계층과 부가 계층으로 나누어진 통합적인 비트스트림을 인코딩하고, 사용자의 현재 환경에 알맞은 서비스가 가능하게끔 디코딩할 수 있도록 지원하고 있다. 기본 계층의 데이터를 부호화할 경우, HEVC에서와 같은 방법으로 인접 프레임(Frame)의 정보를 통해 현재 프레임의 부호화를 수행할 수 있다. 그리고 기본 계층의 데이터와 부가 계층의 데이터는 매우 유사하기 때문에, 부가 계층에 있는 데이터를 부호화할 경우에는 인접 프레임의 정보뿐만 아니라 기본 계층의 현재 프레임의 정보도 함께 예측을 위한 데이터로 이용할 수 있다. 상술한 바와 같이, 부가 계층은 상위 계층 혹은 향상 계층을 의미하며, 기본 계층은 하위 계층을 의미할 수 있다. 현재 프레임은 현재 부호화 혹은 복호화가 수행되는 픽처(picture)를 말하며, 인접 프레임은 현재 프레임의 이전 또는 이후 프레임을 의미할 수 있다.

본 발명에서는 SHVC의 공간적 스케일러빌리티에서 부가 계층(향상 계층)의 화면 내 예측(인트라 예측) 부호화를 수행할 때 참조 데이터로 기본 계층의 데이터를 업샘플링(Upsapling)한 후 재구성한 데이터를 사용함으로써 높은 부호화 효율과 하드웨어적 효율을 얻을 수 있는 방법을 제안한다. 이때, 업샘플링은 기본 계층의 데이터를 향상 계층의 공간적 스케일러빌리티에 맞추어 스케일링하는 것을 의미할 수 있다. 참조 데이터는 현재 부호화 혹은 복호화 대상 블록을 예측할 때 참조하는 정보를 말하며, 예컨대 화면 내 예측 시에는 현재 부호화 혹은 복호화 대상 블록에 인접한 화소들을 참조하므로 인접 화소들을 참조 데이터로 이용할 수 있다.

[관점 0] 화면 내 예측 부호화를 위한 부호화 효율 측면

HEVC의 화면 내 예측 부호화의 복호화 방법은 우선 현재 PU를 기준으로 현재 PU에 인접한 인접 PU의 존재 여부(Availability), 즉 가용한지 여부를 파악한다. 인접 PU는 현재 PU의 좌상단, 상단, 우상단, 좌단, 좌하단에 인접하여 위치한 PU일 수 있다. 인접 PU가 존재한다면 인접 PU의 경계면 화소값을 현재 PU의 화면 내 예측 부호화를 위한 참조 데이터, 즉 참조 화소로 사용한다. 인접 PU가 존재하지 않는다면 참조 데이터를 비워두게 된다. 이때, 인접 PU가 존재하지 않는다는 것은 인접 PU의 경계면 화소들이 화면 내 예측을 위해 사용될 수 없는 비가용한 화소들을 의미하므로, 이러한 비가용한 화소들은 현재 PU의 참조 데이터로 사용될 수 없는 비워진 상태가 된다. 인접 PU의 존재 여부 파악이 끝나면, 존재하지 않는 인접 PU의 경계면 화소들을 대체(Substitution)하는 작업을 수행하여 가용한 상태의 참조 데이터를 도출한다.

참조 데이터(참조 화소) 대체 작업은 인접 PU가 존재하지 않았을 경우, 즉 현재 PU의 화면 내 예측을 위해 사용되는 참조 화소들 중 적어도 하나가 가용하지 않았을 경우 수행되며, 다음과 같은 순서로 진행될 수 있다.

(1) 좌하단 인접 PU에서 최하단에 위치한 경계면 화소가 존재하지 않는 경우, 최하단 경계면 화소는 최하단 경계면 화소와 가장 가까운 위치에 있는 가용한 인접 PU의 경계면 화소값으로 대체된다.

(2) 좌하단(최하단 경계면 화소는 제외), 좌단, 좌상단 인접 PU의 경계면 화소들 중 적어도 하나가 존재하지 않을 경우, 존재하지 않는 경계면 화소, 즉 비가용한 경계면 화소는 자신보다 바로 아래에 있는 화소값으로 대체된다.

(3) 상단, 우상단 인접 PU의 경계면 화소들 중 적어도 하나가 존재하지 않을 경우, 존재하지 않는 경계면 화소, 즉 비가용한 경계면 화소는 자신보다 바로 좌측에 있는 화소값으로 대체된다.

(4) 인접 PU의 경계면 화소들이 모두 존재하지 않을 경우, 인접 PU의 경계면 화소들은 모두 명암의 평균값 128로 대체된다.

상술한 바와 같은 참조 화소를 대체하는 작업이 수행되는 경우가 많을수록 현재 PU의 화소값과의 유사성이 감소하게 되므로, 부호화 효율 측면에서는 많은 손해를 보게 된다. 게다가 향상 계층에서 CIP(Constrained Intra Prediction, 제한적 화면 내 예측 부호화 방법)를 수행할 경우 화면 간 PU는 제외한 채 화면 내 PU만으로 참조 데이터를 구성하게 된다. 이러한 경우 화면 내 예측에 대한 오류 은닉 효과를 얻을 수 있지만 참조 데이터의 수가 기존 대비 급격하게 감소하기 때문에, 참조 데이터를 대체하는 작업이 늘어나게 되므로 부호화 효율 측면에서도 많은 손해를 보게 된다.

그러므로 향상 계층의 화면 내 예측 부호화(또는 CIP)를 수행할 경우, 향상 계층의 화소값만을 통해서 참조 데이터를 구성하는 것보다 낮은 해상도 정보를 가진 기본 계층의 현재 프레임 내 화소값을 업샘플링하는 방법을 통해서 향상 계층의 참조 데이터를 보강하는 방법을 이용한다면, 부호화 효율의 향상을 가져올 수 있다. 왜냐하면 향상 계층의 화소값만을 이용하여 참조 화소 대체 과정을 수행하는 것보다 기본 계층의 참조 화소들을 이용하는 것이 현재 PU의 화소값과의 유사성이 크기 때문이다. 이러한 방법은 후술할 본 발명에서 제안하는 [방법 2]를 CIP에 적용하였을 경우에 해당한다.

[관점 1] 향상 계층의 화면 내 예측 부호화를 위한 메모리 효율 측면

SHVC에서 공간적 스케일러빌리티의 경우, 향상 계층의 해상도는 기본 계층의 해상도보다 크다. 향상 계층의 해상도와 기본 계층의 해상도가 가로, 세로 모두 2배의 차이가 난다면, 전체 해상도를 위한 메모리 차이 또한 2배 이상의 차이가 발생한다.

특히, 공간적 스케일러빌리티와 같이 상위 계층과 하위 계층의 해상도 차이가 발생하는 경우에는 이를 위한 메모리 부담감 또한 심화된다고 볼 수 있다. SHVC의 모든 계층에서 부호화를 수행하는 블록 단위의 최대 크기가 HEVC의 가장 큰 부호화 단위(Largest Coding Unit: LCU) 크기인 가로 및 세로 64화소로 동일하다면, 공간적 스케일러빌리티로 인한 상위 계층에서의 메모리 효율 문제는 없을 수 있다. 하지만, 상위 계층으로 갈수록 LCU의 크기가 증가한다면, 현재 PU에서 화면 내 예측을 수행할 경우에 보유하고 있어야 하는 참조 데이터의 메모리 크기도 증가하게 되며, 이는 곧 메모리 효율 측면에서 많은 손해가 발생한다는 것을 의미한다.

도 8은 SHVC에서 계층별로 화면 내 예측 부호화를 위해 저장하고 있어야 하는 참조 데이터에 따른 최대 메모리 크기를 도시한 도면이다.

도 8에서는 설명의 편의 상 기본 계층과 향상 계층의 해상도 및 LCU의 크기 차이가 2배라고 가정한다.

예를 들어, 기본 계층의 LCU의 크기가 64X64이면 메모리에는 화면 내 예측 부호화를 위해 129개의 참조 화소들을 저장하고 있어야 한다. 그리고 기본 계층과 향상 계층의 해상도 및 LCU의 크기 차이가 2배이므로, 향상 계층의 LCU의 크기는 128X128일 수 있다. 이때, 메모리에는 향상 계층의 화면 내 예측 부호화를 위해 257개의 참조 화소들을 저장하고 있어야 한다. 상기와 같이, 기본 계층과 향상 계층의 해상도 및 LCU의 크기 차이가 2배라면, 계층별 최대 메모리의 크기 차이도 거의 2배가 되어야 하는 것을 알 수 있다.

그러므로, SHVC에서 상위 계층일수록 LCU 크기가 증가하는 상황일 때, 상위 계층의 화면 내 예측 부호화를 위한 참조 데이터로 상위 계층의 화소값을 이용하는 방법으로 무분별하게 메모리 사용량을 늘리는 것보다, 상대적으로 낮은 해상도 정보를 가진 기본 계층의 현재 프레임 내 화소값을 업샘플링하는 방법을 통해서 상위 계층의 참조 데이터를 구성한다면 메모리 효율 측면에서 더욱 향상된 결과를 얻을 수 있다.

도 9는 본 발명의 일 실시예에 따라 기본 계층을 업샘플링하여 향상 계층의 화면 내 예측 부호화를 위한 참조 데이터를 유도하는 것을 나타내는 도면이다.

도 9를 참조하면, 향상 계층의 A_enh 블록이 화면 내 예측을 수행할 경우, 향상 계층의 A_enh 블록에 대응되는(Co-located) 기본 계층의 블록(A_base)에서 화면 내 예측을 위해 사용된 참조 화소들(900, 910, 920)을 이용할 수 있다. 즉, 향상 계층의 A_enh 블록의 화면 내 예측은, 기본 계층의 A_base 블록에서 참조하는 참조 화소들(900, 910, 920)을 향상 계층의 해상도에 맞추어 업샘플링하여 유도된 참조 화소들을 이용할 수 있다.

향상 계층의 B_enh 블록에 대해서도 상술한 A_enh 블록의 화면 내 예측 시와 동일한 방법으로 참조 화소들을 유도하여 화면 내 예측을 수행할 수 있다.

[관점 2] 화면 내 예측 부호화의 병렬 처리 측면

도 10은 HEVC에서 적용되는 화면 내 예측 부호화 단위를 나타내는 일 예이다.

HEVC에서 가장 큰 부호화 단위(LCU)는 가로 및 세로 64화소 크기이며, 하나의 프레임 내에서 가장 좌상단에 있는 LCU부터 순차적으로 부호화 및 복호화를 수행한다.

HEVC에서 화면 내 예측 부호화를 수행할 경우 LCU 단위로 부호화가 이루어지기 때문에, 도 10에 도시된 b의 LCU와 같이 LCU 전체 크기 단위의 부호화가 이루어지기도 하지만 c와 d의 LCU와 같이 가로 및 세로 8화소 또는 4화소의 가장 작은 부호화 단위(SCU)까지 분할되어 부호화가 이루어지기도 한다. 현재 HEVC의 화면 내 예측 부호화 방법은 현재 PU의 주변에 있는 경계면 화소들을 이용해 최대 35가지 예측 방향에 대한 예측값들을 생성한 뒤에 이 중 현재 PU의 화소값과 가장 근접한 예측값을 가지는 예측 방향을 선택하므로 상당히 복잡하다. 이는 LCU 내부에 작은 블록 크기의 부호화 단위(CU)가 생성되는 경우가 많아질수록 각 CU 단위로 PU 내에서 최대 35가지 예측 방향에 대한 예측값들을 생성하는 과정이 많이 발생하게 되므로, LCU의 전체적인 부호화 시간이 길어지게 된다. 또한, 하나의 LCU의 부호화 시간이 길어지게 되면 다른 LCU가 부호화되기까지 대기하는 시간도 늘어나게 되므로, 전반적인 부호화 시간 또한 늘어나는 현상이 빚어진다. 이러한 현상은 복호화 과정에서도 마찬가지이다. 예를 들어, 도 10을 참조하면, c와 d의 LCU에서의 복호화 시간은 a와 b의 LCU에서의 복호화 시간보다 더 오래 걸린다. 이러한 부호화 및 복호화 시간이 증가하는 이유는 현재 블록의 화면 내 부호화 및 복호화를 위해서 현재 블록의 주변에 있는 화소들이 모두 부호화 혹은 복원되어 있어야 한다는 공간적 의존성이 발생하기 때문이다.

그러므로 향상 계층의 화면 내 예측 부호화를 수행할 경우, 향상 계층의 현재 블록 주변에 있는 화소값을 참조 데이터로 이용하는 방법은 공간적 의존성 문제가 존재한다. 따라서, 상대적으로 LCU 경계(혹은 임의 영역의 경계)에 국한하여 낮은 해상도 정보를 가진 기본 계층의 현재 프레임 내 화소값을 업샘플링하는 방법을 이용하여 향상 계층의 현재 블록의 화면 내 예측을 위한 참조 화소값을 채운다면, 각 블록간 공간적 화소의 의존성을 제거할 수 있다.

예를 들어, 상술한 도 9에서와 같이, 향상 계층에서 화면 내 예측을 수행할 때, 향상 계층의 참조 화소로 기본 계층의 화소값들을 업샘플링하여 이용하면 향상 계층의 A_enh 블록 및 B_enh 블록이 LCU 단위의 독립적인 병렬 처리가 가능하게 되어 비디오 코덱의 전반적인 복잡도를 감소시킬 수 있다.

도 11은 SHVC의 공간적 스케일러빌리티 시 화면 내 예측 부호화(또는 복호화)를 위해 필요로 하는 시간을 나타내는 일 예이다.

SHVC에서 공간적 스케일러빌리티를 제공하기 위한 경우이므로, 기본 계층의부호화 시간 보다 향상 계층의 부호화 시간이 더 소요된다고 가정한다.

도 11의 (a)는 기본 계층 및 부가 계층의 화소 데이터, 그리고 각 계층의 화소 데이터가 부호화될 때 필요로 하는 시간의 차이(△d)를 나타낸다. 예를 들어, 도 11의 (a)에 도시된 바와 같이, 향상 계층의 하나의 LCU(E0)를 부호화하는데 필요한 시간과 기본 계층의 하나의 LCU(B0)를 부호화하는데 필요한 시간 간의 차이는 ?d만큼일 수 있다.

도 11의 (b)는 기존의 방법1을 이용하여 부호화할 때 소요 시간을 나타낸다. 기존의 방법 1은 기본 계층과 향상 계층이 독립적으로 부호화되는 경우를 말한다.

도 11의 (c)는 기존의 방법2를 이용하여 부호화할 때 소요 시간을 나타낸다. 기존의 방법2는 향상 계층이 기본 계층의 정보를 이용하여 부호화되는 경우를 말한다.

도 11의 (d)는 본 발명에서 제안하는 화면 내 예측 병렬 부호화 방법을 이용하여 부호화할 때 소요 시간을 나타낸다. 이 방법은 향상 계층이 기본 계층을 업샘플링한 정보를 이용하여 LCU 단위로 병렬 부호화되는 경우를 말한다.

도 11에서 가로축은 부호화 시간(코딩 시간)을 나타낸다. N은 부호화되기 위한 LCU의 개수를 말한다. 도 11에서는 각 계층별로 6개의 LCU가 도시되어 있다(N=6). B0, B1, B2, B3, B4, B5는 기본 계층의 LCU 단위이며, E0, E1, E2, E3, E4, E5는 향상 계층의 LCU 단위를 나타낸다. T_Base는 기본 계층에 있는 하나의 LCU를 부호화하는데 소요되는 시간을 나타내며, T_Enh는 향상 계층에 있는 하나의 LCU를 부호화하는데 소요되는 시간을 나타낸다.

기존의 방법을 이용하여 화면 내 예측 부호화를 수행한다면 기본 계층의 부호화 소요 시간과 향상 계층의 부호화 소요 시간이 다르기 때문에, 기본 계층의 모든 LCU의 부호화가 끝난 이후에 향상 계층의 모든 LCU가 부호화되기 위한 대기 시간((b)의 △d+N, (c)의 △d+NxT_Base)이 발생한다. 이는 화면 내 예측 부호화 시의 부호화 시간뿐만 아니라 그 이후의 예측 과정에도 영향을 미치게 되어 전반적인 부호화 시간을 늘리는 결과를 만들게 된다.

구체적으로, 도 11의 (b)와 같이 기존 방법1을 이용할 경우, 기본 계층과 향상 계층은 독립적으로 부호화되므로 동시에 부호화가 진행될 수 있다. 단지 향상 계층의 각 블록들은 공간적 의존성 때문에 연속적으로 부호화되며, 이는 부호화되기 위한 대기 시간 △d+N을 야기시킨다.

도 11의 (c)와 같이 기존 방법2를 이용할 경우, 향상 계층은 기본 계층의 부호화된 화소값을 이용하여 부호화되므로 향상 계층과 기본 계층 간에는 의존성이 존재한다. 따라서, 향상 계층은 기본 계층의 해당 LCU의 부호화가 완료되어야만 향상 계층의 LCU가 부호화될 수 있다. 이는 부호화되기 위한 대기 시간 △d+NxT_Base을 야기시킨다.

그러므로, 도 11의 (d)와 같이 본 발명에서 제안하는 방법은 향상 계층의 화면 내 예측 부호화를 위한 병렬 처리를 함으로써, 기본 계층의 모든 LCU의 부호화가 끝난 이후에 대기하게 되는 시간을 줄이고자 한다.

상술한 바와 같이, 기존의 방법(도 11의 (b), (c))보다 본 발명에서 제안하는 방법(도 11의 (d))을 이용한다면 기본 계층의 LCU의 부호화가 끝난 이후에 바로 향상 계층의 부호화를 수행할 수 있다. 그러므로 기본 계층과 향상 계층이 동시에 부호화한다고 가정할 경우, 최소 부호화 시간(Minimum Coding Time, 최소 코딩 시간)과 각각의 부호화가 끝난 이후의 기본 계층의 부호화 대기 시간 차이 면에서 향상된 성능을 보일 수 있다.

[관점 3] 프레임 경계에서의 부호화 효율 측면

참조 데이터를 대체하는 작업은 특히 현재 PU가 프레임의 경계 부분에 위치할 때 많이 발생하게 된다. 기존의 방법에서 프레임의 경계면에 위치하는 PU에 대해 화면 내 예측 부호화를 수행하는 경우 참조 데이터를 유도하는 과정에 대해 도 12를 참조하여 설명한다.

도 12는 프레임 경계에서 화면 내 예측 부호화를 수행하는 경우 참조 데이터를 유도하는 것을 나타내는 도면이다.

도 12를 참조하면, 현재 PU가 프레임의 경계에 위치하는 경우, 현재 PU의 좌상단, 상단, 우상단, 좌단, 좌하단 인접 PU 중 현재 프레임 내에 위치하지 않는 인접 PU가 존재할 수 있다. 이와 같이 현재 프레임 내에 위치하지 않는 인접 PU의 화소값들은 존재하지 않으므로 현재 PU의 화면 내 예측을 위한 참조 화소로 사용될 수 없다. 이 경우, 현재 PU의 화면 내 예측을 위해서, 존재하지 않는 화소들, 즉 비가용한 화소들을 대체하는 작업이 수행되게 된다. 실제로 이 경우, 프레임 경계 부분에 대한 참조 데이터는 128 값으로 대체될 수 있다.

예를 들어, 도 12에 도시된 바와 같이, 현재 PU(1200)가 프레임 경계에 위치할 경우, 좌상단 인접 PU(1210), 좌단 인접 PU(1220), 좌하단 인접 PU(1230)는 현재 프레임 내 존재하지 않는다. 따라서 좌상단 인접 PU(1210), 좌단 인접 PU(1220), 좌하단 인접 PU(1230) 내의 화소들(1240)은 현재 PU의 참조 화소로 사용될 수 없으며, 이러한 화소들(1240)은 가용한 참조 화소들로 대체될 수 있다.

상술한 바와 같이, 참조 데이터를 대체하는 작업이 수행되는 경우가 많을수록, 현재 PU의 화소값과의 유사성이 감소하게 되므로 부호화 효율 측면에서는 많은 손해를 보게 된다.

그러므로 향상 계층에서 화면 내 예측 부호화를 수행할 경우, 향상 계층의 화소값으로부터 참조 화소를 유도하는 방법보다 상대적으로 낮은 해상도 정보를 가진 기본 계층의 현재 프레임 내 화소값을 업샘플링하여 참조 화소를 유도하는 방법이, 상술한 바와 같이 128 값으로 대체된 화소값보다 현재 PU의 화소값과의 유사성이 크므로 부호화 효율을 향상시킬 수 있다.

이하, 본 발명에서는 SHVC의 공간적 스케일러빌리티 시 향상 계층에서 화면 내 예측 부호화가 수행될 때 참조 데이터로 기본 계층의 화소값을 사용하는 경우(방법 1), 기본 계층과 향상 계층의 화소값을 혼합하여 사용하는 경우(방법 2), 각각의 방법 내에서 제한적 화면 내 예측 부호화가 수행되는 경우를 제안하고자 한다.

[방법 1] 기본 계층의 화소값을 향상 계층의 화면 내 예측을 위한 참조 데이터로 사용할 경우

SHVC의 공간적 스케일러빌리티에서 향상 계층의 화면 내 예측 부호화를 수행할 때, 화면 내 예측을 위한 참조 데이터로 기본 계층의 화소값을 사용하는 방법을 도 13 및 도 14를 통해 설명하고자 한다.

도 13은 본 발명의 일 실시예에 따라 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-A)을 나타내는 도면이다.

도 13을 참조하면, 향상 계층의 현재 PU(1300)가 화면 내 예측을 수행할 경우, 현재 PU(1300)의 화면 내 예측을 위해 사용되는 참조 데이터를 유도한다. 이때, 참조 데이터는 현재 PU(1300)에 인접한 인접 PU의 화소들로 구성될 수 있으며, 이러한 인접 PU의 화소들은 현재 PU(1300)의 화소값과 유사성이 높은 기본 계층으로부터 유도된 화소들로 대체될 수 있다.

예를 들어, 현재 PU(1300)의 화면 내 예측을 위한 참조 데이터는, 향상 계층의 현재 PU(1300)에 대응되는(Co-located) 기본 계층의 대응 PU(1310)로부터 유도될 수 있다. 현재 PU(1300)의 좌단 참조 화소들(1301) 및 상단 참조 화소들(1302)은, 대응 PU(1310) 내 경계면 화소들(1311, 1312)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1300)의 우상단 참조 화소들(1303)은, 대응 PU(1310)의 우측 인접 PU 내 경계면 화소들(1313)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1300)의 좌하단 참조 화소들(1304)은, 대응 PU(1310)의 하단 인접 PU 내 경계면 화소들(1314)을 업샘플링하여 유도된 화소들로 대체될 수 있다.

도 14는 본 발명의 다른 실시예에 따라 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-B)을 나타내는 도면이다.

도 14를 참조하면, 향상 계층의 현재 PU(1400)가 화면 내 예측을 수행할 경우, 현재 PU(1400)의 화면 내 예측을 위해 사용되는 참조 데이터를 유도한다. 이때, 참조 데이터는 현재 PU(1400)에 인접한 인접 PU의 화소들로 구성될 수 있으며, 이러한 인접 PU들의 화소들은 현재 PU(1400)의 화소값과 유사성이 높은 기본 계층으로부터 유도된 화소들로 대체될 수 있다.

예를 들어, 현재 PU(1400)의 화면 내 예측을 위한 참조 데이터는, 향상 계층의 현재 PU(1400)에 대응되는(Co-located) 기본 계층의 대응 PU(1410)에 인접한 PU로부터 유도될 수 있다. 현재 PU(1400)의 좌단 참조 화소들(1401)은 대응 PU(1410)의 좌측 인접 PU 내 경계면 화소들(1411)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1400)의 상단 참조 화소들(1402)은 대응 PU(1410)의 상단 인접 PU 내 경계면 화소들(1412)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1400)의 우상단 참조 화소들(1403)은 대응 PU(1410)의 우상단 인접 PU 내 경계면 화소들(1413)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1400)의 좌하단 참조 화소들(1404)은 대응 PU(1410)의 좌하단 인접 PU 내 경계면 화소들(1414)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 현재 PU(1400)의 좌상단 참조 화소(1405)는 대응 PU(1410)의 좌상단 인접 PU 내 화소(1415)를 업샘플링하여 유도된 화소로 대체될 수 있다.

SHVC의 공간적 스케일러빌리티에서 상술한 [방법 1] 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 통해 향상 계층의 화면 내 예측을 수행하는 순서는 다음과 같다.

(1) 기본 계층의 화면 내 예측 부호화는 HEVC의 화면 내 예측 부호화와 같은 방법으로 수행될 수 있다.

(2) 향상 계층의 화면 내 예측 부호화는 향상 계층의 현재 PU와 대응되는 기본 계층의 대응 PU의 경계면에 위치하는 화소를 업샘플링하여 현재 PU의 화면 내 예측을 위한 참조 데이터로 유도할 수 있다. 이때, 기본 계층의 대응 PU의 경계면에 위치하는 화소는, 도 13 및 도 14에서 상술한 바와 같이, 대응 PU에 인접한 인접 PU의 경계면 화소들(대응 PU의 외부에 위치한 경계면 화소들) 혹은 대응 PU의 내부에 위치한 경계면 화소들일 수 있다.

(3) 상기 유도된 참조 데이터의 화소값을 통해 향상 계층의 화면 내 예측 부호화를 수행할 수 있다.

CIP ( Constrained Intra Prediction ) 상황에서 [방법 1]을 적용할 경우

HEVC의 제한적 화면 내 예측 부호화 방법(이하, CIP라 함)은 신뢰도가 다소 낮은 네트워크 환경을 위한 화면 내 예측 부호화 방법이다. 비디오 코덱을 이용한 실시간 전송 시스템에서 패킷이 손실될 경우 참조 영상(Reference Picture)의 오류가 발생할 수 있다. 이러한 참조 영상을 기반으로 예측 부호화되는 화면 간 예측(인터 예측) PU 역시 예측 오류가 발생하게 된다. 또한, 화면 내 예측 PU에서는 주변 PU의 화소값을 참조 데이터로 이용하여 예측을 수행하는데, 이때 주변 PU에 예측 오류가 있을 경우 화면 내 예측 PU에도 예측 오류가 전파되는 상황이 발생하게 된다. 그러므로 신뢰도가 낮은 네트워크 환경에서 CIP를 통해 현재 PU가 화면 내 예측을 수행해야 한다면, 화면 내 예측된 주변 PU로 참조 데이터를 제한함으로써 화면 간 예측 PU로 인한 예측 오류의 전파를 방지하고자 한다.

이하, 본 발명에서는 CIP가 적용되었을 때, 공간적 스케일러빌리티를 제공하는 SHVC의 향상 계층에서 화면 내 예측 부호화를 수행하는 방법을 제안한다.

도 15는 본 발명의 일 실시예에 따라 CIP 환경에서 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-A-1)을 나타내는 도면이다.

도 15를 참조하면, 공간적 스케일러빌리티를 제공하는 SHVC의 CIP 환경에서, 향상 계층의 현재 PU(1500)가 화면 내 예측을 수행할 경우, 현재 PU(1500)의 화면 내 예측을 위해 사용되는 참조 데이터를 기본 계층으로부터 유도할 수 있다.

이때, CIP가 적용된 경우이므로 기본 계층에서 화면 간 예측된 PU는 예측 오류의 가능성이 존재하는 신뢰도가 낮은 블록일 수 있다. 따라서 기본 계층에서 화면 간 예측된 PU는 향상 계층의 화면 내 예측을 위해 사용하지 않는다. 다시 말해, 향상 계층의 화면 내 예측을 위해 사용되는 참조 데이터로 기본 계층에서 화면 내 예측된 PU를 사용한다.

예를 들어, CIP 환경에서 현재 PU(1500)의 화면 내 예측을 위한 참조 데이터는, 향상 계층의 현재 PU(1500)에 대응되는(Co-located) 기본 계층의 대응 PU(1510)로부터 유도될 수 있다. 이때, 기본 계층의 화면 내 예측된 PU는 향상 계층의 참조 데이터로 사용될 수 있으나, 기본 계층의 화면 간 예측된 PU는 참조 데이터로 사용될 수 없다.

도 15에 도시된 바와 같이, 기본 계층의 대응 PU(1510) 내 경계면 화소들(1511, 1512)을 업샘플링하여 향상 계층의 현재 PU(1500)의 좌단 참조 화소들(1501) 및 상단 참조 화소들(1502)로 대체할 수 있다. 대응 PU(1510)의 우측 인접 PU 내 경계면 화소들(1513)을 업샘플링하여 현재 PU(1500)의 우상단 참조 화소들(1503)로 대체할 수 있다. 대응 PU(1510)의 하단 인접 PU 내 경계면 화소들(1514)을 업샘플링하여 현재 PU(1500)의 좌하단 참조 화소들(1504)로 대체할 수 있다. 이때, 상술한 바와 같이, CIP 환경에서 예측 오류의 가능성으로 인해 화면 간 예측된 PU는 화면 내 예측을 위해 사용하지 않으므로, 기본 계층의 화면 간 예측 된 PU의 화소들(1530, 1531)은 향상 계층의 참조 화소로 대체하여 사용할 수 없다. 따라서, 향상 계층의 참조 화소들 중 기본 계층으로부터 참조 화소들을 채우지 못한 경우, 향상 계층의 사용 가능한 참조 화소들을 이용할 수 있다. 예컨대, 기본 계층으로부터 참조 화소들이 대체되지 못한 향상 계층의 참조 화소들(1520, 1521)은 향상 계층에서 사용 가능한 참조 화소들(1501, 1502, 1503, 1504)을 이용하여 대체될 수 있다. 이러한 대체 과정은 상술한 HEVC의 참조 화소 대체 작업 과정을 적용할 수 있다.

도 16은 본 발명의 다른 실시예에 따라 CIP 환경에서 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법(방법1-B-1)을 나타내는 도면이다.

도 16을 참조하면, 공간적 스케일러빌리티를 제공하는 SHVC의 CIP 환경에서, 향상 계층의 현재 PU(1600)가 화면 내 예측을 수행할 경우, 현재 PU(1600)의 화면 내 예측을 위해 사용되는 참조 데이터를 기본 계층으로부터 유도할 수 있다. 이때, CIP가 적용된 경우이므로 기본 계층에서 화면 간 예측된 PU는 예측 오류의 가능성이 존재하는 신뢰도가 낮은 블록일 수 있다. 따라서 기본 계층에서 화면 간 예측된 PU는 향상 계층의 화면 내 예측을 위해 사용하지 않는다. 다시 말해, 향상 계층의 화면 내 예측을 위해 사용되는 참조 데이터로 기본 계층에서 화면 내 예측된 PU를 사용한다.

예를 들어, CIP 환경에서 현재 PU(1600)의 화면 내 예측을 위한 참조 데이터는, 향상 계층의 현재 PU(1600)에 대응되는(Co-located) 기본 계층의 대응 PU(1610)에 인접한 PU로부터 유도될 수 있다. 이때, 대응 PU(1610)에 인접한 PU 중에서 화면 내 예측된 PU는 향상 계층의 참조 데이터로 사용될 수 있으나, 화면 간 예측된 PU는 참조 데이터로 사용될 수 없다.

도 16에 도시된 바와 같이, 대응 PU(1610)의 좌측 인접 PU 내 경계면 화소들(1611)을 업샘플링하여 현재 PU(1600)의 좌단 참조 화소들(1601)로 대체할 수 있다. 대응 PU(1610)의 상단 인접 PU 내 경계면 화소들(1612)을 업샘플링하여 현재 PU(1600)의 상단 참조 화소들(1602)로 대체할 수 있다. 대응 PU(1610)의 우상단 인접 PU 내 경계면 화소들(1613)을 업샘플링하여 현재 PU(1600)의 우상단 참조 화소들(1603)로 대체할 수 있다. 대응 PU(1610)의 좌하단 인접 PU 내 경계면 화소들(1614)을 업샘플링하여 현재 PU(1600)의 좌하단 참조 화소들(1604)로 대체할 수 있다. 대응 PU(1610)의 좌상단 인접 PU 내 화소(1615)를 업샘플링하여 현재 PU(1600)의 좌상단 참조 화소(1605)로 대체할 수 있다. 이때, 상술한 바와 같이, CIP 환경에서 예측 오류의 가능성으로 인해 화면 간 예측된 PU는 향상 계층의 화면 내 예측을 위해 사용하지 않으므로, 기본 계층의 화면 간 예측 된 PU의 화소들(1630, 1631)은 향상 계층의 참조 화소로 대체하여 사용 할 수 없다. 따라서, 향상 계층의 참조 화소들 중 기본 계층으로부터 참조 화소들을 채우지 못한 경우, 향상 계층의 사용 가능한 참조 화소들을 이용할 수 있다. 예컨대, 기본 계층으로부터 참조 화소들이 대체되지 못한 향상 계층의 참조 화소들(1620, 1621)은 향상 계층의 사용 가능한 참조 화소들(1601, 1602, 1603, 1604, 1604)을 이용하여 대체될 수 있다. 이러한 대체 과정은 상술한 HEVC의 참조 화소 대체 작업 과정을 적용할 수 있다.

SHVC의 공간적 스케일러빌리티에서 CIP를 적용하는 경우, 상술한 [방법 1] 기본 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 통해 향상 계층의 화면 내 예측을 수행하는 순서는 다음과 같다.

(1) 기본 계층의 제한적 화면 내 예측 부호화(CIP)는 HEVC의 제한적 화면 내 예측 부호화(CIP)와 같은 방법으로 수행될 수 있다.

(2) 향상 계층의 제한적 화면 내 예측 부호화를 수행할 경우, 먼저 향상 계층의 현재 PU를 기준으로 좌상단, 상단, 우상단, 좌단, 좌하단에 위치한 인접 PU와 대응되는 기본 계층의 대응 PU의 예측 부호화 모드를 파악한다.

(3) 기본 계층의 대응 PU가 화면 내 예측 부호화된 PU일 경우, 대응 PU의 화소를 가져와 향상 계층의 인접 PU의 화소값을 대체하여 예측을 위한 참조 데이터로 이용한다.

(4) 향상 계층의 인접 PU의 화소값이 기본 계층의 화소값을 통해 대체되지 않았을 경우, 대체되지 않은 인접 PU의 화소값은 자신과 가장 가까이에 위치한 사용 가능한 화소들로 대체될 수 있다.

(5) 상기 참조 화소들을 이용하여 향상 계층의 화면 내 예측 부호화를 수행한다.

[방법 2] 기본 계층과 향상 계층의 화소값을 혼합하여 향상 계층의 화면 내 예측을 위한 참조 데이터로 사용할 경우

기존의 향상 계층에서 화면 내 예측 부호화를 수행할 경우, 상술한 바와 같이 부호화 효율 측면, 메모리 효율 측면, 병렬 처리 측면 등에서 단점이 발생할 수 있다. 이를 보완하고자 향상 계층의 화면 내 예측 부호화 시, 향상 계층의 화소값과 함께 향상 계층의 현재 PU와 대응되는 기본 계층의 대응 PU의 경계면 화소들을 업샘플링하여 가져오는 방법을 사용할 수 있다.

이하, 본 발명에서는 SHVC의 공간적 스케일러빌리티에서 향상 계층의 화면 내 예측 부호화를 수행할 때, 화면 내 예측을 위한 참조 데이터로 기본 계층의 화소값과 향상 계층의 화소값을 혼합하여 사용하는 방법을 도 17을 통해 설명하고자 한다.

도 17은 본 발명의 일 실시예에 따라 기본 계층의 화소값과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 나타내는 도면이다.

향상 계층의 현재 PU를 화면 내 예측 부호화하는 기존의 방법에서는, 현재 PU에 인접한 인접 PU가 부호화(혹은 복호화)되지 않았을 경우와 같이 인접 PU의 화소값이 존재하지 않을 때, 참조 화소 대체 과정이 수행된 후 현재 PU에 대한 화면 내 예측이 수행된다. 하지만 향상 계층의 현재 PU와, 현재 PU와 대응되는 기본 계층의 대응 PU 사이에는 화소 정보의 유사성이 매우 높다. 그러므로 향상 계층의 인접 PU의 화소가 존재하지 않을 경우, 기본 계층의 화소값을 업샘플링하여 향상 계층의 화면 내 예측을 위한 참조 데이터로 사용할 수 있다. 이러한 경우, 기존 대비 높은 부호화 효율을 얻을 수 있다.

도 17을 참조하면, 향상 계층의 현재 PU(1700)가 화면 내 예측을 수행할 경우, 현재 PU(1700)의 화면 내 예측을 위해 사용되는 참조 데이터를 유도한다.

먼저, 현재 PU(1700)를 기준으로 좌상단, 상단, 우상단, 좌단, 좌하단에 위치한 인접 PU의 존재 여부, 즉 인접 PU의 가용성 여부를 판단한다.

인접 PU의 존재 여부를 판단한 결과, 예컨대 도 17에 도시된 바와 같이, 향상 계층의 좌단, 상단, 좌상단 인접 PU는 존재하고, 향상 계층의 우상단, 좌하단 인접 PU는 존재하지 않을 경우, 향상 계층의 좌단, 상단, 좌상단 인접 PU의 화소들(1701, 1702, 1705)은 현재 PU의 화면 내 예측을 위한 참조 데이터로 사용할 수 있다.

그러나, 향상 계층의 우상단, 좌하단 인접 PU는 존재하지 않으므로 비가용한 상태이다. 이러한 비가용한 우상단, 좌하단 인접 PU의 화소들(1703, 1704)은 기본 계층의 화소값으로 대체될 수 있다. 예컨대, 우상단 인접 PU의 화소들(1703)은 향상 계층의 우상단 인접 PU와 대응되는 기본 계층의 PU의 화소들(1713)을 업샘플링하여 유도된 화소들로 대체될 수 있다. 좌하단 인접 PU의 화소들(1704)은 향상 계층의 좌하단 인접 PU와 대응되는 기본 계층의 PU의 화소들(1714)을 업샘플링하여 유도된 화소들로 대체될 수 있다.

상기와 같이 유도된 현재 PU(1700)의 참조 화소들(1701 내지 1705)을 이용하여 향상 계층의 화면 내 예측을 수행할 수 있다.

SHVC의 공간적 스케일러빌리티에서 상술한 [방법 2] 기본 계층과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 통해 향상 계층의 화면 내 예측을 수행하는 순서는 다음과 같다.

(1) 기본 계층의 화면 내 예측 부호화는 HEVC의 화면 내 예측 부호화와 같은 방법으로 수행될 수 있다.

(2) 향상 계층의 화면 내 예측 부호화 시, 먼저 향상 계층의 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단, 좌하단 인접 PU의 존재 여부를 판단한다.

(3) 향상 계층의 인접 PU가 존재할 경우, HEVC의 화면 내 예측 부호화와 같은 방법으로 인접 PU의 경계면 화소들을 현재 PU의 화면 내 예측을 위한 참조 데이터로 이용한다.

(4) 향상 계층의 인접 PU가 존재하지 않을 경우, 존재하지 않는 인접 PU와 대응되는 기본 계층의 PU의 화소들을 가져와서 업샘플링을 수행한 후, 이를 존재하지 않는 인접 PU의 화소값으로 대체하여 현재 PU의 화면 내 예측을 위한 참조 데이터로 이용한다.

(5) 상기 참조 데이터의 화소값을 통해 향상 계층의 화면 내 예측 부호화를 수행한다.

CIP ( Constrained Intra Prediction ) 상황에서 [방법 2]를 적용할 경우

이하, 본 발명에서는 CIP가 적용되었을 때, 공간적 스케일러빌리티를 제공하는 SHVC의 향상 계층에서 화면 내 예측 부호화를 수행하는 방법을 제안한다.

도 18은 본 발명의 일 실시예에 따라 CIP 환경에서 기본 계층의 화소값과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 나타내는 도면이다.

도 18을 참조하면, 공간적 스케일러빌리티를 제공하는 SHVC의 CIP 환경에서, 향상 계층의 현재 PU(1800)가 화면 내 예측을 수행할 경우, 현재 PU(1800)의 화면 내 예측을 위해 사용되는 참조 데이터를 유도하기 위해 현재 PU(1800)에 인접한 좌상단, 상단, 우상단, 좌단, 좌하단 인접 PU의 존재 여부, 즉 가용성 여부를 판단한다.

이때, CIP가 적용된 경우이므로 화면 간 예측된 PU는 예측 오류의 가능성이 존재하는 신뢰도가 낮은 블록일 수 있다. 따라서 향상 계층의 인접 PU의 예측 부호화 모드를 기반으로 참조 데이터 유도를 위한 가용성 여부를 판단할 수 있다.

만일, 향상 계층의 인접 PU의 예측 부호화 모드가 화면 내 예측 모드이면, 화면 내 예측된 인접 PU의 화소들은 가용한 것으로 판단하여 참조 데이터로 사용될 수 있다. 그렇지 않고, 향상 계층의 인접 PU의 예측 부호화 모드가 화면 간 예측 모드이면, 화면 간 예측된 인접 PU의 화소들은 비가용한 것으로 판단하여 참조 데이터로 사용하지 않는다. 비가용한 상태의 참조 화소(화면 간 예측된 인접 PU의 화소들)는 기본 계층 혹은 향상 계층의 가용한 상태의 참조 화소로 대체될 수 있다.

예를 들어, 도 18에 도시된 바와 같이, 현재 PU(1800)에 인접한 인접 PU 중에서 화면 내 예측된 인접 PU의 화소들(1801, 1802, 1803, 1804, 1805)은 현재 PU(1800)의 화면 내 예측을 위한 참조 데이터로 사용할 수 있다.

그러나 현재 PU(1800)에 인접한 인접 PU 중에서 화면 간 예측된 인접 PU의 화소들(1820, 1821, 1830, 1831, 1832)은 현재 PU(1800)의 화면 내 예측을 위해 사용할 수 없는 참조 화소들이다. 이러한 화면 내 예측을 위해 사용할 수 없는 참조 화소들은 기본 계층의 사용 가능한 화소값으로 대체될 수 있다. 이때, 기본 계층의 화소가 화면 내 예측된 화소이면 현재 PU(1800)의 참조 데이터로 대체될 수 있으나, 기본 계층의 화소가 화면 간 예측된 화소이면 현재 PU(1800)의 참조 데이터로 대체될 수 없다.

도 18에 도시된 바와 같이, 향상 계층의 화면 간 예측된 인접 PU에 대응되는 기본 계층의 PU가 화면 내 예측 부호화된 PU이면, 그 화면 내 예측 부호화된 PU의 화소들(1811, 1812)을 업샘플링하여 현재 PU(1800)의 화면 내 예측을 위한 참조 화소들(1820, 1821)로 대체할 수 있다. 그러나, 향상 계층의 화면 간 예측된 인접 PU에 대응되는 기본 계층의 PU가 화면 간 예측 부호화된 PU이면, 그 화면 간 예측 부호화된 PU의 화소들은 현재 PU(1800)의 화면 내 예측을 위한 참조 화소들(1830, 1831, 1832)로 대체될 수 없다. 이와 같이, 기본 계층으로부터 대체되지 못한 비가용한 상태의 참조 화소들(1830, 1831, 1832)은 향상 계층의 사용 가능한 참조 화소들을 이용하여 대체될 수 있다. 이러한 대체 과정은 상술한 HEVC의 참조 화소 대체 작업 과정을 적용할 수 있다.

상기와 같이 유도된 현재 PU(1800)의 참조 화소들을 이용하여 향상 계층의 화면 내 예측을 수행할 수 있다.

SHVC의 공간적 스케일러빌리티에서 향상 계층의 제한적 화면 내 예측 부호화가 수행될 경우, 기본 계층의 화면 내 예측 부호화된 PU로부터 향상 계층의 참조 데이터를 유도하는 [방법 1]과는 달리, [방법 2]에서는 기본 계층 및 향상 계층의 화면 내 예측 부호화된 PU의 정보를 모두 이용하여 향상 계층의 참조 데이터를 유도할 수 있기 때문에, [방법 2]가 부호화 효율 측면에서 [방법 1]보다 뛰어나다고 볼 수 있다.

SHVC의 공간적 스케일러빌리티에서 CIP를 적용하는 경우, 상술한 [방법 2] 기본 계층과 향상 계층의 화소값을 이용하여 향상 계층의 화면 내 예측을 위한 참조 데이터를 유도하는 방법을 통해 향상 계층의 화면 내 예측을 수행하는 순서는 다음과 같다.

(1) 기본 계층의 제한적 화면 내 예측 부호화(CIP)는 HEVC의 제한적 화면 내 예측 부호화(CIP)와 같은 방법으로 수행될 수 있다.

(2) 향상 계층의 제한적 화면 내 예측 부호화를 수행할 경우, 먼저 향상 계층의 현재 PU를 기준으로 좌상단, 상단, 우상단, 좌단, 좌하단에 위치한 인접 PU의 예측 부호화 모드를 파악한다.

(3) 향상 계층의 인접 PU가 화면 간 예측 부호화된 PU일 경우, 상기 화면 간 예측 부호화된 인접 PU에 대응되는 기본 계층의 PU가 화면 내 예측 부호화를 수행하였을 경우에만 기본 계층의 화소를 가져와 업샘플링하고, 이를 향상 계층의 화면 간 예측 부호화된 인접 PU의 화소값으로 대체한다. 대체된 화소값을 향상 계층의 예측을 위한 참조 데이터로 이용한다.

(4) 향상 계층의 인접 PU의 화소값이 기본 계층의 화소값을 통해 대체되지 않았을 경우, 대체되지 않은 인접 PU의 화소값은 자신과 가장 가까이에 위치한 사용 가능한 화소들로 대체될 수 있다.

(5) 상기 참조 화소들을 이용하여 향상 계층의 화면 내 예측 부호화를 수행한다.

상술한 방법들은 모두 블록 크기 혹은 CU 깊이 혹은 TU 깊이 등에 따라 적용 범위를 달리할 수 있다. 이렇게 적용 범위를 결정하는 변수(예컨대, 블록의 크기 혹은 깊이 정보)는, 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수도 있고, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기가 비트스트림으로부터 이 값을 구하여 사용할 수도 있다.

아래 표 2는 CU 깊이에 따라 적용 범위를 달리하는 방법의 일 예를 나타낸다. 예컨대, 방법 A는 주어진 깊이 이상의 깊이에만 적용하는 방식, 방법 B는 주어진 깊이 이하에만 적용하는 방식, 방법 C는 주어진 깊이에만 적용하는 방식일 수 있다. 아래 표 2에서 CU(혹은 TU)의 해당 깊이에 해당 방법을 적용하는 경우에는 O로 표기하였으며, CU(혹은 TU)의 해당 깊이에 해당 방법을 적용하지 않을 경우에는 X로 표기 하였다. 표 2에서는 CU(혹은 TU) 깊이가 2인 경우, 본 발명의 방법들을 적용하는 범위 결정 방식의 예를 나타낸다.

CU(혹은 TU)의 모든 깊이에 대하여 본 발명의 방법들을 적용하지 않는 경우, 임의의 지시자(예를 들어, flag)를 사용하여 나타낼 수도 있고, CU 깊이의 최대값보다 하나 더 큰 값을 적용 범위를 나타내는 CU 깊이 값으로 시그널링 함으로써 표현할 수도 있다.

또한, 상술한 방법은 휘도 블록의 크기에 따라 색차 블록에 다르게 적용할 수 있으며, 휘도 신호 영상 및 색차 신호 영상에 다르게 적용할 수 있다.

표 3은 블록 크기, 색차 신호 및 휘도 신호, 수직 방향 및 수평 방향 등에 따라 적용 범위를 결정하는 방법의 일예를 나타낸다.

표 3의 방법들 중 방법 “사 1”을 살펴보면, 휘도 블록의 크기가 8(8x8, 8x4, 2x8 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우, 본 발명의 방법들을 휘도 신호 및 색차 신호 및 수평 신호 및 수직 신호에 적용할 수 있다.

표 3의 방법들 중 “파 2”를 살펴보면, 휘도 블록의 크기가 16(16x16, 8x16, 4x16 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우, 본 발명의 방법들을 휘도 신호 및 색차 신호 및 수평 신호에 적용할 수 있고 수직 신호에는 적용하지 않을 수 있다.

또다른 변형 방법들로는 휘도 신호에만 본 발명의 방법들이 적용되고 색차 신호에는 적용되지 않을 수 있다. 반대로 색차 신호에만 본 발명의 방법들이 적용되고 휘도 신호에는 적용되지 않을 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

1. 기본 계층과 향상 계층을 지원하는 영상 복호화 방법에 있어서,
   상기 향상 계층의 현재 PU(Prediction Unit)에 대한 화면 내 예측(intra prediction)을 위한 참조 데이터를 유도하는 단계; 및
   상기 참조 데이터를 이용하여 상기 현재 PU에 대한 화면 내 예측을 수행하여 상기 현재 PU의 예측 값을 생성하는 단계를 포함하며,
   상기 참조 데이터는 상기 현재 PU에 인접한 인접 PU의 화소로서, 상기 기본 계층 또는 상기 향상 계층의 화소로부터 유도되며,
   상기 인접 PU는 상기 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단 및 좌하단 인접 PU를 포함하는 것을 특징으로 하는 영상 복호화 방법.
2. 제1항에 있어서,
   상기 참조 데이터를 유도하는 단계는,
   상기 인접 PU의 화소를 상기 기본 계층의 복호화된 화소로 대체하며,
   상기 기본 계층의 복호화된 화소는, 상기 현재 PU에 대응되는(Co-located) 상기 기본 계층의 대응 PU 내 경계면 화소 및 상기 대응 PU에 인접한 인접 PU의 경계면 화소 중 적어도 하나인 것을 특징으로 하는 영상 복호화 방법.
3. 제2항에 있어서,
   상기 참조 데이터를 유도하는 단계는,
   상기 좌상단 인접 PU의 화소는, 상기 대응 PU 내 좌측 최상단 화소 혹은 상기 대응 PU에 인접한 좌상단 인접 PU의 화소로 대체되며,
   상기 상단 인접 PU의 화소는, 상기 대응 PU 내 상단 경계면 화소 혹은 상기 대응 PU에 인접한 상단 인접 PU의 경계면 화소로 대체되며,
   상기 우상단 인접 PU의 화소는, 상기 대응 PU에 인접한 우측 인접 PU의 경계면 화소 혹은 상기 대응 PU에 인접한 우상단 인접 PU의 경계면 화소로 대체되며,
   상기 좌단 인접 PU의 화소는, 상기 대응 PU 내 좌단 경계면 화소 혹은 상기 대응 PU에 인접한 좌단 인접 PU의 경계면 화소로 대체되며,
   상기 좌하단 인접 PU의 화소는, 상기 대응 PU에 인접한 하단 인접 PU의 경계면 화소 혹은 상기 대응 PU에 인접한 좌하단 인접 PU의 경계면 화소로 대체되는 것을 특징으로 하는 영상 복호화 방법.
4. 제1항에 있어서,
   상기 참조 데이터를 유도하는 단계는,
   상기 인접 PU의 가용성(availability) 여부를 판단하는 단계; 및
   상기 인접 PU가 가용한 인접 PU일 경우, 상기 가용한 인접 PU의 화소를 상기 참조 데이터로 유도하고,
   상기 인접 PU가 비가용한 인접 PU일 경우, 상기 비가용한 인접 PU의 화소를 상기 비가용한 인접 PU에 대응되는 상기 기본 계층의 PU의 화소로 대체하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
5. 제1항에 있어서,
   CIP(constrained intra prediction)가 적용되는 경우, 상기 참조 데이터를 유도하는 단계는,
   상기 인접 PU에 대응되는 상기 기본 계층의 대응 PU의 예측 부호화 모드를 파악하는 단계; 및
   상기 대응 PU의 예측 부호화 모드가 화면 내 예측 모드이면, 상기 인접 PU의화소를 상기 대응 PU의 화소로 대체하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
6. 제1항에 있어서,
   CIP(constrained intra prediction)가 적용되는 경우, 상기 참조 데이터를 유도하는 단계는,
   상기 인접 PU의 예측 부호화 모드를 파악하는 단계; 및
   상기 인접 PU의 예측 부호화 모드가 화면 간 예측(intra prediction) 모드이면, 상기 인접 PU의 화소를 상기 인접 PU에 대응되는 상기 기본 계층의 대응 PU의 화소로 대체하는 단계를 포함하며,
   상기 기본 계층의 대응 PU의 화소로 대체하는 단계에서는,
   상기 대응 PU가 화면 내 예측 부호화 모드이면, 상기 인접 PU의 화소를 상기 대응 PU의 화소로 대체하는 것을 특징으로 하는 영상 복호화 방법.
7. 제1항에 있어서,
   상기 참조 데이터를 유도하는 단계는,
   상기 현재 PU가 상기 현재 PU를 포함하는 현재 프레임의 경계에 위치하는 경우, 상기 인접 PU가 상기 현재 프레임에 존재하는지 여부를 판단하는 단계; 및
   상기 인접 PU가 상기 현재 프레임에 존재하지 않는 비가용한 인접 PU인 경우, 상기 비가용한 인접 PU의 화소를 상기 현재 프레임에 대응되는 상기 기본 계층의 대응 프레임 내 복호화된 화소로 대체하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
8. 기본 계층과 향상 계층을 지원하는 영상 복호화 장치에 있어서,
   상기 향상 계층의 현재 PU(Prediction Unit)에 대한 화면 내 예측(intra prediction)을 위한 참조 데이터를 유도하고, 상기 참조 데이터를 이용하여 상기 현재 PU에 대한 화면 내 예측을 수행하여 상기 현재 PU의 예측 값을 생성하는 예측부를 포함하며,
   상기 참조 데이터는 상기 현재 PU에 인접한 인접 PU의 화소로서, 상기 기본 계층 또는 상기 향상 계층의 화소로부터 유도되며,
   상기 인접 PU는 상기 현재 PU에 인접한 좌상단, 상단, 우상단, 좌단 및 좌하단 인접 PU를 포함하는 것을 특징으로 하는 영상 복호화 장치.
9. 제8항에 있어서,
   상기 예측부는, 상기 인접 PU의 화소를 상기 기본 계층의 복호화된 화소로 대체하며,
   상기 기본 계층의 복호화된 화소는, 상기 현재 PU에 대응되는(Co-located) 상기 기본 계층의 대응 PU 내 경계면 화소 및 상기 대응 PU에 인접한 인접 PU의 경계면 화소 중 적어도 하나인 것을 특징으로 하는 영상 복호화 장치.
10. 제9항에 있어서,
    상기 예측부는,
    상기 좌상단 인접 PU의 화소를, 상기 대응 PU 내 좌측 최상단 화소 혹은 상기 대응 PU에 인접한 좌상단 인접 PU의 화소로 대체하며,
    상기 상단 인접 PU의 화소를, 상기 대응 PU 내 상단 경계면 화소 혹은 상기 대응 PU에 인접한 상단 인접 PU의 경계면 화소로 대체하며,
    상기 우상단 인접 PU의 화소를, 상기 대응 PU에 인접한 우측 인접 PU의 경계면 화소 혹은 상기 대응 PU에 인접한 우상단 인접 PU의 경계면 화소로 대체하며,
    상기 좌단 인접 PU의 화소를, 상기 대응 PU 내 좌단 경계면 화소 혹은 상기 대응 PU에 인접한 좌단 인접 PU의 경계면 화소로 대체하며,
    상기 좌하단 인접 PU의 화소를, 상기 대응 PU에 인접한 하단 인접 PU의 경계면 화소 혹은 상기 대응 PU에 인접한 좌하단 인접 PU의 경계면 화소로 대체하는 것을 특징으로 하는 영상 복호화 장치.
11. 제8항에 있어서,
    상기 예측부는,
    상기 인접 PU의 가용성(availability) 여부를 판단하고,
    상기 인접 PU가 가용한 인접 PU일 경우, 상기 가용한 인접 PU의 화소를 상기 참조 데이터로 유도하고,
    상기 인접 PU가 비가용한 인접 PU일 경우, 상기 비가용한 인접 PU의 화소를 상기 비가용한 인접 PU에 대응되는 상기 기본 계층의 PU의 화소로 대체하는 것을 특징으로 하는 영상 복호화 장치.
12. 제8항에 있어서,
    상기 예측부는,
    CIP(constrained intra prediction)가 적용되는 경우,
    상기 인접 PU에 대응되는 상기 기본 계층의 대응 PU의 예측 부호화 모드를 파악하고,
    상기 대응 PU의 예측 부호화 모드가 화면 내 예측 모드이면, 상기 인접 PU의화소를 상기 대응 PU의 화소로 대체하는 것을 특징으로 하는 영상 복호화 장치.
13. 제8항에 있어서,
    상기 예측부는,
    CIP(constrained intra prediction)가 적용되는 경우,
    상기 인접 PU의 예측 부호화 모드를 파악하고,
    상기 인접 PU의 예측 부호화 모드가 화면 간 예측(intra prediction) 모드이면, 상기 인접 PU의 화소를 상기 인접 PU에 대응되는 상기 기본 계층의 대응 PU의 화소로 대체하되,
    상기 대응 PU가 화면 내 예측 부호화 모드이면, 상기 인접 PU의 화소를 상기 대응 PU의 화소로 대체하는 것을 특징으로 하는 영상 복호화 장치.
14. 제1항에 있어서,
    상기 예측부는,
    상기 현재 PU가 상기 현재 PU를 포함하는 현재 프레임의 경계에 위치하는 경우, 상기 인접 PU가 상기 현재 프레임에 존재하는지 여부를 판단하고,
    상기 인접 PU가 상기 현재 프레임에 존재하지 않는 비가용한 인접 PU인 경우, 상기 비가용한 인접 PU의 화소를 상기 현재 프레임에 대응되는 상기 기본 계층의 대응 프레임 내 복호화된 화소로 대체하는 것을 특징으로 하는 영상 복호화 장치.

Images