KR102270844B1 - 영상의 부호화/복호화 방법 및 이를 이용하는 장치 - Google Patents

Abstract

본 발명은 다시점 영상 부호화에서 효율적인 부호화 구조를 위해 임의의 GOP 시작 위치에서 베이스 시점(base view)의 위치를 이동하는 것으로, 기존의 다시점 영상 부호화는 고정된 베이스 시점을 사용함으로써 베이스 시점과 의존적인 시점(dependent view)와의 상관도가 낮을 경우 부호화 효율이 저하되고, 실시간 방송에서 제작자가 보여주고 싶은 시점이 베이스 시점에서 다른 시점로 이동할 때는 사용자가 베이스 시점을 복호화 할 때보다 많은 비트스트림과 복호화기 복잡도를 소비해야 한다. 이에 본 발명은 베이스 시점을 이동할 수 있는 신택스 요소를 설계함으로써 효율적인 부호화 구조를 지원하여 위와 같은 문제를 해결할 수 있다.

Description

영상의 부호화/복호화 방법 및 이를 이용하는 장치{VIDEO ENCODING AND DECODING METHOD AND APPARATUS USING THE SAME}

본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 다시점 영상 부호화에서 베이스 시점(Base View) 변화 방법 및 그 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.

본 발명은 다시점 영상 부호화에서 효율적인 부호화 구조를 위해 임의의 GOP 시작 위치에서 베이스 시점(base view)의 위치를 이동하는 방법 및 이를 이용하는 장치를 제공한다.

본 발명은 기존의 다시점 영상 부호화는 고정된 베이스 시점을 사용함으로써 베이스 시점과 의존적인 시점(dependent view)와의 상관도가 낮을 경우 부호화 효율이 저하되고, 실시간 방송에서 제작자가 보여주고 싶은 시점이 베이스 시점에서 다른 시점로 이동할 때는 사용자가 베이스 시점을 복호화 할 때보다 많은 비트스트림과 복호화기 복잡도를 소비해야 하는 문제점을 해결하기 위하여 이에 본 발명은 베이스 시점을 이동할 수 있는 신택스 요소를 설계하는 방법 및 이를 이용하는 장치를 제공한다.

이로 인하여, 효율적인 부호화 구조를 지원하고 부호화 효율을 높일 수 있는 방법 및 이를 이용하는 장치를 제공한다.

본 발명은 실시간 방송에서 제작자의 의도에 따라 시점을 이동하는 경우 사용자가 기존보다 효율적인 비용으로 제작자에 의해 의도된 시점을 복호화 할 수 있는 방법 및 이를 이용하는 장치를 제공한다.

본 발명의 일 양태에 따르면, 다시점을 지원하는 영상 복호화 방법이 제공된다. 상기 다시점 영상 복호화 방법은 복수의 레이어에 대하여 레이어의 종속성을 유도하는 단계, 베이스 시점이 이동한 경우, 상기 베이스 시점의 이동에 대응하여 레이어를 식별하는 레이어 ID와 시점 순서를 재설정하는 단계, 재설정된 레이어 ID에 기초하여 현재 영상이 참조할 수 있는 참조 영상 리스트를 구성하는 단계를 포함한다.

상기 레이어 종속성은 상기 현재 레이어가 참조하는 참조 레이어의 개수와 상기 참조 레이어의 식별 정보를 포함하는 적어도 하나의 참조 레이어 세트로 구성될 수 있다.

본 발명의 다른 양태에 따르면, 다시점을 지원하는 영상 부호화 방법이 제공된다. 상기 다시점 영상 부호화 방법은 복수의 레이어에 대하여 레이어의 종속성을 유도하는 단계, 베이스 시점이 이동한 경우, 상기 베이스 시점의 이동에 대응하여 레이어를 식별하는 레이어 ID와 시점 순서를 재설정하는 단계, 재설정된 레이어 ID에 기초하여 현재 영상이 참조할 수 있는 참조 영상 리스트를 구성하는 단계를 포함한다.

상기 레이어 종속성은 상기 현재 레이어가 참조하는 참조 레이어의 개수와 상기 참조 레이어의 식별 정보를 포함하는 적어도 하나의 참조 레이어 세트로 구성될 수 있다.

본 발명의 또 다른 양태에 따르면, 다시점을 지원하는 영상 복호화 장치가 제공된다. 상기 다시점 영상 복호화 장치는 복수의 레이어에 대하여 레이어의 종속성을 유도하는 단계, 베이스 시점이 이동한 경우, 상기 베이스 시점의 이동에 대응하여 레이어를 식별하는 레이어 ID와 시점 순서를 재설정하는 단계, 재설정된 레이어 ID에 기초하여 현재 영상이 참조할 수 있는 참조 영상 리스트를 구성하는 단계를 포함한다.

상기 레이어 종속성은 상기 현재 레이어가 참조하는 참조 레이어의 개수와 상기 참조 레이어의 식별 정보를 포함하는 적어도 하나의 참조 레이어 세트로 구성될 수 있다.

본 발명의 일 양태에 따르면, 다시점을 지원하는 영상 부호화 장치가 제공된다. 상기 다시점 영상 부호화 장치는 복수의 레이어에 대하여 레이어의 종속성을 유도하는 단계, 베이스 시점이 이동한 경우, 상기 베이스 시점의 이동에 대응하여 레이어를 식별하는 레이어 ID와 시점 순서를 재설정하는 단계, 재설정된 레이어 ID에 기초하여 현재 영상이 참조할 수 있는 참조 영상 리스트를 구성하는 단계를 포함한다.

상기 레이어 종속성은 상기 현재 레이어가 참조하는 참조 레이어의 개수와 상기 참조 레이어의 식별 정보를 포함하는 적어도 하나의 참조 레이어 세트로 구성될 수 있다.

본 발명의 일 실시예에 따르면, 다시점 영상 부호화에서 효율적인 부호화 구조를 위해 임의의 GOP 시작 위치에서 베이스 시점(base view)의 위치를 이동하는 방법 및 이를 이용하는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 기존의 다시점 영상 부호화는 고정된 베이스 시점을 사용함으로써 베이스 시점과 의존적인 시점(dependent view)와의 상관도가 낮을 경우 부호화 효율이 저하되고, 실시간 방송에서 제작자가 보여주고 싶은 시점이 베이스 시점에서 다른 시점로 이동할 때는 사용자가 베이스 시점을 복호화 할 때보다 많은 비트스트림과 복호화기 복잡도를 소비해야 하는 문제점을 해결하기 위하여 이에 본 발명은 베이스 시점을 이동할 수 있는 신택스 요소를 설계하는 방법 및 이를 이용하는 장치가 제공된다.

이를 통하여 효율적인 부호화 구조를 지원할 수 있는 영상의 부호화/복호화 방법 및 장치가 제공된다.

본 발명에 따르면, 실시간 방송에서 제작자의 의도에 따라 시점을 이동하는 경우 사용자가 기존보다 효율적인 비용으로 제작자에 의해 의도된 시점을 복호화 할 수 있는 방법 및 이를 이용하는 장치가 제공된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 시점을 이용한 다시점 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 다시점 영상에 대한 참조 픽쳐 리스트의 구성을 도시한 도면이다.
도 5는 본 발명에 따라 다시점 영상 부호화에서 베이스 시점을 이동하는 방법을 설명하기 위한 제어 흐름도이다.
도 6은 본 발명에 따른 스케일러블 참조 레이어 세트를 개략적으로 도시한 도면이다.
도 7은 본 발명에 따라 참조 영상 세트 유도하는 과정을 설명하기 위한 도면이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 다시점(multi-view)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 다시점 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.

여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 다시점 비디오 부호화/복호화 방법 또는 장치는 다시점을 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 다시점 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.

또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.

도 3은 본 발명이 적용될 수 있는, 복수 시점을 이용한 다시점 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.

도 3에서, 시점 1(View 1)은 시점 0(View 0)을 기준으로 왼쪽에 위치한 카메라에서 획득한 영상이고, 시점 2(View 2)는 시점 0(View 0)을 기준으로 오른쪽에 위치한 카메라에서 획득한 영상일 수 있다.

또한, 시점 1(View 1)과 시점 2(View 2)는 시점 0(View 0)을 참조 영상으로 사용하여 시점 간 예측을 수행하며, 부호화 순서는 시점 1(View 1)과 시점 2(View 2)보다 시점 0(View 0)이 먼저 부호화되어야 한다.

이때, 시점 0(View 0)은 다른 시점과 상관없이 독립적으로 부호화될 수 있으므로 독립적인 시점(Independent View) 또는 베이스 시점(base view)이라고 한다. 반면, 시점 1(View 1)과 시점 2(View 2)는 시점 0(View 0)을 참조 영상으로 사용하므로 의존적인 도는 종속적인 시점(Dependent View)라고 한다.

독립적인 시점 영상은 일반적인 2차원 비디오 코덱을 사용하여 부호화 될 수 있다. 반면, 의존적인 시점 영상은 시점간 예측을 수행하여야 하므로, 시점간 예측 과정이 포함된 3차원 비디오 코덱을 사용하여 부호화할 수 있다.

비트스트림 내 복수의 시점을 지원하는 비디오의 부호화 및 복호화, 즉 다시점 코딩(multi-view video coding)의 경우, 복수의 시점간에는 강한 연관성(correlation)이 존재하기 때문에 이런 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 다른 시점의 정보를 이용하여 예측의 대상이 되는 현재 레이어의 예측을 수행하는 것을 이하에서는 시점간 예측(inter-view prediction)이라고 표현할 수 있다. 다시점 비디오 코딩은 이하 부호화 관점에서는 다시점 비디오 부호화, 복호화 관점에서는 다시점 비디오 복호화와 동일한 의미를 가진다.

복수의 시점들은 해상도, 프레임 레이트, 컬러 포맷 중 적어도 하나가 서로 다를 수 있으며, 시점간 예측 시 해상도의 조절을 위하여 레이어의 업샘플링 또는 다운샘플링이 수행될 수 있다.

이러한 다시점 영상의 코딩 방법은 시점 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층간 중복성을 제거하여 부호화/복호화 성능을 높일 수 있다.

기존의 다시점 영상 부호화에서 고정된 베이스 시점을 사용하여 부호화를 하였다. 하지만 베이스 시점과 의존적인 시점과의 상관도가 낮아지는 경우 부호화 효율이 저하될 수 있다.

뿐만 아니라 실시간 방송에서 제작자의 의도에 따라 영상의 시점을 변경하여 영상을 코딩하고자 하는 경우 사용자는 제작자에 의해 의도된 시점의 영상을 복호화 하기 위하여 베이스 시점을 복호화하는 경우보다 많은 비트스트림을 복호화해야 하는 경우가 발생하고, 이때 복호화기 복잡도가 증가한다.

이에, 본 발명은 다시점 영상 부호화에서 GOP(Grup Of Picture)단위로 베이스 시점의 위치를 변경할 수 있도록 하이레벨 신택스(High-level syntax)를 설계하고 레이어 간, 즉 시점 간의 종속성 변경을 효율적으로 하기 위해 새로운 레이어 간 종속성을 설계한다. 이를 통해서 다시점 영상 부호화에서 효율적인 부호화 구조를 지원하고자 한다.

본 발명에 따르면, 실시간 방송에서 제작자의 의도에 따라 시점을 이동하는 경우 사용자가 기존보다 효율적인 비용으로 제작자에 의해 의도된 시점을 복호화 할 수 있는 방법 및 이를 이용하는 장치가 제공된다.

통상의 다시점 영상의 복호화 순서 및 참조 영상 관리는 다음과 같다.

우선, 계층간 참조 영상 관리는 비디오 파라미터 세트(Video Parameter Set, 이하, VPS) extension에서 설정된 레이어 간 종속성에 의해 관리된다.

복호화 장치는 VPS extension에서 각 레이어가 어떤 시점인지 알려주는 view_id[i]를 해석한다. 여기서 인덱스 i는 전체 레이어 수만큼의 범위를 가진다.

그런 후, 복호화 장치는 VPS extension에서 각 레이어가 몇 개의 레이어를 참조하는지 알려주는 num_direct_ref_layers[layerID]를 해석하고, 각각의 레이어 마다 어떤 레이어를 참조 했는지 알려주는 ref_layer_id[i]를 해석한다.

이를 통해 복호화 장치는 각 레이어 마다 레이어 간 의존성을 파악할 수 있다. 즉, 어떠한 레이어가 어떠한 시점에 대한 레이어를 참조하는지 파악할 수 있다.

한편, 베이스 시점의 layer_id는 항상 ‘0’으로 고정되고, 베이스 시점의 view_id 또한 ‘0’으로 고정된다.

ref_layer_id[i]에서 i는 ‘0’부터 각 레이어가 몇 개의 레이어를 참조했는지 알려주는 num_direct_ref_layers에 의하여 특정된 값까지의 범위를 가질 수 있다.

각 레이어가 어떤 시점인지 해석한 이후, 복호화 장치는 시퀀스 파라미터 세트(Sequence Parameter Set, 이하 SPS)에서 포함되어 시그널링 되는 시점의 부/복호화 순서를 나타내는 view_order_Idx[i]를 파싱 및 해석한다. 이때, i는 전체 시점의 수만큼의 범위를 가진다.

각 레이어가 참조할 레이어에 대한 해석이 완료되면, 복호화 장치는 도 4와 같이 RefPicSetIvCurr를 참조 픽쳐 리스트에 추가한다.

도 4는 다시점 영상에 대한 참조 픽쳐 리스트의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 참조 픽쳐 리스트는 현재 영상에 의하여 참조되는 장기 참조 픽쳐 세트(RefPicSetLtCurr), 현재 영상에 의하여 참조되지 않는 장기 참조 픽쳐 세트(RefPicSetLtFoll), 현재 영상에 의하여 참조되는 순방향 단기 참조 픽쳐 세트(RefPicSetStCurrBefore), 현재 영상에 의하여 참조되는 역방향 단기 참조 픽쳐 세트(RefPicSetStCurrAfter), 현재 영상에 의하여 참조되지 않는 단기 참조 픽쳐 세트(RefPicSetStFoll) 및 현재 영상에 의하여 참조되는 인터 뷰 참조 픽쳐 세트(RefPicSetIvCurr)로 구성될 수 있다.

RefPicSetIvCurr에는 VPS extension에서 시그널링되는 num_direct_ref_layers의 수만큼 참조 레이어가 포함될 수 있다.

RefPicSetIvCurr에는 VPS extension에서 시그널링되는 ref_layer_id[i]와 동일한 layer_id를 가지며 현재 픽쳐와 동일한 POC를 갖는 영상이 포함될 수 있다.

RefPicSetIvCurr를 구성하는 영상은 모두 “used for long-term reference”로 표시된다.

이하에서는 본 발명에 따른 다시점 영상 부호화에서 베이스 시점을 이동하는 방법에 대하여 살펴본다.

도 5는 본 발명에 따라 다시점 영상 부호화에서 베이스 시점을 이동하는 방법을 설명하기 위한 제어 흐름도이다.

우선, 부호화기 및 복호화기는 레이어 종속성을 해석한다(S510).

레이어의 종속성을 해석한다는 것은 부호화 또는 복호화 하기 위하여 레이어 종속성을 파악한다는 것을 의미하며, 이는 영상의 부호화 및 복호화 과정에서 다른 계층의 영상을 현재 계층의 참조 영상으로 사용하기 위하여 참조 영상을 관리하는 하나의 단계로 볼 수 있다.

레이어의 종속성은 영상에 대한 VPS extension를 통해 해석될 수도 있고, 개별적인 슬라이스를 통해 해석될 수도 있다.

먼저, 부호화기의 입장에서 살펴보면, VPS extension를 이용하여 레이어 종속성을 부호화 할 때 부호화기는 기존의 방법만 사용할 수도 있고, 기존의 레이어 종속성을 부호화하는 방법과 현재 레이어가 참조 할 수 있는 참조 레이어의 개수와 layer_id를 미리 세트로 지정해 놓고 원하는 세트를 사용할 수 있는 방법(scalable reference layer sets, SRLS)중 하나를 이용하여 레이어 종속성을 부호화 할 수 있다.

기존의 레이어 종속성을 부호화하는 방법만 사용하는 경우, 부호화기는 도 4를 참조하여 설명된 기존의 방법을 이용하여 레이어 종속성을 부호화할 수 있다.

또는, 부호화기는 기존의 방법과 SRLS를 사용하는 경우, 어느 방법을 사용했는지 알려주는 플래그 (예컨대, vps_srls_present_flag)를 부호화 할 수 있다.

기존의 방법을 사용하여 레이어 종속성을 부호화하는 경우에는 기존의 신택스를 부호화하여 전송하고, SRLS를 사용하는 경우에는 레이어 종속성 세트를 몇 개 사용할 것인지 알려주는 신택스(num_scalable_ref_layer_sets)를 부호화하고 각 세트의 내용, 즉, 세트를 구성하는 참조 픽쳐에 대하여는 scalable_ref_layer_set()에서 부호화하여 전송할 수 있다.

반대로, 복호화기는 부호화기에서 레이어 종속성을 기존의 방법으로 부호화한 경우, 신택스의 변환 없이 기존의 방법대로 레이어 종속성을 복호화 할 수 있다.

또는 레이어 종속성이 기존의 부호화 방법과 SRLS 중 선택된 어느 하나를 이용하여 부호화 된 경우, 복호화기는 표 1과 같은 신택스 요소를 복호화 할 수 있다.

표 1을 참조하면, vps_srls_present_flag가‘0’인 경우, 기존의 방법으로 신택스가 복호화되고, vps_srls_present_flag가 ‘1’인 경우, SRLS 방법으로 레이어 종속성이 복호화되는 것을 나타낸다.

num_scalable_ref_layer_set는 레이어 종속성 세트의 개수를 나타낸다

scalable_ref_layer_set()는 각 레이어 종속성 세트의 구성을 나타낸다.

복호화기는 vps_srls_present_flag가‘0’인 경우, 기존의 방법으로 신택스를 복호화하고, vps_srls_present_flag가 ‘1’인 경우, SRLS 방법으로 레이어 종속성을 복호화한다. 복호화기는 순차적으로 num_scalable_ref_layer_set를 해석하여 레이어 종속성 세트의 개수를 파악하고, scalable_ref_layer_set()를 통해 각 레이어 종속성 세트의 구성을 파악할 수 있다.

도 6은 본 발명에 따른 스케일러블 참조 레이어 세트(scalable reference layer sets)를 개략적으로 도시한 도면이다.

도 6에 도시된 바와 같이, M개의 스케일러블 참조 레이어 세트가 존재할 수 있고, 각 스케일러블 참조 레이어 세트는 복수의 레이어 ID로 구성될 수 있다.

스케일러블 참조 레이어 세트 1은 A개의 레이어 ID로 구성되고, 스케일러블 참조 레이어 세트 2는 B개의 레이어 ID로 구성되며, 스케일러블 참조 레이어 세트 M은 K개의 레이어 ID로 구성될 수 있다.

스케일러블 참조 레이어 세트를 구성하는 레이어 ID는 현재 레이어와 참조 레이어 ID의 차분 값으로 특정될 수 있다.

부호화기는 scalable_ref_layer_set()에 대한 부호화를 위하여, 참조 레이어의 개수를 알려주는 신택스 요소(예를 들어, num_ref_layer), 참조 레이어의 수만큼 현재 레이어와 참조 레이어의 layer_id 차분값의 부호를 신택스 요소(예를 들어, delta_layer_id_sign) 차분값의 절대값을 신택스 요소(예를 들어, abs_delta_layer_id[i])로 순차적으로 부호화하여 전송할 수 있다.

표 2는 복호화기에서 파악할 수 있는 scalable_ref_layer_set()의 신택스 테이블을 도시한 도면이다.

표 2를 참조하면, num_ref_layer는 참조 레이의 수를 나타낸다.

delta_srls_idx_mimus1에 1을 더한 값은 스케일러블 참조 레이어 세트를 특정하는 값으로, 이전 스케일러블 참조 레이어 세트와 차이값을 나타낸다.

delta_layer_id_sign은 현재 레이어와 참조 레이어의 차이의 부호를 나타낸다.

abs_delta_layer_id[i]는 현재 레이어와 참조 레이어의 차이의 절대값을 나타낸다.

복호화기는 num_ref_layer를 통하여하여 참조 레이어 세트를 구성하는 참조 레이어의 개수를 파악하고, 참조 레이의 수만큼 시그널링 되는 delta_layer_id_sign와 abs_delta_layer_id[i]를 통하여 현재 레이어와 참조 레이어의 layer_id 차분값을 파악할 수 있다.

본 발명의 다른 실시예에 따르면, 레이어의 종속성은 개별적인 슬라이스를 통해 해석될 수도 있다.

슬라이스를 통하여 레이어의 종속성을 시그널링 하고 파악하는 경우, 부호화기 및 복호화기는 VPS extension에서 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 방법하는 것과 같이 기존의 방법을 이용하거나, VPS extension에서 SRLS로 표현된 레이어 종속성을 이용하여 현재 슬라이스에서 레이어 종속성을 사용/변경하는 방법을 이용할 수 있다.

우선, 첫 번째 방법에 따라 기존 방법으로 VPS extension에서 해석된 레이어 종속성을 현재 슬라이스에서 사용 및 변경하는 경우, 부호화기는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 구별하고, 이러한 정보를 플래그(예를 들어, slice_srls_present_flag)를 이용하여 슬라이스마다 부호화할 수 있다.

만약 현재 슬라이스에 대해 새로운 레이어 종속성을 설정하는 방법을 사용하는 경우, 부호화기는 현재 슬라이스가 참조할 수 있는 레이어의 수를 신택스 정보(예를 들어, num_scalable_ref_layer)로 부호화하여 전송하고 참조할 수 있는 레이어의 수만큼 참조할 레이어(layer_id 또는 식별 가능한 정보)를 신택스 정보(예를 들어, scalable_ref_layer[i])로 부호화하여 전송할 수 있다. 새로운 레이어 종속성은 VPS extension에서 설정된 레이어간 종속성의 범위안에서 설정 가능하다.

한편, 첫 번째 방법에 따라 기존 방법으로 VPS extension에서 해석된 레이어 종속성을 현재 슬라이스에서 사용 및 변경하는 경우, 표 3과 같은 신택스 테이블을 복호화 할 수 있다.

표 3을 참조하면, slice_srls_present_flag는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 알려주는 플래그이다.

num_scalable_ref_layer는 현재 슬라이스가 참조 할 레이어의 수를 나타낸다.

scalable_ref_layer[i]는 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 나타낸다.

표 4는 표 3의 신택스의 실시 예이다. 표 4를 참조하면, slice_srls_present_flag는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 알려주는 플래그이다. 예를 들어, slice_srls_present_flag가 1이면, 현재 슬라이스에서 새로운 레이어 종속성이 설정되는 것을 나타내고, slice_srls_present_flag가 0이면 현재 슬라이스에 대해 레이어 종속성을 사용하지 않는 것을 나타낸다. slice_srls_present_flag가 0이면 num_scalable_ref_layer는 0으로 설정되고 현재 슬라이스는 Inter layer reference를 사용하지 않는다.

slice_srls_present_flag는 현재 부호화 하려는 레이어가 베이스 레이어가 아닌 경우, VPS extension에서 설정된 레이어간 종속성을 항상 사용하지 않는 경우, VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수가 1 이상인 경우를 모두 만족하는 경우 해석가능하다.

num_scalable_ref_layer는 현재 슬라이스가 참조 할 레이어의 수를 나타낸다. num_scalable_ref_layer는 slice_srls_present_flag가 1이고, VPS extension에서 설정된 레이어간 종속성에서 참조할 수 있는 레이어의 수가 2 이상인 경우 해석가능하다. num_scalable_ref_layer는 1 보다 크고 VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수 보다 작은 값을 가질 수 있다. VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수가 1인 경우, num_scalable_ref_layer는 해석하지 않아도 1로 설정된다.

scalable_ref_layer[i]는 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 나타낸다. VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수와 num_scalable_ref_layer가 같다면 해석하지 않아도 scalable_ref_layer[i]는 VPS extension에서 설정된 레이어간 종속성에서 지정하는 참조 레이어를 동일하게 식별할 수 있는 정보로 설정한다.

복호화기는 slice_srls_present_flag를 해석하여, 만약 slice_srls_present_flag 가 ‘1’이면 현재 슬라이스에서 새로운 레이어 종속성을 설정하고, slice_srls_present_flag가 ‘0’이면 레이어 종속성을 사용하지 않는다.

슬라이스에서 시그널링되는 새로운 레이어 종속성을 사용하는 경우, 복호화기는 현재 슬라이스가 참조 할 레이어의 수를 num_scalable_ref_layer를 복호화하고, 현재 슬라이스가 참조 할 레이어의 수만큼 scalable_ref_layer[i]을 복호화하여하여 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 파악할 수 있다.

한편, 두 번째 방법에 따라, VPS extension에서 SRLS로 표현된 레이어 종속성을 이용하여 현재 슬라이스에서 레이어 종속성을 사용/변경하는 방법을 이용하는 경우, 표 5와 같은 신택스 구조가 시그널링 될 수 있다.

부호화기는 플래그(scalable_ref_layer_set_vps_flag)를 부호화하여 VPS extension에서 설정된 레이어 종속성 방법을 사용할 것인지 아니면 현재 슬라이스에서 새로운 레이어 종속성을 사용할 것인지 시그널링할 수 있다.

여기서 VPS extension에서 시그널링되는 플래그(vps_srls_present_flag)에 따라 SRLS를 사용한 레이어 종속성을 부호화한 방법인지 아니면 기존의 레이어 종속성 부호화 방법을 이용한 것인지 구별될 수 있다.

부호화기는 scalable_ref_layer_set_vps_flag에 따라 현재 슬라이스에서 새로운 레이어 종속성을 부호화 하거나, VPS extension에서 설정된 레이어 종속성 세트에서 어떤 레이어 종속성을 사용할 것인지 알려주는 신택스 (scalable_ref_layer_set_Idx)를 부호화 할 수 있다.

만약 VPS extension에서 사용한 방법이 기존의 레이어 종속성을 부호화하는 방법이라면 scalable_ref_layer_set_vps_flag에 따라 현재 슬라이스에서 사용할 레이어 종속성을 후술할 방법(예를 들어, 베이스 시점의 layer_id를 ‘0’으로 고정하는 방법)과 같은 방법으로 설정 할 수 있다.

다시 도 5로 돌아가서, 레이어 종속성이 해석되면, 부호화기 및 복호화기는 베이스 시점의 이동에 따른 레이어 ID 및 시점 순서(view order)를 해석한다(S520).

베이스 시점의 이동에 따라 레이어 ID를 해석하는 방법에는 베이스 시점의 layer_id를 ‘0’으로 고정하는 방법과 베이스 시점의 layer_id를 베이스 시점의 시점에 따라 변경하는 방법이 존재할 수 있다.

우선, 베이스 시점의 layer_id를 ‘0’으로 고정하는 방법에 대하여 살펴보면 다음과 같다. 본 발명에 따를 경우, 부호화기 및 복호화기는 베이스 시점의 layer_id를 ‘0’으로 고정하기 위하여 기존의 레이어 종속성의 표현 방법을 이용하거나 SRLS를 이용하여 레이어 종속성을 표현하는 방법을 이용할 수 있다.

기존의 레이어 종속성의 표현을 이용하는 경우, 부호화기는 SEI message에서 base_view_change() 파트를 두어 베이스 시점 이동을 위한 신택스를 부호화 할 수 있다.

먼저 베이스 시점의 이동에 대응하여 레이어 종속성을 다시 정의 하려면 active_vps_id를 부호화 하여, 목표하는 VPS extension의 정보를 기반으로 레이어 종속성을 변경할 수 있다.

그리고 active_sps_id를 부호화 하여 시점 순서를 위해 목표하는 시퀀스 파라미터 세트를 기반으로 시점 순서를 변경할 수 있다.

시퀀스 파라미터 세트를 기반으로 시점 순서를 변경하면, VPS extension를 통하여 전체 레이어의 수를 알 수 있고, 전체 레이어에 대하여 새롭게 신택스(layer_id[i])를 부호화 하여 layer id를 재설정할 수있다.

또한, 시점 ID(view id)에 대한 신택스 요소(view_id[i])를 부호화하여 개별적인 레이어마다 layer id와 view id를 재설정할 수 있다.

그런 후, 부호화기는 신택스 요소 view_dependency_change()를 이용하여 레이어의 종속성을 변경할 수 있다.

부호화기는 SPS를 통하여 전체 시점의 수를 알 수 있으므로 전체 시점의 수만큼 신택스 요소(view_order_Idx[i])를 부호화 하여 시점 순서를 재설정할 수 있다.

한편, 기존의 레이어 종속성의 표현을 이용하는 경우, 복호화기는 SEI message에 포함되어 시그널링되는 base_view_change()를 파싱 및 해석하여 베이스 시점를 이동하기 위한 정보를 얻을 수 있다.

먼저 베이스 시점 이동을 위한 파라미터 세트를 활성화시키기 위하여 비디오파라미터 세트 및 시퀀스 파라미터 세트의 활성화를 위한 active_vps_id와 active_sps_id를 복호화 한다. 복호화된 active_vps_id와 active_sps_id에 포함되어 있는 정보를 바탕으로 베이스 시점 이동을 위한 정보를 결정한다.

그런 후 복호화기는 전체 레이어의 수만큼 layer_id[i]와 view_id[i]를 해석하여 각각의 레이어에 새로운 layer id와 view id를 설정할 수 있다.

베이스 시점의 layer_id는 항상 ‘0’으로 설정되므로, 베이스 시점이 변한 것을 layer id와 view id로 표현해 주어야 한다.

그런 후, 복호화 장치는 신택스 요소 view_dependency_change()를 해석하여 레이어의 종속성을의 변경을 파악할 수 있다.

복호화 장치는 전체 시점의 수만큼 view_order_Idx[i]를 해석함으로써 시점의 복호화 순서를 재설정할 수 있다.

기존의 레이어 종속성 표현을 이용하여 베이스 시점의 layer_id를 ‘0’으로 고정하는 방법에 이용되는 신택스 테이블은 표 6와 같을 수 있다.

본 발명의 다른 실시예에 따르면, SRLS를 이용한 레이어 종속성 표현을 이용하여 베이스 시점의 layer_id를 ‘0’으로 고정할 수 있다.

이를 위하여 시그널링 되는 신택스 구조는 표 7과 같다.

부호화기는 SEI message에 base_view_change() 파트를 포함시켜 베이스 시점 이동을 위한 신택스를 부호화 할 수 있다.

부호화기는 레이어 종속성을 베이스 시점의 이동에 대응하여 다시 정의 하기 위해서 먼저 active_vps_id를 부호화 하여, 목표하는 VPS extension의 정보를 기반으로 레이어 종속성을 변경한다.

그리고 부호화기는 active_sps_id를 부호화 하여 시점 순서를 위해 목표하는 시퀀스 파라미터 세트를 기반으로 시점 순서를 변경한다.

그런 후 부호화기는 활성화된 VPS extension에서 전체 레이어의 수를 파악하고, 개별적인 레이어에 대하여 다시 새롭게 전체 레이어를 식별하기 위한 신택스 요소(layer_id[i])를 부호화 하여 layer id를 재설정한다.

그리고, 부호화기는 view id를 위한 신택스 요소(view_id[i])를 부호화하여 각각의 레이어마다 layer id와 view id를 재설정할 수 있다.

그 다음에는 활성화된 SPS에서 파악된 전체 시점의 수에 기초하여 전체 시점의 수만큼 신택스 요소(view_order_Idx[i])를 부호화 하여 시점 순서를 재설정할 수 있다.

이에 대응하여, 복호화기는 SEI message에 포함되어 시그널링되는 base_view_change()를 해석하여 베이스 시점를 이동하기 위한 정보를 파악할 수 있다.

복호화기는 먼저 베이스 시점 이동을 위한 파라미터 세트를 활성화하기 위해 비디오 파라미터 세트 및 시퀀스 파라미터 세트의 활성화를 위한 active_vps_id와 active_sps_id를 복호화 한다. 복호화된 active_vps_id와 active_sps_id에 포함되어 있는 정보를 바탕으로 베이스 시점 이동을 위한 정보를 결정한다.

그런 후 복호화기는 전체 레이어의 수만큼 layer_id[i]와 view_id[i]를 해석하여 각각의 레이어에 새로운 다시 layer id와 view id를 설정한다.

이 때, 베이스 시점의 layer_id는 항상 ‘0’이므로 베이스 시점이 변한 것을 layer id와 view id로 표현해 주어야 한다.

그 다음 복호화기는 전체 시점의 수만큼 view_order_Idx[i]를 해석하여 시점의 복호화 순서를 재설정할 수 있다.

이하에서는 베이스 시점의 이동에 따라 레이어 ID를 해석하는 방법 중 베이스 시점의 layer_id를 베이스 시점의 시점에 따라 변경하는 방법에 대하여 살펴본다. 베이스 시점의 layer_id를 베이스 시점의 시점에 따라 변경하는 방법에도 두 가지 실시예가 적용될 수 있다.

부호화기 및 복호화기는 베이스 시점의 layer_id를 베이스 시점의 시점에 따라 변경하기 위하여 기존의 레이어 종속성 표현을 이용하거나 SRLS를 이용한 레이어 종속성 표현을 이용할 수 있다.

우선, 기존의 레이어 종속성 표현을 이용하기 위하여 시그널링 되는 신택스 테이블은 표 8과 같다.

표 8을 참조하여 부호화기에서 신택스가 부호화되는 과정을 설명하면 다음과 같다.

부호화기는 SEI message에서 base_view_change()포함시켜 베이스 시점 이동을 위한 신택스를 부호화 할 수 있다.

부호화기는 레이어 종속성을 베이스 시점의 이동에 대응하여 다시 정의 하려면 먼저 active_vps_id를 부호화 하여, 목표하는 VPS extension의 정보를 기반으로 레이어 종속성을 변경한다.

그리고 부호화기는 active_sps_id를 부호화 하여 시점 순서를 위해 목표하는 시퀀스 파라미터 세트를 기반으로 시점 순서를 변경한다.

부호화기는 변경된 베이스 레이어의 layer_id를 시그널링하기 위해 신택스(base_layer_id)를 부호화한다.

그리고 전체 레이어 중에서 base_layer_id로 부호화된 laye id를 제외한 나머지 레이어들에 대하여 각 레이어마다 레이어 종속성을 재설정한다. 이를 위하여 부호화기는 레이어 종속성을 재설정하기 위한 신택스 요소 (ref_layer_disable_flag[i][j])를 부호화 한다.

그런 후 부호화기는 활성화된 VPS extension에서 전체 레이어의 수를 파악하고 전체 시점의 수만큼 시점 순서에 대한 신택스 요소(view_order_Idx[i])를 부호화 하여 시점 순서를 재설정한다.

베이스 레이어의 layer id가 변경되었으므로 일정한 기간 동안(예를 들어, 이전 GOP와의 종속성이 없을 때까지) 변경된 베이스 레이어는 이전 베이스 레이어를 참조 할 수 있어야 한다. 이를 위하여 부호화기는 일정한 기간 동안 베이스 레이어가 참조 할 수 있는 레이어에 대한 layer id를 나타내는 신택스(temporary_ref_layer_id)를 부호화한다.

한편, 표 8과 같은 신택스 요소가 시그널링 되면, 복호화기는 아래와 같이에신택스 요소들을 파싱하여 베이스 시점의 layer_id를 변경할 수 있다.

복호화기는 SEI message에 포함되어 시그널링되는 base_view_change()를 해석하여 베이스 시점를 이동하기 위한 정보를 파악할 수 있다.

복호화기는 먼저 베이스 시점 이동을 위한 파라미터 세트를 활성화하기 위해 비디오 파라미터 세트 및 시퀀스 파라미터 세트의 활성화를 위한 active_vps_id와 active_sps_id를 복호화 한다. 복호화된 active_vps_id와 active_sps_id에 포함되어 있는 정보를 바탕으로 베이스 시점 이동을 위한 정보를 결정한다.

그런 후 복호화기는 base_layer_id를 파싱하여 베이스 레이어를 파악한다. 그리고 전체 레이어 중에서 이동된 베이스 레이어를 제외하고 나머지 레이어에 대하여 레이어 종속성을 파악하기 위하여 레이어 종속성을 나타내는 ref_layer_disable_flag[i][j]를 파싱한다.

그 다음 복호화기는 전체 시점에 대한 복호화 순서를 나타내는 view_order_idx[i]를 파싱하여 시점의 복호화 순서를 파악한다.

그리고, 복호화기는 일정한 기간동안 베이스 레이어가 참조 할 수 있는 layer idtemporary_ref_layer_id를 해석하여 베이스 레이어의 참조 레이어를 파악할 수 있다.

본 발명의 다른 실시예에 따르면, SRLS를 이용한 레이어 종속성 표현을 이용하여 베이스 시점의 layer_id를 베이스 시점의 시점에 따라 변경할 수도 있다.

SRLS를 이용한 레이어 종속성 표현을 이용하기 위하여 시그널링 되는 신택스 테이블은 표 9과 같다

표 9을 참조하여 부호화기에서 신택스가 부호화되는 과정을 설명하면 다음과 같다.

부호화기는 SEI message에서 base_view_change()포함시켜 베이스 시점 이동을 위한 신택스를 부호화 할 수 있다.

부호화기는 레이어 종속성을 베이스 시점의 이동에 대응하여 다시 정의 하려면 먼저 active_vps_id를 부호화 하여, 목표하는 VPS extension의 정보를 기반으로 레이어 종속성을 변경한다.

그리고 부호화기는 active_sps_id를 부호화 하여 시점 순서를 위해 목표하는 시퀀스 파라미터 세트를 기반으로 시점 순서를 변경한다.

부호화기는 변경된 베이스 레이어의 layer_id를 시그널링하기 위해 신택스(base_layer_id)를 부호화한다.

그런 후 부호화기는 활성화된 VPS extension에서 전체 레이어의 수를 파악하고 전체 시점의 수만큼 시점 순서에 대한 신택스 요소(view_order_Idx[i])를 부호화 하여 시점 순서를 재설정한다.

베이스 레이어의 layer id가 변경되었으므로 일정한 기간 동안(예를 들어, 이전 GOP와의 종속성이 없을 때까지) 변경된 베이스 레이어는 이전 베이스 레이어를 참조 할 수 있어야 한다. 이를 위하여 부호화기는 일정한 기간 동안 베이스 레이어가 참조 할 수 있는 레이어에 대한 layer id를 나타내는 신택스(temporary_ref_layer_id)를 부호화한다.

한편, 표 9과 같은 신택스 요소가 시그널링 되면, 복호화기는 아래와 같이SEI message에 신택스 요소들을 파싱하여 베이스 시점의 layer_id를 변경할 수 있다.

복호화기는 SEI message에 포함되어 시그널링되는 base_view_change()를 해석하여 베이스 시점를 이동하기 위한 정보를 파악할 수 있다.

복호화기는 먼저 베이스 시점 이동을 위한 파라미터 세트를 활성화하기 위해 비디오 파라미터 세트 및 시퀀스 파라미터 세트의 활성화를 위한 active_vps_id와 active_sps_id를 복호화 한다. 복호화된 active_vps_id와 active_sps_id에 포함되어 있는 정보를 바탕으로 베이스 시점 이동을 위한 정보를 결정한다.

그런 후 복호화기는 base_layer_id를 파싱하여 베이스 레이어를 파악한다.

그 다음 복호화기는 전체 시점에 대한 복호화 순서를 나타내는 view_order_idx[i]를 파싱하여 시점의 복호화 순서를 파악한다.

그리고, 복호화기는 일정한 기간동안 베이스 레이어가 참조 할 수 있는 layer idtemporary_ref_layer_id를 해석하여 베이스 레이어의 참조 레이어를 파악할 수 있다.

그런 후, 부호화기 및 복호화기는 참조 영상 목록을 구성하여 참조 영상을 참조할 수 있다(S530).

VPS extension 또는 슬라이스 헤더에 설정된 레이어간 종속성 정보에 의하여 계층간 참조 영상의 종속성이 파악될 수 있다.

VPS extension와 슬라이스 헤더를 이용하여 단계 S510에 기재되어 있는 방법으로 레이어의 종속성이 해석될 수 있다.

부호화기 및 복호화기는 각 레이어가 참조할 레이어를 해석한 이후, 참조 영상 목록 구성할 때, 도 7와 같이 ScalableRefLayerSet를 추가할 수 있다.

도 7은 본 발명에 따라 참조 영상 세트 유도하는 과정을 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 현재 영상의 디코딩 전, 현재 레이어에 포함되어있는 참조 영상 세트를 유도하기 위하여 POC 값으로 이루어진 5개의 리스트 및 인터 레이어에 대한 1개의 리스트가 구성될 수 있다.

5개의 리스트는 PocLtCurr, PocLtFoll, PocStCurrBefore, PocStCurrAfter 및 PocStFoll이다. 각 리스트는 각각 NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr 및 NumPocLtFoll으로 특정되는 개수의 구성 요소들(즉, POC 값들)을 포함한다.

PocLtCurr는 현재 픽쳐에 의하여 이용되고, 현재 픽쳐의 POC 보다 큰 POC를 갖는 장기 참조 픽쳐의 POC를 포함하는 리스트이고, PocLtFoll는 현재 픽쳐에 의하여 이용되지 않는 장기 참조 픽쳐의 POC를 포함하는 리스트이다. PocLtCurr와 PocLtFoll는 장기 참조 픽쳐 세트를 구성하는데 사용된다.

PocStCurrBefore는 현재 픽쳐에 의하여 이용되고, 현재 픽쳐의 POC 보다 작은 POC를 갖는 단기 참조 픽쳐의 POC를 포함하는 리스트이고, PocStCurrAfter는 현재 픽쳐에 의하여 이용되고, 현재 픽쳐의 POC 보다 큰 POC를 갖는 단기 참조 픽쳐의 POC를 포함하는 리스트이며, PocStFoll은 현재 픽쳐에 의하여 이용되지 않는 단기 참조 픽쳐의 POC를 포함하는 리스트이다. PocStCurrBefore, PocStCurrAfter 및 PocStFoll은 단기 참조 픽쳐 세트를 구성하는데 사용된다.

부호화기 및 복호화기는 스케일러빌러티를 지원하는 다른 레이어로 구성된 참조 레이어 후보에 대한 레이어 ID로 구성된 리스트(LayerIDScalableCurr)를 생성할 수 있다. LayerIDScalableCurr는 스케일러블 참조 레이어 세트, 즉 계층간 참조 레이어 세트 또는 시점간 참조 레이어 세트를 구성하는 데 사용된다.

부호화기 및 복호화기는 현재 레이어에 대하여 디코딩된 픽쳐를 저장하고 있는 DPB(Decoded Picture Buffer)를 체크하여 5개의 POC 리스트로부터 5개의 참조 영상 세트를 유도할 수 있고, 다른 레이어의 DPB를 체크하여 LayerIDScalableCurr러부터 시점간 예측에 사용될 계층간 참조 레이어 세트(ScalableRefLayerSet)를 구성할 수 있다.

ScalableRefLayerSet는 VPS extension 또는 슬라이스 헤더에서 시그널링 되는 참조 레이어의 수에 해당하는 참조할 레이어로 구성될 수 있다.

ScalableRefLayerSet에는 VPS extension 또는 슬라이스 헤더에서 시그널링되는 종속성을 갖는 참조 레이어에서 현재 픽쳐와 같은 POC를 가지는 영상을 지정할 수 있다.

ScalableRefLayerSet를 구성하는 영상은 모두 장기 참조 픽쳐로 사용됨(used for long-term reference)으로 표시된다.

부호화기 및 복호화기는 참조 영상 세트 및 계층간 참조 레이어 세트에 기초하여 참조 영상 리스트를 유도하고, 이용하여 영상을 예측할 수 있다.

살펴본 바와 같이, 본 발명은 다시점 영상에서 베이스 시점이 다른 시점으로 이동하는 경우, 보다 효율적인 부호화 및 복호화를 위하여 비디오 파라미터 세트 또는 슬라이에서 시그널링 될 수 있는 레이어 종속성 정보를 이용하여 레이어의 종속성을 파악하고, 베이스 시점의 이동에 대응하여 시점 순서를 결정하는 방법 및 이를 이용하는 장치를 제공한다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (28)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 복수의 레이어를 지원하는 영상의 복호화 방법에 있어서,
    비디오 파라미터 세트 (Video Parameter Set, 이하 VPS) extension에 기초하여 현재 레이어에 대한 제1 레이어 종속성을 분석하는 단계;
    슬라이스 단위로 부호화된 정보에 기초하여 상기 현재 레이어내의 현재 슬라이스의 제2 레이어 종속성을 분석하는 단계, 상기 현재 슬라이스의 제2 레이어 종속성을 분석하는 단계는, 상기 현재 슬라이스를 위해, 상기 VPS extension의 상기 제1 레이어 종속성 및 상기 슬라이스 단위의 상기 제2 레이어 종속성 중 어느 하나를 이용할지를 결정하는 단계를 포함함; 및
    상기 VPS extension의 상기 제1 레이어 종속성 및 상기 슬라이스 단위의 상기 제2 레이어 종속성 중 어느 하나에 기초하여 상기 현재 슬라이스의 참조 영상 리스트를 생성하는 단계를 포함하고,
    상기 참조 영상 리스트는 상기 현재 슬라이스와 동일한 레이어에 속하는 참조 영상 및 상기 현재 슬라이스와 다른 레이어에 속하는 계층간 참조 영상을 포함하고,
    상기 계층간 참조 영상은 상기 현재 슬라이스와 동일한 POC(Picture Order Count) 값을 갖는 것을 특징으로 하는 영상 복호화 방법.
24. 제23항에 있어서,
    상기 제1 레이어 종속성을 분석하는 단계는,,
    상기 VPS extension에서 시그널링된 정보에 기초하여 상기 현재 레이어의 레이어 종속성의 구조를 나타내는 레이어 종속성 세트 정보를 유도하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
25. 제23항에 있어서,
    상기 제2 레이어 종속성을 분석하는 단계는,
    상기 슬라이스 단위의 상기 제2 레이어 종속성이 상기 현재 슬라이스에 대해 이용되는 것으로 결정되는 경우,
    상기 현재 슬라이스에 의해 참조되는 참조 레이어의 수를 분석하는 단계;
    상기 현재 슬라이스에 의해 참조되는 참조 레이어의 수만큼 상기 현재 슬라이스에 의해 참조되는 참조 레이어의 식별 정보를 분석하는 단계; 및
    상기 현재 슬라이스에 의해 참조되는 참조 레이어의 식별 정보에 기초하여 상기 현재 슬라이스에 대한 계층간 참조 영상을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
26. 제24항에 있어서,
    상기 레이어 종속성 세트 정보는 상기 현재 레이어가 참조하는 참조 레이어의 개수에 대한 정보와 참조 레이어의 레이어 ID를 특정할 수 있는 레이어 ID 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
27. 복수의 레이어를 지원하는 영상의 부호화 방법에 있어서,
    현재 레이어에 대한 제1 레이어 종속성을 비디오 파라미터 세트 (Video Parameter Set, 이하 VPS) extension에 부호화하는 단계;
    상기 현재 레이어내의 현재 슬라이스의 제2 레이어 종속성을 슬라이스 단위에 부호화하는 단계, 상기 현재 슬라이스의 제2 레이어 종속성을 부호화하는 단계는, 상기 현재 슬라이스를 위해, 상기 VPS extension에 부호화되는 상기 제1 레이어 종속성 및 상기 슬라이스 단위에 부호화되는 상기 제2 레이어 종속성 중 어느 하나를 이용할지를 결정하는 단계를 포함함; 및
    상기 VPS extension의 상기 제1 레이어 종속성 및 상기 슬라이스 단위의 상기 제2 레이어 종속성 중 어느 하나에 기초하여 상기 현재 슬라이스의 참조 영상 리스트를 생성하는 단계를 포함하고,
    상기 참조 영상 리스트는 상기 현재 슬라이스와 동일한 레이어에 속하는 참조 영상 및 상기 현재 슬라이스와 다른 레이어에 속하는 계층간 참조 영상을 포함하고,
    상기 계층간 참조 영상은 상기 현재 슬라이스와 동일한 POC(Picture Order Count) 값을 갖는 것을 특징으로 하는 영상 부호화 방법.
28. 복수의 레이어를 지원하는 영상의 부호화 방법으로 생성된 비트스트림을 저장하는 기록매체에 있어서,
    상기 영상 부호화 방법은,
    현재 레이어에 대한 제1 레이어 종속성을 비디오 파라미터 세트 (Video Parameter Set, 이하 VPS) extension에 부호화하는 단계;
    상기 현재 레이어내의 현재 슬라이스의 제2 레이어 종속성을 슬라이스 단위에 부호화하는 단계, 상기 현재 슬라이스의 제2 레이어 종속성을 부호화하는 단계는, 상기 현재 슬라이스를 위해, 상기 VPS extension에 부호화되는 상기 제1 레이어 종속성 및 상기 슬라이스 단위에 부호화되는 상기 제2 레이어 종속성 중 어느 하나를 이용할지를 결정하는 단계를 포함함; 및
    상기 VPS extension의 상기 제1 레이어 종속성 및 상기 슬라이스 단위의 상기 제2 레이어 종속성 중 어느 하나에 기초하여 상기 현재 슬라이스의 참조 영상 리스트를 생성하는 단계를 포함하고,
    상기 참조 영상 리스트는 상기 현재 슬라이스와 동일한 레이어에 속하는 참조 영상 및 상기 현재 슬라이스와 다른 레이어에 속하는 계층간 참조 영상을 포함하고,
    상기 계층간 참조 영상은 상기 현재 슬라이스와 동일한 POC(Picture Order Count) 값을 갖는 것을 특징으로 하는 영상 부호화 방법으로 생성된 비트스트림을 저장하는 기록매체.
    
    

Images