KR20180028298A - 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치 - Google Patents

Abstract

본 발명은 영상 부호화 방법에 관한 것으로, 동기화된 다시점 영상을 획득하는 단계; 상기 동기화된 다시점 영상의 공간적 구조 정보를 생성하는 단계; 상기 동기화된 다시점 영상을 부호화하는 단계; 및 상기 부호화된 다시점 영상에 대응하여, 상기 공간적 구조 정보를 시그널링하는 단계를 포함한다.

Description

공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치{A METHOD FOR ENCODING/DECODING A SYNCRONIZED MULTI VIEW VIDEO BY USING SPATIAL LAYOUT INFORMATION}

본 발명은 영상이 부호화/복호화 방법 및 장치에 관한것이다. 보다 구체적으로, 본 발명은 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치에 관한 것이다.

최근 디지털 영상 처리와 컴퓨터 그래픽 기술이 발전함에 따라, 현실 세계를 재현하고 이를 실감나게 경험하도록 하는 가상현실(VIRTUAL REALITY, VR) 기술에 관한 연구가 활발히 진행되고 있다.

특히, HMD(Head Mounted Display)와 같은 최근의 VR 시스템은, 사용자의 양안에 3차원 입체 영상을 제공할 수 있을 뿐만 아니라, 그 시점을 전방위로 트래킹할 수 있기에, 360도 회전 시청 가능한 실감나는 가상현실(VR) 영상 컨텐츠를 제공할 수 있다는 점에서 많은 관심을 받고 있다.

그러나, 360 VR 컨텐츠는 시간 및 양안 영상이 공간적으로 복합 동기화된 동시 전방위의 다시점 영상 정보로 구성되기 때문에, 영상의 제작 및 전송에 있어서, 모든 시점의 양안 공간에 대해 동기화된 2개 이상의 대형 영상을 부호화하여 압축 및 전달하게 된다. 이는 복잡도 및 대역폭 부담을 가중시키며, 특히 복호화 장치에서는 사용자 시점을 벗어나 실제로 시청되지 않는 영역에 대하여도 복호화가 이루어짐으로써 불필요한 프로세스가 낭비되는 문제점이 있다.

이에 따라, 영상의 전송 데이터량과 복잡도를 감소시키고, 대역폭 및 복호화 장치의 배터리 소모 측면에서도 효율적인 부호화 방법이 요구된다.

본 발명은 상기와 같은 과제를 해결하기 위한 것으로, 동기화된 다시점 영상의 공간적 구조 정보를 이용하여, 360도 카메라나 VR용 영상과 같은 동기화된 다시점 영상을 효율적으로 부호화/복호화하는 방법 및 장치를 제공하는 데 그 목적이 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 영상 부호화 방법은, 동기화된 다시점 영상을 획득하는 단계; 상기 동기화된 다시점 영상의 공간적 구조 정보를 생성하는 단계; 상기 동기화된 다시점 영상을 부호화하는 단계; 및 상기 부호화된 다시점 영상에 대응하여, 상기 공간적 구조 정보를 시그널링하는 단계를 포함한다.

한편, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 영상 부호화 장치는, 동기화된 다시점 영상을 획득하는 영상 획득부; 상기 동기화된 다시점 영상의 공간적 구조 정보를 생성하는 공간적 구조 정보 생성부; 상기 동기화된 다시점 영상을 부호화하는 영상 부호화부; 및 상기 부호화된 다시점 영상에 대응하여, 상기 공간적 구조 정보를 시그널링하는 공간적 구조 정보 시그널링부를 포함한다.

한편, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 영상 복호화 방법은, 비트스트림을 수신하는 단계; 상기 비트스트림이 동기화된 다시점 영상을 포함하는지 식별하는 단계; 상기 동기화된 다시점 영상을 포함하는 경우, 공간적 구조 정보를 파싱하는 단계; 및 상기 공간적 구조 정보에 기초하여 상기 동기화된 다시점 영상을 복호화하는 단계를 포함한다.

한편, 상기 동영상 처리 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 동기화된 다시점 영상으로부터 부호화 및 전송에 최적화된 공간적 구조 정보를 추출 및 시그널링하여, 영상의 전송 데이터량과 대역폭 및 복잡도를 효율적으로 감소시킬 수 있다.

또한, 복호화단에서는 동기화된 다시점 영상이 수신된 경우 상기 시그널링 정보에 따라 각 시점에 대한 최적화된 일부 복호화를 수행할 수 있게 됨으로써 시스템 낭비를 저감시킬 수 있어 복잡도 및 배터리 소모 측면에서도 효율적인 부호화/복호화 방법 및 장치를 제공할 수 있다.

그리고, 본 발명의 실시 예에 따르면 다양한 방식의 동기화된 영상에 대한 공간적 구조 정보를 지원할 수 있도록 하여 복호화 장치 스펙에 따라 적절한 영상 재생을 가능하게 하여, 장치 호환성을 향상시킬 수 있게 된다.

도 1은 본 발명의 일실시예에 따른 전체 시스템 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 시간 동기화된 다시점 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 3 내지 도 6은 본 발명의 실시 예에 따른 동기화된 다시점 영상의 공간적 구조의 일 예를 나타내는 도면이다.
도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른 공간적 구조 정보의 시그널링 방법을 설명하기 위한 도면들이다.
도 10은 본 발명의 실시 예에 따른 공간적 구조 정보의 구성을 설명하기 위한 도면이다.
도 11 내지 도 12는 본 발명의 실시 예에 따른 공간적 구조 정보의 타입 인덱스 테이블을 설명하기 위한 도면들이다.
도 13은 본 발명의 실시 예에 따른 공간적 구조 정보의 시점 정보 테이블을 설명하기 위한 도면이다.
도 14는 본 발명의 실시 예에 따른 복호화 방법을 설명하기 위한 흐름도이다.
도 15 및 도 18은 본 발명의 실시 예에 따른 공간적 구조 정보의 시그널링에 따라 복호화단에서의 스캐닝 순서가 결정되는 것을 예시한 도면들이다.
도 17은 공간적 구조 정보의 시그널링에 따라 구분되는 독립적 서브 이미지와 의존적 서브 이미지를 설명하기 위한 도면이다.
도 18 내지 도 19는 공간적 구조 정보에 따라, 서브 이미지간 바운더리 영역이 독립적 서브 이미지를 참조하여 복호화되는 것을 도시한다.
도 20 내지 도 21은 본 발명의 실시 예에 따른 부호화 및 복호화 처리를 설명하기 위한 도면들이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 상에 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 이들의 조합의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

본 발명의 실시 예에서, 동기화된 영상을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화한 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있으나, 이에 한정되지는 아니한다.

통상, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일하다. 따라서, 이하에서는 부호화 장치를 위주로 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 전체 시스템 구조를 도시한다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 전체 시스템은, 전처리 장치(10), 부호화 장치(100), 복호화 장치(200), 후처리 장치(20)를 포함한다.

본 발명의 실시 예에 따른 시스템은, 복수의 시점별 영상들을 병합 또는 스티치(stitch)등의 작업을 통해 전처리하여, 동기화된 비디오 프레임을 획득하는 전처리 장치(10)와, 상기 동기화된 비디오 프레임을 부호화하여 비트스트림을 출력하는 부호화 장치(100)와, 상기 비트스트림을 전송받아 상기 동기화된 비디오 프레임을 복호화하는 복호화 장치(200) 및 상기 비디오 프레임의 후처리를 통해 각 시점별 동기화된 영상이 각각의 디스플레이로 출력되도록 하는 후처리 장치(20)를 포함하여 구성될 수 있다.

여기서, 입력 영상은 다시점별 개별 영상을 포함할 수 있으며, 예를 들어 하나 이상의 카메라가 시간 및 공간 동기화된 상태에서 촬영되는 다양한 시점의 서브 이미지 정보를 포함할 수 있다. 이에 따라 전처리 장치(10)는 취득된 다시점 서브 이미지 정보를 시간에 따라 공간적 병합 또는 스티치 처리함으로써 동기화된 영상 정보를 획득할 수 있다.

그리고, 부호화 장치(100)는 상기 동기화된 영상 정보를 스캐닝 및 예측 부호화하여 비트스트림을 생성하며, 생성된 비트스트림은 복호화 장치(200)로 전송될 수 있다. 특히, 본 발명의 실시 예에 따른 부호화 장치(100)는 상기 동기화된 영상 정보로부터 공간적 구조 정보를 추출할 수 있으며, 복호화 장치(200)로 시그널링할 수 있다.

여기서 공간적 구조 정보(spatial layout information)는 상기 전처리 장치(10)로부터 하나 이상의 서브 이미지들이 병합되어 하나의 비디오 프레임으로 구성됨에 따라, 각각의 서브 이미지들의 속성 및 배치에 대한 기본 정보를 포함할 수 있다. 또한, 각 서브 이미지들 및 서브 이미지들간 관계에 대한 부가 정보를 더 포함할 수 있으며, 이에 대하여는 후술하도록 한다.

이에 따라, 본 발명의 실시 예에 따른 공간적 구조 정보가 복호화 장치(200)로 전달될 수 있다. 그리고, 복호화 장치(200)는 공간적 구조 정보와, 사용자 시점 정보를 참조하여 비트스트림의 복호화 대상 및 복호화 순서를 결정할 수 있으며, 이는 효율적인 복호화를 유도할 수 있다.

그리고, 복호화된 비디오 프레임은 다시 후처리 장치(20)를 통해 각각의 디스플레이별 서브 이미지로 분리되어 HMD 와 같은 복수의 동기화된 디스플레이 시스템으로 제공되며, 이에 따라 사용자는 가상 현실과 같이 현실감있는 동기화된 다시점 영상을 제공받을 수 있게 된다.

도 2는 본 발명의 일 실시 예에 따른 시간 동기화된 다시점 영상 부호화 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 부호화 장치(100)는 동기화된 다시점 영상 획득부(110), 공간적 구조 정보 생성부(120), 공간적 구조 정보 시그널링부(130), 영상 부호화부 및 전송 처리부(150)를 포함한다.

동기화된 다시점 영상 획득부(110)는 360도 카메라와 같은 동기화된 다시점 영상 획득 수단을 이용하여 동기화된 다시점 영상을 획득한다. 동기화된 다시점 영상은 시간 및 공간 동기화된 복수의 서브 이미지를 포함할 수 있으며, 전처리 장치(10)로부터 수신되거나 별도의 외부 입력 장치로부터 수신될 수도 있다.

그리고, 공간적 구조 정보 생성부(120)는 상기 동기화된 다시점 영상을 시간 단위의 비디오 프레임으로 분할하고, 상기 비디오 프레임에 대한 공간적 구조 정보를 추출한다. 공간적 구조 정보는 각각의 서브 이미지들의 속성 및 배치 상태에 따라 결정될 수 있으며, 전처리 장치(10)로부터 획득되는 정보에 따라 결정될 수도 있다.

그리고, 공간적 구조 정보 시그널링부(130)는 상기 공간적 구조 정보를 복호화 장치(200)로 시그널링하기 위한 정보 처리를 수행한다. 예를 들어, 공간적 구조 정보 시그널링부(130)는 영상 부호화부에서 부호화된 영상 데이터에 포함시키거나, 별도의 데이터 포맷을 구성하거나, 부호화된 영상의 메타데이터에 포함시키기 위한 하나 이상의 프로세스를 수행할 수 있다.

그리고, 영상 부호화부는 동기화된 다시점 영상을 시간 흐름에 따라 부호화한다. 또한, 영상 부호화부는 공간적 구조 정보 생성부(120)에서 생성되는 공간적 구조 정보를 참조 정보로 이용하여, 영상 스캐닝 순서 및 참조 이미지 등을 결정할 수 있다.

따라서, 영상 부호화부는 전술한 바와 같이 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있으나, 공간적 구조 정보에 따라, 동기화된 다시점 영상에 대해 보다 효율적인 방식으로 개선될 수 있다.

그리고, 전송 처리부(150)는 부호화된 영상 데이터와, 상기 공간적 구조 정보 시그널링부(130)로부터 삽입된 공간적 구조 정보를 결합하여 복호화 장치(200)로 전송하기 위한 하나 이상의 변환 및 송신 처리를 수행할 수 있다.

도 3 내지 도 6은 본 발명의 실시 예에 따른 동기화된 다시점 영상의 공간적 구조 및 영상 구성의 일 예를 나타내는 도면이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 다시점 영상은 시간적 동기화 및 공간적 동기화된 복수의 영상 프레임을 포함할 수 있다.

각각의 프레임은 고유의 공간적 구조(Spatial layout)에 따라 동기화될 수 있으며, 동일한 시간에 표시될 하나 이상의 Scene, Perspective 또는 View 에 대응되는 서브 이미지의 레이아웃을 구성할 수 있다.

이에 따라, 공간적 구조 정보(Spatial layout information)는 동기화된 다시점 영상을 구성하는 각각의 서브 이미지들이 병합, 스티치(Stitch) 등을 통해 하나의 입력 영상으로 구성되거나 동시간 다시점 영상(예를 들어, 동일한 시간으로 동기화된 복수의 영상으로서, 동일한 POC 내에 대응되는 다양한 View에 대응)이 입력 영상으로 구성되는 경우에, 상기 다시점 영상 또는 서브 이미지들의 배치 정보, 캡쳐 카메라의 위치 정보 및 각도 정보, 병합 정보, 서브 이미지의 개수 정보, 스캐닝 순서 정보, 취득 시간 정보, 카메라 파라미터 정보, 서브 이미지들 간의 참조 의존성 정보 등 서브 이미지와 그 관계 정보를 포함할 수 있다.

예를 들어, 도 4에 도시된 바와 같이 다이버전트(divergent) 형태의 카메라 배열을 통해 영상 정보가 촬영될 수 있으며, 배열 영상에 대한 스티치처리(stiching)를 통해, 360도 관찰 가능한 공간영상을 구성할 수 있다.

도 4에 도시된 바와 같이, 각 카메라 배열 A, B, C ... 에 대응하여 촬영된 영상 A', B', C', ...들이 1차원 또는 2차원 공간적 구조에 따라 배치될 수 있으며, 배열된 영상들간의 스티치 처리를 위한 좌우, 상하 영역 관계 정보가 공간적 구조 정보로서 예시될 수 있다.

이에 따라, 공간적 구조 정보 생성부(120)는 상기와 같은 다양한 속성을 포함하는 공간적 구조 정보를 입력 영상으로부터 추출할 수 있으며, 공간적 구조 정보 시그널링부(130)는 상기 공간적 구조 정보를 후술할 최적화된 방법으로 시그널링할 수 있다.

이와 같이 생성 및 시그널링되는 공간적 구조 정보는 전술한 바와 같이 유용한 참조 정보로 활용 될 수 있다.

예를 들어, 각 카메라를 통해 촬영된 컨텐트가 pre-stitched된 이미지라 하면, 인코딩 이전에 상기 각 pre-stiched 이미지들이 오버랩되어 하나의 scene을 구성하게 된다. 반면, 상기 scene은 각 view에 따라 분리될 수 있으며, 타입에 따라 각 분리되는 이미지간 상호 보상이 이루어질 수 있다.

이에 따라, 다시점에서 촬영한 하나 이상의 영상을 전처리 과정에서 하나의 이미지로 병합 및 Stitching 하여 인코더의 입력으로 전달하는 Pre-stitched image의 경우, 병합 및 Stitching된 입력 영상의 장면 정보, 공간적 레이아웃 구성 정보 등은 별도의 공간적 구조 정보 시그널링을 통해 인코딩 단계 및 디코딩 단계에 전달될 수 있다.

또한, 다시점에서 취득된 영상들이 시간적으로 동기화된 시점의 하나 이상의 입력 영상으로 전달되어 부호화 및 복호화 되는 Non-stitched image 영상 타입의 경우에도, 부호화 및 복호화 단계에서 상기 공간적 구조 정보에 따라 참조 및 보상될 수 있다.이를 위해, 다양한 공간적 레이아웃 정보 및 이에 대응하는 데이터 필드가 필요할 수 있다. 그리고, 데이터 필드는 입력 영상의 압축정보와 함께 부호화되거나, 별도의 메타데이터에 포함되어 전송될 수 있다.

또한, 공간적 레이아웃 정보를 포함하는 데이터 필드는 영상의 후처리 장치(20) 및 디스플레이의 렌더링 프로세스에서도 활용될 수 있다.

이를 위해, 공간적 레이아웃 정보를 포함하는 데이터 필드는 각 카메라로부터의 영상 취득 당시 획득된 위치 좌표 정보 및 색차 정보를 포함할 수 있다.

예를 들어, 각 카메라로부터 영상 정보의 취득 당시 획득한 영상의 3차원 좌표 정보 및 색차 정보 (X, Y, Z), (R, G, B)등의 정보가 각각의 서브 이미지들에 대한 부가 정보로 획득 및 전달 될 수 있으며, 이러한 정보는 복호화를 수행한 이후, 영상의 후처리 및 렌더링 과정에서 활용될 수 있다.

또한, 공간적 레이아웃 정보를 포함하는 데이터 필드는 각 카메라의 카메라 정보를 포함할 수 있다.

도 5 내지 도 6에 도시된 바와 같이, 3차원 공간을 촬영하여 공간 영상을 제공하는 하나 이상의 카메라가 배치될 수 있다.

예를 들어, 도 5에 도시된 바와 같이, 영상 획득시 3차원 공간 안에서의 한 지점에서 주변의 사물들을 취득하는 형태로 하나 이상의 카메라의 위치가 중앙 위치에 고정되고 각각의 방향이 설정될 수 있다.

또한, 도 6에 도시된 바와 같이, 하나 이상의 카메라는 하나의 오브젝트를 다양한 각도에서 촬영하는 형태로 배치될 수 있다. 이 때, 영상 획득 당시의 좌표 정보(X, Y, Z)와 거리 정보 등을 기반으로 3차원 영상을 재생할 VR 디스플레이 디바이스에서는 사용자의 움직임 정보(Up/Down, Left/Right, Zoom in/Zoom Out) 등을 분석하고, 이에 대응되는 영상의 일부분을 복호화 하거나 후처리하여 사용자가 원하는 시점 또는 부분 영상을 복원할 수 있게 된다.한편, 전술한 바와 같이, VR 영상으로 예시되는 동기화된 다시점 영상의 압축, 전송, 재생 등의 시스템에 있어서, 영상의 타입이나 특성, 복호화 장치의 특성 등에 따라 별도의 영상 변환 툴 모듈 등이 필요한 부분에 추가될 수 있다.

예를 들어, 영상 부호화부(140)는 카메라로부터 취득된 영상이 Equirectangular 타입일 때, 영상의 압축 성능 및 부호화 효율 등에 따라 변환 툴 모듈을 통해 Icosahedron/Cube Map 등과 같은 방식의 영상 타입으로 변환하고, 이를 통한 부호화를 수행할 수 있다. 이때의 변환 툴 모듈은 전처리 장치(10) 및 후처리 장치(20)에서도 활용될 수 있으며, 변환에 따른 변환 정보가 상기 공간적 구조 정보등에 포함되어 메타데이터 형식으로 복호화 장치(200) 또는 후처리 장치(20)나 VR 디스플레이 장치로 전달될 수 있다.

한편, 본 발명의 실시 예에 따른 동기화된 다시점 영상을 전달하기 위해, 부호화 장치(100) 및 복호화 장치(200)간 스케일가능성(Scalability)을 지원하기 위한 별도 VR 영상 압축방식이 필요할 수 있다.

이에 따라, 부호화 장치(100)는 VR 영상을 스케일 가능하게 압축하기 위해, 기본 계층과 향상 계층을 구분하는 방식으로 영상을 압축 부호화 할 수 있다.

이러한 방법으로는 한 장의 입력 영상이 다양한 카메라를 통해 취득된 고해상도 VR 영상을 압축 함에 있어, 기본 계층에서는 원본 영상에 대한 압축을 수행하고, 향상 계층에서는 한 장의 픽쳐를 Slice / Tile 등과 같이 영역을 분할하여 각 서브 이미지별로 부호화를 수행할 수 있다.

이 때, 부호화 장치(100)는 기본 계층의 복원 영상을 참조 영상으로 활용하여 부호화 효율을 높이는 계층간 예측 기법 (Inter layer prediction)을 통해 압축 부호화를 처리할 수 있다.

한편, 복호화 장치(200)에서는 기본 계층을 복호화 하면서, 사용자의 움직임 등에 따라 특정 영상을 빠르게 복호화해야 할 때, 향상 계층의 일부 영역을 복호화 하여, 사용자 움직임에 따른 일부 영상 복호화를 빠르게 수행할 수 있다.

이와 같이 스케일 가능한(Scalability) 압축 방식에 있어, 부호화 장치(100)는 기본 계층을 부호화하되, 기본 계층에서는 원본 영상을 임의의 비율로 스케일 다운(Scale down) 또는 다운 샘플링(Down sampling)등을 수행하여 압축할 수 있다. 이때 향상 계층에서는 기본 계층의 복원 영상에 대한 스케일 업(Scale Up) 또는 업 샘플링(Up sampling) 등을 통해 동일한 해상도로 영상의 사이즈를 조절하고, 이에 대응되는 기본 계층의 복원 영상을 참조 픽쳐로 활용함으로써 부/복호화를 수행할 수 있다.

이러한 스케일가능성(Scalability)을 지원하는 처리 구조에 따라, 복호화 장치(200)는 낮은 비트 또는 저해상도로 압축된 기본 계층의 전체 비트스트림을 복호화 하고, 사용자의 움직임에 따라 전체 비트스트림 중 일부 영상만을 향상 계층으로 복호화 할 수 있다. 또한, 전체 영상에 대한 복호화를 전부 수행하지는 않기 때문에 낮은 복잡도만으로도 VR 영상을 복원할 수 있게 된다.

또한, 해상도가 다른 별도의 스케일가능성(Scalability)을 지원하는 영상 압축 방식에 따라, 부호화 장치(100)는 기본 계층에서 원본 영상 또는 영상 제작자의 의도에 따른 영상에 대한 압축을 수행할 수 있으며, 향상 계층에서 기본 계층의 복원 영상을 참조하여 부호화를 수행하는 계층간 예측 방식을 기반으로 부호화를 수행할 수 있다.

이 때, 향상 계층의 입력 영상은 한 장의 입력 영상을 영상 분할 방법을 통해 분할하여 복수 개의 영역으로 부호화한 영상일 수 있다. 하나의 분할된 영역은 최대 하나의 서브 이미지를 포함할 수 있으며, 복수개의 분할 영역이 하나의 서브 이미지로 구성될 수 있다. 이러한 분할 방법을 통해 부호화 된 압축 비트스트림은 서비스 및 어플리케이션 단계에서 2개 이상의 출력을 처리할 수 있게 된다. 예를 들어, 서비스에서는 기본 계층에 대한 복호화를 통해 전체 영상을 복원 및 출력을 수행하고, 향상 계층에서는 서비스 또는 어플리케이션을 통한 사용자의 움직임, 시점 변화 및 조작 등을 반영하여 일부 영역 및 일부 서브 이미지만을 복호화 할 수 있다.

도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른 공간적 구조 정보의 시그널링 방법을 설명하기 위한 도면들이다.

도 7 내지 도 9에 도시된 바와 같이, 공간적 구조 정보는 일반적 영상 부호화에 있어서, 부호화 파라미터로 정의되는 SPS(SEQUENCE PARAMETER SET) 또는 VPS(VIDEO PARAMETER SET)과 같은 HLS상에 NAL(NETWORK ABSTRACTION LAYER) UNIT 형식의 하나의 클래스 타입으로 시그널링 될 수 있다.

먼저, 도 7은 본 발명의 실시 예에 따른 동기화된 영상 부호화 플래그가 삽입되는 NAL UNIT 타입을 도시한 것으로, 예를 들어, VPS(VIDEO PARAMETER SET) 등에 본 발명의 실시 예에 따른 동기화된 영상 부호화 플래그가 삽입될 수 있다.

이에 따라, 도 8은 본 발명의 실시 예에 따른 공간적 구조 정보 플래그를 VPS(VIDEO PARAMETER SET)에 삽입하는 실시 예를 도시한 것이다.

도 8에 도시된 바와 같이, 본 발명의 실시 예에 따른 공간적 구조 정보 시그널링부(130)는, VPS 상에 별도의 입력 영상의 종류 확인을 위한 플래그를 삽입할 수 있다. 부호화 장치(100)는 공간적 구조 정보 시그널링부(130)를 통해, vps_other_type_coding_flag를 이용하여 VR 콘텐츠와 같은 동기화된 다시점 영상 부호화가 수행되고, 공간적 구조 정보가 시그널링됨을 나타내는 플래그를 삽입할 수 있다.

또한, 도 9에 도시된 바와 같이 본 발명의 실시 예에 따른 공간적 구조 정보 시그널링부(130)는 SPS(SEQUENCE PARAMETER SET) 상에 다시점 동기화된 영상 부호화된 영상임을 시그널링할 수 있다.

예를 들어, 도 9에 도시된 바와 같이 공간적 구조 정보 시그널링부(130)는 입력 영상의 타입(INPUT_IMAGE_TYPE)을 삽입함으로써, 동기화된 다시점 영상의 인덱스 정보가 SPS에 포함되어 전송될 수 있다.

여기서, SPS상 INPUT_IMAGE_TYPE_INDEX가 -1이 아닌 경우, 또는 INDEX 값이 -1인 경우, 또는 그 값이 0으로 지정되어 의미적으로 -1에 대응될 경우 INPUT_IMAGE_TYPE이 본 발명의 실시 예에 따른 동기화된 다시점 영상임을 나타낼 수 있다.

또한, 공간적 구조 정보 시그널링부(130)는 입력 영상의 타입이 동기화된 다시점 영상인 경우, 그 시점 정보(PERSPECTIVE INFORMATION)을 SPS에 포함시켜 시그널링함으로써, 동기화된 다시점 영상의 공간적 구조 정보의 일부를 SPS에 삽입하여 전송할 수도 있다. 시점 정보는 2D 영상의 3D 렌더링 프로세싱 과정에 따라 각 시간대별 이미지 레이아웃이 시그널링되는 정보로서, 상단, 하단, 측면 등의 순서 정보가 포함 될 수 있다.

이에 따라, 복호화 장치(200)는 VPS 또는 SPS의 상기 플래그를 복호화 하여 해당 영상이 본 발명의 실시 예에 따른 공간적 구조 정보를 이용한 부호화를 수행했는지를 식별할 수 있다. 예를 들어, 도 5의 VPS의 경우에는 VPS_OTHER_TYPE_CODING_FLAG를 추출하여 해당 영상이 공간적 구조 정보를 이용하여 부호화된 동기화 다시점 영상인지 여부를 확인할 수 있다.

또한 도 9의 SPS의 경우에는 PERSPECTIVE_INFORMATION_INDEX 정보를 복호화함으로써, 레이아웃과 같은 실제적인 공간적 구조정보를 식별할 수 있다.

이 때, 공간적 구조 정보는 파라미터의 형식으로 구성될 수 있으며, 예를 들어, 공간적 구조 파라미터 정보는 SPS, VPS 등의 HLS 상에 서로 다르게 포함되거나, 별도의 함수와 같은 형태로 Syntax가 구성되거나, SEI 메시지로 정의될 수 있다.

또한, 일 실시 예에 따르면, 공간적 구조 정보는 PPS(PICTURE PARAMETER SET)에 포함되어 전송될 수 있다. 이 경우, 각 서브 이미지별 속성 정보가 포함될 수 있다. 예를 들어, 서브 이미지의 독립성이 시그널링될 수 있다. 독립성은 해당 영상이 다른 영상을 참조하지 않고 부호화 및 복호화될 수 있음을 나타낼 수 있으며, 동기화된 다시점 영상의 서브 이미지들은 독립적(INDEPENDENT) 서브 이미지와 의존적(DEPENDENT) 서브 이미지를 포함할 수 있다. 의존적 서브 이미지는 독립적 서브 이미지를 참조하여 복호화될 수 있다. 공간적 구조 정보 시그널링부(130)는 PPS 상에 독립적 서브 이미지를 리스트(Independent sub image list) 형태로 시그널링할 수 있다.

또한, 상기한 공간적 구조 정보는 SEI 메시지로 정의되어 시그널링될 수 있다. 도 10은 공간적 구조 정보로서 SEI 메시지를 예시한 것으로, Spatial layout information 디스크립터를 이용하여 파라미터화된 공간적 구조 정보가 삽입될 수 있다.

도 10에 도시된 바와 같이, 공간적 구조 정보는 입력 영상의 공간적 레이아웃(Spatial layout)을 나타낼 수 있는 타입 인덱스 정보(INPUT IMAGE TYPE INDEX), 시점 정보(PERSPECTIVE INFORMATION), 카메라 파라미터 정보(CAMERA PARAMETER), 장면 앵글 정보(SCEN ANGLE), 장면 다이나믹 레인지 정보(SCENE DYNAMIC RANGE), 독립적 서브 이미지 정보(INDEPENDENT SUB IMAGE), 장면 시간 정보(SCENE TIME INFORMATION)중 적어도 하나를 포함할 수 있으며, 이 외의 다시점 동기화된 영상을 효율적으로 부호화하는데 필요한 다양한 정보가 더 추가될 수 있다. 이와 같은 파라미터들은 하나의 디스크립터 형태의 SEI 메시지 형식으로 정의될 수 있으며, 복호화 장치(200)는 이를 파싱하여 복호화, 후처리 및 렌더링 단계에서 상기 공간적 구조 정보를 효율적으로 활용할 수 있다.

그리고, 상기한 바와 같이 공간적 구조 정보는 SEI 또는 메타데이터의 형식으로 복호화 장치(200)로 전달될수 있다.

또한, 예를 들어, 공간적 구조 정보는 부호화 단계에서 configuration 과 같은 선택 옵션에 의해 시그널링될 수 있다.

제1 옵션으로서, 공간적 구조 정보는 신택스상의 부호화 효율에 따라 HLS 상의 VPS / SPS / PPS 또는 Coding unit 신택스에 포함될 수 있다.

제2 옵션으로서, 공간적 구조 정보는 신택스상 SEI 형태의 메타 데이터로 한번에 시그널링될 수 있다.

이하에서는 도 11 내지 도 19를 참조하여, 본 발명의 일 실시 예에 따른 동기화된 다시점 영상 포맷에 따른 효율적인 비디오 부호화 및 복호화 방법에 대하여 보다 구체적으로 설명하도록 한다.

전술한 바와 같이 전처리 단계에서 생성되는 복수의 시점별 영상이 하나의 입력 영상으로 합성되어 부호화될 수 있다. 이 경우, 하나의 입력 영상은 복수의 서브 이미지를 포함할 수 있다. 각각의 서브 이미지들은 동일한 시간시점에 동기화될 수 있으며, 각각 서로 다른 뷰, 시각적 시점(PERSPECTIVE) 또는 장면에 대응될 수 있다. 이는 기존과 같은 별도의 깊이 정보를 이용하지 않고도 동일한 POC(PICTURE ORDER COUNT)에 다양한 VIEW를 지원하게 되는 효과를 가지며, 각 서브 이미지간 중복되는 영역은 바운더리(BOUNDARY) 영역으로 제한되게 된다.

특히, 입력 영상의 공간적 구조 정보는 전술한 바와 같은 형태로 시그널링될 수 있으며, 부호화 장치(100) 및 복호화 장치(200)는 공간적 구조 정보를 파싱하여 효율적인 부호화 및 복호화를 수행하는데 이용할 수 있다. 즉, 부호화 장치(100)는 인코딩 단계에서 상기 공간적 구조 정보를 이용한 다시점 영상 부호화를 처리할 수 있으며, 복호화 장치(200)는 복호화, 전처리 및 렌더링 단계에서 상기 공간적 구조 정보를 이용한 복호화를 처리할 수 있다.

도 11 내지 도 12는 본 발명의 실시 예에 따른 공간적 구조 정보의 타입 인덱스 테이블을 설명하기 위한 도면들이다.

전술한 바와 같이 입력 영상의 서브 이미지들은 다양한 방식으로 배치될 수 있다. 이에 따라, 공간적 구조 정보는 배치 정보를 시그널링하기 위한 테이블 인덱스를 별도 포함할 수 있다. 예를 들어, 도 8에 도시된 바와 같이 동기화된 다시점 영상은 CUBIC LAYOUT 4 X 3, CUBIC LAYOUT 3 X 2, ICOSAHEDRON, EQUIRECTANGULAR 등의 레이아웃이 예시될 수 있으며, 공간적 구조 정보에는 각각의 레이아웃에 대응되는 도 9에 도시된 테이블 인덱스가 삽입될 수 있다.

다만, 도 12에 도시된 테이블은 입력 영상에 따라 임의적으로 배치된 것으로, 부호화 효율 및 시장의 컨텐츠 분포 등에 따라 변경될 수 있다.

이에 따라, 복호화 장치(200)는 별도 시그널링되는 테이블 인덱스를 파싱하여, 복호화 처리에 이용할 수 있다.

특히, 본 발명의 실시 예에서 상기 각 레이아웃 정보는 영상의 일부 복호화에 유용하게 이용될 수 있다. 즉 CUBIC LAYOUT과 같은 서브 이미지 배치 정보는 독립적 서브 이미지와 의존적 서브 이미지를 구분하는데 이용 수 있으며 이에 따라 효율적인 부호화 및 복호화 스캐닝 순서를 결정하거나, 특정 시점에 대한 일부 복호화를 수행하는데 이용될 수도 있다.

도 13은 본 발명의 실시 예에 따른 복호화 방법을 설명하기 위한 흐름도이다.

도 13을 참조하면, 먼저 복호화 장치(200)는 영상 비트스트림을 수신한다(S101).

그리고, 복호화 장치(200)는 영상이 동기화된 다시점 영상인지를 확인한다(S103).

여기서, 복호화 장치(200)는 영상 비트스트림으로부터 공간적 구조 정보 시그널링부(130)로부터 시그널링되는 플래그로부터 동기화된 다시점 영상인지를 식별할 수 있다. 예를 들어, 복호화 장치(200)는 전술한 바와 같은 VPS, SPS 등으로부터 영상이 동기화된 다시점 영상인지를 미리 식별할 수 있다.

만약 동기화된 다시점 영상이 아닌 경우에는 일반적인 전체 영상 복호화를 수행한다(S113).

그리고, 복호화 장치(200)는 동기화된 다시점 영상인 경우, 공간적 구조 정보로부터 테이블 인덱스를 복호화한다(S105).

여기서, 복호화 장치(200)는 테이블 인덱스로부터 EQUIRECTANGULAR 영상인지 여부를 식별할 수 있다(S107).

이는 동기화된 다시점 영상 중 EQUIRECTANGULAR 영상의 경우에는 별도의 서브 이미지로 구분되지 않을 수 있기 때문이며, 복호화 장치(200)는 EQUIRECTANGULAR 영상에 대하여는 전체 영상의 복호화를 수행하게 된다(S113).

EQUIRECTANGULAR 영상이 아닌 경우, 복호화 장치(200)는 나머지 전체 공간적 구조 정보(SPATIAL LAYOUT INFORMATION)를 복호화하며(S109), 상기 공간적 구조정보에 기초한 영상 복호화 처리를 수행한다(S111).

도 14는 본 발명의 실시 예에 따른 공간적 구조 정보의 시점 정보 테이블을 설명하기 위한 도면이다.

본 발명의 실시 예에 따른 공간적 구조 정보는 시점 정보(PERSPECTIVE INFORMATION)을 위한 테이블을 포함할 수 있다.

부호화 장치(100) 및 복호화 장치(200)는 영상 간 참조, 부호화, 복호화 순서 및 독립적 서브 이미지를 구분하기 위한 정보로서, 상기 시점 정보 테이블을 이용할 수 있다.

또한, 다시점 디스플레이 장치에서의 렌더링시, 시점 정보 테이블은 복호화된 영상과 함께 장치의 시스템 레이어로 전달될 수 있으며, 해당 정보를 이용하여 사용자는 컨텐츠 제공자(contents provider)의 의도에 따른 위상에 맞추어 영상을 시청할 수 있게 된다.

보다 구체적으로, 공간적 구조 정보 시그널링부(130)는 각 서브 이미지의 시점(PERSPECTIVE)을 시그널링할 수 있다. 특히, 공간적 구조 정보 시그널링부(130)는 영상의 타입에 따라 Top, Bottom 및 전방 영상에 대한 정보만을 Signaling 하고, 나머지 측면들에 대한 영상의 정보는 복호화 장치(200)에서 Top Scene, 전방 Perspective Scene, Bottom Scene 정보를 이용하여 유도하게 할 수 있다. 따라서, 최소한의 정보만이 시그널링될 수 있게 된다.

도 15 및 도 16은 본 발명의 실시 예에 따른 공간적 구조 정보의 시그널링에 따라 복호화단에서의 스캐닝 순서가 결정되는 것을 예시한 도면들이다.

도 15 및 도 16에 도시된 바와 같이, 공간적 구조 정보의 타입 인덱스에 따라, 서브 이미지들의 Scanning 순서가 함께 전송될 수 있으며, 전송되는 스캐닝 순서 정보를 통해 효과적인 복호화 및 렌더링이 수행될 수 있다.

도 15 및 도 16에서는 원본 영상이 A->B->C->D->E->F 순서로 스캐닝이 수행되는 것을 도시하고 있다.

이에 대한 시그널링를 위해, 공간적 구조 정보 시그널링부(130)는 Scanning 순서 중 Top view, Bottom view, 전방 View와 같은 일부 서브 이미지에 대한 순서 정보만을 시그널링할 수 있다. 복호화 장치(200)는 상기 일부 서브 이미지의 순서 정보를 이용하여 전체 순서를 유도할 수 있다.

또한, 전송되는 영상의 종류 및 병렬성 및 참조 구조에 따라 도 15 또는 도 16과 같이 Scanning 순서가 변할 수 있다.

Top을 A, Bottom을 F, Front을 B라고 하면, 도 15의 스캐닝 순서는 A -> F -> B -> C -> D -> E 일 수 있으며, 도 16의 스캐닝 순서는 A->B->C->D->E->F일 수 있다. 이는 부호화 효율을 고려하여 스캐닝 순서를 상이하게 결정하는 경우에 유용하게 이용될 수 있다.

도 17은 공간적 구조 정보의 시그널링에 따라 구분되는 독립적 서브 이미지와 의존적 서브 이미지를 설명하기 위한 도면이다.

도 17에 도시된 바와 같이, 공간적 구조에 배치되는 각 서브 이미지들은 참조성 및 병렬성을 고려하여, 의존적 서브 이미지(Dependent sub image)와 독립적 서브 이미지(Independent sub image)로 구분될 수 있다. 독립적 서브 이미지는 다른 서브 이미지를 참조하지 않고 복호화 되는 특성을 가지며, 의존적 서브 이미지는 인접한 독립적 서브 이미지 또는 인접한 의존적 서브 이미지를 참조하여 복원할 수 있다.

따라서, 독립적 서브 이미지는 의존적 서브 이미지보다 먼저 부호화 또는 복호화 되어야 하는 특성을 가질 수 있다.

일 실시 예에서, 독립적 서브 이미지는 시간축에서 동일하지 않은 기 부호화 또는 복호화된 독립적 서브 이미지를 참조하여 부호화 또는 복호화될 수 있으며, 의존적 서브 이미지는 시간축에서 동일하거나 동일하지 않은 독립적 서브 이미지를 참조하여 부호화 또는 복호화될 수 있다. 또한, 독립적인지 여부는 공간적 구조 정보에 따라 별도 인덱스로 시그널링될 수 있다.

도 18 내지 도 19는 공간적 구조 정보에 따라, 서브 이미지간 바운더리 영역이 독립적 서브 이미지를 참조하여 복호화되는 것을 도시한다.

전술한 바와 같이, 부호화 장치(100) 또는 복호화 장치(200)는 스캐닝 순서와, 서브 이미지의 의존성(Dependency) 정보를 동시에 고려하여 부호화 및 복호화를 처리할 수 있다.

만약 도 18에 도시된 바와 같이, A와 F가 독립적 서브 이미지일 경우, 스캐닝 순서는 A -> F -> B -> C -> D -> E 와 같이 전송 또는 유도 될 수 있으며, 이러한 경우에 A, F는 다른 의존적 서브 이미지 대비 우선 복호화가 수행되어야 한다. 그리고 나머지 B, C, D, E 가 복호화 될 때 각 서브 이미지의 인접한 바운더리 영역은 독립적 서브 이미지를 참조하여 복호화 할 수 있다. 이에 따라, 기 복호화된 독립적 서브 이미지 또는 기 복호화된 의존적 서브 이미지의 바운더리 영역이 나머지 서브 이미지의 복호화에 참조될 수 있다.

또한, 전술한 독립적 서브 이미지는 하나의 영상 프레임뿐만 아니라, 인접한 Picture의 Boundary 영역에서의 인트라/인터 부호화 및 복호화 수행에도 이용될 수 있다.

다만, 도 19에 도시된 바와 같이, 서로 다른 해상도로 인해 1:1 매핑이 되지 않을 경우가 있을 수 있다.(일반적인 영상의 경우, Width 의 비율이 Height보다 더 넓다)

이 경우, 해당 인접 면을 참조하기 위하여, 대상 서브 이미지에 대해 로테이션 및 업 샘플링(Up sampling) 과 같은 영상 처리 기법을 통하여 해상도에 따른 스케일(Scale)을 조절하여 바운더리 영역의 부호화 또는 복호화에 참조할 수 있다.

예를 들어, 도 19에서의 C의 상단 영역 바운더리의 부호화/복호화에 있어서, A의 측면 값을 참조할 수 있다. 이를 위해, 부호화 장치(100) 또는 복호화 장치(200)는 A의 측면 값(Height)를 C의 Width에 해당 하는 비율로 업샘플링하여 해당 위치에 따른 참조 블록 값을 생성하고, 이를 통한 부호화 및 복호화를 수행할 수 있다.

도 20 내지 도 21은 본 발명의 실시 예에 따른 부호화 및 복호화 처리를 설명하기 위한 도면들이다.

도 20은 본 발명의 일실시예에 따른 동영상 부호화 장치의 구성을 블록도로 도시한 것으로, 본 발명의 실시 예에 따른 동기화된 다시점 영상의 각각의 서브 이미지 또는 전체 프레임을 입력 비디오 신호로서 입력받아 처리할 수 있다.

도 20을 참조하면, 본 발명에 따른 동영상 부호화 장치(100)는 픽쳐 분할부(160), 변환부, 양자화부, 스캐닝부, 엔트로피 부호화부, 인트라 예측부(169), 인터 예측부(170), 역양자화부, 역변환부, 후처리부(171), 픽쳐 저장부(172), 감산부 및 가산부(168)를 포함한다.

픽쳐 분할부(160)는 입력되는 비디오 신호를 분석하여 픽쳐를 가장 큰 코딩 유닛(LCU:Largest Coding Unit)마다 소정 크기의 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다.

그리고, 픽쳐 분할부(160)는 부호화할 예측 유닛을 예측 모드(또는 예측 방법)에 따라 인트라 예측부(169) 또는 인터 예측부(170)로 보낸다. 또한, 픽쳐 분할부(160)는 부호화할 예측 유닛을 감산부로 보낸다.

픽쳐는 복수의 슬라이스로 구성되고, 슬라이스는 복수개의 최대 부호화 단위(Largest coding unit: LCU)로 구성될 수 있다.

상기 LCU는 복수개의 부호화 단위(CU)로 분할될 수 있고, 부호기는 분할여부를 나타내는 정보(flag)를 비트스트림에 추가할 수 있다. 복호기는 LCU의 위치를 어드레스(LcuAddr)를 이용하여 인식할 수 있다.

분할이 허용되지 않는 경우의 부호화 단위(CU)는 예측 단위(Prediction unit: PU)로 간주되고, 복호기는 PU의 위치를 PU인덱스를 이용하여 인식할 수 있다.

예측 단위(PU)는 복수개의 파티션으로 나뉠 수 있다. 또한 예측 단위(PU)는 복수개의 변환 단위(Transform unit: TU)로 구성될 수 있다.

이 경우, 픽쳐 분할부(160)는 결정된 부호화 모드에 따른 소정 크기의 블록 단위(예를 들면, PU 단위 또는 TU 단위)로 영상 데이터를 감산부로 보낼 수 있다.

동영상 부호화 단위로 CTB (Coding Tree Block)을 사용하며, 이 때 CTB는 다양한 정사각형 모양으로 정의된다. CTB는 코딩단위 CU(Coding Unit)라고 부른다.

코딩단위(CU)는 분할에 따른 쿼드트리(Quad Tree)의 형태를 가질 수 있다. 또한, QTBT(Quadtree plus binary tree) 분할의 경우 코딩단위는 상기 쿼드트리 또는 단말 노드에서 이진 분할된 바이너리 트리(Binary Tree)의 형태를 가질 수 있으며, 부호화기의 표준의 따라 최대 크기가 256X256에서 64ㅧ64로 구성될 수 있다.

예를 들어 픽쳐 분할부(160)는 최대 크기가 64X64인 경우, 최대 코딩단위 LCU(Largest Coding Unit)일 때 깊이(Depth)를 0으로 하여 깊이가 3이 될 때까지, 즉 8ㅧ8크기의 코딩단위(CU)까지 재귀적(Recursive)으로 최적의 예측단위를 찾아 부호화를 수행한다. 또한, 예를 들어 QTBT로 분할된 단말 노드의 코딩 유닛에 대해, PU(Prediction Unit) 및 TU(Transform Unit)는 상기 분할된 코딩 유닛과 동일한 형태를 갖거나 더 분할된 형태를 가질 수 있다.

예측을 수행하는 예측단위는 PU(Prediction Unit)로 정의되며, 각 코딩단위(CU)는 다수개의 블록으로 분할된 단위의 예측이 수행되며, 정사각형과 직사각형의 형태로 나뉘어 예측을 수행한다.

변환부는 입력된 예측 유닛의 원본 블록과 인트라 예측부(169) 또는 인터 예측부(170)에서 생성된 예측 블록의 잔차신호인 잔차 블록을 변환한다. 상기 잔차 블록은 코딩 유닛 또는 예측 유닛으로 구성된다. 코딩 유닛 또는 예측 유닛으로 구성된 잔차 블록은 최적의 변환 단위(Transform Unit)로 분할되어 변환된다. 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있다. 또한, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다.

변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있다. 예를 들어, 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정된다.

반면에, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용한다.

DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용한다. 또한, 인트라 예측의 경우, 변환 단위의 크기에 의존하여 변환 매트릭스가 적응적으로 결정될 수도 있다.

양자화부는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 부호화 단위(이하, 양자화 유닛이라 함)별로 결정된다.

상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 그리고, 결정된 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다.

양자화부는 현재 양자화 유닛의 양자화 스텝 사이즈 예측자로서 현재 양자화 유닛에 인접한 양자화 유닛의 양자화 스텝 사이즈를 이용한다.

양자화부는 현재 양자화 유닛의 좌측 양자화 유닛, 상측 양자화 유닛, 좌상측 양자화 유닛 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 양자화 유닛의 양자화 스텝 사이즈 예측자를 생성할 수 있다.

예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정할 수 있다. 또한, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정할 수도 있고, 1개만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다.

상기 양자화 스텝 사이즈 예측자가 결정되면, 현재 부호화 단위의 양자화 스텝 사이즈와 상기 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부로 전송한다.

한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않을 가능성이 있다. 반면에 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다.

따라서, 현재 코딩 유닛에 인접한 양자화 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 양자화 유닛의 양자화 스텝 사이즈가 후보자가 될 수 있다.

이 경우, 1) 현재 코딩 유닛의 좌측 양자화 유닛, 2) 현재 코딩 유닛의 상측 양자화 유닛, 3) 현재 코딩 유닛의 좌상측 양자화 유닛, 4) 부호화 순서상 바로 이전의 양자화 유닛 순서로 우선순위를 둘 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 양자화 유닛은 생략될 수도 있다.

상기 양자화된 변환 블록은 역양자화부와 스캐닝부로 제공된다.

스캐닝부는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환한다. 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로, 스캐닝 방식은 인트라 예측 모드에 따라 결정된다.

또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.

상기 양자화된 계수들이 복수개의 서브셋으로 분할된 경우에는 각각의 서브셋 내의 양자화 계수들에 동일한 스캔패턴을 적용한다. 서브셋 간의 스캔패턴은 지그재그 스캔 또는 대각선 스캔을 적용한다. 스캔 패턴은 DC를 포함하는 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다.

또한, 서브셋 내의 양자화된 계수들의 스캔패턴과 동일하게 서브셋 간의 스캔패턴을 설정할 수도 있다. 이 경우, 서브셋 간의 스캔패턴이 인트라 예측 모드에 따라 결정된다. 한편, 부호기는 상기 변환 유닛내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 복호기로 전송한다.

각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보도 복호기로 전송할 수 있다.

역양자화(135)는 상기 양자화된 양자화 계수를 역양자화한다. 역변환부는 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원한다. 가산기는 상기 역변환부에 의해 복원된 잔차블록과 인트라 예측부(169) 또는 인터 예측부(170)로부터의 수신된 예측 블록을 합쳐서 복원 블록을 생성한다.

후처리부(171)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터링 과정을 수행한다.

디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛 및 변환 단위의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.

상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.

상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다.

상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.

적응적 오프셋 적용 과정은 디블록킹 필터가 적용된 영상내의 화소와 원본 화소간의 차이값(distortion)을 감소시키기 위한 것이다. 픽쳐 또는 슬라이스 단위로 상기 적응적 오프셋 적용 과정을 수행할지 여부를 결정할 수 있다.

픽쳐 또는 슬라이스는 복수개의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있다. 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다.

오프셋 타입이 에지 오프셋 타입일 경우에는 각 화소가 속하는 에지 타입을 결정하여, 이에 대응하는 오프셋을 적용한다. 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정한다.

적응적 루프 필터링 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 적응적 루프 필터링은 상기 결정된 ALF는 4x4 크기 또는 8x8 크기의 블록에 포함된 화소 전체에 적용될 수 있다.

적응적 루프 필터의 적용 여부는 코딩 유닛별로 결정될 수 있다. 각 코딩 유닛에 따라 적용될 루프 필터의 크기 및 계수는 달라질 수 있다. 코딩 유닛별 상기 적응적 루프 필터의 적용 여부를 나타내는 정보는 각 슬라이스 헤더에 포함될 수 있다.

색차 신호의 경우에는, 픽쳐 단위로 적응적 루프 필터의 적용 여부를 결정할 수 있다. 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.

적응적 루프 필터링은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함된다.

현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함한다.

슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있다. 이때 필터 세트의 수가 2 이상이면, 필터 계수들이 예측 방법을 사용하여 부호화될 수 있다. 따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함한다.

한편, 휘도 뿐만 아니라, 색차 성분들도 적응적으로 필터링될 수 있다. 따라서, 색차 성분 각각이 필터링되는지 여부를 나타내는 정보를 슬라이스 헤더 또는 픽쳐 헤더가 포함할 수 있다. 이 경우, 비트수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보를 조인트 코딩(즉, 다중화 코딩)할 수 있다.

이때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행한다.

그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행한다.

픽쳐 저장부(172)는 후처리된 영상 데이터를 후처리부(171)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(172)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.

인터 예측부(170)는 상기 픽쳐 저장부(172)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정한다.

그리고, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(172)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록을 추출하여 출력한다.

인트라 예측부(169)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다.

인트라 예측부(169)는 예측 부호화할 현재 예측 유닛을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다.

인트라 예측부(169)는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링한다. 참조 화소가 이용 가능하지 않은 경우에는 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.

엔트로피 부호화부는 양자화부에 의해 양자화된 양자화 계수, 인트라 예측부(169)로부터 수신된 인트라 예측 정보, 인터 예측부(170)로부터 수신된 움직임 정보 등을 엔트로피 부호화한다.

도시되지는 않았으나, 인터 예측 부호화 장치는 움직임 정보 결정부, 움직임 정보 부호화 모드 결정부, 움직임 정보 부호화부, 예측 블록 생성부, 잔차 블록 생성부, 잔차 블록 부호화부 및 멀티플렉서를 포함하여 구성될 수 있다.

움직임 정보 결정부는 현재 블록의 움직임 정보를 결정한다. 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다. 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낸다.

현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타낸다. 반면에, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조픽쳐 인덱스를 포함할 수 있다.

또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.

움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 화소단위(정수단위)일수도 있으나, 서브화소단위일 수도 있다.

예를 들어, 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.

움직임 정보 부호화 모드 결정부는 현재 블록의 움직임 정보를 스킵 모드로 부호화할지, 머지 모드로 부호화할지, AMVP 모드로 부호화할지를 결정한다.

스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용된다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용된다. 현재 블록은 예측 유닛으로 볼 수 있다.

머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용된다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.

AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용된다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택한다.

움직임 정보 부호화부는 움직임 정보 부호화 모드 결정부에 의해 결정된 방식에 따라 움직임 정보를 부호화한다. 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행한다. 움직임 정보 부호화 모드가 AMVP일 경우에는 AMVP 부호화 과정을 수행한다.

예측 블록 생성부는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.

그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로 부터 예측 블록의 화소들을 생성한다.

이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.

잔차 블록 생성부는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성한다. 현재 블록의 크기가 2Nx2N인 경우에는 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성한다.

그러나, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우에는 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록을 생성할 수 있다.

그리고, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 의 잔차 블록을 생성할 수도 있다. 2NxN 크기의 2개의 예측블록들의 경계부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들을 오버랩 스무딩할 수 있다.

잔차 블록 부호화부는 생성된 잔차 블록을 하나 이상의 변환 유닛으로 나눈다. 그리고, 각 변환 유닛을 변환 부호화, 양자화 및 엔트로피 부호화된다. 이때, 변환 유닛의 크기는 잔차 블록의 크기에 따라 쿼드트리 방식으로 결정될 수 있다.

잔차 블록 부호화부는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환한다. 상기 변환 매트릭스는 정수기반 DCT 매트릭스이다.

잔차 블록 부호화부는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용한다. 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정된다.

상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛별로 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 따라서, 현재 코딩 유닛이 상기 미리 정해진 크기보다 작은 경우에는 상기 미리 정해진 크기 내의 복수개의 코딩 유닛 중 부호화 순서상 첫번째 코딩 유닛의 양자화 파라미터만을 부호화하고, 나머지 코딩 유닛의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화할 필요가 없다.

그리고, 결정된 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다.

상기 미리 정해진 크기 이상의 코딩 유닛별로 결정되는 양자화 파라미터는 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 파라미터를 이용하여 예측 부호화된다. 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛의 양자화 파라미터 예측자를 생성할 수 있다.

예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다. 또한, 좌측 코딩 유닛, 부호화 순서상 바로 이전의 코딩 유닛 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.

양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환한다. 스캐닝 방식은 엔트로피 부호화 모드에 따라 달리 설정될 수 있다. 예를 들어, CABAC으로 부호화될 경우에는 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있다. 반면에 CAVLC으로 부호화될 경우에는 상기 방식과 다른 방식으로 스캐닝될 수 있다.

예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있다. 또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다.

상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.

멀티플렉서는 상기 움직임 정보 부호화부에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부에 의해 부호화된 잔차 신호들을 다중화한다. 상기 움직임 정보는 부호화 모드에 따라 달라질 수 있다.

즉, 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함한다. 그러나, AMVP일 경우에는 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함한다.

이하, 인트라 예측부(169)의 동작에 대한 일실시예를 상세히 설명하기로 한다.

먼저, 픽쳐 분할부(160)에 의해 예측 모드 정보 및 예측 블록의 크기를 수신하며, 예측 모드 정보는 인트라 모드를 나타낸다. 예측 블록의 크기는 64x64, 32x32, 16x16, 8x8, 4x4등의 정방형일 수 있으나, 이에 한정하지 않는다. 즉, 상기 예측 블록의 크기가 정방형이 아닌 비정방형일 수도 있다.

다음으로, 예측 블록의 인트라 예측 모드를 결정하기 위해 참조 화소를 픽쳐 저장부(172)로부터 읽어 들인다.

상기 이용 가능하지 않은 참조화소가 존재하는지 여부를 검토하여 참조 화소 생성 여부를 판단한다. 상기 참조 화소들은 현재 블록의 인트라 예측 모드를 결정하는데 사용된다.

현재 블록이 현재 픽쳐의 상측 경계에 위치하는 경우에는 현재 블록의 상측에 인접한 화소들이 정의되지 않는다. 또한, 현재 블록이 현재 픽쳐의 좌측 경계에 위치하는 경우에는 현재 블록의 좌측에 인접한 화소들이 정의되지 않는다.

이러한 화소들은 이용 가능한 화소들이 아닌 것으로 판단한다. 또한, 현재 블록이 슬라이스 경계에 위치하여 슬라이스의 상측 또는 좌측에 인접하는 화소들이 먼저 부호화되어 복원되는 화소들이 아닌 경우에도 이용 가능한 화소들이 아닌 것으로 판단한다.

상기와 같이 현재 블록의 좌측 또는 상측에 인접한 화소들이 존재하지 않거나, 미리 부호화되어 복원된 화소들이 존재하지 않는 경우에는 이용 가능한 화소들만을 이용하여 현재 블록의 인트라 예측 모드를 결정할 수도 있다.

그러나, 현재 블록의 이용 가능한 참조화소들을 이용하여 이용 가능하지 않은 위치의 참조화소들을 생성할 수도 있다. 예를 들어, 상측 블록의 화소들이 이용 가능하지 않은 경우에는 좌측 화소들의 일부 또는 전부를 이용하여 상측 화소들을 생성할 수 있고, 그 역으로도 가능하다.

즉, 이용 가능하지 않은 위치의 참조화소로부터 미리 정해진 방향으로 가장 가까운 위치의 이용 가능한 참조화소를 복사하여 참조화소로 생성할 수 있다. 미리 정해진 방향에 이용 가능한 참조화소가 존재하지 않는 경우에는 반대 방향의 가장 가까운 위치의 이용 가능한 참조화소를 복사하여 참조화소로 생성할 수 있다.

한편, 현재 블록의 상측 또는 좌측 화소들이 존재하는 경우에도 상기 화소들이 속하는 블록의 부호화 모드에 따라 이용 가능하지 않은 참조 화소로 결정될 수 있다.

예를 들어, 현재 블록의 상측에 인접한 참조 화소가 속하는 블록이 인터 부호화되어 복원된 블록일 경우에는 상기 화소들을 이용 가능하지 않은 화소들로 판단할 수 있다.

이 경우에는 현재 블록에 인접한 블록이 인트라 부호화되어 복원된 블록에 속하는 화소들을 이용하여 이용 가능한 참조 화소들을 생성할 수 있다. 이 경우에는 부호기에서 부호화 모드에 따라 이용 가능한 참조 화소를 판단한다는 정보를 복호기로 전송해야 한다.

다음으로, 상기 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정한다. 현재 블록에 허용 가능한 인트라 예측 모드의 수는 블록의 크기에 따라 달라질 수 있다. 예를 들어, 현재 블록의 크기가 8x8, 16x16, 32x32인 경우에는 34개의 인트라 예측 모드가 존재할 수 있고, 현재 블록의 크기가 4x4인 경우에는 17개의 인트라 예측 모드가 존재할 수 있다.

상기 34개 또는 17개의 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(non-directional mode)와 복수개의 방향성 모드들(directional modes)로 구성될 수 있다.

하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. DC 모드 및 플래너모드가 비방향성 모드로 포함되는 경우에는, 현재 블록의 크기에 관계없이 35개의 인트라 예측 모드가 존재할 수도 있다.

이 때에는 2개의 비방향성 모드(DC 모드 및 플래너 모드)와 33개의 방향성 모드를 포함할 수 있다.

플래너 모드는 현재 블록의 우하측(bottom-right)에 위치하는 적어도 하나의 화소값(또는 상기 화소값의 예측값, 이하 제1 참조값이라 함)과 참조화소들을 이용하여 현재 블록의 예측 블록을 생성한다.

상기한 바와 같이, 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성은 도 1, 2 및 도 20을 참조하여 설명한 동영상 부호화 장치의 구성으로부터 도출될 수 있으며, 예를 들어 도 2 및 도 20을 참조하여 설명한 바와 같은 부호화 과정의 역과정을 수행함으로써 영상을 복호화할 수 있다.

도 21은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것이다.

도 21을 참조하면, 본 발명에 따른 동영상 복호화 장치는, 엔트로피 복호화부(210), 역양자화/역변환부(220), 가산기(270), 디블록킹 필터(250), 픽쳐 저장부(260), 인트라 예측부(230), 움직임 보상 예측부(240) 및 인트라/인터전환 스위치(280)를 구비한다.

엔트로피 복호화부(210)는, 동영상 부호화 장치로부터 전송되는 부호화 비트 스트림을 복호하여, 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리한다. 엔트로피 복호화부(210)는 복호된 움직임 정보를 움직임 보상 예측부(240)에 공급한다.

엔트로피 복호화부(210)는 상기 인트라 예측 모드 인덱스를 상기 인트라 예측부(230), 역양자화/역변환부(220)로 공급한다. 또한, 상기 엔트로피 복호화부(210)는 상기 역양자화 계수 시퀀스를 역양자화/역변환부(220)로 공급한다.

역양자화/역변환부(220)는 상기 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환한다. 상기 변환을 위해 복수개의 스캐닝 패턴 중에 하나를 선택한다. 현재 블록의 예측모드(즉, 인트라 예측 및 인터 예측 중의 어느 하나)와 인트라 예측 모드 중 적어도 하나에 기초하여 복수개의 스캐닝 패턴 중 하나를 선택한다.

상기 인트라 예측 모드는 인트라 예측부 또는 엔트로피 복호화부로부터 수신한다.

역양자화/역변환부(220)는 상기 2차원 배열의 역양자화 계수에 복수개의 양자화 매트릭스 중 선택된 양자화 매트릭스를 이용하여 양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스를 선택한다.

그리고, 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다.

가산기(270)는 역양자화/역변환부(220)에 의해 복원된 잔차 블록과 인트라 예측부(230) 또는 움직임 보상 예측부(240)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.

디블록킹 필터(250)는 가산기(270)에 의해 생성된 복원 영상에 디블록킹 필터 처리를 실행한다. 이에 따라, 양자화 과정에 따른 영상 손실에 기인하는 디블록킹 아티펙트를 줄일 수 있다.

픽쳐 저장부(260)는 디블록킹 필터(250)에 의해 디블록킹 필터 처리가 실행된 로컬 복호 영상을 유지하는 프레임 메모리이다.

인트라 예측부(230)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.

움직임 보상 예측부(240)는 움직임 벡터 정보에 기초하여 픽쳐 저장부(260)에 저장된 픽쳐로부터 현재 블록에 대한 예측 블록을 생성한다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다.

인트라/인터 전환 스위치(280)는 부호화 모드에 기초하여 인트라 예측부(230)와 움직임 보상 예측부(240)의 어느 하나에서 생성된 예측 블록을 가산기(270)에 제공한다.

이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원된다.

본 발명의 일실시예에 따른 동영상 비트스트림은 하나의 픽처에서의 부호화된 데이터를 저장하는데 사용되는 단위로서, PS(parameter sets)와 슬라이스 데이터를 포함할 수 있다.

PS(parameter sets)는, 각 픽처의 헤드에 상당하는 데이터인 픽처 파라미터 세트(이하 간단히 PPS라 한다)와 시퀀스 파라미터 세트(이하 간단히 SPS라 한다)로 분할된다. 상기 PPS와 SPS는 각 부호화를 초기화하는데 필요한 초기화 정보를 포함할 수 있으며, 본 발명의 실시 예에 따른 공간적 구조 정보(SPATIAL LAYOUT INFORMATION)가 포함될 수 있다.

SPS는 램덤 액세스 유닛(RAU)으로 부호화된 모든 픽처를 복호화하기 위한 공통 참조 정보로서, 프로파일, 참조용으로 사용 가능한 픽처의 최대 수 및 픽처 크기 등을 포함할 수 있다.

PPS는, 랜덤 액세스 유닛(RAU)으로 부호화된 각 픽처에 대해, 픽처를 복호화하기 위한 참조 정보로서 가변 길이 부호화 방법의 종류, 양자화 단계의 초기값 및 다수의 참조 픽처들을 포함할 수 있다.

한편, 슬라이스 헤더(SH)는 슬라이스 단위의 코딩시 해당 슬라이스에 대한 정보를 포함한다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (17)

1. 영상 부호화 방법에 있어서,
   동기화된 다시점 영상을 획득하는 단계;
   상기 동기화된 다시점 영상의 공간적 구조 정보를 생성하는 단계;
   상기 동기화된 다시점 영상을 부호화하는 단계; 및
   상기 부호화된 다시점 영상에 대응하여, 상기 공간적 구조 정보를 시그널링하는 단계를 포함하는
   영상 부호화 방법.
2. 제1항에 있어서,
   상기 동기화된 다시점 영상은
   시간적으로 동기화된 비디오 프레임에 복수의 다시점 서브 이미지가 공간적 레이아웃에 따라 배치되는 영상인 것을 특징으로 하는
   영상 부호화 방법.
3. 제1항에 있어서,
   상기 공간적 구조 정보는 상기 동기화된 다시점 영상 부호화를 위한 파라미터 세트를 통해 시그널링되는 것을 특징으로 하는
   영상 부호화 방법.
4. 제3항에 있어서,
   상기 파라미터 세트를 통해, 동기화된 다시점 영상인지를 나타내는 플래그를 시그널링하는 단계를 더 포함하는
   영상 부호화 방법.
5. 제1항에 있어서,
   상기 공간적 구조 정보는 타입 인덱스, 시점 정보, 카메라 파라미터, 장면 앵글, 장면 다이나믹 레인지, 독립적 서브 이미지 및 장면 시간 정보 중 적어도 하나를 포함하는
   영상 부호화 방법.
6. 제1항에 있어서,
   상기 공간적 구조 정보는 상기 동기화된 다시점 영상의 레이아웃에 대응되는 타입 인덱스를 포함하는
   영상 부호화 방법.
7. 제6항에 있어서,
   상기 공간적 구조 정보는 상기 타입 인덱스에 대응되는 각 서브 이미지의 시점(PERSPECTIVE) 정보를 더 포함하는
   영상 부호화 방법.
8. 제7항에 있어서,
   상기 시점(PERSPECTIVE) 정보는 상기 타입 인덱스에 따라 일부만 시그널링되는 것을 특징으로 하는
   영상 부호화 방법.
9. 제1항에 있어서,
   상기 공간적 구조 정보는 상기 동기화된 다시점 영상의 스캐닝 순서 정보를 포함하는
   영상 부호화 방법.
10. 제1항에 있어서,
    상기 공간적 구조 정보는 상기 동기화된 다시점 영상의 복수의 서브 이미지에 대응되는 독립성 정보를 포함하며,
    상기 서브 이미지는 다른 서브 이미지를 참조하지 않고 부호화 또는 복호화되는 독립적 서브 이미지와, 상기 다른 서브 이미지를 참조하여 부호화 또는 복호화되는 의존적 서브 이미지로 구분되는
    영상 부호화 방법.
11. 제10항에 있어서,
    상기 각 서브 이미지의 인접한 바운더리 영역은 독립적 서브 이미지를 참조하여 부호화되며, 기 복호화된 독립적 서브 이미지 또는 기 복호화된 의존적 서브 이미지의 바운더리 영역이 나머지 서브 이미지의 복호화에 참조되는 것을 특징으로 하는
    영상 부호화 방법.
12. 영상 부호화 장치에 있어서,
    동기화된 다시점 영상을 획득하는 영상 획득부;
    상기 동기화된 다시점 영상의 공간적 구조 정보를 생성하는 공간적 구조 정보 생성부;
    상기 동기화된 다시점 영상을 부호화하는 영상 부호화부; 및
    상기 부호화된 다시점 영상에 대응하여, 상기 공간적 구조 정보를 시그널링하는 공간적 구조 정보 시그널링부를 포함하는
    영상 부호화 장치.
13. 제12항에 있어서,
    상기 동기화된 다시점 영상은
    시간적으로 동기화된 비디오 프레임에 복수의 다시점 서브 이미지가 공간적 레이아웃에 따라 배치되는 영상인 것을 특징으로 하는
    영상 부호화 장치.
14. 제12항에 있어서,
    상기 공간적 구조 정보는 상기 동기화된 다시점 영상 부호화를 위한 파라미터 세트를 통해 시그널링되고,
    상기 공간적 구조 정보 시그널링부는 상기 파라미터 세트를 통해, 동기화된 다시점 영상인지를 나타내는 플래그를 시그널링하는
    영상 부호화 장치.
15. 제12항에 있어서,
    상기 공간적 구조 정보는 타입 인덱스, 시점 정보, 카메라 파라미터, 장면 앵글, 장면 다이나믹 레인지, 독립적 서브 이미지 및 장면 시간 정보 중 적어도 하나를 포함하는
    영상 부호화 장치.
16. 영상 복호화 방법에 있어서,
    비트스트림을 수신하는 단계;
    상기 비트스트림이 동기화된 다시점 영상을 포함하는지 식별하는 단계;
    상기 동기화된 다시점 영상을 포함하는 경우, 공간적 구조 정보를 파싱하는 단계; 및
    상기 공간적 구조 정보에 기초하여 상기 동기화된 다시점 영상을 복호화하는 단계를 포함하는
    영상 복호화 방법.
17. 제16항에 있어서,
    상기 복호화하는 단계는,
    상기 공간적 구조 정보로부터 획득되는 타입 인덱스, 시점 정보, 카메라 파라미터, 장면 앵글, 장면 다이나믹 레인지, 독립적 서브 이미지 및 장면 시간 정보 중 적어도 하나를 이용하여, 상기 동기화된 다시점 영상의 전부 또는 일부를 복호화하는 단계를 포함하는
    영상 복호화 방법.

Images