KR101595397B1

KR101595397B1 - 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치

Info

Publication number: KR101595397B1
Application number: KR1020140070006A
Authority: KR
Inventors: 박광훈; 김경용; 허영수; 이윤진
Original assignee: 경희대학교 산학협력단
Priority date: 2013-07-26
Filing date: 2014-06-10
Publication date: 2016-02-29
Also published as: CA2882283C; US9686567B2; US20160295239A1; KR20160026928A; KR20150013004A; CA2882283A1; KR102116265B1

Abstract

본 발명은 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더/디코더에 관한 것이다. 본 발명에 따른 통합 비디오 인코더는 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 부분 인코더를 포함한다.

Description

서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치{Method and apparatus for integrated encoding/decoding of different multilayer video codec}

본 발명은 기본적인 부호화/복호화 알고리즘을 공유하는 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치에 관한 것으로, 서로 다른 다계층 비디오 코덱을 통합하여 구현할 때 H/W 또는 S/W 구현 복잡도를 감소시키는 방법에 관한 것이다.

다계층 영상은 스케일러빌리티(Scalability)를 지원하는 스케일러블 비디오 영상 또는 여러 시점의 영상을 지원하는 다시점 및 3차원 입체 비디오 영상 등이 있으며, 이를 이용하여 부호화/복호화를 하는 기술로는 스케일러블 비디오 코딩 기술, 3차원 비디오 코딩 기술 등이 있다. 스케일러블 비디오 코딩 기술과 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-VC(The Joint Collaborative Team on Video Coding Extension Development)에서 스케일러블 비디오 코딩 기술 표준(ex: SHVC)이 진행 중이고, 3차원 비디오 코딩 기술과 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 코딩 기술 표준(ex: 3D-HEVC)이 진행 중이다.

스케일러블 비디오 표준은 기준영상(Base-layer video)과 그것의 향상된 화질(picture quality), 영상크기(image size), 또는 프레임율(frame-rate)이 향상된 영상(Enhancement-layer video)을 스케일러빌리티(Scalability)를 이용하여 다양한 전송 및 재생환경에 적합한 비디오를 사용자에게 시청하게 할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

스케일러블 비디오 표준에서 고려하고 있는 기본적인 스케일러블 비디오 코딩 시스템은 도 1과 같다.

송신측에서는 입력 영상에 대해 다운샘플링(down sampling)을 이용하여 스케일러블 정보를 갖는 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠에는 영상에 대한 시간적(temporal), 공간적(spatial), 화질적(SNR) 스케일러빌리티 정보 등이 포함될 수 있다. 상기 영상 콘텐츠는 스케일러블 인코더에서 스케일러블 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다.

수신측에서는 전송 받은 비트스트림을 스케일러블 디코더에서 스케일러블 복호화 방법을 사용하여 사용자 환경에 맞는 영상을 복원한다.

3차원 비디오 표준은 실제 영상과 그것의 깊이정보 맵(Depth-map)을 이용하여 스테레오스코픽 영상뿐만 아니라 여러 개의 카메라로부터 입력된 다시점(multi-view) 영상의 재생 등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

3차원 비디오 표준에서 고려하고 있는 기본적인 3차원 비디오 시스템은 도 2와 같다.

송신측에서는 스테레오 카메라, 깊이정보 카메라, 다시점 카메라, 2차원 영상을 3차원 영상으로 변환하는 변환기 등을 이용하여 N(N=2) 시점의 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠는 N 시점의 비디오 정보와 그것의 깊이정보 맵(Depth-map) 정보 그리고 카메라 관련 부가정보 등이 포함될 수 있다. N 시점의 영상 콘텐츠는 3DV 인코더에서 다시점 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다.

수신측에서는 전송 받은 비트스트림을 3DV 디코더에서 다시점 비디오 복호화 방법을 사용하여 복호화하여 N 시점의 영상을 복원한다. 복원된 N 시점의 영상은 깊이정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정에 의해 N 시점 이상의 가상시점 영상들이 생성될 수 있다. 생성된 N 시점 이상의 가상시점 영상들은 다양한 입체 디스플레이 장치에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.

도 3은 상술한 도 1의 스케일러블 비디오 코딩이나 상술한 도 2의 다시점 비디오 코딩에서 사용되는, 다계층(multi-layer) 영상을 지원하는 부호화기/복호화기에 대한 일 실시예이다.

도 3을 참조하면, 기본 계층(base layer)은 독립적으로 부호화/복호화할 수 있으며, 또한 기본 계층에 대한 부호화 정보를 이용하여 향상 계층(enhancement layer)을 부호화/복호화할 수 있다. 또한, 계층간의 상관 정보를 이용하여 계층간 서로 의존적으로 부호화/복호화 할 수 있다.

본 발명은 다게층 비디오 코덱을 통합하여 구현할 때 기존의 부호화/복호화 모듈의 재사용성을 증가시키는 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치를 제공한다.

본 발명은 동일한 기본 계층 부호화 알고리즘을 갖는 3개 이상의 서로 다른 비디오 코덱의 통합에서 (예를 들어, 기본 코덱과 함께, 3D 비디오 및 스케일러블 비디오 관련 코덱, 즉 3가지 각기 다른 목적을 가진 비디오 코덱 모두를 통합한 통합 코덱의 구현), 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하고, 3D 비디오 코딩 및 스케일러블 비디오 코딩을 위한 각기 다른 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현하는 방법을 제공한다.

본 발명의 일 실시예에 따르면, 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더가 제공된다. 상기 통합 비디오 인코더는 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 부분 인코더를 포함한다.

상기 다계층 영상은, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상일 수 있다.

본 발명의 다른 실시예에 따르면, 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 디코더가 제공된다. 상기 통합 비디오 디코더는 다계층 영상에서 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함하는 기본 디코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 부분 디코더를 포함한다.

본 발명은 서로 다른 다계층 비디오 코덱을 통합하여 구현할 때, 기존 비디오 부호화 및 복호화 모듈을 그대로 재사용함으로써, 통합 부호화 방법 및 장치의 구현 복잡도를 감소시킬 수 있다.

또한, 기본적인 부호화 알고리즘을 갖는 기본 코덱과 함께, 기본 코덱의 기능을 포함하는 3D 비디오 및 스케일러블 비디오 관련 코덱, 즉 3가지 이상의 각기 다른 목적을 가진 비디오 코덱 모두를 통합한 통합 코덱의 구현에 있어서, 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하며, 3D 비디오 코딩 및 스케일러블 비디오 코딩을 위한 각기 다른 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현할 수 있는 효과가 있다.

도 1은 스케일러블 비디오 코딩 시스템을 나타낸 일예이다.
도 2는 3차원 비디오 시스템을 나타낸 일예이다.
도 3은 다계층(multi-layer) 영상을 지원하는 부호화기/복호화기에 대한 일 실시예이다.
도 4는 다계층 영상을 부호화하기 위한 다계층 비디오 인코더 구조를 나타낸다.
도 5는 스케일러블 비디오 영상을 부호화하기 위한 스케일러블 비디오 코덱인 SHVC 부호화기의 일 실시예를 나타낸다.
도 6은 기본 계층과 향상 계층 간의 움직임 예측 방법을 하드웨어로 구현한 일 실시예를 나타내는 도면이다.
도 7은 HEVC와 SHVC 및 3D-HEVC 코덱을 통합 코덱으로 구현할 경우의 일 실시예를 나타낸다.
도 8은 본 발명의 실시예에 따른 통합 비디오 인코더의 일예를 나타낸다.
도 9는 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 통합 비디오 인코더의 다른 예를 나타낸다.
도 12는 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 통합 비디오 디코더의 일예를 나타낸다.
도 15는 본 발명의 실시예에 따른 통합 비디오 디코더의 다른 예를 나타낸다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

다계층(multi-layer) 영상은 독립적으로 부호화/복호화될 수 있는 기본 계층(base layer) 영상과, 기본 계층 혹은 다른 계층의 영상 정보를 이용하여 부호화/복호화되는 향상 계층(enhancement layer) 영상을 포함할 수 있다. 예를 들어, 다계층 영상은 스케일러빌리티를 지원하는 스케일러블 비디오 영상, 여러 시점의 영상을 지원하는 다시점 비디오 영상, 3차원 입체 비디오 영상 등일 수 있다.

다계층 영상에서 기본 계층과 향상 계층의 상관 정보를 이용하는 종래 다계층 영상 부호화/복호화 방법은 부호화 효율을 증가시키기 위하여 계층간의 상관성을 이용하며, 부호화/복호화 알고리즘들이 계층별로 존재한다. 이로 인해 다계층 영상에 대한 부호화/복호화시에는, 기본 계층에 대해서만 부호화/복호화를 할 경우보다 더 많은 부호화/복호화 알고리즘이 요구되며, 이를 구현하기 위한 하드웨어 및 소프트웨어의 구현 복잡도가 증가되고 계산 복잡도가 증가되는 문제점이 존재한다.

도 4는 다계층 영상을 부호화하기 위한 다계층 비디오 인코더 구조를 나타낸다.

도 4를 참조하면, 다계층 비디오 인코더(400)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하여 통합된 하나의 비트스트림을 출력한다.

예를 들어, 기본 계층의 영상인 기본 영상과, 향상 계층의 영상인 부가 영상1 및 부가 영상2가 다계층 비디오 인코더(400)로 입력될 수 있으며, 이때 3개의 서로 다른 계층의 영상들은 도 4에서와 같이 계층별 영상 정보에 따라 서로 다른 인코더로 입력되어 부호화될 수 있다.

기본 영상은 역방향 호환성(Backward compatibility)을 위하여 종래 단일 영상 계층 비디오 코덱으로 부호화되어야 하므로, 기본 계층 인코더(410)에 의해 부호화된다. 부가 영상들은 계층간 상관성을 이용한 알고리즘이 포함된 향상 계층 인코더(420)에 의해 부호화된다. 따라서, 기본 영상을 부호화할 때에 비해, 부가 영상을 부호화할 때 더욱 복잡한 인코더가 요구된다.

도 5는 스케일러블 비디오 영상을 부호화하기 위한 스케일러블 비디오 코덱인 SHVC 부호화기의 일 실시예를 나타낸다.

도 5를 참조하면, SHVC 부호화기(500)는 다운샘플링(downsampling)된 영상을 입력 받아 부호화하는 기본 계층(Base Layer; BL) 인코더(510)와, 높은 해상도를 갖는 영상을 입력 받아 부호화하는 향상 계층(Enhancement Layer; EL) 인코더(520)를 포함한다.

기본 계층 인코더(510)와 향상 계층 인코더(520)에서 사용되는 부호화 알고리즘 중, 변환 및 양자화(T/Q) 또는 역변환 및 역양자화(IT/IQ), 인트라 예측(Intra Pred.), 루프 필터(Loop Filter)와 같은 부호화 알고리즘은 계층별로 동일한 알고리즘을 이용할 수 있다. 하지만, 향상 계층 인코더(520)에서 사용되는 움직임 예측(M.C. Pred.)과 같은 부호화 알고리즘은 기본 계층의 부호화 알고리즘에 계층간 상관 정보를 추가적으로 이용하여야 하므로, 기본 계층과 동일한 알고리즘을 적용할 수 없다.

따라서, 향상 계층(기본 계층을 제외한 계층)을 위한 부호화 알고리즘 모듈은, 기본 계층의 부호화 알고리즘의 일부 코딩 모듈(이후, 본 발명에서는 부호화 부분 모듈로 지칭함)에 계층간의 상관 정보에 따른 정보를 추가하거나 수정하여 구현될 수 있다. 따라서, 향상 계층을 위한 부호화 알고리즘의 일부 모듈은 기본 계층을 위한 부호화 알고리즘 모듈에 향상 계층을 위한 알고리즘이 추가되어서, 보다 복잡하게 구성되어 있으며, 그에 따라 계산 복잡도가 크다는 것을 알 수 있다. 또한, 하드웨어 혹은 소프트웨어로 구현하는 측면에서 보면, 기본 계층을 위한 부호화 부분 모듈과 향상 계층을 위한 부호화 부분 모듈을 모두 독립적으로 따로따로 구현해주어야 하므로, 하드웨어 및 소프트웨어 구현 복잡도 역시 매우 증가하게 된다.

도 6은 기본 계층과 향상 계층 간의 움직임 예측 방법을 하드웨어로 구현한 일 실시예를 나타내는 도면이다.

도 6을 참조하면, 기본 계층에 대한 일반 영상에 적용되는 움직임 예측 방법과 향상 계층에 적용되는 움직임 예측 방법의 입력 파라미터가 동일함을 알 수 있다. 단지, 다른 점은 향상 계층에 적용되는 움직임 예측 방법의 입력 파라미터로써, 향상 계층을 위해 기본 계층 또는 계층 간의 상관 정보에 따른 “추가 움직임 정보” 파라미터가 추가된 부분이다. 또한, 향상 계층에 적용되는 움직임 예측 방법에서는 추가 움직임 정보들을 통해 움직임 예측 방법 부분이 변경된다. 즉, 추가 움직임 정보들을 향상 계층의 움직임 예측 방법에 포함시키기 위해서(부호화 효율을 증가시키기 위해서) 향상 계층을 위한 움직임 예측 모듈을 모두 새로 구현하여야 한다. 이는 하드웨어의 구현 복잡도를 증가시킬 수 있다.

도 6의 움직임 예측 방법에 있어서, SHVC 비디오 코덱의 경우에는 기본 계층으로부터의 움직임 예측 정보 또는 그것의 스케일된 정보 등을 추가 움직임 정보로 사용하여 향상 계층의 영상을 부호화할 수 있다. 또한, 3D-HEVC 비디오 코덱의 경우에는 기준 시점 영상과 부가 시점 영상 및 그것의 깊이정보 맵으로부터 얻어지는 시점 간의 움직임 예측 정보 등을 추가 움직임 정보로 사용하여 향상 계층의 영상을 부호화할 수 있다.

따라서, 기본 계층 부호화 방법이 동일한 경우, 향상 계층에 대한 부호화 방법은 단지 계층간 비디오 코딩 방법에 따라 얻어지는 추가적인 계층간의 상관 정보에 의해 차이를 갖게 된다. 이는 동일한 기본 계층의 부호화 방법을 이용하고, 향상 계층의 부호화 방법에서 차이를 갖는 다른 비디오 코덱의 경우, 서로 다른 하드웨어 자원으로 기본 계층과 향상 계층을 위한 부호화 모듈을 새로 각각 구현하여야 한다.

예를 들어, 공동 표준화 그룹인 JCT-3V에서 진행 중에 있는 3D-HEVC 국제 표준의 경우, 기본 계층에서는 HEVC(또는 H.265) 비디오 코덱을 사용하고, 향상 계층에서는 3D-HEVC 국제 표준에서 결정하는 향상 계층을 위한 알고리즘이 추가로 확장된 비디오 코덱(이후, 본 발명에서는 3D 향상(enhanced) HEVC 코덱이라고 지칭함)을 사용해서 구현하여야만 한다.

또한, 공동 표준화 그룹인 JCT-VC에서 진행 중에 있는 SHVC 국제 표준의 경우, 기본 계층에서는 HEVC(또는 H.265) 비디오 코덱을 사용하고, 향상 계층에서는 SHVC 국제 표준에서 결정하는 향상 계층을 위한 알고리즘이 추가로 확장된 비디오 코덱(이후, 본 발명에서는 스케일러블 향상(Scalable-enhanced) HEVC 코덱이라고 지칭함)을 사용해서 구현하여야만 한다.

만약 HEVC 코덱과 함께, 3D 비디오를 위한 3D-HEVC 코덱, 및 스케일러블 비디오를 위한 SHVC 코덱이 모두 포함된 통합 코덱(combined codec)을 구현하여 사용자에게 제공하기 위해서는, HEVC 코덱과 3D 향상 HEVC 코덱 및 스케일러블 향상 HEVC 코덱이 모두 하나의 통합된 코덱에 구현되어야만 한다. 이러한 통합된 코덱에서는 기본 계층의 HEVC 코덱이 중복적으로 3D 향상 HEVC 코덱과 스케일러블 향상 HEVC 코덱에 구현되어야 하므로, 총 3개의 HEVC 코덱 관련 알고리즘이 중복적으로 구현 및 설치 되어야 통합 코덱이 완성될 수 있다. 이러한 통합 코덱은 도 7에 도시된 바와 같이, 하드웨어 설계 및 소프트웨어 설계에서 막대한 구현 복잡도 및 기본 코덱 구현의 중복성(도 7에서는 3개의 HEVC 코덱이 기본적으로 필요함)을 초래하는 결과를 발생시킨다.

따라서, 본 발명에서는 기본 계층의 부호화 알고리즘이 동일한 서로 다른 비디오 코덱을 하나의 통합 비디오 코덱으로 구현하는 방법을 제안한다.

이하, 본 발명에서는 도 7에 도시된 바와 같이, HEVC 코덱과 3D-HEVC 코덱 및 SHVC 코덱을 하나의 통합 코덱으로 구현할 때, 하드웨어 및 소프트웨어 설계의 구현 복잡도를 줄이고 기본 코덱의 구현 중복성을 제거할 수 있는 방안을 제공한다.

본 발명의 궁극적인 목적은 동일한 기본 계층 부호화 알고리즘을 갖는 서로 다른 비디오 코덱에서 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하고, 각각의 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현하는 것이다.

[구현 방법1]

도 8은 본 발명의 실시예에 따른 통합 비디오 인코더의 일예를 나타낸다.

본 발명의 실시예에 따른 통합 비디오 인코더는 서로 다른 종류의 다계층 영상을 부호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 부호화를 수행할 수 있다.

도 8을 참조하면, 통합 비디오 인코더(800)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하고, 통합된 하나의 비트스트림을 출력할 수 있다.

예를 들어, 통합 비디오 인코더(800)는, 3D 비디오 코덱 관련의 경우에는 시점별 일반 영상 또는 그것의 깊이정보 맵, 스케일러블 비디오 코덱 관련의 경우에는 시간적(temporal), 공간적(spatial), 또는 화질적(SNR) 스케일러빌리티 정보를 포함하는 계층별 영상들을 입력으로 받고, 각 계층별 영상에 대해 기본 계층 인코더(부호화기)(810)로 부호화를 수행할 수 있다. 일예로, 여기서 사용되는 인코더는 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264/AVC, VC-1, AVS, KTA, HEVC(H.265/HEVC) 등이 될 수 있다.

기본 계층 인코더(810)는 입력된 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 인코더(810)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 부호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 부호화 알고리즘 모듈로 구현될 수 있다.

통합 비디오 인코더(800)는 부가 영상들에 대해서는 부호화 효율을 증가시키기 위해서 부분 인코더(820, 830)를 추가적으로 수행하여 부호화할 수 있다.

부분 인코더(820, 830)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 인코더(820, 830)는 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더(820)와, 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더(830)을 포함할 수 있다.

이때, 스케일러블 부분 인코더(820)와 3차원 부분 인코더(830)는 기본 부호화 알고리즘 모듈을 이용하여 부호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 부호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.

통합 비디오 인코더(800)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 인코더(820) 또는 3차원 부분 인코더(830)를 적용할지를 결정할 수 있다.

만일, 향상 계층 영상 정보가 스케일러블 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(800)는 스케일러블 부분 인코더(820)를 적용하도록 스위치(815)를 동작시킬 수 있다. 그렇지 않고, 향상 계층 영상 정보가 3차원 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(800)는 스케일러블 부분 인코더(820)를 적용하지 않도록 스위치(815)를 동작시키고 3차원 부분 인코더(830)를 적용하도록 스위치(825)를 동작시킬 수 있다.

통합 비디오 인코더(800)는 기본 계층 인코더(810)와 부분 인코더(820, 830)에 의해 부호화된 각 계층별 영상에 대한 비트스트림들을 하나의 비트스트림으로 다중화할 수 있으며, 이를 위하여 다중화기를 포함할 수 있다.

상술한 본 발명의 실시예에 따른 통합 비디오 인코더(800)는 역방향 호환성을 제공하는 기본 영상(기본 계층 영상)의 부호화에 사용되는 모듈을 부가 영상(향상 계층 영상)의 부호화에 그대로 적용함으로써 구현 복잡도가 감소되며, 그 다음으로 향상 계층 영상 정보로부터 향상 계층에 대한 부가 영상에 적용할 부분 인코더를 결정하고 이를 추가적으로 적용함으로써 부호화 효율이 향상될 수 있다.

도 9는 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.

도 9에서는, 다계층 영상으로 시점별 일반 영상 또는 그것의 깊이정보 맵 영상이 입력된 경우, 통합 비디오 인코더에서 3차원 비디오 코딩을 수행하는 과정에 대해 설명한다.

도 9를 참조하면, 통합 비디오 인코더(900)는 입력된 3차원 비디오 영상에 대해 기본 계층 인코더(910)를 수행하고, 입력된 향상 계층 영상 정보(3차원 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(920)를 수행하지 않고, 3차원 부분 인코더(930)를 수행할 수 있다.

기본 계층 인코더(910)에 의해 부호화된 3차원 비디오 영상과 3차원 부분 인코더(930)에 의해 부호화된 향상 계층에 대한 3차원 비디오 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.

도 10은 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.

도 10에서는, 다계층 영상으로 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티 정보를 포함하는 스케일러블 영상이 입력된 경우, 통합 비디오 인코더에서 스케일러블 비디오 코딩을 수행하는 과정에 대해 설명한다.

도 10을 참조하면, 통합 비디오 인코더(1000)는 입력된 스케일러블 영상에 대해 기본 계층 인코더(1010)를 수행하고, 입력된 향상 계층 영상 정보(스케일러블 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(1020)를 수행할 수 있다. 이때, 통합 비디오 인코더(1000)는 3차원 부분 인코더(1030)를 수행하지 않을 수 있다.

기본 계층 인코더(1010)에 의해 부호화된 스케일러블 영상과 스케일러블 부분 인코더(1020)에 의해 부호화된 향상 계층에 대한 스케일러블 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.

[구현 방법2]

도 11은 본 발명의 실시예에 따른 통합 비디오 인코더의 다른 예를 나타낸다.

도 11을 참조하면, 통합 비디오 인코더(1100)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하고, 통합된 하나의 비트스트림을 출력할 수 있다.

예를 들어, 통합 비디오 인코더(1100)는, 3D 비디오 코덱 관련의 경우에는 시점별 일반 영상 또는 그것의 깊이정보 맵, 스케일러블 비디오 코덱 관련의 경우에는 시간적(temporal), 공간적(spatial), 또는 화질적(SNR) 스케일러빌리티 정보를 포함하는 계층별 영상들을 입력으로 받고, 각 계층별 영상에 대해 기본 계층 인코더(부호화기)(1110)로 부호화를 수행할 수 있다. 일예로, 여기서 사용되는 인코더는 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264/AVC, VC-1, AVS, KTA, HEVC(H.265/HEVC) 등이 될 수 있다.

기본 계층 인코더(1110)는 입력된 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 인코더(1110)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 부호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 부호화 알고리즘 모듈로 구현될 수 있다.

통합 비디오 인코더(1100)는 부가 영상들에 대해서는 부호화 효율을 증가시키기 위해서 부분 인코더(1120, 1130)를 추가적으로 수행하여 부호화할 수 있다.

부분 인코더(1120, 1130)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 인코더(1120, 1130)는 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더(1120)와, 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더(1130)를 포함할 수 있다.

이때, 3차원 부분 인코더(1120)와 스케일러블 부분 인코더(1130)는 기본 부호화 알고리즘 모듈을 이용하여 부호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 부호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.

통합 비디오 인코더(1100)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 3차원 부분 인코더(1120) 또는 스케일러블 부분 인코더(1130)를 적용할지를 결정할 수 있다.

만일, 향상 계층 영상 정보가 3차원 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(1100)는 3차원 부분 인코더(1120)를 적용하도록 스위치(1115)를 동작시킬 수 있다. 그렇지 않고, 향상 계층 영상 정보가 스케일러블 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(1100)는 스케일러블 부분 인코더(1130)를 적용하도록 스위치(1115)를 동작시킬 수 있다.

통합 비디오 인코더(1100)는 기본 계층 인코더(1110)와 부분 인코더(1120, 1130)에 의해 부호화된 각 계층별 영상에 대한 비트스트림들을 하나의 비트스트림으로 다중화할 수 있으며, 이를 위하여 다중화기를 포함할 수 있다.

상술한 본 발명의 실시예에 따른 통합 비디오 인코더(1100)는 역방향 호환성을 제공하는 기본 영상(기본 계층 영상)의 부호화에 사용되는 모듈을 부가 영상(향상 계층 영상)의 부호화에 그대로 적용함으로써 구현 복잡도가 감소되며, 그 다음으로 향상 계층 영상 정보로부터 향상 계층에 대한 부가 영상에 적용할 부분 인코더를 결정하고 이를 추가적으로 적용함으로써 부호화 효율이 향상될 수 있다.

도 12는 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.

도 12에서는, 다계층 영상으로 시점별 일반 영상 또는 그것의 깊이정보 맵 영상이 입력된 경우, 통합 비디오 인코더에서 3차원 비디오 코딩을 수행하는 과정에 대해 설명한다.

도 12를 참조하면, 통합 비디오 인코더(1200)는 입력된 3차원 비디오 영상에 대해 기본 계층 인코더(1210)를 수행하고, 입력된 향상 계층 영상 정보(3차원 비디오 코딩을 수행함을 나타내는 정보)에 의해 3차원 부분 인코더(1220)를 선택하여 수행할 수 있다.

기본 계층 인코더(1210)에 의해 부호화된 3차원 비디오 영상과 3차원 부분 인코더(1220)에 의해 부호화된 향상 계층에 대한 3차원 비디오 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.

도 13은 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.

도 13에서는, 다계층 영상으로 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티 정보를 포함하는 스케일러블 영상이 입력된 경우, 통합 비디오 인코더에서 스케일러블 비디오 코딩을 수행하는 과정에 대해 설명한다.

도 13을 참조하면, 통합 비디오 인코더(1300)는 입력된 스케일러블 영상에 대해 기본 계층 인코더(1310)를 수행하고, 입력된 향상 계층 영상 정보(스케일러블 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(1330)를 선택하여 수행할 수 있다.

기본 계층 인코더(1310)에 의해 부호화된 스케일러블 영상과 스케일러블 부분 인코더(1330)에 의해 부호화된 향상 계층에 대한 스케일러블 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.

상술한 도 8 내지 도 13의 통합 비디오 인코더에 의해 수행된 부호화 방법은 복호화 방법에 대해서 적용할 수 있으며, 도 14 및 도 15에서 서로 다른 다계층 영상을 지원하는 통합 비디오 디코더에 대해 설명한다.

도 14는 본 발명의 실시예에 따른 통합 비디오 디코더의 일예를 나타낸다.

본 발명의 실시예에 따른 통합 비디오 디코더는 서로 다른 종류의 다계층 영상을 복호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 복호화를 수행할 수 있다.

도 14를 참조하면, 통합 비디오 디코더(1400)는 입력된 비트스트림에 대해 기본 계층 디코더(1410)를 적용하여 복호화를 수행하고, 이때 얻어진 향상 계층 영상 정보를 통해 스케일러블 부분 디코더(1420) 또는 3차원 부분 디코더(1430)를 적용하여 복호화를 수행한다.

기본 계층 디코더(1410)는 입력된 비트스트림에 대해 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 디코더(1410)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 복호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 복호화 알고리즘 모듈로 구현될 수 있다.

기본 계층 디코더(1410)에 의해 기본 계층 영상이 복원될 수 있다.

부분 디코더(1420, 1430)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 디코더(1420, 1430)는 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더(1420)와, 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더(1430)을 포함할 수 있다.

이때, 스케일러블 부분 디코더(1420)와 3차원 부분 디코더(1430)는 기본 복호화 알고리즘 모듈을 이용하여 복호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 복호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.

통합 비디오 디코더(1400)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 디코더(1420) 또는 3차원 부분 디코더(1430)를 적용할지를 결정할 수 있다.

만일, 입력된 비트스트림이 상술한 도 8의 스케일러블 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1400)는 기본 계층 디코더(1410)를 통해 스케일러블 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1415)를 동작시켜 스케일러블 부분 디코더(1420)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.

그렇지 않고, 입력된 비트스트림이 상술한 도 8의 3차원 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1400)는 기본 계층 디코더(1410)를 통해 3차원 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1425)를 동작시켜 3차원 부분 디코더(1430)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.

도 15는 본 발명의 실시예에 따른 통합 비디오 디코더의 다른 예를 나타낸다.

도 15를 참조하면, 통합 비디오 디코더(1500)는 입력된 비트스트림에 대해 기본 계층 디코더(1510)를 적용하여 복호화를 수행하고, 이때 얻어진 향상 계층 영상 정보를 통해 3차원 부분 디코더(1520) 또는 스케일러블 부분 디코더(1530)를 적용하여 복호화를 수행한다.

기본 계층 디코더(1510)는 입력된 비트스트림에 대해 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 디코더(1510)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 복호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 복호화 알고리즘 모듈로 구현될 수 있다.

기본 계층 디코더(1510)에 의해 기본 계층 영상이 복원될 수 있다.

부분 디코더(1520, 1530)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 디코더(1520, 1530)는 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더(1520)와, 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더(1530)를 포함할 수 있다.

이때, 3차원 부분 디코더(1520)와 스케일러블 부분 디코더(1530)는 기본 복호화 알고리즘 모듈을 이용하여 복호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 복호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.

통합 비디오 디코더(1500)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 3차원 부분 디코더(1520) 또는 스케일러블 부분 디코더(1530)를 적용할지를 결정할 수 있다.

만일, 입력된 비트스트림이 상술한 도 11의 3차원 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1500)는 기본 계층 디코더(1510)를 통해 3차원 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1515)를 동작시켜 3차원 부분 디코더(1520)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.

그렇지 않고, 입력된 비트스트림이 상술한 도 11의 스케일러블 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1500)는 기본 계층 디코더(1510)를 통해 스케일러블 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1515)를 동작시켜 스케일러블 부분 디코더(1530)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더에 있어서,
다계층 영상에서 기본 계층 영상과 향상 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더;
상기 기본 인코더로부터 부호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 인코더 또는 3차원 부분 인코더가 수행되도록 하는 부분 인코더; 및
상기 기본 인코더에 의해 부호화된 상기 기본 계층 영상에 대한 비트스트림, 상기 기본 인코더에 의해 부호화된 상기 향상 계층 영상에 대한 비트스트림, 상기 부분 인코더에 의해 부호화된 상기 향상 계층 영상에 대한 비트스트림을 다중화하는 다중화기를 포함하되,
상기 다계층 영상은,
시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상인 것을 특징으로 하는 통합 비디오 인코더.
제1항에 있어서,
상기 부분 인코더는,
상기 기본 인코더로부터 부호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더; 및
상기 기본 인코더로부터 부호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더를 포함하는 것을 특징으로 하는 통합 비디오 인코더.
삭제
삭제
제1항에 있어서,
상기 부분 인코더는,
상기 기본 인코더로부터 부호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 계층간 상관 정보를 이용하는 추가 부호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 인코더.
삭제
서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 디코더에 있어서,
다계층 영상에서 기본 계층 영상과 향상 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함하는 기본 디코더; 및
상기 기본 디코더로부터 복호화된 향상 계층 영상에 대한 복호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 디코더 또는 3차원 부분 디코더가 수행되도록 하는 부분 디코더를 포함하되,
상기 다계층 영상은,
시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상인 것을 특징으로 하는 통합 비디오 디코더.
제7항에 있어서,
상기 부분 디코더는,
상기 기본 디코더로부터 복호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더; 및
상기 기본 디코더로부터 복호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더를 포함하는 것을 특징으로 하는 통합 비디오 디코더.
삭제
삭제
제7항에 있어서,
상기 부분 디코더는,
상기 기본 디코더로부터 복호화된 향상 계층 영상에 대한 부호화 정보와 상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 계층간 상관 정보를 이용하는 추가 복호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 디코더.