KR20140082915A - 다중 계층 비디오의 계층 간 부호화/복호화 장치 및 방법 - Google Patents

Abstract

스케일러블 비디오 고속 부호화를 위한 계층 간 구조 예측 장치 및 방법이 개시된다. 본 발명의 구성에 따른 다층 비디오를 위한 계층 간 예측 방법은, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 단계와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 단계를 포함하여 구성될 수 있다. 본 발명의 구성에 따른 다층 비디오를 위한 계층 간 부호화/복호화 장치는, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 블록구조 참조부를 포함하여 구성될 수 있다.

Description

다중 계층 비디오의 계층 간 부호화/복호화 장치 및 방법{DEVICES AND METHOD FOR INTER-LAYER ENCODING/DECODING OF SCALABLE VIDEO}

본 발명은 비디오 부호화/복호화에 관한 것으로, 더욱 상세하게는 차세대 비디오 압축 표준 기술인 HEVC(High Efficiency Video Coding)를 기반으로 다중 계층 비디오를 고속으로 부호화/복호화하고 압축하는 기술에 관한 것이다.

High Efficiency Video Coding(HEVC)은 ISO/IEC의 MPEG과 ITU-T의 VCEG가 공동으로 구성한 Joint Collaborative Team on Video Coding(JCT-VC)에 의하여 개발되고 있는 차세대 압축 표준 기술이다. HEVC main profile은 종래의 H.264/AVC high profile에 비하여 약 두 배의 압축 성능을 갖고 있는 것으로 알려져 있다. HEVC의 표준화는 2013년 2월에 Final Draft International Standard(FDIS)가 완성되었으며, HEVC를 기반으로 다중 계층 비디오를 효과적으로 부호화하기 위한 표준이 추가적으로 제정될 예정이다.

이른바, 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업은 최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고, 특히, 방송통신 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 필요한 실정이다.

스케일러블 비디오 코딩(SVC, Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하고 있다. 즉, HEVC에 대한 확장(extension) 버전으로 표준화가 진행되고 있다.

HEVC는 Coding Unit(CU), Prediction Unit(PU), Transform Unit(TU)을 사용하고 기존의 비디오 코덱과 달리 CU, TU는 쿼드트리(QuadTree) 기반의 계층적 블록 구조를 가지고 있으며 PU는 정방향, 장방향과 같은 다양한 모양으로 분할되어 부호화 효율을 향상시킨다. 이러한 HEVC의 쿼드트리 기반의 블록 구조와 다양한 모양의 PU는 HEVC 부호화의 높은 복잡도를 야기시킨다. 따라서 다중 계층 비디오 부호화에서 높은 복잡도를 제거하는 방법을 사용함으로써 보다 효율적인 비디오 압축 기술이 필요한 시점이다.

본 발명은 참조 계층의 부호화/복호화에서 사용되었던 블록 구조 정보를 향상 계층에서 사용함으로써 부호화/복호화 복잡도를 개선시키고자 하는 데에 그 목적이 있다. 다중 계층 비디오 간의 유사성을 이용하여 계층 간 블록 구조를 예측하고 참조 계층의 블록 구조 정보를 사용하여 향상 계층의 비디오 부호화/복호화 시 고속으로 할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 측면에 따른 다중 계층 비디오에 대한 부호화/복호화 방법에 있어서, 다층 비디오를 위한 계층 간 예측 방법은, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 단계와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 단계를 포함하여 구성될 수 있다.

여기에서, 상기 다층 비디오를 위한 계층 간 예측 방법은, 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 향상 블록이 분할된 구조 정보를 결정하는 단계를 더 포함하여 구성될 수 있다.

여기에서, 상기 제한 깊이를 결정하는 단계는, 향상 블록의 해상도로 참조 블록을 업샘플링(upsampling)하거나, 참조 블록의 화소를 향상 블록의 화소의 2차원 좌표로 매핑(mapping)하여 참조 블록의 화소의 대응 위치를 계산해낼 수 있다.

여기에서, 상기 제한 깊이는, 참조 블록의 참조 깊이와 동일하거나, 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 가질 수 있다.

여기에서, 상기 향상 블록과 상기 참조 블록은, 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나일 수 있다. 나아가, 향상 블록과 참조 블록이 예측 블록인 경우, 상기 향상 블록의 예측 모드는, 참조 블록의 참조 모드와 동일하거나, 참조 모드에 기반하여 산출될 수 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 측면에 따른 다중 계층 비디오에 대한 부호화 장치에 있어서, 다층 비디오를 위한 계층 간 부호화 장치는, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 블록구조 참조부를 포함하여 구성될 수 있다.

여기에서, 상기 다층 비디오를 위한 계층 간 부호화 장치는, 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 향상 블록이 분할된 구조 정보를 결정하는 분할구조 결정부를 더 포함하여 구성될 수 있다.

여기에서, 상기 블록구조 참조부는, 향상 블록의 해상도만큼 참조 블록을 업샘플링(upsampling)하거나, 참조 블록의 화소를 향상 블록의 화소의 2차원 좌표로 매핑(mapping)하여 참조 블록의 화소의 대응 위치를 계산해낼 수 있다.

여기에서, 상기 제한 깊이는, 참조 블록의 참조 깊이와 동일하거나, 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 가질 수 있다.

여기에서, 상기 향상 블록과 상기 참조 블록은, 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나일 수 있다. 나아가, 향상 블록과 참조 블록이 예측 블록인 경우, 상기 향상 블록의 예측 모드는, 참조 블록의 참조 모드와 동일하거나, 참조 모드에 기반하여 산출될 수 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 측면에 따른 다중 계층 비디오에 대한 복호화 장치에 있어서, 다층 비디오를 위한 계층 간 복호화 장치는, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 블록구조 참조부를 포함하여 구성될 수 있다.

여기에서, 상기 다층 비디오를 위한 계층 간 복호화 장치는, 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 향상 블록이 분할된 구조 정보를 결정하는 분할구조 결정부를 더 포함하여 구성될 수 있다.

여기에서, 상기 블록구조 참조부는, 향상 블록의 해상도만큼 참조 블록을 업샘플링(upsampling)하거나, 참조 블록의 화소를 향상 블록의 화소의 2차원 좌표로 매핑(mapping)하여 참조 블록의 화소의 대응 위치를 계산해낼 수 있다.

여기에서, 상기 제한 깊이는, 참조 블록의 참조 깊이와 동일하거나, 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 가질 수 있다.

여기에서, 상기 향상 블록과 상기 참조 블록은, 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나일 수 있다. 나아가, 향상 블록과 참조 블록이 예측 블록인 경우, 상기 향상 블록의 예측 모드는, 참조 블록의 참조 모드와 동일하거나, 참조 모드에 기반하여 산출될 수 있다.

상기와 같은 본 발명의 실시예에 따른 다중 계층 비디오의 계층 간 부호화/복호화 방법 및 장치를 사용하면, HEVC의 다양한 크기와 모양의 블록을 사용하여 부호화/복호화하는 과정에서 발생하는 높은 부호화기 복잡도를 감소시킬 수 있는 장점이 있다. 다시 말해, 계층 간 영상의 유사성을 이용하여 비트율 감소에 대비한 복잡도 개선 비율을 최대한으로 이끌어 낼 수 있다.

또한, 참조 계층의 블록 구조를 사용하여 향상 계층의 비디오 부호화/복호화 시 고속으로 할 수 있다는 장점이 있다.

도 1은 HEVC 기반 SVC(Scalable Video Coding)에서 참조 계층과 향상 계층의 비디오 부호화기와 그 구성요소를 나타내는 블록도이다.
도 2는 HEVC 기반 SVC에서 참조 계층과 향상 계층의 비디오 복호화기와 그 구성요소를 나타내는 블록도이다.
도 3은 다층 비디오를 위한 계층 간 예측 방법을 설명하기 위한 흐름도이다.
도 4는 향상 블록의 화소에 대한 참조 블록의 화소의 대응 위치를 결정하는 방법을 설명하기 위한 개념도이다.
도 5는 향상 블록과 참조 블록이 예측 블록인 경우, 제한 모드를 설명하기 위한 개념도이다.
도 6은 다층 비디오를 위한 계층 간 부호화 장치와 비디오 부호화기를 나타내는 블록도이다.
도 7은 다층 비디오를 위한 계층 간 복호화 장치와 비디오 복호화기를 나타내는 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 부호화기(Video Encoding Apparatus), 복호화기(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA, Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 플레이스테이션 포터블(PSP, PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

다중 계층 비디오(scalable video)란, 임의의 비트율(bit rate)에서도 복호가 가능하도록 압축된 비트스트림을 계층적으로 구성한 비디오를 말한다. 단일 계층 압축 부호화기는 하나의 비트율, 프레임율, 영상크기만을 지원하는 하나의 비트스트림만을 생성하는데 비하여, 다중 계층 비디오 부호화기는 다양한 비트율, 프레임율, 영상크기에 대한 scalability를 제공할 수 있다.

SVC 표준에서는 여러 개의 비디오 계층을 하나의 비트스트림으로 부호화하며, 각 계층은 각각의 비트율, 프레임율, 영상크기, 화질을 가진다. 즉, 하나의 비트스트림은 하위 계층과 계위적(scalable)인 상위 계층들로 구성될 수 있다. 일반적으로 상위 계층은 이전의 하위 계층들로 만들어진 비디오보다 높은 화질을 갖도록 부호화할 수 있다.

본 출원에서 사용하는 용어로서 향상 계층은 위 상위 계층을 의미할 수 있고, 참조 계층은 하위 계층을 의미할 수 있다. 또한 향상 블록이란 현재 부호화의 대상이 되는 향상 계층의 프레임의 블록을 의미한다. 참조 블록은 향상 블록의 부호화시 참조될 수 있는 참조 계층의 프레임의 블록을 의미한다.

통상적으로 동영상은 일련의 픽처(picture)로 구성될 수 있으며, 각 픽처들은 블록(block)과 같은 소정의 영역으로 분할될 수 있다. 또한, 이하에 기재된 픽처(picture)라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

제한 깊이란, 부호화 단위(CU, Coding Unit)나 변환 단위(TU, Transform Unit)의 분할 시 사용되는 최대 깊이를 말한다. 즉 다시 말해, 최대 부호화 단위(LCU, Largest Coding Unit)나 최대 변환 단위(LTU, Largest Transform Unit)의 크기가 결정되었더라도 항상 LCU나 LTU로부터 최소 부호화 단위(SCU, Smallest Coding Unit)나 최소 변환 단위(SCU, Smallest Transform Unit)까지 모든 크기의 CU와 TU를 사용하는 것은 비효율적이기 때문에, 응용의 목적에 맞는 CU와 TU 범위를 결정할 필요가 있다.

예를 들어, JCT-VC 표준화 회의에서는 HEVC를 테스트해볼 수 있는 TMuC(Test Model under Consideration)를 구성하는 모든 요소기술들에 대한 성능 평가를 실시하기 위하여 TE(Tool Experiment)를 만들었다. TE 9에서는 변환 단위에 대한 제한 깊이에 따른 평균 부호화 효율 감소 대비 부호화 복잡도(시간 감소율로 표현) 개선을 고려하여 실험한 결과 고성능 목적으로는 제한 깊이를 3으로 제한하고, 저복잡도 목적으로는 제한 깊이를 2로 제한하기로 결정했다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 본 발명은 향상 계층의 고속 부호화를 위하여 참조 계층의 분할된 블록 구조 정보를 사용하는 방법 및 장치에 대한 것이다.

도 1은 HEVC 기반 SVC(Scalable Video Coding)에서 참조 계층과 향상 계층의 비디오 부호화기와 그 구성요소를 나타내는 블록도이다.

도 1을 참조하면, HEVC 기반 SVC 비디오 부호화기(200, 300)는 감산부(205, 305), 변환부(210, 310), 양자화부(220, 320), 엔트로피 부호화부(230, 330), 역양자화부(240, 340), 역변환부(250, 350), 가산부(255, 355), 인-루프 필터부(260, 360), 복원영상 저장부, 화면 내 예측부(280, 380), 화면 간 예측부(290, 390)를 포함하여 구성될 수 있다. 향상 계층의 비디오 부호화기(300)와 참조 계층의 비디오 부호화기(200) 모두 같은 구성요소를 가질 수 있다.

다층 비디오를 위한 계층 간 부호화 장치(100)는 각 계층의 비디오 부호화기(200, 300)에 독립되어 구성될 수도 있고, 각 계층의 비디오 부호화기(200, 300)에 포함된 형태로 구성될 수도 있다. 각 계층의 비디오 부호화기(200, 300)에서 부호화된 영상은 멀티플렉서(400)를 통하여 하나의 비트스트림으로 다중화되어 출력된다.

본 발명의 일 실시예로서 도 1은 2개의 계층을 예로 들어 설명하였지만 2개 이상의 계층을 대상으로 한 계층 간 예측 장치도 가능할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

감산부(205, 305)는 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.

변환부(210, 310)는 감산부(205, 305)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(210, 310)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.

양자화부(220, 320)는 변환부(210, 310)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(220, 320)는 변환부(210, 310)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.

엔트로피 부호화부(230, 330)는 양자화부(220, 320)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(230, 330)는 양자화부(220, 320)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.

역양자화부(240, 340)는 양자화부(220, 320)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(240, 340)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.

역변환부(250, 350)는 역양자화부(240, 340)로부터 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(255, 355)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(250, 350)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성한다.

인-루프 필터부(260, 360)는 복원된 영상에 대하여 영상의 부호화시 발생한 블록왜곡을 감소시키기 위한 필터링을 수행하는 곳으로, 디블록킹 필터(DF, Deblocking Filter), 샘플 적응적 오프셋(SAO, Sample Adaptive Offset), 적응적 루프 필터(ALF, Adaptive Loop Filter)를 포함하여 구성될 수 있다.

복원 영상 저장부(270, 370)는 인-루프 필터부(260, 360)에서 블록왜곡을 감소시킨 복원 영상을 저장하는 곳이다. 또한 참조 계층의 참조 블록에 대한 분할 구조 정보도 저장할 수 있다.

화면 내 예측부(280, 380)는 인트라 예측(Intra Prediction)을 수행하며, 화면 간 예측부(290, 390)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다.

멀티플렉서(400)는 참조 계층과 향상 계층으로부터 부호화된 비트스트림을 수신하고 다중화하여 출력한다.

다층 비디오를 위한 계층 간 부호화 장치(100)는 향상 계층의 블록에 대하여 비트율-왜곡 최적화 과정을 수행하기 위한 제한 깊이를 계산하기 위하여 참조 계층의 블록이 분할된 구조 정보를 참조한다.

도 2는 HEVC 기반 SVC에서 참조 계층과 향상 계층의 비디오 복호화기와 그 구성요소를 나타내는 블록도이다.

도 2를 참조하면, HEVC 기반 SVC 비디오 복호화기(500, 600)는 엔트로피 복호화부(510, 610), 역양자화부(520, 620), 역변환부(530, 630), 가산부(535, 635), 인-루프 필터부(540, 640), 복원영상 저장부(550, 650), 화면 내 예측부(560, 660), 화면 간 예측부(570, 670)를 포함하여 구성될 수 있다. 향상 계층의 비디오 복호화기(600)와 참조 계층의 비디오 복호화기(500) 모두 같은 구성요소를 가질 수 있다.

다층 비디오를 위한 계층 간 복호화 장치(101)는 각 계층의 비디오 복호화기(500, 600)에 독립되어 구성될 수도 있고, 각 계층의 비디오 복호화기(500, 600)에 포함된 형태로 구성될 수도 있다. 다중화된 비트스트림 형태로서 디멀티플렉서(700)로 입력된 신호는 참조 계층과 향상 계층의 비디오 복호화기로 분배되어 각 계층의 비디오 복호화기(500, 600)에서 복호화되어 영상으로 재생될 수 있다.

본 발명의 일 실시예로서 도 2는 2개의 계층을 예로 들어 설명하였지만 2개 이상의 계층을 대상으로 한 계층 간 예측 장치도 가능할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 각 계층의 비디오 복호화기(500, 600)의 각 구성 요소는 도 1의 비디오 부호화기(200, 300)의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명은 생략한다.

도 3은 다층 비디오를 위한 계층 간 예측 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 다중 계층 비디오에 대한 부호화/복호화 방법에 있어서, 다층 비디오를 위한 계층 간 예측 방법은, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 단계(S310)와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 단계(S330)를 포함하여 구성될 수 있다.

참조 계층의 프레임은 다중화된 비트스트림 형태의 신호 중 비트율, 프레임율, 영상크기 및 화질을 가진 하나의 계층일 수 있다. 다중화된 하나의 비트스트림은 두 개 혹은 그 이상의 의존적인 계층으로 구성될 수 있다. 즉, 하나의 기본 계층과 계위적인 상위 계층들로 구성될 수 있는데, 여기서 기본 계층 및 상위 계층들의 정보가 함께 이용되어 보다 개선된 비디오 비트스트림을 만들어 낼 수 있다. 일반적으로 이러한 기본 계층은 이전 계층들로 만들어진 비디오보다 높은 화질을 갖도록 부호화할 수 있다.

참조 계층과 향상 계층은 서로와의 관계에서 각각 하위 계층과 상위 계층일 수 있다. 따라서 참조 계층의 프레임을 구획하는 참조 블록의 정보를 향상 계층의 프레임을 구획하는 향상 블록을 부호화/복호화 시에 참조하기 위해서는 대응되는 위치의 참조 블록을 결정하는 것이 필요하다.

참조 블록이 분할된 구조 정보는 참조 블록이 부호화/복호화 될 때의 정보들이 포함될 수 있다. 예를 들어, 참조 블록에 대하여 비트율-왜곡 최적화 과정을 수행하였던 제한 깊이 정보, 비트율-왜곡 최적화 과정의 수행 결과로 결정된 참조 블록이 분할된 참조 깊이 정보, 참조 블록이 분할된 형태 정보, 좌표 정보 등을 포함할 수 있다.

분할된 형태 정보란 쿼드 트리 기반의 블록 구조인지 여부, 분할된 블록이 몇 개의 화소로 이루어져 있는지 등에 대한 정보일 수 있다. 또한 좌표 정보란 향상 계층의 향상 블록을 기준으로 대응되는 위치의 참조 계층의 참조 블록의 화소에 대한 상대적인 2차원 좌표일 수 있다.

위와 같이 참조 블록의 분할된 구조 정보를 참조하면, 향상 블록의 제한 깊이를 결정할 수 있다(S330). 향상 블록의 제한 깊이는 향상 블록을 어느 수준까지 분할할 것인지를 결정하기 위해 비트율-왜곡 최적화 과정을 수행하는 이터레이션(iteration) 수를 제한할 수 있다. 예를 들어 쿼드 트리 기반의 블록 구조에서, 해당 향상 블록의 제한 깊이를 1로 결정했다면, 이터레이션 수는 5(=1+4)일 수 있다. 만약 해당 향상 블록의 제한 깊이를 2로 결정했다면, 이터레이션 수는 21(=1+4+16)일 수 있다.

제한 깊이의 크기에 따라 비트율-왜곡 최적화 과정 수행의 이터레이션 수는 기하급수적(increase geometrically)으로 늘어날 수 있으므로 적절한 제한 깊이를 결정하는 것은 부호화/복호화 속도에 적지 않은 영향을 미칠 수 있다.

다층 비디오를 위한 계층 간 예측 방법은, 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써(S340) 향상 블록이 분할된 구조 정보를 결정하는 단계(S350)를 더 포함하여 구성될 수 있다.

향상 블록에 대한 비트율-왜곡 최적화 과정에서는 비트율-왜곡 비용을 계산한다. 기존의 H.264/AVC에서는 분할 모드 결정 방법으로 총 7가지 매크로 블록 모드를 지원하는데, 다섯 개의 인터 모드(SKIP, 16x16, 16x8, 8x16, P8x8)와 두 개의 인트라 모드(I4x4, I16x16)가 있다. 그러나, HEVC 기반 SVC에서는 비록 부호화 단위의 모양은 기존 H.264/AVC의 매크로 블록과 유사하더라도, 미리 정해진 크기의 제약 없이 가변적으로 부호화 단위의 크기를 조절하면서 부호화를 수행할 수 있다. 크기의 제약 없이 가변적으로 부호화 단위 크기를 조절하기 위해, 최대 부호화 단위(LCU)와 제한 깊이를 사용할 수 있다.

최대 부호화 단위와 제한 깊이는 정해져 있지 않고, 부호화하고자 하는 비디오 영상의 크기를 고려하여 결정할 수 있다. 하나의 최대 부호화 단위 내에서 부호화 단위는 쿼드 트리 구조로 분할하여 부호화를 수행할 수 있다.

따라서, 이미 부호화/복호화된 참조 블록에서 얻은 최적의 분할된 구조 정보의 통계적 분포와 각 분할 모드별 평균 비트율-왜곡값을 참조하여 이용함으로써 현재 부호화할 향상 블록에 대한 비트율-왜곡 최적화 과정의 제한 깊이를 결정할 수 있다(S330). 이와 같이 결정된 제한 깊이에 기반하여 향상 블록에 대한 비트율-왜곡 최적화 과정을 수행함으로써(S340) 얻은 각 분할 모드별 비트율-왜곡값을 비교 분석하면 향상 블록을 분할하는 최적의 구조를 결정할 수 있다(S350).

도 4는 향상 블록의 화소에 대한 참조 블록의 화소의 대응 위치를 결정하는 방법을 설명하기 위한 개념도이다.

도 4를 참조하면, 제한 깊이를 결정하는 단계는, 향상 블록의 해상도로 참조 블록을 업샘플링(upsampling)하거나, 참조 블록의 화소를 향상 블록의 화소의 2차원 좌표로 매핑(mapping)하여 참조 블록의 화소의 대응 위치를 계산해낼 수 있다.

대응 위치를 계산하는 방법은 두 가지 방법이 가능할 수 있다. 첫 번째 방법은 계층 간 해상도를 고려하여 참조 블록을 업샘플링하는 방법이다. 참조 블록을 업샘플링하게 되면 기존에 존재하는 참조 블록의 화소를 여러 번 중복하여 볼 수 있게 된다. 새로운 화소를 창조해내지 않으므로 실질적으로 참조 블록의 프레임의 해상력을 상승시키지는 않으면서 향상 블록의 크기와 같은 크기의 블록을 만들어낼 수 있다. 따라서, 향상 블록의 화소에 대하여 상대적으로 같은 위치에 존재하는 참조 블록의 화소를 찾게 되면 쉽게 대응 위치를 계산해낼 수 있다.

두 번째 방법으로는 계층 간 해상도를 고려하여 향상 블록의 화소가 참조 블록의 화소에 대응되는 위치를 찾기 위하여 2차원 좌표를 해상도 비율로 스케일링하고 역-매핑 계산 방식을 사용하여 대응 위치를 계산해낼 수 있다.

제한 깊이는, 참조 블록의 참조 깊이와 동일하거나, 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 가질 수 있다.

예를 들어, 참조 계층의 부호화/복호화 결과 참조 블록이 분할된 구조가 참조 깊이 2을 갖는다면, 향상 블록의 부호화/복호화 시에는 비트율-왜곡 최적화 과정을 수행할 때, 그 제한 깊이를 참조 깊이와 동일한 2로 하거나, 참조 깊이에 비하여 1이 적거나 많은 1, 3으로 할 수 있다.

이렇게 참조 블록의 참조 깊이를 참조하여 향상 블록의 제한 깊이를 결정하면, 향상 블록에 대한 비트율-왜곡 최적화 과정 수행의 이터레이션 수를 감소시켜 부호화/복호화 속도를 증가시킬 수 있을 뿐만 아니라 대응되는 위치의 참조 깊이를 참조하므로 적절한 부호화 효율도 담보할 수 있게 된다.

향상 블록과 참조 블록은 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나일 수 있다.

기존 H.264/AVC의 경우, 부호화 블록의 크기는 16x16 매크로 블록이고, 16x16 블록 크기부터 4x4 블록 크기까지 총 7개의 가변 블록을 사용하여 부호화를 수행한다. HEVC 기반의 SVC에서는 기존의 부호화 단위 크기가 고화질 부호화에 있어 블록의 크기가 너무 작아 효율적이지 못하여 새로운 부호화 단위를 정의하였다.

HEVC 기반의 SVC에서 이른바 부호화 단위(CU, Coding Unit)는 하나의 픽처 상에서의 휘도 성분(luma sample)과 두 개의 색차 신호 성분(chroma sample)의 부호화 블록을 모두 포함하여 일컫는 말이다. 따라서 휘도 성분만을 갖는 단색(monochrome) 픽처의 경우 부호화 단위는 휘도 성분의 부호화 블록과 실질적으로 동일한 대상을 가리키게 된다.

부호화 블록과 예측 블록, 변환 블록은 각각 HEVC에서의 부호화 단위(CU, Coding Unit), 예측 단위(PU, Prediction Unit), 변환 단위(TU, Transform Unit)에 대한 휘도 성분의 블록이거나 색차 신호의 블록일 수 있다. 또한 향상 블록과 참조 블록은 부호화 블록, 예측 블록, 또는 변환 블록일 수 있다.

도 5는 향상 블록과 참조 블록이 예측 블록인 경우, 제한 모드를 설명하기 위한 개념도이다.

도 5를 참조하면, 향상 블록과 상기 참조 블록이 예측 블록인 경우, 향상 블록의 예측 모드는, 참조 블록의 참조 모드와 동일하거나, 참조 모드에 기반하여 산출될 수 있다.

참조 계층의 부호화/복호화 시, 블록 분할 과정을 수행하고 난 후, 부호화 블록이 결정되면, 더 이상 분할되지 않는 모든 부호화 블록에서 예측 블록을 결정할 수 있다. 예측 블록은 예측의 종류와 예측 블록 분할 과정을 통해 결정할 수 있으며, 여기에서 예측의 종류는 SKIP, 인트라 예측, 인터 예측 중 하나일 수 있다. 선택된 예측의 종류에 따라 예측 블록을 분할할 수 있고, 이 때, 예측 블록을 분할하는 각각의 방법들을 예측 모드라 한다.

도 5는 참조 블록의 부호화/복호화 시에 스킵, 인트라, 인터 예측의 예측 블록 분할의 일 실시예를 보여준다. 참조 블록에 대하여 도 5의 실시예 중 어느 하나의 예측 모드를 선택하여 참조 블록을 분할하였다면, 그 어느 하나의 예측 모드가 참조 모드가 된다. 향상 블록에 대한 부호화/복호화 시, 예측 블록을 분할하는 예측 모드는 향상 블록에 대응되는 참조 블록의 참조 모드를 참조하여 결정할 수 있다. 참조 모드를 참조하는 방법에는 다음과 같은 방법들이 있다. 참조 블록의 참조 모드와 동일한 예측 모드를 사용하여 향상 블록을 분할하거나, 참조 블록의 참조 모드에 기반하여 향상 블록을 분할하는 예측 모드를 산출하는 방법이다.

도 6은 다층 비디오를 위한 계층 간 부호화 장치와 비디오 부호화기를 나타내는 블록도이고, 도 7은 다층 비디오를 위한 계층 간 복호화 장치와 비디오 복호화기를 나타내는 블록도이다.

도 6과 도 7을 참조하면, 부호화기(200, 300), 복호화기(500, 600)에서, 다층 비디오를 위한 계층 간 부호화/복호화 장치(100, 101)는, 향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부(110)와, 결정한 참조 블록이 분할된 구조 정보를 참조하여 향상 블록의 제한 깊이를 결정하는 블록구조 참조부(120)를 포함하여 구성될 수 있다.

참조 계층과 향상 계층은 서로와의 관계에서 각각 하위 계층과 상위 계층일 수 있다. 따라서 참조 계층의 프레임을 구획하는 참조 블록의 정보를 향상 계층의 프레임을 구획하는 향상 블록을 부호화/복호화 시에 참조하기 위해서는 대응되는 위치의 참조 블록을 결정하는 것이 필요하다. 대응블록 결정부(110)는 대응되는 위치의 참조 블록을 결정하고, 결정된 정보를 블록구조 참조부(120)에 전달할 수 있다.

블록구조 참조부(120)는 위와 같이 결정된 참조 블록의 분할된 구조 정보를 참조하여, 향상 블록의 제한 깊이를 결정할 수 있다. 제한 깊이의 크기에 따라 비트율-왜곡 최적화 과정 수행의 이터레이션 수는 기하급수적(increase geometrically)으로 늘어날 수 있으므로 참조 블록의 분할된 구조 정보를 참조하여 적절한 제한 깊이를 결정하는 것은 부호화/복호화 속도에 적지 않은 영향을 미칠 수 있다.

다층 비디오를 위한 계층 간 부호화/복호화 장치(100, 101)는, 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 향상 블록이 분할된 구조 정보를 결정하는 분할구조 결정부(130)를 더 포함하여 구성될 수 있다.

분할구조 결정부(130)는 블록구조 참조부(120)로부터 제한 깊이를 전달받아 향상 블록에 대한 비트율-왜곡 최적화 과정을 수행하고 비트율-왜곡 비용을 계산한다. 제한 깊이는, 이미 부호화/복호화된 참조 블록에서 얻은 최적의 분할된 구조 정보의 통계적 분포와 각 분할 모드별 평균 비트율-왜곡값을 참조하여 결정된 값이므로, 이에 기반하여 향상 블록에 대한 비트율-왜곡 최적화 과정을 수행함으로써 얻은 각 분할 모드별 비트율-왜곡값을 비교 분석하면 향상 블록을 분할하는 최적의 구조를 결정할 수 있다.

블록구조 참조부(120)는, 향상 블록의 해상도만큼 참조 블록을 업샘플링하거나, 참조 블록의 화소를 상기 향상 블록의 화소의 2차원 좌표로 매핑하여 참조 블록의 화소의 대응 위치를 계산해낼 수 있다.

앞서 참조한 도 4를 다시 참조하고, 도 6과 7을 계속 참조하여 보면, 대응 위치를 계산하는 방법은 두 가지 방법이 가능할 수 있다. 첫 번째 방법은 계층 간 해상도를 고려하여 참조 블록을 업샘플링하는 방법이다. 참조 블록을 업샘플링하게 되면, 향상 블록의 화소에 대하여 상대적으로 같은 위치에 존재하는 참조 블록의 화소를 찾을 수 있으므로, 쉽게 대응 위치를 계산해낼 수 있다. 두 번째 방법으로는 계층 간 해상도를 고려하여 향상 블록의 화소가 참조 블록의 화소에 대응되는 위치를 찾기 위하여 2차원 좌표를 해상도 비율로 스케일링하고 역-매핑 계산 방식을 사용하여 대응 위치를 계산해낼 수 있다.

제한 깊이는, 참조 블록의 참조 깊이와 동일하거나, 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 가질 수 있다.

참조 블록의 참조 깊이를 참조하여 향상 블록의 제한 깊이를 결정하면, 향상 블록에 대한 비트율-왜곡 최적화 과정 수행의 이터레이션 수를 감소시켜 부호화/복호화 속도를 증가시킬 수 있을 뿐만 아니라 대응되는 위치의 참조 깊이를 참조하므로 적절한 부호화 효율도 담보할 수 있게 된다.

향상 블록과 참조 블록은 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나일 수 있다.

부호화 블록과 예측 블록, 변환 블록은 각각 HEVC에서의 부호화 단위(CU, Coding Unit), 예측 단위(PU, Prediction Unit), 변환 단위(TU, Transform Unit)에 대한 휘도 성분의 블록이거나 색차 신호의 블록일 수 있다. 또한 향상 블록과 참조 블록은 부호화 블록, 예측 블록, 또는 변환 블록일 수 있다.

향상 블록과 상기 참조 블록이 예측 블록인 경우, 향상 블록의 예측 모드는, 참조 블록의 참조 모드와 동일하거나, 참조 모드에 기반하여 산출될 수 있다.

앞서 참조한 도 5를 다시 참조하여 보기로 한다. 참조 블록에 대하여 도 5의 실시예 중 어느 하나의 예측 모드를 선택하여 참조 블록을 분할하였다면, 그 어느 하나의 예측 모드가 참조 모드가 된다. 향상 블록에 대한 부호화/복호화 시, 예측 블록을 분할하는 예측 모드는 향상 블록에 대응되는 참조 블록의 참조 모드를 참조하여 결정할 수 있다. 참조 모드를 참조하는 방법에는 다음과 같은 방법들이 있다. 참조 블록의 참조 모드와 동일한 예측 모드를 사용하여 향상 블록을 분할하거나, 참조 블록의 참조 모드에 기반하여 향상 블록을 분할하는 예측 모드를 산출하는 방법이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 계층 간 부호화 장치 101: 계층 간 복호화 장치
110: 대응블록 결정부 120: 블록구조 참조부
130: 분할구조 결정부 200: 참조 계층 부호화기
300: 향상 계층 부호화기 205, 305: 감산부
210, 310: 변환부 220, 320: 양자화부
230, 330: 엔트로피 부호화부 240, 340: 역양자화부
250, 350: 역변환부 255, 355: 가산부
260, 360: 인-루프 필터부 270, 370: 복원 영상 저장부
280, 380: 화면 내 예측부 290, 390: 화면 간 예측부
400: 멀티플렉서 500: 참조 계층 복호화기
600: 향상 계층 복호화기 510, 610: 엔트로피 복호화부
520, 620: 역양자화부 530, 630: 역변환부
535, 635: 가산부 540, 640: 인-루프 필터부
550, 650: 복원 영상 저장부 560, 660: 화면 내 예측부
570, 670: 화면 간 예측부 700: 디멀티플렉서

Claims (18)

1. 다중 계층 비디오에 대한 부호화/복호화 방법에 있어서,
   향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 단계; 및
   상기 결정한 참조 블록이 분할된 구조 정보를 참조하여 상기 향상 블록의 제한 깊이를 결정하는 단계를 포함하는 다층 비디오를 위한 계층 간 예측 방법.
2. 청구항 1에 있어서,
   상기 다층 비디오를 위한 계층 간 예측 방법은
   상기 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 상기 향상 블록이 분할된 구조 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 예측 방법.
3. 청구항 1에 있어서,
   상기 제한 깊이를 결정하는 단계는
   상기 향상 블록의 해상도로 상기 참조 블록을 업샘플링(upsampling)하거나,
   상기 참조 블록의 화소를 상기 향상 블록의 화소의 2차원 좌표로 매핑(mapping)하여 상기 참조 블록의 화소의 대응 위치를 계산해내는 것을 특징으로 하는 다층 비디오를 위한 계층 간 예측 방법.
4. 청구항 1에 있어서,
   상기 제한 깊이는
   상기 참조 블록의 참조 깊이와 동일하거나, 상기 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 갖는 것을 특징으로 하는 다층 비디오를 위한 계층 간 예측 방법.
5. 청구항 1에 있어서,
   상기 향상 블록과 상기 참조 블록은 부호화(coding) 블록, 예측(prediction) 블록, 변환(transform)블록 중 어느 하나인 것을 특징으로 하는 다층 비디오를 위한 계층 간 예측 방법.
6. 청구항 5에 있어서,
   상기 향상 블록과 상기 참조 블록이 예측 블록인 경우,
   상기 향상 블록의 예측 모드는
   상기 참조 블록의 참조 모드와 동일하거나, 상기 참조 모드에 기반하여 산출되는 것을 특징으로 하는 다층 비디오를 위한 계층 간 예측 방법.
7. 다중 계층 비디오에 대한 부호화 장치에 있어서,
   향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부; 및
   상기 결정한 참조 블록이 분할된 구조 정보를 참조하여 상기 향상 블록의 제한 깊이를 결정하는 블록구조 참조부를 포함하는 다층 비디오를 위한 계층 간 부호화 장치.
8. 청구항 7에 있어서,
   상기 다층 비디오를 위한 계층 간 부호화 장치는
   상기 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 상기 향상 블록이 분할된 구조 정보를 결정하는 분할구조 결정부를 더 포함하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 부호화 장치.
9. 청구항 7에 있어서,
   상기 블록구조 참조부는
   상기 향상 블록의 해상도만큼 상기 참조 블록을 업샘플링하거나, 상기 참조 블록의 화소를 상기 향상 블록의 화소의 2차원 좌표로 매핑하여 상기 참조 블록의 화소의 대응 위치를 계산해내는 것을 특징으로 하는 다층 비디오를 위한 계층 간 부호화 장치.
10. 청구항 7에 있어서,
    상기 제한 깊이는
    상기 참조 블록의 참조 깊이와 동일하거나, 상기 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 갖는 것을 특징으로 하는 다층 비디오를 위한 계층 간 부호화 장치.
11. 청구항 7에 있어서,
    상기 향상 블록과 상기 참조 블록은 부호화 블록, 예측 블록, 변환 블록 중 어느 하나인 것을 특징으로 하는 다층 비디오를 위한 계층 간 부호화 장치.
12. 청구항 11에 있어서,
    상기 향상 블록과 상기 참조 블록이 예측 블록인 경우,
    상기 향상 블록의 예측 모드는
    상기 참조 블록의 참조 모드와 동일하거나, 상기 참조 모드에 기반하여 산출되는 것을 특징으로 하는 다층 비디오를 위한 계층 간 부호화 장치.
13. 다중 계층 비디오에 대한 복호화 장치에 있어서,
    향상 계층의 프레임을 구획하는 향상 블록에 대응되는 위치의 참조 계층의 프레임을 구획하는 참조 블록을 결정하는 대응블록 결정부; 및
    상기 결정한 참조 블록이 분할된 구조 정보를 참조하여 상기 향상 블록의 제한 깊이를 결정하는 블록구조 참조부를 포함하는 다층 비디오를 위한 계층 간 복호화 장치.
14. 청구항 13에 있어서,
    상기 다층 비디오를 위한 계층 간 복호화 장치는
    상기 제한 깊이에 기반한 비트율-왜곡 최적화 과정을 수행함으로써 상기 향상 블록이 분할된 구조 정보를 결정하는 분할구조 결정부를 더 포함하는 것을 특징으로 하는 다층 비디오를 위한 계층 간 복호화 장치.
15. 청구항 13에 있어서,
    상기 블록구조 참조부는
    상기 향상 블록의 해상도만큼 상기 참조 블록을 업샘플링하거나, 상기 참조 블록의 화소를 상기 향상 블록의 화소의 2차원 좌표로 매핑하여 상기 참조 블록의 화소의 대응 위치를 계산해내는 것을 특징으로 하는 다층 비디오를 위한 계층 간 복호화 장치.
16. 청구항 13에 있어서,
    상기 제한 깊이는
    상기 참조 블록의 참조 깊이와 동일하거나, 상기 참조 깊이를 기준으로 상위 깊이와 하위 깊이를 갖는 것을 특징으로 하는 다층 비디오를 위한 계층 간 복호화 장치.
17. 청구항 13에 있어서,
    상기 향상 블록과 상기 참조 블록은 부호화 블록, 예측 블록, 변환 블록 중 어느 하나인 것을 특징으로 하는 다층 비디오를 위한 계층 간 복호화 장치.
18. 청구항 17에 있어서,
    상기 향상 블록과 상기 참조 블록이 예측 블록인 경우,
    상기 향상 블록의 예측 모드는
    상기 참조 블록의 참조 모드와 동일하거나, 상기 참조 모드에 기반하여 산출되는 것을 특징으로 하는 다층 비디오를 위한 계층 간 복호화 장치.

Images