KR20140038323A - 다중 계층 비디오의 계층 간 참조 장치 및 방법 - Google Patents

Abstract

다중 계층 비디오의 계층 간 참조 장치 및 방법에 관한 기술이 개시된다. 다중 계층 비디오의 계층 간 참조 장치는 참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성하는 제1 참조 영상 생성부, 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 제1 참조 영상을 분할하여 부분 영상을 생성하는 부분 영상 생성부 및 부분 영상 각각에 포함된 부분 정보에 기반하여 부분 영상을 조정하여 제2 참조 영상을 생성하는 제2 참조 영상 생성부를 포함한다.

Description

다중 계층 비디오의 계층 간 참조 장치 및 방법{APPARATUS AND METHOD FOR INTER-LAYER REFERENCE OF MULTI-LAYER VIDEO}

본 발명은 비디오의 부호화/복호화에 관한 것으로, 더욱 상세하게는 다중 계층 비디오의 계층 간 참조 장치 및 방법에 관한 것이다.

최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고 있으며, 특히, 방통 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업이 진행되고 있다.

스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하였다.

또한, 종래의 H.264/AVC와 비교하여 약 2 배 이상의 압축 효율을 갖는 것으로 알려져 있는 차세대 비디오 압축 표준 기술로 HEVC(High Efficiency Video Coding)에 대한 표준화가 진행되었다.

HEVC는 쿼드트리(quadtree) 구조를 가진 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)을 정의하고 있으며, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 디블록킹 필터(Deblocking filter)와 같은 추가적인 인루프 필터를 적용하고 있다. 또한, 기존의 인트라 예측(intra prediction) 및 인터 예측(inter prediction)을 개선하여 압축 부호화 효율을 향상시키고 있다.

따라서, 최근에 표준화가 완료된 HEVC에 대한 확장(extension)으로 기존의 H.264에 기반하는 SVC를 개선할 필요성이 대두되고 있다.

특히, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서, 계층 간 참조 시 예측 효율을 높이기 위한 연구가 진행 중에 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 계층 간 참조 시 예측 효율을 높일 수 있는 계층 간 참조 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 계층 간 참조 시 예측 효율을 높일 수 있는 계층 간 참조 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치는 참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성하는 제1 참조 영상 생성부, 상기 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 부분 영상을 생성하는 부분 영상 생성부 및 상기 부분 영상 각각에 포함된 부분 정보에 기반하여 상기 부분 영상을 조정하여 제2 참조 영상을 생성하는 제2 참조 영상 생성부를 포함한다.

여기에서, 상기 부분 영상 생성부는 상기 제1 참조 영상을 로드하는 제1 참조 영상 로드부, 상기 분할 정보를 로드하는 분할 정보 로드부 및 상기 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 상기 부분 영상을 생성하는 제1 참조 영상 분할부를 포함할 수 있다.

여기에서, 상기 제2 참조 영상 생성부는 상기 부분 정보를 로드하는 부분 정보 로드부 및 상기 부분 정보에 기반하여 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하는 부분 영상 조정부를 포함할 수 있다.

여기에서, 향상 계층으로부터 상기 제1 참조 영상을 상기 부분 영상으로 분할하기 위한 분할 정보 및 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하기 위한 부분 정보를 로드하는 향상 계층 정보 로드부를 더 포함할 수 있다.

여기에서, 상기 부분 영상 생성부는 상기 분할 정보인 SAO(Sample Adaptive Offset) merge 정보에 기반하여 상기 부분 영상을 생성할 수 있다.

여기에서, 상기 제2 참조 영상 생성부는 상기 부분 정보인 AIF(Adaptive Interpolation Filter) 정보 또는 ALF(Adaptive Loop Filter) 정보에 기반하여 AIF 또는 ALF를 수행하여 상기 제2 참조 영상을 생성할 수 있다.

여기에서, 상기 제2 참조 영상 생성부는 상기 부분 정보인 SAO 수행을 위한 오프셋 정보에 기반하여 SAO를 수행하여 상기 제2 참조 영상을 생성할 수 있다.

여기에서, 상기 부분 영상 생성부는 상기 분할 정보인 디블록킹 필터(Deblocking Filter) Bs(Boundary Strength) 정보에 기반하여 상기 부분 영상을 생성할 수 있다.

여기에서, 상기 제2 참조 영상 생성부는 상기 부분 정보인 디블록킹필터 수행을 위한 β오프셋 정보 또는 tc오프셋 정보에 기반하여 디블록킹필터를 수행하여 상기 부분 영상을 생성할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법은 참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성하는 단계, 상기 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 부분 영상을 생성하는 단계 및 상기 부분 영상 각각에 포함된 부분 정보에 기반하여 상기 부분 영상을 조정하여 제2 참조 영상을 생성하는 단계를 포함한다.

참조 계층의 영상을 영상 특성에 따라 부분 영상으로 쪼개고, 부분 영상 단위로 도출된 부분 정보에 기반하여 참조 영상을 생성함으로써, 향상 계층의 영상에 대한 예측 효율을 높일 수 있어 부호화 성능을 더욱 높일 수 있다는 효과가 제공된다.

더 나아가. 부호화 효율이 높아짐에 따라 동일 화질의 영상을 보다 낮은 비용으로 제공할 수 있다는 효과가 제공된다.

더 나아가, 부호화 효율이 높아짐에 따라 좋은 화질의 영상을 동일 비트율로 제공할 수 있다는 효과가 제공된다.

도 1은 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 개념을 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 부호화 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 복호화 장치를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조에 대한 개념을 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조에서 부분 영상을 이용하여 참조 영상을 생성하는 개념을 나타내는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치를 나타내는 블록도이다.
도 7은 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 계층 간 참조 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법을 나타내는 순서도이다.
도 9 내지 도 11은 본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법을 나타내는 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 본 발명에 있어서 참조가 되는 픽처는 복원된 픽처를 의미하는 것은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 계층 간 참조 장치를 설명한다.

도 1은 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 개념을 나타내는 개념도이다.

도 1을 참조하면, SVC 부호화 장치(SVC Encoder)는 입력 영상에 대해 부호화를 수행하여 여러 해상도를 지원하는 비트스트림(bitstream0, bitstream1)을 생성할 수 있다. 또한, SVC 복호화 장치(SVC Decoder)는 생성된 비트스트림(bitstream0, bitstream1)을 제공받아 복호화를 수행하여 출력 영상을 생성할 수 있다.

즉, SVC는 비트스트림(bitstream0, bitstream1)의 응용에 따라 원하는 해상도의 서비스를 제공할 수 있다. 일 예에서, 낮은 해상도의 서비스를 원할 경우, SVC는 도 1에 도시된 바와 같이 bitstream0를 이용하여 복호화를 수행하여 출력 영상을 생성하고, 생성된 출력 영상을 제공할 수 있다. 다른 예에서, 보다 높은 해상도의 서비스를 원할 경우, SVC는 도 1에 도시된 바와 같이 bitstream0과 bitstream1을 이용하여 복호화를 수행하여 출력 영상을 생성하고, 생성된 출력 영상을 제공할 수 있다.

아래에서 설명할 본 발명의 일 실시예에 따른 다중 계층 비디오는 기본 계층(Base Layer)와 적어도 하나의 향상 계층(Enhance Layer)로 구성될 수 있으며, 참조 계층(Reference Layer)은 보다 상위의 계층에 의해 참조되는 계층일 수 있다. 즉, 참조 계층은 보다 상위에 있는 향상 계층에 의해 참조되는 기본 계층 또는 향상 계층이 될 수 있다.

도 2는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 부호화 장치를 나타내는 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 부호화 장치는 참조 계층에 대한 부호화 장치(10)와 향상 계층에 대한 부호화 장치(20)를 포함한다. 또한, 계층 간 참조 장치(31) 및 멀티플렉서(32)를 포함한다.

참조 계층에 대한 부호화 장치(10)와 향상 계층에 대한 부호화 장치(20)는 같은 구성을 포함할 수 있다.

즉, 각각의 부호화 장치(10, 20)는, 감산부(110, 21), 변환부(12, 22), 양자화부(13,, 23), 역양자화부(13a, 23a), 역변환부(12a, 22a), 엔트로피 부호화부(14, 24), 가산부(15, 25), 인루프 필터부(16, 26), 프레임 메모리(17, 27), 인트라 예측부(18, 28) 및 움직임 보상부(19, 29)를 포함한다.

감산부(11, 21)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.

변환부(12, 22)는 감산부(11, 21)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(12, 22)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.

양자화부(13, 23)는 변환부(12, 22)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(13, 23)는 변환부(12, 22)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.

엔트로피 부호화부(14, 24)는 양자화부(13, 23)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(14, 24)는 양자화부(13, 23)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.

역양자화부(13a, 23a)은 양자화부(13, 23)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(13a, 23a)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.

역변환부(12a, 22a)는 역양자화부(13a, 23a)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원한다.

가산부(15, 25)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(12a, 22a)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(17, 27)에 저장한다.

프레임 메모리(17)는 참조 계층에 대한 예측 부호화를 통하여 생성된 참조 계층의 복원 픽처를 저장할 수 있다. 또한, 프레임 메모리(27)는 향상 계층에 대한 예측 부호화를 통하여 생성된 향상 계층의 복원 픽처를 저장할 수 있다.

예측부는 인트라 예측부(18, 28)와 움직임 보상부(19, 29)를 포함하여 인트라 예측 및 인터 예측을 수행할 수 있다. 인트라 예측부(18, 28)는 인트라 예측(Intra Prediction)을 수행하며, 움직임 보상부(19, 29)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다.

계층 간 참조 장치(31)는 참조 계층의 참조 정보를 제공받을 수 있다. 또한, 계층 간 참조 장치(31)는 향상 계층의 참조 정보를 제공받을 수 있다. 또한, 계층 간 참조 장치(31)는 상술한 정보를 이용하여 참조 영상을 생성할 수 있다. 계층 간 참조 장치(31)에서 생성된 참조 영상은 향상 계층의 예측부(28, 29)에 제공되어 향상 계층의 예측부(28, 29)가 예측 영상을 생성할 때 참조될 수 있다.

또한, 계층 간 참조 장치(31)는 도 2에 도시된 바와 같이 각 계층의 부호화 장치(10, 20)에 독립되어 구성될 수 있지만, 각 계층의 부호화 장치(10, 20)에 포함되어 구성될 수 있다. 또한, 계층 간 참조 장치는(31)는 아래에서 도 6을 참조하여 더욱 상세하게 설명한다.

멀티플렉서(32)는 참조 계층과 향상 계층으로부터 부호화된 비트스트림을 수신하여 출력할 수 있다.

도 3은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 복호화 장치를 나타내는 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 복호화 장치는 참조 계층에 대한 복호화 장치(40)와 향상 계층에 대한 복호화 장치(50)를 포함한다. 또한, 계층 간 참조 장치(61) 및 디멀티플렉서(62)를 포함한다.

디멀티플렉서(62)는 부호화 장치로부터 비트스트림을 제공받아 참조 계층과 향상 계층에 출력할 수 있다.

참조 계층에 대한 복호화 장치(40)와 향상 계층에 대한 복호화 장치(50)는 같은 구성을 포함할 수 있다.

즉, 각각의 복호화 장치(40, 50)는 엔트로피 복호화부(41, 51), 역양자화부(42, 52), 역변환부(43, 53), 가산부(44, 54), 인루프 필터부(45, 55), 프레임 메모리(46, 56), 인트라 예측부(47, 57) 및 움직임 보상부(48, 58)를 포함한다. 복호화 장치(40, 50)의 각 구성 요소는 상술한 도 2의 부호화 장치의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명은 생략한다.

계층 간 참조 장치(61)는 참조 계층의 참조 정보를 제공받을 수 있다. 또한, 계층 간 참조 장치(61)는 향상 계층의 참조 정보를 제공받을 수 있다. 또한, 계층 간 참조 장치(61)는 상술한 정보를 이용하여 참조 영상을 생성할 수 있다. 계층 간 참조 장치(61)에서 생성된 참조 영상은 향상 계층의 예측부(57, 58)에 제공되어 향상 계층의 예측부(57, 58)가 예측 영상을 생성할 때 참조될 수 있다.

또한, 계층 간 참조 장치(61)는 도 2에 도시된 바와 같이 각 계층의 복호화 장치(40, 50)에 독립되어 구성될 수 있지만, 각 계층의 복호화 장치(40, 50)에 포함되어 구성될 수 있다. 또한, 계층 간 참조 장치는(61)는 아래에서 도 6을 참조하여 더욱 상세하게 설명한다.

본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조를 수행하는 부호화 장치 또는 복호화 장치는 도 2 및 도 3에 도시된 바와 같이 2개의 계층을 예로 들어 설명하였지만, 2개 이상의 계층에도 사용될 수 있다.

또한, 상술한 본 발명의 실시예에 따른 부호화 장치 및 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.

그리고, 본 발명에 따른 부호화 장치 및 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

아래에서는 가장 해상도가 낮은 영상을 위한 코딩의 모든 과정을 계층0이라 지칭한다. 또한, 두 번째 해상도가 낮은 영상을 위한 코딩의 모든 과정을 계층1이라 지칭한다. 또한, 세 번째 해상도가 낮은 영상을 위한 코딩의 모든 과정을 계층2라 지칭한다.

도 4는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조에 대한 개념을 나타내는 개념도이다.

도 4를 참조하면, 계층0은 가장 낮은 해상도를 가지며, 계층0 보다 높은 해상도를 가지는 계층1에 참조될 수 있다. 이때, 참조는 다른 계층의 정보를 참조하므로 계층 간 참조이다.

여기에서, 계층 간 참조는 참조 계층의 복원된 영상 정보를 이용한 텍스쳐 참조 및/또는 신택스 참조가 될 수 있다. 또한, 계층 간 참조는 비트스트림에서 참조 영상 구성을 위한 추가 정보를 파싱(parsing)하여 참조 영상을 생성, 수정 및/또는 재구성할 수 있다.

즉, 계층 간 참조는 계층0을 이용하여 참조 영상(71)을 구성할 수 있고, 구성된 참조 영상은 부분 영상(72)으로 분할될 수 있으며, 분할된 부분 영상은 계층1에 계층 간 참조될 수 있다.

또한, 계층1은 상술한 방법을 이용하여 계층2에 계층 간 참조될 수 있다.

또한, 계층0과 계층1은 상술한 방법을 이용하여 계층2에 계층 간 참조될 수 있다. 즉, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조는 미리 복원된 다수개의 계층이 현재 복원할 계층에 계층 간 참조될 수 있다.

도 5는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조에서 부분 영상을 이용하여 참조 영상을 생성하는 개념을 나타내는 개념도이다.

도 5을 참조하면, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조에서 계층0(81)은 복원된 영상의 특성에 따라 부분 영상으로 분할되고, 분할된 부분 영상은 계층1의 해상도에 적합하도록 분할(조정)되어 계층1을 위한 참조 영상(82)을 생성한다.

즉, 본 발명의 일 실시예에 따른 계층 간 참조는 향상 계층 이외의 복호화된 영상 정보 및/또는 비트스트림에 포함된 추가적인 정보를 이용하여 부분 영상을 생성하고, 부분 영상 단위로 참조 영상 구성을 위한 도출된 정보 및/또는 부분 영상 단위로 참조 영상 구성을 위한 비트스트림에 포함된 추가적인 정보를 이용하여 참조 영상을 생성하는 방법이다.

따라서, 계층1을 위한 참조 영상(82)을 생성하기 위한 참조 정보는 향상 계층 이외의 복호화된 영상 정보, 계층 간 참조를 위한 비트스트림에 포함된 추가적인 정보, 부분 영상 단위로 참조 영상의 생성 또는 수정을 위한 도출된 정보, 부분 영상 단위로 참조 영상의 생성 또는 수정을 위한 비트스트림에 포함된 추가적인 정보일 수 있지만, 이에 한정되는 것은 아니다.

여기에서, 향상 계층 이외의 복호화된 영상 정보는 SAO(Sample Adaptive Offset) 종류에 관한 신택스 정보, SAO merge에 관한 신택스 정보, 모션 벡터(MV; Motion Vector) 정보, 양자화된 계수(quantized coefficient) 정보, 참조 영상 정보 및 예측 모드 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니다.

또한, 향상 계층 이외의 복화화된 영상 정보는 분할된 부분 영상을 조정할 수 있는 정보를 포함할 수 있다. 또한, 비트스트림에 포함된 추가적인 정보인 신택스 정보는 부분 영상을 분할하기 위한 정보일 수 있다.

도 6은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치를 나타내는 블록도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 계층 간 참조 장치는 제1 참조 영상 생성부(100), 부분 영상 생성부(200) 및 제2 참조 영상 생성부(300)를 포함한다.

제1 참조 영상 생성부(100)는 참조 계층으로부터 참조 정보를 제공받을 수 있다. 또한, 제1 참조 영상 생성부(100)는 참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성할 수 있다. 또한, 제1 참조 영상 생성부(100)는 제1 참조 영상을 후술할 부분 영상 생성부(200)에 제공할 수 있다.

여기에서, 참조 계층의 참조 정보는 도 5에서 상술한 향상 계층 이외의 복호화된 영상 정보일 수다.

여기에서, 참조 계층의 참조 정보는 참조 영상 위치 정보, 모션 벡터(MV; Motion Vector) 정보 및 예측 모드 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다,

여기에서, 참조 계층의 참조 정보는 상술한 정보에 한정되는 것이 아니라 제1 참조 영상과 후술할 부분 영상 및 제2 참조 영상을 생성하기 위한 정보라면 어떠한 정보라도 포함할 수 있다.

부분 영상 생성부(200)는 제1 참조 영상 생성부(100)로부터 제1 참조 영상을 제공받을 수 있다. 또한, 부분 영상 생성부(200)는 제1 참조 영상 생성부(100)로부터 참조 계층의 참조 정보에 포함된 분할 정보를 제공받을 수 있다. 또한, 부분 영상 생성부(200)는 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 제1 참조 영상을 분할하여 부분 영상을 생성할 수 있다. 또한, 부분 영상 생성부(200)는 부분 영상 각각에 포함된 부분 정보를 후술할 제2 참조 영상 생성부(300)에 제공할 수 있다.

여기에서, 참조 계층의 참조 정보에 포함된 분할 정보는 도 5에서 상술한 향상 계층 이외의 복호화된 영상 정보 및 계층 간 참조를 위한 비트스트림에 포함된 추가적인 정보 일 수 있다.

여기에서, 참조 계층에 포함된 분할 정보는 참조 계층의 신택스 정보, CU(Coding Unit) 분할정보, PU(Prediction Unit), TU 분할정보(Transform Unit), SAO merge 정보, 참조 영상 인덱스 정보, 예측 모드 정보, 화면 내 예측의 예측 방향에 대한 모드 정보, 참조 샘플 정보, 모션 벡터(MV; Motion Vector) 정보 및 디블록킹 필터(Deblocking Filter) Bs(Boundary Strength) 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다.

또한, 도 5에서 상술한 비트스트림에 포함된 추가적인 정보에는 제1 참조 영상을 분할하기 위한 분할 정보가 포함될 수 있다. 예를 들어, 비트스트림에 포함된 추가적인 신택스는 부분 영상을 분할하기 위한 분할 정보일 수 있다.

여기에서, 참조 계층의 참조 정보에 포함된 분할 정보는 상술한 정보에 한정되는 것이 아니라 제1 참조 영상을 분할할 수 있는 정보라면 어떠한 정보라도 포함할 수 있다.

또한, 부분 영상 생성부(200)는 제1 참조 영상 로드부(210), 분할 정보 로드부(220) 및 제1 참조 영상 분할부(230)를 포함할 수 있다.

제1 참조 영상 로드부(210)는 제1 참조 영상 생성부(100)로부터 제1 참조 영상을 로드할 수 있다.

분할 정보 로드부(220)는 제1 참조 영상 생성부(100)로부터 참조 계층의 참조 정보에 포함된 분할 정보를 로드할 수 있다.

제1 참조 영상 분할부(230)는 제1 참조 영상 로드부(210)로부터 제1 참조 영상을 제공받을 수 있다. 또한, 제1 참조 영상 분할부(230)는 분할 정보 로드부(220)로부터 참조 계층의 참조 정보에 포함된 분할 정보를 제공받을 수 있다.

또한, 제1 참조 영상 분할부(230)는 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 제1 참조 영상을 분할하여 부분 영상을 생성할 수 있다. 또한, 제1 참조 영상 분할부(230)는 부분 영상 각각에 포함된 부분 정보를 후술할 제2 참조 영상 생성부(300)에 제공할 수 있다.

제2 참조 영상 생성부(300)는 부분 영상 생성부(200)로부터 부분 영상 각각에 포함된 부분 정보를 제공받을 수 있다. 또한, 제2 참조 영상 생성부(300)는 부분 정보에 기반하여 부분 영상 단위로 부분 영상을 조정하여 제2 참조 영상을 생성할 수 있다.

여기에서, 부분 영상 각각에 포함된 부분 정보는 도 5에서 상술한 부분 영상 단위로 참조 영상 구성을 위해 도출된 정보 및 부분 영상 단위로 참조 영상 구성을 위한 비트스트림에 포함된 추가적인 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다.

여기에서, 부분 영상 각각에 포함된 부분 정보는 참조 계층의 신택스 정보 및 복호화된 영상 정보, 현재 계층의 복호화된 신택스 정보, 및 현재 계층의 비트스트림에 추가적으로 시그널링된 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다.

즉, 신택스 정보는 CU(Coding Unit) 분할 정보, PU(Prediction Unit), TU 분할 정보(Transform Unit), SAO merge 정보, 참조 영상 인덱스 정보 및 예측 모드 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다.

즉, 비트스트림에 추가적으로 시그널링된 정보는 특정 화소에 대한 오프셋 정보, 보간 정보, 필터링을 위한 계수 정보 및 필터링 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있다.

여기에서, 부분 영상 각각에 포함된 부분 정보는 상술한 정보에 한정되는 것이 아니라 부분 영상을 조정하여 제2 참조 영상을 생성할 수 있는 정보라면 어떠한 정보라도 포함할 수 있다.

또한, 제2 참조 영상 생성부(300)는 부분 정보 로드부(310) 및 부분 영상 조정부(320)를 포함할 수 있다.

부분 정보 로드부(310)는 부분 영상 생성부(200)로부터 부분 영상 각각에 포함된 정보를 로드할 수 있다. 부분 영상 조정부(320)는 부분 정보에 기반하여 부분 영상 단위로 부분 영상을 조정하여 제2 참조 영상을 생성할 수 있다.

또한, 제2 참조 영상 생성부(300)는 부분 영상 각각에 포함된 부분 정보인 특정 화소에 대한 오프셋 정보, 필터링을 위한 계수 정보 및 필터링 정보를 제공받아 필터링 또는 특정 화소에 대하여 오프셋을 더하는 방법을 통해 제2 참조 영상을 생성할 수 있다.

본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치는 향상 계층 정보 로드부(미도시)를 더 포함할 수 있다. 즉, 향상 계층 정보 로드부(미도시)는 향상 계층으로부터 제2 참조 영상을 생성하기 위해 필요한 정보들을 로드할 수 있다. 즉, 향상 계층 정보 로드부(미도시)는 향상 계층으로부터 제1 참조 영상을 부분 영상으로 분할하기 위한 분할 정보를 로드할 수 있다. 또한, 향상 계층 정보 로드부(미도시)는 향상 계층으로부터 부분 영상을 조정하여 제2 참조 영상을 생성하기 위한 부분 정보를 로드할 수 있다.

따라서, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치는 참조 계층의 영상을 영상 특성에 따라 부분 영상으로 쪼개고, 부분 영상 단위로 도출된 부분 정보에 기반하여 참조 영상을 생성함으로써, 향상 계층의 영상에 대한 예측 효율을 높일 수 있어 부호화 성능을 더욱 높일 수 있다.

이에 더하여, 부호화 효율이 높아짐에 따라 동일 화질의 영상을 보다 낮은 비용으로 제공할 수 있다. 또한, 부호화 효율이 높아짐에 따라 좋은 화질의 영상을 동일 비트율로 제공할 수 있다.

아래에서는 본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치에 대해 설명한다.

본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치에서 분할 정보로 SAO(Sample Adaptive Offset) merge 정보를 참조하는 경우, 부분 영상 생성부(200)는 분할 정보인 SAO merge 정보를 이용하여 부분 영상을 생성할 수 있다.

제2 참조 영상 생성부(300)는 부분 영상 단위로 부분 정보인 AIF(Adaptive Interpolation Filter) 정보 및 ALF(Adaptive Loop Filter) 정보 중에서 적어도 어느 하나의 정보를 로드할 수 있다. 또한, 제2 참조 영상 생성부(300)는 AIF 정보 및 ALF 정보 중에서 적어도 어느 하나의 정보를 이용하여 AIF 및 ALF 중에서 적어도 어느 하나를 수행하여 제2 참조 영상을 생성할 수 있다.

여기에서, SAO(Sample Adaptive Offset)는 비슷한 특성을 가지고 있는 픽셀 집합에 오프셋을 더해주어 양자화 수행시 발생하는 에러를 줄이기 위해 사용되는 필터링 방법이다.

여기에서, AIF(Adaptive Interpolation Filter)는 고정된 필터 계수가 아니라 매 프레임마다 결정되는 최적의 보간 필터의 계수를 이용하여 참조 프레임을 보간하는 방법이다,

여기에서, ALF(Adaptive Loop Filter)는 입력 영상에 대해서 원본과 가장 유사하도록 해주는 필터 계수와 필터 모양을 산출하고, 산출된 정보를 이용하여 픽셀 단위에서 필터링을 수행하는 방법이다.

본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치에서 분할 정보로 SAO(Sample Adaptive Offset) merge 정보를 참조하는 경우, 부분 영상 생성부(200)는 분할 정보인 SAO merge 정보를 이용하여 부분 영상을 생성할 수 있다.

제2 참조 영상 생성부(300)는 부분 영상 단위로 부분 정보인 SAO 수행을 위한 오프셋 정보를 로드할 수 있다. 이때, 미리 부분 영상 단위로 SAO를 수행하므로 향상 계층에서 merge 정보를 보낼 필요가 없다. 또한, 제2 참조 영상 생성부(300)는 SAO 수행을 위한 오프셋 정보를 이용하여 SAO를 수행하여 제2 참조 영상을 생성할 수 있다.

본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치에서 분할 정보로 디블록킹 필터(Deblocking Filter) Bs(Boundary Strength) 정보를 참조하는 경우, 부분 영상 생성부(200)는 디블록킹 필터 Bs정보를 이용하여 부분 영상을 생성할 수 있다.

제2 참조 영상 생성부(300)는 부분 영상 단위로 디블록킹 필터를 수행하기 위해 영상에 알맞은 β오프셋 정보 및 tc 오프셋 정보 중에서 적어도 어느 하나의 정보를 로드할 수 있다. 또한, 제2 참조 영상 생성부(300)는 β오프셋 정보 및 tc오프셋 정보 중에서 적어도 어느 하나의 정보를 이용하여 디블록킹 필터를 수행하여 제2 참조 영상을 생성할 수 있다.

여기에서, 디블록킹 필터(Deblocking Filter)는 주파수 도메인에서 양자화를 수행하였을 때 나타나는 블록과 블록간의 경계의 차가 발생하는 현상인 블록킹 현상을 없애기 위해 사용되는 필터링 방법이다.

이상에서는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 장치의 각 구성에 대해서 살펴보았다. 아래에서는 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법에 대하여 도면을 참조하여 살펴보기로 한다. 특히, 상술한 다중 계층 비디오의 계층 간 참조 장치와 중복되는 부분은 설명의 간명성을 위하여 생략한다.

도 7은 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 계층 간 참조 방법을 나타내는 순서도이다.

도 7을 참조하면, 먼저 계층 간 참조를 수행할지 여부를 판단한다(S410).

계층 간 참조를 수행하는 경우, 참조 계층으로부터 참조 정보를 로드한다(S420). 이후, 참조 정보를 이용하여 참조 영상을 생성한다(S430). 이후, 참조 영상을 이용하여 예측을 수행한다(S440).

계층 간 참조를 수행하지 않는 경우, 향상 계층으로부터 참조 정보를 로드한다(S450). 이후, 참조 정보를 이용하여 예측을 수행한다(S440)

여기에서, 예측은 인트라 예측 또는 인터 예측일 수 있다.

도 8은 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법을 나타내는 순서도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법은 제1 참조 영상을 생성하는 단계(S520), 부분 영상을 생성하는 단계(S530) 및 제2 참조 영상을 생성하는 단계(540)를 포함한다.

먼저, 계층 간 참조를 수행할지 여부를 판단한다(S510).

계층 간 참조를 수행하는 경우, 참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성할 수 있다(S520). 여기에서, 참조 계층의 참조 정보는 도 5 및 도 6을 참조하여 상술하였으므로 설명의 간명성을 위해 생략한다.

이후, 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 제1 참조 영상을 분할하여 부분 영상을 생성할 수 있다(S530). 여기에서, 참조 계층의 참조 정보에 포함된 분할 정보는 도 5 및 도 6을 참조하여 상술하였으므로 설명의 간명성을 위해 생략한다.

부분 영상을 생성하는 단계(S530)는 먼저 제1 참조 영상을 로드할 수 있다(S532). 그런 다음, 참조 계층의 참조 정보에 포함된 분할 정보를 로드할 수 있다(S534). 그런 다음, 분할 정보에 기반하여 제1 참조 영상을 분할하여 부분 영상을 생성할 수 있다(536).

부분 영상을 생성하는 단계(S530) 이후에, 부분 영상 각각에 포함된 부분 정보에 기반하여 부분 영상 단위로 부분 영상을 조정하여 제2 참조 영상을 생성할 수 있다(S540). 여기에서, 부분 영상 각각에 포함된 부분 정보는 도 5 및 도 6을 참조하여 상술하였으므로 설명의 간명성을 위해 생략한다.

제2 참조 영상을 생성하는 단계(S540)는 먼저 부분 영상 각각에 포함된 부분 정보를 로드할 수 있다(S542). 그런 다음, 부분 정보에 기반하여 부분 영상 단위로 부분 영상을 조정하여 제2 참조 영상을 생성할 수 있다(S544).

제2 참조 영상을 생성하는 단계(S540) 이후에, 제2 참조 영상을 이용하여 예측을 수행할 수 있다(S550).

계층 간 참조를 수행하지 않는 경우, 향상 계층으로부터 참조 정보를 로드한다(S560). 이후, 참조 정보를 이용하여 예측을 수행한다(S550).

여기에서, 향상 계층의 참조 정보는 화면 내 예측의 예측 방향에 대한 모드 정보, 참조 샘플 정보, 모션 벡터(MV; Motion Vector) 정보 및 참조 영상 인덱스 정보 중에서 적어도 어느 하나의 정보를 포함할 수 있지만, 이에 한정되는 것은 아니다.

또한, 상술한 예측은 인트라 예측 또는 인터 예측일 수 있다.

또한, 제1 참조 영상을 생성하는 단계 이후에(S520), 향상 계층으로부터 제1 참조 영상을 부분 영상으로 분할하기 위한 분할 정보 및 부분 영상을 조정하여 제2 참조 영상을 생성하기 위한 부분 정보를 로드하는 단계를 더 포함할 수 있다. 여기에서, 상술한 향상 계층의 분할 정보와 부분 정보를 로드하는 단계는 제1 참조 영상을 생성하는 단계(S520) 이전에도 가능하다.

도 9 내지 도 11은 본 발명의 다른 실시예에 따른 다중 계층 비디오의 계층 간 참조 방법을 나타내는 순서도이다.

도 9를 참조하면, 먼저 분할 정보로 SAO(Sample Adaptive Offset) merge 정보를 참조할지 여부를 판단한다(S610).

SAO merge 정보를 참조하는 경우, SAO merge 정보를 이용하여 부분 영상을 생성할 수 있다(S620).

이후, 부분 영상 단위로 부분 정보인 AIF(Adaptive Interpolation Filter) 정보 및 ALF(Adaptive Loop Filter) 정보 중에서 적어도 어느 하나의 정보를 로드할 수 있다(S630).

이후, AIF 정보 및 ALF 정보 중에서 적어도 어느 하나의 정보를 이용하여 AIF 및 ALF 중에서 적어도 어느 하나를 수행하여 제2 참조 영상을 생성할 수 있다(S640).

도 10을 참조하면, 먼저 분할 정보로 SAO(Sample Adaptive Offset) merge 정보를 참조할지 여부를 판단한다(S710).

SAO merge 정보를 참조하는 경우, SAO merge 정보를 이용하여 부분 영상을 생성할 수 있다(S720).

이후, 부분 영상 단위로 부분 정보인 SAO 수행을 위한 오프셋 정보를 로드할 수 있다(S730). 이때, 미리 부분 영상 단위로 SAO를 수행하므로 향상 계층에서 merge 정보를 보낼 필요가 없다.

이후, SAO 수행을 위한 오프셋 정보를 이용하여 SAO를 수행하여 제2 참조 영상을 생성할 수 있다(S740).

도 11을 참조하면, 먼저 분할 정보로 디블록킹 필터(Deblocking Filter) Bs(Boundary Strength) 정보를 참조할지 여부를 판단한다(S810).

디블록킹 필터 Bs정보를 참조하는 경우, 디블록킹 필터 Bs정보를 이용하여 부분 영상을 생성할 수 있다(S820).

이후, 부분 영상 단위로 디블록킹 필터를 수행하기 위해 영상에 알맞은 β오프셋 정보 및 tc오프셋 정보 중에서 적어도 어느 하나의 정보를 로드할 수 있다(S830).

이후, β오프셋 정보 및 tc오프셋 정보 중에서 적어도 어느 하나의 정보를 이용하여 디블록킹 필터를 수행하여 제2 참조 영상을 생성할 수 있다(S840).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 제1 참조 영상 생성부 200: 부분 영상 생성부
210: 제1 참조 영상 로드부 220: 분할 정보 로드부
230: 제1 참조 영상 분할부 300: 제2 참조 영상 생성부
310: 부분 정보 로드부 320: 부분 영상 조정부

Claims (18)

1. 다중 계층 비디오에 대한 부호화/복호화 장치에 있어서,
   참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성하는 제1 참조 영상 생성부;
   상기 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 부분 영상을 생성하는 부분 영상 생성부; 및
   상기 부분 영상 각각에 포함된 부분 정보에 기반하여 상기 부분 영상을 조정하여 제2 참조 영상을 생성하는 제2 참조 영상 생성부를 포함하는 다중 계층 비디오의 계층 간 참조 장치.
2. 청구항 1에 있어서,
   상기 부분 영상 생성부는,
   상기 제1 참조 영상을 로드하는 제1 참조 영상 로드부;
   상기 분할 정보를 로드하는 분할 정보 로드부; 및
   상기 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 상기 부분 영상을 생성하는 제1 참조 영상 분할부를 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
3. 청구항 1에 있어서,
   상기 제2 참조 영상 생성부는,
   상기 부분 정보를 로드하는 부분 정보 로드부; 및
   상기 부분 정보에 기반하여 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하는 부분 영상 조정부를 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
4. 청구항 1에 있어서,
   향상 계층으로부터 상기 제1 참조 영상을 상기 부분 영상으로 분할하기 위한 분할 정보 및 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하기 위한 부분 정보를 로드하는 향상 계층 정보 로드부를 더 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
5. 청구항 1에 있어서,
   상기 부분 영상 생성부는,
   상기 분할 정보인 SAO(Sample Adaptive Offset) merge 정보에 기반하여 상기 부분 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
6. 청구항 5에 있어서,
   상기 제2 참조 영상 생성부는,
   상기 부분 정보인 AIF(Adaptive Interpolation Filter) 정보 또는 ALF(Adaptive Loop Filter) 정보에 기반하여 AIF 또는 ALF를 수행하여 상기 제2 참조 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
7. 청구항 5에 있어서,
   상기 제2 참조 영상 생성부는,
   상기 부분 정보인 SAO 수행을 위한 오프셋 정보에 기반하여 SAO를 수행하여 상기 제2 참조 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
8. 청구항 1에 있어서,
   상기 부분 영상 생성부는,
   상기 분할 정보인 디블록킹 필터(Deblocking Filter) Bs(Boundary Strength) 정보에 기반하여 상기 부분 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
9. 청구항 8에 있어서,
   상기 제2 참조 영상 생성부는,상기 부분 정보인 디블록킹 필터 수행을 위한 β오프셋 정보 또는 tc오프셋 정보에 기반하여 디블록킹 필터를 수행하여 상기 부분 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 장치.
10. 다중 계층 비디오에 대한 부호화/복호화에 있어서,
    참조 계층의 참조 정보에 기반하여 제1 참조 영상을 생성하는 단계;
    상기 참조 계층의 참조 정보에 포함된 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 부분 영상을 생성하는 단계; 및
    상기 부분 영상 각각에 포함된 부분 정보에 기반하여 상기 부분 영상을 조정하여 제2 참조 영상을 생성하는 단계를 포함하는 다중 계층 비디오의 계층 간 참조 방법.
11. 청구항 10에 있어서,
    상기 부분 영상을 생성하는 단계는,
    상기 제1 참조 영상을 로드하는 단계;
    상기 분할 정보를 로드하는 단계; 및
    상기 분할 정보에 기반하여 상기 제1 참조 영상을 분할하여 상기 부분 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
12. 청구항 10에 있어서,
    상기 제2 참조 영상을 생성하는 단계는,
    상기 부분 정보를 로드하는 단계; 및
    상기 부분 정보에 기반하여 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
13. 청구항 10에 있어서,
    제1 참조 영상을 생성하는 단계 이후에,
    향상 계층으로부터 상기 제1 참조 영상을 상기 부분 영상으로 분할하기 위한 분할 정보 및 상기 부분 영상을 조정하여 상기 제2 참조 영상을 생성하기 위한 부분 정보를 로드하는 단계를 더 포함하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
14. 청구항 10에 있어서,
    상기 부분 영상을 생성하는 단계는,
    상기 분할 정보인 SAO(Sample Adaptive Offset) merge 정보에 기반하여 상기 부분 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
15. 청구항 14에 있어서,
    상기 제2 참조 영상을 생성하는 단계는,
    상기 부분 정보인 AIF(Adaptive Interpolation Filter) 정보 또는 ALF(Adaptive Loop Filter) 정보에 기반하여 AIF 또는 ALF를 수행하여 상기 제2 참조 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
16. 청구항 14에 있어서,
    상기 제2 참조 영상을 생성하는 단계는,
    상기 부분 정보인 SAO(Sample Adaptive Offset) 수행을 위한 오프셋 정보에 기반하여 SAO를 수행하여 상기 제2 참조 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
17. 청구항 10에 있어서,
    상기 부분 영상을 생성하는 단계는,
    상기 분할 정보인 디블록킹 필터(Deblocking Filter) Bs(Boundary strength) 정보에 기반하여 상기 부분 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.
18. 청구항 17에 있어서,
    상기 제2 참조 영상을 생성하는 단계는,
    상기 부분 정보인 디블록킹 필터 수행을 위한 β오프셋 정보 및 tc오프셋 정보에 기반하여 디블록킹 필터를 수행하여 상기 제2 참조 영상을 생성하는 것을 특징으로 하는 다중 계층 비디오의 계층 간 참조 방법.

Images