KR20140048805A - 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 - Google Patents

다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 Download PDF

Info

Publication number
KR20140048805A
KR20140048805A KR1020130119603A KR20130119603A KR20140048805A KR 20140048805 A KR20140048805 A KR 20140048805A KR 1020130119603 A KR1020130119603 A KR 1020130119603A KR 20130119603 A KR20130119603 A KR 20130119603A KR 20140048805 A KR20140048805 A KR 20140048805A
Authority
KR
South Korea
Prior art keywords
layer
picture
prediction
inter
enhancement layer
Prior art date
Application number
KR1020130119603A
Other languages
English (en)
Inventor
김경혜
조현호
남정학
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20140048805A publication Critical patent/KR20140048805A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다중 계층 비디오를 위한 계층 간 예측 방법 및 장치에 관한 기술이 개시된다. 다중 계층 비디오를 위한 계층 간 예측 방법은, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하는 단계와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단하는 단계와, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함한다. 따라서, 향상 계층에 대한 부호화 또는 복호화에 있어서, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있다.

Description

다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치{METHOD OF INTER-LAYER PREDICTION FOR MULTIPLE LAYER VIDEO AND APPARATUS THEREOF}
본 발명은 비디오의 부호화/복호화에 관한 것으로, 더욱 상세하게는 다중 계층 비디오를 위한 계층 간 예측 방법 및 장치에 관한 것이다.
최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고 있으며, 특히, 방통 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업이 진행되고 있다.
스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하였다.
또한, 종래의 H.264/AVC와 비교하여 약 2 배 이상의 압축 효율을 갖는 것으로 알려져 있는 차세대 비디오 압축 표준 기술로 HEVC(High Efficiency Video Coding)에 대한 표준화가 진행되고 있다.
HEVC는 쿼드트리(quadtree) 구조를 가진 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)을 정의하고 있으며, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 디블록킹 필터(Deblocking filter)와 같은 추가적인 인루프 필터를 적용하고 있다. 또한, 기존의 인트라 예측(intra prediction) 및 인터 예측(inter prediction)을 개선하여 압축 부호화 효율을 향상시키고 있다.
한편, 최근에 표준화가 진행되고 있는 HEVC에 대한 확장(extension) 버전으로 SVC에 대한 표준화가 진행되고 있다.
종래의 SVC 기술은 계층 간 예측에 있어서, 참조 계층과 시간 및 공간 해상도(temporal and spatial resolution)가 다른 향상 계층을 부호화할 경우, 부호화 대상이 되는 향상 계층의 픽처와 동일 시간에 참조 계층의 복원된 픽처가 존재하지 않아 참조 계층의 픽처를 참조할 수 없는 향상 계층의 픽처가 존재하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 참조 픽처를 적응적으로 결정하여 계층 간 예측을 수행하는 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 참조 픽처를 적응적으로 결정하여 계층 간 예측을 수행하는 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 다중 계층 비디오를 위한 계층 간 예측 방법은, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하는 단계와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단하는 단계와, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함한다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 다중 계층 비디오를 위한 계층 간 예측 장치는, 참조 계층에 대한 예측 부호화를 통하여 생성된 상기 참조 계층의 복원 픽처를 저장하는 프레임 버퍼와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 예측부를 포함한다.
여기에서, 상기 장치는, 참조 계층의 복원 픽처를 상기 향상 계층의 해상도에 상응하도록 보간하는 보간부를 더 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치를 이용할 경우에는, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있다.
또한, 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하는 계층 간 예측을 통하여 부호화 및 복호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 3은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 6은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 8은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 흐름도이다.
도 9는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측에서 사용되는 신택스 요소에 대한 예시도이다.
도 10은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 복호화 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 본 발명에 있어서 참조가 되는 픽처는 복원된 픽처를 의미하는 것은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치는, 참조 계층에 대한 부호화 장치(100)와 향상 계층에 대한 부호화 장치(200)를 포함한다. 또한, 멀티플렉서(320) 및 보간부(310)를 포함할 수 있다.
각각의 부호화 장치(100, 200)는, 감산부(110, 210), 변환부(120, 220), 양자화부(130, 230), 역양자화부(131, 231), 역변환부(121, 221), 엔트로피 부호화부(140, 240), 가산부(150, 250), 인루프 필터부(160, 260), 프레임 메모리(170, 270), 인트라 예측부(180, 280) 및 움직임 보상부(190, 290)를 포함한다.
감산부(110, 210)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.
변환부(120, 220)는 감산부(110, 210)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120, 220)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.
양자화부(130, 230)는 변환부(120, 220)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130, 230)는 변환부(120, 220)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.
엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.
역양자화부(131, 231)은 양자화부(130, 230)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(131, 231)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.
역변환부(121, 221)는 역양자화부(131, 231)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(150, 250)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(121, 221)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(170, 270)에 저장한다.
프레임 메모리(170)는 참조 계층에 대한 예측 부호화를 통하여 생성된 참조 계층의 복원 픽처를 저장할 수 있다. 또한, 프레임 메모리(270)는 향상 계층에 대한 예측 부호화를 통하여 생성된 향상 계층의 복원 픽처를 저장할 수 있으며, 참조 계층의 복원 픽처 또는 참조 계층의 복원 픽처를 보간한 픽처를 저장할 수 있다.
예측부는 인트라 예측부(180, 280)와 움직임 보상부(190, 290)를 포함하여 인트라 예측 및 인터 예측을 수행할 수 있다.
인트라 예측부(180, 280)는 인트라 예측(Intra Prediction)을 수행하며, 움직임 보상부(190, 290)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다.
본 발명의 실시예에 따른 예측부는 향상 계층의 현재 픽처에 대한 부호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다. 여기서, 계층 간 예측은 향상 계층에 대한 부호화 또는 복호화에 있어서, 참조 계층의 복원 픽처를 참조하여 인트라 예측 또는 인터 예측을 수행하는 것을 의미할 수 있다.
먼저, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
특히, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
그리고, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
인루프 필터부(160, 260)는 복원된 영상에 대한 필터링을 수행하는 것으로, 디블록킹 필터(DF: Deblocking Filter), 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 적응적 루프 필터(ALF: Adaptive Loop Filter)를 포함하여 구성될 수 있다.
보간부(310)는 참조 계층에서 복원된 픽처를 보간(interpolation)한다. 즉, 보간부(310)는 향상 계층의 공간 해상도에 상응하여 참조 계층에서 복원된 픽처를 보간할 수 있다.
멀티플렉서(320)는 참조 계층과 향상 계층으로부터 부호화된 비트스트림을 수신하여 출력한다.
도 2는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 2를 참조하면, 향상 계층의 픽처는 IE0(20), IE1(21), IE2(22), IE3(23), IE4(24) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(25), IB2(26), IB4(27) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(20), IE2(22), IE4(24)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(25), IB2(26), IB4(27)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(21), IE3(23)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다. 여기서, 현재 픽처는 부호화 또는 복호화 대상이 되는 픽처를 의미할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(20), IE2(22) 또는 IE4(24)인 경우, IE0(20), IE2(22) 또는 IE4(24)는 참조 계층의 복원 픽처인 IB0(25), IB2(26) 또는 IB4(27)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처는 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(21)인 경우, IE1(21)는 IE0(20) 또는 IE2(22)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(23)인 경우, IE3(23)는 IE2(22) 또는 IE4(24)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티(temporal scalability)를 위하여 동일(향상) 계층의 픽처를 참조하여 부호화 또는 복호화를 수행할 수 있다.
도 3은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 3을 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처를 위한 참조 리스트는 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(21)인 경우, IE0(20) 또는 IE2(22)를 참조 리스트에 포함시킬 수 있다.
도 4는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 4를 참조하면, 향상 계층의 픽처는 IE0(40), IE1(41), IE2(42), IE3(43), IE4(44) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(45), IB2(46), IB4(47) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(40), IE2(42), IE4(44)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(45), IB2(46), IB4(47)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(41), IE3(43)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(40), IE2(42) 또는 IE4(44)인 경우, IE0(40), IE2(42) 또는 IE4(44)는 참조 계층의 복원 픽처인 IB0(45), IB2(46) 또는 IB4(47)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IE1(41)는 IB0(45) 또는 IB2(46)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(43)인 경우, IE3(43)는 IB2(46) 또는 IB4(47)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 5를 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처를 위한 참조 리스트는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IB0(45) 또는 IB2(46)을 참조 리스트에 포함시킬 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 6을 참조하면, 향상 계층의 픽처는 IE0(60), IE1(61), IE2(62), IE3(63), IE4(64) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(65), IB2(66), IB4(67) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(60), IE2(62), IE4(64)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(65), IB2(66), IB4(67)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(61), IE3(63)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(60), IE2(62) 또는 IE4(64)인 경우, IE0(60), IE2(62) 또는 IE4(64)는 참조 계층의 복원 픽처인 IB0(65), IB2(66) 또는 IB4(67)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(61)인 경우, IE1(61)는 IE0(60), IE2(62), IB0(65) 또는 IB2(66)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(63)인 경우, IE3(63)는 IE2(62), IE4(64), IB2(66) 또는 IB4(67)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티를 위하여 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 7을 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IE0(61), IE2(62), IB0(65) 또는 IB2(66)을 참조 리스트에 포함시킬 수 있다.
도 8은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 흐름도이다.
도 8을 참조하면, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하고, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단할 수 있다.
그리고, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다.
먼저, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처는 향상 계층의 현재 픽처에 상응하는 시간에 존재하는 참조 계층의 복원 픽처를 사용하여 계층 간 예측을 수행할 수 있다.
한편, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
더욱이, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수도 있다.
예를 들어, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단할 수 있다(S810). 즉, 향상 계층의 현재 픽처와 동일한 시점에 참조 계층의 복원 픽처가 존재하는지 확인할 수 있다.
향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 것으로 판단되면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 사용하여 계층 간 예측을 수행할 수 있다(S820).
향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 것으로 판단되면, 향상 계층의 현재 픽처와 다른 시간의 픽처를 참조 픽처로 사용할 것인지에 대한 신택스(syntax)인 inter_layer_pred_ext_enable_flag를 복호화한다.
inter_layer_pred_ext_enable_flag=1 인지 판단할 수 있다(S830). inter_layer_pred_ext_enable_flag=1이 아닌 경우, 향상 계층의 현재 픽처에 대해 인트라 예측을 수행할 수 있다(S840).
inter_layer_pred_ext_enable_flag=1인 경우에는 신택스 inter_layer_pred_ext_mode 값에 따라 어느 픽처를 사용하여 계층 간 예측을 수행할지 결정할 수 있다.
inter_layer_pred_ext_mode가 0 또는 1인지 각각 확인할 수 있다(S850, S870).
inter_layer_pred_ext_mode=0인 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S860). 즉, 동일 계층의 복원 픽처를 이용하여 인트라 예측 또는 인터 예측을 수행할 수 있다.
inter_layer_pred_ext_mode=1인 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S880).
inter_layer_pred_ext_mode=1이 아닌 경우(inter_layer_pred_ext_mode=2인 경우), 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S890).
도 9는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측에서 사용되는 신택스 요소에 대한 예시도이다.
도 9를 참조하면, 본 발명의 실시예에 따르면 신택스 요소인 inter_layer_pred_ext_enable_flag를 사용하여 다른 시간의 픽처를 참조 픽처로 사용할 것인지 결정할 수 있고, inter_layer_pred_ext_mode를 사용하여 어떤 픽처를 참조 픽처로 사용할 것인지 결정할 수 있다.
도 10은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 복호화 장치의 블록도이다.
도 10을 참조하면, 본 발명의 실시예에 따른 복호화 장치는, 참조 계층에 대한 복호화 장치(400)와 향상 계층에 대한 부호화 장치(500)를 포함한다. 또한, 보간부(610)를 포함한다.
각각의 복호화 장치(400, 500)는 엔트로피 복호화부(410, 510), 역양자화부(420, 520), 역변환부(430, 530), 가산부(440, 540), 인루프 필터부(450, 550), 프레임 메모리(460, 560), 인트라 예측부(470, 570) 및 움직임 보상부(480, 580)를 포함한다. 복호화 장치(400, 500)의 각 구성 요소는 도 1의 부호화 장치의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명은 생략한다.
예측부는 인트라 예측부(470, 570)와 움직임 보상부(480, 580)를 포함하여 인트라 예측 및 인터 예측을 수행할 수 있다.
본 발명의 실시예에 따른 복호화 장치의 예측부는 향상 계층의 현재 픽처에 대한 부호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다.
먼저, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
특히, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
그리고, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
상술한 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치는, 향상 계층에 대한 부호화 또는 복호화에 있어서, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있으며, 이를 통하여 부호화 효율을 향상시킬 수 있다.
또한, 상술한 본 발명의 실시예에 따른 부호화 장치 및 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
그리고, 본 발명에 따른 부호화 장치 및 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
20, 40, 60: IE0 21, 41, 61: IE1
22, 42, 62: IE2 23, 43, 63: IE3
24, 44, 64: IE4 25, 45, 65: IB0
26, 46, 66: IB2 27, 47, 67: IB4
100, 200: 부호화 장치 110, 210: 감산부
120, 220: 변환부 121, 221: 역변환부
130, 230: 양자화부 131, 231: 역양자화부
140, 240: 엔트로피 부호화부 150, 250: 가산부
160, 260: 인루프 필터부 170, 270: 프레임 메모리
180, 280: 인트라 예측부 190, 290: 움직임 보상부
310: 보간부 320: 멀티플렉서
410, 510: 엔트로피 복호화부 420, 520: 역양자화부
430, 530: 역변환부 440, 540: 가산부
450, 550: 인루프 필터부 460, 560: 프레임 메모리
470, 570: 인트라 예측부 480, 580: 움직임 보상부
610: 보간부

Claims (11)

  1. 다중 계층 비디오에 대한 부호화/복호화에 있어서,
    참조 계층에 대한 예측 부호화를 통하여 상기 참조 계층의 복원 픽처를 생성하는 단계;
    향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는지 판단하는 단계; 및
    상기 향상 계층의 픽처 또는 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  2. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  3. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  4. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  5. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  6. 다중 계층 비디오를 부호화/복호화 장치에 있어서,
    참조 계층에 대한 예측 부호화를 통하여 생성된 상기 참조 계층의 복원 픽처를 저장하는 프레임 버퍼; 및
    향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 상기 향상 계층의 픽처 또는 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 예측부를 포함하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  7. 청구항 6에 있어서,
    상기 참조 계층의 복원 픽처를 상기 향상 계층의 해상도에 상응하도록 보간하는 보간부를 더 포함하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  8. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  9. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  10. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  11. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
KR1020130119603A 2012-10-09 2013-10-08 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 KR20140048805A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120111928 2012-10-09
KR1020120111928 2012-10-09

Publications (1)

Publication Number Publication Date
KR20140048805A true KR20140048805A (ko) 2014-04-24

Family

ID=50477560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130119603A KR20140048805A (ko) 2012-10-09 2013-10-08 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치

Country Status (5)

Country Link
US (2) US9961363B2 (ko)
JP (1) JP2015536119A (ko)
KR (1) KR20140048805A (ko)
CN (2) CN104782129A (ko)
WO (1) WO2014058110A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628808B2 (en) * 2013-03-26 2017-04-18 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer VDR coding
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380980B2 (ja) * 1997-04-01 2003-02-24 ソニー株式会社 画像符号化方法、並びに画像復号方法および画像復号装置
CN1186944C (zh) * 1997-04-01 2005-01-26 索尼公司 图像编码器及其编码方法、图像译码器及其译码方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP2007525924A (ja) * 2004-03-04 2007-09-06 サムスン エレクトロニクス カンパニー リミテッド ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US20070014348A1 (en) * 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR101349837B1 (ko) 2006-09-07 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20110066523A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 스케일러블 비디오 디코딩 장치 및 방법
JP5539592B2 (ja) 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
EP2752000B1 (en) * 2011-08-31 2021-03-17 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
KR20130085088A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치

Also Published As

Publication number Publication date
US20150281732A1 (en) 2015-10-01
WO2014058110A1 (ko) 2014-04-17
US9961363B2 (en) 2018-05-01
US20180213252A1 (en) 2018-07-26
US10219001B2 (en) 2019-02-26
CN108540809A (zh) 2018-09-14
JP2015536119A (ja) 2015-12-17
CN104782129A (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
KR101894971B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US11388393B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
JP5335833B2 (ja) 複数層を使用するマルチメディア・データのスケーリング可能なエンコーディング及びデコーディングのためのシステム及び方法
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR101341993B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20130045785A (ko) 메모리 관리 방법 및 그를 이용한 복호화 장치
WO2011067883A1 (ja) 動画像符号化装置
US10219001B2 (en) Inter-layer prediction method for multi-layer video and device therefor
KR20100019088A (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101307406B1 (ko) 참조 프레임을 압축하여 저장하는 영상 부호화/복호화 장치
KR20130049604A (ko) 엔트로피 부호화에서 모드 전환 방법
KR20140048806A (ko) 공간 해상도에 기반한 계층 간 예측 장치 및 방법
KR20140038316A (ko) 디블록킹 필터를 이용한 계층 간 예측 방법 및 장치
KR20140038323A (ko) 다중 계층 비디오의 계층 간 참조 장치 및 방법
KR20140082915A (ko) 다중 계층 비디오의 계층 간 부호화/복호화 장치 및 방법
KR20140048807A (ko) 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 방법 및 그 장치
KR20140038319A (ko) 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법
KR20130050534A (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application