KR102294092B1 - 영상의 복호화 방법 및 이를 이용하는 장치 - Google Patents

영상의 복호화 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR102294092B1
KR102294092B1 KR1020140177008A KR20140177008A KR102294092B1 KR 102294092 B1 KR102294092 B1 KR 102294092B1 KR 1020140177008 A KR1020140177008 A KR 1020140177008A KR 20140177008 A KR20140177008 A KR 20140177008A KR 102294092 B1 KR102294092 B1 KR 102294092B1
Authority
KR
South Korea
Prior art keywords
layer
pictures
current picture
inter
information
Prior art date
Application number
KR1020140177008A
Other languages
English (en)
Other versions
KR20150081229A (ko
Inventor
이하현
강정원
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP21188128.9A priority Critical patent/EP3937494A1/en
Priority to CN201480017906.2A priority patent/CN105122799B/zh
Priority to EP14876965.6A priority patent/EP3086555B1/en
Priority to JP2016562715A priority patent/JP2017508417A/ja
Priority to US14/774,290 priority patent/US9967571B2/en
Priority to PCT/KR2014/012495 priority patent/WO2015102271A1/ko
Publication of KR20150081229A publication Critical patent/KR20150081229A/ko
Priority to US15/933,051 priority patent/US10326997B2/en
Priority to US15/933,010 priority patent/US10375400B2/en
Priority to US15/928,964 priority patent/US10291920B2/en
Priority to US15/933,040 priority patent/US10397584B2/en
Priority to JP2019039912A priority patent/JP2019134444A/ja
Priority to JP2021022000A priority patent/JP7490592B2/ja
Priority to KR1020210109939A priority patent/KR102423851B1/ko
Application granted granted Critical
Publication of KR102294092B1 publication Critical patent/KR102294092B1/ko
Priority to JP2023043188A priority patent/JP2023072090A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Machine Translation (AREA)

Abstract

본 발명의 일 실시예에 따른 복수의 계층을 지원하는 영상의 디코딩 방법은 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 수신하는 단계와; 상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 디코딩에 사용되는 유효 참조 계층 픽처의 개수를 유도하는 단계와; 상기 유효한 참조 계층 픽처의 개수를 기반으로 계층간 예측을 수행하는 단계를 포함할 수 있다.

Description

영상의 복호화 방법 및 이를 이용하는 장치{VIDEO DECODING METHOD AND APPARATUS USING THE SAME}
본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 비트스트림 내 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.
본 발명은 시간적 서브 계층을 포함하는 다수의 계층 구조의 영상 부호화된 비트스트림 내에 존재하는 계층 정보를 시그널링하는 방법, 계층간 예측 방법 및 타겟 출력 계층을 구하는 방법을 제공한다.
또한 본 발명은 세션 협상 등을 위해 비트스트림 내의 VPS에 기술된 계층 정보를 엔트로피 디코더가 없이 접근할 수 있는 방법 및 이를 이용하는 장치를 제공한다.
또한, 본 발명의 일 실시예는 현재 픽처의 디코딩에 필요한 계층간 참조 픽처의 유효한 개수를 파악하여 계층간 예측에 활용하는 방법 및 타켓 출력 계층을 구하는 방법 및 이를 이용하는 장치를 제공한다.
본 발명의 일 실시예인 복수의 계층을 지원하는 영상의 디코딩 방법은 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 수신하는 단계와; 상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 디코딩에 사용되는 유효 참조 계층 픽처의 개수를 유도하는 단계와; 상기 유효한 참조 계층 픽처의 개수를 기반으로 계층간 예측을 수행하는 단계를 포함할 수 있다.
상기 현재 픽처에 속하는 모든 슬라이스의 상기 유효한 참조 계층 픽처의 개수는 동일할 수 있다.
상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0인 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도될 수 있다.
상기 현재 픽처가 속해 있는 현재 계층에 대한 직접 참조 계층의 개수가 0 인 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도될 수 있다.
현재 계층에 대한 직접 참조 계층의 개수, 참조 계층의 최대 시간적 서브 계층 정보, 참조 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보 및 현재 픽처의 시간적 식별자를 고려하여 유도된 현재 픽처와 동일 액세스 유닛 내의 참조 계층 픽처 개수가 0인 경우, 상기 유효한 참조 계층의 개수는 0으로 유도될 수 있다.
상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 이용할 수 있는 참조 픽처의 개수가 0인 경우가 아니고, 상기 현재 픽처를 포함하는 계층에 대한 모든 직접 참조 계층들에 속하며 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 모든 직접 참조 계층 픽처들을 현재 픽처의 참조 계층 픽처들로 사용하는 경우, 상기 유효한 참조 계층 픽처의 개수는 상기 현재 계층에 대한 직접 참조 계층 개수를 나타내는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도될 수 있다.
상기 현재 픽처에 대한 직접 참조 계층 픽처들 중 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같고, 참조 계층에서 계층간 예측을 허용한 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자 보다 큰 경우에 해당하는 참조 계층의 픽처들의 개수를 현재 픽처의 디코딩을 위한 상기 유효한 참조 계층 픽처의 개수로 사용할 수 있다.
상기 현재 픽처의 디코딩에 계층간 예측이 사용되지 않는 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도될 수 있다.
최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되거나 상기 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수가 1이면, 상기 유효한 참조 계층 픽처의 개수는 1로 유도될 수 있다.
최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되거나 상기 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수가 1이면, 상기 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처 개수가 0보다 크면 상기 유효한 참조 계층 픽처의 개수는 1로 유도되고, 상기 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처 개수가 0이면 상기 유효한 참조 계층 픽처의 개수는 0으로 유도될 수 있다.
최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되거나, 상기 현재 픽처와 동일 액세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 1이면, 상기 유효한 참조 계층 픽처의 개수는 1로 유도될 수 있다.
상기 참조 계층에 대한 정보가 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 픽처의 개수를 나타내는 개수 정보를 포함하는 경우, 상기 유효한 참조 계층 픽처의 개수는 상기 개수 정보로 특정되는 값으로 유도될 수 있다.
본 발명의 일 실시예에 따르면, 시간적 서브 계층을 포함하는 다수의 계층 구조의 영상 부호화된 비트스트림 내에 존재하는 계층 정보를 시그널링하는 방법, 계층간 예측 방법 및 타겟 출력 계층을 구하는 방법이 제공된다.
또한, 본 발명의 일 실시예에 따르면 엔트로피 디코더를 갖지 않는 MANE(Media Aware Network Equipment)에서도 세션 협상등을 위해 비트스트림내에 존재하는 계층 정보를 접근할 수 있는 방법 및 이를 이용하는 장치가 제공된다.
또한, 본 발명에 따르면 현재 픽처의 디코딩에 필요한 계층간 참조 픽처의 유효한 개수를 정확하게 파악하여 계층간 예측에 활용하는 방법과 실제 원하는 출력 계층을 출력할 수 있는 방법 및 이를 이용하는 장치가 제공된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따른 영상의 복호화 방법을 설명하기 위한 제어 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 유효한 참조 계층 픽처의 개수를 유도하는 방법을 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적, 시점적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 부호화 순서, 영상 출력 순서, 프레임 레이트), 화질, 시점, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 기본 계층(Base layer)은 하위 계층 또는 참조 계층, 향상 계층(Enhancement layer)은 상위 계층을 의미할 수 있다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1향상계층 HD의 프레임 레이트를 줄여서 15Hz이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점적 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.
본 발명은 복수의 계층(layer) 또는 시점(view)을 포함하는 영상의 부, 복호화(en-/de-coding) 과정에 관한 것으로 상기 복수의 계층 또는 시점은 제1, 제2, 제3, 제n 계층 또는 시점으로 표현할 수 있다. 이하 설명에서는 제1 계층과 제2 계층이 존재하는 픽처를 예로 기술하며, 그 이상의 계층 또는 시점에도 동일한 방법으로 적용할 수 있다. 또한, 상기 제1 계층은 하위(base) 계층, 제2 계층은 상위(upper) 계층으로 표현할 수도 있다. 또한, 상기 제1 계층은 참조(reference) 계층, 제 2 계층은 향상(enhancement) 계층으로 표현될 수 있다.
제2 계층의 픽처/블록에 대응하는 제1 계층의 픽처/블록은 상기 제2 계층 픽처/블록의 크기에 맞게 변경할 수 있다. 즉, 제1 계층의 픽처/블록의 크기가 제2 계층의 픽처/블록 보다 작은 경우 업샘플링(up-sampling), re-sampling 등의 방법을 이용하여 스케일링(scaling)할 수 있다.
또한, 제1 계층의 픽처는 상기 제2 계층의 참조 픽처 리스트(reference picture list)에 추가하여 제2 계층의 영상 부/복호화에 이용될 수 있다. 이때, 제2 계층은 통상의 화면간 예측처럼 참조 픽처 리스트에 있는 제1 계층 영상을 이용하여 예측 및 부/복호화를 수행할 수 있다.
부/복호화를 위한 블록의 크기는 4x4, 8x8, 16x16, 32x32, 64x64 등 NxN 형태의 정사각형 또는 4x8, 16x8, 8x32 등의 NxM 형태의 직사각형 일 수 있으며, 블록의 단위는 부호화 블록(CB: Coding Block), 예측 블록(PB: Prediction Block), 변환 블록(TB: Transform Block) 중 적어도 하나 일 수 있으며 각각 서로 다른 크기를 가질 수 있다.
이하에서, 스케일러블 비디오, 즉 다계층 구조를 사용하는 영상의 부호화 및 복호화 방법 중 상위 계층의 부호화 및 복호화 대상이 되는 블록(이하 현재 블록 또는 대상 블록이라고 칭함)의 예측 블록, 즉 예측 신호를 생성하는 방법에 대하여 살펴본다. 이하 발명의 내용(방법 또는 장치)은 통상적으로 부호화기와 복호화기에 동일하게 적용될 수 있다.
한편, 현재 SHVC(Scalable High Efficiency Video Coding) 및 MV-HEVC(Multiview-High Efficiency Video Coding) 표준 초안에서, 비디오 파라미터 확장(video parameter set extension, VPS extension)에서 레이어 세트에 사용되는 프로파일, 티어 및 레벨을 나타내는 신택스 요소(profile_tier_level)는 표 1과 같이 기술(description)되어 있다.
Figure 112014119904418-pat00001
표 1을 참조하면, vps_num_profile_tier_level_minus1로 특정되는 값은 VPS 내의 profile_tier_level() 신택스 구조(syntax structures)의 개수를 나타낸다.
vps_profile_present_flag[i]이 “1”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보 (profile and tier information)가 존재하는 것을 나타내고, “0”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보가 존재하지 않고, 유추되는 것을 나타낸다.
profile_ref_minus1[i]는 i번째 profile_tier_level() 신택스 구조를 위한 프로파일 및 티어 정보는 (profile_ref_minus1[i]+1) 번째 profile_tier_level() 신택스 구조를 위한 프로파일 및 티어 정보와 동일한 것으로 유추되는 것을 나타낸다. 이 때, profile_ref_minus1[i]에 1을 더한 값은 i 와 같거나 작아야 한다.
표 1과 같은 현재 표준 초안에 따르면, i 가 1이고 vps_profile_present_flag[1] 가 0의 값을 가지는 경우, 1번째 profile_tier_level() 신택스 구조를 위한 프로파일 및 티어 정보는 (profile_ref_minus1[1]+1) 번째 profile_tier_level() 신택스 구조로부터 유추를 하여야 한다. 즉, “profile_ref_minus1[1]+1”의 값이 1과 같거나, 0을 가져야 한다. “profile_ref_minus1[1]+1”이 0이면 profile_ref_minus1[1]이 -1 값을 가지게 되어, u(6)로 부호화되는 profile_ref_minus1[i] 신택스 정의에 위배된다.
또한 (profile_ref_minus1[1]+1)이 “1”값을 가진다고 할 경우, 1번째 프로파일 및 티어 정보를 1번째 profile_tier_level 신택스 구조로부터 유추를 해야 하는 문제가 발생 할 수 있다.
이와 같은 문제점을 해결하기 위하여 상기 신택스에 대한 시멘틱스에 “첫 번째 profile_tier_level 신택스 구조(syntax structure)에 대해서는 항상 vps_profile_present_flag[1]가 1이 되어야 한다.”와 같은 제약을 추가할 수 있다. 이 경우, 표 1의 vps_profile_present_flag[i]에 대한 시멘틱스는 다음과 같이 표현될 수 있다.
vps_profile_present_flag[i]이 “1”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보 (profile and tier information)가 존재하는 것을 나타내고, vps_profile_present_flag[i]이 “0”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보가 존재하지 않고, 유추됨을 지시하는 것을 나타낼 수 있다. 첫 번째 profile_tier_level 신택스 구조를 위한 vps_profile_present_flag[1]는 1의 값을 가져야 한다.
또, 다른 실시예에 따르면, 위와 같은 문제점을 해결하기 위하여 표 2과 같은 시그널링 방법을 고려할 수 있다.
Figure 112014119904418-pat00002
표 2를 참조하면, vps_num_profile_tier_level_minus1로 특정되는 값은 VPS내의 profile_tier_level() 신택스 구조(syntax structures)의 개수를 나타낸다.
vps_profile_present_flag[i]가 “1”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보 (profile and tier information)가 존재하는 것을 나타내고, vps_profile_present_flag[i]가 “0”이면 i 번째 profile_tier_level() 신택스 구조 내에 프로파일 및 티어 정보가 존재하지 않고, i-1번째 profile_tier_level() 신택스 구조의 프로파일 및 티어 정보로부터 유추되는 것을 나타낸다. 첫 번째 profile_tier_level 신택스 구조를 위한 vps_profile_present_flag[1]는 1의 값을 가져야 한다.
표 2에 따를 경우, profile_ref_minus1[1]는 시그널링 되지 않는다.
본 발명의 또 다른 실시예에 따르면, 엔트로피 디코더가 없는 MANE(Media Aware Network Equipment)에서도 VPS extension을 파싱할 수 있도록 VPS의 신택스 구조를 변경할 수 있다. 표 3 내지 5는 본 발명의 여러 측면에 따른 VPS를 나타내고 있다.
Figure 112014119904418-pat00003
Figure 112014119904418-pat00004
Figure 112014119904418-pat00005
표 3을 참조하면, VPS에서 전송되는 신택스 요소 (syntax element) vps_extension_offset은 VPS NAL 유닛의 시작점에서부터 “avc_base_layer_flag” 신택스로 시작되는 고정 길이 부호화 정보(fixed length coded information)까지의 바이트 오프셋(byte offset)을 나타낸다.
vps_extension_offset에 의해 정의되는 바이트 오프셋은 VPS NAL 유닛 내의 엔트로피 디코딩을 필요로 하지 않으며 세션 협상(session negotiation)을 가능하게 하는 기본 정보들에게 접근할 수 있도록 한다.
예를 들어, 엔트로피 디코더가 없는 MANE(Media Aware Network Equipment)는 vps_extension_offset에 의해 기술되는 바이트 오프셋 값에 기초하여, 엔트로피 복호화가 필요치 않은 기본 정보들을 파싱하여 세션 협상에 사용할 수 있다.
엔트로피 디코더가 없는 MANE은 세션 협상을 위해 vps_extension_offset 정보에 기반하여 vps_extension_offset 이후의 정보를 엔트로피 디코딩하지 않고, 표 4의 VPS extension 내의 출력 레이어 세트 (output layer sets) 정보를 파싱하는 경우, 레이어 식별자 리스트 내의 레이어 개수를 의미를 나타내는 변수 NumLayersInIdList는 표 3의 vps_extension_offset 이후에 기술되는 레이어 세트(layer sets)에 대한 정보, 즉, layer_id_included_flag[i][j]로부터 계산되는 값으로 엔트로피 디코딩되어야 한다.
엔트로피 디코딩 없이, VPS extension 내의 출력 레이어 세트 정보를 세션 협상 등에 사용할 수 있도록 표 5에서와 같이, VPS extension 내에 레이어 세트(layer sets)에 대한 정보를 기술할 수 있다.
한편, 표 5의 VPS extension 내에 기술되는 레이어 세트(layer sets) 관련 신택스 요소들의 의미(semantics)는 다음과 같다.
vps_maximum_layer_id는 VPS에서 기술되는 vps_max_layer_id와 동일하게 CVS내의 모든 NAL 유닛에서 허용되는 최대 nuh_layer_id 값을 나타내며, VPS에서 기술되는 vps_max_layer_id와 동일한 값을 가질 수 있다.
vps_number_layer_sets_minus1로 특정되는 값은 레이어 세트의 개수를 나타내면, vps_vui_offset 이전 시그널링 될 수 있다.
VPS에서 기술되는 layer_id_included_flag[i][j]와 동일하게 layer_id_nuh_included_flag[i][j]가 1이면 j와 동일한 nuh_layer_id 값이 레이어 식별자 리스트(layer identifier list, layerSetLayerIdList[i])에 포함되는 것을 나타내고, layer_id_nuh_included_flag[i][j]가 0이면 j와 동일한 nuh_layer_id 값이 레이어 식별자 리스트(layerSetLayerIdList[i])에 포함되지 않는 것을 나타낸다. layer_id_nuh_included_flag[i][j]는 VPS에서 기술되는 layer_id_included_flag[i][j]와 동일한 값을 가져야 한다.
1부터 vps_number_layer_sets_minus1까지의 값을 가질 수 있는 i에 대한 numLayersInIdList[i]와 레이어 식별자 리스트 (layerSetLayerIdList[i])는 아래와 같이 구할 수 있다.
n=0
for ( m = 0; m <= vps_maximum_layer_id; m++)
if (layer_id_nuh_included_flag[i][m])
layerSetLayerIdList[i][n++] = m
numLayersInIdList[i] = n
다계층 기반의 영상 부호화 복호화 방법에서는 VPS extension에 기술된 layer_id_nuh_included_flag[i][j]를 기반으로 VPS VUI 비트스트림 분할 HRD (VPS Video usability information bitstream partition hypothetical reference decoder) 파라메터 신택스, 비트스트림 분할 HRD (Bitstream partition HRD) 파라메터 SEI 메시지(supplemental enhancement information message) 신택스 등을 기술하거나, 레이어 세트 관련 정보를 해석할 수 있다.
본 발명의 또 다른 실시예에 따르면, 표 6과 같이 VPS extension 내에 레이어 세트(layer sets)에 대한 정보를 기술할 수 있다.
Figure 112014119904418-pat00006
표 6은 VPS extension 내의 레이어 세트(layer sets)에 대한 정보를 나타내고 있으며, 이러한 VPS extension 내의 출력 레이어 세트 정보는 이용하여 엔트로피 디코딩 없이 세션 협상 등이 수행될 수 있다.
레이어 세트 관련 신택스(vps_maximum_layer_id, vps_number_layer_sets_minus1, layer_id_nuh_included_flag[i][j])는 신택스 요소 vps_vui_offset 위에 기술될 수 있다.
추가적으로, 계층간 종속성 여부를 알려주는 신택스 요소 direct_dependency_flag의 위치를 vps_vui_offset 위로 변경시킬 수 있다. 이 경우, vps_vui_offset 이후의 신택스 요소를 파싱하지 않더라도 vps_vui_offset 값을 사용하여 vps_vui에 대한 정보를 파악할 수 있다.
또 다른 실시예에 따라, 표 7과 같이 VPS extension 내에 레이어 세트(layer sets)에 대한 정보를 기술할 수 있다.
Figure 112014119904418-pat00007
표 7을 참조하면, VPS 내에 존재하는 레이서 세트 관련 신택스 요소들의 위치는 vps_extension_offset 이전에 위치될 수 있다.
기존에 가변적인 비트수 ue(V)로 부호화되던 vps_num_layer_sets_minus1은 엔트로피 디코딩을 피하기 위해 고정 비트수 u(10)로 부호화될 수 있으며, VPS extension에서 기술되고 있는 동일한 기능의 vps_number_layer_sets_minus1은 삭제될 수 있다.
한편, VPS VUI에서 기술되는 비디오 시그널링 정보는 세션 협상에 사용될 수 있는 정보이며, VPS VUI는 표 8과 같을 수 있다.
Figure 112014119904418-pat00008
표 8을 참고하면, video_signal_info_idx_present_flag가 1이면 신택스 요소 vps_num_video_signal_info_minus1과 vps_video_signal_info_idx[i]가 존재하는 것을 나타내고, video_signal_info_idx_present_flag가 0이면 신택스 요소 vps_num_video_signal_info_minus1과 vps_video_signal_info_idx[i]가 존재하지 않는 것을 나타낸다.
vps_num_video_signal_info_minu1에 1은 더한 값은 VPS 내 video_signal_info() 신택스 구조(syntax structures)의 개수를 나타낸다. vps_num_video_signal_info_minu1가 존재하지 않는 경우, vps_num_video_signal_info_minus1의 개수는 MaxLayersMinus1의 값과 동일한 것으로 유추된다.
vps_video_signal_info_idx는 layer_id_in_nuh[i]와 같은 nuh_layer_id를 가지는 계층에 적용되는 video_signal_info() 신택스 구조 리스트의 인덱스를 나타낸다. vps_video_signal_info_idx가 존재하지 않는 경우, vps_video_signal_info_idx[i]는 (video_signal_info_idx_present_flag ? 0 : i)으로 유추된다. vps_video_signal_info_idx[i]는 0에서부터vps_num_video_signal_info_minus1 범위에 존재할 수 있다.
현재 SHVC 및 MV-HEVC 표준 초안에서는 표 8와 같이 비디오 시그널링 정보 이전에 지수 골롬(Exp-golomb) 코드(ue(v))로 부호화된 신택스 요소들이 존재하기 때문에, 엔트로피 디코더가 없는 MANE에서는 비디오 시그널링 정보(를 세션 협상에 사용할 수 없는 문제가 발생할 수 있다.
이러한 문제점을 해결하기 위하여, 즉 VPS VUI내의 비디오 시그널링 정보를 엔트로피 디코딩 없이 세션 협상에 사용하기 위해 표 9와 같이 엔트로피 디코딩 없이 접근 가능한 위치에서 비디오 시그널링 정보가 기술될 수 있다.
Figure 112014119904418-pat00009
표 9와 같이 엔트로피 디코딩 없이 비디오 시그널링 정보에 접근하기 위해서, VPS_VUI 내 비트 레이트(bit_rate) 및 픽처 레이트(pic_rate) 관련 신택스 요소들(bit_rate_present_vps_flag, pic_rate_present_vps_flag, bit_rate_present_flag, pic_rate_present_flag 등) 다음에 비디오 시그널링 정보와 관련된 신택스를 기술할 수 있다.
즉, 비디오 시그널 정보(video_signal_info)의 개수와 비디오 시그널 정보의 인덱스를 지시하는 신호의 존재 여부를 지시하는 플래그 정보, 즉 video_signal_info_idx_present_flag를 고정된 비트를 이용하여 시그널링 되는 신호들 다음에 수신함으로써 엔트로피 디코딩 없이 비디오 시그널링 정보에 접근할 수 있다.
한편, 본 발명의 일 측면은 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 구하는 다양한 방법을 제안한다.
제1 방법
계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 나타내는 변수 ‘NumActiveRefLayerPics’는 아래와 같이 구할 수 있다. 제1 방법에 따를 경우, 픽처의 모든 슬라이스는 동일한 ‘NumActiveRefLayerPics’ 값을 갖는 것으로 한정될 수 있다.
(1) 현재 픽처가 속해 있는 계층의 레이어 식별자에 해당하는 ‘nuh_layer_id’ 가 0이거나, 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수 ‘NumDirectRefLayers’ 가 0 인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 0으로 설정할 수 있다. 즉, 레이어가 베이스 레이어이거나, 직접적으로 참조하는 레이어의 개수가 0이면, 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수는 0으로 설정된다.
(2) 그렇지 않고 만약(else if), VPS extension에서 기술되는 신택스 요소 ‘all_ref_layers_active_flag’ 값이 1 인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 수학식 1, 수학식 2 또는 수학식 3 으로부터 구해진 변수 ‘numRefLayerPics’의 값으로 설정될 수 있다.
all_ref_layers_active_flag가 1이면 비디오 파라미터 세트를 참조하고 있는 각 픽처들에 대해, 해당 픽처를 포함하는 계층의 모든 직접 참조 계층들에 속하는 직접 참조 계층 픽처들 중, 현재 픽처와 동일한 억세스 유닛에 존재하고 해당 픽처의 계층간 참조 픽처 세트에 포함된 모든 직접 참조 픽처들이 계층간 예측에 사용됨을 나타낸다. 동일 억세스 유닛 존재 여부 및 계층간 참조 픽처 세트 포함 여부는 각 계층의 최대 시간 서브 계층 정보(sub_layers_vps_minus1[i])와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값(max_tid_il_ref_pics_plus1[i][j])으로 지시될 수 있다.
all_ref_layers_active_flag가 0이면 상기 제약이 적용되거나 적용되지않을 수 있음을 나타낸다.
이러한 all_ref_layers_active_flag는 default_ref_layers_active_flag와 같은 신택스로 표현될 수도 있다.
현재 픽처와 동일 억세스 유닛내에 계층간 예측을 위해 사용할 수 있는 참조 계층 픽처들의 개수를 지시하는 변수 ‘numRefLayerPics’는 다음과 같이 유도될 수 있다.
Figure 112014119904418-pat00010
수학식 1을 참조하면, 변수 ‘NumDirectRefLayers[]’는 VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 나타낸다.
‘sub_layers_vps_max_minus1[i]’는 각 계층의 최대 시간 서브 계층 정보를 나타내고, ‘max_tid_il_ref_pics_plus1[i][j]’는 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 나타내며,‘TemporalId’는 현재 픽처의 시간적 식별자를 나타낸다.
수학식 1에 따르면, 현재 픽처를 포함하고 있는 계층의 직접 참조 계층들 중, 참조 계층의 ‘sub_layers_vps_max_minus1[i]’ 값이 현재 픽처의 ‘TemporalId’ 값보다 크거나 같고, 현재 계층에 대한 참조 계층의 ‘max_tild_il_ref_pics_plus1[i][j]’값이 현재 픽처의 시간적 식별자‘TemporalId’ 값보다 큰 참조 계층의 픽처들만 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 직접 참조 계층 픽처들로 간주될 수 있다.
한편, 신택스 요소 ‘max_tid_il_ref_pics_plus1[i][j]’ 가 ‘0’인 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 IRAP가 아닌 픽처(non- intra random access point picture)는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’값을 갖는 픽처에 대해 계층간 예측을 위한 참조 픽처로 사용할 수 없다. 이러한 제약 사항을 반영하기 위해 수학식 1은 하기 수학식 2로 대체될 있다.
Figure 112014119904418-pat00011
수학식 2에서, 변수 ‘NumDirectRefLayers[]’는 VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 나타낸다.
‘sub_layers_vps_max_minus1[i]’는 각 계층의 최대 시간 서브 계층 정보를 나타내고, ‘max_tid_il_ref_pics_plus1[i][j]’는 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 나타내며,‘TemporalId’는 현재 픽처의 시간적 식별자를 나타낸다.
수학식 2에 의하면, 현재 픽처를 포함하고 있는 계층의 직접 참조 계층들 중, ‘max_tid_il_ref_pics_plus1[i][j]’ 값이 ‘0’인 경우, 현재 픽처의 시간적 식별자‘TemporalId’ 값과 참조 계층의 ‘max_tid_il_ref_pics_plus1[i][j]’ 값이 ‘0’으로 같고, 참조 계층의 ‘sub_layers_vps_max_minus1[i]’ 값이 현재 픽처의 시간적 식별자‘TemporalId’ 값보다 크거나 같은 참조 계층의 픽처들만 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주될 수 있다. 이 경우 참조 계층의 픽처는 IRAP 픽처인 것으로 제약을 둘 수 있다.
‘max_tid_il_ref_pics_plus1[i][j]’가 ‘0’보다 큰 경우, 참조 계층의 ‘sub_layers_vps_max_minus1[i]’ 값이 현재 픽처의 시간적 식별자‘TemporalId’ 값보다 크거나 같고, 참조 계층의 ‘max_tild_il_ref_pics_plus1[i][j]’값이 현재 픽처의 시간적 식별자‘TemporalId’ 값보다 큰 참조 계층의 픽처들만 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주될 수 있다.
다른 실시예에 따르면, 신택스 요소 ‘max_tid_il_ref_pics_plus1[i][j]’ 가 ‘0’인 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 IRAP가 아닌 픽처(non- intra random access point picture)는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’값을 갖는 픽처에 대해 계층간 예측을 위한 참조 픽처로 사용할 수 없다. 이러한 제약 사항을 반영하기 위해 수학식 1은 하기 수학식 3로 대체될 있다.
Figure 112014119904418-pat00012
수학식 3에서, 변수 ‘NumDirectRefLayers[]’는 VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 나타낸다.
‘sub_layers_vps_max_minus1[i]’는 각 계층의 최대 시간 서브 계층 정보를 나타내고, ‘max_tid_il_ref_pics_plus1[i][j]’는 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 나타내며,‘TemporalId’는 현재 픽처의 시간적 식별자를 나타낸다.
수학식 3에 의하면, 참조 계층의 ‘sub_layer_vps_max_minus1[i]’값이 현재 픽처의 시간적 식별자 ‘TemporalId’값보다 크거나 같으면서, 현재 픽처의 시간적 식별자 ‘TemporalId’ 값이 ‘0’을 갖거나 참조 계층의 ‘max_tid_il_ref_pics_plus1[i][j]’값이 현재 픽처의 시간적 식별자 ‘TemporalId’ 값보다 큰 경우에만 해당 참조 계층의 픽처를 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주될 수 있다.
(3) 그렇지 않고 만약(else if), 현재 픽처의 슬라이스 세그먼트 헤더에서 기술된 신택스 요소 ‘inter_layer_pred_enabled_flag’이 ‘0’ 인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다. inter_layer_pred_enabled_flag는 현재 픽처의 디코딩에 계층간 예측이 사용되는지 여부를 나타낸다.
(4) 그렇지 않고 만약(else if), VPS에서 기술된 신택스 요소 ‘max_one_active_ref_layer_flag’이 1 이거나, 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수 ‘NumDirectRefLayers’가 1인 경우에는, 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’가 ‘0’보다 크면 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘1’ 로 설정될 수 있다. 만약, 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’가 ‘0’이면 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다.
‘max_one_active_ref_layer_flag’값이 ‘1’이면 최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되는 것을 나타내고, ‘max_one_active_ref_layer_flag’값이 ‘0’이면 하나 이상의 픽처가 계층간 예측을 위하여 사용될 수 있는 것을 나타낸다.
(5) (1) 내지 (4)의 모든 조건을 만족하지 않는 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 슬라이스 세그먼트 헤더에서 전송되는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’에 ‘1’을 더한 값으로 설정될 수 있다.
(6) (1) 내지 (5)에서 numRefLayerPics는 해당 계층의 nuh_layer_id 값이 ‘k’이고 시간적 서브 계층 식별자인 TemporalId 값이 ‘m’인 경우에 numRefLayerPics[k][m]과 같이 표현될 수 있으며, 수학식 4 또는 수학식 5로부터 계산될 수 있다.
비트스트림에 포함된 전체 계층에 대해 각 계층의 서브 계층 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들의 개수를 지시하는 변수 ‘numRefLayerPics’를 VPS 레벨에서 유도하기 위한 수학식 1은 수학식 4 또는 수학식 5로 대체될 수 있다. 이 경우, ‘numRefLayerLayerPics’ 는 ‘numRefLayerPics[nuh_layer_id][TemporalId]’ 로 대체될 수 있다.
Figure 112014119904418-pat00013
수학식 4에서, 변수 ‘NumDirectRefLayers[]’는 VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 나타낸다.
‘sub_layers_vps_max_minus1[i]’는 각 계층의 최대 시간 서브 계층 정보를 나타내고, ‘max_tid_il_ref_pics_plus1[i][j]’는 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 나타내며, vps_max_sub_layers_minus1’는 VPS에 기술된 전체 계층에서 허용 가능한 최대 서브 계층 정보를 나타낸다.
수학식 4의 참조 계층 픽처들에 대한 ‘layer_id_in_nuh’는 VCL NAL 유닛 헤더에 존재하는 ‘nuh_layer_id’ 값을 의미한다.
수학식 4에 따르면, 우선 상위 레벨(예를 들어, VPS)에서 각 계층(0 ~ vps_max_layers_minus1)을 대상으로 0에서부터 ‘vps_max_sub_layers_minus1’ 까지 tid(Temporal)값을 갖는 서브 계층들에 대하여 직접 참조 계층으로부터 참조 가능한 서브 계층의 존재 여부가 판단된다.
판단 결과, 참조 가능한 서브 계층이 존재 하는 경우, 해당 서브 계층에 대한 ‘layer_id_in_nuh’값을 RefLayerIdListForTid[[ lId ][ tId ][ k++ ]에 대입을 할 수 있다. numRefLayerPics[lId][tId]는 lId 계층에 대해 tId 값을 갖는 서브 계층이 갖는 참조 가능한 서브 계층의 수를 의미한다.
참조 가능한 서브 계층의 존재 여부는 참조 계층의 ‘sub_layers_vps_max_minus1[]’값이 현재 픽처의 ‘TemporalId(tId)’ 값보다 크거나 같고, 참조 계층의 ‘max_tild_il_ref_pics_plus1[][]’값이 현재 픽처의 ‘TemporalId(tId)’값보다 크거나 현재 픽처의 TemporalId(tId) 값이 0 인 경우, 해당 참조 계층의 픽처들만 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처로 판단될 수 있다.
Figure 112014119904418-pat00014
수학식 5에서, 변수 ‘NumDirectRefLayers[]’는 VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 나타낸다.
‘sub_layers_vps_max_minus1[i]’는 각 계층의 최대 시간 서브 계층 정보를 나타내고, ‘max_tid_il_ref_pics_plus1[i][j]’는 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 나타낸다.
수학식 5의 참조 계층 픽처들에 대한 ‘layer_id_in_nuh’는 VCL NAL 유닛 헤더에 존재하는 ‘nuh_layer_id’ 값을 의미한다.
수학식 5에 따르면, 우선 상위 레벨(예를 들어, VPS)에서 각 계층(0 ~ vps_max_layers_minus1)을 대상으로 0에서부터 각 계층의 최대 시간 서브 계층 ‘sub_layers_vps_max_minus1’까지 tid(Temporal)값을 갖는 서브 계층들에 대하여 직접 참조 계층으로부터 참조 가능한 서브 계층의 존재 여부가 판단된다.
판단 결과, 참조 가능한 서브 계층이 존재 하는 경우, 해당 서브 계층에 대한 ‘layer_id_in_nuh’값을 RefLayerIdListForTid[[ lId ][ tId ][ k++ ]에 대입을 할 수 있다. numRefLayerPics[lId][tId]는 lId 계층에 대해 tId 값을 갖는 서브 계층이 갖는 참조 가능한 서브 계층의 수를 의미한다.
참조 가능한 서브 계층의 존재 여부는 참조 계층의 ‘sub_layers_vps_max_minus1[]’값이 현재 픽처의 ‘TemporalId(tId)’ 값보다 크거나 같고, 참조 계층의 ‘max_tild_il_ref_pics_plus1[][]’값이 현재 픽처의 ‘TemporalId(tId)’값보다 크거나 현재 픽처의 TemporalId(tId) 값이 0 인 경우, 해당 참조 계층의 픽처들만 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처로 판단될 수 있다.
제2 방법
계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 아래와 같이 유도될 수도 있다. 픽처의 모든 슬라이스는 동일한 ‘NumActiveRefLayerPics’ 값을 갖는 것으로 한정될 수 있다.
(1) 현재 픽처가 속해 있는 계층의 ‘nuh_layer_id’ 가 0의 값을 갖거나, 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’의 값이 ‘0’인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다.
(2) 그렇지 않고 만약(else if), VPS에서 기술된 신택스 요소 ‘all_ref_layers_active_flag’ 값이 1 인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’의 값과 같도록 설정될 수 있다.
(3) 그렇지 않고 만약(else if), 현재 픽처의 슬라이스 세그먼트 헤더에서 기술된 신택스 요소 ‘inter_layer_pred_enabled_flag’가 ‘0’이면, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다.
(4) 그렇지 않고 만약(else if), VPS에서 기술된 신택스 요소 ‘max_one_active_ref_layer_flag’가 1 이거나, 현재 픽처가 속해 있는 계층의 직접 참조 계층의 수 ‘NumDirectRefLayers’가 1인 경우, 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘1’ 로 설정될 수 있다.
(5) (1) 내지 (4)의 모든 조건을 만족하지 않는 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 슬라이스 세그먼트 헤더에서 전송되는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’에 ‘1’을 더한 값으로 설정될 수 있다.
(6) (1) 내지 (5)의 numRefLayerPics는 해당 계층의 nuh_layer_id 값이 ‘k’이고 시간적 서브 계층 식별자인 TemporalId 값이 ‘m’인 경우에 numRefLayerPics[k][m] 과 같이 표현될 수 있으며, 수학식 4 또는 수학식 5로부터 유도될 수 있다.
제3 방법
또 다른 예로, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 아래와 같이 유도될 수도 있다. 픽처의 모든 슬라이스는 동일한 ‘NumActiveRefLayerPics’ 값을 갖는 것으로 한정될 수 있다.
(1) 현재 픽처가 속해 있는 계층의 ‘nuh_layer_id’ 가 0의 값을 갖거나, 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’의 값이 ‘0’인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다.
(2) 그렇지 않고 만약(else if), VPS에서 기술된 신택스 요소 ‘all_ref_layers_active_flag’ 값이 1 인 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 수학식 1, 수학식 2 또는 수학식 3으로부터 구해진 변수 ‘numRefLayerPics’의 값과 같도록 설정될 수 있다.
(3) 그렇지 않고 만약(else if), 현재 픽처의 슬라이스 세그먼트 헤더에서 기술된 신택스 요소 ‘inter_layer_pred_enabled_flag’가 ‘0’이면, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘0’으로 설정될 수 있다.
(4) 그렇지 않고 만약(else if), VPS에서 기술된 신택스 요소 ‘max_one_active_ref_layer_flag’ 값이 1 이거나, 수학식 1, 수학식 2 또는 수학식 3으로부터 변수 ‘numRefLayerPics’ 값이 ‘1’인 경우, 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 ‘1’ 로 설정될 수 있다.
(5) (1) 내지 (4)의 모든 조건을 만족하지 않는 경우, 계층간 예측을 위해 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수 ‘NumActiveRefLayerPics’는 슬라이스 세그먼트 헤더에서 전송되는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’에 ‘1’을 더한 값으로 설정될 수 있다.
(6) (1) 내지 (5)의 numRefLayerPics는 해당 계층의 nuh_layer_id 값이 ‘k’이고 시간적 서브 계층 식별자인 TemporalId 값이 ‘m’인 경우에 numRefLayerPics[k][m] 과 같이 표현될 수 있으며, 수학식 4 또는 수학식 5로부터 유도될 수 있다.
한편, VPS extension에 기술된 신택스 요소로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수 ‘NumDirectRefLayers[]’, 각 계층의 최대 시간 서브 계층 정보를 지시하는 신택스 요소 ‘sub_layers_vps_max_minus1[i]’, 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 지시하는 신택스 요소 ‘max_tid_il_ref_pics_plus1[i][j]’ 정보, 현재 픽처의 시간 정보 ‘TemporalId’를 이용하여 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들의 개수를 지시하는 변수 ‘numRefLayerPics’를 유도하는 경우, 계층간 예측에 사용되는 픽처에 관한 정보들을 시그널링하는 슬라이스 세그먼트 헤더는 아래 <표 10>과 같이 기술할 수 있다.
Figure 112014119904418-pat00015
표 10을 참조하면, ‘nuh_layer_id’ 가 0 보다 크고, VPS extension에서 기술된 신택스 요소 ‘all_ref_layers_active_flag’가 0 이고, 수학식 1 또는 수학식 2로부터 유도된 ‘numRefLayerPics’의 값이 ‘0’보다 큰 경우에만, 계층간 참조 픽처에 대한 정보(inter-layer_pred_enabled_flag)가 시그널링 될 수 있다.
또한, 신택스 요소 ‘inter_layer_pred_enabled_flag’ 가 1이고, ‘numRefLayerPics’의 값이 ‘1’보다 큰 경우에만, 계층간 참조 픽처의 개수 정보를 지시하는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’ 및 계층간 참조 픽처를 지시하는 신택스 요소 ‘inter_layer_pred_layer_idc[ i ]’가 시그널링 될 수 있다.
상기 조건에서 VPS extension에서 기술된 신택스 요소 ‘max_one_active_ref_layer_flag’가 1 인 경우에는 계층간 참조 픽처의 개수를 지시하는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’ 는 시그널링 되지 않을 수 있다.
상기 조건에서 ‘NumActiveRefLayerPics’와 ‘numRefLayerPics’의 값이 동일할 경우에는 계층간 참조 픽처를 지시하는 신택스 요소 ‘inter_layer_pred_layer_idc[i]’ 는 시그널링 되지 않을 수 있다.
신택스 요소 ‘inter_layer_pred_layer_idc[i]’는 0에서부터 현재 픽처가 속해있는 계층의 ‘NumDirectRefLayers-1’ 까지의 값을 가질 수 있으며, ‘inter_layer_pred_layer_idc[i]’ 이 시그널링 되지 않는 경우에는 수학식 1 또는 수학식 2로부터 유도된 ‘refLayerPicIdc[i]’와 같은 것으도 유추될 수 있다.
이 때, 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처에 대한 정보는 아래와 수학식 6과 같이 유도될 수 있다. ‘nuh_layer_id’는 현재 픽처의 ‘nuh_layer_id’ 값이며, RefLayerId[][]는 참조 계층의 ‘layer_id_in_nuh[]’ 값을 갖는다.
Figure 112014119904418-pat00016
한편, 다른 예로 수학식 4 또는 수학식 5를 이용하여 ‘numRefLayerPics’를 유도하는 경우, 계층간 예측에 사용되는 픽처에 관한 정보들을 시그널링하는 슬라이스 세그먼트 헤더는 아래 <표 11>과 같이 기술할 수 있다.
표 11에서 nuh_layer_id 는 현재 디코딩 대상 픽처의 NAL 헤더에 기술된 계층 식별자 정보이며 TemporalId는 현재 디코딩 대상 픽처의 시간 정보, 즉 서브 레이어 계층 정보를 나타낸다.
Figure 112014119904418-pat00017
표 11을 참조하면,‘nuh_layer_id’ 가 0 보다 크고, VPS extension에서 기술된 신택스 요소 ‘all_ref_layers_active_flag’가 0 이고, 수학식 4 또는 수학식 5로부터 유도된 ‘numRefLayerPics[nuh_layer_id][TemporalId]’의 값이 ‘0’보다 큰 경우에만, 계층간 참조 픽처에 대한 정보(inter-layer_pred_enabled_flag)가 시그널링 될 수 있다.
또한, 신택스 요소 ‘inter_layer_pred_enabled_flag’ 가 1이고, ‘numRefLayerPics[nuh_layer_id][TemporalId]’의 값이 ‘1’보다 큰 경우에만, 계층간 참조 픽처의 개수 정보를 지시하는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’ 및 계층간 참조 픽처를 지시하는 신택스 요소 ‘inter_layer_pred_layer_idc[ i ]’가 시그널링 될 수 있다.
상기 조건에서 VPS extension에서 기술된 신택스 요소 ‘max_one_active_ref_layer_flag’가 1 인 경우에는 계층간 참조 픽처의 개수를 지시하는 신택스 요소 ‘num_inter_layer_ref_pics_minus1’ 는 시그널링 되지 않을 수 있다. ‘num_inter_layer_ref_pics_minus1’은 0에서부터 수학식 4 또는 수학식 5로부터 유도된 ‘numRefLayerPics[nuh_layer_id][TemporalId]-1’ 값을 가질 수 있다.
상기 조건에서 ‘NumActiveRefLayerPics’와 ‘numRefLayerPics[nuh_layer_id][TemporalId]’의 값이 동일할 경우에는 계층간 참조 픽처를 지시하는 신택스 요소 ‘inter_layer_pred_layer_idc[i]’ 는 시그널링 되지 않을 수 있다.
신택스 요소 ‘inter_layer_pred_layer_idc[i]’는 0에서부터 현재 픽처가 속해있는 계층의 ‘numRefLayerPics[nuh_layer_id][TemporalId]’ -1’까지의 값을 가질 수 있으면 ‘inter_layer_pred_layer_idc[i]’가 시그널링 되지 않는 경우에는 인덱스 ‘i’값과 같음으로 유추될 수 있다.
이 때, 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처에 대한 정보는 아래와 수학식 7과 같이 유도될 수 있다. ‘nuh_layer_id’는 현재 픽처의 ‘nuh_layer_id’ 값이며, RefLayerIdListForTid[][]는 수학식 4 또는 수학식 5로부터 유도된 참조 계층의 ‘layer_id_in_nuh[]’ 값을 갖는 변수이다.
Figure 112014119904418-pat00018
한편, 현재 SHVC 및 MV-HEVC 표준 초안에서는 타겟 디코딩 계층에 대한 정보(TargetDecLayerIdList)와 타겟 출력 계층에 대한 정보(TargetOptLayerIdList)는 수학식 8과 같이 유도된다.
Figure 112014119904418-pat00019
수학식 8을 참조하면, 변수 TargetOptLayerSetIdx는 타겟 출력 레이어 세트 인덱스를 나타내며, VPS extension에서 기술되는 신택스 요소 output_layer_set_idx_minus1[]에 의해 레이어 세트(layer sets) 인덱스로 변환될 수 있다.
NumLayersInIdList는 레이어 세트에 포함되어 있는 계층의 수를 나타내며, TargetDecLayerIdList는 레이어 세트에 포함되어 디코딩되어야 하는 계층의 nuh_layer_id 값을 지시한다. TargetOptLayerIdList는 레이어 세트에 포함되어 출력되어야 하는 계층의 nuh_layer_id 값을 지시한다.
output_layer_flag가 1인 계층의 nuh_layer_id 만이 TargetOptLayerIdList 에 포함될 수 있다.
output_layer_flag[][]는 VPS extension에서 출력 레이어 세트(output layer set) 단위로 시그널링 된다.
하지만, 수학식 8에서는 출력 레이어 세트(output layer set) 단위가 아닌 레이어 세트(layer set) 단위로 ouput_layer_flag 값을 판단하고 있어, 출력되는 계층의 정보를 정상적으로 식별할 수 없는 문제가 발생할 수 있다.
또한, i 가 0부터 vps_number_layer_sets_minus1 범위의 값을 갖는 i 번째 출력 레이어 세트(output layer set)에 대한 output_layer_flag[i][j]를 명시를 하고 있지 않아, 출력되는 계층의 정보를 정상적으로 식별할 수 없는 문제가 발생할 수 있다.
위와 같은 문제를 해결하기 위해, 타겟 디코딩 계층에 대한 정보(TargetDecLayerIdList)와 타겟 출력 계층에 대한 정보(TargetOptLayerIdList)를 유도하기 위한 수학식 8을 수학식 9와 같이 변경할 수 있다.
수학식 9를 이용하여 i 가 0부터 vps_number_layer_sets_minus1 범위의 값을 갖는 i 번째 출력 레이어 세트(output layer set)에 대한 output_layer_flag[i][j] 값이 명시될 수 있다.
Figure 112014119904418-pat00020
수학식 9에서, output_layer_flag[i][j]이 1이면 i번째 출력 레이어 세트내에 j 번째 계층이 타겟 출력 계층임을 나타낸고, output_layer_flag[i][j]이 0이면 i번째 출력 레이어 세트 내에 j 번째 계층이 타겟 출력 계층이 아닌 것을 나타낸다.
타겟 출력 레이어 세트 인덱스(TargetOptLayerSetIdx)가 지시하는 출력 레이어 세트 내의 j번째 레이어의 출력 여부를 지시하는 출력 레이어 플래그(output_layer_flag)가 1이면, 타겟 출력 계층에 대한 정보를 담고 있는 타겟 출력 레이어 아이디 리스트(TargetOptLayerIdList)는타켓 디코딩 레이어 세트 인덱스(TargetDecLayerSetIdx)가 지시하는 레이어 세트 내의 j번째 레이어의 layer_id 값으로 구성될 수 있다.
타켓 디코딩 레이어 세트 인덱스(TargetDecLayerSetIdx)는 비디오 파라미터세트에서 시그널링되는 출력 레이어 세트 인덱스 정보로부터 특정될 수 있다.
타겟 디코딩 계층에 대한 정보를 담고 있는 타겟 디코딩 레이어 아이디 리스트(TargetDecLayerIdList)는 타켓 디코딩 레이어 세트 인덱스(TargetDecLayerSetIdx)가 지시하는 레이어 세트 내의 j번째 레이어의 layer_id 값으로 구성될 수 있다.
i 가 0부터 vps_number_layer_sets_minus1 범위의 값을 갖는 i 번째 출력 레이어 세트(output layer set)에 대한 output_layer_flag[i][j]는 아래 (a)와 (b)와 같이 유추될 수 있음을 표준 문서 상에 명시할 수 있다.
default_one_target_output_layer_idc는 출력 레이어 세트에 대한 출력 레이어를 유도하기 위하여 시그널링되는 값으로 0 내지 3의 값을 가질 수 있다.
default_one_target_output_layer_idc가 0이면, 출력 레이어 세트에 포함되어 있는 모든 레이어가 출력되는 것을 나타낼 수 있고, default_one_target_output_layer_idc가 1인 것을 출력 레이어 세트에 포함되어 있는 레이어 중 가장 상위 레이어, 즉 가장 높은 레이어 id를 갖는 레이어 만이 출력되는 것을 나타낼 수 있다.
또한, default_one_target_output_layer_idc가 2이면, output_layer_flag가 1인 레이어만 출력되는 것을 나타낼 수 있다. default_one_target_output_layer_idc가 3이면, 향후 사용될 수 있는 리절브값을 나타낼 수 있다(reserved for furture use).
(a) VPS에서 기술되는 default_one_target_output_layer_idc 가 1이면 i번째 레이어 세트에 포함되어 있는 “레이어 개수 -1”인 레이어, 즉 j == NumLayersInIdList[i]-1인 경우, output_layer_flag[i][j]는 “1”로 유추될 수 있다. 그렇지 않으면(otherwise) output_layer_flag[i][j]는 0으로 유추될 수 있다. 이 때, j는 0부터 NumLayerInIdList[i]-1 값을 갖는다.
(b) VPS에서 기술되는 default_one_target_output_layer_idc가 0이면, output_layer_flag[i][j] 는 1로 유추될 수 있다. 이때, j는 0에서부터 NumLayerInIdList[i]-1 값을 갖는다.
VPS extension에서 기술되는 vps_number_layer_sets_minus1은 VPS에 기술되는 layer sets의 개수를 알려주는 정보이며, MV-HEVC/SHVC 비트스트림은 두 개 이상의 레이어 세트(layer sets)를 포함하기 때문에 vps_number_sets_minus1의 값은 항상 1보다 큰 값을 갖는다. 따라서, u(10)으로 부호화되는 vps_number_layer_sets_minus1 는 1에서부터 1023 값을 가진다고 명시할 수 있다. 또는, vps_number_layer_sets_minus1를 vps_number_layer_sets_minus2로 바꾸고 vps_number_layer_sets_minus2는 0에서부터 1022 값을 가진다고 명시할 수 있다.
또한, 본 발명에 따르면 계층간 예측을 위해 필요하지 않은 비 참조 픽처를 나타내는 방법이 제공된다.
최상위의 시간 레벨(Highest Temproal Id)을 갖는 픽처에 대해서는 VPS extension에서 시그널링되는 max_tid_il_ref_pics_plus1[][] 값을 기반으로 비참조 픽처인지 참조 픽처인지를 파악할 수 있다.
현재 SHVC 및 MV-HEVC 표준 초안에서는 아래 수학식 10과 같이 최상위의 시간 레벨을 가지는 픽처에 대해 참조 픽처인지 비참조 픽처인지 구분하여 표시하고 있다.
Figure 112014119904418-pat00021
수학식 10에서 currTid는 현재 디코딩된 픽처의 시간 레벨을 나타내며, max_tid_il_ref_pics_plus1[iLidx][jLidx]는 현재 계층에서 계층간 예측을 허용하는 최대 시간 레벨의 정보를 나타내며, VPS에서 시그널링된다. max_tid_il_ref_pics_plus1[iLidx][jLidx]는 현재 계층과 종속 관계를 갖는 상위 계층 별로 시그널링된다.
현재 디코딩된 픽처의 시간 레벨이 종속성을 갖는 상위 계층을 위한 max_tid_il_ref_pics_plus1[][]보다 작거나 같은 경우, 현재 디코딩된 픽처가 속해 있는 계층과 종속성(dependency)를 갖는 상위 계층들에 대해 remainingInterLayerReferencesFlag 값을 1로 설정한다.
현재 디코딩된 픽처와 종속성을 갖는 모든 상위 계층들에 대해 remainingInterLayerReferencesFlag 값을 판단한 후, remainingInterLayerReferencesFlag 값이 0 인 경우, 현재 픽처에 대해 “비참조픽처”로 표시를 하게 된다.
하지만, 현재 디코딩된 픽처가 종속성을 갖는 상위 계층 중 어느 한 계층에 대해여 참조 계층으로 사용된 경우, 현재 디코딩된 픽처는 “참조 픽처”로 표시 되어야 한다.
따라서, 하기 수학식 10과 같이 종속성을 갖는 상위 계층들 중 한 계층에 대해 “참조 픽처”를 의미하는 remainingInterLayerReferencesFlag가 1로 설정되는 경우에는 나머지 상위 계층들에 대한 remainingInterLayerReferenceFlag 값을 판단하는 과정을 생략하고 현재 디코딩된 픽처를 “비참조 픽처”로 변경을 하지 않을 수 있다. 즉, 현재 디코딩된 픽처는 “참조 픽처”로 간주될 수 있다.
Figure 112014119904418-pat00022
도 4는 본 발명에 따른 영상의 복호화 방법을 설명하기 위한 제어 흐름도이다.
우선, 복호화 장치는 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 수신할 수 있다(S410).
이러한 참조 계층에 대한 정보는 j인덱스를 갖는 레이어가 i 인덱스를 갖는 레이어를 위한 직접적인 참조 계층인지 여부를 지시하는 direct_dependency_flag[ i ][ j ], 각 계층의 최대 시간 서브 계층 정보를 지시하는 ‘sub_layers_vps_max_minus1[i], 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보를 지시하는 ‘max_tid_il_ref_pics_plus1[i][j], 현재 픽쳐의 시간적 서브 레이어 식별자, 현재 픽처를 포함하는 현재 계층의 모든 직접적인 참조 계층에 속하고, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는지 여부를 나타내는 all_ref_layers_active_flag, 현재 픽처의 디코딩에 계층간 예측이 사용되는지 여부를 나타내는 inter_layer_pred_enabled_flag, 최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되는지 여부를 나타내는 max_one_active_ref_layer_flag, 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 픽처의 개수를 나타내는 num_inter_layer_ref_pics_minus1 등과 같은 플래그 정보와 개수에 대한 정보를 포함할 수 있다.
복호화 장치는 참조 계층에 대한 정보에 기초하여 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도한다(S420).
현재 픽처에 속하는 모든 슬라이스는 동일한 유효한 참조 계층 픽처의 개수를 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 유효한 참조 계층 픽처의 개수를 유도하는 방법을 설명하기 위한 도면이다. 도 5를 참조하여 본 실시예에 따른 유효한 참조 계층 픽처의 개수를 유도하는 과정을 설명하면 다음과 같다.
우선, 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 현재 픽처가 속해 있는 현재 계층이 직접 참조하는 계층의 개수가 0인지 여부가 판단된다(S510).
판단 결과, 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 현재 픽처가 속해 있는 현재 계층이 직접 참조하는 계층의 개수가 0이면, 유효한 참조 계층 픽처의 개수는 0으로 유도된다(S520).
그렇지 않은 경우, 즉, 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 현재 픽처가 속해 있는 현재 계층이 직접 참조하는 계층의 개수가 0인 경우가 아니면, 해당 픽처를 포함하는 계층의 모든 직접 참조 계층들에 속하는 직접 참조 계층 픽처들 중, 현재 픽처와 동일한 억세스 유닛에 존재하고 해당 픽처의 계층간 참조 픽처 세트에 포함된 모든 직접 참조 픽처들이 계층간 예측에 사용되는지 여부가 판단된다(S530).
단계 S530은 all_ref_layers_active_flag와 같은 플래그 정보에 기초하여 본 단계가 판단될 수 있고, all_ref_layers_active_flag가 1이면, 유효한 참조 계층 픽처의 개수는 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들의 개수를 지시하는 참조 계층 픽처 개수로 유도될 수 있다(S540).
참조 계층 픽처 개수는 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도된다. 이때, 현재 픽처에 속해 있는 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자 보다 크거나 같고, 현재 계층에 대한 참조 계층의 최대 시간적 서브 계층 정보가 상기 현재 픽처의 시간적 식별자 보다 큰 경우, 해당하는 참조 계층의 픽처들이 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주될 수 있다.
all_ref_layers_active_flag가 0이면, inter_layer_pred_enabled_flag를 통해 현재 픽처의 디코딩에 계층간 예측이 사용되지 않는지 여부가 판단되고(S550). inter_layer_pred_enabled_flag가 0이면, 유효한 참조 계층 픽처의 개수는 0으로 유도된다(S520).
그렇지 않은 경우, 최대 하나의 픽처가 코딩 비디오 시퀀스 내 각 픽처를 위한 계층간 예측을 위하여 사용되거나 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수가 1인지 여부가 판단된다(S560).
max_one_active_ref_layer_flag가 1이거나 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수가 1이면, 유효한 참조 계층 픽처의 개수는 1로 유도된다(S570).
상기 모든 판단 조건을 만족하지 않는 경우, 유효한 참조 계층 픽처의 개수는 참조 계층에 대한 정보가 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 픽처의 개수를 나타내는 개수 정보(num_inter_layer_ref_pics_minus1)로 특정되는 값으로 유도될 수 있다(S580).
다시 도 4로 돌아가, 유효한 참조 계층 픽처의 개수가 유도되면, 이를 기반으로 복호화 장치는 계층간 예측을 수행한다(S430).
상술한 바와 같이, 본 발명에 따를 경우 시간적 계층을 포함하는 다수의 계층 구조의 영상 부호화된 비트스트림 내에 존재하는 계층 정보를 알려주는 시그널링 방법, 계층간 예측 및 타겟 출력 계층을 구하는 방법 및 이를 이용하는 장치가 제공된다.
또한, 본 발명은 세션 협상 등을 위해 비트스트림 내의 VPS에 기술된 계층 정보를 엔트로피 디코더가 없이 접근할 수 있는 방법 및 이를 이용하는 장치를 제공한다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (23)

  1. 복수의 계층을 지원하는 영상의 디코딩 방법에 있어서,
    계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 수신하는 단계;
    상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도하는 단계; 및
    상기 유효한 참조 계층 픽처의 개수를 기반으로 계층간 예측을 수행하는 단계를 포함하고,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우가 아니고, 상기 현재 계층의 모든 직접 참조 계층에 속하는 직접 참조 계층 픽처들 중, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 경우, 상기 유효한 참조 계층 픽처의 개수는 상기 참조 계층 픽처의 개수로 유도되고,
    상기 참조 계층 픽처의 개수는 상기 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도되고,
    상기 현재 픽처가 속해 있는 현재 계층의 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같으면서, 현재 픽처의 시간적 식별자가 0 인 경우, 해당하는 참조 계층의 픽처들이 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 현재 픽처에 속하는 모든 슬라이스의 상기 유효한 참조 계층 픽처의 개수는 동일한 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0인 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도되는 것을 특징으로 하는 방법
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 현재 픽처의 디코딩에 계층간 예측이 사용되지 않는 경우, 상기 유효한 참조 계층 픽처의 개수는 0으로 유도되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    부호화된 비디오 시퀀스 내 각 픽처에 대한 계층간 예측에 최대 하나의 픽처가 사용되거나 상기 현재 픽처가 속해 있는 계층의 직접 참조 계층의 개수가 1이면,
    상기 유효한 참조 계층 픽처의 개수는 1로 유도되는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 참조 계층에 대한 정보가 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 픽처의 개수를 나타내는 개수 정보를 포함하는 경우,
    상기 유효한 참조 계층 픽처의 개수는 상기 개수 정보로 특정되는 값으로 유도되는 것을 특징으로 하는 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 복수의 계층을 지원하는 영상의 디코딩 장치에 있어서,
    계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 수신하고, 상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도하고, 상기 유효한 참조 계층 픽처의 개수를 기반으로 계층간 예측을 수행하는 디코딩부를 포함하고,
    상기 디코딩부는,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우가 아니고, 상기 현재 계층의 모든 직접 참조 계층에 속하는 직접 참조 계층 픽처들 중, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 경우, 상기 유효한 참조 계층 픽처의 개수를 상기 참조 계층 픽처의 개수로 유도하고,
    상기 참조 계층 픽처의 개수를 상기 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도하고,
    상기 현재 픽처가 속해 있는 현재 계층의 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같으면서, 현재 픽처의 시간적 식별자가 0 인 경우, 해당하는 참조 계층의 픽처들을 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주하는 것을 특징으로 하는 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 복수의 계층을 지원하는 영상의 인코딩 방법에 있어서,
    계층간 예측을 위하여 현재 픽처의 인코딩에 사용되는 참조 계층에 대한 정보를 결정하는 단계;
    상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 인코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도하는 단계; 및
    상기 유효한 참조 계층 픽처의 개수에 기초하여 계층간 예측을 수행하는 단계를 포함하고,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우가 아니고, 상기 현재 계층의 모든 직접 참조 계층에 속하는 직접 참조 계층 픽처들 중, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 경우, 상기 유효한 참조 계층 픽처의 개수는 상기 참조 계층 픽처의 개수로 유도되고,
    상기 참조 계층 픽처의 개수는 상기 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도되고,
    상기 현재 픽처가 속해 있는 현재 계층의 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같으면서, 현재 픽처의 시간적 식별자가 0 인 경우, 해당하는 참조 계층의 픽처들이 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주되는 것을 특징으로 하는 방법.
  22. 복수의 계층을 지원하는 영상의 인코딩 장치에 있어서,
    계층간 예측을 위하여 현재 픽처의 인코딩에 사용되는 참조 계층에 대한 정보를 결정하고, 상기 참조 계층에 대한 정보에 기초하여 상기 현재 픽처의 인코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도하고, 상기 유효한 참조 계층 픽처의 개수에 기초하여 계층간 예측을 수행하는 인코딩부를 포함하고,
    상기 인코딩부는,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우가 아니고, 상기 현재 계층의 모든 직접 참조 계층에 속하는 직접 참조 계층 픽처들 중, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 경우, 상기 유효한 참조 계층 픽처의 개수를 상기 참조 계층 픽처의 개수로 유도하고,
    상기 참조 계층 픽처의 개수를 상기 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도하고,
    상기 현재 픽처가 속해 있는 현재 계층의 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같으면서, 현재 픽처의 시간적 식별자가 0 인 경우, 해당하는 참조 계층의 픽처들을 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주하는 것을 특징으로 하는 장치.
  23. 복수의 계층을 지원하는 영상 디코딩 장치에 의해 수신되고 디코딩되어 영상을 복원하는데 이용되는 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서,
    상기 비트스트림은 계층간 예측을 위하여 현재 픽처의 디코딩에 사용되는 참조 계층에 대한 정보를 포함하고,
    상기 참조 계층에 대한 정보는 상기 현재 픽처의 디코딩에 사용되는 유효한 참조 계층 픽처의 개수를 유도하는데 이용되고,
    상기 유효한 참조 계층 픽처의 개수는 계층간 예측을 수행하는데 이용되고,
    상기 현재 픽처가 속해 있는 현재 계층을 식별하는 레이어 식별자가 0이거나 상기 현재 픽처와 동일 억세스 유닛 내의 계층간 예측에 사용될 수 있는 참조 계층 픽처의 개수가 0인 경우가 아니고, 상기 현재 계층의 모든 직접 참조 계층에 속하는 직접 참조 계층 픽처들 중, 각 계층의 최대 시간 서브 계층 정보와 각 계층에서 계층간 예측을 허용하는 최대 시간 서브 계층 정보에 대한 값에 의하여 특정되는 계층간 예측에 사용될 수 있는 참조 계층 픽처가 현재 픽처와 동일한 억세스 유닛에 존재하고, 현재 픽처의 계층간 참조 픽처 세트에 포함되는 경우, 상기 유효한 참조 계층 픽처의 개수는 상기 참조 계층 픽처의 개수로 유도되고,
    상기 참조 계층 픽처의 개수는 상기 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수, 각 계층의 최대 시간적 서브 계층 정보, 각 계층에서 계층간 예측을 허용하는 최대 시간적 서브 계층 정보, 현재 픽처의 시간적 식별자를 기반으로 유도되고,
    상기 현재 픽처가 속해 있는 현재 계층의 직접 참조 계층들의 픽처들 중, 참조 계층의 최대 시간적 서브 계층 정보가 현재 픽처의 시간적 식별자보다 크거나 같으면서, 현재 픽처의 시간적 식별자가 0 인 경우, 해당하는 참조 계층의 픽처들이 계층간 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020140177008A 2014-01-02 2014-12-10 영상의 복호화 방법 및 이를 이용하는 장치 KR102294092B1 (ko)

Priority Applications (14)

Application Number Priority Date Filing Date Title
EP21188128.9A EP3937494A1 (en) 2014-01-02 2014-12-17 Method for decoding image and apparatus using same
CN201480017906.2A CN105122799B (zh) 2014-01-02 2014-12-17 用于解码图像的方法以及使用其的设备
EP14876965.6A EP3086555B1 (en) 2014-01-02 2014-12-17 Parameter derivation in multi-layer video coding
JP2016562715A JP2017508417A (ja) 2014-01-02 2014-12-17 映像の復号化方法及びこれを利用する装置
US14/774,290 US9967571B2 (en) 2014-01-02 2014-12-17 Method for decoding image and apparatus using same
PCT/KR2014/012495 WO2015102271A1 (ko) 2014-01-02 2014-12-17 영상의 복호화 방법 및 이를 이용하는 장치
US15/933,051 US10326997B2 (en) 2014-01-02 2018-03-22 Method for decoding image and apparatus using same
US15/933,010 US10375400B2 (en) 2014-01-02 2018-03-22 Method for decoding image and apparatus using same
US15/928,964 US10291920B2 (en) 2014-01-02 2018-03-22 Method for decoding image and apparatus using same
US15/933,040 US10397584B2 (en) 2014-01-02 2018-03-22 Method for decoding image and apparatus using same
JP2019039912A JP2019134444A (ja) 2014-01-02 2019-03-05 映像の復号化方法及びこれを利用する装置
JP2021022000A JP7490592B2 (ja) 2014-01-02 2021-02-15 映像の復号化方法及びこれを利用する装置
KR1020210109939A KR102423851B1 (ko) 2014-01-02 2021-08-20 영상의 복호화 방법 및 이를 이용하는 장치
JP2023043188A JP2023072090A (ja) 2014-01-02 2023-03-17 映像の復号化方法及びこれを利用する装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20140000413 2014-01-02
KR1020140000413 2014-01-02
KR1020140003760 2014-01-13
KR20140003760 2014-01-13
KR20140030743 2014-03-17
KR1020140030743 2014-03-17
KR1020140033012 2014-03-20
KR20140033012 2014-03-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210109939A Division KR102423851B1 (ko) 2014-01-02 2021-08-20 영상의 복호화 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20150081229A KR20150081229A (ko) 2015-07-13
KR102294092B1 true KR102294092B1 (ko) 2021-08-27

Family

ID=53793008

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020140177008A KR102294092B1 (ko) 2014-01-02 2014-12-10 영상의 복호화 방법 및 이를 이용하는 장치
KR1020210109939A KR102423851B1 (ko) 2014-01-02 2021-08-20 영상의 복호화 방법 및 이를 이용하는 장치
KR1020220088467A KR102517340B1 (ko) 2014-01-02 2022-07-18 영상의 복호화 방법 및 이를 이용하는 장치
KR1020230041311A KR20230047350A (ko) 2014-01-02 2023-03-29 영상의 복호화 방법 및 이를 이용하는 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020210109939A KR102423851B1 (ko) 2014-01-02 2021-08-20 영상의 복호화 방법 및 이를 이용하는 장치
KR1020220088467A KR102517340B1 (ko) 2014-01-02 2022-07-18 영상의 복호화 방법 및 이를 이용하는 장치
KR1020230041311A KR20230047350A (ko) 2014-01-02 2023-03-29 영상의 복호화 방법 및 이를 이용하는 장치

Country Status (5)

Country Link
US (6) US9967571B2 (ko)
EP (2) EP3086555B1 (ko)
JP (4) JP2017508417A (ko)
KR (4) KR102294092B1 (ko)
CN (1) CN105122799B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
KR102266902B1 (ko) * 2014-01-13 2021-06-18 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
EP4022930A4 (en) 2019-09-24 2022-11-02 Huawei Technologies Co., Ltd. OLS FOR SPATIAL AND SNR Scalability
CN115152233A (zh) * 2019-12-30 2022-10-04 Lg电子株式会社 包括dpb管理处理的图像解码方法及其设备
US11381842B2 (en) * 2020-03-26 2022-07-05 Alibaba Group Holding Limited Methods for coding or decoding video parameter set or sequence parameter set
US11297350B1 (en) * 2020-03-27 2022-04-05 Tencent America LLC Method for output layer set for multilayered video stream
KR20230002715A (ko) * 2020-04-15 2023-01-05 엘지전자 주식회사 서브 레이어 요구 개수에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20230008795A (ko) * 2020-05-04 2023-01-16 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
EP4140140A4 (en) 2020-05-21 2023-07-05 ByteDance Inc. PROGRESSIVE DECODING REFRESH SIGNALING AND REFERENCE PICTURE LISTS
US20230179769A1 (en) * 2020-05-25 2023-06-08 Lg Electronics Inc. Multilayer-based image coding method in video or image coding system
US11646014B1 (en) * 2022-07-25 2023-05-09 Intuit Inc. Ensemble of machine learning models for real-time predictions in expert electronic chats

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
CN100387063C (zh) * 2005-12-01 2008-05-07 西安交通大学 可伸缩视频编码中的三维码率控制方法
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
CN101578884B (zh) 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
JP5918354B2 (ja) 2011-04-26 2016-05-18 エルジー エレクトロニクス インコーポレイティド 参照ピクチャリスト管理方法及びその方法を使用する装置
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
KR20130050863A (ko) 2011-11-08 2013-05-16 삼성전자주식회사 참조리스트를 이용하는 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20130114710A1 (en) 2011-11-08 2013-05-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list
KR20130086011A (ko) 2012-01-20 2013-07-30 한국전자통신연구원 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
US10609394B2 (en) * 2012-04-24 2020-03-31 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP6472441B2 (ja) * 2013-10-11 2019-02-20 シャープ株式会社 ビデオを復号するための方法
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
EP3438667B1 (de) * 2017-08-02 2020-12-30 Siemens Healthcare Diagnostics Products GmbH Bindungstest zur diagnose einer heparin-induzierten thrombozytopenie

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
- Gerhard Tech, et al Preliminary version of MV-HEVC Draft Text 6, Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-F1004-v1, 2013-11-07*

Also Published As

Publication number Publication date
US10397584B2 (en) 2019-08-27
EP3086555A1 (en) 2016-10-26
EP3086555A4 (en) 2018-01-10
JP2023072090A (ja) 2023-05-23
JP2021101538A (ja) 2021-07-08
KR20150081229A (ko) 2015-07-13
KR20220106094A (ko) 2022-07-28
KR102423851B1 (ko) 2022-07-21
JP2019134444A (ja) 2019-08-08
US9967571B2 (en) 2018-05-08
EP3937494A1 (en) 2022-01-12
US10326997B2 (en) 2019-06-18
KR20210105868A (ko) 2021-08-27
US20180213238A1 (en) 2018-07-26
US10291920B2 (en) 2019-05-14
JP7490592B2 (ja) 2024-05-27
US20180213237A1 (en) 2018-07-26
US20180288421A1 (en) 2018-10-04
CN105122799A (zh) 2015-12-02
US20230114591A1 (en) 2023-04-13
KR20230047350A (ko) 2023-04-07
KR102517340B1 (ko) 2023-04-03
EP3086555B1 (en) 2021-09-15
JP2017508417A (ja) 2017-03-23
US20160316210A1 (en) 2016-10-27
CN105122799B (zh) 2019-02-05
US10375400B2 (en) 2019-08-06
US20180213236A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
KR102423851B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
JP7367144B2 (ja) 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
KR102273183B1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR102271877B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102551896B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102290091B1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR102431741B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
KR102307406B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102270844B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent