KR20140092201A - 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 - Google Patents
계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 Download PDFInfo
- Publication number
- KR20140092201A KR20140092201A KR1020130082480A KR20130082480A KR20140092201A KR 20140092201 A KR20140092201 A KR 20140092201A KR 1020130082480 A KR1020130082480 A KR 1020130082480A KR 20130082480 A KR20130082480 A KR 20130082480A KR 20140092201 A KR20140092201 A KR 20140092201A
- Authority
- KR
- South Korea
- Prior art keywords
- layer
- max
- sub
- value
- vps
- Prior art date
Links
- 238000000034 method Methods 0.000 abstract description 14
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- OXNIZHLAWKMVMX-UHFFFAOYSA-M picrate anion Chemical compound [O-]C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-M 0.000 description 129
- 230000002123 temporal effect Effects 0.000 description 25
- 229940075930 picrate Drugs 0.000 description 12
- 230000011664 signaling Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
Description
본 발명은 비디오 비트스트림내에 추출정보(extraction)/계층적 정보(scalability information)을 기술하여 적응적 비디오 전송 및 소비를 가능하게 하는 기술에 관한 것이다.
이종의 통신망 및 다양한 단말로 인해 스케일러빌리티는 현재 비디오 포맷의 중요한 기능이 되었다. 콘텐츠 전달경로(content delivery path)에서의 모든 노드에서 비트스트림을 효과적이며 효율적으로 변환하기 위해서는 비트스트림의 스케일러빌리티 정보가 매우 중요하다. 현재 HEVC(High Efficiency Video Coding) 표준화에서 비트스트림과 관련된 중요한 정보는 Video Parameter Set(VPS)에 기술하도록 되어 있다.
본 발명에서는 계층적 비트스트림내의 추출 및 스케일러빌리티 정보를 기술하는 방법을 제안하며, 그 목적은 1) 다양한 종류의 비트스트림의 스케일러빌리티 정보를 표현하기 위한 유연한 방식을 제공하며 2) 패킷레벨에서의 효율적인 적응변환을 가능하게 하기 위함이다.
본 발명에서는 계층적 비트스트림내의 추출 및 스케일러빌리티 정보를 기술하는 방법을 제안한다.
본 발명은 계층적 비디오 부호화를 이용하여 부호화된 비트스트림의 다양한 스케일러빌리티 정보들 효율적으로 표현하도록 하여, 비트스트림 추출기가 쉽게 원하는 계층을 추출할 수 있도록 한다.
● 비트스트림 특성 표현(Bitstream characteristics)
HEVC 표준화에서 scalable bitstream의 특성을 나타내기 위한 기술(description)이 정의되어있으며[1], 본 발명에서는 이를 다음과 같이 개선하고자 한다.
1)Max. bitrate definition을 위한 time window
현재 scalable representation(스케일러블하게 디코딩 가능한 복원영상을 일컬음)의 최대 비트율(max. bitrate)은 1초 동안의 time window내에서의 bitrate의 upper bound를 나타낸다. 그러나, 어플리케이션에 따라 다른 timescale에서의 peak bitrate이나 picture rate 정보가 필요할 수 있다. 예를 들어, 어떤 어플리케이션은 30초의 window내에서의 정보만 필요할 수 있는 반면, 어떤 어플리케이션은 10초의 window내에서의 peak bitrate 혹은 largest-burst 정보가 필요할 수도 있다. 그래서, 이러한 목적을 위해서 최소한 한 개의 (한 개 이상의) window를 표현할 수 있는 방안을 다음과 같이 제안한다.
첫 번째 실시예는 다음과 같다.
신택스들의 의미는 다음과 같다.
- num _ max _ bit _ rate _ windows _ minus1: num_max_bit_rate_windows_minus1+1은 max. bitrate을 계산하기 위해서 사용된 time window의 수를 나타낸다.
- num _ max _ pic _ rate _ windows _ minus1: num_max_pic_rate_windows_minus1+1은 max. picture rate을 계산하기 위해서 사용된 time window의 수를 나타낸다.
- max _ bit _ rate _ calc _ window[ j ]: 1/100초 단위로 sub-layers의 표현(representation)들의 bitrate에 대한 upper bounds를 계산하기 위해 사용되는 j번째 time window의 크기를 나타낸다. max_bit_rate_calc_window[ 0 ] 의 default값은 100 이다.
- max _ pic _ rate _ calc _ window[ j ]: 1/100초 단위로 sub-layers의 표현(representation)들의 bitrate에 대한 upper bounds를 계산하기 위해 사용되는 j번째 time window의 크기를 나타낸다. max _ pic _ rate _ calc _ window[ 0 ] 의 default값은 25600이다.
- bit _ rate _ info _ present _ flag [i]: “1”인 경우는 i번째 sub-layer에 대한 bit rate에 대한 기술이 존재함을 나타내며, “0”인 경우는 i번째 sub-layer에 대한 bit rate에 대한 기술이 존재하지 않음을 나타낸다. default 값은 “1”이다.
- pic _ rate _ info _ present _ flag [i]: “1”인 경우는 i번째 sub-layer에 대한 picture rate에 대한 기술이 존재함을 나타내며, “0”인 경우는 i번째 sub-layer에 대한 picture rate에 대한 기술이 존재하지 않음을 나타낸다. default 값은 “1”이다.
- avg _ bit _ rate [i]: i번째 sub-layer의 표현(representation)의 average bit rate을 나타낸다.[3]에 기술된 내용과 동일함
- max _ bit _ rate [ i ][ j ]: max_bit_rate_calc_window[j]에 의해 표현된 time window를 사용하여 SVC 표준[3]에 기술된대로 계산한 값으로, i번째 sub layer의 표현(representation)의 bitrate에 대한 upper bound를 나타낸다.
- avg _ pic _ rate [i]: i번째 sub-layer의 표현(representation)의 average picture rate을 나타낸다 (in units of picture per 256 seconds).[3]에 기술된 내용과 동일함
- max _ pic _ rate [ i ][ j ]: max_pic_rate_calc_window[j]에 의해 표현된 time window를 사용하여 SVC 표준[3]에 기술된대로 계산한 값으로, i번째 sub layer의 표현(representation)의 picture rate에 대한 upper bound를 나타낸다.
Bitrate 정보를 기술하는 다른 방법은 leaky bucket model을 사용하는 것으로, leaky bucket model은 고정된 시간 간격대신 고정된 데이터의 양을 이용하여 각각의 비트율 값을 계산한다. 이 방식을 사용하는 경우의 실시예는 다음과 같다.
신택스의 의미는 다음과 같다.
- num _ max _ bit _ rate _ values _ minus1: num_max_bit_rate_values_minus1+1은 해당 신택스 구조에서 명시되는 max. bitrate의 수를 의미한다.
- max _ pic _ rate _ calc _ bucket _ size[ j ]: sub-layer들의 representation들의 비트율에 대한 상한선을 (upper-bound)를 계산하기 위해 사용되는 j번째 leaky bucket의 크기를 kilobits단위로 명시한다.
- num _ max _ pic _ rate _ windows _ minus1: Sub-layer들을 위한 bitrate 정보가 정의되지 않은 경우에는 0의 값을 갖는다.
- max _ pic _ rate _ calc _ window[ j ]: 1/100초 단위로 sub-layers의 표현(representation)들의 bitrate에 대한 upper bounds를 계산하기 위해 사용되는 j번째 time window의 크기를 나타낸다. max_pic_rate_calc_window[ 0 ] 의 default값은 25600이다.
- bit _ rate _ info _ present _ flag [i]: “1”인 경우는 i번째 sub-layer에 대한 bit rate에 대한 기술이 존재함을 나타내며, “0”인 경우는 i번째 sub-layer에 대한 bit rate에 대한 기술이 존재하지 않음을 나타낸다. default 값은 “1”이다.
- pic _ rate _ info _ present _ flag [i]: “1”인 경우는 i번째 sub-layer에 대한 picture rate에 대한 기술이 존재함을 나타내며, “0”인 경우는 i번째 sub-layer에 대한 picture rate에 대한 기술이 존재하지 않음을 나타낸다. default 값은 “1”이다.
- avg _ bit _ rate [i]: i번째 sub-layer의 표현(representation)의 average bit rate을 나타낸다.[3]에 기술된 내용과 동일함
- max _ bit _ rate [ i ][ j ]: i번째 sub-layer의 representation의 비트율에 대한 upper bound를 나타낸다. 의해 표현된 time window를 사용하여 SVC 표준[3]에 기술된대로 계산한 값으로, i번째 sub layer의 표현(representation)의 bitrate에 대한 upper bound를 나타낸다. Max. bitrate은 다음과 같이 계산할 수 있다.
max _ bit _ rate[ i ][ j ] = max _ bit _ rate _ calc _ bucket _ size[ j ] / SmallestInterval[ i ][ j ]
- avg _ pic _ rate [i]: i번째 sub-layer의 표현(representation)의 average picture rate을 나타낸다 (in units of picture per 256 seconds).[3]에 기술된 내용과 동일함
- max _ pic _ rate [ i ][ j ]: max_pic_rate_calc_window[j]에 의해 표현된 time window를 사용하여 SVC 표준[3]에 기술된대로 계산한 값으로, i번째 sub layer의 표현(representation)의 picture rate에 대한 upper bound를 나타낸다.
위의 신택스는 VPS extension에 추가할 수도 있으며, SEI message의 형태로 정의될 수도 있다.
same_max_sub_layers_flag[i]와 max_sub_layers_minus1[i]의 의미는 아래의 동일한 이름의 신택스와 같다.
2) 다른 시간 간격을 위한 비트율과 프레임율 정보 (bitrate and picture rate information for different temporal periods)
현재, bitrate과 picture rate 정보는 VPS에서만 기술되도록 되어 있다. 그러나, 부호화된 비디오 신호는 다른 시간 간격(temporal period)에서 다른 bitrate과 picture rate를 가질 수도 있다. 그래서, temporal period에 대한 bitrate과 picture rate의 기술방안을 제안한다. 아래에 제안된 추가 정보는 비디오 콘텐츠의 부분적인 특성을 나타내기 위해서 사용될 수도 있는 반면, VPS에서의 bitrate과 picture rate은 전체 부호화된 시퀀스에 대해서만 유효하다.
이러한 목적으로, 새로운 SEI message “period_characteristics”를 다음과 같이 제안한다.
새로 정의된 SEI message의 의미는 다음과 같다.
비디오 시퀀스의 temporal period의 특성을 나타내며, period characteristics SEI message는 해당 SEI message가 적용되는 period 의 복호화 순서상 가장 첫 번째 access unit에 포함되어야만 한다.
- duration _ flag: “0”은 target temporal period의 길이가 기술되지 않았음을 의미한다.
- period _ duration : 90-KHz clock의 clock tick 단위로 target temporal period의 길이를 나타낸다.
● 계층참조 방식 (Layer referencing)
현재, [2]에서 기술된 계층 참조 방식은 특정계층이 직접적으로 참조하는 계층을 모두 기술할 수 있도록 한다. 그러나, 특정 dimension(s)에 있어서, 특정 계층(예를 들어 quality layer “3”)은 바로 하위 계층(예를 들어, quality layer 2)를 직접적으로 참조하는 것이 명백할 수 있을 것이다. 이러한 목적으로, default direct dependency를 가지는 dimension(s)을 기술하고, default direct dependency를 가지지 않는 dimension(s)에 대해서만 scalable layer의 description loop에서 따로 기술하는 방안을 제안한다.
제안하는 vps_extension()의 syntax는 다음과 같다.
새로 정의되거나 수정된 elements의 의미는 다음과 같다.
- default _ dependency _ flag[ i ]: “1”을 가지는 경우는 scalability dimension i가 default dependency를 가짐을 나타낸다. 이것은, dimension i 에 대해, 기본적으로 dimension_id[i]=n인 계층은 dimension_id[i]=n-1인 계층을 직접적으로 참조함을 의미한다. non-default dependencies인 경우에는 specific_dependency_flag에 의해 참조 계층을 시그널링할 수 있다.
- default _ temp _ dependency _ flag : “1”을 가지는 경우는temporal dimension이 default dependency를 가짐을 의미한다.
- specific _ dependency _ flag[ i ]: “1”을 가지는 경우는 참조 (계층) 관계가 이후에 기술됨을 나타낸다. “0”의 값을 가지는 경우는 계층 i가 default dependency를 가지거나, 간접적인 dependency를 가지거나, 참조계층이 존재하지 않음(no dependency layer)을 의미한다.
Note: 계층 C(layer C) 계층 B를 직접적으로 참조한다는 것은 계층 C를 복호하기 위해서, 디코더는 계층 B의 데이터(non-decoded 혹은 decoded)를 사용해야만 한다는 것을 의미한다. 더해서, 만약 계층 B가 계층A의 데이터를 직접적으로 사용한다면, C는 A를 직접적으로 참조한다고 할 수는 없다.
- num _ direct _ ref _ layers[ i ]: i번째 계층이 직접적으로 참조하는 계층의 수를 명시한다. 명시되지 않은 계층들은 default dependency를 가지거나, 간접적인 dependency를 가지거나, 참조계층이 존재하지 않음(no dependency layer)을 의미한다
- temporal _ dim _ description _ flag[ i ][ j ]: “1”을 가지는 경우는 scalable layer ref _ layer _ id[ i ][ j ]의 temporal sub layer에 대한 자세한 참조관계를 나타내는 것을 의미한다.
- num _ unref _ temp _ layers[ i ][ j ]: scalable layer i 를 위해 참조 계층으로 사용되지 않는 temporal sub layer의 수를 나타낸다.
- unref _ temp _ layer _ id[ i ][ j ][ k ] : scalable layer i 를 위해 참조 계층으로 사용되지 않는 temporal sub layer의 id 값을 나타낸다.
앞에서 제안한 방법은 temporal level (즉, sub layer)마다 다른 참조계층 구조를 표현하기 힘들다. temporal level마다 다른 참조계층 구조가 가능하도록 참조계층을 표현하는 것이 필요하다. 다음은 그 실시예를 나타내는 것으로 각각의 스케일러블 계층이 layer_id와 temporal_id 값에 의해 식별된다.
num _ direct _ ref _ scal _ layers[ i ][ t ] 현재 스케일러블 계층이 (layer_id=i와 temporal_id=t 로 식별되는) 직접적으로 참조하는 참조계층의 수를 명시한다. 여기서 명시되지 않은 계층들은 default dependency를 가지거나 간접적인 참조계층을 가질 수 있다.
ref _ layer _ id[ i ][ t ][ j ] 와 ref _ temporal _ id[ i ][ t ][ j ]는 현재 계층이 직접적으로 참조하는 스케일러블 계층 (layer_id = ref _ layer _ id[ i ][ t ][ j ]와 temporal_id = ref _ layer _ id[ i ][ t ][ j ]에 의해 식별되는) 을 나타낸다.
HEVC version 1의 vps 에서 정의된 모든 operation point에 명시된 모든 계층들(고유의 layer id를 가지는)이 서로간에 직접적인 혹은 간접적인 참조관계가 있다면, direct_depedency_flag에 의해 기술되는 내용을 operation point가 포함하므로 direct_dependency_flag에 의한 시그널링을 생략할 수 있으며, 이를 layer_dependency_info_flag로 알려줄 수 있다.
- layer _ dependency _ info _ flag 1인 경우 layer dependency관련 정보가 VPS extension에 기술되어 있음을 나타내며, 0인 경우는 VPS extension에 기술되지 않음을 나타낸다.
또한, scalability dimension의 기본 type이 [2]에 기술되어 있는데, 추가로 인코딩시 혹은 인코딩한 이후에 선정된 priority 순서대로 콘텐츠를 추출하여 소비할 수 있도록 하는 priority ID와 특정 영역만을 추출하여 볼수 있도록 하는regionID를 추가하는 것을 제안한다.
● profile_tier_level
현재, VPS의 extension part에서 각각의 계층(layer_id 값을 가지는)에 대해 profile_tier_level을 비트스트림에서 최대 (temporal) sub-layer의 수 (즉, vps_max_sub_layers_minus1+1) 만큼을 시그널링 하도록 되어 있다. 그러나, 각각의 계층은 서로 다른 수의 (temporal) sub-layer를 가질 수 있고, 미들박스를 위해서, 각 계층에서의 temporal sub-layer의 개수를 기술하는 것이 더 나을 수 있다. 그래서, profile_tier_level에 대한 시그널링을 위에 기술된 vps_extension()의 syntax에서 회색부분과 같이 수정할 수 있으며, 그 의미는 다음과 같다.
- same _ max _ sub _ layers _ flag[ i ]: “1”인 경우는 layer i의 temporal sub-layer의 최대 수(max. sub-layer 값)가 vps_max_sub_layers_minus1 + 1임을 나타낸다.
- max _ sub _ layers _ minus1[ i ] +1 은 layer i의 최대 temporal sub-layer의 수(max. sub-layer 값)를 나타난다..
same_max_sub_layers_flag[i]와 max_sub_layers_minus1[i]는 앞의 실시예와 같이 profile_tier_level과 함께 시그널링 할 수 도 있고, 다음의 실시예와 같이 따로 시그널링 할 수도 있다.
각 layer 마다의 max. sub-layer의 개수(temporal sub-layer의 최대 개수)는 capability negotiation 또는 extractor에 도움을 줄 수 있다.
향상계층(enhancement layer, 즉, layer_id>0 인 계층)들 마다의 max. sub-layer의 값(개수)을 기술하는 방법은 앞에서 제시한 것과 같이 VPS(video parameter set)에서 시그널링되는 vps_max_sub_layers_minus1+1과 다른 max. sub-layer의 값을 가지는 계층(layer)에 대해서만 해당 계층의 max. sub-layer 값을 시그널링하는 방식이 있으며, 다음의 실시예와 같은 방식들이 존재할 수 있다.
A. 각각의 향상계층(enhancement layer, 즉, layer_id>0 인 계층)에 대응되는 SPS(Sequence parameter set)마다 해당 layer의 max. sub-layer 값을 시그널링 하는 방식
B. VPS(Video parameter set) extension에서 각각의 향상계층(enhancement layer, 즉, layer_id>0 인 계층)의 max. sub-layer 값을 시그널링하는 방식
max_sub_layers_minus1[ i ]: max_sub_layers_minus1[i]+1은 i번째 layer가 가지는 max. sub-layer 값을 나타냄
C. VPS에서 시그널링되는 vps_max_sub_layers_minus1+1과 특정계층의 max. sub-layer 값이 다른 경우에만 해당계층의 SPS에서 max. sub-layer 값을 시그널링하는 방식
일반적인 VPS 신택스는 다음과 같이 전체 비트스트림에서 max. sub layer 값을 vps_max_sub_layers_minus1 의 값을 이용하여 시그널링한다.
향상계층의 SPS에서 해당 계층의 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 동일하지 않은 경우에만 max. sub-layer 값을 시그널링하는 실시예는 다음과 같다.
max _ sub _ layers _ predict _ flag: nuh_layer_id값이 0보다 큰 경우(향상계층인 경우)에 시그널링되며, max_sub_layers_predict_flag 값이 1인 경우, sps_max_sub_layers_minus1은 vps_max_sub_layers_minus1으로 infer 되며, 0인 경우, sps_max_sub_layers_minus은 explicit하게 SPS에 시그널링됨.
추가로, 각 layer 마다의 max. sub-layer 값이 해당 layer에 대응되는 SPS에서 시그널링되는 경우, max. sub-layer 값에 따라 시그널링되는 max. DPB size 및 max. latency 정보가 SPS에서 시그널링될 수도 있으나 (실시예 A-1, D-1), 각 layer마다의 max. sub-layer 값을 VPS extension에서 시그널링 하는 경우에, VPS와 SPS간의 parsing dependency를 없애기 위하여, SPS에서 시그널링 되고 있는 max. DPB size와 max. latency 정보인 sps_max_dec_pic_buffering_minus1, sps_max_num_reorder_pics, sps_max_latency_increase_plus1 값들을 SPS가 아닌 VPS extension에서 다음과 같이 시그널링 할 수도 있다. (실시예 B-1, B-2, C-1, C-2, C-3, C-4, D-2, D-3)
A. 각각의 향상계층(enhancement layer, 즉, layer_id>0 인 계층)에 대응되는 SPS(Sequence parameter set)마다 해당 layer의 max. sub-layer 값을 시그널링 하는 방식의 경우
<실시예 A-1>
B. VPS(Video parameter set) extension에서 각각의 향상계층(enhancement layer, 즉, layer_id>0 인 계층)의 max. sub-layer 값을 독립적으로 시그널링하는 방식
<실시예 B-1>
<실시예 B-2>
C. VPS(Video parameter set) extension에서 각각의 향상계층(enhancement layer, 즉, layer_id>0 인 계층)의 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 다른 경우에만 시그널링하는 방식
실시예 C-1 및 C-2는 모든 계층의 max. DPB size와 max. latency 정보를 VPS extension에서 시그널링 하는 방식이다.
실시예 C-3 및 C-4는 max. sub-layer 값과 vps_max_sub_layers_minus1+1과 다르거나, max. sub-layer값과 vps_max_sub_layers_minus1+1과 같으나 VPS에서 시그널링되는 전체 비트스트림의 max. DPB size와 max. latency 정보와 동일하지 않은 경우에만 해당 계층의 max. DPB size와 max latency 정보를 VPS extension에서 시그널링하는 방식이다.
<실시예 C-1>
<실시예 C-2>
<실시예 C-3>
sub _ layer _ vps _ buf _ ordering _ info _ predict _ flag[i]: i번째 계층(layer)의max. sub-layer 값이 vps_max_sub_layers_minus1+1과 같은 경우에 i번째 계층의 max. DPB size와 max. latency 정보가 VPS에서 시그널링되는 전체 비트스트림의 max. DPB size와 max latency 정보와 동일한지 여부를 나타냄. “1”의 값을 가지는 경우는 동일함을 나타내며, “0”의 값을 가지는 경우는 동일하지 않음을 나타냄. “0”의 값을 가지는 경우 혹은 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 같지 않은 경우에만 해당계층의 max. DPB size와 max. latency 정보가 시그널링됨. sub_layer_vps_buf_ordering_info_predict_flag[i]가 시그널링되지 않는 경우에 그 값은 “0”으로 설정한다.
<실시예 C-3.1>
추가된 신택스들의 의미는 앞의 동일한 이름의 신택스와 같음.
<실시예 C-4>
sub _ layer _ vps _ buf _ ordering _ info _ predict _ flag[i]: i번째 계층(layer)의 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 같은 경우에 i번째 계층의 max. DPB size와 max. latency 정보가 VPS에서 시그널링되는 전체 비트스트림의 max. DPB size와 max latency 정보와 동일한지 여부를 나타냄. “1”의 값을 가지는 경우는 동일함을 나타내며, “0”의 값을 가지는 경우는 동일하지 않음을 나타냄. “0”의 값을 가지는 경우 혹은 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 같지 않은 경우에만 해당계층의 max. DPB size와 max. latency 정보가 시그널링됨. sub_layer_vps_buf_ordering_info_predict_flag[i]가 시그널링되지 않는 경우에 그 값은 “0”으로 설정한다.
<실시예 C-4.1>
추가된 신택스들의 의미는 앞의 동일한 이름의 신택스와 같음.
D. VPS에서 시그널링되는 vps_max_sub_layers_minus1+1과 특정계층의 max. sub-layer값이 다른 경우에만 해당계층의 SPS에 max. sub-layer 의 개수를 시그널링하는 방식
일반적인 VPS 신택스는 다음과 같이 전체 비트스트림에서 max. sub layer 값을 vps_max_sub_layers_minus1 의 값을 이용하여 시그널링한다.
향상계층의 SPS에서 해당 계층의 max. sub-layer 값이 vps_max_sub_layers_minus1+1과 동일하지 않을 때 max. sub-layer 값을 시그널링하는 경우에, 해당계층의 max. DPB size와 max. latency 정보를 SPS에서 시그널링하는 실시예는 다음과 같다.
<실시예 D-1>
다음의 두 가지 실시예는 향상계층 가운데 vps_max_sub_layers_minus1+1과 동일한 max. sub-layer 값을 가지는 계층(layer)의 max. DPB size와 max. latency 정보를 시그널링 하는 실시예이다.
D-2는 vps_max_sub_layers_minus1+1과 동일한 max. sub-layer 값을 가지는 모든 계층(layer)의 max. DPB size와 max. latency 정보를 시그널링하는 실시예를 나타낸다.
D-3는 vps_max_sub_layers_minus1+1과 동일한 max. sub-layer 값을 가지는 계층(layer)의 max. DPB size와 max latency 정보가 VPS에서 시그널링되는 전체 비트스트림의 max. DPB size와 max. latency 정보와 동일하지 않은 경우에만 해당 계층의 max. DPB size와 max latency 정보를 VPS extension에서 시그널링하는 방식이다.
<실시예 D-2>
max _ sub _ layers _ vps _ predict _ flag[i]: “1”의 값을 가지는 경우는 i번째 계층(layer)의 max. (temporal) sub-layer의 값이 vps_max_sub_layers_minus1+1 인 경우이며, “0”의 값을 가지는 경우는 i번째 계층(layer)의 max. (temporal) sub-layer의 값이 해당 계층의 SPS (해당 계층과 동일한 nuh_layer_id 값을 가지는 SPS)에서 시그널링되는 sps_max_sub_layers_minus1+1의 값을 가지는 것을 의미함.
vps_extension에서는 max. (temporal) sub-layer의 값이 vps_max_sub_layers_minus1+1값을 가지는 계층의 max. DPB size 및 latency 관련 정보를 시그널링하며, max. (temporal) sub-layer 의 값이 vps_max_sub_layers_minus1+1 값과 다른 값을 가지는 계층의 경우는 실시예 D-1과 같이 해당계층의 SPS에서 max. DPB size와 latency 관련 정보를 시그널링한다.
<실시예 D-3>
max _ sub _ layers _ vps _ predict _ flag[i]: “1”의 값을 가지는 경우는 i번째 계층(layer)의 max. (temporal) sub-layer의 값이 vps_max_sub_layers_minus1+1 인 경우이며, “0”의 값을 가지는 경우는 i번째 계층(layer)의 max. (temporal) sub-layer의 값이 해당 계층의 SPS (해당 계층과 동일한 nuh_layer_id 값을 가지는 SPS)에서 시그널링되는 sps_max_sub_layers_minus1+1의 값을 가지는 것을 의미함
sub _ layer _ vps _ buf _ ordering _ info _ predict _ flag[i]: i번째 계층(layer)의 max. sub-layer값이 vps_max_sub_layers_minus1+1과 같은 경우 max. DPB size와 max. latency 정보가 VPS에서 시그널링되는 전체 비트스트림의 max. DPB size와 max latency 정보와 동일한지 여부를 나타냄. “1”의 값을 가지는 경우는 동일함을 나타내며, “0”의 값을 가지는 경우는 동일하지 않음을 나타냄. “0”의 값을 가지는 경우에만 해당계층의 max. DPB size와 max. latency 정보가 시그널링됨.
● Priority information
비트스트림의 각각의 scalable layer의 priority를 나타내기 위한 방법을 제안한다. 위에서 기술하였듯이 VPS 혹은 SEI message (예를 들어 아래와 같이 layer_priority_info message로)로 기술될 수 있다.
새로 정의된 elements의 의미는 다음과 같다.
- priority _ description _ flag : “1”인 경우는 scalable layer의 priority 정보가 제공됨을 의미한다.
- num _ priority _ policies _ minus1 : + 1은 priority setting policy의 수를 나타낸다.
- priority _ id[ i ] [ j ]: layer_id가 i이고 temporal_id가 j인 계층의 priority 값을 나타낸다. 이 element의 값이 낮을수록 priority가 높음을 의미한다.
- priority _ id _ setting _ uri[ PriorityIdSettingUriIdx ]: target access unit set을 위한 NAL unit header에서 priority_id 값을 계산하기 위해 사용된 방법을 기술하는 URI(universal resource identifier)를 나타내는 것으로, UTF-8 character로 인코딩된 null-terminated string의 PriorityIdSettingUriIdx 번재 바이트이다.
만약 layer_priority_info message가 존재한다면, 이 message는 message가 적용되는 주기의 디코딩 순서상 첫번째 access unit에 포함되어야만 한다.
References
[1]. JCTVC-K1003 "High Efficiency Video Coding (HEVC) text specification draft 9"
[2]. JCTVC-K1007 "Solutions considered for NAL unit header and video parameter set for HEVC extensions"
[3]. Annex G of ISO/IEC 14496-10 Advanced Video Coding for Generic Audiovisual Services" 2012.
Claims (1)
- 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식.
Priority Applications (21)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130086839A KR20140093577A (ko) | 2013-01-07 | 2013-07-23 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020130118148A KR20140092206A (ko) | 2013-01-07 | 2013-10-02 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020140001045A KR102271879B1 (ko) | 2013-01-07 | 2014-01-06 | 영상 부호화/복호화 방법 및 장치 |
| EP14735426.0A EP2942964B1 (en) | 2013-01-07 | 2014-01-06 | Image encoding/decoding method and device and non-transitory computer-readable recording medium |
| JP2015551610A JP6386475B2 (ja) | 2013-01-07 | 2014-01-06 | ピクチャ復号化方法およびピクチャ符号化方法 |
| CN201811094074.0A CN109462764B (zh) | 2013-01-07 | 2014-01-06 | 支持多层的用于画面编解码的方法、计算机可读记录介质 |
| EP23192915.9A EP4274232A3 (en) | 2013-01-07 | 2014-01-06 | Image encoding/decoding method and device and non-transitory computer-readable recording medium |
| US14/653,436 US9843814B2 (en) | 2013-01-07 | 2014-01-06 | Image encoding/decoding method and device |
| PCT/KR2014/000100 WO2014107069A1 (ko) | 2013-01-07 | 2014-01-06 | 영상 부호화/복호화 방법 및 장치 |
| CN201480007888.XA CN104969554B (zh) | 2013-01-07 | 2014-01-06 | 图像编码/解码方法和装置 |
| US15/708,967 US10116946B2 (en) | 2013-01-07 | 2017-09-19 | Image encoding/decoding method and device |
| JP2018112225A JP6578417B2 (ja) | 2013-01-07 | 2018-06-12 | ピクチャ復号化方法およびピクチャ符号化方法 |
| US16/136,415 US10455241B2 (en) | 2013-01-07 | 2018-09-20 | Image encoding/decoding method and device |
| JP2019154123A JP6841877B2 (ja) | 2013-01-07 | 2019-08-26 | ピクチャ復号化方法およびピクチャ符号化方法 |
| US16/565,558 US10841598B2 (en) | 2013-01-07 | 2019-09-10 | Image encoding/decoding method and device |
| JP2021023559A JP7125520B2 (ja) | 2013-01-07 | 2021-02-17 | ピクチャ復号化方法およびピクチャ符号化方法 |
| KR1020210083165A KR102431741B1 (ko) | 2013-01-07 | 2021-06-25 | 영상 부호화/복호화 방법 및 장치 |
| KR1020220098578A KR102551896B1 (ko) | 2013-01-07 | 2022-08-08 | 영상 부호화/복호화 방법 및 장치 |
| JP2022128444A JP7371181B2 (ja) | 2013-01-07 | 2022-08-10 | ピクチャ復号化方法およびピクチャ符号化方法 |
| KR1020230085239A KR20230104574A (ko) | 2013-01-07 | 2023-06-30 | 영상 부호화/복호화 방법 및 장치 |
| JP2023177848A JP2023179696A (ja) | 2013-01-07 | 2023-10-13 | ピクチャ復号化方法およびピクチャ符号化方法 |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130001825 | 2013-01-07 | ||
| KR1020130001825 | 2013-01-07 | ||
| KR20130003643 | 2013-01-11 | ||
| KR1020130003643 | 2013-01-11 | ||
| KR20130039044 | 2013-04-10 | ||
| KR1020130039044 | 2013-04-10 | ||
| KR1020130071845A KR20140092198A (ko) | 2013-01-07 | 2013-06-21 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020130071845 | 2013-06-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140092201A true KR20140092201A (ko) | 2014-07-23 |
Family
ID=51739030
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130071845A KR20140092198A (ko) | 2013-01-07 | 2013-06-21 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020130082480A KR20140092201A (ko) | 2013-01-07 | 2013-07-12 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020130086839A KR20140093577A (ko) | 2013-01-07 | 2013-07-23 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020220098578A KR102551896B1 (ko) | 2013-01-07 | 2022-08-08 | 영상 부호화/복호화 방법 및 장치 |
| KR1020230085239A KR20230104574A (ko) | 2013-01-07 | 2023-06-30 | 영상 부호화/복호화 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130071845A KR20140092198A (ko) | 2013-01-07 | 2013-06-21 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130086839A KR20140093577A (ko) | 2013-01-07 | 2013-07-23 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| KR1020220098578A KR102551896B1 (ko) | 2013-01-07 | 2022-08-08 | 영상 부호화/복호화 방법 및 장치 |
| KR1020230085239A KR20230104574A (ko) | 2013-01-07 | 2023-06-30 | 영상 부호화/복호화 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (4) | US9843814B2 (ko) |
| EP (2) | EP2942964B1 (ko) |
| JP (6) | JP6386475B2 (ko) |
| KR (5) | KR20140092198A (ko) |
| CN (2) | CN109462764B (ko) |
| WO (1) | WO2014107069A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140092198A (ko) * | 2013-01-07 | 2014-07-23 | 한국전자통신연구원 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
| US9912943B2 (en) * | 2013-07-15 | 2018-03-06 | Qualcomm Incorporated | Signaling of bit rate information and picture rate information in VPS |
| US20160261878A1 (en) * | 2013-10-11 | 2016-09-08 | Sharp Kabushiki Kaisha | Signaling information for coding |
| US9591324B2 (en) * | 2013-10-14 | 2017-03-07 | Qualcomm Incorporated | Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction |
| CA2996649C (en) | 2015-09-04 | 2021-03-23 | Sharp Kabushiki Kaisha | Systems and methods for signaling of video parameters and information associated with caption services |
| BR112022005370A2 (pt) | 2019-09-24 | 2022-06-14 | Huawei Tech Co Ltd | Sinalização de parâmetros de dpb para fluxos de bits de vídeo de múltiplas camadas |
| WO2021199374A1 (ja) * | 2020-04-01 | 2021-10-07 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム |
| US20230179769A1 (en) * | 2020-05-25 | 2023-06-08 | Lg Electronics Inc. | Multilayer-based image coding method in video or image coding system |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100388820B1 (ko) | 2001-05-16 | 2003-06-25 | 주식회사 넷앤티비 | 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법 |
| US20050254575A1 (en) * | 2004-05-12 | 2005-11-17 | Nokia Corporation | Multiple interoperability points for scalable media coding and transmission |
| AU2006233279C1 (en) * | 2005-04-13 | 2011-01-27 | Nokia Technologies Oy | Method, device and system for effectively coding and decoding of video data |
| US8619860B2 (en) * | 2005-05-03 | 2013-12-31 | Qualcomm Incorporated | System and method for scalable encoding and decoding of multimedia data using multiple layers |
| KR100825737B1 (ko) * | 2005-10-11 | 2008-04-29 | 한국전자통신연구원 | 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱 |
| CN101047857B (zh) * | 2006-03-27 | 2010-04-07 | 华为技术有限公司 | 实现分层变长编解码的方法 |
| JP5135342B2 (ja) * | 2006-07-20 | 2013-02-06 | トムソン ライセンシング | マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置 |
| US8170094B2 (en) * | 2006-11-30 | 2012-05-01 | Motorola Mobility, Inc. | Method and system for scalable bitstream extraction |
| US8199812B2 (en) | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
| CN101682760B (zh) | 2007-04-13 | 2013-08-21 | 诺基亚公司 | 视频编码器 |
| US20100142613A1 (en) * | 2007-04-18 | 2010-06-10 | Lihua Zhu | Method for encoding video data in a scalable manner |
| KR101345287B1 (ko) | 2007-10-12 | 2013-12-27 | 삼성전자주식회사 | 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치 |
| KR101233627B1 (ko) | 2008-12-23 | 2013-02-14 | 한국전자통신연구원 | 스케일러블 부호화 장치 및 방법 |
| KR20110069740A (ko) | 2009-12-17 | 2011-06-23 | 에스케이 텔레콤주식회사 | 영상 부호화/복호화 방법 및 장치 |
| US8908758B2 (en) * | 2010-01-06 | 2014-12-09 | Dolby Laboratories Licensing Corporation | High performance rate control for multi-layered video coding applications |
| JP5833682B2 (ja) * | 2011-03-10 | 2015-12-16 | ヴィディオ・インコーポレーテッド | スケーラブルなビデオ符号化のための依存性パラメータセット |
| US9154796B2 (en) * | 2011-11-04 | 2015-10-06 | Qualcomm Incorporated | Intra-mode video coding |
| US20140092988A1 (en) * | 2012-09-28 | 2014-04-03 | Sharp Laboratories Of America, Inc. | Systems and methods for reference picture set extension |
| WO2014059051A1 (en) * | 2012-10-09 | 2014-04-17 | Rodriguez Arturo A | Providing a common set of parameters for sub-layers of coded video |
| KR20140092198A (ko) * | 2013-01-07 | 2014-07-23 | 한국전자통신연구원 | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |
-
2013
- 2013-06-21 KR KR1020130071845A patent/KR20140092198A/ko unknown
- 2013-07-12 KR KR1020130082480A patent/KR20140092201A/ko unknown
- 2013-07-23 KR KR1020130086839A patent/KR20140093577A/ko unknown
-
2014
- 2014-01-06 EP EP14735426.0A patent/EP2942964B1/en active Active
- 2014-01-06 EP EP23192915.9A patent/EP4274232A3/en active Pending
- 2014-01-06 CN CN201811094074.0A patent/CN109462764B/zh active Active
- 2014-01-06 CN CN201480007888.XA patent/CN104969554B/zh active Active
- 2014-01-06 JP JP2015551610A patent/JP6386475B2/ja active Active
- 2014-01-06 US US14/653,436 patent/US9843814B2/en active Active
- 2014-01-06 WO PCT/KR2014/000100 patent/WO2014107069A1/ko active Application Filing
-
2017
- 2017-09-19 US US15/708,967 patent/US10116946B2/en active Active
-
2018
- 2018-06-12 JP JP2018112225A patent/JP6578417B2/ja active Active
- 2018-09-20 US US16/136,415 patent/US10455241B2/en active Active
-
2019
- 2019-08-26 JP JP2019154123A patent/JP6841877B2/ja active Active
- 2019-09-10 US US16/565,558 patent/US10841598B2/en active Active
-
2021
- 2021-02-17 JP JP2021023559A patent/JP7125520B2/ja active Active
-
2022
- 2022-08-08 KR KR1020220098578A patent/KR102551896B1/ko active IP Right Grant
- 2022-08-10 JP JP2022128444A patent/JP7371181B2/ja active Active
-
2023
- 2023-06-30 KR KR1020230085239A patent/KR20230104574A/ko not_active Application Discontinuation
- 2023-10-13 JP JP2023177848A patent/JP2023179696A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11553198B2 (en) | Removal delay parameters for video coding | |
| KR20140092201A (ko) | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 | |
| KR100908062B1 (ko) | 비디오 신호의 디코딩/인코딩 방법 및 장치 | |
| JP6612338B2 (ja) | Ｈｅｖｃ拡張の搬送用データストリームのｈｒｄ記述子およびバッファモデルの設計 | |
| US10187662B2 (en) | Signaling parameters in video parameter set extension and decoder picture buffer operation | |
| JP2020198648A (ja) | ビデオビットストリームを復号する方法およびデバイス | |
| BRPI0718205A2 (pt) | Método para encodificar conteúdo de vídeo; produto de programa de computador; equipamento de encodificação; método para seletivamente emitir uma pluralidade de imagens; e equipamento de decodificação. | |
| KR20130116783A (ko) | 계층적 비디오 부호화에서의 계층정보 표현방식 | |
| JP2017510100A (ja) | 符号化ピクチャバッファ・パラメータのシグナリングおよび導出 | |
| KR102431741B1 (ko) | 영상 부호화/복호화 방법 및 장치 | |
| CN115225908A (zh) | 通用媒体应用格式中的解码能力信息 | |
| CN116648913A (zh) | 视频解码器初始化信息约束 | |
| KR20140092206A (ko) | 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식 |