JP7490592B2 - 映像の復号化方法及びこれを利用する装置 - Google Patents

映像の復号化方法及びこれを利用する装置 Download PDF

Info

Publication number
JP7490592B2
JP7490592B2 JP2021022000A JP2021022000A JP7490592B2 JP 7490592 B2 JP7490592 B2 JP 7490592B2 JP 2021022000 A JP2021022000 A JP 2021022000A JP 2021022000 A JP2021022000 A JP 2021022000A JP 7490592 B2 JP7490592 B2 JP 7490592B2
Authority
JP
Japan
Prior art keywords
layer
current picture
inter
pictures
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021022000A
Other languages
English (en)
Other versions
JP2021101538A (ja
Inventor
リー、ハ、ヒョン
カン、ジョン、ウォン
リー、ジン、ホ
チェ、ジン、ス
キム、ジン、ウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2021101538A publication Critical patent/JP2021101538A/ja
Priority to JP2023043188A priority Critical patent/JP2023072090A/ja
Application granted granted Critical
Publication of JP7490592B2 publication Critical patent/JP7490592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/01Assessment or evaluation of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Machine Translation (AREA)

Description

本発明は、映像の符号化及び復号化処理に関し、より詳しくはビットストリーム内の複数のレイヤを支援する映像の符号化及び復号化方法及び装置に関する。
最近、HD(High Definition)解像度を有する放送サービスが韓国内だけでなく世界的に拡大されるに伴い、多くの使用者が高解像度、高画質の映像に慣れており、これによって多くの機関が次世代映像機器に対する開発に拍車をかけている。また、HDTVとともにHDTVの4倍以上の解像度を有するUHD(Ultra High Definition)に対する関心が増大しながら、より高い解像度、高画質の映像に対する圧縮技術が要求されている。
映像圧縮のために、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれた画素値を予測するインター(inter)予測技術、現在ピクチャ内の画素情報を利用して現在ピクチャに含まれた画素値を予測するイントラ(intra)予測技術、出現頻度の高いシンボル(symbol)に短い符号を割り当て、出現頻度の低いシンボルに長い符号を割り当てるエントロピー符号化技術などが用いられ得る。
映像圧縮技術には、流動的なネットワーク環境を考慮することなく、ハードウェアの制限的な動作環境下で一定のネットワーク帯域幅を提供する技術がある。しかし、随時に帯域幅が変化するネットワーク環境に適用される映像データを圧縮するためには新しい圧縮技術が要求され、このためにスケーラブル(scalable)ビデオ符号化/復号化方法が用いられ得る。
本発明は、時間的サブ階層を含む多数の階層構造の映像符号化されたビットストリーム内に存在する階層情報をシグナリングする方法、階層間予測方法及びターゲット出力階層を求める方法を提供する。
また、本発明は、セッション交渉などのためにビットストリーム内のVPSに記述された階層情報をエントロピーデコーダがなくとも接近できる方法及びこれを利用する装置を提供する。
また、本発明の一実施形態は、現在ピクチャのデコーディングに必要な階層間参照ピクチャの有効な個数を把握して階層間予測に活用する方法、及びターゲット出力階層を求める方法及びこれを利用する装置を提供する。
本発明の一実施形態である複数の階層を支援する映像のデコーディング方法は、階層間予測のために現在ピクチャのデコーディングに用いられる参照階層に対する情報を受信する段階と、前記参照階層に対する情報に基づいて前記現在ピクチャのデコーディングに用いられる有効参照階層ピクチャの個数を誘導する段階と、前記有効な参照階層ピクチャの個数に基づいて階層間予測を行う段階とを含むことができる。
前記現在ピクチャに属する全てのスライスの前記有効な参照階層ピクチャの個数は同一であり得る。
前記現在ピクチャが属している現在階層を識別するレイヤ識別子が0の場合、前記有効な参照階層ピクチャの個数は0に誘導され得る。
前記現在ピクチャが属している現在階層に対する直接参照階層の個数が0の場合、前記有効な参照階層ピクチャの個数は0に誘導され得る。
現在階層に対する直接参照階層の個数、参照階層の最大時間的サブ階層情報、参照階層で階層間予測を許容する最大時間的サブ階層情報及び現在ピクチャの時間的識別子を考慮して誘導された現在ピクチャと同一のアクセスユニット内の参照階層ピクチャ個数が0の場合、前記有効な参照階層の個数は0に誘導され得る。
前記現在ピクチャが属している現在階層を識別するレイヤ識別子が0であるか、前記現在ピクチャと同一のアクセスユニット内の階層間予測に利用することができる参照ピクチャの個数が0の場合ではなく、前記現在ピクチャを含む階層に対する全ての直接参照階層に属して現在ピクチャと同一のアクセスユニットに存在し、現在ピクチャの階層間参照ピクチャセットに含まれる全ての直接参照階層ピクチャを現在ピクチャの参照階層ピクチャとして用いる場合、前記有効な参照階層ピクチャの個数は、前記現在階層に対する直接参照階層個数を表す変数、各階層の最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値、現在ピクチャの時間的識別子に基づいて誘導され得る。
前記現在ピクチャに対する直接参照階層ピクチャのうち、参照階層の最大時間的サブ階層情報が現在ピクチャの時間的識別子より大きいか同一であり、参照階層で階層間予測を許容した最大時間的サブ階層情報が現在ピクチャの時間的識別子より大きい場合に当該する参照階層のピクチャの個数を、現在ピクチャのデコーディングのための前記有効な参照階層ピクチャの個数として用いることができる。
前記現在ピクチャのデコーディングに階層間予測が用いられない場合、前記有効な参照階層ピクチャの個数は0に誘導され得る。
最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、前記現在ピクチャが属している階層の直接参照階層の個数が1であれば、前記有効な参照階層ピクチャの個数は1に誘導され得る。
最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、前記現在ピクチャが属している階層の直接参照階層の個数が1であれば、前記現在ピクチャのデコーディングに用いられ得る参照階層ピクチャの個数が0より大きければ、前記有効な参照階層ピクチャの個数は1に誘導され、前記現在ピクチャのデコーディングに用いられ得る参照階層ピクチャ個数が0であれば、前記有効な参照階層ピクチャの個数は0に誘導され得る。
最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、前記現在ピクチャと同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの個数が1であれば、前記有効な参照階層ピクチャの個数は1に誘導され得る。
前記参照階層に対する情報が階層間予測のために現在ピクチャのデコーディングに用いられるピクチャの個数を表す個数情報を含む場合、前記有効な参照階層ピクチャの個数は前記個数情報に特定される値に誘導され得る。
本発明の一実施形態によれば、時間的サブ階層を含む多数の階層構造の映像符号化されたビットストリーム内に存在する階層情報をシグナリングする方法、階層間予測方法及びターゲット出力階層を求める方法が提供される。
また、本発明の一実施形態によれば、エントロピーデコーダを有しないMANE(Media Aware Network Equipment)でもセッション交渉等のためにビットストリーム内に存在する階層情報を接近できる方法及びこれを利用する装置が提供される。
また、本発明によれば、現在ピクチャのデコーディングに必要な階層間参照ピクチャの有効な個数を正確に把握して階層間予測に活用する方法と、実際に所望する出力階層を出力することができる方法及びこれを利用する装置が提供される。
映像符号化装置の一実施形態による構成を示すブロック図である。 映像復号化装置の一実施形態による構成を示すブロック図である。 本発明が適用され得る、複数階層を利用したスケーラブルビデオコーディング構造の一実施形態を概略的に示す概念図である。 本発明に係る映像の復号化方法を説明するための制御フローチャートである。 本発明の一実施形態による有効な参照階層ピクチャの個数を誘導する方法を説明するための図である。
以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにおいて、関連公知構成または機能に対する具体的な説明が本明細書の要旨をぼやかし得ると判断される場合にはその詳細な説明は略する。
ある構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及された際には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。さらに、本発明で特定の構成を「含む」と記述する内容は当該構成以外の構成を排除するものではなく、追加の構成が本発明の実施または本発明の技術的思想の範囲に含まれ得ることを意味する。
第1、第2などの用語は、多様な構成要素を説明するのに用いられ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ用いられる。例えば、本発明の権利範囲を外れないながらも、第1構成要素は第2構成要素に命名され得、類似に第2構成要素もまた第1構成要素に命名され得る。
また、本発明の実施例に示される構成部は互いに異なる特徴的な機能を現わすために独立的に示されるものであって、各構成部が分離されたハードウェアや一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は説明の便宜上、それぞれの構成部に並べて含むものであって、各構成部のうち少なくとも二つの構成部が合されて一つの構成部からなるか、一つの構成部が複数個の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施例及び分離された実施例もまた本発明の本質から外れない限り本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を行う必須な構成要素ではなく、単に性能向上のための選択的構成要素であり得る。本発明は、単に性能向上のために用いられる構成要素を除いた本発明の本質を具現するのに必須な構成部のみを含んで具現され得、単に性能向上のために用いられる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
図1は、映像符号化装置の一実施形態による構成を示すブロック図である。スケーラブル(scalable)ビデオ符号化/復号化方法または装置はスケーラビリティ(scalability)を提供しない一般的な映像符号化/復号化方法または装置の拡張(extension)によって具現され得、図1のブロック図はスケーラブルビデオ符号化装置の基礎となり得る映像符号化装置の一実施形態を示す。
図1を参照すれば、前記映像符号化装置100は、動き予測部111、動き補償部112、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィルタ部180及び参照映像バッファ190を含む。
映像符号化装置100は、入力映像に対してイントラ(intra)モードまたはインター(inter)モードで符号化を行ってビットストリーム(bit stream)を出力することができる。イントラ予測は、画面内予測、インター予測は画面間予測を意味する。イントラモードの場合、スイッチ115がイントラに転換され、インターモードの場合、スイッチ115がインターに転換される。映像符号化装置100は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックの差分を符号化することができる。
イントラモードの場合、イントラ予測部120は現在ブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を行って予測ブロックを生成することができる。
インターモードの場合、動き予測部111は、動き予測過程で参照映像バッファ190に貯蔵されている参照映像で入力ブロックと最もよくマッチできる領域を探して動きベクトルを求めることができる。動き補償部112は、動きベクトルと参照映像バッファ190に貯蔵されている参照映像を利用して動き補償を行うことにより、予測ブロックを生成することができる。
減算器125は、入力ブロックと生成された予測ブロックの差分により残余ブロック(residual block)を生成することができる。変換部130は、残余ブロックに対して変換(transform)を行って変換係数(transform coefficient)を出力することができる。また、量子化部140は、入力された変換係数を量子化パラメータによって量子化し、量子化された係数(quantized coefficient)を出力することができる。
エントロピー符号化部150は、量子化部140で算出された値または符号化過程で算出された符号化パラメータ値などに基づいて、シンボル(symbol)を確率分布によってエントロピー符号化してビットストリーム(bit stream)を出力することができる。エントロピー符号化方法は、多様な値を有するシンボルの入力を受けて、統計的重複性を除去しながら、復号可能な2進数の列で表現する方法である。
ここで、シンボルとは、符号化/復号化対象構文要素(syntax element)及び符号化パラメータ(coding parameter)、残余信号(residual signal)の値などを意味する。符号化パラメータは、符号化及び復号化に必要な媒介変数であって、構文要素のように符号化器で符号化されて復号化器へ伝達される情報だけでなく、符号化あるいは復号化過程で類推され得る情報を含むことができ、映像を符号化するか復号化する際に必要な情報を意味する。符号化パラメータは、例えば、イントラ/インター予測モード、移動/動きベクトル、参照映像索引、符号化ブロックパターン、残余信号有無、変換係数、量子化された変換係数、量子化パラメータ、ブロックの大きさ、ブロック分割情報などの値または統計を含むことができる。また、残余信号は原信号と予測信号の差を意味することができ、また原信号と予測信号の差が変換(transform)された形態の信号または原信号と予測信号の差が変換されて量子化された形態の信号を意味することもできる。残余信号は、ブロック単位では残余ブロックと言える。
エントロピー符号化が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボル等に対するビット列の大きさが減少され得る。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高くなり得る。
エントロピー符号化のために指数ゴロム(exponential golomb)、CAVLC(Context-Adaptive Variable Length Coding)、CABAC(Context-Adaptive Binary Arithmetic Coding)のような符号化方法が用いられ得る。例えば、エントロピー符号化部150には可変長符号化(VLC:Variable Lenghth Coding/Code)テーブルのようなエントロピー符号化を行うためのテーブルが貯蔵され得、エントロピー符号化部150は貯蔵された可変長符号化(VLC)テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部150は、対象シンボルの二進化(binarization)方法及び対象シンボル/ビン(bin)の確率モデル(probability model)を導出した後、導出された二進化方法または確率モデルを用いてエントロピー符号化を行うこともできる。
量子化された係数は、逆量子化部160で逆量子化されて逆変換部170で逆変換され得る。逆量子化、逆変換された係数は、加算器175を介して予測ブロックと加われ、復元ブロックが生成され得る。
復元ブロックはフィルタ部180を経て、フィルタ部180はデブロッキングフィルタ(deblocking filter)、SAO(Sample Adaptive Offset)、ALF(Adaptive Loop Filter)のうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部180を経た復元ブロックは、参照映像バッファ190に貯蔵され得る。
図2は、映像復号化装置の一実施形態による構成を示すブロック図である。図1で前述したようにスケーラブルビデオ符号化/復号化方法または装置は、スケーラビリティを提供しない一般的な映像符号化/復号化方法または装置の拡張によって具現され得、図2のブロック図はスケーラブルビデオ復号化装置の基礎となり得る映像復号化装置の一実施形態を示す。
図2を参照すれば、前記映像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260及び参照映像バッファ270を含む。
映像復号化装置200は、符号化器で出力されたビットストリームの入力を受けてイントラモードまたはインターモードで復号化を行って再構成された映像、すなわち復元映像を出力することができる。イントラモードの場合、スイッチがイントラに転換され、インターモードの場合、スイッチがインターに転換され得る。映像復号化装置200は、入力を受けたビットストリームから復元された残余ブロック(residual block)を得て予測ブロックを生成した後、復元された残余ブロックと予測ブロックを加えて再構成されたブロック、すなわち復元ブロックを生成することができる。
エントロピー復号化部210は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(quantized coefficient)形態のシンボルを含むシンボル等を生成することができる。エントロピー復号化方法は、2進数の列の入力を受けて各シンボル等を生成する方法である。エントロピー復号化方法は、前述したエントロピー符号化方法と類似である。
量子化された係数は、逆量子化部220で逆量子化されて逆変換部230で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元された残余ブロック(residual block)が生成され得る。
イントラモードの場合、イントラ予測部240は、現在ブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を行って予測ブロックを生成することができる。インターモードの場合、動き補償部250は、動きベクトル及び参照映像バッファ270に貯蔵されている参照映像を利用して動き補償を行うことにより予測ブロックを生成することができる。
復元された残余ブロックと予測ブロックは加算器255を介して加えられ、加えられたブロックはフィルタ部260を経る。フィルタ部260は、デブロッキングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部260は、再構成された映像、すなわち復元映像を出力する。復元映像は、参照映像バッファ270に貯蔵されて画面間予測に用いられ得る。
前記映像復号化装置200に含まれているエントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260及び参照映像バッファ270のうち映像の復号化に直接的に係る構成要素等、例えば、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260などを他の構成要素と区分して復号化部またはデコーディング部で表現することができる。
また、映像復号化装置200は、ビットストリームに含まれているエンコーディングされた映像に係る情報をパッシングする、示していないパッシング部をさらに含むことができる。パッシング部は、エントロピー復号化部210を含むこともでき、エントロピー復号化部210に含まれることもできる。このようなパッシング部はまた、デコーディング部の一つの構成要素として具現されることもできる。
図3は、本発明が適用され得る、複数階層を利用したスケーラブルビデオコーディング構造の一実施形態を概略的に示す概念図である。図3において、GOP(Group of Picture)はピクチャ群、すなわちピクチャのグループを示す。
映像データを転送するためには伝送媒体が必要であり、その性能は多様なネットワーク環境によって転送媒体別に差がある。このような多様な転送媒体またはネットワーク環境への適用のためにスケーラブルビデオコーディング方法が提供され得る。
スケーラブルビデオコーディング方法は、階層(layer)間のテクスチャ情報、動き情報、残余信号などを活用して階層間の重複性を除去して符号化/復号化性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、転送ビットレート、転送エラーレート、システム資源などの周辺条件によって、空間的、時間的、画質的、視点的観点で多様なスケーラビリティを提供することができる。
スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供できるように、複数階層(multiple layers)構造を用いて行われ得る。例えば、スケーラブルビデオコーディング構造は、一般的な映像符号化方法を利用して映像データを圧縮して処理する基本階層を含むことができ、基本階層の符号化情報及び一般的な映像符号化方法を共に用いて映像データを圧縮処理する向上階層を含むことができる。
ここで、階層(layer)は空間(spatial、例えば、映像の大きさ)、時間(temporal、例えば、符号化順序、映像出力順序、フレームレート)、画質、視点、複雑度などを基準に区分される映像、及びビットストリーム(bitstream)の集合を意味する。また、基本階層(Base layer)は下位階層または参照階層、向上階層(Enhancement layer)は上位階層を意味することができる。また、複数の階層は互いに従属性を有することもできる。
図3を参照すれば、例えば基本階層はSD(standard definition)、15Hzのフレームレート、1Mbpsのビットレートに定義され得、第1向上階層はHD(high definition)、30Hzのフレームレート、3.9Mbpsのビットレートに定義され得、第2向上階層は4K-UHD(ultra high definition)、60Hzのフレームレート、27.2Mbpsのビットレートに定義され得る。前記フォーマット(format)、フレームレート、ビットレートなどは一つの実施例として、必要に応じて異に定められ得る。また、用いられる階層の数も本実施例に限定されず、状況に応じて異に定められ得る。
例えば、伝送帯域幅が4Mbpsであれば、前記第1向上階層HDのフレームレートを減らして15Hz以下に転送することができる。スケーラブルビデオコーディング方法は、前記図3の実施例で前述した方法によって時間的、空間的、画質的、視点的スケーラビリティを提供することができる。
スケーラブルビデオコーディングは、以下の符号化観点ではスケーラブルビデオ符号化、復号化観点ではスケーラブルビデオ復号化と同一の意味を有する。
本発明は、複数の階層(layer)または視点(view)を含む映像の符・復号化(en-/de-coding)過程に関するものであって、前記複数の階層または視点は、第1、第2、第3、第n階層または視点で表現することができる。以下の説明では、第1階層と第2階層が存在するピクチャを例として記述し、それ以上の階層または視点にも同一の方法で適用することができる。また、前記第1階層は下位(base)階層、第2階層は上位(upper)階層として表現することもできる。また、前記第1階層は参照(reference)階層、第2階層は向上(enhancement)階層として表現され得る。
第2階層のピクチャ/ブロックに対応する第1階層のピクチャ/ブロックは、前記第2階層ピクチャ/ブロックの大きさに合わせて変更することができる。すなわち、第1階層のピクチャ/ブロックの大きさが第2階層のピクチャ/ブロックより小さい場合、アップサンプリング(up-sampling)、re-samplingなどの方法を利用してスケーリング(scaling)することができる。
また、第1階層のピクチャは、前記第2階層の参照ピクチャリスト(reference picture list)に追加して第2階層の映像符/復号化に利用され得る。このとき、第2階層は通常の画面間予測のように参照ピクチャリストにある第1階層映像を利用して予測及び符/復号化を行うことができる。
符/復号化のためのブロックの大きさは、4×4、8×8、16×16、32×32、64×64などN×N形態の正四角形または4×8、16×8、8×32などのN×M形態の直四角形であってもよく、ブロックの単位は符号化ブロック(CB:Coding Block)、予測ブロック(PB:Prediction Block)、変換ブロック(TB:Transform Block)のうち少なくとも一つであってもよく、それぞれ互いに異なる大きさを有し得る。
以下で、スケーラブルビデオ、すなわち多階層構造を用いる映像の符号化及び復号化方法のうち上位階層の符号化及び復号化対象となるブロック(以下、現在ブロックまたは対象ブロックと称する)の予測ブロック、すなわち予測信号を生成する方法に対して検討してみる。以下発明の内容(方法または装置)は、通常、符号化器と復号化器に同一に適用され得る。
一方、現在SHVC(Scalable High Efficiency Video Coding)及びMV-HEVC(Multiview-High Efficiency Video Coding)の標準草案で、ビデオパラメータ拡張(video parameter set extension, VPS extension)でレイヤセットに用いられるプロファイル、ティア及びレベルを示すシンタックス要素(profile_tier_level)は表1のように記述(description)されている。
表1を参照すれば、vps_num_profile_tier_level_minus1で特定される値は、VPS内のprofile_tier_level()のシンタックス構造(syntax structures)の個数を示す。
vps_profile_present_flag[i]が「1」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報(profile and tier information)が存在することを示し、「0」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報が存在せずに類推されることを示す。
profile_ref_minus1[i]は、i番目のprofile_tier_level()のシンタックス構造のためのプロファイル及びティア情報は、(profile_ref_minus1[i]+1番目のprofile_tier_level()のシンタックス構造のためのプロファイル及びティア情報と同一であるものと類推されることを示す。このとき、profile_ref_minus1[i]に1を足し合わせた値は、iと同一であるか、小さくなければならない。
表1のような現在標準草案によれば、iが1であり、vps_profile_present_flag[1]が0の値を有する場合、1番目のprofile_tier_level()のシンタックス構造のためのプロファイル及びティア情報は、(profile_ref_minus1[1]+1番目のprofile_tier_level()のシンタックス構造から類推しなければならない。すなわち、「profile_ref_minus1[1]+1」の値が1と同一であるか、0を有しなければならない。「profile_ref_minus1[1]+1」が0であれば、profile_ref_minus1[1]が-1値を有することとなり、u(6)に符号化されるprofile_ref_minus1[i]のシンタックス定義に違背される。
また、(profile_ref_minus1[1]+1が「1」値を有するとする場合、1番目のプロファイル及びティア情報を1番目のprofile_tier_levelのシンタックス構造から類推しなければならない問題が発生することができる。
このような問題点を解決するために前記シンタックスに対するセマンティックスに「一番目のprofile_tier_levelのシンタックス構造(syntax structure)に対しては、常にvps_profile_present_flag[1]が1にならなければならない。」のような制約を追加することができる。この場合、表1のvps_profile_present_flag[i]に対するセマンティックスは次のように表現され得る。
vps_profile_present_flag[i]が「1」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報(profile and tier information)が存在することを示し、vps_profile_present_flag[i]が「0」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報が存在せずに類推されることを指示することを示すことができる。一番目のprofile_tier_levelのシンタックス構造のためのvps_profile_present_flag[1]は、1の値を有しなければならない。
また、他の実施例によれば、前記のような問題点を解決するために表2のようなシグナリング方法を考慮することができる。
表2を参照すれば、vps_num_profile_tier_level_minus1で特定される値は、VPS内のprofile_tier_level()のシンタックス構造(syntax structures)の個数を示す。
vps_profile_present_flag[i]が「1」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報(profile and tier information)が存在することを示し、vps_profile_present_flag[i]が「0」であれば、i番目のprofile_tier_level()のシンタックス構造内にプロファイル及びティア情報が存在せず、i-1番目のprofile_tier_level()のシンタックス構造のプロファイル及びティア情報から類推されることを示す。一番目のprofile_tier_levelのシンタックス構造のためのvps_profile_present_flag[1]は、1の値を有しなければならない。
表2による場合、profile_ref_minus1[1]はシグナリングされない。
本発明のまた他の実施例によれば、エントロピーデコーダのないMANE(Media Aware Network Equipment)でもVPS extensionをパッシングできるように、VPSのシンタックス構造を変更することができる。表3から5は、本発明のいくつかの側面によるVPSを示している。
表3を参照すれば、VPSで転送されるシンタックス要素(syntax element)のvps_extension_offsetは、VPS NALユニットの開始点から「avc_base_layer_flag」のシンタックスで始まる固定長符号化情報(fixed length coded information)までのバイトオフセット(byte offset)を示す。
vps_extension_offsetによって定義されるバイトオフセットは、VPS NALユニット内のエントロピーデコーディングを必要とせずにセッション交渉(session negotiation)を可能にする基本情報等に接近できるようにする。
例えば、エントロピーデコーダのないMANE(Media Aware Network Equipment)は、vps_extension_offsetによって記述されるバイトオフセット値に基づいて、エントロピー復号化が必要でない基本情報をパッシングしてセッション交渉に用いることができる。
エントロピーデコーダのないMANEは、セッション交渉のためにvps_extension_offset情報に基づいてvps_extension_offset以後の情報をエントロピーデコーディングせずに、表4のVPS extension内の出力レイヤセット(output layer sets)情報をパッシングする場合、レイヤ識別子リスト内のレイヤ個数の意味を示す変数NumLayersInIdListは、表3のvps_extension_offset以後に記述されるレイヤセット(layer sets)に対する情報、すなわち、layer_id_included_flag[i][j]から計算される値でエントロピーデコーディングされなければならない。
エントロピーデコーディングなく、VPS extension内の出力レイヤセット情報をセッション交渉などに用いることができるように、表5でのようにVPS extension内にレイヤセット(layer sets)に対する情報を記述することができる。
一方、表5のVPS extension内に記述されるレイヤセット(layer sets)に係るシンタックス要素等の意味(semantics)は次の通りである。
vps_maximum_layer_idは、VPSで記述されるvps_max_layer_idと同一に、CVS内の全てのNALユニットで許容される最大nuh_layer_id値を示し、VPSで記述されるvps_max_layer_idと同一の値を有することができる。
vps_number_layer_sets_minus1で特定される値はレイヤセットの個数を表すと、vps_vui_offset以前にシグナリングされ得る。
VPSで記述されるlayer_id_included_flag[i][j]と同一に、layer_id_nuh_included_flag[i][j]が1であれば、jと同一のnuh_layer_id値がレイヤ識別子リスト(layer identifier list、layerSetLayerIdList[i])に含まれることを示し、layer_id_nuh_included_flag[i][j]が0であれば、jと同一の nuh_layer_id値がレイヤ識別子リスト(layerSetLayerIdList[i])に含まれないことを示す。layer_id_nuh_included_flag[i][j]は、VPSで記述されるlayer_id_included_flag[i][j]と同一の値を有しなければならない。
1からvps_number_layer_sets_minus1までの値を有し得るiに対するnumLayersInIdList[i]とレイヤ識別子リスト(layerSetLayerIdList[i])は、下記のように求めることができる。
n=0
for ( m = 0; m <= vps_maximum_layer_id; m++)
if (layer_id_nuh_included_flag[i][m])
layerSetLayerIdList[i][n++] = m
numLayersInIdList[i] = n
多階層基盤の映像符号化復号化方法では、VPS extensionに記述されたlayer_id_nuh_included_flag[i][j]に基づいて、VPS VUIビットストリーム分割HRD(VPS Video usability information bitstream partition hypothetical reference decoder)パラメータシンタックス、ビットストリーム分割HRD(Bitstream partition HRD)パラメータSEIメッセージ(supplemental enhancement information message)シンタックスなどを記述するか、レイヤセットに関する情報を解釈することができる。
本発明のまた他の実施例によれば、表6のようにVPS extension内にレイヤセット(layer sets)に対する情報を記述することができる。
表6は、VPS extension内のレイヤセット(layer sets)に対する情報を示しており、このようなVPS extension内の出力レイヤセット情報を利用して、エントロピーデコーディングがなくともセッション交渉などが行われ得る。
レイヤセットに関するシンタックス(vps_maximum_layer_id、vps_number_layer_sets_minus1、layer_id_nuh_included_flag[i][j])は、シンタックス要素vps_vui_offsetの上に記述され得る。
さらに、階層間従属性可否を報知するシンタックス要素direct_dependency_flagの位置を、vps_vui_offsetの上に変更させることができる。この場合、vps_vui_offset以後のシンタックス要素をパッシングしなくとも、vps_vui_offset値を用いてvps_vuiに対する情報を把握することができる。
また他の実施例によって、表7のようにVPS extension内にレイヤセット(layer sets)に対する情報を記述することができる。
表7を参照すれば、VPS内に存在するレイヤセットに関するシンタックス要素等の位置は、vps_extension_offset以前に位置され得る。
既存に可変的なビット数ue(V)で符号化されていたvps_num_layer_sets_minus1は、エントロピーデコーディングを避けるために固定ビット数u10で符号化され得、VPS extensionで記述されている同一機能のvps_number_layer_sets_minus1は削除され得る。
一方、VPS VUIで記述されるビデオシグナリング情報は、セッション交渉に用いられ得る情報であり、VPS VUIは表8の通りである。
表8を参考すれば、video_signal_info_idx_present_flagが1であれば、シンタックス要素vps_num_video_signal_info_minus1とvps_video_signal_info_idx[i]が存在することを示し、video_signal_info_idx_present_flagが0であれば、シンタックス要素vps_num_video_signal_info_minus1とvps_video_signal_info_idx[i]が存在しないことを示す。
vps_num_video_signal_info_minu1に1を足し合わせた値は、VPS内のvideo_signal_info()のシンタックス構造(syntax structures)の個数を示す。vps_num_video_signal_info_minu1が存在しない場合、vps_num_video_signal_info_minus1の個数はMaxLayersMinus1の値と同一であるものと類推される。
vps_video_signal_info_idxは、layer_id_in_nuh[i]と同一のnuh_layer_idを有する階層に適用されるvideo_signal_info()のシンタックス構造リストのインデックスを示す。vps_video_signal_info_idxが存在しない場合、vps_video_signal_info_idx[i]は(video_signal_info_idx_present_flag ? 0:i)に類推される。vps_video_signal_info_idx[i]は、0からvps_num_video_signal_info_minus1の範囲に存在することができる。
現在SHVC及びMV-HEVC標準草案では、表8のようにビデオシグナリング情報以前に指数ゴロム(Exp-golomb)コード(ue(v))に符号化されたシンタックス要素等が存在するため、エントロピーデコーダのないMANEではビデオシグナリング情報をセッション交渉に用いることができない問題が発生することがある。
このような問題点を解決するために、すなわちVPS VUI内のビデオシグナリング情報をエントロピーデコーディングなしにセッション交渉に用いるため、表9のようにエントロピーデコーディングがなくとも接近可能な位置でビデオシグナリング情報が記述され得る。
表9のようにエントロピーデコーディングなしにビデオシグナリング情報に接近するため、VPS_VUI内のビットレート(bit_rate)及びピクチャレート(pic_rate)に関するシンタックス要素(bit_rate_present_vps_flag、pic_rate_present_vps_flag、bit_rate_present_flag、pic_rate_present_flagなど)の次にビデオシグナリング情報に係るシンタックスを記述することができる。
すなわち、ビデオシグナル情報(video_signal_info)の個数とビデオシグナル情報のインデックスを指示する信号の存在可否を指示するフラッグ情報、すなわちvideo_signal_info_idx_present_flagを固定されたビットを利用してシグナリングされる信号等の次に受信することにより、エントロピーデコーディングなしにビデオシグナリング情報に接近することができる。
一方、本発明の一側面は、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数を求める多様な方法を提案する。
第1方法
階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数を表す変数「NumActiveRefLayerPics」は下記のように求めることができる。第1方法による場合、ピクチャの全てのスライスは同一の「NumActiveRefLayerPics」値を有するものと限定され得る。
(1)現在ピクチャが属している階層のレイヤ識別子に当該する「nuh_layer_id」が0であるか、現在ピクチャが属している階層の直接参照階層の個数「NumDirectRefLayers」が0である場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は0に設定することができる。すなわち、レイヤがベースレイヤであるか、直接的に参照するレイヤの個数が0であれば、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数は0に設定される。
(2)そうではなく、もし(else if)、VPS extensionで記述されるシンタックス要素「all_ref_layers_active_flag」値が1である場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、数式1、数式2または数式3から求められた変数「numRefLayerPics」の値に設定され得る。
all_ref_layers_active_flagが1であれば、ビデオパラメータセットを参照している各ピクチャに対して、当該ピクチャを含む階層の全ての直接参照階層に属する直接参照階層ピクチャのうち、現在ピクチャと同一のアクセスユニットに存在して当該ピクチャの階層間参照ピクチャセットに含まれた全ての直接参照ピクチャが階層間予測に用いられることを示す。同一アクセスユニットが存在するかの可否及び階層間参照ピクチャセットを含むかの可否は、各階層の最大時間サブ階層情報(sub_layers_vps_minus1[i])と各階層で階層間予測を許容する時間的サブ階層の最大許容値(max_tid_il_ref_pics_plus1[i][j])で指示され得る。
all_ref_layers_active_flagが0であれば、前記制約が適用されるか、適用されないこともあり得ることを示す。
このようなall_ref_layers_active_flagは、default_ref_layers_active_flagのようなシンタックスで表現されることもある。
現在ピクチャと同一のアクセスユニット内に階層間予測のために用いることができる参照階層ピクチャの個数を指示する変数「numRefLayerPics」は次のように誘導され得る。
数式1を参照すれば、変数「NumDirectRefLayers[]」はVPS extensionに記述されたシンタックス要素「direct_dependency_flag」から計算された現在階層が直接参照している参照階層の個数を示す。
「sub_layers_vps_max_minus1[i]」は、各階層の最大時間サブ階層情報を示し、「max_tid_il_ref_pics_plus1[i][j]」は、各階層で階層間予測を許容する時間的サブ階層の最大許容値を示し、「TemporalId」は現在ピクチャの時間的識別子を示す。
数式1によれば、現在ピクチャを含んでいる階層の直接参照階層のうち、参照階層の「sub_layers_vps_max_minus1[i]」値が現在ピクチャの「TemporalId」値より大きいか同一であり、現在階層に対する参照階層の「max_tild_il_ref_pics_plus1[i][j]」値が現在ピクチャの時間的識別子「TemporalId」値より大きい参照階層のピクチャのみ階層間予測のために現在ピクチャのデコーディングに用いられ得る直接参照階層ピクチャとしてみなされ得る。
一方、シンタックス要素「max_tid_il_ref_pics_plus1[i][j]」が「0」の場合、「layer_id_in_nuh[i]」と同一の「nuh_layer_id」を有するIRAPではないピクチャ(non-intra random access point picture)は「layer_id_in_nuh[j]」と同一の「nuh_layer_id」値を有するピクチャに対して階層間予測のための参照ピクチャとして用いることができない。このような制約事項を反映するために数式1は下記数式2に代替され得る。
数式2において、変数「NumDirectRefLayers[]」はVPS extensionに記述されたシンタックス要素「direct_dependency_flag」から計算された現在階層が直接参照している参照階層の個数を示す。
「sub_layers_vps_max_minus1[i]」は、各階層の最大時間サブ階層情報を示し、「max_tid_il_ref_pics_plus1[i][j]」は各階層で階層間予測を許容する時間的サブ階層の最大許容値を示し、「TemporalId」は現在ピクチャの時間的識別子を示す。
数式2によれば、現在ピクチャを含んでいる階層の直接参照階層のうち、「max_tid_il_ref_pics_plus1[i][j]」値が「0」の場合、現在ピクチャの時間的識別子「TemporalId」値と参照階層の「max_tid_il_ref_pics_plus1[i][j]」値が「0」と同一であり、参照階層の「sub_layers_vps_max_minus1[i]」値が現在ピクチャの時間的識別子「TemporalId」値より大きいか同一である参照階層のピクチャのみ階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャとみなされ得る。この場合、参照階層のピクチャは、IRAPピクチャであるものと制約を置くことができる。
「max_tid_il_ref_pics_plus1[i][j]」が「0」より大きい場合、参照階層の「sub_layers_vps_max_minus1[i]」値が現在ピクチャの時間的識別子「TemporalId」値より大きいか同一であり、参照階層の「max_tild_il_ref_pics_plus1[i][j]」値が現在ピクチャの時間的識別子「TemporalId」値より大きい参照階層のピクチャのみ階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャとみなされ得る。
他の実施例によれば、シンタックス要素「max_tid_il_ref_pics_plus1[i][j]」が「0」の場合、「layer_id_in_nuh[i]」と同一の「nuh_layer_id」を有するIRAPではないピクチャ(non-intra random access point picture)は、「layer_id_in_nuh[j]」と同一の「nuh_layer_id」値を有するピクチャに対して階層間予測のための参照ピクチャとして用いることができない。このような制約事項を反映するために数式1は下記数式3に代替され得る。
数式3において、変数「NumDirectRefLayers[]」はVPS extensionに記述されたシンタックス要素「direct_dependency_flag」から計算された現在階層が直接参照している参照階層の個数を示す。
「sub_layers_vps_max_minus1[i]」は、各階層の最大時間サブ階層情報を示し、「max_tid_il_ref_pics_plus1[i][j]」は各階層で階層間予測を許容する時間的サブ階層の最大許容値を示し、「TemporalId」は現在ピクチャの時間的識別子を示す。
数式3によれば、参照階層の「sub_layer_vps_max_minus1[i]」値が現在ピクチャの時間的識別子「TemporalId」値より大きいか同一であり、現在ピクチャの時間的識別子「TemporalId」値が「0」を有するか、参照階層の「max_tid_il_ref_pics_plus1[i][j]」値が現在ピクチャの時間的識別子「TemporalId」値より大きい場合にのみ当該参照階層のピクチャを現在ピクチャのデコーディングに用いられ得る参照階層ピクチャとみなされ得る。
(3)そうではなく、もし(else if)、現在ピクチャのスライスセグメントヘッダーで記述されたシンタックス要素「inter_layer_pred_enabled_flag」が「0」である場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。inter_layer_pred_enabled_flagは、現在ピクチャのデコーディングに階層間予測が用いられるのか否かを示す。
(4)そうではなく、もし(else if)、VPSで記述されたシンタックス要素「max_one_active_ref_layer_flag」が1であるか、現在ピクチャが属している階層の直接参照階層の個数「NumDirectRefLayers」が1の場合には、数式1、数式2または数式3から求められた変数「numRefLayerPics」が「0」より大きいと、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「1」に設定され得る。もし、数式1、数式2または数式3から求められた変数「numRefLayerPics」が「0」であれば、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。
「max_one_active_ref_layer_flag」値が「1」であれば、最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられることを示し、「max_one_active_ref_layer_flag」値が「0」であれば、一つ以上のピクチャが階層間予測のために用いられ得ることを示す。
(5)(1)から(4)の全ての条件を満足しない場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、スライスセグメントヘッダーに転送されるシンタックス要素「num_inter_layer_ref_pics_minus1」に「1」を足し合わせた値に設定され得る。
(6)(1)から(5)でnumRefLayerPicsは、当該階層のnuh_layer_id値が「k」であり、時間的サブ階層識別子であるTemporalId値が「m」の場合にnumRefLayerPics[k][m]のように表現され得、数式4または数式5から計算され得る。
ビットストリームに含まれた全体階層に対して、各階層のサブ階層ピクチャのデコーディングに用いられ得る参照階層ピクチャの個数を指示する変数「numRefLayerPics」をVPSレベルに誘導するための数式1は数式4または数式5に代替され得る。この場合、「numRefLayerLayerPics」は、「numRefLayerPics[nuh_layer_id][TemporalId]」に代替され得る。
数式4において、変数「NumDirectRefLayers[]」はVPS extensionに記述されたシンタックス要素「direct_dependency_flag」から計算された現在階層が直接参照している参照階層の個数を示す。
「sub_layers_vps_max_minus1[i]」は、各階層の最大時間サブ階層情報を示し、「max_tid_il_ref_pics_plus1[i][j]」は各階層で階層間予測を許容する時間的サブ階層の最大許容値を示し、「vps_max_sub_layers_minus1」はVPSに記述された全体階層で許容可能な最大サブ階層情報を示す。
数式4の参照階層ピクチャに対する「layer_id_in_nuh」は、VCL NALユニットヘッダーに存在する「nuh_layer_id」値を意味する。
数式4によれば、先ず上位レベル(例えば、VPS)で各階層(0~vps_max_layers_minus1を対象として、0から「vps_max_sub_layers_minus1」までtid(Temporal)値を有するサブ階層に対して、直接参照階層から参照可能なサブ階層の存在可否が判断される。
判断の結果、参照可能なサブ階層が存在する場合、当該サブ階層に対する「layer_id_in_nuh」値をRefLayerIdListForTid[[lId][tId][k++]に代入することができる。numRefLayerPics[lId][tId]はlId階層に対してtId値を有するサブ階層が有する参照可能なサブ階層の数を意味する。
参照可能なサブ階層の存在可否は、参照階層の「sub_layers_vps_max_minus1[]」値が現在ピクチャの「TemporalId(tId)」値より大きいか同一であり、参照階層の「max_tild_il_ref_pics_plus1[][]」値が現在ピクチャの「TemporalId(tId)」値より大きいか、現在ピクチャのTemporalId(tId)値が0である場合、当該参照階層のピクチャのみ階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャと判断され得る。
数式5で、変数「NumDirectRefLayers[]」は、VPS extensionに記述されたシンタックス要素「direct_dependency_flag」から計算された現在階層が直接参照している参照階層の個数を示す。
「sub_layers_vps_max_minus1[i]」は、各階層の最大時間サブ階層情報を示し、「max_tid_il_ref_pics_plus1[i][j]」は各階層で階層間予測を許容する時間的サブ階層の最大許容値を示す。
数式5の参照階層ピクチャに対する「layer_id_in_nuh」は、VCL NALユニットヘッダーに存在する「nuh_layer_id」値を意味する。
数式5によれば、先ず上位レベル(例えば、VPS)で各階層(0~vps_max_layers_minus1を対象として0から各階層の最大時間サブ階層「sub_layers_vps_max_minus1」までtid(Temporal)値を有するサブ階層に対して、直接参照階層から参照可能なサブ階層の存在可否が判断される。
判断の結果、参照可能なサブ階層が存在する場合、当該サブ階層に対する「layer_id_in_nuh」値をRefLayerIdListForTid[[lId][tId][k++]に代入することができる。numRefLayerPics[lId][tId]はlId階層に対して、tId値を有するサブ階層が有する参照可能なサブ階層の数を意味する。
参照可能なサブ階層の存在可否は、参照階層の「sub_layers_vps_max_minus1[]」値が現在ピクチャの「TemporalId(tId)」値より大きいか同一であり、参照階層の「max_tild_il_ref_pics_plus1[][]」値が現在ピクチャの「TemporalId(tId)」値より大きいか、現在ピクチャのTemporalId(tId)値が0である場合、当該参照階層のピクチャのみ階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャとして判断され得る。
第2方法
階層間予測のため、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、下記のように誘導されることもある。ピクチャの全てのスライスは、同一の「NumActiveRefLayerPics」値を有するものと限定され得る。
(1)現在ピクチャが属している階層の「nuh_layer_id」が0の値を有するか、数式1、数式2または数式3から求められた変数「numRefLayerPics」の値が「0」の場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。
(2)そうではなく、もし(else if)、VPSで記述されたシンタックス要素「all_ref_layers_active_flag」値が1である場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、数式1、数式2または数式3から求められた変数「numRefLayerPics」の値と同一になるように設定され得る。
(3)そうではなく、もし(else if)、現在ピクチャのスライスセグメントヘッダーで記述されたシンタックス要素「inter_layer_pred_enabled_flag」が「0」であれば、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。
(4)そうではなく、もし(else if)、VPSで記述されたシンタックス要素「max_one_active_ref_layer_flag」が1であるか、現在ピクチャが属している階層の直接参照階層の数「NumDirectRefLayers」が1の場合、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「1」に設定され得る。
(5)(1)から(4)の全ての条件を満足しない場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、スライスセグメントヘッダーから転送されるシンタックス要素「num_inter_layer_ref_pics_minus1」に「1」を足し合わせた値に設定され得る。
(6)(1)から(5)のnumRefLayerPicsは、当該階層のnuh_layer_id値が「k」であり、時間的サブ階層識別子であるTemporalId値が「m」の場合にnumRefLayerPics[k][m]のように表現され得、数式4または数式5から誘導され得る。
第3方法
また他の例として、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、下記のように誘導されることもある。ピクチャの全てのスライスは、同一の「NumActiveRefLayerPics」値を有するものと限定され得る。
(1)現在ピクチャが属している階層の「nuh_layer_id」が0の値を有するか、数式1、数式2または数式3から求められた変数「numRefLayerPics」の値が「0」の場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。
(2)そうではなく、もし(else if)、VPSで記述されたシンタックス要素「all_ref_layers_active_flag」値が1である場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は数式1、数式2または数式3から求められた変数「numRefLayerPics」の値と同一になるように設定され得る。
(3)そうではなく、もし(else if)、現在ピクチャのスライスセグメントヘッダーで記述されたシンタックス要素「inter_layer_pred_enabled_flag」が「0」であれば、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「0」に設定され得る。
(4)そうではなく、もし(else if)、VPSで記述されたシンタックス要素「max_one_active_ref_layer_flag」値が1であるか、数式1、数式2または数式3から変数「numRefLayerPics」値が「1」の場合、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は「1」に設定され得る。
(5)(1)から(4)の全ての条件を満足しない場合、階層間予測のために現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数「NumActiveRefLayerPics」は、スライスセグメントヘッダーから転送されるシンタックス要素「num_inter_layer_ref_pics_minus1」に「1」を足し合わせた値に設定され得る。
(6)(1)から(5)のnumRefLayerPicsは、当該階層のnuh_layer_id値が「k」であり、時間的サブ階層識別子であるTemporalId値が「m」の場合にnumRefLayerPics[k][m]のように表現され得、数式4または数式5から誘導され得る。
一方、VPS extensionに記述されたシンタックス要素から計算された現在階層が直接参照している参照階層の個数を指示する変数「NumDirectRefLayers[]」、各階層の最大時間サブ階層情報を指示するシンタックス要素「sub_layers_vps_max_minus1[i]」、各階層で階層間予測を許容する時間的サブ階層の最大許容値を指示するシンタックス要素「max_tid_il_ref_pics_plus1[i][j]」情報、現在ピクチャの時間情報「TemporalId」を利用して階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャの個数を指示する変数「numRefLayerPics」を誘導する場合、階層間予測に用いられるピクチャに関する情報をシグナリングするスライスセグメントヘッダーは、下記の表10のように記述することができる。
表10を参照すれば、「nuh_layer_id」が0より大きく、VPS extensionで記述されたシンタックス要素「all_ref_layers_active_flag」が0であり、数式1または数式2から誘導された「numRefLayerPics」の値が「0」より大きい場合にのみ、階層間参照ピクチャに対する情報(inter-layer_pred_enabled_flag)がシグナリングされ得る。
また、シンタックス要素「inter_layer_pred_enabled_flag」が1であり、「numRefLayerPics」の値が「1」より大きい場合にのみ、階層間参照ピクチャの個数情報を指示するシンタックス要素「num_inter_layer_ref_pics_minus1」及び階層間参照ピクチャを指示するシンタックス要素「inter_layer_pred_layer_idc[i]」がシグナリングされ得る。
前記条件において、VPS extensionで記述されたシンタックス要素「max_one_active_ref_layer_flag」が1である場合には、階層間参照ピクチャの個数を指示するシンタックス要素「num_inter_layer_ref_pics_minus1」はシグナリングされないこともある。
前記条件において、「NumActiveRefLayerPics」と「numRefLayerPics」の値が同一である場合には、階層間参照ピクチャを指示するシンタックス要素「inter_layer_pred_layer_idc[i]」はシグナリングされないこともある。
シンタックス要素「inter_layer_pred_layer_idc[i]」は、0から現在ピクチャが属している階層の「NumDirectRefLayers-1」までの値を有することができ、「inter_layer_pred_layer_idc[i]」がシグナリングされない場合には、数式1または数式2から誘導された「refLayerPicIdc[i]」のようなものにも類推され得る。
このとき、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャに対する情報は、下記の数式6のように誘導され得る。「nuh_layer_id」は現在ピクチャの「nuh_layer_id」値であり、RefLayerId[][]は参照階層の「layer_id_in_nuh[]」値を有する。
一方、他の例として数式4または数式5を利用して「numRefLayerPics」を誘導する場合、階層間予測に用いられるピクチャに関する情報をシグナリングするスライスセグメントヘッダーは、下記の表11のように記述することができる。
表11でnuh_layer_idは、現在デコーディング対象ピクチャのNALヘッダーに記述された階層識別子情報であり、TemporalIdは現在デコーディング対象ピクチャの時間情報、すなわちサブレイヤ階層情報を示す。
表11を参照すれば、「nuh_layer_id」が0より大きく、VPS extensionで記述されたシンタックス要素「all_ref_layers_active_flag」が0であり、数式4または数式5から誘導された「numRefLayerPics[nuh_layer_id][TemporalId]」の値が「0」より大きい場合にのみ、階層間参照ピクチャに対する情報(inter-layer_pred_enabled_flag)がシグナリングされ得る。
また、シンタックス要素「inter_layer_pred_enabled_flag」が1であり、「numRefLayerPics[nuh_layer_id][TemporalId]」の値が「1」より大きい場合にのみ、階層間参照ピクチャの個数情報を指示するシンタックス要素「num_inter_layer_ref_pics_minus1」及び階層間参照ピクチャを指示するシンタックス要素「inter_layer_pred_layer_idc[i]」がシグナリングされ得る。
前記条件でVPS extensionで記述されたシンタックス要素「max_one_active_ref_layer_flag」が1である場合には、階層間参照ピクチャの個数を指示するシンタックス要素「num_inter_layer_ref_pics_minus1」はシグナリングされないこともある。「num_inter_layer_ref_pics_minus1」は、0から数式4または数式5から誘導された「numRefLayerPics[nuh_layer_id][TemporalId]-1」値を有することができる。
前記条件で「NumActiveRefLayerPics」と「numRefLayerPics[nuh_layer_id][TemporalId]」の値が同一の場合には、階層間参照ピクチャを指示するシンタックス要素「inter_layer_pred_layer_idc[i]」はシグナリングされないこともある。
シンタックス要素「inter_layer_pred_layer_idc[i]」は、0から現在ピクチャが属している階層の「numRefLayerPics[nuh_layer_id][TemporalId]-1」までの値を有し得ると、「inter_layer_pred_layer_idc[i]」がシグナリングされない場合にはインデックス「i」値と同一であると類推され得る。
このとき、現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャに対する情報は、下記の数式7のように誘導され得る。「nuh_layer_id」は現在ピクチャの「nuh_layer_id」値であり、RefLayerIdListForTid[][]は数式4または数式5から誘導された参照階層の「layer_id_in_nuh[]」値を有する変数である。
一方、現在SHVC及びMV-HEVC標準草案では、ターゲットデコーディング階層に対する情報(TargetDecLayerIdList)とターゲット出力階層に対する情報(TargetOptLayerIdList)は数式8のように誘導される。
数式8を参照すれば、変数TargetOptLayerSetIdxはターゲット出力レイヤセットインデックスを示し、VPS extensionで記述されるシンタックス要素のoutput_layer_set_idx_minus1[]によってレイヤセット(layer sets)インデックスに変換され得る。
NumLayersInIdListはレイヤセットに含まれている階層の数を示し、TargetDecLayerIdListはレイヤセットに含まれてデコーディングされなければならない階層のnuh_layer_id値を指示する。TargetOptLayerIdListはレイヤセットに含まれて出力されなければならない階層のnuh_layer_id値を指示する。
output_layer_flagが1である階層のnuh_layer_idのみが、TargetOptLayerIdListに含まれ得る。
output_layer_flag[][]は、VPS extensionで出力レイヤセット(output layer set)単位でシグナリングされる。
しかし、数式8では出力レイヤセット(output layer set)単位ではないレイヤセット(layer set)単位でouput_layer_flag値を判断しているので、出力される階層の情報を正常に識別することができない問題が発生することがある。
また、iが0からvps_number_layer_sets_minus1範囲の値を有するi番目の出力レイヤセット(output layer set)に対するoutput_layer_flag[i][j]を明示していないので、出力される階層の情報を正常に識別することができない問題が発生することがある。
前記のような問題を解決するため、ターゲットデコーディング階層に対する情報(TargetDecLayerIdList)とターゲット出力階層に対する情報(TargetOptLayerIdList)を誘導するための数式8を数式9のように変更することができる。
数式9を利用してiが0からvps_number_layer_sets_minus1範囲の値を有するi番目の出力レイヤセット(output layer set)に対するoutput_layer_flag[i][j]値が明示され得る。
数式9で、output_layer_flag[i][j]が1であれば、i番目の出力レイヤセット内にj番目の階層がターゲット出力階層であることを示し、output_layer_flag[i][j]が0であればi番目の出力レイヤセット内にj番目の階層がターゲット出力階層ではないことを示す。
ターゲット出力レイヤセットインデックス(TargetOptLayerSetIdx)が指示する出力レイヤセット内のj番目レイヤの出力可否を指示する出力レイヤフラッグ(output_layer_flag)が1であれば、ターゲット出力階層に対する情報を有しているターゲット出力レイヤアイディリスト(TargetOptLayerIdList)は、ターゲットデコーディングレイヤセットインデックス(TargetDecLayerSetIdx)が指示するレイヤセット内のj番目レイヤのlayer_id値で構成され得る。
ターゲットデコーディングレイヤセットインデックス(TargetDecLayerSetIdx)は、ビデオパラメータセットでシグナリングされる出力レイヤセットインデックス情報から特定され得る。
ターゲットデコーディング階層に対する情報を有しているターゲットデコーディングレイヤアイディリスト(TargetDecLayerIdList)は、ターゲットデコーディングレイヤセットインデックス(TargetDecLayerSetIdx)が指示するレイヤセット内のj番目レイヤのlayer_id値で構成され得る。
iが0からvps_number_layer_sets_minus1範囲の値を有するi番目の出力レイヤセット(output layer set)に対するoutput_layer_flag[i][j]は、下記の(a)と(b)のように類推され得ることを標準文書上に明示することができる。
default_one_target_output_layer_idcは、出力レイヤセットに対する出力レイヤを誘導するためにシグナリングされる値であって、0から3の値を有することができる。
default_one_target_output_layer_idcが0であれば、出力レイヤセットに含まれている全てのレイヤが出力されることを示すことができ、default_one_target_output_layer_idcが1であることを出力レイヤセットに含まれているレイヤのうち最上位レイヤ、すなわち最も高いレイヤidを有するレイヤのみが出力されることを示すことができる。
また、default_one_target_output_layer_idcが2であれば、output_layer_flagが1であるレイヤのみ出力されることを示すことができる。default_one_target_output_layer_idcが3であれば、それ以後に用いられ得るリゾルブ値を示すことができる(reserved for future use)。
(a)VPSで記述されるdefault_one_target_output_layer_idcが1であれば、i番目レイヤセットに含まれているj番目レイヤに対するoutput_layer_flag[i][j]は「1」に類推され得る。jは、NumLayersInIdList[i]-1に設定される。そうでなければ、(otherwise)output_layer_flag[i][j]は0に類推され得る。このとき、jは0からNumLayerInIdList[i]-1の値を有する。
(b)VPSで記述されるdefault_one_target_output_layer_idcが0であれば、output_layer_flag[i][j]は1に類推され得る。このとき、jは0からNumLayerInIdList[i]-1値を有する。
VPS extensionで記述されるvps_number_layer_sets_minus1は、VPSに記述されるlayer setsの個数を報知する情報であり、MV-HEVC/SHVCビットストリームは二つ以上のレイヤセット(layer sets)を含むため、vps_number_sets_minus1の値は常に1より大きい値を有する。よって、u(10)で符号化されるvps_number_layer_sets_minus1は、1から1023値を有すると明示することができる。または、vps_number_layer_sets_minus1をvps_number_layer_sets_minus2に変えて、vps_number_layer_sets_minus2は0から1022値を有すると明示することができる。
また、本発明によれば、階層間予測のために必要ではない非参照ピクチャを表す方法が提供される。
最上位の時間レベル(Highest Temproal Id)を有するピクチャに対しては、VPS extensionでシグナリングされるmax_tid_il_ref_pics_plus1[][]値に基づいて非参照ピクチャであるのか、参照ピクチャであるのかを把握することができる。
現在SHVC及びMV-HEVC標準草案では、下記の数式10のように最上位の時間レベルを有するピクチャに対して参照ピクチャであるのか、非参照ピクチャであるのか区分して表示している。
数式10でcurrTidは、現在デコーディングされたピクチャの時間レベルを示し、max_tid_il_ref_pics_plus1[iLidx][jLidx]は現在階層で階層間予測を許容する最大時間レベルの情報を示し、VPSでシグナリングされる。max_tid_il_ref_pics_plus1[iLidx][jLidx]は、現在階層と従属関係を有する上位階層別にシグナリングされる。
現在デコーディングされたピクチャの時間レベルが従属性を有する上位階層のためのmax_tid_il_ref_pics_plus1[][]より小さいか同一である場合、現在デコーディングされたピクチャが属している階層と従属性(dependency)を有する上位階層に対してremainingInterLayerReferencesFlag値を1に設定する。
現在デコーディングされたピクチャと従属性を有する全ての上位階層に対してremainingInterLayerReferencesFlag値を判断した後、remainingInterLayerReferencesFlag値が0である場合、現在ピクチャに対して「非参照ピクチャ」と表示することとなる。
しかし、現在デコーディングされたピクチャが従属性を有する上位階層のうちいずれか一階層に対して参照階層として用いられた場合、現在デコーディングされたピクチャは「参照ピクチャ」と表示されなければならない。
したがって、下記数式10のように従属性を有する上位階層のうち一階層に対して「参照ピクチャ」を意味するremainingInterLayerReferencesFlagが1に設定される場合には、残りの上位階層に対するremainingInterLayerReferenceFlag値を判断する過程を略して現在デコーディングされたピクチャを「非参照ピクチャ」に変更しないことができる。すなわち、現在デコーディングされたピクチャは「参照ピクチャ」とみなされ得る。
図4は、本発明に係る映像の復号化方法を説明するための制御フローチャートである。
先ず、復号化装置は、階層間予測のために現在ピクチャのデコーディングに用いられる参照階層に対する情報を受信することができる(S410)。
このような参照階層に対する情報は、jインデックスを有するレイヤがiインデックスを有するレイヤのための直接的な参照階層であるのか否かを指示するdirect_dependency_flag[i][j]、各階層の最大時間サブ階層情報を指示するsub_layers_vps_max_minus1[i]、各階層で階層間予測を許容する時間的サブ階層の最大許容値を指示するmax_tid_il_ref_pics_plus1[i][j]、現在ピクチャの時間的サブレイヤ識別子、現在ピクチャを含む現在階層の全ての直接的な参照階層に属し、各階層の最大時間サブ階層情報と各階層で階層間予測を許容する時間的サブ階層の最大許容値によって特定される階層間予測に用いられ得る参照階層ピクチャが、現在ピクチャと同一のアクセスユニットに存在し、現在ピクチャの階層間参照ピクチャセットに含まれるのか否かを示すall_ref_layers_active_flag、現在ピクチャのデコーディングに階層間予測が用いられるのか否かを示すinter_layer_pred_enabled_flag、最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるのか否かを示すmax_one_active_ref_layer_flag、階層間予測のために現在ピクチャのデコーディングに用いられるピクチャの個数を示すnum_inter_layer_ref_pics_minus1などのようなフラッグ情報と個数に対する情報を含むことができる。
復号化装置は、参照階層に対する情報に基づいて現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数を誘導する(S420)。
現在ピクチャに属する全てのスライスは、同一の有効な参照階層ピクチャの個数を有することができる。
図5は、本発明の一実施形態による有効な参照階層ピクチャの個数を誘導する方法を説明するための図である。図5を参照して本実施例による有効な参照階層ピクチャの個数を誘導する過程を説明すれば次の通りである。
先ず、現在ピクチャが属している現在階層を識別するレイヤ識別子が0であるか、現在ピクチャが属している現在階層が直接参照する階層の個数が0であるかの可否が判断される(S510)。
判断の結果、現在ピクチャが属している現在階層を識別するレイヤ識別子が0であるか、現在ピクチャが属している現在階層が直接参照する階層の個数が0であれば、有効な参照階層ピクチャの個数は0に誘導される(S520)。
そうではない場合、すなわち、現在ピクチャが属している現在階層を識別するレイヤ識別子が0であるか、現在ピクチャが属している現在階層が直接参照する階層の個数が0の場合でなければ、当該ピクチャを含む階層の全ての直接参照階層に属する直接参照階層ピクチャのうち、現在ピクチャと同一のアクセスユニットに存在して当該ピクチャの階層間参照ピクチャセットに含まれた全ての直接参照ピクチャが階層間予測に用いられるのか否かが判断される(S530)。
段階S530は、all_ref_layers_active_flagのようなフラッグ情報に基づいて本段階が判断され得、all_ref_layers_active_flagが1であれば、有効な参照階層ピクチャの個数は現在ピクチャのデコーディングに用いられ得る参照階層ピクチャの個数を指示する参照階層ピクチャ個数に誘導され得る(S540)。
参照階層ピクチャ個数は、現在階層が直接参照している参照階層の個数を指示する変数、各階層の最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値、現在ピクチャの時間的識別子に基づいて誘導される。このとき、現在ピクチャに属している直接参照階層のピクチャのうち、参照階層の最大時間的サブ階層情報が現在ピクチャの時間的識別子より大きいか同一であり、現在階層に対する参照階層の最大時間的サブ階層情報が前記現在ピクチャの時間的識別子より大きい場合、該当する参照階層のピクチャが階層間予測のために現在ピクチャのデコーディングに用いられ得る参照階層ピクチャとみなされ得る。
all_ref_layers_active_flagが0であれば、inter_layer_pred_enabled_flagを介して現在ピクチャのデコーディングに階層間予測が用いられないのか否かが判断され(S550)、inter_layer_pred_enabled_flagが0であれば、有効な参照階層ピクチャの個数は0に誘導される(S520)。
そうではない場合、最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、現在ピクチャが属している階層の直接参照階層の個数が1であるかの可否が判断される(S560)。
max_one_active_ref_layer_flagが1であるか、現在ピクチャが属している階層の直接参照階層の個数が1であれば、有効な参照階層ピクチャの個数は1に誘導される(S570)。
前記全ての判断条件を満足しない場合、有効な参照階層ピクチャの個数は、参照階層に対する情報が階層間予測のために現在ピクチャのデコーディングに用いられるピクチャの個数を示す個数情報(num_inter_layer_ref_pics_minus1で特定される値に誘導され得る(S580)。
また、図4に戻って、有効な参照階層ピクチャの個数が誘導されると、これに基づいて復号化装置は階層間予測を行う(S430)。
前述したように、本発明に係る場合、時間的階層を含む多数の階層構造の映像符号化されたビットストリーム内に存在する階層情報を報知するシグナリング方法、階層間予測及びターゲット出力階層を求める方法及びこれを利用する装置が提供される。
また、本発明は、セッション交渉などのためにビットストリーム内のVPSに記述された階層情報を、エントロピーデコーダがなくとも接近できる方法及びこれを利用する装置を提供する。
前述した実施例において、方法は一連の段階またはブロックとしてフローチャートに基づいて説明されているが、本発明は段階の順序に限定されるものではなく、ある段階は前述したところと異なる段階と異なる順序で、または同時に発生することができる。また、当該技術分野で通常の知識を有する者であれば、フローチャートに示されている段階が排他的ではなく、他の段階が含まれるか、フローチャートの一つまたはそれ以上の段階が本発明の範囲に影響を及ぼさずに削除され得ることを理解できるはずである。
前述した実施例は多様な様態の例示を含む。多様な様態を現わすために可能な全ての組合せを記述することはできないが、当該技術分野の通常の知識を有する者は異なる組合せが可能であることが認識できる。よって、本発明は、以下の特許請求の範囲内に属する全ての異なる交替、修正及び変更を含む。

Claims (14)

  1. 複数の階層を支援する映像のデコーディング方法において、
    階層間予測のために現在ピクチャのデコーディングに用いられる参照階層に対する情報を受信する段階と、
    前記参照階層に対する情報に基づいて前記現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数を誘導する段階と、
    前記有効な参照階層ピクチャの個数に基づいて階層間予測を行う段階とを含み、
    前記現在ピクチャを含む現在階層のレイヤ識別子が0でない場合、かつ、前記現在ピクチャの階層間予測と同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの最後の個数が0でない場合、かつ、前記現在階層の全ての直接参照階層に含まれる直接参照階層ピクチャのうち、各階層の最大時間サブ階層情報と各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する情報の値によって特定される階層間予測に用いられ得る参照階層ピクチャが、前記現在ピクチャと同一のアクセスユニットに存在し、前記現在ピクチャの階層間参照ピクチャセットに含まれる場合、前記有効な参照階層ピクチャの個数は、前記参照階層ピクチャの最後の個数と等しくなるように誘導され、
    前記参照階層ピクチャの個数が増加するか否かは、前記現在階層の直接参照階層の個数を指示する情報、各階層の前記最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する前記情報、現在ピクチャの時間的識別子に基づいて決定され、
    前記参照階層の前記最大時間サブ階層情報が前記現在ピクチャの前記時間的識別子以上である場合、前記現在ピクチャの前記時間的識別子に基づいて、前記参照階層ピクチャの数が増加するか否かが決定され、
    前記現在ピクチャの前記時間的識別子が0より大きい場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間的識別子より大きい場合にのみ、前記参照階層ピクチャの数が増加し、
    前記現在ピクチャの前記時間的識別子が0の場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間レイヤより大きいか否かに関係なく、前記参照階層ピクチャの数が増加し、
    前記参照階層ピクチャの最後の個数は、前記現在ピクチャの前記時間的識別子に基づく増加処理が実行された後に得られる前記参照階層ピクチャの数に対応することを特徴とする方法。
  2. 前記現在ピクチャの全てのスライスは、前記有効な参照階層ピクチャの同一の個数を参照することを特徴とする請求項1に記載の方法。
  3. 前記現在ピクチャを含む前記現在階層の前記レイヤ識別子が0の場合、前記有効な参照階層ピクチャの個数は0に誘導されることを特徴とする請求項1に記載の方法。
  4. 前記現在ピクチャと同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの前記最後の個数が0である場合、前記有効な参照階層ピクチャの個数は、0に誘導されることを特徴とする請求項1に記載の映像復号化方法。
  5. 前記現在ピクチャのデコーディングに階層間予測が用いられない場合、前記有効な参照階層ピクチャの個数は0に誘導されることを特徴とする請求項1に記載の方法。
  6. 最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、あるいは前記現在ピクチャを含む前記階層の直接参照階層の個数が1である場合、前記有効な参照階層ピクチャの個数は1に誘導されることを特徴とする請求項1に記載の方法。
  7. 前記参照階層に対する情報が、階層間予測のために現在ピクチャのデコーディングに用いられるピクチャの個数を示す個数情報を含む場合、前記有効な参照階層ピクチャの個数は、前記個数情報によって特定される値に誘導されることを特徴とする請求項1に記載の方法。
  8. 複数の階層を支援する映像のデコーディング装置において、
    階層間予測のために現在ピクチャのデコーディングに用いられる参照階層に対する情報を受信し、前記参照階層に対する前記情報に基づいて、前記現在ピクチャのデコーディングに用いられる有効な参照階層ピクチャの個数を誘導し、前記有効な参照階層ピクチャの個数に基づいて階層間予測を行うデコーディング部を含み、
    前記現在ピクチャを含む現在階層のレイヤ識別子が0でない場合、かつ、前記現在ピクチャの階層間予測と同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの最後の個数が0でない場合、かつ、前記現在階層の全ての直接参照階層に含まれる直接参照階層ピクチャのうち、各階層の最大時間サブ階層情報と各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する情報の値によって特定される階層間予測に用いられ得る参照階層ピクチャが、前記現在ピクチャと同一のアクセスユニットに存在し、前記現在ピクチャの階層間参照ピクチャセットに含まれる場合、前記有効な参照階層ピク
    チャの個数は、前記参照階層ピクチャの最後の個数と等しくなるように誘導され、
    前記参照階層ピクチャの個数が増加するか否かは、前記現在階層の直接参照階層の個数を指示する情報、各階層の前記最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する前記情報、現在ピクチャの時間的識別子に基づいて決定され、
    前記参照階層の前記最大時間サブ階層情報が前記現在ピクチャの前記時間的識別子以上である場合、前記現在ピクチャの前記時間的識別子に基づいて、前記参照階層ピクチャの数が増加するか否かが決定され、
    前記現在ピクチャの前記時間的識別子が0より大きい場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間的識別子より大きい場合にのみ、前記参照階層ピクチャの数が増加し、
    前記現在ピクチャの前記時間的識別子が0の場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間レイヤより大きいか否かに関係なく、前記参照階層ピクチャの数が増加し、
    前記参照階層ピクチャの最後の個数は、前記現在ピクチャの前記時間的識別子に基づく増加処理が実行された後に得られる前記参照階層ピクチャの数に対応することを特徴とする装置。
  9. 前記現在ピクチャを含む前記現在階層の前記レイヤ識別子が0の場合、前記有効な参照階層ピクチャの個数は0に誘導されることを特徴とする請求項8に記載の装置。
  10. 前記現在ピクチャと同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの前記最後の個数が0である場合、前記有効な参照階層ピクチャの個数は、0に誘導されることを特徴とする請求項8に記載の装置。
  11. 前記現在ピクチャのデコーディングに階層間予測が用いられない場合、前記有効な参照階層ピクチャの個数は0に誘導されることを特徴とする請求項8に記載の装置。
  12. 最大一つのピクチャがコーディングビデオシーケンス内の各ピクチャのための階層間予測のために用いられるか、あるいは前記現在ピクチャを含む前記階層の直接参照階層の個数が1である場合、前記有効な参照階層ピクチャの個数は1に誘導されることを特徴とする請求項8に記載の装置。
  13. 複数の階層を支援する映像のエンコーディング方法において、
    階層間予測のために現在ピクチャのエンコーディングに用いられる参照階層に対する情報を決定する段階と、
    前記参照階層に対する情報に基づいて前記現在ピクチャのエンコーディングに用いられる有効な参照階層ピクチャの個数を誘導する段階と、
    前記有効な参照階層ピクチャの個数に基づいて階層間予測を行う段階とを含み、
    前記現在ピクチャを含む現在階層のレイヤ識別子が0でない場合、かつ、前記現在ピクチャの階層間予測と同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの最後の個数が0でない場合、かつ、前記現在階層の全ての直接参照階層に含まれる直接参照階層ピクチャのうち、各階層の最大時間サブ階層情報と各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する情報の値によって特定される階層間予測に用いられ得る参照階層ピクチャが、前記現在ピクチャと同一のアクセスユニットに存在し、前記現在ピクチャの階層間参照ピクチャセットに含まれる場合、前記有効な参照階層ピク
    チャの個数は、前記参照階層ピクチャの最後の個数と等しくなるように誘導され、
    前記参照階層ピクチャの個数が増加するか否かは、前記現在階層の直接参照階層の個数を指示する情報、各階層の前記最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する前記情報、現在ピクチャの時間的識別子に基づいて決定され、
    前記参照階層の前記最大時間サブ階層情報が前記現在ピクチャの前記時間的識別子以上である場合、前記現在ピクチャの前記時間的識別子に基づいて、前記参照階層ピクチャの数が増加するか否かが決定され、
    前記現在ピクチャの前記時間的識別子が0より大きい場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間的識別子より大きい場合にのみ、前記参照階層ピクチャの数が増加し、
    前記現在ピクチャの前記時間的識別子が0の場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間レイヤより大きいか否かに関係なく、前記参照階層ピクチャの数が増加し、
    前記参照階層ピクチャの最後の個数は、前記現在ピクチャの前記時間的識別子に基づく増加処理が実行された後に得られる前記参照階層ピクチャの数に対応することを特徴とする方法。
  14. 複数の階層を支援する映像のエンコーディング装置において、
    階層間予測のために現在ピクチャのエンコーディングに用いられる参照階層に対する情報を決定し、前記参照階層に対する前記情報に基づいて、前記現在ピクチャのエンコーディングに用いられる有効な参照階層ピクチャの個数を誘導し、前記有効な参照階層ピクチャの個数に基づいて階層間予測を行うエンコーディング部を含み、
    前記現在ピクチャを含む現在階層のレイヤ識別子が0でない場合、かつ、前記現在ピクチャの階層間予測と同一のアクセスユニット内の階層間予測に用いられ得る参照階層ピクチャの最後の個数が0でない場合、かつ、前記現在階層の全ての直接参照階層に含まれる直接参照階層ピクチャのうち、各階層の最大時間サブ階層情報と各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する情報の値によって特定される階層間予測に用いられ得る参照階層ピクチャが、前記現在ピクチャと同一のアクセスユニットに存在し、前記現在ピクチャの階層間参照ピクチャセットに含まれる場合、前記有効な参照階層ピク
    チャの個数は、前記参照階層ピクチャの最後の個数と等しくなるように誘導され、
    前記参照階層ピクチャの個数が増加するか否かは、前記現在階層の直接参照階層の個数を指示する情報、各階層の前記最大時間的サブ階層情報、各階層で階層間予測を許容する時間的サブ階層の最大許容値に対する前記情報、現在ピクチャの時間的識別子に基づいて決定され、
    前記参照階層の前記最大時間サブ階層情報が前記現在ピクチャの前記時間的識別子以上である場合、前記現在ピクチャの前記時間的識別子に基づいて、前記参照階層ピクチャの数が増加するか否かが決定され、
    前記現在ピクチャの前記時間的識別子が0より大きい場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間的識別子より大きい場合にのみ、前記参照階層ピクチャの数が増加し、
    前記現在ピクチャの前記時間的識別子が0の場合、参照階層で階層間予測を可能にする時間サブ階層の最大許容値に関する情報が前記現在ピクチャの前記時間レイヤより大きいか否かに関係なく、前記参照階層ピクチャの数が増加し、
    前記参照階層ピクチャの最後の個数は、前記現在ピクチャの前記時間的識別子に基づく増加処理が実行された後に得られる前記参照階層ピクチャの数に対応することを特徴とする装置。
JP2021022000A 2014-01-02 2021-02-15 映像の復号化方法及びこれを利用する装置 Active JP7490592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023043188A JP2023072090A (ja) 2014-01-02 2023-03-17 映像の復号化方法及びこれを利用する装置

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR20140000413 2014-01-02
KR10-2014-0000413 2014-01-02
KR20140003760 2014-01-13
KR10-2014-0003760 2014-01-13
KR20140030743 2014-03-17
KR10-2014-0030743 2014-03-17
KR10-2014-0033012 2014-03-20
KR20140033012 2014-03-20
KR10-2014-0177008 2014-12-10
KR1020140177008A KR102294092B1 (ko) 2014-01-02 2014-12-10 영상의 복호화 방법 및 이를 이용하는 장치
JP2019039912A JP2019134444A (ja) 2014-01-02 2019-03-05 映像の復号化方法及びこれを利用する装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019039912A Division JP2019134444A (ja) 2014-01-02 2019-03-05 映像の復号化方法及びこれを利用する装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023043188A Division JP2023072090A (ja) 2014-01-02 2023-03-17 映像の復号化方法及びこれを利用する装置

Publications (2)

Publication Number Publication Date
JP2021101538A JP2021101538A (ja) 2021-07-08
JP7490592B2 true JP7490592B2 (ja) 2024-05-27

Family

ID=53793008

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016562715A Pending JP2017508417A (ja) 2014-01-02 2014-12-17 映像の復号化方法及びこれを利用する装置
JP2019039912A Pending JP2019134444A (ja) 2014-01-02 2019-03-05 映像の復号化方法及びこれを利用する装置
JP2021022000A Active JP7490592B2 (ja) 2014-01-02 2021-02-15 映像の復号化方法及びこれを利用する装置
JP2023043188A Pending JP2023072090A (ja) 2014-01-02 2023-03-17 映像の復号化方法及びこれを利用する装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016562715A Pending JP2017508417A (ja) 2014-01-02 2014-12-17 映像の復号化方法及びこれを利用する装置
JP2019039912A Pending JP2019134444A (ja) 2014-01-02 2019-03-05 映像の復号化方法及びこれを利用する装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023043188A Pending JP2023072090A (ja) 2014-01-02 2023-03-17 映像の復号化方法及びこれを利用する装置

Country Status (5)

Country Link
US (6) US9967571B2 (ja)
EP (2) EP3086555B1 (ja)
JP (4) JP2017508417A (ja)
KR (4) KR102294092B1 (ja)
CN (1) CN105122799B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
KR102266902B1 (ko) * 2014-01-13 2021-06-18 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
EP4022930A4 (en) 2019-09-24 2022-11-02 Huawei Technologies Co., Ltd. OLS FOR SPATIAL AND SNR Scalability
CN115152233A (zh) * 2019-12-30 2022-10-04 Lg电子株式会社 包括dpb管理处理的图像解码方法及其设备
US11381842B2 (en) * 2020-03-26 2022-07-05 Alibaba Group Holding Limited Methods for coding or decoding video parameter set or sequence parameter set
US11297350B1 (en) * 2020-03-27 2022-04-05 Tencent America LLC Method for output layer set for multilayered video stream
KR20230002715A (ko) * 2020-04-15 2023-01-05 엘지전자 주식회사 서브 레이어 요구 개수에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20230008795A (ko) * 2020-05-04 2023-01-16 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
EP4140140A4 (en) 2020-05-21 2023-07-05 ByteDance Inc. PROGRESSIVE DECODING REFRESH SIGNALING AND REFERENCE PICTURE LISTS
US20230179769A1 (en) * 2020-05-25 2023-06-08 Lg Electronics Inc. Multilayer-based image coding method in video or image coding system
US11646014B1 (en) * 2022-07-25 2023-05-09 Intuit Inc. Ensemble of machine learning models for real-time predictions in expert electronic chats

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
CN100387063C (zh) * 2005-12-01 2008-05-07 西安交通大学 可伸缩视频编码中的三维码率控制方法
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
CN101578884B (zh) 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
JP5918354B2 (ja) 2011-04-26 2016-05-18 エルジー エレクトロニクス インコーポレイティド 参照ピクチャリスト管理方法及びその方法を使用する装置
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
KR20130050863A (ko) 2011-11-08 2013-05-16 삼성전자주식회사 참조리스트를 이용하는 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20130114710A1 (en) 2011-11-08 2013-05-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list
KR20130086011A (ko) 2012-01-20 2013-07-30 한국전자통신연구원 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
TWI616087B (zh) * 2012-01-31 2018-02-21 Vid衡器股份有限公司 可縮放高效率視訊編碼(hevc)參考圖集(rps)傳訊
US10609394B2 (en) * 2012-04-24 2020-03-31 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP6472441B2 (ja) * 2013-10-11 2019-02-20 シャープ株式会社 ビデオを復号するための方法
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
EP3438667B1 (de) * 2017-08-02 2020-12-30 Siemens Healthcare Diagnostics Products GmbH Bindungstest zur diagnose einer heparin-induzierten thrombozytopenie

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hahyun Lee et al.,"MV-HEVC/SHVC HLS: On inter-layer RPS signalling and derivation"、Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting:Valencia,ES,Document:JCTVC-Q0060、2014年3月17日、pp.1-4
Jianle Chen et al.,"High efficiency video coding (HEVC) scalable extensions Draft 5"、Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting:San Jose,US,Document:JCTVC-P1008_v4、2014年1月22日、pp.69,87

Also Published As

Publication number Publication date
KR102294092B1 (ko) 2021-08-27
US10397584B2 (en) 2019-08-27
EP3086555A1 (en) 2016-10-26
EP3086555A4 (en) 2018-01-10
JP2023072090A (ja) 2023-05-23
JP2021101538A (ja) 2021-07-08
KR20150081229A (ko) 2015-07-13
KR20220106094A (ko) 2022-07-28
KR102423851B1 (ko) 2022-07-21
JP2019134444A (ja) 2019-08-08
US9967571B2 (en) 2018-05-08
EP3937494A1 (en) 2022-01-12
US10326997B2 (en) 2019-06-18
KR20210105868A (ko) 2021-08-27
US20180213238A1 (en) 2018-07-26
US10291920B2 (en) 2019-05-14
US20180213237A1 (en) 2018-07-26
US20180288421A1 (en) 2018-10-04
CN105122799A (zh) 2015-12-02
US20230114591A1 (en) 2023-04-13
KR20230047350A (ko) 2023-04-07
KR102517340B1 (ko) 2023-04-03
EP3086555B1 (en) 2021-09-15
JP2017508417A (ja) 2017-03-23
US20160316210A1 (en) 2016-10-27
CN105122799B (zh) 2019-02-05
US10375400B2 (en) 2019-08-06
US20180213236A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP7490592B2 (ja) 映像の復号化方法及びこれを利用する装置
JP6874032B2 (ja) ピクチャの符号化/復号化方法及びこれを利用する装置
JP7171654B2 (ja) 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置
CN113615187B (zh) 视频解码的方法、装置以及存储介质
US11032559B2 (en) Video encoding and decoding method and apparatus using the same
US20200007876A1 (en) Image encoding/decoding method and device
KR20150065797A (ko) 스케일러블 비디오 코딩을 위한 예측 모드 정보 업샘플링
CN118118690A (zh) 视频解码方法、装置、计算机设备及存储介质、方法
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
CN116325723B (zh) 用于视频解码的方法、计算机设备及介质
KR20140088002A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102400485B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
JP7512430B2 (ja) ゼロ残差フラグコーディング
KR20230024341A (ko) 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
KR102325977B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
JP2023519751A (ja) Dpb関連情報及びptl関連情報をシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体
KR20230027156A (ko) 서브레이어 레벨 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
JP2023520227A (ja) レイヤ間参照の如何に基づいてサブレイヤを決定する画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
KR20150008805A (ko) 비디오 비트스트림의 계층 정보 표현 방법
JP2024509606A (ja) 単一参照動きベクトル差分のための適応解像度
JP2023519980A (ja) Hrdパラメータをシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220819

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230317

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230329

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230331

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150