JP2023526460A - サブピクチャ関連のビデオコード化の概念 - Google Patents

サブピクチャ関連のビデオコード化の概念 Download PDF

Info

Publication number
JP2023526460A
JP2023526460A JP2022570632A JP2022570632A JP2023526460A JP 2023526460 A JP2023526460 A JP 2023526460A JP 2022570632 A JP2022570632 A JP 2022570632A JP 2022570632 A JP2022570632 A JP 2022570632A JP 2023526460 A JP2023526460 A JP 2023526460A
Authority
JP
Japan
Prior art keywords
layer
data stream
video data
sub
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022570632A
Other languages
English (en)
Other versions
JPWO2021234125A5 (ja
Inventor
デ ラ フエンテ ヤゴ サンチェス
カルステン ズーリング
コーネリアス ヘルゲ
トーマス ツェル
ロベルト スクピン
トーマス ウィーガンド
Original Assignee
フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2023526460A publication Critical patent/JP2023526460A/ja
Publication of JPWO2021234125A5 publication Critical patent/JPWO2021234125A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

独立してコード化されたサブピクチャに細分されるようにエンコードされたピクチャを有するビデオデータストリームのエンコード、デコード、抽出、及びミキシングに関するビデオコード化の概念が説明される。この概念は、細分されたピクチャのレイヤと細分されていないピクチャのレイヤとを有するサブピクチャ別ビデオデータストリームの抽出、レイヤ間予測ツールの処理、及びそのようなビデオデータのレイヤ間予測のためのスケーリングウィンドウの処理、そのようなデータストリームに対するデコーダ機能要件の決定、そのようなデータストリームに対するレイヤ固有の制約、及び独立してコード化された異なるタイプでエンコードされたサブピクチャの混合に関する。【選択図】図１

Description

本開示の実施形態は、ビデオコンテンツをビデオデータストリームにエンコードするためのエンコーダに関する。さらなる実施形態は、マルチレイヤビデオデータストリームからサブピクチャ別ビデオデータストリームを抽出するための装置に関する。さらなる実施形態は、ビデオデータストリームをデコードするためのデコーダに関する。さらなる実施形態は、ビデオコンテンツをビデオデータストリームにエンコードする方法、ビデオデータストリームをデコードする方法、及びマルチレイヤビデオデータストリームからサブピクチャ別ビデオデータストリームを抽出する方法に関する。さらなる実施形態は、ビデオデータストリームに関する。
ビデオコード化では、ビデオシーケンスのピクチャは、それぞれがピクチャの一部を構成する複数のサブピクチャによって、ビデオデータストリームにコード化することができる。換言すれば、ビデオデータストリームは、等しい提示時間に関連付けられた複数のサブピクチャを含むことができる。デコードまたは提示のためにサブピクチャの１つ以上を選択することにより、そうした提示されるビデオコンテンツがデコーダ側で選択され得る。例えば、そのようなビデオデータストリームは、ビューポート依存のストリーミングシナリオで利用され得る。ピクチャ全体ではなく、サブピクチャの１つ以上が表示される場合と同様に、ビデオデータストリーム全体ではなく、その一部のみをデコードすることが好ましい場合がある。その方が、提示されるビデオコンテンツのレート対歪みの関係を、所与のデコードコストで、より良くすることができる。この目的のために、ビデオデータストリームの一部が、デコードの前に抽出され得る。
したがって、サブピクチャ別ビデオデータストリームの正確な抽出と低い信号オーバヘッドとの間の良好なトレードオフを提供する方法で、複数のサブピクチャを含むビデオデータストリームをエンコードし取り扱うための概念を持つことが望ましい。
本発明の第１の態様による実施形態は、マルチレイヤビデオデータストリームのサブピクチャ別ビデオデータストリームの抽出または定義または記述において、サブピクチャに分割されるようにビデオがエンコードされるレイヤと、２つ以上のサブピクチャに細分されるようにビデオがエンコードされるレイヤとを区別するという考えに依存する。非サブピクチャ分割方式でエンコードされるレイヤと、サブピクチャ分割方式でエンコードされるレイヤとを区別することにより、サブピクチャ別ビデオデータストリームによって表されるサブピクチャを超えて広がるピクチャを構成する、そのサブピクチャ別ビデオデータストリームの抽出または記述が可能になる。したがって、実施形態は、例えば、サブピクチャに細分されるようにエンコードされるレイヤのサブピクチャが、サブピクチャに細分されないようにエンコードされるレイヤのピクチャに依存する、サブピクチャ別ビデオデータストリームの抽出または記述を可能にする。さらに、ビューポートに依存するストリーミングなどのアプリケーションでは、細分されないようにエンコードされたサブピクチャ別ビデオデータストリームピクチャを利用できるようにすることで、ビューポートが変更された場合に、少なくともその細分されないようにエンコードされたピクチャの画質のピクチャをすぐに利用できるようにすることが可能になり得る。
本発明の第１の態様による実施形態は、マルチレイヤビデオデータストリームからサブピクチャ別ビデオデータストリームを抽出するための装置を提供する。マルチレイヤビデオデータストリームは、複数のレイヤを含み、ＮＡＬユニットなどのビットストリーム部分で構成され（またはビットストリーム部分を含み）、そのビットストリーム部分のそれぞれがレイヤの１つに属する。「～で構成される」とは、本明細書で使用される場合は常に、主題が構成の対象を排他的に含むことを要求しているものとしては理解されないことに留意されたい。むしろ、データストリームは、ビットストリーム部分に加えて、本明細書で説明する他の部分も含むことができ、データストリーム内のビットストリーム部分の配置は、１つのアクセスユニット内の特定のタイムスタンプに属するビットストリーム部分の一群であるなど、特定の規則に準拠している。第１の態様によれば、例えば、サブピクチャ別ビデオデータストリームを抽出するための装置によって、マルチレイヤビデオデータストリームからサブピクチャ別ビデオデータストリームを抽出することは、レイヤセットの各レイヤについて、例えば出力レイヤセットをチェックすることであって、ビデオのピクチャが、それぞれのレイヤに相互に独立してエンコードされる２つ以上のサブピクチャに細分されることによって、ビデオの各ピクチャについて、それぞれのピクチャのサブピクチャが、それぞれのレイヤの相互に異なるビットストリーム部分にエンコードされるように、それぞれのレイヤにビデオがエンコードされているかどうか、またはサブピクチャに細分されないようにそれぞれのレイヤにビデオがエンコードされているかどうか、出力レイヤセットをチェックすることを含む。サブピクチャに細分されないようにそれぞれのレイヤにビデオがエンコードされている場合、抽出することは、それぞれのレイヤに属するビットストリーム部分を、マルチレイヤビデオデータストリームから、サブピクチャ別ビデオデータストリームに引き継いで、サブピクチャ別ビデオデータストリームに、それぞれのレイヤのビデオが完全にエンコードされているようにすることを含む。サブレイヤ別ビデオデータストリームを抽出することは、ビデオのピクチャが２つ以上のサブピクチャに細分されるように、それぞれのレイヤにビデオがエンコードされている場合、それぞれのレイヤに属する各ビットストリーム部分について、ビットストリーム部分から、それぞれのビットストリーム部分に２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、それぞれのレイヤのそれぞれのビットストリーム部分を、マルチレイヤビデオデータストリームから、サブピクチャ別ビデオデータストリームに引き継ぐことと、を行うように構成されている。
さらなる実施形態は、マルチレイヤビデオデータストリーム、及びこれをエンコードするためのエンコーダによって提供され、マルチレイヤビデオデータストリームは、サブピクチャ別ビデオデータストリームを抽出するための説明された装置によって実行される、マルチレイヤビデオデータストリームから抽出可能なサブピクチャ別ビデオデータストリームに関するデコーダ機能要件情報を含む。ビデオデータストリーム内のデコーダ機能要件情報をシグナリングすることで、デコーダ機能のより効率的な活用、及び／または、デコードに使用されるデコーダの機能を考慮して、デコードに最適なビデオデータストリームの選択が可能になる。
本発明の第２の態様の実施形態によれば、マルチレイヤビデオデータストリームは、第１のレイヤのビットストリーム部分に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、第１のビデオのそれぞれのピクチャのサブピクチャが、第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャに、第１のビデオのピクチャが細分されるように、ビットストリーム部分に第１のビデオがエンコードされている、第１のレイヤを含む。マルチレイヤビデオデータストリームは、ビットストリーム部分が第２のビデオを有する第２のレイヤをさらに含む。第１のレイヤのビットストリーム部分には、基準ピクチャからのベクトルベース予測を使用して第１のビデオがエンコードされている。さらに、第１のレイヤのビットストリーム部分には、第１のビデオが、第２のビデオのピクチャを基準ピクチャとして含めるようにして、かつ第１のレイヤのビットストリーム部分がエンコードされるベクトルを使用して、第１のレイヤのビットストリーム部分によって構成されるベクトルが、ベクトルベース予測での使用のために、第１のビデオのピクチャ及び基準ピクチャに対して、それぞれマルチレイヤビデオデータストリームでのスケーリングウィンドウのサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされている。第２の態様による概念は、マルチレイヤビデオデータストリームからサブピクチャ別ビデオデータストリームを抽出する際に、第２のレイヤに属するビットストリーム部分を、マルチレイヤビデオデータストリームから、サブピクチャ別ビデオデータストリームに引き継いで、サブピクチャ別ビデオデータストリームに、それぞれのレイヤのビデオが完全にエンコードされているようにすることを含む。サブピクチャ別ビデオデータストリームの抽出は、第１のレイヤに属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、マルチレイヤビデオデータストリームから、サブピクチャ別ビデオデータストリームに引き継ぐことをさらに含む。さらに、サブピクチャ別ビデオデータストリームの抽出は、第２のビデオのピクチャに対するスケーリングウィンドウの空間領域が、１つ以上のサブピクチャの所定のセットに対するスケーリングウィンドウの空間領域に空間的に対応するように、サブピクチャ別ビデオデータストリームにおける第１のレイヤ及び／または第２のレイヤにスケーリングウィンドウシグナル伝達を適応させることを含む。
第２の態様による実施形態は、サブピクチャの抽出により第１のレイヤのピクチャのサイズが変化する間にサブピクチャ別ビデオデータストリームを抽出した後で、スケーリングウィンドウを使用したベクトルベース予測のためにベクトルをスケーリングすることが、マルチレイヤビデオデータストリームで提供されるスケーリングウィンドウによって意図された位置及びサイズに応じた位置及びサイズにベクトルがスケーリングされるように実行されることを保証することができる。したがって、第２の態様の実施形態は、サブピクチャ抽出によってピクチャとそのレイヤ間基準ピクチャとの間の相対的なピクチャサイズが変化する場合に、例えば、基準レイヤのピクチャが（例えば、第１の態様に関して説明したように）サブピクチャ別ビデオデータストリームに完全に転送される場合にも、ベクトルベースのレイヤ間予測の使用とサブピクチャ抽出とを組み合わせることができるようにする。
本発明の第３の態様による実施形態は、マルチレイヤビデオデータストリームのエンコード及び／またはデコードにおいて、マルチレイヤビデオデータストリームの第１のレイヤから／第１のレイヤへ、ビデオの第１のバージョンをコード化するためにレイヤ間予測ツールが使用される。レイヤ間予測ツールは、マルチレイヤビデオデータストリームの第２のレイヤからの予測に使用される。第の１バージョンはエンコードされ、第１のレイヤは、サブピクチャ単位の独立したコード化のための第１の構成設定を使用する。さらに、サブピクチャ単位の独立したコード化のための第２の構成設定が、ビデオの第２のバージョンをマルチレイヤビデオデータストリームの第２のレイヤから／第２のレイヤへコード化するために使用される。第１の構成設定及び第２の構成設定が所定の関係を有するかどうかに応じて、１つ以上のレイヤ間予測ツールの所定のサブセットが、第２のレイヤからのレイヤ間予測において無効にされる。
したがって、第３の態様による実施形態は、レイヤ間予測ツールの使用を正確に制御することを可能にするので、特に、マルチレイヤビデオデータストリームの異なるレイヤのピクチャが異なる数のサブピクチャに分割されるシナリオ、例えば、あるレイヤのピクチャがサブピクチャに分割される一方で、別のレイヤのピクチャがサブピクチャに分割されない場合など、マルチレイヤビットストリームのピクチャがサブピクチャに細分される場合にもレイヤ間予測が使用できる。
本発明の第４の態様による実施形態は、１つ以上の第１のレイヤにおいて独立してコード化されたサブピクチャに細分されるように、かつ１つ以上の第２のレイヤにおいては細分されないようにして、ピクチャがエンコードされるマルチレイヤビデオビットストリームのエンコードまたは処理を提供する。マルチレイヤビデオビットストリームは、レイヤセットをデコードするのに十分ないくつかの基準デコーダ機能要件をエンコードしており、各レイヤセットには、少なくとも１つの第１のレイヤと少なくとも１つの第２のレイヤとが含まれている。基準デコーダ機能要件のそれぞれについて、マルチレイヤビデオデータストリームは、少なくとも１つの第１レイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合に関する情報と、少なくとも１つの第２のレイヤに帰属するそれぞれの基準デコーダ機能要件の第２の割合に関する情報とを含む。
第１の割合及び第２の割合に関する情報を有することにより、サブピクチャ別ビデオデータストリームなどのマルチレイヤビデオデータストリームから抽出され得る、いくつかのビデオデータストリームのそれぞれに関連するデコーダ機能要件の正確な決定が可能になる。
本発明の第５の態様による実施形態は、マルチレイヤビデオデータストリームで示されるレイヤセットのレイヤに、基準デコーダ機能要件に関連する制約、例えばレイヤ固有の制約を選択的に適用することを提供し、そのレイヤは、独立してコード化されたサブピクチャに細分されるように、そのレイヤにビデオピクチャがエンコードされる。サブピクチャ別ビデオデータストリームの抽出時、ピクチャサイズの減少により制約が厳しくなる可能性がある場合、ピクチャサイズが維持されるレイヤ、例えば、ピクチャが細分されていないレイヤへの制約の適用を省略することにより、細分されていないレイヤに過度な制約を課すことを回避することができる。
本発明の第６の態様による実施形態は、ビデオデータストリームにおける表示を提供し、この表示は、ビデオデータストリームにエンコードされたピクチャが１つ以上の独立してコード化されたサブピクチャの方法によってエンコードされているかどうかを示し、表示は、１つ以上の独立してコード化されたサブピクチャの間の異なるタイプのコード化の独立性と１つ以上の独立してデコードされたサブピクチャの周囲とを識別する。第６の態様による実施形態は、異なるタイプのＮＡＬユニットなどのビットストリーム部分を合成ビットストリームの１つのピクチャ、すなわち１つのアクセスユニットに混合することを可能にする。したがって、第６の態様による実施形態は、ビデオビットストリームの混合においてより高い柔軟性を可能にする。
本開示の実施形態及び有利な実施態様は、図に関して以下に、さらに詳細に説明される。
実施形態によるエンコーダ、エクストラクタ及びデコーダの例を示す。 実施形態によるエンコーダ、ビデオデータストリーム、及びエクストラクタの例を示す。 ビデオデータストリームの例と、サブピクチャ別ビデオデータストリームの誤った抽出の例とを示す。 サブピクチャ別ビデオデータストリームの例を示す。 本発明の第２の態様によるエンコーダ、エクストラクタ、及びマルチレイヤビデオデータストリームの例を示す。 実施形態によるスケーリングウィンドウの適応を示す。 サブピクチャ別ビデオデータストリームの抽出の別の例を示す。 サブピクチャ別ビデオデータストリームの出力ピクチャ領域割合の例を示す。 基準デコーダ機能要件の細分割レイヤ及び非細分割レイヤの割合の例を示す。 エンコーダ、ビデオデータストリーム、ビデオデータストリームをミキシング及び／または抽出するための装置、及びデコーダの例を示す。 デコーダ側の境界処理とエンコーダ側の境界処理とを混在させたビットストリームの例を示す。 デコーダ側とエンコーダ側との境界処理を混合した単一レイヤビットストリームの例を示す。 独立性のタイプに応じたビットストリーム部分の例を示す。
以下では、実施形態を詳細に説明するが、実施形態は、多種多様なビデオコード化の概念で具現化できる多くの適用可能な概念を提供することを理解されたい。説明した特定の実施形態は、本概念を実施及び使用するための具体的な方法を単に例示するものであり、実施形態の範囲を限定するものではない。以下の説明では、本発明の実施形態のより完全な説明を提供するために複数の詳細を述べる。しかしながら、これらの具体的な詳細を伴わずに他の実施形態を実施できることは、当業者には明らかであろう。他の例では、本明細書で説明する例を不明瞭にすることを避けるために、周知の構造及びデバイスを詳細ではなくブロック図の形で示している。さらに、本明細書に記載された異なる実施形態の特徴は、特に断りのない限り、互いに組み合わせることができる。
以下の実施形態の説明では、同一または類似の要素、あるいは同じ機能を有する要素には、同じ参照符号が付けられるか、または同じ名前で識別され、同じ参照番号が付けられるか、または同じ名前で識別される要素の繰り返しの説明は、通常、省略される。したがって、同じまたは類似の参照番号を有し、あるいは同じ名前で識別される要素について提供される説明は、相互に交換可能であり、または異なる実施形態において互いに適用され得る。
以下の図の説明は、図１に関するエンコーダ、エクストラクタ、及びデコーダの提示から開始する。図１のエンコーダ及びエクストラクタは、本発明の実施形態を組み込むことができるフレームワークの例を提供する。以下、本発明の概念の実施形態の説明を、そのような概念が図１のエンコーダ及びエクストラクタにどのように組み込まれ得るかについての説明とともに提示する。しかし、図２及びそれに続くものに関して説明した実施形態は、図１に関して説明したフレームワークに従って動作しないエンコーダ及びエクストラクタを形成するために使用されてもよい。さらに、エンコーダ、エクストラクタ、及びデコーダは、図１では例示のために一緒に説明されているが、互いに別々に実装されてもよいことに留意されたい。
０．図１によるエンコーダ４０、エクストラクタ１０、デコーダ５０及びビデオデータストリーム１４
図１は、エンコーダ４０、エクストラクタ２０及びデコーダ５０の例を示す。エンコーダ４０は、ビデオ２４をビデオデータストリーム１４にエンコードする。ビデオデータストリーム１４（ビデオデータストリームは、本明細書ではビットストリームと呼ばれることもある）を、例えば、送信することができ、またはデータキャリアに格納することができる。ビデオ２４は、ピクチャのシーケンスを含むことができ、そのそれぞれは、提示時間順の提示時間に関連付けることができる。ビデオ２４は、図１のピクチャ２６０及び２６１によって表される複数のピクチャ２６を含むことができる。ピクチャ２６のそれぞれは、図１における第１のレイヤＬ１または第２のレイヤＬ０などのレイヤに関連付けることができる。例えば、図１では、ピクチャ２６０は第２のレイヤＬ０に関連付けられており、ピクチャ２６１は第１のレイヤＬ１に関連付けられている。レイヤＬ０のピクチャ２６０は、ビデオシーケンス２４０を形成することができる。レイヤＬ１のピクチャ２６１は、ビデオシーケンス２４１を形成することができる。例では、ビデオ２４のビデオシーケンス２４０、２４１は、等しいコンテンツを表し、等しい提示時間に関連付けられているが異なる解像度を有するピクチャを含むことができる。ただし、ビデオ２４のレイヤＬ０及びＬ１に関連するビデオシーケンス２４０、２４１は、異なるフレームレートを有し得ることに留意されたい。したがって、例えば、ビデオシーケンス２４０は、ビデオシーケンス２４１がピクチャ２６１を含む提示時間のそれぞれについて、必ずしもピクチャ２６０を含むわけではない。エンコーダ４０は、ビデオシーケンス２４１のピクチャ２６１を、ピクチャ２６１と時間的に同じ位置にある、すなわち、同じ提示時間に関連付けられているビデオシーケンス２４０のピクチャ２６０（例えば、レイヤ間予測のための基準ピクチャと呼ばれる）に依存して、すなわち関連して、ビデオデータストリーム１４にエンコードすることができる。換言すれば、レイヤＬ０のピクチャは、レイヤＬ１のピクチャのための基準ピクチャであり得る。したがって、ビデオデータストリーム１４からのピクチャ２６１のデコードには、ビデオデータストリーム１４にエンコードされたピクチャ２６０が必要となり得る。これらの例では、レイヤＬ０はベースレイヤと呼ばれることがあり、レイヤＬ０に関連付けられたピクチャは第１の解像度を有することがある。エンハンスメントレイヤと呼ばれることがある第１のレイヤＬ１に関連するピクチャ２６１は、第１の解像度よりも高い第２の解像度を有することができる。例えば、エンコーダ４０は、第１の解像度のビデオ２４を表すレイヤＬ０が、レイヤＬ１とは独立してビデオデータストリーム１４からデコードされて、第１の解像度のビデオとなり得るように、ビデオ２４をビデオデータストリーム１４にエンコードすることができる。レイヤＬ１のピクチャ２６１がレイヤＬ０のピクチャ２６０に依存する場合、ビデオシーケンス２４０、２４１を任意選択で共にデコードすることができ、その結果、第１の解像度よりも高い解像度、例えば第２の解像度を有するビデオをもたらすことができる。したがって、ビデオデータストリーム１４のデコードに関する複数の選択肢が存在し得、個々の選択肢は、デコードされることになるデータストリームの異なるデータレートを伴い、異なる解像度を有するビデオをもたらす。
図１に示されているレイヤの数は例示的なものであり、ビデオデータストリーム１４は３つ以上のレイヤを有し得ることが指摘される。ビデオデータストリーム１４は、必ずしも複数のレイヤを含むわけではないが、セクション６で説明される実施形態の例のように、いくつかの例では、単一のレイヤのみを含む場合があることにも留意されたい。
エクストラクタ１０は、ビデオデータストリーム１２を抽出するために、ビデオデータストリーム１４を受信することができ、そこからビデオデータストリーム１４のビットストリーム部分の必ずしも適切ではないサブセットを抽出することができる。換言すれば、抽出ビデオデータストリーム１２は、ビデオデータストリーム１４に対応し得るか、またはビデオデータストリーム１４の配分を含み得る。エクストラクタ１０は、抽出ビデオデータストリーム１２内のビットストリーム部分を転送するときに、ビデオデータストリーム１４のビットストリーム部分のコンテンツを任意選択で修正できることが指摘される。例えば、エクストラクタ１０は、抽出ビデオデータストリーム１２のコード化されたビデオデータをどのようにデコードするかについての情報を含む記述データを修正することができる。エクストラクタ１０は、ビデオデータストリーム１４から抽出される出力レイヤセット（ＯＬＳ）に基づいて、抽出ビデオデータストリーム１２に転送すべきビデオデータストリーム１４のビットストリーム部分を選択することができる。例えば、エクストラクタ１０は、抽出すべきまたは提示すべきＯＬＳを示すＯＬＳ表示を受信することができる。ビデオデータストリーム１４は、ビデオデータストリーム１４から抽出可能なＯＬＳのセットを示すＯＬＳ表示を含み得る。ＯＬＳは、抽出ビデオデータストリーム１２に全体的または部分的に転送すべきビデオデータストリーム１４の１つ以上または全てのレイヤを示し得る。
言い換えれば、ＯＬＳは、例えば、マルチレイヤビデオデータストリーム１４のレイヤの（必ずしも適切ではない）サブセットを示し得る。ＯＬＳは、ビットストリーム１４のビデオパラメータセット（ＶＰＳ）に含まれる可能性があるＯＬＳ表示１８などのマルチレイヤデータストリーム自体で示され得る。実際、抽出に使用されるものは、外部手段によって、例えばＡＰＩ２０を介して決定されて、データストリーム１４内に２つ以上のそのようなＯＬＳが示される場合がある。ＯＬＳ表示１８は、出力または提示されるビデオの１つ以上のレイヤを主に示しているが、１つ以上の出力レイヤが直接的または間接的に（別の基準レイヤを介して）レイヤに依存するという点で１つ以上の出力に属する、出力／提示されない非出力基準レイヤをも示し得ることに留意されたい。ＯＬＳ表示１８は、１つ以上のＯＬＳを示し得る。
任意選択で、ＯＬＳ表示１８は、例えばビデオパラメータセット（ＶＰＳ）におけるＯＬＳのビデオパラメータを示すことができる。例えば、ビデオパラメータは、ＯＬＳによって記述されたビットストリームをデコードできるようにするためのデコーダの要件を提起する基準デコーダ機能要件（デコーダ機能要件、（基準）レベル情報、または（基準）レベル表示とも呼ばれる）を示すことができる。ビデオパラメータは、ＯＬＳによって記述されたビットストリームが、エクストラクタ１０による抽出後も、ＯＬＳの１つ以上の時間サブレイヤ及び／または１つ以上のレイヤの選択／抽出によって依然としてスケーラブルである可能性があるため、１つのＯＬＳに対する１つ以上の基準デコーダ機能要件を示し得ることに留意されたい。例えば、ミキサもしくはマージャ（例えば、図１０の装置１００）は、抽出ビデオデータストリーム１２を使用してビットストリームを形成することができ、またはデコーダは、デコードのために抽出ビデオデータストリーム１２のサブビットストリームを選択することができる。
抽出ビデオデータストリーム１２は、デコーダ５０に転送され、デコーダ５０は、デコードされたビデオ２４′を取得するために、抽出ビデオデータストリーム１２をデコードする。デコードされたビデオ２４′は、必ずしもビデオ２４のコンテンツ全体を含むとは限らないという点で、ビデオ２４とは異なる可能性があり、及び／または別の解像度を有する可能性があり、及び／またはビデオ２４に関して、例えば量子化損失に基づく歪みを有する可能性がある。
ビデオデータストリーム１４のレイヤのうちの１つのレイヤのピクチャ２６は、１つ以上のサブピクチャ２８を含み得るか、または複数のサブピクチャ２８に細分され得る。以下では、レイヤのピクチャを参照するために参照符号２６が使用されることに留意されたい。ピクチャ２６は、例えば、レイヤＬ１のピクチャ２６１またはレイヤＬ０のピクチャ２６０を指すことができる。エンコーダ４０は、ピクチャ２６のサブピクチャ２８を相互に独立してエンコードすることができる。すなわち、ピクチャ２６のサブピクチャ２８の１つは、ピクチャ２６の別のサブピクチャ２８を必要とせずにデコードされ得る。例えば、エクストラクタ１０は、レイヤの全サブピクチャ２８を転送する必要はなく、レイヤの各ピクチャ２６のサブピクチャ２８のサブセットまたは１つのみを転送することができる。したがって、この場合、サブピクチャ別ビデオデータストリーム１２と呼ぶことができる抽出ビデオデータストリーム１２のデータレートは、抽出ビデオデータストリーム１２のデコードに必要なデコーダ資源を少なくすることができるように、ビデオデータストリーム１４のデータレートよりも低くてもよい。図１の例では、エクストラクタ１０は、レイヤＬ０のピクチャ２４０と、レイヤＬ１のピクチャ２６１のサブピクチャ２８とを転送する。このシナリオでは、デコードビデオ２４′は、ビデオシーケンス２４０のデコードピクチャを表すデコードビデオシーケンス２４′０を含む。さらに、この例によるデコードビデオシーケンス２４′は、ビデオシーケンス２４１のピクチャ２６１のサブピクチャ２８を含むデコードピクチャ２６′１を表すデコードビデオシーケンス２４′１を含む。
エンコーダは、ＯＬＳ表示で１つ以上の有効な／抽出可能なレイヤセットを示すだけでなく、実施形態によれば、例えば、ＤＰＢ及び／またはＣＰＢのために利用可能なバッファメモリ、カーネルの処理、所望のデコード遅延などに関して、示されている特定のＯＬＳがデコーダによってデコード可能であるかどうかをデコーダが決定するために使用できる情報をデータストリームに提供する。この情報は、デコーダ機能要件情報に含まれる場合がある。
マルチレイヤビデオデータストリーム、サブピクチャ、ビットストリームスケーラビリティ、及び基準ピクチャの概念を極一般的に説明した後、以下では、抽出ビデオデータストリーム１２のビデオデータストリーム１４からの抽出プロセス、ビデオデータストリーム１４内の関連表示及び／またはビデオデータストリーム１４のエンコード法を実施するためのいくつかの実施形態について説明する。抽出プロセスに関して説明される特徴はまた、抽出ビデオデータストリームが抽出される対応するビデオデータストリームの説明、及びビデオデータストリームの対応するエンコードプロセスの説明に相当することに留意されたい。例えば、ビデオデータストリーム１４から情報を導出するようにエクストラクタ１０を規定する特徴は、ビデオデータストリームから情報の導出が可能であるというビデオデータストリーム１４の特徴としても理解されるべきであり、ビデオデータストリーム１４を適切にエンコードすることの観点からはエンコーダ４０の特徴としても理解されるべきである。
１．第１の態様によるエンコーダ４０、エクストラクタ１０及びビデオデータストリーム１４
このセクションでは、図１を参照して第１の態様による実施形態を説明する。第１の態様による実施形態には、セクション０で説明した詳細を任意選択で適用することができる。
第１の態様の実施形態によれば、サブピクチャ別ビデオデータストリームを抽出するための装置１０とも呼ばれる図１のエクストラクタ１０は、マルチレイヤビデオデータストリーム１４からサブピクチャ別ビデオデータストリーム１２を抽出するように構成される。すなわち、第１の態様によれば、ビデオデータストリーム１４は、複数のレイヤを含むとともに、ビットストリーム部分１６を含み、ビットストリーム部分１６のそれぞれは、マルチレイヤビデオデータストリーム１４のレイヤのうちの１つ、例えばレイヤＬ０、Ｌ１に属する。例えば、ビットストリーム部分１６のそれぞれは、それぞれのビットストリーム部分１６が属するレイヤを示すレイヤＩＤなどの表示を含むことができる。第１の態様の実施形態によれば、エクストラクタ１０は、レイヤセットからの各レイヤについて、ビデオのピクチャ（例えばピクチャ２６１、２６２、すなわちそれぞれのレイヤにエンコードされたピクチャ）が、それぞれのレイヤに相互に独立してエンコードされる２つ以上のサブピクチャ２８に細分されることによって、ビデオ２４の各ピクチャ２６１、２６２について、それぞれのピクチャのサブピクチャ２８が、それぞれのレイヤの相互に異なるビットストリーム部分１６にエンコードされるように、それぞれのレイヤにビデオ２４がエンコードされているかどうか、またはサブピクチャに細分されないように、それぞれのレイヤにビデオ２４がエンコードされているかどうかをチェックするように構成される。
例えば、レイヤセットは、例えば図１に関して説明したように、ＯＬＳエクストラクタ１０が、ＡＰＩ２０などの外部手段によって抽出するよう指示されたＯＬＳ、またはＯＬＳエクストラクタが、例えばそれぞれの指示がない場合に抽出されると推測したＯＬＳによって示されるレイヤセットである。
例えば、サブピクチャ２８が相互に独立してエンコードされているということは、各サブピクチャ２８が（サブピクチャが属するピクチャの）他の任意のサブピクチャから独立してエンコードされ、各ビットストリーム部分１６が、そこにエンコードされた１つのみ（１つを超えることはなく、あるいは１つの一部のみ）のサブピクチャを有することを意味し得る。言い換えれば、独立してコード化されたサブピクチャ２８は、サブピクチャ２８が属するピクチャがコード化されるビットストリーム部分１６のうちから、独立してコード化されたサブピクチャ２８がコード化されるビットストリーム部分以外のビットストリーム部分を必要としない場合がある。ビデオ２４をサブピクチャに細分されないようにエンコードしたということは、例えば、それぞれのレイヤがコード化されるサブ部分の数が１であること、またはそれぞれのレイヤにコード化されるサブ部分の数が１であることを意味し得る。換言すれば、サブピクチャに細分されないようにエンコードされることは、各ピクチャが１つのサブピクチャとしてエンコードされるようにエンコードされることを意味し得る。
サブピクチャに細分されないようにそれぞれのレイヤにビデオがエンコードされている例えば図１のレイヤＬ０の場合、エクストラクタ１０は、それぞれのレイヤに属するビットストリーム部分１６（図１のビデオデータストリーム１４及び１２におけるドット状のビットストリーム部分１６）を、マルチレイヤビデオデータストリーム１４から、サブピクチャ別ビデオデータストリーム１２に引き継いで、サブピクチャ別ビデオデータストリーム１２に、それぞれのレイヤのビデオ２４、例えば図１のビデオシーケンス２４０が完全にエンコードされているようにすることができる。それぞれのレイヤのビデオが完全にエンコードされていることは、例えば、それぞれのレイヤ、例えば、マルチレイヤビデオデータストリーム１４のレイヤＬ０のビットストリーム部分１６の全てがサブピクチャ別ビデオデータストリーム１２に含まれることを意味し得る。代替的または追加的に、それぞれのレイヤのビデオ２４がサブピクチャ別ビデオデータストリームに完全にエンコードされていることは、サブピクチャ別ビデオデータストリーム１２に引き継がれたビットストリーム部分１６が、サブピクチャ別ビデオデータストリーム１２において、別のレイヤの２つ以上のサブピクチャのうちのどれが、転送されるのか、すなわち、後述する１つ以上のサブピクチャの所定のセットに属するのかの選択と無関係であることを意味し得る。
レイヤのビデオのピクチャ２６、例えばレイヤＬ１のピクチャ２６１が２つ以上のサブピクチャ２８に細分されるように、それぞれのレイヤ、つまり現在チェックされているレイヤにビデオ２４、例えばレイヤＬ１のビデオシーケンス２４１がエンコードされていることをエクストラクタが見つけた場合、エクストラクタ１０は、図１のレイヤＬ１などのそれぞれのレイヤに属する各ビットストリーム部分１６について、ビットストリーム部分１６から、２つ以上のサブピクチャのうちのどのサブピクチャがそれぞれのビットストリーム部分１６にエンコードされているかを明らかにする情報を読み出すことができる。エクストラクタは、それぞれのビットストリーム部分１６に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、それぞれのレイヤのそれぞれのビットストリーム部分１６を、マルチレイヤビデオデータストリーム１４から、サブピクチャ別ビデオデータストリーム１２に引き継ぐことができる。例えば、図１では、サブピクチャの所定のセットは、クロスハッチングで示されるサブピクチャ２８のみを含む。例えば、エクストラクタ１０は、それぞれのレイヤに属するが、１つ以上のサブピクチャの所定のセットに属さないサブピクチャがエンコードされている各ビットストリーム部分を、ドロップする、または残す、または除去する、すなわち、転送しないことがある。
図２は、図１に示されるシナリオに関して、本発明の第１の態様の実施形態による、ビデオデータストリーム１４及びサブピクチャ別ビデオデータストリーム１２においてシグナリングされる情報をより詳細に示す。図２の例示的な図によれば、サブピクチャの所定のセットは、１つのサブピクチャ２８、すなわちレイヤＬ１のピクチャ２６１のクロスハッチングされたサブピクチャ２８のみを含む。図２に示されるように、レイヤＬ０にビデオ、すなわちビデオシーケンス２４０が、サブピクチャに細分されないようにエンコードされているという発見に基づいて、エクストラクタ１０は、レイヤＬ０に関連付けられている全てのビットストリーム部分１６（ドット状部分１６）を転送するまたは引き継ぐ。レイヤＬ１に関連するビットストリーム部分は、サブピクチャ分割方式でビデオデータストリーム１４にエンコードされる。図２の例では、レイヤＬ１のピクチャ２６１のサブピクチャ２８がコード化されるビットストリーム部分はクロスハッチングで示され、ピクチャ２６１のさらなるサブピクチャがコード化されるビットストリーム部分は単純にハッチングで示される。図２に示されるように、等しい提示時間のピクチャに属するビットストリーム部分は、共通アクセスユニット（ＡＵ）の一部であり得る。さらに、各ピクチャ２６またはサブピクチャ２８は、１つ以上のビットストリーム部分１６にコード化され得ることに留意されたい。例えば、ピクチャ２６またはサブピクチャ２８は、スライスにさらに細分され得、そのそれぞれは、１つ以上のビットストリーム部分にコード化され得る。図２の例示的な例では、サブピクチャ２８の所定のセット、すなわちデコードのためにサブピクチャ別ビデオデータストリーム１２で転送される１つ以上のサブピクチャのセットは、１つのサブピクチャ、すなわちクロスハッチングされたサブピクチャ２８のみを有する。したがって、レイヤＬ１のピクチャ２６１に関連付けられたビットストリーム部分のうち、サブピクチャ２８のクロスハッチングされたビットストリーム部分のみが、サブピクチャ別ビデオデータストリーム１２で転送される。
言い換えれば、装置１０は、レイヤのビットストリーム部分１６をサブストリーム１２に引き継ぐ際に、レイヤが、２つ以上の独立してコード化されたサブピクチャ２８の単位でコード化されているか否かに敏感であり得る。
例えば、１つ以上のサブピクチャの所定のセットは、ＡＰＩ２０などの外部手段によってエクストラクタ１０に提供され得る。すなわち、エクストラクタ１０は、マルチレイヤビデオデータストリーム１４のレイヤのピクチャ２６のどのサブピクチャがデコーダ５０に転送されるべきかについての情報を受信し得る。
例えば、サブピクチャに細分されるようにエンコードされたレイヤの２つ以上のサブピクチャのサブピクチャ２８がどのビットストリーム部分に属するかを明らかにする情報は、サブピクチャ識別子、例えば、ＳＨ＿ｓｕｂｐｉｃ＿ＩＤによって提供され得る。例えば、この情報、すなわちサブピクチャ識別子は、それぞれのビットストリーム部分のヘッダ、例えばスライスされたヘッダに提供され得る。換言すれば、ピクチャ２６またはサブピクチャ２８のうちの一方のピクチャのビデオデータがエンコードされたビットストリーム部分１６は、そのビットストリーム部分の記述データにおいて、例えばインデックスによって、そのビットストリーム部分が属するサブピクチャを示すサブピクチャ識別子が関連付けられ得る。
例では、ビデオデータストリーム１４は、ビットストリーム部分内のサブピクチャ識別子をビデオ２４のピクチャ内のサブ部分の空間位置と関連付けるために使用されるｓｕｂｐｉｃＩＤＶａｌなどの関連表３０を備え得る。
実施形態によれば、エクストラクタ１０は、それぞれのレイヤについてビデオデータストリーム１４においてシグナリングされたシンタックス要素を評価することにより、サブピクチャに細分されないようにして、またはサブピクチャに細分されるようにして、レイヤにビデオがエンコードされたかどうかのチェックを実行することができる。例えば、それぞれのシンタックス要素は、それぞれのレイヤが関連付けられているシーケンスパラメータセットでシグナリングされ得る。例えば、シンタックス要素は、それぞれのレイヤにコード化されたいくつかのサブピクチャまたはサブ部分を明らかにすることができる。シンタックス要素は、ピクチャまたはサブピクチャ構成データ２２に含まれてもよく、例では、ビデオデータストリーム１４、例えばシーケンスパラメータセット（ＳＰＳ）でシグナリングされてもよい。例えば、それぞれのシンタックス要素は、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１シンタックス要素であってもよい。
図２に示されるように、ビデオデータストリーム１４は、ＯＬＳ表示１８を任意選択で含むことができ、これは、レイヤセット、例えばＯＬＳ、例えばサブピクチャ別ビデオデータストリーム１２において少なくとも部分的に転送されるように示されるレイヤセットを示す。前述のように、ＯＬＳ表示１８は、例えば、サブピクチャ別ビデオデータストリーム１２で転送されるように示されたレイヤセットを含むＯＬＳのセットを含むことができる。例えば、ＡＰＩ２０は、例えば、ＯＬＳ表示１８のＯＬＳの１つを提示するインデックスを示すことにより、ＯＬＳ表示１８のＯＬＳのうちのどれがサブピクチャ別ビデオデータストリーム１２で転送されるべきかをエクストラクタ１０に示す。
ビデオデータストリーム１４は、デコーダ機能要件情報６０を任意選択でさらに含むことができ、これは、例えば、ピクチャサイズ、ＣＰＢ及び／またはＤＰＢのバッファサイズなどのバッファサイズ、及び同様の情報、例えば、ＨＲＤ、ＤＰＤ及びＴＰＬ情報に関する情報を含むことができる。情報は、ビデオデータストリーム１４において、その様々なバージョンのリストの形で与えることができ、特定のＯＬＳに適用されるバージョンは、索引付けによって参照される。すなわち、特定の抽出可能なＯＬＳ、例えば、ＯＬＳ表示１８によって示されるＯＬＳについて、対応するＨＲＤ、ＤＰＤ、及び／またはＴＰＬ情報を提示するインデックスがシグナリングされ得る。
デコーダ機能要件情報６０は、マルチレイヤビデオデータストリーム１４から抽出可能なサブピクチャ別ビデオデータストリーム１２に関する情報であり得る。例えば、デコーダ機能要件情報６０またはその一部は、エクストラクタ１０が、それぞれの抽出可能なサブピクチャ別ビデオデータストリーム１２を抽出するための抽出プロセスを実行するようにして、実際に抽出プロセスを実行することにより、エンコーダ４０によって決定され得る。エンコーダ４０は、デコーダ機能要件情報６０の特定のパラメータを決定するために、少なくともある程度抽出プロセスを実行することができる。
エクストラクタ１０は、データストリーム１２からデータストリーム１４を形成するときに、いくつかのデータを適応させることができることに留意されたい。図１では、ビデオデータストリーム１２のビットストリーム部分の参照符号１６にアポストロフィを使用することによって、この可能性が示されている。図２に示されるストリーム１２の成分についても同様であり、これはまた、任意選択で、図１のビデオデータストリーム１２の一部であってもよい。これらの成分はまた、本明細書で説明されるさらなる態様によるビデオデータストリーム１４及び１２の実施形態にも存在し得る。例えば、ストリーム１４内のピクチャ構成データ２２は、データストリーム１４にコード化されたフルピクチャ２６のピクチャサイズを示し、ストリーム１２内のピクチャ構成データ２２′は、データストリーム１４にコード化され次にサブピクチャに細分されないストリーム１２にコード化されたピクチャ２６’、すなわち１つのサブピクチャ２８からのピクチャ２６１’のピクチャサイズを示す。ＶＣＬ ＮＡＬユニットなど、実際のピクチャコンテンツがエンコードされたビットストリームパケット１６は、その少なくとも算術的にコード化された部分に関しては、何の修正もなしにそのまま引き継ぐことができる。図からわかるように、ＯＬＳ表示１８′でさえ、ストリーム１４からストリーム１２に引き継がれる可能性がある。ストリーム１４のままにしておくこともできる。関連表３０もそれに応じて修正されていてもよい。データ項目１８、２０、及び２２のいずれかの修正バージョンは、ストリーム１２に隠されている／ネストされている場合があり、つまり、エンコーダ４０によってその中に提供されている場合があり、したがって、ストリーム１４を形成するときにストリーム１２に生じる、対応する却下されたバージョンを置き換えるために、エクストラクタによって単に使用される場合があり、またはストリーム１４内の全体的な情報に基づいてオンザフライでエクストラクタ１０によって解釈され、ストリーム１２に配置される場合がある。デコーダ５０は、ストリーム１２を受信するかまたは供給されるとき、サブピクチャ細分レイヤＬ１のピクチャ２６１がストリーム１４でかつてどのように見えたかに関して、もはや見ることができない場合がある。
チェックに依存して、エクストラクタ１０はさらに、ＰＰＳ及びＳＰＳなどの特定のレイヤ別パラメータセットが、スクラッチから適宜に、適応されるか、または新たに生成されるかどうかを決定し、その結果、その中の特定のパラメータがサブピクチャ別データストリーム１２に適応されることに留意されたい。このようなパラメータは、ピクチャまたはサブピクチャ構成データ２２における前述のピクチャサイズ及びサブピクチャ構成、クロッピングウィンドウオフセット、レベルインジケータを含む。したがって、ピクチャサイズ及びサブピクチャ構成の観点からのデータストリーム１２におけるピクチャまたはサブピクチャ構成データ２２の適応など、適応は、サブピクチャに細分されていないレイヤ、すなわち「サブピクチャに細分されないように、それぞれのレイヤにビデオがエンコードされている場合」に対しては行われず、「ビデオのピクチャ（２６）が２つ以上のサブピクチャ（２８）に細分されるように、それぞれのレイヤにビデオ（２４）がエンコードされている場合」に行われる。
例えば、ピクチャ２６０がサブピクチャ別ビデオデータストリーム１２で転送されるとき、これらのピクチャは、例えばレイヤＬ１のサブピクチャ２８のための基準レイヤとして利用可能である。例えば、図１に関して説明したように、マルチレイヤビデオデータストリーム１４は、例えばデータストリームのデータレートのスケーラビリティを可能にすることができる。この目的のために、ベースレイヤ、例えばレイヤＬ０には、ビデオが第１の解像度でエンコードされ得、エンハンスメントレイヤ、例えばレイヤＬ１は、第１の解像度よりも高い第２の解像度のビデオに関する情報がエンコードされ得るレイヤであり得る。例えば、エンハンスメントレイヤにエンコードされたピクチャ２６１のデコードには、ベースレイヤの時間的に配列されたピクチャの情報を必要とし得る。換言すれば、ベースレイヤは、エンハンスメントレイヤの基準レイヤであり得る。したがって、このシナリオでは、ベースレイヤとエンハンスメントレイヤの両方がレイヤセットの一部である場合に、エンハンスメントレイヤのサブピクチャの、ベースレイヤの一部である基準ピクチャが、サブピクチャ別ビデオデータストリームで利用可能であることを保証することができる。さらに、低解像度ビデオが、サブピクチャに細分されないようにベースレイヤにコード化される例では、その結果として、提示された概念によれば、ベースレイヤのビットストリーム部分がサブピクチャ別ビデオデータストリームに引き継がれる。したがって、ビデオコンテンツ全体の少なくとも低解像度ビデオがサブピクチャ別ビデオデータストリームで利用可能であることを保証することができ、その結果、提示すべき、したがってデコードすべきサブピクチャが変更された場合に、ベースレイヤの少なくとも低解像度ピクチャが直ちにデコーダで利用可能であり、サブピクチャをすばやく変更することを可能にする。
言い換えると、スケーラブルなコード化がサブピクチャと組み合わされて使用される場合、例えば、ビューポートに依存する３６０度ビデオストリーミングのシナリオでは、１つの一般的なセットアップは、３６０度ビデオシーン全体を描写する低解像度のベースレイヤと、より高い忠実度または空間解像度でシーンを含むエンハンスメントレイヤとを持つことであるが、エンハンスメントレイヤ画像は、いくつかの独立してコード化されたサブピクチャに細分される。このようなセットアップでは、エンハンスメントレイヤと非サブピクチャベースレイヤとから単一のサブピクチャ、例えばクライアントの視線方向に対応するピクチャ部分を抽出し、これをフル３６０度ビデオベースレイヤと共にデコードすることが可能である。
上記のようなビットストリーム構成（非サブピクチャ基準レイヤを含むサブピクチャ）の場合、ＶＶＣ仕様などの最先端の抽出プロセスでは、適合したビットストリームにはならない。例えば（例えば、ＯＬＳ表示１８からＯＬＳ表示１８′を導き出すために）ｉｎＢｉｔｓｔｒｅａｍのそのままのコピーから一時的なｏｕｔＢｉｔｓｔｒｅａｍを作成した後、インデックスｓｕｂｐｉｃＩｄｘでサブピクチャを抽出するときに、現在のＶＶＣドラフト仕様のサブピクチャサブビットストリーム抽出プロセスでは、抽出されたＯＬＳの各レイヤｉに対して次のステップが実行される。
－ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく、ｓｈ＿ｓｕｂｐｉｃ＿ｉｄがＳｕｂｐｉｃＩｄＶａｌ［ｓｕｂｐｉｃＩｄｘ］に等しくない、全てのＶＣＬ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。すなわち、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄと等しく、ｓｈ＿ｓｕｂｐｉｃ＿ｉｄがＳｕｂｐｉｃＩｄＶａｌ［ｓｕｂｐｉｃＩｄｘ］と等しいＶＣＬ ＮＡＬユニットのみを、抽出されたビットストリームに引き継ぐ。
抽出すべきサブピクチャとは異なるサブピクチャＩＤを持つ全てのＶＣＬ ＮＡＬユニットが削除されることに注意されたい。
ここで、ＳｕｂｐｉｃＩｄＶａｌは、サブピクチャがビットストリーム及び関連するシグナリング構造に現れるサブピクチャのインデックスＩｄｘ順序からのＡＵ別マッピングであり、サブピクチャに属するスライスのスライスヘッダにシンタックス要素ｓｈ＿ｓｕｂｐｉｃ＿ｉｄとして持ち込まれ、抽出中にサブピクチャを識別するために、例えばエクストラクタによって役立てられる識別子ＩＤ値である。
図３は、マルチレイヤビデオデータストリーム１４の例を示しており、これは、図１及び図２に関して説明したビデオデータストリーム１４の例であり得る。図３によれば、ビデオの４つのアクセスユニットのシーケンスが示されている。レイヤＬ１のピクチャ２６１のそれぞれは、２つのサブピクチャ、インデックス０でインデックス付けされた第１のサブピクチャと、インデックス１でインデックス付けされた第２のサブピクチャとに細分され、一方レイヤＬ０のピクチャ２６０は、細分されないようにしてコード化される。
従来、図３の上部に示されているオリジナルビットストリームが、サブピクチャ、例えばｓｕｂｐｉｃＩｄｘ １の抽出の対象となる場合、図３の下部に示すように、Ｌ１がＬ０からのレイヤ間基準ピクチャ（ＩＬＲＰ）を欠いているため、非適合ビットストリーム１２＊が作成される。サブピクチャＩＤはビットストリームの過程で変化する可能性があるため、抽出はインデックスベースであることに注意されたい。このようなステップを実行すると、サブピクチャインデックスが０であるため、非サブピクチャレイヤから全てのＮＡＬユニット、例えばビットストリーム部分が削除される結果になるのは明らかである。
したがって、第１の態様による実施形態は、サブピクチャ別ビデオデータストリームが非サブピクチャレイヤを含むシナリオにおいて、サブピクチャ別ビデオデータストリームの抽出を可能にすることができる。換言すれば、実施形態は、サブピクチャが非サブピクチャレイヤへの参照を有することができるサブピクチャ別ビデオデータストリームの抽出を可能にすることができる。
換言すれば、対照的に、本発明の第１の態様による実施形態は、そのサブピクチャ構成に応じて、ＯＬＳ内の各レイヤからＮＡＬユニットを抽出（すなわち除去）することを可能にすることができる。例えば、一実施形態では、上記の除去ステップは、サブピクチャの存在、例えばレイヤＳＰＳ内のサブピクチャの数を通じて、以下のように条件付けられる。
－ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく、ｓｈ＿ｓｕｂｐｉｃ＿ｉｄがＳｕｂｐｉｃＩｄＶａｌ［ｓｕｂｐｉｃＩｄｘ］に等しくない、全てのＶＣＬ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから削除する。
特に、ＶＣＬ ＮＡＬユニットの削除を、少なくとも２つのサブピクチャを持つレイヤまたはピクチャに制限する、「ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合」の部分に注意されたい。
別の実施形態では、各レイヤの非ＶＣＬ ＮＡＬユニットに関する上記の抽出プロセスの追加ステップ、例えばピクチャサイズ、クロッピングウィンドウオフセット、レベルｉｄｃ及びサブピクチャ構成に関するＳＰＳ／ＰＰＳ調整などは、以下のように、サブピクチャの存在に基づいて省略される。
出力サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍは次のように導出される。
－添付書類Ｃ．６に規定されているサブビットストリーム抽出プロセスが、ｉｎＢｉｔｓｔｒｅａｍ、ｔａｒｇｅｔＯｌｓＩｄｘ、及びｔＩｄＴａｒｇｅｔを入力として呼び出され、プロセスの出力がｏｕｔＢｉｔｓｔｒｅａｍに割り当てられる。
－サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍの置換パラメータセットを提供するための本明細書に規定されていない外部手段が利用できる場合、全てのパラメータセットを置換パラメータセットで置き換える。
－それ以外の場合、サブピクチャレベル情報ＳＥＩメッセージがｉｎＢｉｔｓｔｒｅａｍに存在する場合、以下が適用される。
［…］
ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］－１から０の範囲のｉを持つｉ番目のレイヤに対して以下が適用される。
－ ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合、以下が適用される。
［…］レベル、ピクチャサイズ、／／適合ウィンドウ、及びサブピクチャパラメータに関するＳＰＳ／ＰＰＳの調整、ＶＣＬ ＮＡＬユニットの削除などの／／レイヤ別タスク
この場合もやはり、レイヤ別タスクを、少なくとも２つのサブピクチャを持つレイヤまたはピクチャに制限する、「ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合」の部分に注意されたい。
図４は、適合ビットストリームをもたらす抽出プロセスにおいて上記の実施形態が使用されるときの、サブピクチャ別ビデオデータストリーム１２の抽出の例示的な結果を示す。
２．第２の態様によるエンコーダ４０、エクストラクタ１０及びビデオデータストリーム１４
このセクションでは、本発明の第２の態様によるエンコーダ４０、エクストラクタ１０、及びビデオデータストリーム１４の実施形態について説明する。第２の態様によるエンコーダ４０、エクストラクタ１０、及びビデオデータストリーム１４は、図１に関して説明したエンコーダ４０、エクストラクタ１０、及びビデオデータストリーム１４に従ってもよく、任意選択で、セクション１の図２に関して説明した第１の態様に従ってもよい。
図５は、エンコーダ４０、エクストラクタ１０、デコーダ５０、及びビデオデータストリーム１４の実施形態を示しており、ビデオデータストリーム１４は、例えば、図１及び図２に関して説明したように、少なくとも第１のレイヤＬ１及び第２のレイヤＬ０を含む。図５に例示的に示されるシナリオのビデオシーケンス２４、ピクチャ２６及びサブピクチャ２８は、図１及び図２に示されるシナリオの説明に従うことができる。
第２の態様の実施形態によれば、マルチレイヤビデオデータストリーム１４は、ビットストリーム部分１６、例えばＮＡＬユニットで構成されるか、またはそれらを含み、そのそれぞれは、例えば、それぞれのビットストリーム部分に関連付けられたレイヤＩＤによって示されるように、マルチレイヤビデオデータストリーム１４のレイヤの１つに属する。マルチレイヤビデオデータストリーム１４は、第１のレイヤ、例えば図５のレイヤＬ１を含み、その左側のビットストリーム部分１６には、第１のビデオ２４１のピクチャ２６１が、２つ以上のサブピクチャ２８、例えば、レイヤＬ１のピクチャ２６１の単純ハッチングとクロスハッチングとの半分に細分されるように、第１のビデオ２４１がエンコードされている。サブピクチャ２８は、第１のレイヤＬ１のビットストリーム部分１６に相互に独立してエンコードされることによって、第１のビデオ２４１の各ピクチャ２６１について、第１のビデオのそれぞれのピクチャのサブピクチャ２８が、第１のレイヤＬ１の相互に異なるビットストリーム部分１６にエンコードされる。例えば、図２に関して既に説明したように、単純ハッチングされたサブピクチャ２８は、ビデオデータストリーム１４の単純ハッチングされたビットストリーム部分にエンコードされ、クロスハッチングされたサブピクチャ２８は、ビデオデータストリーム１４のクロスハッチングされたビットストリーム部分にエンコードされる。マルチレイヤビデオデータストリーム１４は、第２のレイヤ、例えば図５のレイヤＬ０をさらに含み、その左側のビットストリーム部分には、第２のビデオ２４０がエンコードされている。例えば、第２のビデオ２４０は、少なくとも第１のビデオ２４１のビデオコンテンツをカバーし、時間的に整列されるビデオコンテンツに関連するので、第２のビデオに基づく第１のビデオのレイヤ間予測が実行可能である。例えば、レイヤＬ０のピクチャ２６０のビデオコンテンツは、レイヤＬ１の時間的に整列されたピクチャ２６１のビデオコンテンツをカバーすることができる。第２のビデオ２４０は、例では、第１のビデオ２４１に空間的に対応する第２のビデオ２４０の空間ピクチャ領域に関して、サブピクチャに細分されないように、ビデオデータストリーム１４の第２のレイヤＬ０にエンコードされるが、必ずしもそうではない。換言すれば、第２のレイヤＬ０にコード化されるサブ部分の数は１つであってもよい。さらに言い換えると、第２のレイヤＬ０の各ピクチャは１つのサブピクチャとしてエンコードすることができ、または例えば代わりに、サブ部分に細分される場合、１つのサブ部分が第１のビデオのフットプリントを完全にカバーすることもできる。第１のレイヤのビットストリーム部分、すなわちクロスハッチング部分及び単純ハッチング部分には、基準ピクチャからのベクトルベースの予測を使用して、第１のビデオ２４１がエンコードされている。さらに、第１のレイヤのビットストリーム部分には、第１のビデオ２４１が、第２のビデオ２４０の（例えば、少なくとも）ピクチャを基準ピクチャとして含めるようにして、かつ第１のレイヤのビットストリーム部分がエンコードされるベクトルを使用して、第１のレイヤのビットストリーム部分によって構成され、またはシグナリングされるベクトルが、ベクトルベースのユーザ予測での使用のために、第１のビデオのピクチャ２６１及び基準ピクチャ２６０に対して、それぞれマルチレイヤビデオデータストリーム１４でのスケーリングウィンドウ７２のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされている。
例えば、第２のビデオ２４０のピクチャは、第１のレイヤのビットストリーム部分がベクトルベースの予測を使用してエンコードされた基準ピクチャを使用して少なくとも基準ピクチャに含まれる。例えば、図５のピクチャ２６０は、ピクチャ２６１の基準ピクチャであり得る。換言すれば、第２のビデオ２４０のピクチャ２６０は、第１のビデオ２４１のピクチャ２６１をエンコードするためのレイヤ間基準ピクチャとして機能することができる。例えば、ベクトルベース予測は、動きベクトルベースの予測フレームワークに含まれる場合があり、「動き」という用語は、一般に、ある基準ピクチャから予測される第１のビデオ２４１内のピクチャコンテンツが、それが予測される基準ピクチャ内のその対応するピクチャコンテンツから、何らかのベクトルによって空間的に移動される事実を意味する。すなわち、ピクチャコンテンツが動かされ、基準ピクチャは、例えば、第１のビデオ２４１の以前にコード化されたピクチャ、または第２のビデオ２４０の同時時間的または時間的に整列されたピクチャであり得る。例えば、図５の第１のビデオ２４１及び第２のビデオ２４０の図で重なり合って描かれたピクチャ２６は、そのようなピクチャであり得る。
スケーリングウィンドウ７２のサイズ及び位置に応じたベクトル７０のオフセットは、スケールウィンドウ間、例えば、レイヤＬ０のスケールウィンドウ７２０とレイヤＬ１のスケーリングウィンドウ７２１との間の位置オフセットに従って実行され得る。さらに、例えば、スケーリングウィンドウ７２のサイズ及び位置に応じたベクトル７０のスケーリングは、スケーリングウィンドウ間、例えば、スケーリングウィンドウ７２０及び７２１間のサイズ比に従って実行され得る。
例えば、スケーリングウィンドウ７２のサイズ及び位置は、例えば、ピクチャごとに、スケーリングウィンドウ表示７２によってマルチレイヤビデオデータストリーム１４内でシグナリングされ得る。例えば、スケーリングウィンドウ７２のサイズ及び位置は、スケーリングウィンドウの対向する２つの角の位置、または１つの角の位置ならびにｘ及びｙにおけるスケーリングウィンドウの寸法の表示によってシグナリングされ得る。スケーリングウィンドウの特定の位置を、１または複数の座標及びその寸法を使用するのとは異なる方法で、例えば、スケーリングウィンドウがピクチャ境界と一致することを対応するフラグを使用して示すなどにより、シグナリングすることも実行可能であることに留意されたい。後者の場合、例では、スケーリングウィンドウの位置がピクチャ境界と一致していないことをフラグが示している場合にのみ、スケーリングウィンドウの位置が座標などを使用して示される。
第２の態様によるエクストラクタ１０は、第２のレイヤＬ０に属するビットストリーム部分を、マルチレイヤビデオデータストリーム１４から、サブピクチャ別ビデオデータストリーム１２に引き継いで、サブピクチャ別ビデオデータストリーム１２に、それぞれのレイヤのビデオ２４０が完全にエンコードされているようにするように構成される。例えば、エクストラクタ１０は、レイヤＬ０のビットストリーム部分１６の全てを転送するか、または第１のレイヤＬ１の２つ以上のサブピクチャのうちのどれがサブピクチャ別ビデオデータストリーム１２に転送されるかに関係なく、すなわち、第１のレイヤＬ１のうちのどのサブピクチャが、以下に説明する１つ以上のサブピクチャの所定のセットに属するかに関係なく、レイヤＬ０に関連するビットストリーム部分を転送することができる。言い換えれば、第２の態様による装置１０は、例えば、サブピクチャに細分されないようにエンコードされるレイヤＬ０の場合について図１及び図２に関して説明したように、第２のレイヤＬ０のビットストリーム部分を引き継ぐことができる。
第２の態様によるエクストラクタ１０は、さらに、第１のレイヤＬ１に属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャ２８がエンコードされている各ビットストリーム部分を、マルチレイヤビデオデータストリーム１４から、サブピクチャ別ビデオデータストリーム１２に引き継ぐように構成される。例えば、エクストラクタ１０は、それぞれのレイヤ、例えば、レイヤＬ１に属するが、１つ以上のサブピクチャの所定のセットに属さないサブピクチャ２８がエンコードされている各ビットストリーム部分を、ドロップする、または残す、または除去する、すなわち、転送しないことがある。換言すれば、第２の態様によるエクストラクタ１０は、第１の態様に関して説明したように、サブピクチャの所定のセットのセットに属する第１のレイヤＬ１のビットストリーム部分を選択的に転送することができる（図１及び図２参照）。図１及び図２に関して説明したように、１つ以上のサブピクチャの所定のセットは、ＡＰＩによってエクストラクタ１０に提供される情報によって示され得る。
エクストラクタ１０は、さらに、第２のビデオのピクチャに対するスケーリングウィンドウ７２０’の空間領域が、１つ以上のサブピクチャの所定のセットに対するスケーリングウィンドウ７２１’の空間領域に空間的に対応するように、サブピクチャ別ビデオデータストリーム１２における第１のレイヤＬ１及び／または第２のレイヤＬ０にスケーリングウィンドウシグナル伝達７４を適応させるように構成される。
図５に示すように、サブピクチャ別ビデオデータストリーム１２の抽出後、１つ以上のサブピクチャの所定のセットによって定義されるサブピクチャは、抽出の結果、１つ以上のサブピクチャの所定のセットのサブピクチャ、例えば図５のサブピクチャ２８に適応させて、データストリーム１２の第１のレイヤＬ１のピクチャ２６１’になるか、またはそれらを構成する。エクストラクタ１０は、スケーリングウィンドウ７２０’、７２１’を使用してスケーリングした後のサブピクチャ別ビデオデータストリーム１２の第２のレイヤＬ０のベクトル７０のスケーリングが、サブピクチャ別ビデオデータストリーム１２の第１のレイヤＬ１の配列ピクチャ２６１’におけるサイズ及び位置を有するベクトル７０に関連付けられ、またはマッピングされるように、スケーリングウィンドウシグナル伝達を適応させることができ、そのサイズ及び位置は、マルチレイヤビデオデータストリーム１４において第２のレイヤＬ０のピクチャのベクトル７０がスケーリングウィンドウ７２０、７２１を使用して関連付けられ、またはマッピングされるベクトル７０のサイズ及び位置に対応する。換言すれば、エクストラクタ１０は、スケーリングウィンドウ７２０′、７２１′がデータストリーム１２の第１のレイヤＬ１のピクチャ２６１′内の所与の位置のベクトル７０を決定するように、スケーリングウィンドウシグナル伝達７４を適応させることができる。この決定の結果、マルチレイヤビデオデータストリーム１４のレイヤＬ１のピクチャ２６１内の対応する位置（ピクチャの境界に対してではなく内容的にピクチャ２６１’内の位置へ対応する対応位置）のベクトル７０に対応するサイズ及び位置のベクトルとなる。しかしながら、ピクチャ２６１′のサイズはピクチャ２６１に対して変化している可能性があるため、スケーリングウィンドウは、ピクチャの境界に対して定義される場合、ピクチャの境界２６１′に対するそれらの位置に関して適応されまたはシフトされる必要がある可能性がある。
実施形態によれば、エクストラクタ１０は、第１のレイヤＬ１のスケーリングウィンドウ７２１′が位置及びサイズにおいて第２のレイヤのスケーリングウィンドウ７２０′に対応するように、第１のレイヤＬ１のスケーリングウィンドウシグナル伝達７４を適応させることができる。この例は、実線で描かれたスケーリングウィンドウ７２０′、７２１′によって図５に示されている。
あるいは、エクストラクタ１０は、図５に破線で示され、または図６にも示されているスケーリングウィンドウ７２０’、７２１’によって示されるように、１つ以上のサブピクチャの所定のセットの外周と一致するように、第２のレイヤＬ０のスケーリングウィンドウ７２０′を定義することによって、スケーリングウィンドウシグナル伝達７４を適応させることができる。
さらなる実施形態によれば、エクストラクタ１０は、第１のレイヤ及び第２のレイヤの両方に対してスケーリングウィンドウシグナル伝達を適応させることができ、すなわち、スケーリングウィンドウ７２０’及び７２１’の外周が一致するようにスケーリングウィンドウ７２０’及び７２１’を適応させることができる。
例えば、エクストラクタ１０は、データストリーム１４内のサブピクチャ構成データ２２を使用することによって、スケーリングウィンドウシグナル伝達７４を適応させることができる。言い換えれば、エクストラクタ１０は、データストリーム１２内のサブピクチャ構成データ２２’を提供するように、データストリーム１４内のサブピクチャ構成データ２２を適応させることができる。例えば、サブピクチャ構成データ２２は、スケーリングウィンドウの位置及びサイズの表示を含むことができる。エクストラクタ１０は、サブピクチャ構成データ２２′を得るために、構成データ２２内のスケーリングウィンドウの位置及びサイズを適応させることができる。
図２に関して提供されたエクストラクタ１０によるビットストリーム部分の隠蔽された方法での適応もしくは組み込み、または新たな生成に関する同じ注記が、図５にも適用されることに留意されたい（データストリームのビットストリーム部分に使用されるアポストロフィを参照）。ここで、情報７４は、エンコーダによって隠された形で含まれるか、またはオンザフライでエクストラクタによって新たに適応もしくは生成される情報の別の例である。
図６は、第２のレイヤＬ０のスケーリングウィンドウ７２０’がエクストラクタ１０によって適応される上記の例を示す。換言すれば、図６は、レイヤＬ１及びレイヤＬ０の右側のサブピクチャを抽出する場合のスケーリングウィンドウの調整の例を示している。
スケーリングウィンドウを適応させるための実施態様の例示的な仕様を以下に示す。
出力サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍは次のように導出される。
－ 添付書類Ｃ．６に規定されているサブビットストリーム抽出プロセスが、ｉｎＢｉｔｓｔｒｅａｍ、ｔａｒｇｅｔＯｌｓＩｄｘ、及びｔＩｄＴａｒｇｅｔを入力として呼び出され、プロセスの出力がｏｕｔＢｉｔｓｔｒｅａｍに割り当てられる。
－ サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍの置換パラメータセットを提供するための本明細書に規定されていない外部手段が利用できる場合、全てのパラメータセットを置換パラメータセットで置き換える。
－ それ以外の場合、サブピクチャレベル情報ＳＥＩメッセージがｉｎＢｉｔｓｔｒｅａｍに存在する場合、以下が適用される。
［…］
ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］－１から０の範囲のｉを持つｉ番目のレイヤに対して以下が適用される。
－ ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きい場合、以下が適用される。
［…］レベル、ピクチャ／／サイズ、適合ウィンドウ、及びサブピクチャパラメータに関するＳＰＳ／ＰＰＳの調整、ＶＣＬ ＮＡＬユニットの削除などの／／他のレイヤ別タスクｊ－ 変数ｓｕｂＰｉｃＬｅｆｔＰｏｓ、ｓｕｂＰｉｃＲｉｇｈｔＰｏｓ、ｓｕｂＰｉｃＴｏｐＰｏｓ、及びｓｕｂＰｉｃＢｏｔｔｏｍＰｏｓは、次のように導出される。
ｓｕｂＰｉｃＬｅｆｔＰｏｓ＝ｓｐｓ＿ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ｓｕｂｐｉｃＩｄｘ］＊ＣｔｂＳｉｚｅＹ （Ｃ．ＸＸ）
ｓｕｂＰｉｃＲｉｇｈｔＰｏｓ＝ｓｕｂＰｉｃＬｅｆｔＰｏｓ＋（ｓｐｓ＿ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｓｕｂｐｉｃＩｄｘ］＋１）＊ＣｔｂＳｉｚｅＹ （Ｃ．ＸＸ）
ｓｕｂＰｉｃＴｏｐＰｏｓ＝ｓｐｓ＿ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ｓｕｂｐｉｃＩｄｘ］＊ＣｔｂＳｉｚｅＹ （Ｃ．ＸＸ）
ｓｕｂＰｉｃＢｏｔｔｏｍＰｏｓ＝ｓｕｂＰｉｃＴｏｐＰｏｓ＋（ｓｐｓ＿ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｓｕｂｐｉｃＩｄｘ］＋１）＊ＣｔｂＳｉｚｅＹ （Ｃ．ＸＸ）
［…］／／レベル、ピクチャサイズ、適合ウィンドウ、及びサブピクチャパラメータに関するＳＰＳ／ＰＰＳの調整、／／ＶＣＬ ＮＡＬユニットの削除などの／／残り他のレイヤ別タスク
－ それ以外の場合（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０の場合、以下が適用される。
－ 参照される全てのＰＰＳＮＡＬユニットのｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値をそれぞれｓｕｂＰｉｃＬｅｆｔＰｏｓ、（ｐｐｓＰｉｃＷｉｄｔｈ－ｓｕｂＰｉｃＲｉｇｈｔＰｏｓ）、ｓｕｂＰｉｃＴｏｐＰｏｓ、及び（ｐｐｓＰｉｃＨｅｉｇｈｔ－ｓｕｂＰｉｃＢｏｔｔｏｍ）と等しくなるように書き換える。
図５及び図６に関して説明された第２の態様による実施形態は、ベクトルベース予測で使用されるベクトル１７が、抽出されたサブピクチャ別ビデオデータストリーム１２のデコードで正しくマッピングされ得るので、レイヤ間予測とデータストリーム１２などのサブピクチャ別ビデオデータストリームの抽出とを組み合わせて行うことを可能にする。
言い換えると、オリジナルビットストリームには、それぞれのＰＰＳのいわゆるスケーリングウィンドウを介して正しいアップスケールフィルタとＭＶオフセットとを適用するようにレイヤ間予測を誘導する制御情報が含まれているが、１つのＥＬサブピクチャ＋フルＢＬを抽出した結果のサブビットストリームでは、このような上位のパラメータを正しくデコードできるように調整することが重要である。したがって、この章の態様の一部として、スケーリングウィンドウオフセットパラメータは、ＭＶオフセット及びスケーリングファクタの導出に関してエンハンスメントレイヤのドロップされたサブピクチャを補償するために調整される。図６では、エンハンスメントレイヤに２つのサブピクチャを含む例が示されている。ベースレイヤＬ０及びエンハンスメントレイヤＬ１のスケーリングウィンドウがどのように調整され、エンコーダ側で最初に実行されたように、デコーダ側で正しいレイヤ間予測が行われるか、つまり、サブピクチャ（Ｌ１）を含むレイヤのスケーリングウィンドウは、図６の右側に示すように、抽出されたサブピクチャにのみ対応する抽出後の完全なコード化画像領域を包含するように書き換えられる。その一方でサブピクチャのないレイヤ（Ｌ０）は、上位レイヤの抽出されたサブピクチャに対応するピクチャ領域のみを含むように書き換えられる。つまり、残りのＬ１コード化ピクチャ領域またはサブピクチャの予測に必要なサンプルを含む。同様のことが上記の例にも当てはまり、それに従って、１つ以上のサブピクチャの所定のセットによって定義される１つ以上のサブピクチャがエクストラクタ１０によって抽出される第１のレイヤＬ１のスケーリングウィンドウ７２１’が適応される。
３．第３の態様によるエンコーダ４０及びデコーダ５０
このセクションでは、図１を参照して第３の態様による実施形態を説明する。第３の態様による実施形態には、セクション０で説明した詳細を任意選択で適用することができる。また、図２及び図５に示されるデータストリーム１２、１４の詳細は、第３の態様の実施形態に含まれてもよく、その場合、セクション１及び２の対応する説明が適宜適用される。
前述のように、エンコーダ４０は、ビデオ２４のピクチャ２６のエンコードにレイヤ間予測を適用することができる。例えば、エンコーダ１４は、レイヤＬ１のピクチャ２６１のエンコードのためにレイヤ間予測を使用することができる。エンコーダ４０は、例えば、ピクチャ２６１のエンコードにおけるレイヤ間予測のために、ピクチャ２６１と時間的に配置されたピクチャ２６０を使用することができる。例えば、エンコーダ４０は、時間動きベクトル予測（ＴＭＶＰ）を使用して、ピクチャ２６１のエンコードのための動きベクトルを予測することができる。レイヤ間予測に使用できる方法の他の例は、オプティカルフローによる予測の精緻化（ＰＲＯＦ）または動きベクトルラップアラウンドである。これについては、以下でより正確に説明する。前述のように、エンコードすべきピクチャの予測に使用されるピクチャは、エンコードすべきピクチャの基準ピクチャと呼ばれることがある。
ＴＭＶＰが基準ピクチャ動きベクトル（ＭＶ）ストレージのリサンプリングを必要とする場合、例えば、単レイヤ解像度の変更またはマルチレイヤ空間スケーラビリティ（マルチレイヤビデオシーケンス２４によって提供される場合があるため）、ゲーティング変数ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｃｕｒｒｅｎｔＰｉｃ］［ｒｅｆＰｉｃ］は、次のようにＴＭＶＰの使用を無効にするために使用される。
ｓｈ＿ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘによって参照されるピクチャは、コード化されたピクチャの全てのスライスで同じであるとし、ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｓｈ＿ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ？０：１］［ｓｈ＿ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ］が０に等しいことは、ビットストリーム適合の要件とする。
注－上記の制約では、配列ピクチャが現在のピクチャと同じ空間解像度と同じスケーリングウィンドウオフセットを持つ必要がある。
図７は、マルチレイヤビットストリームからのサブピクチャ別ビデオデータストリームの抽出の例を示しており、第１のレイヤＬ１のピクチャ２６１がサブピクチャ２８に細分され、第２のレイヤＬ０の配列ピクチャ２６０は細分されず、つまり、単一のサブピクチャにコード化される。前述のように、セクション内の実施形態は、図１の要素の説明及び対応する参照符号が適用されるように、図１に関して説明される。さらに、図２に関する対応する要素の説明は、第３の態様による実施形態にも適用することができる。
上で説明したように（セクション１及び２など）、ＯＬＳでサブピクチャを含むレイヤがサブピクチャを含まないレイヤと組み合わされ、図７の左側のオリジナルビットストリームを介して示されているように、空間スケーラビリティが使用されない場合、エンコーダもＴＭＶＰを使用できるようになる。
ただし、図７の右側に示すようにサブピクチャが抽出され、抽出プロセス中にスケーリングウィンドウが調整されて、サンプル値のレイヤ間予測が適切に動作できるようになると、問題が発生する。抽出後、ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｃｕｒｒｅｎｔＰｉｃ］［ｒｅｆＰｉｃ］の導出条件が変更され、ＴＭＶＰが禁止されたことは、現在のＶＶＣドラフト仕様の次のセクション、特に「ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］」が定義された部分からわかる。
それ以外の場合、基準ピクチャリストＲｅｆＰｉｃＬｉｓｔ［０］及びＲｅｆＰｉｃＬｉｓｔ［１］、基準ピクチャのスケーリング比ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［０］及びＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［１］、ならびに基準ピクチャのスケーリングフラグＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ
［ｊ］及びＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［１］［ｊ］は、次のように導出される。
ｆｏｒ（ｉ＝０；ｉ＜２；ｉ＋＋）｛
ｆｏｒ（ｊ＝０，ｋ＝０，ｐｏｃＢａｓｅ＝ＰｉｃＯｒｄｅｒＣｎｔＶａｌ；ｊ＜ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ［ｉ］［ＲｐｌｓＩｄｘ［ｉ］］；ｊ＋＋）｛
［…］
ｆＲｅｆＷｉｄｔｈは基準ピクチャＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬと等しく設定される
ｆＲｅｆＨｅｉｇｈｔは基準ピクチャＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬと等しく設定される
ｒｅｆＰｉｃＷｉｄｔｈ、ｒｅｆＰｉｃＨｅｉｇｈｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＬｅｆｔＯｆｆｓｅｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＲｉｇｈｔＯｆｆｓｅｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＴｏｐＯｆｆｓｅｔ、
及びｒｅｆＳｃａｌｉｎｇＷｉｎＢｏｔｔｏｍＯｆｆｓｅｔは、基準ピクチャ
ＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、
ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値とそれぞれ等しく設定される

ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［０］＝（（ｆＲｅｆＷｉｄｔｈ＜＜１４）＋（ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ＞＞１））／ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ
ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［１］＝（（ｆＲｅｆＨｅｉｇｈｔ＜＜１４）＋（ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ＞＞１））／ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ
ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］＝（ ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ！＝ｒｅｆＰｉｃＷｉｄｔｈ｜｜｜
ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ！＝ｒｅｆＰｉｃＨｅｉｇｈｔ｜｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＬｅｆｔＯｆｆｓｅｔ｜｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＲｉｇｈｔＯｆｆｓｅｔ｜｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＴｏｐＯｆｆｓｅｔ｜｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＢｏｔｔｏｍＯｆｆｓｅｔ）
｝
｝
ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］が定義されている部分は、本セクションで前述した「上記の制約（基準ピクチャの制約）は、配列ピクチャが現在のピクチャと同じ空間解像度及び同じスケーリングウィンドウオフセットを持つことを必要とする」という注記に対応する条件を定義する。ＴＭＶＰなどの任意のシンタックスベースの予測は、現在のピクチャと基準ピクチャとのサイズが異なる場合、例えば、ＣＶＳ（コード化ビデオシーケンス）の単一レイヤ解像度変更または空間スケーラブルビットストリームのレイヤ間予測では、関係する予測機構に特別な予防措置が必要となるため、禁止されている。例えば、ＭＶ候補などのシンタックスは、シンタックス予測の目的で、１６×１６サンプルなどの特別な通常のストレージグリッドに格納され、解像度を変更せずに、現在のピクチャの（ＣＴＵ－）ブロック境界がこの通常のストレージの境界と合わせられる。したがって、同じ場所にあるＭＶストレージ位置を見つけることは比較的簡単であるが、１に等しくないサンプリング比（つまり、参照及び現在のピクチャの間の解像度の変化）が発生した場合、または任意の位置オフセットが（参照及び現在のピクチャの間の異なるスケーリングウィンドウ位置を介して）使用された場合には、上記の境界はもはや合わなくっている可能性がある。予測に使用するための正しいＭＶストレージ位置の導出は、追加の実装負担となる。ＶＶＣの場合、単一レイヤ解像度変更の主なユースケースではめったに発生しないと想定されるため、この場合の特別な予防措置を組み込まないように設計上のトレードオフが取られた。マルチレイヤアプリケーションは、コーデックの主要なターゲットではない。
また、現在、動きベクトル予測では、スケーリングウィンドウを使用していないことに注意されたい。スケーリングウィンドウは、ブロックに使用される動きベクトルに基づくサンプル予測にのみ使用される。つまり、スケーリングウィンドウは、動きベクトルをオフセットする方法を定義する。ただし、動きベクトル予測ではスケーリングウィンドウは無視され、ピクチャの左上のブロックは別のピクチャの左上のブロック（同じ場所に配置されたブロック）にマッピングされる。そのため、図示の例では、抽出が実行されると、抽出前と比較して、まったく異なるブロックが同じ場所に配置されることになる。
ＴＭＶＰと同様に影響を受けるもう１つのツールは、オプティカルフローによる予測の精緻化（ＰＲＯＦ）である。これは、ＶＶＣのアフィン動き予測モデルの一部であり、特定のタイプの動き（例えばズームインまたはズームアウト、回転）をより効率的に表現するために導入される。このモードが選択されている場合、ＣＵベースのアフィン動き補償予測が適用される。ＣＵのアフィン動きモデルは、左上隅と右上隅にある２つの制御点のＭＶ（４パラメータモデル）、または左上、右上、及び下の隅にある３つの制御点のＭＶ（６パラメータモデル）によって記述される。動き補償のより細かい粒度を実現するために、サンプル単位の動き補償の効果を目的にして、オプティカルフローによる予測の精緻化（ＰＲＯＦ）を使用して、各輝度予測サブブロックを精緻化する。輝度サブブロック内の予測サンプルは、勾配に基づいて導出された差とサンプルベースの動きベクトル差とを追加することによって精緻化される。ＰＲＯＦはクロマサンプルには適用されない。
ただし、アフィン動き予測処理では、ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］に基づいてＰＲＯＦに関連するフラグｃｂＰｒｏｆＦｌａｇＬＸが導出され、サブピクチャの抽出前後の導出の違いがエンコーダ／デコーダのミスマッチにつながることになる。
影響を受けるもう１つのツールは、特定のタイプのコンテンツ（エクイレクタングラー投影形式の３６０度ビデオ）に使用される動きベクトルラップアラウンドである。例えば、オブジェクトがピクチャの垂直境界でコード化されたピクチャ平面を離れると、通常、下層の投影の性質から、反対側の垂直境界で再びピクチャ平面に入る。この事実は、動きベクトルがピクチャの外側を指している場合、サンプルパディングに反対の境界を使用することにより、動きベクトルラップアラウンドを促進する。
しかし、サンプル予測処理では、ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］に基づいて動きベクトルラップアラウンドを制御するフラグ（ｒｅｆＷｒａｐａｒｏｕｎｄＥｎａｂｌｅｄＦｌａｇ）が導出されるので、サブピクチャの抽出前後で導出に差が生じた場合、ＴＭＶＰまたはＰＲＯＦの場合と同様に、エンコーダ／デコーダのミスマッチを引き起こすことになる。
第３の態様は、ＴＭＶＰ、ＰＲＯＦ、及びＭＶラップアラウンドなどのレイヤ間予測ツールの使用を制御するための概念を提供して、サブピクチャ別ビデオデータストリームが抽出されるときに発生する可能性がある上記の問題を回避することができるようにする。第３の態様による実施形態は、サブピクチャの抽出の前後で異なる動作を避けるように、オリジナルビットストリーム、すなわちマルチレイヤビデオデータストリーム１４のエンコードにおけるこれらのレイヤ間予測ツールの使用を制御することによって、これらの問題を回避することができる。
第３の態様の実施形態によれば、ビデオ２４をマルチレイヤビデオデータストリーム１４にエンコードするためのエンコーダ４０は、サブピクチャ単位の独立したコード化をサポートする。さらに、エンコーダ４０は、マルチレイヤビデオデータストリーム１４の第２のレイヤＬ０のためのレイヤ間予測ツールのセットを使用して、かつサブピクチャ単位の独立したコード化のための第１の構成設定を使用して、マルチレイヤビデオデータストリーム１４の第１のレイヤＬ１に、ビデオ２４の第１のバージョン２４１をエンコードするように構成される。第３の態様によるエンコーダ４０はさらに、サブピクチャ単位の独立したコード化のための第２の構成設定を使用して、マルチレイヤビデオデータストリーム１４の第２のレイヤＬ０に、ビデオ２４の第２のバージョン２４０をエンコードするように構成される。エンコーダ４０は、第１の構成設定及び第２の構成設定が所定の関係を有するかどうかをチェックするように構成されている。第１の構成設定及び第２の構成設定が所定の関係を有しない場合、エンコーダ４０は、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にするか、またはその使用を控える。
例えば、第１のレイヤＬ１及び第２のレイヤＬ０の第１の構成設定及び第２の構成設定は、それぞれのレイヤが、サブピクチャに細分されるようにエンコードされるかどうか（否か）を考慮に入れることができる。換言すれば、第１の構成設定及び第２の構成設定は、いくつかのサブピクチャに関する情報を含むことができる（例えば、１つと複数とを識別し、１つのサブピクチャの数は、ピクチャが細分されないようにコード化されていることを意味する）。例えば、第１のレイヤＬ１及び第２のレイヤＬ０の第１の構成設定及び第２の構成設定は、サブピクチャの境界、サブピクチャ識別子、及びサブピクチャの境界処理のうちの１つ以上についての情報を含み得る。
例えば、所定の関係とは、以下の条件の１つ以上または全てのセットが満たされる場合に、第１の構成設定と第２の構成設定とが所定の関係を有する関係であり得る。
－ 第１のビデオ及び第２のビデオは、それぞれ複数のサブピクチャに細分されるようにして、第１のレイヤ及び第２のレイヤにエンコードされる。
－ 第１のビデオ及び第２のビデオは、第１のビデオ及び第２のビデオの間で等しい数のサブピクチャにそれぞれ細分されるようにして、第１のレイヤ及び第２のレイヤにエンコードされる。
－ 第１のビデオ及び第２のビデオは、第１のビデオ及び第２のビデオの間で等しい数のサブピクチャにそれぞれ細分されるようにして、第１のレイヤ及び第２のレイヤにエンコードされ、サブピクチャの境界が空間的に一致するように変化する。
－ 第１のビデオ及び第２のビデオは、いくつかのサブピクチャにそれぞれ細分されるようにして、第１のレイヤ及び第２のレイヤにエンコードされ、マルチレイヤビデオデータストリームでサブピクチャにシグナリングされるサブピクチャＩＤが一致している。
－ 第１のビデオ及び第２のビデオは、いくつかのサブピクチャにそれぞれ細分されるようにして、第１のレイヤ及び第２のレイヤにエンコードされ、サブピクチャの境界処理が一致する。
例えば、１つ以上のレイヤ間予測の所定のサブセットは、レイヤ間動きベクトル予測、例えばＴＭＶＰ、ベクトルベースのレイヤ間予測のオプティカルフロー精緻化、及びベクトルベースのレイヤ間予測における動きベクトルラップアラウンドのうちの１つ以上を含む。
例えば、エンコーダ４０は、マルチレイヤビデオデータストリームに第１の構成設定及び第２の構成設定をシグナリングすることができる。
例では、エンコーダ４０は、第１の構成設定及び第２の構成設定が所定の関係を有する場合、１つ以上のレイヤ間予測ツールの所定のサブセット、またはそのサブセットを有効化または利用することができる。
第３の態様の実施形態によれば、マルチレイヤビデオデータストリームをデコードするためのデコーダ５０は、マルチレイヤビデオデータストリームの第２のレイヤＬ０からの予測のためのレイヤ間予測ツールのセットを使用して、かつサブピクチャ単位の独立したコード化のための第１の構成設定を使用して、マルチレイヤビデオデータストリームの第１のレイヤＬ１から、ビデオ２４の第１のバージョン２４１をデコードするように構成される。マルチレイヤビデオデータストリームは、サブピクチャ別ビデオデータストリーム１２またはマルチレイヤビデオデータストリーム１４であり得ることに留意されたい。言い換えれば、図１では、デコーダ５０は、サブピクチャ別ビデオデータストリーム１２をデコードするように示されているが、デコーダ５０はまた、例えば、図１に示されるシナリオのように、別のＯＬＳの選択時にエクストラクタ１０によって転送され得るので、マルチレイヤビデオデータストリーム１４をデコードすることもできる。デコーダ５０によってデコードされたマルチレイヤビデオデータストリームがサブピクチャ別ビデオデータストリーム１２に対応し得るとき、マルチレイヤビデオデータストリームは、図１～図７に関して説明したように、抽出プロセスを受けていた可能性があるので、ビデオ２４の第１のバージョン２４１は、エンコーダ４０に関して述べたバージョンと異なる場合がある。したがって、デコーダ５０に関して言及されたビデオの第１のバージョン２４１は、例では、１つ以上のサブピクチャの省略により、エンコーダ４０に関して言及されたものとは異なり得る。同じことが、デコーダ５０を参照して、デコーダ５０によってデコードされるデータストリームの抽出された／残りの／通常除去された部分にコード化されたピクチャのピクチャ領域に関連する第１の構成設定にも当てはまる。例えば、デコーダに入るマルチレイヤビデオデータストリームが、ピクチャを含む以前の２つのサブピクチャのうちの１つのサブピクチャ２８のみに関連する場合、第１の構成データは非サブピクチャ細分割を示すのみとなる。
第３の態様によるデコーダ５０は、サブピクチャ単位の独立したコード化のための第２の構成設定を使用して、マルチレイヤビデオデータストリーム、すなわちデコーダ５０に提供されるビデオデータストリームの第２のレイヤＬ０から、ビデオ２４’の第２のバージョン２４０’をデコードするように構成され得る。デコーダ５０は、第１の構成設定及び第２の構成設定が所定の関係を有するかどうかをチェックするように構成されている。デコーダ５０は、第１の構成設定及び第２の構成設定が所定の関係を有する場合、エンコーダ４０に関して説明した、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にすることができる。
実施形態によれば、デコーダ５０は、サブピクチャ境界でのベクトルクリッピング及び／またはサブピクチャ境界での境界パディングを含む、サブピクチャ単位の独立したデコードのために構成され得る。
例えば、上記で導入された変数ＲｐｒＣｏｎｓｔｒａｉｎｓＡｃｔｉｖｅは、第１の構成設定及び第２の構成設定の比較を表し得る。例えば、エンコーダ４０及びデコーダ５０は、第１の構成設定及び第２の構成設定が所定の関係を有するかどうかに基づいて、この変数を導出することができ、すなわち、適宜に変数を設定し、レイヤ間予測ツールの所定のサブセットを使用するかどうかを決定するために、この変数を使用することができる。
一実施形態では、ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］の導出は、以下のように調整される。
それ以外の場合、基準ピクチャリストＲｅｆＰｉｃＬｉｓｔ［０］及びＲｅｆＰｉｃＬｉｓｔ［１］、基準ピクチャのスケーリング比ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［０］及びＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］［１］、ならびに基準ピクチャのスケーリングフラグＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ
［ｊ］及びＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［１］［ｊ］は、次のように導出される。
ｆｏｒ（ｉ＝０；ｉ＜２；ｉ＋＋）｛
ｆｏｒ（ｊ＝０，ｋ＝０，ｐｏｃＢａｓｅ＝ＰｉｃＯｒｄｅｒＣｎｔＶａｌ；ｊ＜ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ［ｉ］［ＲｐｌｓＩｄｘ［ｉ］］；ｊ＋＋）｛
［…］
ｆＲｅｆＷｉｄｔｈは基準ピクチャＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬに等しく設定される
ｆＲｅｆＨｅｉｇｈｔは基準ピクチャＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬに等しく設定される
ｒｅｆＰｉｃＷｉｄｔｈ、ｒｅｆＰｉｃＨｅｉｇｈｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＬｅｆｔＯｆｆｓｅｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＲｉｇｈｔＯｆｆｓｅｔ、ｒｅｆＳｃａｌｉｎｇＷｉｎＴｏｐＯｆｆｓｅｔ、
及びｒｅｆＳｃａｌｉｎｇＷｉｎＢｏｔｔｏｍＯｆｆｓｅｔは基準ピクチャ
ＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、
ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値にそれぞれ等しく設定される
ｆＲｅｆＳｕｂｐｉｃｓＥｎａｂｌｅｄは基準ピクチャＲｅｆＰｉｃＬｉｓｔ［ｉ］［ｊ］のｓｐｓ＿ｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに等しく設定される（つまり、ここでは、ＩＬＭＶＰの基準ピクチャがサブピクチャに細分されているか否かがチェックされる）
ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］
＝（（ｆＲｅｆＷｉｄｔｈ＜＜１４）＋（ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ＞＞１））／ＰｉｃＯｕｔｐｕｔＷｉｄｔｈＬ
ＲｅｆＰｉｃＳｃａｌｅ［ｉ］［ｊ］
＝（（ｆＲｅｆＨｅｉｇｈｔ＜＜１４）＋（ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ＞＞１））／ＰｉｃＯｕｔｐｕｔＨｅｉｇｈｔＬ
ＲｐｒＣｏｎｓｔｒａｉｎｔｓＡｃｔｉｖｅ［ｉ］［ｊ］＝（ ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ！＝ｒｅｆＰｉｃＷｉｄｔｈ｜｜
ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ！＝ｒｅｆＰｉｃＨｅｉｇｈｔ｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＬｅｆｔＯｆｆｓｅｔ｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＲｉｇｈｔＯｆｆｓｅｔ｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＴｏｐＯｆｆｓｅｔ｜｜
ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ！＝ｒｅｆＳｃａｌｉｎｇＷｉｎＢｏｔｔｏｍＯｆｆｓｅｔ｜｜
ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ！＝ｆＲｅｆＳｕｂｐｉｃｓＥｎａｂｌｅｄ（したがって基準ピクチャ及びコード化対象ピクチャの一方が細分されている場合、または基準ピクチャ及びコード化対象ピクチャの両方が細分されていない場合、ＩＬＭＶＰは無効になる）
｝
｝
あるいは、一実施形態では、異なるサブピクチャ構成（有効対無効）を有する現在のピクチャと基準ピクチャとの間の予測において、ビットストリームがＴＭＶＰ、ＰＲＯＦ、またはＭｖＷｒａｐＡｒｏｕｎｄを有効にしないことがビットストリーム適合の要件であり、ビットストリームは上記の制約の表示を搬送する。
ＴＭＶＰの場合、上記の導出の影響は、例では、デコーダには影響を与えないが、ＰＲＯＦ及びＭｖＷｒａｐＡｒｏｕｎｄの場合、デコーダは、上記の修正された導出を実行し、それぞれのツールが実行／チェックされると異なる動作をする可能性がある。
あるいは、そのようなチェックは、現在のピクチャ及び基準ピクチャ内のサブピクチャの数または識別子、そのようなサブピクチャの境界処理の特性、またはさらなる特徴に応じて実行することができる。
４．第４の態様によるエンコーダ４０及びエクストラクタ１０
このセクションでは、図１を参照して第４の態様による実施形態を説明する。第４の態様による実施形態には、セクション０で説明した詳細を任意選択で適用することができる。また、図２及び図５に示されるデータストリーム１２、１４の詳細は、第３の態様の実施形態に任意選択で含まれてもよく、その場合、セクション１及び２の対応する説明が適宜適用される。最適には、第１、第２及び第３の態様に関して記載された特徴を、第４の態様と組み合わせることもできる。
ビデオデータストリーム１４などのマルチレイヤビデオデータストリームからサブピクチャが抽出されるとき、例えば前のセクション１～３の実施形態の例では、抽出されたサブビットストリームの特定のレベル（例えば、ビットレート、（コード化されたピクチャバッファ）ＣＰＢサイズ、タイルの数など）の制限を決定する際に使用される割合（例えば、ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１によって示される）がシグナリングされるか、または導出され得る。例えば、これらのレベル制約は、デコーダがビデオデータストリーム、または機能要件が基準とするＯＬＳによって記述されたビデオシーケンスをデコードすることができるように満たさなければならないデコーダ機能要件を提起するか、またはそれに関連し得る。
従来、この割合が存在しない場合、次のように、そのレイヤ内の完全なピクチャのサイズに関して、サブピクチャのサイズに等しいと推定される。
存在しない場合、ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］の値はＣｅｉｌ（２５６＊ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＊ＭａｘＬｕｍａＰｓ（ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃ）÷ＭａｘＬｕｍａＰｓ（ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］）－１に等しいと推測される。
ただし、このメカニズムにはいくつかの問題がある。第一に、上記の推定は、ビットストリームが複数のレイヤをホストできる事実を考慮していない。例えば、あるレベル制限はビットストリーム範囲（例えば、ビットレート及びＣＰＢサイズ）を有するが、他のレベル制限はレイヤ範囲（例えば、タイル数）を有するので、比ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹに関して十分でない。
したがって、これは本態様の一部であり、一実施形態では、推定は、ＯＬＳ内の全てのレイヤを考慮する方式で実行され、すなわち、導出ビットストリーム別である。
したがって、本態様の一部として、一実施形態では、以下のように、サブピクチャのない基準レイヤのレベルの影響も組み込むように、サブピクチャ当たりの割合の推定が変更される。
存在しない場合、ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］の値はｍａｘ（２５５，Ｃｅｉｌ（２５６＊ＳｕｍＯｆＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＳｕｍＯｆＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＊ＭａｘＬｕｍａＰｓ（ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃ）÷ＭａｘＬｕｍａＰｓ（ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］）－１））に等しいと推定される。最大関数が省略されると、Ｃｅｉｌ（２５６＊ＳｕｍＯｆＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＳｕｍＯｆＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＊ＭａｘＬｕｍａＰｓ（ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃ）÷ＭａｘＬｕｍａＰｓ（ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］）－１）になり得る。
ここで、ＳｕｍＯｆＳｕｂｐｉｃＳｉｚｅＹ及びＳｕｍＯｆＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹは、ＯＬＳ内の全てのレイヤのそれぞれのサブピクチャに関連付けられた全てのサンプルの合計である。
図８は、例えば、図１、図２、図５に示されるシナリオに従う、サブピクチャ別ビデオデータストリーム１４の抽出の例を示す。図８は、オリジナルデータストリーム、例えば、抽出前のデータストリーム１４のビデオ２４と、抽出後のサブピクチャ別データストリーム１２のビデオシーケンス２４′との間の出力ピクチャ領域の相対的な変化を示す。
第２の問題は、Ｌ０がサブピクチャを持たない図８に示されるように、対応するサブピクチャを含まない基準レイヤと組み合わせてサブピクチャを使用できるという事実に関する。
このケースをカバーするため、またはより正確なレベル制限を提供するために、別の実施形態では、例えばｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１の推定が次のように実行される。
ここで、ＳｕｍＯｆＳｕｂｐｉｃＳｉｚｅＹ及びＳｕｍＯｆＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹは、ＯＬＳ内の全てのレイヤ、及びＯＬＳ内のサブピクチャのない全てのレイヤの、それぞれのサブピクチャに関連付けられた全てのサンプルの合計である。
別の実施形態では、ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］の推定は、技術の状態に対して不変である（サブピクチャを含むレイヤのレイヤ固有の割合のままである）。代わりに、上記の変更の代わりに、次のように、レイヤごとの特定の割合からＯＬＳ別割合変数が導出される。
Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］＝０
Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｄｅｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］＝０
ｋ－Ｏｌｓ｛
Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］＝＋ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ［ｌａｙｅｒ］＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｌａｙｅｒ］？ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］：２５５）
Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｄｅｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］＝＋ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ［レイヤ］
｝
ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］［ｋ］＝Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］／Ｏｌｓ＿ｆｒａｃｔｉｏｎ＿ｄｅｎｏｍｉｎａｔｏｒ［ｉ］［ｊ］［ｋ］
ここで、ｋはＯＬＳのインデックス、ｉは基準レベルのインデックス、ｊはサブピクチャのインデックスである。
上記の実施形態は、全てのレイヤの間の等しいレート分布を期待することができる。エンコーダが、サブピクチャレイヤと非サブピクチャレイヤとの間のレート分布についても自由に決定できるようにするために、本発明の別の実施形態では、ビットストリームのＯＬＳ内のサブピクチャを含まないレイヤの割合が明示的にシグナリングされる。つまり、所与の基準レベルで、非サブピクチャレイヤを全て合わせて、ビットストリームのＯＬＳの何割に相当するかがシグナリングされる。
Figure 2023526460000002
 ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］は、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しいビットストリーム／ＯＬＳのレイヤに関連付けられたビットストリーム／ＯＬＳ別レベル制限の割合を規定する。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］、またはビットストリーム／ＯＬＳにｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しいレイヤがない場合、ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］は０に等しくなる。
ｉ番目のｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃのｊ番目のサブピクチャの変数ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は、ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］＋（２５５－ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］）÷２５５＊ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１に等しく設定される。
ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は、セクション５で説明したように、ＯＬＳ別に使用される。
第４の態様の実施形態によれば、マルチレイヤビデオデータストリーム１４は、レイヤのセット、例えば、デコードのために選択されたＯＬＳなどのＯＬＳを含む。例えば、ＯＬＳは、図１に示されるようにレイヤＬ０及びＬ１を含むことができる。エンコーダ４０によってエンコードされたマルチレイヤビデオデータストリームは、レイヤのこのセット、すなわち、レイヤのこの１セットだけでなく、さらなるＯＬＳから構成されてもよく、図１に示すレイヤＬ０及びレイヤＬ１以外のさらなるレイヤから構成されてもよいことが留意される。第４の態様によるエンコーダ４０は、マルチレイヤビデオデータストリーム１４に、レイヤのセット、例えば、レイヤＬ０及びＬ１の非縮小バージョンをエンコードするように構成される。ビデオバージョン、例えば、ビデオシーケンス２４０及びビデオシーケンス２４１は、レイヤごとに１つ以上の独立にコード化されたサブピクチャの単位でレイヤのセットの非縮小バージョンにコード化される。「１つの独立してコード化されたサブピクチャの単位で」という表現は、例えば、サブピクチャに細分されずにコード化されたレイヤを意味する。すなわち、ビデオバージョン２４０のピクチャ２６０などのピクチャは、１つのサブピクチャを形成する。例えば、１つ以上のそのような細分化されていないレイヤがレイヤセットに存在し、１つ以上のサブピクチャ分割レイヤがレイヤセットに存在し得る。
第４の態様によるエンコーダ４０は、レイヤのセットの非縮小バージョンのデコードに関連する基準デコーダ機能要件をマルチレイヤビデオデータストリーム１４にエンコードするようにさらに構成される。さらに、第４の態様によるエンコーダ１４は、マルチレイヤビデオデータストリーム（１４）に、レイヤのセットの各レイヤについて、レイヤのセットの非縮小バージョンのそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する情報（図２に示す情報２２など）と、それぞれのレイヤの１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズとをエンコードするように構成される。第４の態様によるエンコーダ４０は、少なくとも１つのレイヤのサブピクチャ関連部分が除去されたレイヤの集合の、１つ以上の縮小バージョン、例えば、サブピクチャ別ビデオデータストリーム１２または必ずしもマルチレイヤビデオデータストリーム１４全体を構成しないビデオデータストリーム１２のさらなるバージョンのそれぞれに対して、レイヤの集合のそれぞれの縮小バージョンをデコードすることに関係するデコーダ機能要件、例えばＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］を決定するように構成される（ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は、ｊ番目のサブピクチャに関連する縮小バージョンに固有であることに注意されたい）。
エンコーダ４０は、レイヤのセットのそれぞれの縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を使用して決定される係数で基準デコーダ機能要件をスケーリングすることによって、それぞれの縮小バージョンに対するデコーダ機能要件を決定する。換言すれば、レイヤのセットの縮小バージョンは、抽出されないサブピクチャなどの他のサブピクチャに関連するビットストリーム部分、すなわち、サブピクチャ別ビデオデータストリーム１４において転送されるべきサブレイヤの所定のセットの一部ではないビットストリーム部分が除去されたレイヤのセットのバージョンを意味する。
例えば、エンコーダ４０は、マルチレイヤビデオデータストリーム１４におけるデコーダ機能要件を提供し、例えば、図２に示されるようなデコーダ機能要件６０と比較することができる。
デコーダ機能要件情報は、抽出されたビットストリームが、ビットストリームを受信するデコーダによってデコード可能であるかどうかを示す指標として使用され得る。例えば、デコーダ機能要件情報は、デコーダをセットアップまたは初期化するためにビットストリームを受信するデコーダによって使用され得る。
再利用されるバージョンのそれぞれについて、特定のデコーダ機能要件を決定することにより、デコーダ機能要件をより正確に提供することができるので、不必要に高いデコーダ機能要件を示す情報を回避することができ、例えば、デコーダが、その能力に応じた最高品質のＯＬＳを選択することができる。
したがって、第４の態様によるエクストラクタ１０の実施形態は、レイヤのセットを構成するマルチレイヤビデオデータストリーム１４から、サブピクチャ別ビデオデータストリーム１２を抽出するためのエクストラクタ１０であって、マルチレイヤビデオデータストリーム１４は、そこにエンコードされたレイヤのセットの非縮小バージョンを有し、ビデオバージョン２４０、２４１が、レイヤごとに１つ以上の独立してコード化されたサブピクチャの単位でレイヤのセットの非縮小バージョンにエンコードされることは、マルチレイヤビデオデータストリーム１４から、レイヤのセットの非縮小バージョンをデコードすることに関連する基準デコーダ機能要件を導出するように構成される。この実施形態によれば、エクストラクタ１０は、マルチレイヤビデオデータストリームから、レイヤのセットの各レイヤについて、レイヤのセットの非縮小版のそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する図２に例示される情報２２などの情報、及び、それぞれのレイヤの１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズを導出可能に構成される。さらに、この実施形態によれば、エクストラクタ１０は、少なくとも１つのレイヤのサブピクチャ関連部分が除去されたレイヤのセットの所定の（例えば、ＡＰＩによって提供されるＯＬＳ表示２０によって予め決定された）縮小バージョンについて、レイヤのセットの所定の縮小バージョンのデコードに関連するデコーダ機能要件を、レイヤのセットの所定の縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を用いて決定される係数によって基準デコーダ機能要件をスケーリングすることによって決定するように構成されている。
以下では、第４の態様の代替の実施形態が、依然として図１及び図２を参照しながら説明される。
これらの代替実施形態によれば、マルチレイヤビデオデータストリーム１４は、レイヤＬ０及びレイヤＬ１などの複数のレイヤを含む。さらに、エンコーダ４０は、マルチレイヤビデオデータストリームのレイヤに、ピクチャ２６０及びピクチャ２６１などのビデオピクチャ２６を、図１のレイヤＬ１などの１つ以上の第１のレイヤに関して独立にコード化されたサブピクチャに細分されるように、かつレイヤＬ０などの１つ以上の第２のレイヤに関しては細分されないように、エンコードするように構成されている。言い換えれば、エンコーダ１４は、独立にコード化されたサブピクチャに細分されるようにビデオ２４のピクチャを第１のレイヤＬ１などの第１のタイプのレイヤにコード化してもよく、第２のレイヤＬ０などの第２のタイプの１または複数のレイヤに細分されないようにピクチャをエンコードしてもよい。マルチレイヤビデオデータストリーム１４は、第１のタイプの１つ以上のレイヤ及び第２のタイプの１つ以上のレイヤを含むことができることに留意されたい。これらの代替実施形態によるエンコーダ４０は、マルチレイヤビデオデータストリーム１４に、少なくとも１つの第１のレイヤがレイヤセットに含まれ、少なくとも１つの第２のレイヤがレイヤセットに含まれるようなレイヤセットの、図２に示される表示１８などの表示をエンコードするように構成される。例えば、レイヤのセットの表示は、ＯＬＳ表示１８であってもよい。マルチレイヤビデオデータストリーム１４は、図１に関して説明したように、レイヤの複数のセットの表示を含み得る。
これらの代替実施形態によるエンコーダ４０は、マルチレイヤビデオデータストリーム１４に、レイヤのセットをデコードするのに十分な複数の基準デコーダ機能要件のそれぞれについて、少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合（例えば図９の第１の割合１３４）、及び少なくとも１つの第２のレイヤに帰属するそれぞれの基準デコーダ機能要件のセクション割合１３２（例えば図９の第２の割合１３４）の情報をエンコードするように構成される。例えば、第１の部分１３４は、上記で導入されたシンタックス要素ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］によって示され得、第２の部分１３２は、上記で導入されたシンタックス要素ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒ＿ｆｒａｃｔｉｏｎ［ｉ］［ｊ］によって示され得る。
例えば、レイヤセットをデコードするのに十分な基準デコーダ機能要件は、基準デコーダ機能要件のそれぞれが、少なくとも、最小ＣＰＢサイズによって定義されることを意味し得る。いくつかの基準デコーダ機能要件は、その示された最小ＣＰＢサイズに関して相互に異なる可能性がある。基準デコーダ能力要件のいくつかについては、レイヤセットは全体ではほんの一部しか消費しない可能性があり、例えば、全体で利用可能なＣＰＢサイズのほんの一部しか消費しない可能性があるので、図１０に関して説明されるミキサ１００のようなミキサは、レベル／基準デコーダ機能要件を満たしているにもかかわらず、異なるストリームのいくつのＯＬＳが共に混合されるかを決定するために、そのような情報、すなわち、基準デコーダ機能要件を使用する場合があることに留意されたい。
例えば、デコーダ機能情報（ＤＣＩ）とも呼ばれるデコーダ機能要件は、デコーダ機能要件が関連付けられているレイヤセットをデコードするためのデコーダの要件を示すことができる。例えば、レイヤセットは、いくつかの基準デコーダ機能要件を関連付けている場合がある。例えば、レイヤセットに関連する基準デコーダ機能要件のそれぞれは、異なるサブピクチャを含むビデオの異なるバージョンがコード化される異なるサブピクチャ別ビデオデータストリームなど、レイヤセットにコード化されるビデオ２４の異なるバージョンを参照することができる。
第４の態様の実施形態は、マルチレイヤビデオデータストリーム１４を処理するための装置を含み、この装置は、エンコーダ４０のちょうど説明した代替実施形態によって提供されるビデオデータストリームを処理することができる。例えば、マルチレイヤビデオデータストリーム１４を処理するための装置は、以下に説明するミキサ１００などのミキサ、図１、図２及び図５のエクストラクタ１０などのエクストラクタ、デコーダ５０などのデコーダ、またはそれらの組み合わせである。したがって、データストリームを処理するための装置は、装置１０、１００と呼ばれる。例えば、デコーダ５０とエクストラクタ１０とを組み合わせてもよいし、一方が他方を含んでいてもよい。これらの実施形態によるマルチレイヤビデオデータストリームを処理するための装置は、マルチレイヤビデオデータストリーム１４から、前に説明したように、少なくとも１つの第１のレイヤと１つの第２のレイヤとを含むレイヤのレイヤセットの表示をデコードするように構成される。装置は、複数の基準デコーダ機能要件のそれぞれについて、少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合と、少なくとも１つの第２のレイヤに帰属するそれぞれの基準デコーダ機能要件の第２の割合とに関する情報を、マルチレイヤビデオデータストリーム１４から、デコードするように構成される。
図９は、第４の態様のちょうど説明した代替実施形態に従ってビデオデータストリーム１４で信号化され得る、第１のレイヤのピクチャ２６１及び第２のレイヤのピクチャ２６０と、帰属する第１の割合１３４及び第２の割合１３２の例をそれぞれ示す。図９の例では、第１のレイヤのピクチャ２６１は、２つのサブピクチャ２８に細分される。図９ａは、図９に示されるように、第１の基準レベルに関連付けられ得る、第１の基準デコーダ機能要件に対する第１の割合１３４１及び第２の割合１３２１の決定を示す。図９の例示的な例では、第１の基準レベルは、例示的に１０００の値を有する第１のＣＰＢ１３０１（図９では、デコーダ機能要件の例示的な例を表すことができる）に関連付けられる。図９では、ピクチャまたはサブピクチャのそれぞれについて、それぞれの基準デコーダ機能要件に関連するビデオストリームの全ピクチャサイズに対するその相対的シェアが示されている。例えば、図９ａによれば、ピクチャ２６０のピクチャサイズは、ビデオストリームの全ピクチャサイズの２０％のシェアを有する。換言すれば、図９ａは、両方のサブピクチャが含まれるピクチャ２６０及び２６１を含むビデオデータストリームに対する基準デコーダ機能要件の決定を示す。第２の部分１３２１は、それぞれのデコーダ機能要件に対して示された全ＣＰＢに対する第２のレイヤのピクチャ２６０のシェアとして決定される。図９ａに示されるビデオデータストリームのデコーダ機能要件に関連する第１の割合１３４１は、ＣＰＢの残りの割合、すなわち、第１のレイヤのピクチャ２６１上のサブピクチャ上に分配された、第２のレイヤのピクチャ２６０によって使用されないシェアである。
図９ｂは、図９ａに示されるものと同様であるが、第１のレイヤのピクチャ２６１のサブピクチャ２８のうちの１つのみを含むビデオデータストリームの例を示す。したがって、対応するＣＰＢレベルは、図９ａのサブピクチャ２８のうちの１つの割合のサイズのみ小さくなる。図９ｂの例では、ビデオデータストリームが第１のレイヤのサブピクチャの１つだけを含むので、ビデオデータストリームでシグナリングされる全ピクチャ領域に対するピクチャ２６０のシェアはより高く、すなわち２０％に代わり、３３％である。図９ｂの例の基準デコーダ機能要件に関連する第２の割合１３２２及び第１の割合１３４２は、図９ａに関して説明したように、図９ｂの場合のピクチャ２６１が２つのサブピクチャ２８のうちの一方のみを含むことを考慮して、それに応じて決定される。
実施形態によれば、エンコーダ４０は、一方ではマルチレイヤビデオデータストリームに第１の割合を書き込み、他方では第２の割合を１マイナス第１の割合で割ったものを書き込むことにより、第１の割合及び第２の割合に関する情報をエンコードすることができる。したがって、装置１０、１００は、データストリームから第１の割合、及びさらに第２の割合を読み出すことによって、第１の割合及び第２の割合の情報をデコードすることができる。あるいは、装置１０、１００は、データストリームから第１の割合及びさらなる割合を読み出し、１から第１の割合を差し引いた差をさらなる割合に乗算することによって第２の割合を導き出すことによって、第１及び第２の割合に関する情報をデコードすることができる。
いくつかの例によれば、エンコーダ４０は、例えば図１に示されるデコーダ機能要件６０など、いくつかの基準デコーダ機能要件のうちの１つ以上に関する情報をマルチレイヤビデオデータストリームにエンコードすることができる。換言すれば、エンコーダ４０は、必ずしも全てではないが、いくつかの基準デコーダ機能要件のうちの１つ以上に関する情報をマルチレイヤビデオデータストリームにエンコードすることができる。例えば、いくつかの基準デコーダ機能要件の他のものに関する情報は、デフォルト規則によって導出可能である場合がある。例えば、図９の例では、第１のレイヤのピクチャ２６１が細分されるサブピクチャの相対的なサイズに関する情報に基づいて、図９ａ及び図９ｂのデコーダ機能要件のうちの１つに関する情報が他方から導出され得る。
例えば、エンコーダ４０は、いくつかの基準デコーダ機能要件のうちの少なくとも１つについて、第１の割合１３４及び第２の割合１３２がマルチレイヤビデオデータストリームの縮小バージョン、例えば、図９ｂの第１の割合１３４２及び第２の割合１３２２に関連するような情報をエンコードするように構成され得る。エンコーダは、縮小バージョンに存在する１つ以上の独立してコード化されたサブピクチャのそれぞれについて、第１の割合がマルチレイヤビデオデータストリームから導出可能であるように、情報をエンコードすることができる。例えば、図９ａを参照すると、エンコーダ４０によってデータストリーム１４にエンコードされたビデオ内のパラメータ、例えばサブピクチャの幅及びまたは高さ、例えばサンプルまたはタイルで測定されたものから導出可能であり得るピクチャ２６１の２つのサブピクチャ間の比率、例えば図９ａの５０％を認識して、装置１０、１００は、左サブピクチャに対する第１の割合からピクチャ２６１の右サブピクチャに対する第１の割合を導出してもよい。
さらにまたは代替的に、エンコーダ１４は、複数の基準デコーダ機能要件の少なくともさらなる１つについて、第１の割合及び第２の割合が、マルチレイヤビデオデータストリームの非縮小バージョン、例えば図９ａの第１の割合１３４１及び第２の割合１３２１に関連し、第１の割合１３４が、少なくとも１つの第１のレイヤの独立してコード化されたサブピクチャのそれぞれに対して、マルチレイヤビデオデータストリーム１４から導出されるように、情報をデコードするように構成され得る。
図９に示すように、装置１０、１００は、第１の割合１３４と第２の割合１３２とを合計して、それぞれのレイヤセットについてＣＰＢなどの実際のデコーダ機能要件を得ることができる。図示されるように、実際のデコーダ機能要件は、サブピクチャ別ビデオデータストリームに固有のものであってもよい。
上述のように、装置１０、１００はミキサであってもよい。すなわち、装置１０、１００は、マルチレイヤビデオデータストリーム１４を別のビデオデータストリームとミキシングしてもよい。この目的のために、装置１０、１００は、例えば図１０に関して説明したように、データストリーム１４及びさらなる入力ビデオデータストリームに基づいてさらなるデータストリームを形成するために、第１及び第２の割合に関する情報を使用し得る。
５．第５の態様によるエンコーダ４０及びエクストラクタ１０
本セクションでは、図１を参照して第５の態様による実施形態を説明し、セクション０で説明された詳細は、第５の態様による実施形態に任意選択で適用され得る。また、図２及び図５に示されるデータストリーム１２、１４の詳細は、第３の態様の実施形態に任意選択で含まれてもよく、その場合、セクション１及び２の対応する説明が適宜適用される。任意選択で、第１、第２、第３、特に第４の態様に関して説明した特徴も、第５の態様と組み合わせることができる。特に、セクション５に記載された実施形態の例は、セクション４に記載された実施形態に、特にデコーダ機能要件ならびに第１及び第２の割合に関して関連し得る。
第５の態様の実施形態は、ＯＬＳのレイヤへの制約の選択的適用に関連し得る。
前述のように、上記のシンタックス要素ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、明示的にシグナリングされるか推定されるかにかかわらず、最新技術でタイル数などの特定のレイヤ別制約を課すために使用される。ただし、サブピクチャのない（参照）レイヤの場合、これらの制約は不必要に厳しくなるか、エンコーダの観点からは満たすのが難しい場合もある。これは、抽出プロセスがそれぞれのレイヤに影響を与えるのではなく、レイヤが満たす必要がある制約を強化するためである。
したがって、別の実施形態では、サブピクチャを含むＯＬＳ内のレイヤ、すなわち、抽出プロセスからピクチャサイズの縮小を受けるレイヤに対してのみ、以下の制約を選択的に課すことが本態様の一部である。したがって、エンコーダは、非サブピクチャ細分割レイヤの制限がより少ないことを利用することができる。
第５の態様の実施形態によれば、エンコーダ１０は、１つ以上の第１のレイヤ、例えば第１のレイヤＬ１に、独立してコード化されたサブピクチャ２８に細分されるように、ピクチャ２６１をエンコードし、１つ以上の第２のレイヤ、例えばレイヤＬ０に、例えば図１または図２に示されたような、細分されないようにして、ピクチャ２６０をエンコードし得る。エンコーダは、レイヤセット、例えばＯＬＳ、またはＯＬＳ表示１８で示された１つ以上のＯＬＳのそれぞれのレイヤセットについて、レイヤセットの最初のレイヤ、すなわちサブピクチャに細分された形でピクチャをそこにエンコードしており、すなわち少なくとも２つのサブピクチャに細分されたピクチャをそこにエンコードしているレイヤについて選択的にレイヤ固有の制約をチェックしてもよい。換言すれば、ピクチャが細分化されてエンコードされているレイヤについてはチェックを行い、ピクチャが非細分化されてエンコードされているレイヤについてはチェックを省略してもよい。換言すれば、チェックは、サブピクチャ細分化方式でピクチャにエンコードされたレイヤに対してのみ実行され得る。
第１のレイヤに対して選択的にチェックされる制約は、それぞれの第１のレイヤのサブピクチャに対するパラメータの所定のセットに関連する。換言すれば、エンコーダは、それぞれの第１層のサブピクチャのそれぞれについて、制約が固有である１つ以上の基準デコーダ機能要件のそれぞれについての制約をチェックしてもよい。例えば、それぞれのサブピクチャについて制約がチェックされる１つ以上の基準デコーダ機能要件は、それぞれの第１のレイヤからそれぞれのサブピクチャを抽出した結果のサブピクチャシーケンスを参照してもよく、または、それぞれの第１のレイヤからそれぞれのサブピクチャを抽出した結果のビデオシーケンスまたはビデオデータストリームへのこのサブピクチャシーケンスの寄与を参照してもよい。セクション０で述べたように、ＯＬＳによって記述されたビットストリームは、エクストラクタ１０による抽出後も、ＯＬＳの１つ以上の時間サブレイヤ及び／または１つ以上のレイヤの選択／抽出によってスケーラブルである可能性がある。エクストラクタ１０がサブピクチャ別ビデオデータストリームを抽出する場合にも同じことが適用され、エンコーダによってシグナリングされた１つ以上の基準デコーダ機能要件は、ビデオデータストリーム内の各サブピクチャに対して、基準デコーダ機能要件のそれぞれについて、サブピクチャに固有であるそれぞれの基準デコーダ機能要件の割合、例えばセクション４で述べた第１の割合によって定義される範囲で適用されてもよい。言い換えれば、１つ以上の基準デコーダ機能要件がそれぞれのサブピクチャに関連付けられ、基準デコーダ機能要件のそれぞれは、それぞれのサブピクチャ別ビデオデータストリームから抽出可能なサブビットストリームに適用し、基準デコーダ機能要件のそれぞれは、基準デコーダ機能要件に固有の制約を提起することができる。
例えば、制約が課されるパラメータは、
－ サンプル数、例えばＬＵＭＡサンプル、例えばＭａｘＬｕｍａＰｓ、
－ ピクチャサイズ、例えばピクチャ幅及び／またはピクチャ高さ、例えばサンプル数、
－ 行のタイル数及び／または列のタイル数、例えばＭａｘＴｉｌｅＲｏｗｓ及び／またはＭａｘＴｉｌｅＣｏｌｓ、
－ タイルの総数、の１つ以上または全てを含んでもよい。
例えば、エンコーダ１０は、それぞれのサブピクチャに帰属するそれぞれの基準デコーダ機能要件の割合、例えば、セクション４で説明したような第１の割合１３４、例えば以下の例ではＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］（ここでｉはそれぞれの基準デコーダ能力要求を示し、ｊはそれぞれのサブピクチャを示す）、を使用して、個々のサブピクチャのパラメータまたはプロパティを決定してもよい。
以下は、現在のＶＶＣドラフト仕様に関して、強調表示された変更を含む仕様の例である。
ｊ番目のサブピクチャを０からｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１までの範囲のｊと０より大きいｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１で抽出したビットストリーム中の各層は、ビットストリーム適合性の要件である。また、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇが０、ｌｅｖｅｌがｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］で、ｉが０からｎｕｍ＿ｒｅｆ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１までのプロファイルに適合する場合、ＶＶＣ仕様書の付録Ｃで規定する各ビットストリーム適合性テストにおいて、以下の制約に従わなければならない。
－ Ｃｅｉｌ（２５６＊ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）は、ＭａｘＬｕｍａＰｓ以下である必要がある。ここで、ＭａｘＬｕｍａＰｓは、レベルｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］について（ＶＶＣの）表Ａ．１で指定される。
－ Ｃｅｉｌ（２５６＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹ÷ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）の値は、Ｓｑｒｔ（ＭａｘＬｕｍａＰｓ＊８）以下でなければならない。
－ Ｃｅｉｌ（２５６＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹ÷ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）の値は、Ｓｑｒｔ（ＭａｘＬｕｍａＰｓ＊８）以下でなければならない。
－ ＳｕｂｐｉｃＷｉｄｔｈＩｎＴｉｌｅｓ［ｊ］の値はＭａｘＴｉｌｅＣｏｌｓ以下であり、ＳｕｂｐｉｃＨｅｉｇｈｔＩｎＴｉｌｅｓ［ｊ］の値はＭａｘＴｉｌｅＲｏｗｓ以下である必要がある。ここで、ＭａｘＴｉｌｅＣｏｌｓとＭａｘＴｉｌｅＲｏｗｓとは、レベルｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］の（ＶＶＣの）表Ａ．１に規定されるものとする。
－ ＳｕｂｐｉｃＷｉｄｔｈＩｎＴｉｌｅｓ［ｊ］＊ＳｕｂｐｉｃＨｅｉｇｈｔＩｎＴｉｌｅｓ［ｊ］の値は、ＭａｘＴｉｌｅＣｏｌｓ＊ＭａｘＴｉｌｅＲｏｗｓ＊ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］以下とし、ＭａｘＴｉｌｅＣｏｌｓとＭａｘＴｉｌｅＲｏｗｓはレベルｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］の（ＶＶＣの）表Ａ．１に規定するものとする。
別の実施形態では、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０に等しいＯＬＳのレイヤに対して、ＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は２５５に等しい（例えば、１００％の割合を有する）ように導出される。
別の実施形態では、ＭａｘＬｕｍａＰｓ、最大及び最小アスペクト比、またはタイルの列若しくは行、スライス若しくはサブピクチャの数に関する制限は、レイヤ固有であり、レイヤ固有のｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ（すなわち、サブピクチャなしのレイヤについては２５５）を用いるのに対し、以下のようにＣＰＢサイズ、ビットレート及びＭｉｎＣＲに関するレイヤ固有の制限は、（例えばセクション４で上記導出にあるように）ＯＬＳ＿ｆｒａｃｔｉｏｎ［ｋ］に相当するＯＬＳ固有のＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎに基づいて適用される。
変数ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］及びＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］は、以下のように導出される。
ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．５）
ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．６）
Ａ．４．２節に規定するｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］から導出されたＭａｘＣＰＢを使用する。
変数ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］及びＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］は、以下のように導出される。
ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．７）
ＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．８）
注１－サブピクチャが抽出されると、得られるビットストリームは、ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］及びＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］以上のＣｐｂＳｉｚｅ（ＳＰＳに示される、または推定される）とＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］及びＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］以上のＢｉｔＲａｔｅ（ＳＰＳに示される、または推定される）とである。
ｊ番目のサブピクチャに対応するＡＵ０のＮｕｍＢｙｔｅｓＩｎＮａｌＵｎｉｔ変数の和は、ＡＵ０のＳｕｂｐｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹの値に対してＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒ＊（Ｍａｘ（ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］，ｆＲ＊ＭａｘＬｕｍａＳｒ＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）＋ＭａｘＬｕｍａＳｒ＊（ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［０］－ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［０］）＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）÷（２５６＊ＭｉｎＣｒ）以下でなければならない。ここで、ＭａｘＬｕｍａＳｒとＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒは、それぞれ表Ａ．２と表Ａ．３に示す値であり、ＡＵ０、レベルｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］に適用され、ＭｉｎＣｒはＡ．４．２（ＶＶＣドラフト）に示されるように導かれる。
ｊ番目のサブピクチャに対応するＡＵｎ（ｎは０より大きい）のＮｕｍＢｙｔｅｓＩｎＮａｌＵｎｉｔ変数の和がＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒ＊ＭａｘＬｕｍａＳｒ＊（ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］－ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ－１］）＊ＯＬＳＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷（２５６＊ＭｉｎＣｒ）以下でなければならない。ここで、ＭａｘＬｕｍａＳｒとＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒは、それぞれ表Ａ．２と表Ａ．３に示す値であり、ＡＵｎのレベルｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］に適用され、ＭｉｎＣｒはＡ．４．２（ＶＶＣドラフト）に示すように導出する。
第５の態様によるエンコーダ４０、エクストラクタ１０、及びマルチレイヤビデオデータストリーム１４の実施形態を以下に説明する。
第５の態様によれば、マルチレイヤビデオデータストリームは複数のレイヤを含む。マルチレイヤビデオデータストリーム１４は、例えば、エンコーダ４０によって、１つ以上の第１のレイヤ、例えば、レイヤＬ１に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ、例えば、レイヤＬ１に関して細分されないようにして、ビデオピクチャ２６をマルチレイヤビデオデータストリームのレイヤにエンコードしている。さらに、マルチレイヤビデオデータストリーム１４は、前のセクションで説明したようなＯＬＳなどのレイヤセットの表示を含み、第５の態様によれば、レイヤセットは、少なくとも１つの第１のレイヤ、すなわち、ピクチャが独立してコード化されたサブピクチャに細分されるようにエンコードされているレイヤを含む。第５の態様によれば、マルチレイヤビデオデータストリームには、例えば、セクション４で説明したように、基準デコーダ機能要件情報がその中にエンコードされており、基準デコーダ機能要件情報は、レイヤセットの非縮小バージョンのデコードに関連しており、レイヤセットの各レイヤに対する第１のデコーダ機能要件パラメータと、レイヤセットに対する第２のデコーダ機能要件パラメータとを含む。セクション４で説明したように、非縮小バージョンは、レイヤセットにエンコードされた全てのビデオデータ、すなわちレイヤセットの少なくとも１つの第１のレイヤの全てのサブピクチャを含む、レイヤセットにエンコードされたビデオデータストリームのバージョンを参照できる。例えば、第１のデコーダ機能要件パラメータは、レイヤのピクチャが細分されるタイルの数であり得る。例えば、タイルはピクチャの相互に独立したコード化された部分である。例えば、第２のデコーダ機能要件パラメータは、ＡＣＰＢ及び／またはデコードピクチャバッファ（ＤＰＢ）サイズ及び／または最小圧縮比（ｍｉｎＣＲ）などの必須または必要なピクチャバッファサイズを参照し得る。
第５の態様によれば、エンコーダ４０は、少なくとも１つの第１のレイヤのサブピクチャ関連部分が除去されたレイヤセットの１つ以上の縮小バージョンのそれぞれについて、レイヤセットのそれぞれの非縮小バージョン、または縮小バージョンをデコードすることに関連する基準デコーダ機能要求情報をさらに決定するために構成される。レイヤセットの縮小バージョンは、レイヤセットのビデオデータを全ては含まないビデオデータストリーム、例えば、サブピクチャ関連ビデオデータストリーム１２、すなわち、レイヤセットのそれぞれの縮小バージョンを抽出する際に、サブピクチャ関連部分、すなわち図１、２、５に関して説明したサブピクチャの所定のセットに関連しない部分が省略されたビデオデータストリームを指し得る。エンコーダ４０は、レイヤセットの各レイヤに対して第３のデコーダ機能要件パラメータを得るために、第１の割合を用いて第１のデコーダ機能要件パラメータをスケーリングすることによって、さらなる基準デコーダ機能要件情報を決定するように構成される。例えば、第１の割合は、レイヤセット内の各レイヤのピクチャと、そのレイヤセットの縮小バージョン内のピクチャとの間のピクチャサイズの比率に基づいて決定されてもよい。エンコーダ４０は、任意選択で、第１の割合をマルチレイヤビデオデータストリーム１４にエンコードすることができる。したがって、エクストラクタ１０は、任意選択で、マルチレイヤビデオデータストリーム１４から第１の割合を導き出すことができ、あるいは、エンコーダ４０によって実行されるように第１の割合を代替的に決定することができる。
エンコーダ４０は、レイヤセットのそれぞれの縮小バージョンに対する第４のデコーダ機能要件パラメータを得るために、第２の割合を用いて第２のデコーダ機能要件パラメータをスケーリングすることによって、さらなる基準デコーダ機能要件情報を決定するようにさらに構成される。第２の割合は、例えば、第１の割合とは異なっていてもよい。
第２の割合は、割合１３２の割合１３４など、セクション４への比率コード化に基づいて決定され得る。エンコーダ４０は、任意選択で、第２の割合をマルチレイヤビデオデータストリーム１４にエンコードすることができる。したがって、エクストラクタ１０は、任意選択で、マルチレイヤビデオデータストリーム１４から第２の割合を導出することができ、またはエンコーダ４０によって実行されるのと同様の第２の割合を決定することができる。
エンコーダ１０は、マルチレイヤビデオデータストリーム１４の少なくとも１つの第１のレイヤのサブピクチャ関連部分を除去し、第３のデコーダ機能要件パラメータ及び第４のデコーダ機能要件パラメータを、サブピクチャ別ビデオデータストリーム１２に提供することによって、マルチレイヤビデオデータストリーム１４に基づいて、サブピクチャ別ビデオデータストリーム１２を形成する。あるいは、エンコーダ１０は、少なくとも１つの第１のレイヤのサブピクチャ関連部分を除去し、デコーダによるレイヤのレイヤセットの所定の非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報の決定のための第１の割合及び第２の割合を、サブピクチャ別ビデオデータストリーム１２に提供することによって、マルチレイヤビデオデータストリーム１４に基づいて、サブピクチャ別ビデオデータストリーム１２を形成してもよい。
６．図１０によるエンコーダ４０及びデコーダ１１０
図１０は、第１のエンコーダ４０１及び第２のエンコーダ４０２を示し、これらのそれぞれは、図１及びセクション１～５に関して説明したエンコーダ４０に任意選択的に対応することができる。エンコーダ４０１はビデオデータストリーム１２１をコード化するように構成され、エンコーダ４０２はビデオデータストリーム１２２をコード化するように構成される。ビデオデータストリーム１２１、１２２は、任意選択であるが、必ずしも複数のレイヤを含む必要はない。換言すれば、図１０によるビデオデータストリーム１２１、１２２は、任意選択として、ビデオデータストリーム１４などのマルチレイヤビデオデータストリームであってもよいが、例では、単一レイヤを１つだけ含み得る。それとは別に、図１０によるビデオデータストリーム１２１、１２２は、任意選択として、前のセクションで説明したビデオデータストリーム１４に対応することができる。
エンコーダ４０１は、ピクチャ２６１をビデオデータストリーム１２１にエンコードするように構成される。エンコーダ４０２は、ピクチャ２６２をビデオデータストリーム１２２にエンコードするように構成される。ピクチャ２６１及びピクチャ２６２は、任意選択として、１つ以上の独立してコード化されたサブピクチャ２８によって、それぞれのビデオストリーム１２１、１２２にエンコードされ得る。エンコーダ４０１、４０２は、それぞれのビデオデータストリーム１２１、１２２に、ピクチャ２６１、２６２が１つ以上の独立してコード化されたサブピクチャによって、それぞれのビデオデータストリームにエンコードされているかどうかを示す表示８０をエンコードするように構成される。表示８０は、１つ以上の独立してコード化されたサブピクチャ２８と、１つ以上の独立してコード化されたサブピクチャの周囲との間のコード化の独立性の異なるタイプを識別するものである。例えば、１つ以上の独立してコード化されたサブピクチャの周囲は、それぞれのサブピクチャの周囲のピクチャ領域を指し得る。
例えば、表示８０は、ｍ＞１のｍ配列シンタックス要素であってもよいし、そのような独立してコード化されたサブピクチャが存在するかどうかを示すように２以上のシンタックス要素を含んでもよく、もしそうなら、デコードの独立性のタイプを明らかにするさらなるシンタックス要素であってもよい。
図１０は、ビデオデータストリーム１２１及びビデオデータストリーム１２２などの１つ以上の入力ビデオデータストリーム１２に基づいてビデオデータストリーム２０を提供するための装置１００をさらに示す図である。例えば、装置１００は、ビデオデータストリーム２０を決定するために、ビデオデータストリーム１２１、１２２を混合することができる。したがって、装置１００は、ミキサ１００と呼ばれることがある。任意選択で、装置１００は、ビデオデータストリーム１２１及び／またはビデオデータストリーム１２２などの１つ以上の入力ビデオデータストリームからビデオデータストリーム２０を抽出するようにさらに構成されてもよい。例えば、ミキサ１００は、その入力ビデオデータストリームの１つ以上のそれぞれから、ビデオデータの一部または全部を抽出し、その入力ビデオデータストリームの異なるものから抽出されたビデオデータを、ビデオデータストリーム２０に提供してもよい。例えば、図１０に示されるように、装置１００は、ビデオデータストリーム１２１、１２２のそれぞれから、サブピクチャのうちの１つ以上を抽出し、次いで、ビデオデータストリーム２０を得るために、同じ提示時間に関連付けられたサブピクチャのうちの１つ以上と結合することができる。
図１０は、さらに、任意選択で前のセクションに関して説明したようなデコーダ５０に対応し得るデコーダ１１０を示す。デコーダ１１０は、表示８０において、ビデオデータストリーム２０からデコードするように構成される。
例では、エンコーダ４０１、４０２、及びデコーダ１１０は、表示８０が示す異なるタイプのコード化の独立性のいずれとも無関係に、ビデオデータストリームにエンコードされたピクチャが１つ以上の独立してコード化されるサブピクチャの方式でエンコードされていることを示す表示８０に応答して（例えば、そうでない場合のみ実行する、またはそうでない場合は実行しない）、以下の動作のうちの１つ以上を実行し得る。
－ ビデオデータストリームの各ビットストリームパケットから、１つ以上の独立してコード化されたサブピクチャのいずれがそれぞれのビットストリームパケットにエンコードされているかを示すサブピクチャ識別子を読み出すこと、及び／または
－ ループ内フィルタリングがサブピクチャの境界を越えるのを防止すること、及び／または
－ ピクチャのブロックのブロックアドレスからピクチャ位置を導出することであって、このブロックアドレスは、１つ以上の独立してコード化されたサブピクチャのいずれが所定のビットストリームパケットにエンコードされるかに依存して、ビデオデータストリームの所定のビットストリーム部分にコード化される、導出すること（及び、例えば、それ以外では、必然的にその左上隅のような所定のピクチャ位置を参照することにより、ブロックアドレスからそのようなピクチャ位置を導出すること）、及び／または
－ ビデオデータストリームの１つのアクセスユニットに発生する異なるＮＡＬユニットタイプを許容すること。例えば図１０のミキサ１００は、混合データストリーム９０において、あるサブピクチャ２８が１つのＮＡＬユニットタイプを有し、同じピクチャ内の別のサブピクチャ２８が別のＮＡＬユニットタイプを使用してコード化されるように、ビットストリーム１２１，２を混合することが許容されている。ＮＡＬユニットタイプはビットストリームパケット１６にコード化され、ストリーム９０のパケット１６′になったときにも修正されずにそこに残る。デコーダ１１０は、デコードされた（混合された）ピクチャ２６′のサブピクチャ２８に使用されるコード化の独立性が何のタイプであれ、それを使用してピクチャが完全にコード化されるので、競合を見出さない。及び／また
－ エンコーダ側で、１つ以上の独立してコード化されたサブピクチャのそれぞれについて、デコーダ機能要件情報を導出すること。
例えば、ピクチャのサブピクチャ間のコード化の独立性の異なるタイプは、
－ エンコーダ制約型エンコードタイプであって、デコーダが、独立してコード化されたサブピクチャに関して、表示によって、エンコーダ制約型エンコードタイプが指示された場合、独立してコード化されたサブピクチャの境界における独立性処理を行わないように構成される、エンコーダ制約型エンコードタイプと、
－ デコーダ認識型エンコードタイプであって、デコーダが、独立してコード化されたサブピクチャに関して、表示によって、デコーダ認識型エンコードタイプが指示された場合、ベクトルベース予測のためのベクトルクリッピング及び／または独立してコード化されたサブピクチャの境界における境界パディングによって、独立してコード化されたサブピクチャの境界における独立性処理を行なうように構成される、デコーダ認識型エンコードタイプと、を含む。
言い換えると、第６の態様による実施形態は、サブピクチャまたはＭＣＴＳの混合を可能にすることができる。
現在のＶＶＣドラフト仕様には、サブピクチャへの分割を有効にして、抽出及びマージ機能を有効にするための多数の対策が含まれている。例えば、
・スライスヘッダでのサブピクチャ識別子のキャリッジ、または
・サブピクチャ識別子に依存するブロックアドレス指定スキーム、または
・個々のサブピクチャの適合情報、または
・ピクチャ内のＮＡＬユニットタイプの混合（例えばＩＲＡＰとＴＲＡＩＬ）。
ただし、これら全ての測定は、サブピクチャの境界処理特性に依存する。つまり、サブピクチャの境界の外側では、ピクチャの境界と同じ方法でサンプル値とシンタックス予測が外挿され、すなわち、デコーダ側の特別な境界パディング処理に依存している。これにより、サブピクチャの独立したコード化と、その後の抽出及びマージとが可能になっている。この特性はまた、抽出及びマージ機能の上記の全ての手段を有効にするためにも使用される。図１１は、そのようなデコーダ側で処理されたサブピクチャをビットストリームの最初の２つのアクセスユニットにのみ使用するビットストリームを示す。すなわち、図６は、独立してコード化されたサブピクチャにおいて、デコーダ側境界処理とエンコーダ側境界処理とを混在させたビットストリームの例を示す。
しかしながら、そのような矩形領域の独立したコード化、すなわちコード化時に従う動きの制約、言い換えれば、エンコーダ側の境界処理については、さらなる方法が存在する。エンコーダは、各サブピクチャの円周の外側を指さないようにすることで、抽出またはマージ後に再構築エラーにつながる参照を簡単に回避できる。最先端のシグナリングに基づいて、エンコーダは、図１１の２番目のＩＲＡＰ以降、デコーダ側の境界処理が発生しないため、Ｌ１の右側サブピクチャは独立してコード化されていないことを示す必要があり、したがって、上記の抽出及びマージ機能に関するいくつかの対策を効率的に使用することができる。最も重要なことは、適合情報がデコーダ側の境界処理に関連付けられていることである。しかしながら、独立したコード化のための他の手段の単なる表示が、エンコーダを有効にし、ネットワークデバイスまたはデコーダが上記の手段を促進することを可能にするべきである。
図１２に示すように、隣接するサブピクチャ間で異なるタイプの独立したコード化で混合するビットストリームは、必ずしも複数のレイヤを含む必要はないことに注意することが重要である。図１２は、サブピクチャ独立性のタイプの単一レイヤ混合の例を示す。
したがって、特定のサブピクチャの制約されたエンコードによって領域が独立してコード化されることをビットストリームに示すことによって、境界パディングがないにもかかわらず、独立領域コード化のための全ての既述の方策（アドレス方式、適合情報）が使用できることをデコーダが認識できるようにすることは、本態様の一部である。本態様の一実施形態では、デコーダ側パディング手順の指示に使用されるフラグ（１に等しいｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）は、新しい状態（２に等しい）が、ｉ番目のサブピクチャがエンコーダ側境界処理制約によって独立してコード化されることを示すｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［ｉ］へと変更される。
以下に例を示す。
Figure 2023526460000003
 ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［ｉ］が１２に等しい場合、ＣＬＶＳの各コード化ピクチャのｉ番目のサブピクチャを、ループ内フィルタリング動作を除くデコード処理においてピクチャとして扱うことを規定する。ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［ｉ］が０または１に等しい場合、ＣＬＶＳの各コード化ピクチャのｉ番目のサブピクチャを、ループ内フィルタリング動作を除くデコード処理においてピクチャとして扱わないことを規定する。存在しない場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［ｉ］の値は１２に等しいと推定される。ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［ｉ］の値３は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣで将来使用するために予約されている。
そして、サブピクチャがエンコーダ側の制約またはデコーダ側の境界処理でない限り、異なるタイプのＮＡＬユニットを混在させることはできないという制約が実行される。
ピクチャ内の任意の２つのサブピクチャのＮＡＬユニットタイプが異なる場合、少なくとも１つのＰスライスまたはＢスライスを含むピクチャ内の全てのサブピクチャについて、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｍｏｄｅ［］の値は０に等しくならないものとする。
図１３は、エンコーダ側の制約とデコーダ側の境界処理とに依存しないサブピクチャによって、ＮＡＬユニットの混在が許容される例と禁止される例とを示す。
７．さらなる実施形態
前のセクション０～６では、いくつかの態様を装置の文脈における特徴として説明したが、そのような説明はまた、方法の対応する特徴の説明とみなすこともできることは明らかである。いくつかの態様を方法の文脈における特徴として説明したが、そのような説明はまた、装置の機能に関する対応する特徴の説明とみなすこともできることは明らかである。
方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置によって（またはそれを使用して）実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上は、そのような装置によって実行され得る。
発明のエンコード画像信号は、デジタル記憶媒体に記憶されてもよく、またはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体上で伝送されてもよい。
ある特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアまたは少なくとも部分的にハードウェアまたは少なくとも部分的にソフトウェアに実装され得る。この実装は、電子的に可読な制御信号を有する、フロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨ（登録商標）メモリなどのデジタル記憶媒体を使用して実行され得、これらの制御信号は、その上に格納され得、プログラム可能なコンピュータシステムと協働する（または協働することができる）ことで、それぞれの方法が実行される。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明による、いくつかの実施形態は、電子的に可読な制御信号を有するデータキャリアを含み、これらの制御信号がプログラム可能なコンピュータシステムと協働することができることで、本明細書に記載の方法のうちの１つが実行される。
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに格納され得る。
他の実施形態は、本明細書に記載の方法のうちの１つを実行し、機械可読キャリアに格納される、コンピュータプログラムを含む。
換言すれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行するときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法のさらなる実施形態は、したがって、データキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）であり、このデータキャリアは、その上に記録される、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形及び／または非一時的である。
本発明の方法のさらなる実施形態は、したがって、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表す、データストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、インターネットを介してなど、データ通信接続を介して転送されるように構成され得る。
さらなる実施形態は、例えば、本明細書に記載の方法のうちの１つを実行するように構成される、または適合されるコンピュータ、またはプログラマブルロジックデバイスなどの処理手段を含む。
さらなる実施形態は、コンピュータを含み、その上には、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされている。
本発明による、さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信器に転送する（例えば、電子的に、または光学的に）ように構成される、装置またはシステムを含む。受信器は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを含み得る。
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）は、本明細書に記載の方法の機能の一部またはすべてを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。概して、方法は、いずれかのハードウェア装置によって好ましくは実行される。
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実装され得る。
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置及びコンピュータの組み合わせを使用して実行され得る。
上述した詳細な説明では、開示を合理化する目的により様々な特徴が例にグループ化されていることがわかる。開示の本方法は、特許請求の範囲に記載された例がそれぞれの請求項に明示的に述べられるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、主題は、単一の開示された例の全てよりも少ない特徴にあり得る。したがって、以下の特許請求の範囲は、本明細書によって詳細な説明内に組み込まれ、それぞれの請求項は、別個の例として独立することができる。各請求項は個別の例として独立し得ると同時に、従属請求項は請求項において１つ以上の他の請求項との特定の組み合わせに言及している場合があるが、他の例には、従属請求項と他の各従属請求項の主題との組み合わせ、または各特徴と他の従属または独立請求項との組み合わせも含まれる得ることに留意されたい。そのような組み合わせは、特定の組み合わせが意図されていないと述べられていない限り、本明細書で提案される。さらに、請求項が独立請求項に直接従属していなくても、他の独立請求項に対する請求項の特徴も含むことを意図している。
上記の実施形態は、本開示の原理の例示に過ぎない。本明細書に記載の構成及び詳細の修正形態及び変形形態が当業者には明らかであろうことが理解される。したがって、本明細書の実施形態の記述及び説明として提示された具体的な詳細によってではなく、係属中の特許請求の範囲によってのみ限定されることが意図される。

Claims (68)

  1. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリームのレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出する装置（１０）であって、前記装置が、
    前記マルチレイヤビデオデータストリーム（１４）のレイヤセット（ＯＬＳ）からの各レイヤについて、
    ビデオのピクチャ（２６１、２６２）が、それぞれの前記レイヤに相互に独立してエンコードされる２つ以上のサブピクチャ（２８）に細分されることによって、前記ビデオ（２４）の各ピクチャ（２６１、２６２）について、それぞれのピクチャの前記サブピクチャ（２８）が、それぞれのレイヤの相互に異なるビットストリーム部分（１６）にエンコードされるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうか、またはサブピクチャに細分されないように前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかをチェックして、
    サブピクチャに細分されないように前記それぞれのレイヤに前記ビデオがエンコードされている場合、
    前記それぞれのレイヤに属する前記ビットストリーム部分（１６）を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、前記それぞれのレイヤの前記ビデオ（２４）が完全にエンコードされているようにすることと、
    前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記ビットストリーム部分（１６）から、それぞれのビットストリーム部分に前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、
    前記それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、前記それぞれのレイヤの前記それぞれのビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、を行うように構成されている、前記装置。
  2. 前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記それぞれのレイヤに属するが、前記１つ以上のサブピクチャの所定のセットに属さないサブピクチャがエンコードされている各ビットストリーム部分をドロップするように構成される、請求項１に記載の装置。
  3. 前記レイヤセットは、前記マルチレイヤビデオデータストリーム（１４）のレイヤのサブセットであり、前記レイヤセットは、マルチレイヤデータストリーム内の出力レイヤセット（ＯＬＳ）表示（１８）で示される、請求項１または請求項２に記載の装置。
  4. 前記マルチレイヤビデオデータストリーム（１４）は、複数のレイヤセットのためのＯＬＳ表示を含み、
    前記装置は、ＡＰＩを介して受信した表示に基づいて、前記複数のレイヤセットから前記レイヤセットを決定するように構成される、請求項１～３のいずれかに記載の装置。
  5. 前記ビデオのピクチャ（２６）が、前記それぞれのレイヤにコード化されたサブ部分の数を明らかにするシンタックス要素に基づいて、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかのチェックを実行するように構成される、請求項１～４のいずれかに記載の装置。
  6. 前記それぞれのビットストリーム部分に、前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする前記情報は、サブピクチャ識別子によって、前記それぞれのビットストリーム部分の記述データ、例えばスライスヘッダに示される、請求項１～５のいずれかに記載の装置。
  7. 前記１つ以上のサブピクチャの所定のセットの表示をＡＰＩを介して受信するように構成される、請求項１～６のいずれかに記載の装置。
  8. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）であって、
    前記マルチレイヤビデオデータストリーム（１４）のレイヤセット（ＯＬＳ）を示すＯＬＳ表示（１８）と、
    前記マルチレイヤビデオデータストリーム（１４）から抽出可能なサブピクチャ別ビデオデータストリーム（１２）に関するデコーダ機能要件情報（６０）であって、
    ビデオのピクチャ（２６）が、それぞれの前記レイヤに相互に独立してエンコードされる２つ以上のサブピクチャ（２８）に細分されることによって、前記ビデオ（２４）の各ピクチャ（２６）について、それぞれのピクチャの前記サブピクチャ（２８）が、それぞれのレイヤの相互に異なるビットストリーム部分（１６）にエンコードされるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうか、またはサブピクチャに細分されないように前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかをチェックして、
    サブピクチャに細分されないように前記それぞれのレイヤに前記ビデオがエンコードされている場合、
    前記それぞれのレイヤに属する前記ビットストリーム部分（１６）を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、前記それぞれのレイヤの前記ビデオ（２４）が完全にエンコードされているようにすることと、
    前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記ビットストリーム部分（１６）から、それぞれのビットストリーム部分に前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、
    前記それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、前記それぞれのレイヤの前記それぞれのビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、を行うことによって、前記サブピクチャ別ビデオデータストリーム（１２）が前記マルチレイヤビデオデータストリーム（１４）から抽出可能である、前記デコーダ機能要件情報（６０）とを含む、前記マルチレイヤビデオデータストリーム。
  9. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）を形成するためのエンコーダ（４０）であって、
    前記マルチレイヤビデオデータストリーム（１４）に、前記マルチレイヤビデオデータストリーム（１４）のレイヤセット（ＯＬＳ）を示すＯＬＳ表示（１８）を提供することと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記マルチレイヤビデオデータストリーム（１４）から抽出可能なサブピクチャ別ビデオデータストリーム（１２）に関するデコーダ機能要件情報（６０）を提供することであって、
    ビデオのピクチャ（２６）が、それぞれの前記レイヤに相互に独立してエンコードされる２つ以上のサブピクチャ（２８）に細分されることによって、前記ビデオ（２４）の各ピクチャ（２６）について、それぞれのピクチャの前記サブピクチャ（２８）が、それぞれのレイヤの相互に異なるビットストリーム部分（１６）にエンコードされるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうか、またはサブピクチャに細分されないように前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかをチェックして、
    サブピクチャに細分されないように前記それぞれのレイヤに前記ビデオがエンコードされている場合、
    前記それぞれのレイヤに属する前記ビットストリーム部分（１６）を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、前記それぞれのレイヤの前記ビデオ（２４）が完全にエンコードされているようにすることと、
    前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記ビットストリーム部分（１６）から、それぞれのビットストリーム部分に前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、
    前記それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、前記それぞれのレイヤの前記それぞれのビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、を行うことによって、前記サブピクチャ別ビデオデータストリーム（１２）が前記マルチレイヤビデオデータストリーム（１４）から抽出可能である、前記デコーダ機能要件情報（６０）を提供することとを含む、前記エンコーダ。
  10. ビットストリーム部分（１６）（例えばＮＡＬユニット）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤの１つに属する、前記マルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出する装置（１０）であって、前記マルチレイヤビデオデータストリーム（１４）が、
    第１のレイヤの前記ビットストリーム部分（１６）に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、前記第１のビデオのそれぞれのピクチャのサブピクチャが、前記第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャ（２８）に、前記第１のビデオのピクチャ（２６１）が細分されるように、前記ビットストリーム部分に前記第１のビデオ（２４１）がエンコードされている、前記第１のレイヤ（Ｌ１）と、
    ビットストリーム部分に第２のビデオ（２４０）がエンコードされている、第２のレイヤ（Ｌ０）とを含み、
    前記第１のレイヤのビットストリーム部分には、前記第１のビデオが、
    基準ピクチャ（２６０）からのベクトルベース予測を使用して、
    前記第２のビデオ（２４０）のピクチャ（２６０）を前記基準ピクチャとして含むようにして、
    前記第１のレイヤのビットストリーム部分がエンコードされるベクトル（７０）を使用して、前記第１のレイヤのビットストリーム部分によって構成されるベクトル（７０）が、ベクトルベース予測での使用のために、前記第１のビデオの前記ピクチャ及び前記基準ピクチャに対して、それぞれ前記マルチレイヤビデオデータストリーム（１４）でシグナリングされたスケーリングウィンドウ（７２）のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされており、
    前記装置は、
    前記第２のレイヤ（Ｌ０）に属する前記ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、それぞれのレイヤ（Ｌ０）の前記ビデオが完全にエンコードされているようにすることと、
    前記第１のレイヤ（Ｌ１）に属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、
    前記第２のビデオの前記ピクチャに対する前記スケーリングウィンドウ（７２０′）の空間領域が、前記１つ以上のサブピクチャの所定のセットに対する前記スケーリングウィンドウ（７２１′）の空間領域に空間的に対応するように、前記サブピクチャ別ビデオデータストリーム（１２）における前記第１のレイヤ及び／または前記第２のレイヤにスケーリングウィンドウシグナル伝達（７４）を適応させることと、を行うように構成される、前記装置。
  11. 前記第１のレイヤの前記スケーリングウィンドウ（７２１’）が位置及びサイズにおいて前記第２のレイヤの前記スケーリングウィンドウ（７２０’）に対応するように、前記第１のレイヤの前記スケーリングウィンドウシグナル伝達を適応させるように構成される、請求項１０に記載の装置。
  12. 前記第１のレイヤに属するが、前記１つ以上のサブピクチャの所定のセットに属さないサブピクチャがエンコードされている各ビットストリーム部分をドロップするように構成される、請求項１０～１１のいずれかに記載の装置。
  13. 前記１つ以上のサブピクチャの所定のセットの表示をＡＰＩを介して受信するように構成される、請求項１０～１２のいずれかに記載の装置。
  14. 前記ベクトルベース予測は、動きベクトルベース予測フレームワークに含まれる、請求項１０～１３のいずれかに記載の装置。
  15. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）であって、前記マルチレイヤビデオデータストリーム（１４）が、
    第１のレイヤの前記ビットストリーム部分（１６）に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、前記第１のビデオのそれぞれのピクチャのサブピクチャが、前記第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャ（２８）に、前記第１のビデオのピクチャが細分されるように、前記ビットストリーム部分に前記第１のビデオ（２４１）がエンコードされている、前記第１のレイヤ（Ｌ１）と、
    ビットストリーム部分に第２のビデオ（２４０）がエンコードされている、第２のレイヤ（Ｌ０）とを含み、
    前記第１のレイヤのビットストリーム部分には、前記第１のビデオ（２４１）が、
    基準ピクチャ（２６０）からのベクトルベース予測を使用して、
    前記第２のビデオのピクチャ（２６０）を前記基準ピクチャとして含むようにして、
    前記第１のレイヤのビットストリーム部分がエンコードされるベクトル（７０）を使用して、前記第１のレイヤのビットストリーム部分によって構成されるベクトル（７０）が、ベクトルベース予測での使用のために、前記第１のビデオの前記ピクチャ及び前記基準ピクチャに対して、それぞれ前記マルチレイヤビデオデータストリーム（１４）でシグナリングされたスケーリングウィンドウ（７２）のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされており、
    サブピクチャ別ビデオデータストリーム（１２）が、
    前記第２のレイヤに属する前記ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、それぞれのレイヤの前記ビデオが完全にエンコードされているようにすることと、
    前記第１のレイヤに属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、
    前記第２のビデオの前記ピクチャに対する前記スケーリングウィンドウ（７２０’）の空間領域が、前記１つ以上のサブピクチャの所定のセットに対する前記スケーリングウィンドウ（７２１’）の空間領域に空間的に対応するように、前記サブピクチャ別ビデオデータストリーム（１２）における前記第１のレイヤ及び／または前記第２のレイヤにスケーリングウィンドウシグナル伝達（７４）を適応させることとによって、前記マルチレイヤビデオデータストリーム（１４）から抽出可能である、前記マルチレイヤビデオデータストリーム。
  16. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）を形成するためのエンコーダ（４０）であって、前記マルチレイヤビデオデータストリーム（１４）が、
    第１のレイヤの前記ビットストリーム部分（１６）に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、前記第１のビデオのそれぞれのピクチャのサブピクチャが、前記第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャ（２８）に、前記第１のビデオのピクチャが細分されるように、前記ビットストリーム部分に前記第１のビデオがエンコードされている、前記第１のレイヤと、
    ビットストリーム部分に第２のビデオがエンコードされている、第２のレイヤとを含み、
    前記第１のレイヤのビットストリーム部分には、前記第１のビデオが、
    基準ピクチャからのベクトルベース予測を使用して、
    前記第２のビデオのピクチャを前記基準ピクチャとして含むようにして、
    前記第１のレイヤのビットストリーム部分がエンコードされるベクトル（７０）を使用して、前記第１のレイヤのビットストリーム部分によって構成されるベクトル（７０）が、ベクトルベース予測での使用のために、前記第１のビデオの前記ピクチャ及び前記基準ピクチャに対して、それぞれ前記マルチレイヤビデオデータストリーム（１４）でシグナリングされたスケーリングウィンドウ（７２）のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされており、
    前記エンコーダは、サブピクチャ別ビデオデータストリーム（１２）が、
    前記第２のレイヤに属する前記ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、それぞれのレイヤの前記ビデオが完全にエンコードされているようにすることと、
    前記第１のレイヤに属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、
    前記第２のビデオの前記ピクチャに対する前記スケーリングウィンドウ（７２０’）の空間領域が、前記１つ以上のサブピクチャの所定のセットに対する前記スケーリングウィンドウ（７２１’）の空間領域に空間的に対応するように、前記サブピクチャ別ビデオデータストリーム（１２）における前記第１のレイヤ及び／または前記第２のレイヤにスケーリングウィンドウシグナル伝達（７４）を適応させることとによって、前記マルチレイヤビデオデータストリーム（１４）から抽出可能であるように、前記マルチレイヤビデオデータストリーム（１４）を形成するように構成される、前記エンコーダ。
  17. ビデオ（２４）をマルチレイヤビデオデータストリーム（１４）にエンコードするためのエンコーダ（４０）であって、前記エンコーダは、サブピクチャ単位の独立コード化をサポートし、
    前記マルチレイヤビデオデータストリーム（１４）の第２のレイヤ（Ｌ０）からの予測のためのレイヤ間予測ツールのセットを使用して、かつ前記サブピクチャ単位の独立コード化のための第１の構成設定を使用して、前記マルチレイヤビデオデータストリーム（１４）の第１のレイヤ（Ｌ１）に、前記ビデオの第１のバージョン（２４１）をエンコードすることと、
    前記サブピクチャ単位の独立コード化のための第２の構成設定を使用して、前記マルチレイヤビデオデータストリーム（１４）の前記第２のレイヤ（Ｌ０）に、前記ビデオの第２のバージョン（２４０）をエンコードすることと、
    前記第１の構成設定及び前記第２の構成設定が所定の関係を有するかどうかをチェックすることと、
    前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有しない場合、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にするか、またはその使用を控えることと、を行うように構成される、前記エンコーダ。
  18. 前記所定の関係は、
    第１のビデオ及び第２のビデオが、それぞれ複数のサブピクチャに細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされる場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、前記第１のビデオ及び前記第２のビデオの間で等しい数のサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされる場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、前記第１のビデオ及び前記第２のビデオの間で等しい数のサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされ、前記サブピクチャの境界が空間的に一致する場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、いくつかのサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされ、前記マルチレイヤビデオデータストリーム（１４）で前記サブピクチャにシグナリングされるサブピクチャＩＤが一致している場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、いくつかのサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされ、前記サブピクチャの境界処理が一致する場合、前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有する関係である、請求項１７に記載のエンコーダ。
  19. 前記１つ以上のレイヤ間予測ツールの所定のサブセットが、
    レイヤ間動きベクトル予測、
    ベクトルベースのレイヤ間予測のオプティカルフロー精緻化、及び／または
    ベクトルベースのレイヤ間予測における動きベクトルラップアラウンド、を含む、請求項１７～１８のいずれかに記載のエンコーダ。
  20. 前記マルチレイヤビデオデータストリーム（１４）に前記第１の構成設定及び前記第２の構成設定をシグナリングするように構成される、請求項１７～１９のいずれかに記載のエンコーダ。
  21. 前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有する場合、前記１つ以上のレイヤ間予測ツールの所定のサブセットを有効化するまたは利用するように構成される、請求項１７～２０のいずれかに記載のエンコーダ。
  22. マルチレイヤビデオデータストリーム（１２、１４）をデコードするためのデコーダ（５０）であって、前記デコーダは、
    前記マルチレイヤビデオデータストリームの第２のレイヤからの予測のためのレイヤ間予測ツールのセットを使用して、かつサブピクチャ単位の独立コード化のための第１の構成設定を使用して、前記マルチレイヤビデオデータストリームの第１のレイヤ（Ｌ１）から、ビデオの第１のバージョン（２４１）をデコードすることと、
    前記サブピクチャ単位の独立コード化のための第２の構成設定を使用して、前記マルチレイヤビデオデータストリームの前記第２のレイヤ（Ｌ０）から、前記ビデオ（２４）の第２のバージョン（２４０）をデコードすることと、
    前記第１の構成設定及び前記第２の構成設定が所定の関係を有するかどうかをチェックすることと、
    前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有する場合、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にすることと、を行うように構成される、前記デコーダ。
  23. サブピクチャ境界でのベクトルクリッピング及び／またはサブピクチャ境界での境界パディングを含む、サブピクチャ単位の独立デコードのために構成される、請求項２２に記載のデコーダ。
  24. 前記所定の関係は、
    第１のビデオ及び第２のビデオが、それぞれ複数のサブピクチャに細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされる場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、前記第１のビデオ及び前記第２のビデオの間で等しい数のサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされる場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、いくつかのサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされ、前記マルチレイヤビデオデータストリームで前記サブピクチャにシグナリングされるサブピクチャＩＤが一致している場合、及び／または
    前記第１のビデオ及び前記第２のビデオが、いくつかのサブピクチャにそれぞれ細分されるようにして、前記第１のレイヤ及び前記第２のレイヤにエンコードされ、前記サブピクチャの境界処理が一致する場合、前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有する関係である、請求項２２または請求項２３に記載のデコーダ。
  25. 前記１つ以上のレイヤ間予測ツールの所定のサブセットが、
    レイヤ間動きベクトル予測、
    ベクトルベースのレイヤ間予測のオプティカルフロー精緻化、及び／または
    ベクトルベースのレイヤ間予測における動きベクトルラップアラウンド、を含む、請求項２２～２４のいずれかに記載のデコーダ。
  26. レイヤのセットを含むマルチレイヤビデオデータストリーム（１４）をエンコードするためのエンコーダ（４０）であって、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤのセットの非縮小バージョンをエンコードすることであって、ビデオバージョンは、レイヤごとに１つ以上の独立してコード化されるサブピクチャの単位で、前記レイヤのセットの前記非縮小バージョンにエンコードされる、エンコードすることと、
    前記レイヤのセットの前記非縮小バージョンのデコードに関連する基準デコーダ機能要件を、前記マルチレイヤビデオデータストリーム（１４）にエンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤのセットの各レイヤについて、前記レイヤのセットの前記非縮小バージョンのそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する情報（２２）と、前記それぞれのレイヤの前記１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズとをエンコードすることと、
    少なくとも１つのレイヤのサブピクチャ関連部分が除去された前記レイヤのセットの１つ以上の縮小バージョンのそれぞれについて、前記レイヤのセットのそれぞれの縮小バージョンのデコードに関連するデコーダ機能要件（６０）を、前記レイヤのセットの前記それぞれの縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を用いて決定される係数によって前記基準デコーダ機能要件をスケーリングすることによって、決定することと、を行うように構成される、前記エンコーダ。
  27. レイヤのセットを含むマルチレイヤビデオデータストリーム（１４）からサブピクチャ別ビデオデータストリーム（１２）を抽出するための装置（４０）であって、前記マルチレイヤビデオデータストリーム（１４）には、前記レイヤのセットの非縮小バージョンがエンコードされ、ビデオバージョンは、レイヤごとに１つ以上の独立してコード化されるサブピクチャの単位で、前記レイヤのセットの前記非縮小バージョンにエンコードされ、前記装置は、
    前記レイヤのセットの前記非縮小バージョンのデコードに関連する基準デコーダ機能要件を、前記マルチレイヤビデオデータストリーム（１４）から導出することと、
    前記マルチレイヤビデオデータストリーム（１４）から、前記レイヤのセットの各レイヤについて、前記レイヤのセットの前記非縮小バージョンのそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する情報（２２）と、前記それぞれのレイヤの前記１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズとを導出することと、
    少なくとも１つのレイヤのサブピクチャ関連部分が除去された前記レイヤのセットの所定の縮小バージョンについて、前記レイヤのセットの前記所定の縮小バージョンのデコードに関連するデコーダ機能要件（６０）を、前記レイヤのセットの前記所定の縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を用いて決定される係数によって前記基準デコーダ機能要件をスケーリングすることによって、決定することと、を行うように構成される、前記装置。
  28. 複数のレイヤ（Ｌ０、Ｌ１）を含むマルチレイヤビデオデータストリーム（１４）をエンコードするためのエンコーダ（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャ（２６）をエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれ、少なくとも１つの第２のレイヤが前記レイヤセットに含まれるような前記レイヤのレイヤセットの表示（１８）を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記レイヤのレイヤセットをデコードするのに十分な複数の基準デコーダ機能要件（１３０）のそれぞれについて、前記少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合（１３４）と、前記少なくとも１つの第２のレイヤに帰属する前記それぞれの基準デコーダ機能要件の第２の割合（１３２）とに関する情報を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、を行うように構成される、前記エンコーダ。
  29. 一方では前記マルチレイヤビデオデータストリーム（１４）に前記第１の割合を書き込み、他方（１３６）では前記第２の割合を１マイナス前記第１の割合で割ったものを書き込むことにより、前記第１の割合及び前記第２の割合に関する情報をエンコードするように構成される、請求項２８に記載のエンコーダ。
  30. 前記複数の基準デコーダ機能要件のうちの１つ以上に関する情報を前記マルチレイヤビデオデータストリーム（１４）にエンコードするように構成される、請求項２８～２９のいずれかに記載のエンコーダ。
  31. 前記複数の基準デコーダ機能要件の少なくとも１つについて、前記第１の割合及び前記第２の割合が、前記マルチレイヤビデオデータストリーム（１４）の縮小バージョンに関連し、前記第１の割合が、前記縮小バージョンに存在する１つ以上の独立してコード化されたサブピクチャのそれぞれに対して、前記マルチレイヤビデオデータストリーム（１４）から導出可能であるように、情報をエンコードするように構成される、請求項２８～３０のいずれかに記載のエンコーダ。
  32. 前記複数の基準デコーダ機能要件の少なくともさらなる１つについて、前記第１の割合及び前記第２の割合が、前記マルチレイヤビデオデータストリーム（１４）の非縮小バージョンに関連し、前記第１の割合が、前記少なくとも１つの第１のレイヤの前記独立してコード化されたサブピクチャのそれぞれに対して、前記マルチレイヤビデオデータストリーム（１４）から導出可能であるように、情報をエンコードするように構成される、請求項２８～３１のいずれかに記載のエンコーダ。
  33. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）を処理するための装置（１０、１００）であって、１つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）の前記レイヤに、ビデオピクチャがエンコードされており、
    少なくとも１つの第１のレイヤがレイヤセットに含まれ、少なくとも１つの第２のレイヤが前記レイヤセットに含まれるような前記レイヤのレイヤセットの表示（１８）を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、
    前記レイヤのセットをデコードするのに十分な複数の基準デコーダ機能要件のそれぞれについて、前記少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合と、前記少なくとも１つの第２のレイヤに帰属する前記それぞれの基準デコーダ機能要件の第２の割合とに関する情報を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、を行うように構成される、前記装置。
  34. 一方では前記マルチレイヤビデオデータストリーム（１４）から前記第１の割合を読み出し、他方では前記第２の割合を１マイナス前記第１の割合で割ったものを読み出すことにより、前記第１の割合及び前記第２の割合に関する情報をデコードするように構成される、請求項３３に記載の装置。
  35. 前記マルチレイヤビデオデータストリーム（１４）から前記第１の割合及びさらなる割合を読み出すことにより、前記第１の割合及び前記第２の割合に関する情報をデコードすることと、１から前記第１の割合を引いた差を前記さらなる割合に掛けることによって前記第２の割合を導出することと、を行うように構成される、請求項３３～３４のいずれかに記載の装置。
  36. 前記第１の割合及び前記第２の割合を合計して、前記レイヤセットの実際のデコーダ機能要件を取得するように構成される、請求項３３～３５のいずれかに記載の装置。
  37. 前記複数の基準デコーダ機能要件のうちの１つ以上に関する情報を前記マルチレイヤビデオデータストリーム（１４）からデコードするように構成される、請求項３３～３６のいずれかに記載の装置。
  38. 前記複数の基準デコーダ機能要件の少なくとも１つについて、前記第１の割合及び前記第２の割合が、前記マルチレイヤビデオデータストリーム（１４）の縮小バージョンに関連し、前記第１の割合が、前記縮小バージョンに存在する１つ以上の独立してコード化されたサブピクチャのそれぞれに対して、前記マルチレイヤビデオデータストリーム（１４）から導出可能であるように、情報をデコードするように構成される、請求項３３～３７のいずれかに記載の装置。
  39. 前記複数の基準デコーダ機能要件の少なくともさらなる１つについて、前記第１の割合及び前記第２の割合が、前記マルチレイヤビデオデータストリーム（１４）の非縮小バージョンに関連し、前記第１の割合が、前記少なくとも１つの第１のレイヤの前記独立してコード化されたサブピクチャのそれぞれに対して、前記マルチレイヤビデオデータストリーム（１４）から導出可能であるように、情報をデコードするように構成される、請求項３３～３８のいずれかに記載の装置。
  40. 前記情報を使用して、前記マルチレイヤビデオデータストリーム（１４）またはその縮小バージョンを別のビデオデータストリームと混合することに基づいて、さらなるデータストリームを形成することを決定するように構成される、請求項３３～３９のいずれかに記載の装置。
  41. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）をエンコードするためのエンコーダ（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャをエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤセットの各レイヤに対する第１のデコーダ機能要件パラメータと、前記レイヤセットに対する第２のデコーダ機能要件パラメータとを含む、前記レイヤのレイヤセットの非縮小バージョンのデコードに関連する基準デコーダ機能要件情報をエンコードすることと、
    少なくとも１つの第１のレイヤのサブピクチャ関連部分が除去された前記レイヤのレイヤセットの１つ以上の縮小バージョンのそれぞれについて、前記レイヤのレイヤセットのそれぞれの非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報を、
    第１の割合を用いて前記第１のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの各レイヤの第３のデコーダ機能要件パラメータを取得することと、
    第２の割合を用いて前記第２のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットのそれぞれの縮小バージョンに対する第４のデコーダ機能要件パラメータを取得することと、によって決定することと、を行うように構成される、前記エンコーダ。
  42. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出するための装置（１０）であって、１つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）の前記レイヤに、ビデオピクチャがエンコードされており、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）から、前記レイヤセットの各レイヤに対する第１のデコーダ機能要件パラメータと、前記レイヤセットに対する第２のデコーダ機能要件パラメータとを含む、前記レイヤのレイヤセットの非縮小バージョンのデコードに関連する基準デコーダ機能要件情報をデコードすることと、
    少なくとも１つの第１のレイヤのサブピクチャ関連部分が除去される前記レイヤのレイヤセットの所定の縮小バージョンについて、前記レイヤのレイヤセットの前記所定の非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報を、
    第１の割合を用いて前記第１のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの各レイヤの第３のデコーダ機能要件パラメータを取得することと、
    第２の割合を用いて前記第２のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの前記所定の縮小バージョンに対する第４のデコーダ機能要件パラメータを取得することと、によって決定することと、
    少なくとも１つの第１のレイヤの前記サブピクチャ関連部分を除去し、前記第３のデコーダ機能要件パラメータ及び前記第４のデコーダ機能要件パラメータを、前記サブピクチャ別ビデオデータストリーム（１２）に提供することによって、前記マルチレイヤビデオデータストリーム（１４）に基づいて、前記サブピクチャ別ビデオデータストリーム（１２）を形成すること、または
    少なくとも１つの第１のレイヤの前記サブピクチャ関連部分を除去し、デコーダによる前記レイヤのレイヤセットの前記所定の非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報の決定のための前記第１の割合及び前記第２の割合を、前記サブピクチャ別ビデオデータストリーム（１２）に提供することによって、前記マルチレイヤビデオデータストリーム（１４）に基づいて、前記サブピクチャ別ビデオデータストリーム（１２）を形成することと、を行うように構成される、前記装置。
  43. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）をエンコードするためのエンコーダ（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャ（２８）に細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャ（２６０、２６１）をエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）において、前記レイヤのレイヤセットをデコードするのに十分な１つ以上の基準デコーダ機能要件を示すことと、
    前記レイヤセットの前記第１のレイヤのそれぞれについて、前記基準デコーダ機能要件のそれぞれについて、それぞれの第１のレイヤにコード化された前記サブピクチャのそれぞれについて、選択的に、それぞれの基準デコーダ機能要件に固有の、所定のパラメータのセットについての制約が満たされるかどうかをチェックすることと、を行うように構成される、前記エンコーダ。
  44. 前記エンコーダは、それぞれのサブピクチャに帰属する前記それぞれの基準デコーダ機能要件の割合に関する情報を使用して、前記パラメータのセットの前記パラメータを決定するように構成される、請求項４３に記載のエンコーダ。
  45. 前記パラメータのセットが、それぞれのサブピクチャについて、サンプル数、ピクチャ幅、ピクチャ高さ、行内のタイル数、列内のタイル数、タイルの総数のうちの１つ以上または全てを含む、請求項４３または４４に記載のエンコーダ。
  46. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）であって、前記マルチレイヤビデオデータストリームは、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャ（２８）に細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャ（２６０、２６１）をエンコードしており、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードしており、
    前記マルチレイヤビデオデータストリーム（１４）において、前記レイヤのレイヤセットをデコードするのに十分な１つ以上の基準デコーダ機能要件（１３０）を示しており、
    前記レイヤセットの前記第１のレイヤのそれぞれについて、前記基準デコーダ機能要件のそれぞれについて、それぞれの第１のレイヤにコード化された前記サブピクチャのそれぞれについて、選択的に、それぞれの基準デコーダの能力要件に固有の、所定のパラメータのセットについての制約が満たされるように、前記マルチレイヤビデオデータストリームに、前記ビデオピクチャがエンコードされている、前記マルチレイヤビデオデータストリーム。
  47. ビデオデータストリーム（２０）をデコードするためのデコーダ（１１０）であって、
    前記ビデオデータストリームから、前記ビデオデータストリームにエンコードされたピクチャが、１つ以上の独立してコード化されたサブピクチャ（２８）によってエンコードされているかどうかを示す表示（８０）をデコードするように構成されており、前記表示は、前記１つ以上の独立してコード化されたサブピクチャと、前記１つ以上の独立してコード化されたサブピクチャの周囲との間のコード化の独立性の異なるタイプを識別するものである、前記デコーダ。
  48. 前記表示（８０）が示す前記コード化の独立性の異なるタイプがどれであるかとは無関係に、前記ビデオデータストリームにエンコードされたピクチャが、１つ以上の独立してコード化されたサブピクチャによってエンコードされていることを示す前記表示に応答して、
    前記ビデオデータストリームの各ビットストリームパケットから、前記１つ以上の独立してコード化されたサブピクチャのいずれがそれぞれのビットストリームパケットにエンコードされているかを示すサブピクチャ識別子を読み出すこと、及び／または
    ループ内フィルタリングがサブピクチャの境界を越えるのを防止すること、及び／または
    前記ピクチャのブロックのブロックアドレスからピクチャ位置を導出することであって、このブロックアドレスは、前記１つ以上の独立してコード化されたサブピクチャのいずれが所定のビットストリームパケットにエンコードされるかに依存して、前記ビデオデータストリームの所定のビットストリーム部分にコード化される、前記導出すること、及び／または
    前記ビデオデータストリームの１つのアクセスユニットに発生する異なるＮＡＬユニットタイプを許容すること、を実行するように構成される、請求項４７に記載のデコーダ。
  49. 前記ピクチャの前記サブピクチャ間の前記コード化の独立性の異なるタイプは、
    エンコーダ制約型エンコードタイプであって、前記デコーダが、前記独立してコード化されたサブピクチャに関して、前記表示によって、前記エンコーダ制約型エンコードタイプが指示された場合、前記独立してコード化されたサブピクチャの境界における独立性処理を行わないように構成される、前記エンコーダ制約型エンコードタイプと、
    デコーダ認識型エンコードタイプであって、前記デコーダが、前記独立してコード化されたサブピクチャに関して、前記表示によって、前記デコーダ認識型エンコードタイプが指示された場合、ベクトルベース予測のためのベクトルクリッピング及び／または前記独立してコード化されたサブピクチャの境界における境界パディングによって、前記独立してコード化されたサブピクチャの境界における独立性処理を行なうように構成される、前記デコーダ認識型エンコードタイプと、を含む、請求項４７～４８のいずれかに記載のデコーダ。
  50. ビデオデータストリーム（１２１；１２２）をエンコードするためのエンコーダ（４０，４０１，，４０２）であって、
    前記ビデオデータストリーム（１２１；１２２）に、前記ビデオデータストリーム（１２１；１２２）にエンコードされたピクチャ（２６１；２６２）が、１つ以上の独立してコード化されたサブピクチャ（２８）によってエンコードされているかどうかを示す表示（８０）をエンコードするように構成されており、前記表示（８０）は、前記１つ以上の独立してコード化されたサブピクチャ（２８）と、前記１つ以上の独立してコード化されたサブピクチャの周囲との間のコード化の独立性の異なるタイプを識別するものである、前記エンコーダ。
  51. 前記表示が示すコード化の独立性の異なるタイプがどれであるかとは無関係に、ビデオデータストリームにエンコードされたピクチャが、１つ以上の独立してコード化されたサブピクチャによってエンコードされていることを前記表示が示す場合、
    前記ビデオデータストリームの各ビットストリームパケットに、前記１つ以上の独立してコード化されたサブピクチャのいずれがそれぞれのビットストリームパケットにエンコードされているかを示すサブピクチャ識別子（８２）を書き込むこと、及び／または
    ループ内フィルタリングがサブピクチャの境界（８４）を越えるのを防止すること、及び／または
    前記ピクチャのブロックのブロックアドレスからピクチャ位置を導出することであって、このブロックアドレスは、前記１つ以上の独立してコード化されたサブピクチャのいずれが所定のビットストリームパケットにエンコードされるかに依存して、前記ビデオデータストリームの所定のビットストリーム部分にコード化される、前記導出すること、及び／または
    前記ビデオデータストリームの１つのアクセスユニットに発生する異なるＮＡＬユニットタイプを許容すること、及び／または
    前記１つ以上の独立してコード化されたサブピクチャのそれぞれについて、デコーダ機能要件情報を導出すること、を実行するように構成される、請求項５０に記載のエンコーダ。
  52. 前記ピクチャの前記サブピクチャ間の前記コード化の独立性の異なるタイプは、
    エンコーダ制約型エンコードタイプであって、エンコーダが、前記独立してコード化されたサブピクチャに関して、前記表示によって、前記エンコーダ制約型エンコードタイプが指示された場合、サブピクチャの境界を越えてコード化の依存性が発生しないように、コード化オプションを制限するように構成される、前記エンコーダ制約型エンコードタイプと、
    デコーダ認識型エンコードタイプであって、デコーダが、前記独立してコード化されたサブピクチャに関して、前記表示によって、前記デコーダ認識型エンコードタイプが指示された場合、ベクトルベース予測のためのベクトルクリッピング及び／またはデコーダ側で模倣すべき、前記独立してコード化されたサブピクチャの境界における境界パディングによって、前記独立してコード化されたサブピクチャの境界における独立性処理を行なうように構成される、前記デコーダ認識型エンコードタイプと、を含む、請求項５０～５１のいずれかに記載のエンコーダ。
  53. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリームのレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出する方法（１０）であって、
    前記マルチレイヤビデオデータストリーム（１４）のレイヤセット（ＯＬＳ）からの各レイヤについて、
    ビデオのピクチャ（２６１、２６２）が、それぞれの前記レイヤに相互に独立してエンコードされる２つ以上のサブピクチャ（２８）に細分されることによって、前記ビデオ（２４）の各ピクチャ（２６１、２６２）について、それぞれのピクチャの前記サブピクチャ（２８）が、それぞれのレイヤの相互に異なるビットストリーム部分（１６）にエンコードされるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうか、またはサブピクチャに細分されないように前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかをチェックして、
    サブピクチャに細分されないように前記それぞれのレイヤに前記ビデオがエンコードされている場合、
    前記それぞれのレイヤに属する前記ビットストリーム部分（１６）を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、前記それぞれのレイヤの前記ビデオ（２４）が完全にエンコードされているようにすることと、
    前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記ビットストリーム部分（１６）から、それぞれのビットストリーム部分に前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、
    前記それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、前記それぞれのレイヤの前記それぞれのビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、を含む、前記方法。
  54. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）を形成するための方法（４０）であって、
    前記マルチレイヤビデオデータストリーム（１４）に、前記マルチレイヤビデオデータストリーム（１４）のレイヤセット（ＯＬＳ）を示すＯＬＳ表示（１８）を提供することと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記マルチレイヤビデオデータストリーム（１４）から抽出可能なサブピクチャ別ビデオデータストリーム（１２）に関するデコーダ機能要件情報（６０）を提供することであって、
    ビデオのピクチャ（２６）が、それぞれの前記レイヤに相互に独立してエンコードされる２つ以上のサブピクチャ（２８）に細分されることによって、前記ビデオ（２４）の各ピクチャ（２６）について、それぞれのピクチャの前記サブピクチャ（２８）が、それぞれのレイヤの相互に異なるビットストリーム部分（１６）にエンコードされるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうか、またはサブピクチャに細分されないように前記それぞれのレイヤに前記ビデオ（２４）がエンコードされているかどうかをチェックして、
    サブピクチャに細分されないように前記それぞれのレイヤに前記ビデオがエンコードされている場合、
    前記それぞれのレイヤに属する前記ビットストリーム部分（１６）を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、前記それぞれのレイヤの前記ビデオ（２４）が完全にエンコードされているようにすることと、
    前記ビデオのピクチャ（２６）が、２つ以上のサブピクチャ（２８）に細分されるように、前記それぞれのレイヤに前記ビデオ（２４）がエンコードされている場合、
    前記それぞれのレイヤに属する各ビットストリーム部分について、
    前記ビットストリーム部分（１６）から、それぞれのビットストリーム部分に前記２つ以上のサブピクチャのうちのどのサブピクチャがエンコードされているかを明らかにする情報を読み出すことと、
    前記それぞれのビットストリーム部分に、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている場合には、前記それぞれのレイヤの前記それぞれのビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、を含む、前記方法。
  55. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤの１つに属する、前記マルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出する方法（１０）であって、前記マルチレイヤビデオデータストリーム（１４）が、
    第１のレイヤの前記ビットストリーム部分（１６）に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、前記第１のビデオのそれぞれのピクチャのサブピクチャが、前記第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャ（２８）に、前記第１のビデオのピクチャ（２６１）が細分されるように、前記ビットストリーム部分に前記第１のビデオ（２４１）がエンコードされている、前記第１のレイヤ（Ｌ１）と、
    ビットストリーム部分に第２のビデオ（２４０）がエンコードされている、第２のレイヤ（Ｌ０）とを含み、
    前記第１のレイヤのビットストリーム部分には、前記第１のビデオが、
    基準ピクチャ（２６０）からのベクトルベース予測を使用して、
    前記第２のビデオ（２４０）のピクチャ（２６０）を前記基準ピクチャとして含むようにして、
    前記第１のレイヤのビットストリーム部分がエンコードされるベクトル（７０）を使用して、前記第１のレイヤのビットストリーム部分によって構成されるベクトル（７０）が、ベクトルベース予測での使用のために、前記第１のビデオの前記ピクチャ及び前記基準ピクチャに対して、それぞれ前記マルチレイヤビデオデータストリーム（１４）でシグナリングされたスケーリングウィンドウ（７２）のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされており、
    前記方法が、
    前記第２のレイヤ（Ｌ０）に属する前記ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、それぞれのレイヤ（Ｌ０）の前記ビデオが完全にエンコードされているようにすることと、
    前記第１のレイヤ（Ｌ１）に属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、
    前記第２のビデオの前記ピクチャに対する前記スケーリングウィンドウ（７２０′）の空間領域が、前記１つ以上のサブピクチャの所定のセットに対する前記スケーリングウィンドウ（７２１′）の空間領域に空間的に対応するように、前記サブピクチャ別ビデオデータストリーム（１２）における前記第１のレイヤ及び／または前記第２のレイヤにスケーリングウィンドウシグナル伝達（７４）を適応させることと、を含む、前記方法。
  56. ビットストリーム部分（１６）で構成され、そのそれぞれがマルチレイヤビデオデータストリーム（１４）のレイヤ（Ｌ０、Ｌ１）の１つに属する、前記マルチレイヤビデオデータストリーム（１４）を形成する方法（４０）であって、前記マルチレイヤビデオデータストリーム（１４）が、
    第１のレイヤの前記ビットストリーム部分（１６）に相互に独立してエンコードされることによって、第１のビデオの各ピクチャについて、前記第１のビデオのそれぞれのピクチャのサブピクチャが、前記第１のレイヤの相互に異なるビットストリーム部分にエンコードされる、２つ以上のサブピクチャ（２８）に、前記第１のビデオのピクチャが細分されるように、前記ビットストリーム部分に前記第１のビデオがエンコードされている、前記第１のレイヤと、
    ビットストリーム部分に第２のビデオがエンコードされている、第２のレイヤとを含み、
    前記第１のレイヤのビットストリーム部分には、前記第１のビデオが、
    基準ピクチャからのベクトルベース予測を使用して、
    前記第２のビデオのピクチャを前記基準ピクチャとして含むようにして、
    前記第１のレイヤのビットストリーム部分がエンコードされるベクトル（７０）を使用して、前記第１のレイヤのビットストリーム部分によって構成されるベクトル（７０）が、ベクトルベース予測での使用のために、前記第１のビデオの前記ピクチャ及び前記基準ピクチャに対して、それぞれ前記マルチレイヤビデオデータストリーム（１４）でシグナリングされたスケーリングウィンドウ（７２）のサイズ及び位置に従ってスケーリング及びオフセットが行われるようにして、エンコードされており、
    前記方法は、サブピクチャ別ビデオデータストリーム（１２）が、
    前記第２のレイヤに属する前記ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継いで、前記サブピクチャ別ビデオデータストリーム（１２）に、それぞれのレイヤの前記ビデオが完全にエンコードされているようにすることと、
    前記第１のレイヤに属し、１つ以上のサブピクチャの所定のセットに属するサブピクチャがエンコードされている各ビットストリーム部分を、前記マルチレイヤビデオデータストリーム（１４）から、前記サブピクチャ別ビデオデータストリーム（１２）に引き継ぐことと、
    前記第２のビデオの前記ピクチャに対する前記スケーリングウィンドウ（７２０’）の空間領域が、前記１つ以上のサブピクチャの所定のセットに対する前記スケーリングウィンドウ（７２１’）の空間領域に空間的に対応するように、前記サブピクチャ別ビデオデータストリーム（１２）における前記第１のレイヤ及び／または前記第２のレイヤにスケーリングウィンドウシグナル伝達（７４）を適応させることとによって、前記マルチレイヤビデオデータストリーム（１４）から抽出可能であるように、前記マルチレイヤビデオデータストリーム（１４）を形成する、前記方法。
  57. サブピクチャ単位の独立したコード化を使用して、ビデオ（２４）をマルチレイヤビデオデータストリーム（１４）にエンコードする方法（４０）であって、
    前記マルチレイヤビデオデータストリーム（１４）の第２のレイヤ（Ｌ０）からの予測のためのレイヤ間予測ツールのセットを使用して、かつ前記サブピクチャ単位の独立コード化のための第１の構成設定を使用して、前記マルチレイヤビデオデータストリーム（１４）の第１のレイヤ（Ｌ１）に、前記ビデオの第１のバージョン（２４１）をエンコードすることと、
    前記サブピクチャ単位の独立コード化のための第２の構成設定を使用して、前記マルチレイヤビデオデータストリーム（１４）の前記第２のレイヤ（Ｌ０）に、前記ビデオの第２のバージョン（２４０）をエンコードすることと、
    前記第１の構成設定及び前記第２の構成設定が所定の関係を有するかどうかをチェックすることと、
    前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有しない場合、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にするか、またはその使用を控えることと、を含む、前記方法。
  58. マルチレイヤビデオデータストリーム（１２、１４）をデコードする方法（５０）であって、
    前記マルチレイヤビデオデータストリームの第２のレイヤからの予測のためのレイヤ間予測ツールのセットを使用して、かつサブピクチャ単位の独立コード化のための第１の構成設定を使用して、前記マルチレイヤビデオデータストリームの第１のレイヤ（Ｌ１）から、ビデオ（２４）の第１のバージョン（２４１）をデコードすることと、
    前記サブピクチャ単位の独立コード化のための第２の構成設定を使用して、前記マルチレイヤビデオデータストリームの前記第２のレイヤ（Ｌ０）から、前記ビデオ（２４）の第２のバージョン（２４０）をデコードすることと、
    前記第１の構成設定及び前記第２の構成設定が所定の関係を有するかどうかをチェックすることと、
    前記第１の構成設定及び前記第２の構成設定が前記所定の関係を有する場合、１つ以上のレイヤ間予測ツールの所定のサブセットを無効にすることと、を含む、前記方法。
  59. レイヤのセットを含むマルチレイヤビデオデータストリーム（１４）をエンコードする方法（４０）であって、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤのセットの非縮小バージョンをエンコードすることであって、ビデオバージョンは、レイヤごとに１つ以上の独立してコード化されるサブピクチャの単位で、前記レイヤのセットの前記非縮小バージョンにエンコードされる、エンコードすることと、
    前記レイヤのセットの前記非縮小バージョンのデコードに関連する基準デコーダ機能要件を、前記マルチレイヤビデオデータストリーム（１４）にエンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤのセットの各レイヤについて、前記レイヤのセットの前記非縮小バージョンのそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する情報（２２）と、前記それぞれのレイヤの前記１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズとをエンコードすることと、
    少なくとも１つのレイヤのサブピクチャ関連部分が除去された前記レイヤのセットの１つ以上の縮小バージョンのそれぞれについて、前記レイヤのセットのそれぞれの縮小バージョンのデコードに関連するデコーダ機能要件（６０）を、前記レイヤのセットの前記それぞれの縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を用いて決定される係数によって前記基準デコーダ機能要件をスケーリングすることによって、決定することと、を含む、前記方法。
  60. レイヤのセットを含むマルチレイヤビデオデータストリーム（１４）からサブピクチャ別ビデオデータストリーム（１２）を抽出するための方法（４０）であって、前記マルチレイヤビデオデータストリーム（１４）には、前記レイヤのセットの非縮小バージョンがエンコードされ、ビデオバージョンは、レイヤごとに１つ以上の独立してコード化されるサブピクチャの単位で、前記レイヤのセットの前記非縮小バージョンにエンコードされ、前記方法は、
    前記レイヤのセットの前記非縮小バージョンのデコードに関連する基準デコーダ機能要件を、前記マルチレイヤビデオデータストリーム（１４）から導出することと、
    前記マルチレイヤビデオデータストリーム（１４）から、前記レイヤのセットの各レイヤについて、前記レイヤのセットの前記非縮小バージョンのそれぞれのレイヤにコード化されたピクチャのピクチャサイズに関する情報（２２）と、前記それぞれのレイヤの前記１つ以上の独立してコード化されたサブピクチャのそれぞれについて、サブピクチャサイズとを導出することと、
    少なくとも１つのレイヤのサブピクチャ関連部分が除去された前記レイヤのセットの所定の縮小バージョンについて、前記レイヤのセットの前記所定の縮小バージョンのデコードに関連するデコーダ機能要件（６０）を、前記レイヤのセットの前記所定の縮小バージョンに含まれる独立してコード化されたサブピクチャのサブピクチャサイズにわたる合計をピクチャサイズにわたる合計で割った商を用いて決定される係数によって前記基準デコーダ機能要件をスケーリングすることによって、決定することと、を含む、前記方法。
  61. 複数のレイヤ（Ｌ０、Ｌ１）を含むマルチレイヤビデオデータストリーム（１４）をエンコードする方法（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャ（２６）をエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれ、少なくとも１つの第２のレイヤが前記レイヤセットに含まれるような前記レイヤのレイヤセットの表示（１８）を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記レイヤのセットをデコードするのに十分な複数の基準デコーダ機能要件（１３０）のそれぞれについて、前記少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合（１３４）と、前記少なくとも１つの第２のレイヤに帰属する前記それぞれの基準デコーダ機能要件の第２の割合（１３２）とに関する情報を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、を含む、前記方法。
  62. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）を処理するための方法（１０、１００）であって、１つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）の前記レイヤに、ビデオピクチャがエンコードされており、
    少なくとも１つの第１のレイヤがレイヤセットに含まれ、少なくとも１つの第２のレイヤが前記レイヤセットに含まれるような前記レイヤのレイヤセットの表示（１８）を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、
    前記レイヤのセットをデコードするのに十分な複数の基準デコーダ機能要件のそれぞれについて、前記少なくとも１つの第１のレイヤに帰属するそれぞれの基準デコーダ機能要件の第１の割合と、前記少なくとも１つの第２のレイヤに帰属する前記それぞれの基準デコーダ機能要件の第２の割合とに関する情報を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、を含む、前記方法。
  63. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）をエンコードする方法（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャをエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）に、前記レイヤセットの各レイヤに対する第１のデコーダ機能要件パラメータと、前記レイヤセットに対する第２のデコーダ機能要件パラメータとを含む、前記レイヤのレイヤセットの非縮小バージョンのデコードに関連する基準デコーダ機能要件情報をエンコードすることと、
    少なくとも１つの第１のレイヤのサブピクチャ関連部分が除去された前記レイヤのレイヤセットの１つ以上の縮小バージョンのそれぞれについて、前記レイヤのレイヤセットのそれぞれの非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報を、
    第１の割合を用いて前記第１のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの各レイヤの第３のデコーダ機能要件パラメータを取得することと、
    第２の割合を用いて前記第２のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットのそれぞれの縮小バージョンに対する第４のデコーダ機能要件パラメータを取得することと、によって決定することと、を含む、前記方法。
  64. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）から、サブピクチャ別ビデオデータストリーム（１２）を抽出するための方法（１０）であって、１つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャに細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）の前記レイヤに、ビデオピクチャがエンコードされており、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）から、デコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）から、前記レイヤセットの各レイヤに対する第１のデコーダ機能要件パラメータと、前記レイヤセットに対する第２のデコーダ機能要件パラメータとを含む、前記レイヤのレイヤセットの非縮小バージョンのデコードに関連する基準デコーダ機能要件情報をデコードすることと、
    少なくとも１つの第１のレイヤのサブピクチャ関連部分が除去される前記レイヤのレイヤセットの所定の縮小バージョンについて、前記レイヤのレイヤセットの前記所定の非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報を、
    第１の割合を用いて前記第１のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの各レイヤの第３のデコーダ機能要件パラメータを取得することと、
    ｖ２の割合を用いて前記第２のデコーダ機能要件パラメータをスケーリングして、前記レイヤセットの前記所定の縮小バージョンに対する第４のデコーダ機能要件パラメータを取得することと、によって決定することと、
    少なくとも１つの第１のレイヤの前記サブピクチャ関連部分を除去し、前記第３のデコーダ機能要件パラメータ及び前記第４のデコーダ機能要件パラメータを、前記サブピクチャ別ビデオデータストリーム（１２）に提供することによって、前記マルチレイヤビデオデータストリーム（１４）に基づいて、前記サブピクチャ別ビデオデータストリーム（１２）を形成すること、または
    少なくとも１つの第１のレイヤの前記サブピクチャ関連部分を除去し、デコーダによる前記レイヤのレイヤセットの前記所定の非縮小バージョンのデコードに関連するさらなる基準デコーダ機能要件情報の決定のための前記第１の割合及び第２の割合を、前記サブピクチャ別ビデオデータストリーム（１２）に提供することによって、前記マルチレイヤビデオデータストリーム（１４）に基づいて、前記サブピクチャ別ビデオデータストリーム（１２）を形成することと、を含む、前記方法。
  65. 複数のレイヤを含むマルチレイヤビデオデータストリーム（１４）をエンコードする方法（４０）であって、
    １つ以上の第１のレイヤ（Ｌ１）に関して独立してコード化されたサブピクチャ（２８）に細分されるようにして、かつ１つ以上の第２のレイヤ（Ｌ０）に関して細分されないようにして、前記マルチレイヤビデオデータストリーム（１４）のレイヤに、ビデオピクチャ（２６０、２６１）をエンコードすることと、
    少なくとも１つの第１のレイヤがレイヤセットに含まれるような前記レイヤのレイヤセットの表示を、前記マルチレイヤビデオデータストリーム（１４）に、エンコードすることと、
    前記マルチレイヤビデオデータストリーム（１４）において、前記レイヤのレイヤセットをデコードするのに十分な１つ以上の基準デコーダ機能要件を示すことと、
    前記レイヤセットの前記第１のレイヤのそれぞれについて、それぞれの第１のレイヤにコード化された前記サブピクチャのそれぞれについて、前記基準デコーダ機能要件の１つ以上について、選択的に、それぞれの基準デコーダ機能要件に固有の、所定のパラメータのセットについての制約が満たされるかどうかをチェックすることと、を含む、前記方法。
  66. ビデオデータストリーム（２０）をデコードする方法（１１０）であって、
    前記ビデオデータストリームから、前記ビデオデータストリームにエンコードされたピクチャが、１つ以上の独立してコード化されたサブピクチャ（２８）によってエンコードされているかどうかを示す表示（８０）をデコードすることを含み、前記表示は、前記１つ以上の独立してコード化されたサブピクチャと、前記１つ以上の独立してコード化されたサブピクチャの周囲との間のコード化の独立性の異なるタイプを識別するものである、前記方法。
  67. ビデオデータストリーム（１２１；１２２）をエンコードする方法（４０、４０１、４０２）であって、
    前記ビデオデータストリーム（１２１；１２２）に、前記ビデオデータストリーム（１２１；１２２）にエンコードされたピクチャ（２６１；２６２）が、１つ以上の独立してコード化されたサブピクチャ（２８）によってエンコードされているかどうかを示す表示（８０）をエンコードすることを含み、前記表示（８０）は、前記１つ以上の独立してコード化されたサブピクチャ（２８）と、前記１つ以上の独立してコード化されたサブピクチャの周囲との間のコード化の独立性の異なるタイプを識別するものである、前記方法。
  68. コンピュータまたはシグナルプロセッサ上で実行されるときに請求項５３～６７に記載の方法のいずれかを実施するためのコンピュータプログラム。
JP2022570632A 2020-05-22 2021-05-20 サブピクチャ関連のビデオコード化の概念 Pending JP2023526460A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20176208.5 2020-05-22
EP20176208 2020-05-22
PCT/EP2021/063553 WO2021234125A1 (en) 2020-05-22 2021-05-20 Subpicture-related video coding concepts

Publications (2)

Publication Number Publication Date
JP2023526460A true JP2023526460A (ja) 2023-06-21
JPWO2021234125A5 JPWO2021234125A5 (ja) 2024-06-25

Family

ID=70977328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570632A Pending JP2023526460A (ja) 2020-05-22 2021-05-20 サブピクチャ関連のビデオコード化の概念

Country Status (9)

Country Link
US (1) US20230199202A1 (ja)
EP (1) EP4154535A1 (ja)
JP (1) JP2023526460A (ja)
KR (1) KR20230015447A (ja)
CN (1) CN115868166A (ja)
AU (1) AU2021275492A1 (ja)
CA (1) CA3184462A1 (ja)
TW (1) TWI801882B (ja)
WO (1) WO2021234125A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116530083A (zh) * 2020-09-25 2023-08-01 抖音视界有限公司 视频比特流中的嵌套的和非嵌套的sei消息

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링

Also Published As

Publication number Publication date
WO2021234125A1 (en) 2021-11-25
TW202147848A (zh) 2021-12-16
US20230199202A1 (en) 2023-06-22
EP4154535A1 (en) 2023-03-29
TWI801882B (zh) 2023-05-11
AU2021275492A1 (en) 2022-12-15
CN115868166A (zh) 2023-03-28
CA3184462A1 (en) 2021-11-25
KR20230015447A (ko) 2023-01-31

Similar Documents

Publication Publication Date Title
EP3026900B1 (en) Image processing device and method
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
KR101524146B1 (ko) 다운샘플링된 기준 화상을 이용한 인터-뷰 예측
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
KR20170136654A (ko) 효율적인 확장가능한 코딩 개념
JP7345051B2 (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
JP2017521964A (ja) サブブロックパレットモード
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN115023954A (zh) 用于控制环路滤波的图像编码装置和方法
JP2023526460A (ja) サブピクチャ関連のビデオコード化の概念
CN115104318A (zh) 基于子画面的图像编码设备和方法
TWI798714B (zh) 時間移動向量預測、層間參考及時間子層指示的視訊寫碼技術
US11985333B2 (en) Indicating which video data units represent a target picture-in-picture region
US20230007210A1 (en) Signaling the Purpose of Preselection
JP2022531117A (ja) ビデオデータをコーディングするための方法、装置、およびコンピュータプログラム
CN114946191A (zh) 基于用于滤波的信息的信令的图像编码设备和方法
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN116325723B (zh) 用于视频解码的方法、计算机设备及介质
CN115152214A (zh) 基于画面划分的图像编码装置和方法
CN115136608A (zh) 基于虚拟边界的图像编码装置和方法
CN115152237A (zh) 图像编码装置和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240617