JP6957638B2 - 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 - Google Patents
高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 Download PDFInfo
- Publication number
- JP6957638B2 JP6957638B2 JP2019551932A JP2019551932A JP6957638B2 JP 6957638 B2 JP6957638 B2 JP 6957638B2 JP 2019551932 A JP2019551932 A JP 2019551932A JP 2019551932 A JP2019551932 A JP 2019551932A JP 6957638 B2 JP6957638 B2 JP 6957638B2
- Authority
- JP
- Japan
- Prior art keywords
- slice
- data stream
- video data
- video
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 116
- 230000005540 biological transmission Effects 0.000 title description 8
- 238000000034 method Methods 0.000 claims description 70
- 230000011664 signaling Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 108091026890 Coding region Proteins 0.000 description 27
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000009795 derivation Methods 0.000 description 11
- 230000008707 rearrangement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000006467 substitution reaction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 101150114515 CTBS gene Proteins 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000019491 signal transduction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
・ 参照[1]。セクションD2.29およびE.2.29の一時的なMCTS SEIメッセージを指定し、これにより、エンコーダーは、指定された長方形のリストをシグナリングできる。それぞれ左上と右下のタイルインデックスで定義され、MCTSに属する。
・ 参照[2]。MCTSを適合HEVCビットストリームとして抽出する作業を容易にするパラメーターセットやネスト化したSEIメッセージなどの追加情報を提供し、[1]の次のバージョンに追加される。
抽出情報132は、画像100によって送信された画像領域内の空間セクション110を定義する第1の情報140と、縮小ビデオデータストリーム136内で、ビデオ138の画像144の減少画像ア内で、それぞれのスライスが位置する場所を示すように、空間セクション110に入る各スライス108のスライス部分126のスライスアドレスを修正する方法に関する複数のオプションの1つを知らせる第2の情報142と、を含む。
num#extraction#info#sets#minus1 [i]の値は、0から232−2の範囲内でなければならない。
− ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
− mBitsTIdTargetより大きいTemporalIdを持つすべてのNALユニットをoutBitstreamから削除する。
− outBitstreamの各アクセスユニットユニットの残りの各VCL NALについて、次のようにスライスセグメントヘッダーを調整する。
− 最初のVCL NALユニットについて、first#slice#segment#in#pic#flagの値を1に設定する。それ以外の場合は0に設定する。
− リストoutput#slice#address [i] [j]に従って、ビットストリーム順で2番目から始まる最初以外のNALユニット(スライス)のslice#segment#addressの値を設定する。
− ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
[...]
− mBitsTIdTargetより大きいTemporalIdを持つすべてのNALユニットをoutBitstreamから削除する。
− リストOutputSliceOrder [j]に従って各アクセスユニットのNALユニットをソートする。
− outBitstreamの残りの各VCL NALユニットについて、スライスセグメントヘッダーを次のように調整する。
− 各アクセスユニット内の最初のVCL NALユニットについて、first#slice#segment#in#pic#flagの値を1に設定する。それ以外の場合は0に設定する。
− pps#pic#parameter#set#idがslice#pic#parameter#set#idと等しいPPSで定義されたタイル設定に従って、slice#segment#addressの値を設定する。
次に、抽出装置134は、以下の方法で、縮小または抽出されたビデオデータストリーム136内のこのように再構成されたスライス部分126のスライスアドレスを修正する。抽出装置134は、データストリーム124’からデータストリーム136に抽出されたビデオデータストリーム124’内のスライス部分126について知っている。したがって、抽出装置134は、画像100の画像領域内のこれらの引き継がれたスライス部分126に対応するスライス108について知っている。情報142によって提供される再配置情報に基づいて、抽出装置134は、ビデオ138の画像144に対応する長方形の画像領域をもたらすように、どのように部分領域110aおよび110bが相互に平行移動して相互にシフトされたかについて決定することができる。例えば、図4、オプション2の例では、抽出装置134は、スライスアドレス0が第2の情報142で提供されるランクのリストの第2の位置で発生するとき、タイルアドレスbに対応するスライスにスライスアドレス0を割り当てる。したがって、抽出装置134は、タイルbに関連する1つまたは複数のスライスを配置し、次いで、再ソート情報に従って、ポジトンを指すスライスアドレスに関連付けられている次のスライスを追跡することができ、符号化順序112は、画像領域のタイルbの直後に続く。図4の例では、これはタイルaに関するスライスである。これは、画像100の領域110の最初のスライスaに対して次のランク付けされた位置が示されているためである。言い換えると、再ソートは、部分領域110aおよび110bの可能な再配置のいずれかにつながるように制限されている。各部分領域について、個々に、符号化順序106および112が同じ経路内のそれぞれの部分領域を横断することは事実である。しかし、タイリングにより、画像144の画像領域の部分領域110aおよび110bに対応する領域が、つまり、オプション2の場合、タイルbとdの組み合わせの領域と、タイルAとCの組み合わせの領域は、符号化順序112によってインターリーブ方式でトラバースされ、それに応じて、対応するタイルにあるスライスを符号化する関連スライス部分126は、抽出または縮小されたビデオストリーム136内でインターリーブされる。
第1の符号化走査順序106は、各空間領域が第2の符号化走査順序112によって横断される方法に一致する方法で、少なくとも2つの区分領域のセットの各々内の画像領域を横断する。少なくとも2つの区分領域のセットのそれぞれは、第1の情報140によって、画像100が細分化される行および列への長方形タイルのサブアレイとして示され、そこで、第1および第2のコーディングスキャン順序は、次のタイルに進む前に現在のタイルを完全に横断する行方向のタイルラスタースキャンを使用する。
・メインビューポイントの方向:CTS高解像度ビューポートセンターの向きは何ですか。たとえば、事前定義された初期ビューポートセンターからの(delta-yaw)ピッチ、および/またはロールの観点からである。
・全体的なカバレッジ
MCTSで表される完全なコンテンツの割合。
・高から低の解像度比
MCTSの高解像度領域と低解像度領域の比率、つまり、カバーされる全コンテンツのどれだけが高解像度/忠実度で表現されるか。
SEIをネストするMotion-constrained(動きに制約があるモーション制約タイルセット)タイルセットの情報を取得すると、間接性が追加され、特定のMCTSを選択するためにより深い解析(SEIをネストするモーション制約のあるタイルセットの抽出情報には、抽出されたセットを選択するために必要のない追加情報が含まれている)が必要になる。設計の観点からは、抽出されたセットを選択するための重要な情報のみを含む中心点で、この情報またはそのサブセットを通知するのがよりクリーンなアプローチである。さらに、言及されたシグナリングにはビットストリーム全体に関する情報が含まれており、提案されているケースでは、どちらが高解像度のカバレッジであり、どちらが低解像度のカバレッジであるかをシグナリングすることが望ましいであろう。また、より多くの解像度が混在している場合は、各解像度のカバレッジと、混合解像度で抽出されたビデオのビューポートの向きである。
Claims (20)
- ビデオデータストリームを生成する方法であって、前記方法は
前記ビデオデータストリームにスライス部分のシーケンスを提供するステップであって、各スライス部分は、ビデオの画像の複数のスライスのそれぞれのスライスを符号化しており、前記各スライス部分は、前記各スライス部分が符号化したスライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを提供するステップと、
前記ビデオデータストリームを空間セクション内の任意のスライスを符号化したスライス部分に限定し、空間的により小さいビデオの縮小された画像領域に関連するようにスライスアドレスを修正することにより、前記ビデオの前記空間セクションに対応する前記空間的により小さいビデオを符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報を前記ビデオデータストリームに提供するステップであって、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第1の情報であって、前記複数のスライスのうち前記空間セクションの境界を越えるものはない、第1の情報と、
前記縮小された画像領域内で前記それぞれのスライスが位置している場所を前記縮小されたビデオデータストリーム内で示すためには、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスをどのように修正するかについての、複数のオプションのうちの1つをシグナリングするまたはそのものを明示的にシグナリングする、第2の情報と、
を含む、抽出情報を提供するステップ、を含む、方法。 - 前記第1の情報(140)は、前記画像領域内の前記空間セクション(110)を、前記ビデオが各部分領域外とは独立して前記ビデオデータストリームに符号化されている少なくとも2つの部分領域(110a、110b、a、b、c、d)のセットから構成されるものとして特定し、前記複数のスライス(108)のうち前記少なくとも2つの部分領域の境界を越えるものがない、請求項1に記載の方法。
- 前記複数のオプションのうちの第1のオプションは、前記ビデオが、前記画像の異なるエッジ部分が互いにシーン的に当接するようにシーンを表示するパノラマビデオであることを示し、
前記複数のオプションの第2のオプションは、前記異なるエッジ部分が互いにシーン的に当接していないことを示し、
前記少なくとも2つの部分領域は、前記異なるエッジ部分のうちの異なるエッジ部分に隣接する第1および第2のゾーン(110a、110b)を形成して、
前記第2の情報(142)が前記第1のオプションをシグナリングする場合には、前記少なくとも2つの部分領域のセットを前記第1および第2のゾーンが前記異なるエッジ部分に沿って当接するように組み合わせることによって前記縮小された画像領域が構成されるようにする、および
前記第2の情報(142)が前記第2のオプションをシグナリングする場合には、前記少なくとも2つの部分領域のセットを前記第1および第2のゾーンの前記異なるエッジ部分が互いに対向しないように組み合わせることによって前記縮小された画像領域が構成されるようにする、請求項2に記載の方法。 - 前記第2の情報(142)は、前記ビデオデータストリームから前記縮小されたビデオデータストリーム(136)を抽出する際に、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分(126)がどのように順序付けされているかに関連して前記空間セクション(110)内のスライスの前記スライス部分(126)を再ソートする方法をシグナリングし、そして
前記ビデオデータストリームの前記スライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断し、前記画像(100)が前記ビデオデータストリームの前記スライス部分のシーケンスに符号化される第1のコーディングスキャン順序(106)に沿って各スライス部分に符号化された前記スライスの符号化開始位置を1次元的にインデックス付けして、
前記ビデオデータストリーム内の前記スライス部分のシーケンスの前記スライス部分の前記スライスアドレスが単調に増加し、そして、
前記ビデオデータストリームからの前記縮小されたビデオデータストリーム(136)の抽出における前記スライスアドレスの修正は、前記縮小されたビデオデータストリーム(136)が限定され、前記第2の情報(142)によるシグナリングの通りに並べ替えられている前記スライス部分に符号化された前記スライスを、前記縮小された画像領域を横断する第2のコーディングスキャン順序(112)に沿って順次配置し、前記スライス部分(126)の前記スライスアドレスを設定して、前記第2のコーディングスキャン順序(112)に沿って測定された前記スライスの符号化開始位置をインデックス付けすることによって特定される、請求項2に記載の方法。 - 前記第1のコーディングスキャン順序(106)は、前記少なくとも2つの部分領域のセットのそれぞれの中の前記画像領域を、前記第2のコーディングスキャン順序(112)が前記各部分領域を横断する方法と合致した方法で横断する、請求項4に記載の方法。
- 前記少なくとも2つの部分領域の前記セットの各々は、前記第1の情報(140)により、行および列に前記画像(100)が細分化される長方形タイルのサブアレイとして示され、前記第1および第2のコーディングスキャン順序は、行方向のタイルラスタースキャンを使用するとともに次のタイルに進む前に現在のタイルを完全に横断する、請求項4または請求項5に記載の方法。
- 前記第2の情報(142)は、少なくとも前記空間セクション内の前記スライスのいずれかが符号化された前記スライス部分のサブセットのそれぞれについて、前記スライスアドレスの代替物をシグナリングする、請求項1に記載の方法。
- 前記ビデオデータストリームの前記スライス部分のシーケンスの各スライス部分の前記スライスアドレスは前記ビデオの画像領域に関連し、前記スライスアドレスの前記代替物は前記縮小された画像領域に関連している、請求項7に記載の方法。
- 前記ビデオデータストリームの前記スライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断し、前記画像が前記ビデオデータストリームの前記スライス部分のシーケンスに符号化される第1のコーディングスキャン順序に沿って、各スライス部分に符号化された前記スライスの符号化開始の位置を1次元的にインデックス付けし、そして、前記スライスアドレスの前記代替物は、前記縮小された画像領域を横断する第2のコーディングスキャン順序に沿って符号化開始の位置を1次元的にインデックス付けする、請求項7または請求項8に記載の方法。
- 前記スライス部分の前記サブセットは、前記空間セクション(110)内の前記スライスのいずれかが符号化されている前記スライス部分のシーケンスの前記スライス部分の第1のスライス部分を除外し、そして、前記第2の情報(142)は、前記ビデオデータストリーム内で前記スライス部分が発生する順序に従って、前記スライス部分の前記サブセットの各々の代替物を順次提供する、請求項7〜請求項9のいずれかに記載の方法。
- 前記第1の情報(140)は前記画像領域内の前記空間セクション(110)を、それぞれに前記ビデオが各部分領域の外側から独立して前記ビデオデータストリームに符号化される、少なくとも2つの部分領域(110a,110b)のセットから構成されるものとして特定し、前記複数のスライスのいずれも、前記少なくとも2つの部分領域のいずれの境界とも交差しない、請求項7〜請求項9のいずれかに記載の方法。
- 前記スライス部分の前記サブセットには、前記空間セクション内のいずれかの前記スライスが符号化されている前記スライス部分のシーケンスの全てのスライス部分が含まれ、前記第2の情報は、前記スライス部分が前記ビデオデータストリーム内で発生する順序に従って、前記スライス部分のそれぞれの代替物を順次提供する、請求項11に記載の方法。
- 前記第2の情報(142)は前記ビデオデータストリームから前記縮小されたビデオデータストリームを抽出する際に、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分がどのように順序付けされているかに関連して前記空間セクション内の前記スライスの前記スライス部分を再ソートする方法をさらにシグナリングし、そして
前記第2の情報(142)は、前記縮小されたビデオデータストリーム内で再ソートされた前記スライス部分が生じる順序に従って、前記スライス部分の各サブセットの代替物を順次提供する、請求項12に記載の方法。 - 前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分と、前記空間セクション外のスライスを符号化したスライス部分を含む、または
前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分を含むが、前記空間セクション外のスライスを符号化したスライス部分は含まない、請求項1〜請求項13のいずれかに記載の方法。 - 前記第2の情報(142)は前記縮小された画像領域の形状およびサイズを定義する、請求項1〜請求項14のいずれかに記載の方法。
- 前記第1の情報(140)は、前記ビデオデータストリームから前記縮小されたビデオデータストリーム(136)を抽出する際に前記ビデオデータストリーム内の対応するパラメータセットを代替するために使用されるべきパラメータセット代替物のサイズパラメータにより、前記縮小された画像領域の形状およびサイズを定義する、請求項1〜請求項15のいずれかに記載の方法。
- ビデオデータストリームを生成するための装置であって、
ビデオの画像の複数のスライスのうちのそれぞれのスライスをそれぞれに符号化したスライス部分のシーケンスであって、各スライス部分は、前記各スライス部分が符号化しているスライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを前記ビデオデータストリームに提供し、
前記ビデオデータストリームを空間セクション内の任意のスライスを符号化したスライス部分に限定し、前記スライスアドレスを空間的により小さいビデオの縮小された画像領域に関連するよう修正することによって、前記ビデオの前記空間セクションに対応する前記空間的により小さなビデオを符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報であって、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第1の情報であって、前記複数のスライスのうち前記空間セクションの境界を越えるものがない、第1の情報と、
それぞれの前記スライスが前記縮小された画像領域内で配置されている場所を前記縮小されたビデオデータストリームにおいて示すために前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスをどのように修正するかについての複数のオプションのうちの1つをシグナリングする、またはそのものを明示的にシグナリングする第2の情報を含む、抽出情報
をビデオデータに提供するように構成される、装置。 - ビデオを符号化したビデオデータストリームから、空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する装置であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分は、ビデオの画像の複数のスライスのそれぞれのスライスを符号化していて、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記装置は、
前記ビデオデータストリームから抽出情報を読み取るように構成され、
前記抽出情報から前記画像領域内の空間セクションを導出するように構成され、ここで前記複数のスライスのうち前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内で任意のスライスを符号化したスライス部分に限定され、
前記抽出情報を使用して複数のオプションから決定された前記複数のオプションのうちの1つを使用して、あるいは前記抽出情報による明示的なシグナリングを使用して前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正して、前記縮小されたビデオデータストリーム内で、前記それぞれのスライスが前記空間的により小さいビデオの縮小された画像領域で配置されている場所を示すように構成される、装置。 - ビデオを符号化したビデオデータストリームから空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する方法であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分はビデオの画像の複数のスライスのうちのそれぞれのスライスを符号化しており、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップと、
前記抽出情報から前記画像領域内の空間セクションを導出するステップであって、前記複数のスライスのうち、前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内の任意のスライスを符号化したスライス部分に限定される、導出するステップと、
前記抽出情報を使用して複数のオプションから決定された前記複数のオプションのうちの1つを使用して、または前記抽出情報による明示的なシグナリングを使用して、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正して、前記それぞれのスライスが前記空間的に小さいビデオの縮小された画像内で配置されている場所を前記縮小されたビデオデータストリーム内で示すステップを含む、方法。 - 請求項19に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164741A JP7437577B2 (ja) | 2017-03-20 | 2021-10-06 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
JP2023120144A JP2024024598A (ja) | 2017-03-20 | 2023-07-24 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17161917 | 2017-03-20 | ||
EP17161917.4 | 2017-03-20 | ||
PCT/EP2018/056788 WO2018172234A2 (en) | 2017-03-20 | 2018-03-19 | Advanced video data stream extraction and multi-resolution video transmission |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021164741A Division JP7437577B2 (ja) | 2017-03-20 | 2021-10-06 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020511865A JP2020511865A (ja) | 2020-04-16 |
JP6957638B2 true JP6957638B2 (ja) | 2021-11-02 |
Family
ID=58387769
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019551932A Active JP6957638B2 (ja) | 2017-03-20 | 2018-03-19 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
JP2021164741A Active JP7437577B2 (ja) | 2017-03-20 | 2021-10-06 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
JP2023120144A Pending JP2024024598A (ja) | 2017-03-20 | 2023-07-24 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021164741A Active JP7437577B2 (ja) | 2017-03-20 | 2021-10-06 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
JP2023120144A Pending JP2024024598A (ja) | 2017-03-20 | 2023-07-24 | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 |
Country Status (7)
Country | Link |
---|---|
US (3) | US11386660B2 (ja) |
EP (1) | EP3603074A2 (ja) |
JP (3) | JP6957638B2 (ja) |
KR (4) | KR102553762B1 (ja) |
CN (6) | CN110651480B (ja) |
TW (1) | TWI684352B (ja) |
WO (1) | WO2018172234A2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102336987B1 (ko) * | 2017-07-04 | 2021-12-08 | 엘지전자 주식회사 | 360도 비디오의 영역 기반 처리 방법 및 장치 |
HRP20230702T1 (hr) * | 2019-01-09 | 2023-10-13 | Huawei Technologies Co., Ltd. | Signaliziranje identifikatora podslike kod kodiranja videa |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8436889B2 (en) * | 2005-12-22 | 2013-05-07 | Vidyo, Inc. | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
KR20090079838A (ko) * | 2008-01-17 | 2009-07-22 | 엘지전자 주식회사 | Iptv 수신 시스템 및 그 데이터 처리 방법 |
US20120170648A1 (en) * | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Frame splitting in video coding |
KR101718488B1 (ko) * | 2012-01-20 | 2017-03-21 | 지이 비디오 컴프레션, 엘엘씨 | 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념 |
PT2842313T (pt) * | 2012-04-13 | 2016-12-22 | Ge Video Compression Llc | Fluxo de dados escaláveis e entidade de rede |
EP2868103B1 (en) * | 2012-06-29 | 2016-12-07 | GE Video Compression, LLC | Video data stream concept |
CN108282655B (zh) * | 2012-09-26 | 2021-09-10 | 威勒斯媒体国际有限公司 | 图像编码和/或解码装置及方法 |
US9749627B2 (en) * | 2013-04-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Control data for motion-constrained tile set |
EP3008896B1 (en) | 2013-07-15 | 2021-03-31 | Sony Corporation | Extensions of motion-constrained tile sets sei message for interactivity |
KR20170020780A (ko) * | 2014-06-20 | 2017-02-24 | 삼성전자주식회사 | 스케일러블 비디오 데이터의 부호화 또는 복호화 하는 방법 및 장치 |
EP3183878B1 (en) * | 2014-08-20 | 2019-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video composition |
US9800898B2 (en) * | 2014-10-06 | 2017-10-24 | Microsoft Technology Licensing, Llc | Syntax structures indicating completion of coded regions |
WO2016180486A1 (en) * | 2015-05-12 | 2016-11-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Composite scalable video streaming |
-
2018
- 2018-03-19 WO PCT/EP2018/056788 patent/WO2018172234A2/en unknown
- 2018-03-19 CN CN201880033197.5A patent/CN110651480B/zh active Active
- 2018-03-19 EP EP18710491.4A patent/EP3603074A2/en active Pending
- 2018-03-19 CN CN202211352844.3A patent/CN116074501A/zh active Pending
- 2018-03-19 CN CN202211353005.3A patent/CN116074502A/zh active Pending
- 2018-03-19 CN CN202211365637.1A patent/CN115955560A/zh active Pending
- 2018-03-19 KR KR1020227020901A patent/KR102553762B1/ko active IP Right Grant
- 2018-03-19 CN CN202211352896.0A patent/CN115883824B/zh active Active
- 2018-03-19 JP JP2019551932A patent/JP6957638B2/ja active Active
- 2018-03-19 KR KR1020237022654A patent/KR20230106741A/ko not_active Application Discontinuation
- 2018-03-19 KR KR1020217034355A patent/KR102412972B1/ko active IP Right Grant
- 2018-03-19 CN CN202211352845.8A patent/CN115955559A/zh active Pending
- 2018-03-19 KR KR1020197030424A patent/KR102318816B1/ko active IP Right Grant
- 2018-03-20 TW TW107109501A patent/TWI684352B/zh active
-
2019
- 2019-09-19 US US16/576,051 patent/US11386660B2/en active Active
-
2021
- 2021-10-06 JP JP2021164741A patent/JP7437577B2/ja active Active
-
2022
- 2022-06-14 US US17/840,269 patent/US11721103B2/en active Active
-
2023
- 2023-06-08 US US18/331,549 patent/US20230316752A1/en active Pending
- 2023-07-24 JP JP2023120144A patent/JP2024024598A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
TWI684352B (zh) | 2020-02-01 |
KR102553762B1 (ko) | 2023-07-11 |
EP3603074A2 (en) | 2020-02-05 |
KR20220095246A (ko) | 2022-07-06 |
KR20230106741A (ko) | 2023-07-13 |
CN110651480B (zh) | 2022-11-11 |
JP2022008899A (ja) | 2022-01-14 |
KR20190127850A (ko) | 2019-11-13 |
CN115955560A (zh) | 2023-04-11 |
CN110651480A (zh) | 2020-01-03 |
WO2018172234A2 (en) | 2018-09-27 |
US11386660B2 (en) | 2022-07-12 |
JP2024024598A (ja) | 2024-02-22 |
CN115883824B (zh) | 2024-05-14 |
WO2018172234A3 (en) | 2018-11-01 |
KR102318816B1 (ko) | 2021-10-28 |
CN116074502A (zh) | 2023-05-05 |
CN115955559A (zh) | 2023-04-11 |
TW201840188A (zh) | 2018-11-01 |
CN115883824A (zh) | 2023-03-31 |
US20200012863A1 (en) | 2020-01-09 |
US20230316752A1 (en) | 2023-10-05 |
JP2020511865A (ja) | 2020-04-16 |
JP7437577B2 (ja) | 2024-02-26 |
KR102412972B1 (ko) | 2022-06-23 |
KR20210131451A (ko) | 2021-11-02 |
US11721103B2 (en) | 2023-08-08 |
CN116074501A (zh) | 2023-05-05 |
US20220309790A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101773413B1 (ko) | 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념 | |
US11962809B2 (en) | Image data encapsulation with referenced description information | |
JP6784767B2 (ja) | 効率的削減または効率的ランダムアクセスを可能にする画像/ビデオデータストリームについての概念 | |
JP6909223B2 (ja) | 空間スケーラブル・ビデオ・コーディング | |
JP2024024598A (ja) | 高度なビデオデータストリーム抽出および多重解像度ビデオ伝送 | |
GB2587243A (en) | Method and apparatus for encoding and decoding a video stream with subpictures | |
KR102126813B1 (ko) | 디지털 비디오를 코딩 및 디코딩하기 위한 방법, 및 관련된 코딩 및 디코딩 디바이스들 | |
GB2564731A (en) | Description of image composition with HEVC still image file format | |
CN113170237B (zh) | 视频编码与解码方法和设备 | |
TWI789632B (zh) | 用於參考圖像重新取樣擴展之編碼器與解碼器、編碼方法及解碼方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6957638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |