JP6743059B2 - カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム - Google Patents
カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6743059B2 JP6743059B2 JP2017564383A JP2017564383A JP6743059B2 JP 6743059 B2 JP6743059 B2 JP 6743059B2 JP 2017564383 A JP2017564383 A JP 2017564383A JP 2017564383 A JP2017564383 A JP 2017564383A JP 6743059 B2 JP6743059 B2 JP 6743059B2
- Authority
- JP
- Japan
- Prior art keywords
- track
- information item
- layer
- sample
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000005538 encapsulation Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims 2
- 239000010410 layer Substances 0.000 description 236
- 230000008520 organization Effects 0.000 description 40
- 230000001419 dependent effect Effects 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 7
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- 102100025027 E3 ubiquitin-protein ligase TRIM69 Human genes 0.000 description 5
- 101000830203 Homo sapiens E3 ubiquitin-protein ligase TRIM69 Proteins 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 101150049515 bla gene Proteins 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101100310222 Caenorhabditis briggsae she-1 gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100477498 Caenorhabditis elegans shc-1 gene Proteins 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
より正確には、図5aは、ビデオシーケンスの幾つかの表示の間の関係の例を示す。これらの表示は、異なる時間解像度(すなわち、30Hz及び60Hzのフレームレート)を有する表示からなり、時間解像度の各々について、表示は異なるビュー(すなわち、左(left)、右(right)及び共通(common))からなる。
表示はまた、時間解像度の各々に応じてフルビューのスケーラブルでない表示を備える。
適応HTTPストリーミングの典型的使用は、ビットストリームスプライシングである。
−両ファイルからのベースレイヤを含むトラックにおけるサンプルが単に連結され、異なるサンプル入力において、又はより大きなhvcC NALUアレイにおいて、複数のVPS/SPS/PPSをもたらし得る、
−非ベースレイヤからのサンプルが、トラックを1つずつ検査し、もしあれば、同様の制約でレイヤに対応するトラックからのサンプルにそれらを連結することによって連結され得る、
−第2のファイルの非ベースレイヤのトラックからのサンプルが、新たなセットのトラックに付加され、連結されるベーストラックとの同期を保持するように時間的にシフトされ得る。後者の手法は複雑であり、好適でないことがある。そのようなシナリオにおいて、トラックレイヤ構成の変化を可能とすることが有用となり得る。
本発明の広い意味での課題は、上述の従来技術の欠点を改善することである。
前記メディアデータのタイムドサンプルの少なくとも1つのグループの少なくとも1つの定義を含むメタデータを参照するためのデータ構造体を取得するステップ、及び
前記1以上のビットストリームの各々に対して少なくとも1つの動作基点ディスクリプタを取得するステップであって、前記少なくとも1つの動作基点ディスクリプタは、前記データ構造体によって参照されるメタデータにおいて定義されたタイムドサンプルのグループに属するタイムドサンプルが独立して復号されることを可能とする記述的情報に関するメタデータを提供し、タイムドサンプルの1つのグループに関連付けられた各動作基点ディスクリプタが、前記グループに属する前記タイムドサンプルの前記記述的情報を定義する、ステップを備える方法が提供される。
前記メディアデータのタイムドサンプルの少なくとも1つのグループの少なくとも1つの定義を含むメタデータを参照するためのデータ構造体を提供するステップ、及び
前記1以上のビットストリームの各々に対する少なくとも1つの動作基点ディスクリプタを提供するステップであって、前記少なくとも1つの動作基点ディスクリプタは、前記データ構造体によって参照されるメタデータにおいて定義されたタイムドサンプルのグループに属するタイムドサンプルが独立して復号されることを可能とする記述的情報に関するメタデータを提供し、タイムドサンプルの1つのグループに関連付けられた各動作基点ディスクリプタが、前記グループに属する前記タイムドサンプルの前記記述的情報を定義する、ステップを備える方法が提供される。
前記メディアデータのタイムドサンプルの少なくとも1つのグループの少なくとも1つの定義を含むメタデータを参照するためのデータ構造体を取得するステップ、及び
前記1以上のビットストリームの各々に対して少なくとも1つの動作基点ディスクリプタを取得するステップであって、前記少なくとも1つの動作基点ディスクリプタは、前記データ構造体によって参照されるメタデータにおいて定義されたタイムドサンプルのグループに属するタイムドサンプルが独立して復号されることを可能とする記述的情報に関するメタデータを提供し、タイムドサンプルの1つのグループに関連付けられた各動作基点ディスクリプタが、前記グループに属する前記タイムドサンプルの前記記述的情報を定義する、ステップを実行するために構成されたプロセッサを備える、デバイスが提供される。
前記メディアデータのタイムドサンプルの少なくとも1つのグループの少なくとも1つの定義を含むメタデータを参照するためのデータ構造体を提供するステップ、及び
前記1以上のビットストリームの各々に対する少なくとも1つの動作基点ディスクリプタを提供するステップであって、前記少なくとも1つの動作基点ディスクリプタは、前記データ構造体によって参照されるメタデータにおいて定義されたタイムドサンプルのグループに属するタイムドサンプルが独立して復号されることを可能とする記述的情報に関するメタデータを提供し、タイムドサンプルの1つのグループに関連付けられた各動作基点ディスクリプタが、前記グループに属する前記タイムドサンプルの前記記述的情報を定義する、ステップを実行するために構成されたプロセッサ備えるデバイスが提供される。
映像は好ましくはスケーラブル又はマルチビューの映像であり、様々なレベルのスケーラビリティ/ビューにおいて編成される。
−スライスセグメントにおける全てのCTUが、同じタイルに属する(すなわち、スライスセグメントは複数のタイルに属することはできない)、及び
−タイルにおける全てのCTUが、同じスライスセグメントに属する(すなわち、タイルは、これらのスライスセグメントのみがそのタイルに属することを条件として、幾つかのスライスセグメントに分割され得る)。
上述したように、タイルが対象領域のための適切なサポートとしてみなされる一方で、スライスセグメントは、通信ネットワークを介した搬送のためにNALユニットに実際に挿入されてアクセスユニット(すなわち、ファイルフォーマットレベルでのコード化ピクチャ又はサンプル)を形成するように統合されるエンティティである。
MPEG−4 Part12標準の既存のサンプルグループ化メカニズムが、タイルをカプセル化するのに使用可能である。したがって、特定のサンプルグループの記述が、特定種の標準VisualSampleGroupEntryディスクリプタであるタイルディスクリプタとともに作成される。サンプルグループ化メカニズムは、トラックにおけるサンプルの区画を表すために使用される。それらは、2つのボックス:サンプルグループへのサンプルの割当てを記述するSampleToGroupボックス(「sbgp」)及び特定のサンプルグループ内のサンプルの共通プロパティを記述するSampleGroupDescriptionボックス(「sgpd」)の使用によるものである。特定タイプのサンプルグループ化が、タイプフィールド(「grouping_type」)を介して1つのSampleToGroupボックス及び1つのSampleGroupDescriptionボックスの組合せによって定義される。複数のサンプルグループ化の例(すなわち、SampleToGroup及びSampleGroupDescriptionボックスの対)が、様々なグループ化参照に基づいて存在し得る。
−パラメータindependent_flagが0に等しい場合、このタイルと、同じフレーム又は前フレームにおける他のタイルとの間のコード化依存性は、タイル設定レベルで記述されるか、又は未知である。
−パラメータindependent_flagが1に等しい場合、このタイルと、任意の参照フレームにおける異なるgroupIDの他のタイルとの間の時間的なコード化依存性はないが、このタイルと参照フレームにおける同じgroupIDのタイルとの間のコード化依存性はあり得る。
−パラメータindependent_flagが2に等しい場合、このタイルと、同じフレームにおける他の任意のタイルとの間のコード化依存性はなく、このタイルと、参照フレームにおける任意の他のタイルとのコード化依存性もない。
independent_flag値3は予約されている。
より正確には、図1は、マルチレイヤHEVCビットストリームに符号化されたメディアデータシーケンスに対する全てのISO BMFFメタデータを含み、Sサンプルを含む動画ボックス「moov」100を表す。同じ原理が、動画断片とともに又は上述のb)及びc)で定義されたセグメントとしてカプセル化されたメディアデータに当てはまる。
図示するように、メディアデータ801は、記述的メタデータ804を備えるベースレイヤトラック802において符号化されるベースレイヤを用いて、及び記述的メタデータ805も備えるエンハンスメントレイヤトラック803において符号化されるエンハンスメントレイヤを用いて表示され得る。
最後に、ベースレイヤトラックについて、「mdia」ボックスは、選択的な「tcon」ボックス138を備える。
まず、非出力レイヤがそれら自体のトラックになければならないので、「stbl」/「trun」ボックスが複製されることになるためにそれらはストレージを無駄にしてしまう。しかし、そのような場合(それによって出力レイヤとはならないレイヤ)は非常に限定的であることが考慮され得る。
図9に示すように、新たなLayerInfoGroupEntry「tcon」900はその目的に使用され得る。ここでも、説明の目的のため、4文字コード「tcon」と特定の入力の名前(TrackContentGroupEntryであってもよい)が与えられる。
ここでも、「oref」タイプを参照するトラックは、サンプルグループボックス903及びサンプルグループ記述ボックス902、又はデフォルトのサンプルグループ化の場合にはサンプルグループ記述ボックス901を含むことになる。
これに対して、テスト1001が偽である場合、デフォルトのトラックが選択される(ステップ1003)。これは、例えば、ファイルにおける最初のトラック又はトラックヘッダボックスにおける最低「レイヤ」値のものであればよい。あるいは、全てのトラックがユーザに提示され、プレーヤがユーザ選択を待機する。
−w15182で記述されるレイヤードHEVCファイルフォーマットの現バージョンによるトラックコンテンツ情報ボックス「tcon」、
−サンプルグループ記述を介して図9を参照して説明した実施形態によると、「tcon」値(又はサンプル又はトラックのサンプルのグループに対するレイヤ情報を示す任意の予約された固有の4文字コード)を有するグループ化タイプを探し、又は
−ある単一レイヤに1つのトラックが対応する他の実施形態によると、トラックに対する「lhvC」ボックスにおける修正されたLHEVCDecoderConfigurationRecord(図11における符号1100)からの情報を構文解析することによって(ステップ1101)レイヤがトラックに対応するか否かを識別する。図11において1101で示す新たなlayer_idパラメータが、このサンプル入力に関連するサンプルに含まれるVCL NALユニットのnuh_layer_idの値を示す。そのような場合にはトラックはエクストラクタ及びアグリゲータだけを含むので、この値は図11において1102で示すフラグcomplete_representationが0にセットされた場合に0となるべきである。
図4bは、それによってエクストラクタが使用されない依存性のシグナリングの例を示す。
−それは、タイルベーストラックに対する関係を示す4バイトの「tbas」を含み、
−識別子track_ID[]は、このトラックに対するタイルベーストラックが識別子「ELBT」を有するエンハンスメントタイルトラックであることを示す。
この新たなサンプル入力の定義は、以下のものであればよい。
ボックスタイプ:「lht1」
コンテナ:SampleDescriptionBox(「stsd」)
強制:なし
品質:ゼロ以上のサンプル入力が存在し得る
さらに、タイルトラックに関する幾つかのサンプルプロパティのみが導入され得る。
好ましくは、LHEVCTileSampleEntryは、LHEVCCongirugationBox(又はLHVCCongirugationBox若しくはレイヤードHEVCフォーマットに対して構成ボックスを指定する任意の名前)、HEVCCongirugationBox又はMPEG4ExtensionDescriptionBoxを含まない。もちろん、これらのボックスは、「tbas」トラック参照タイプによって示されるように、タイルベースLHEVCタイルサンプル記述において発見される。
Claims (25)
- ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを含む複数のレイヤに基づいてレイヤ化されたビットストリームに関する記述データを生成するための方法であって、前記方法は、
前記レイヤ化されたビットストリームに対応する複数のサンプルを複数のサンプルグループにグループ化するステップと、
前記複数のサンプルグループの中の少なくとも1つのサンプルグループの少なくとも1つの動作情報項目を決定するステップと、
前記複数のサンプルグループの中の前記少なくとも1つのサンプルグループの前記少なくとも1つの動作情報項目を少なくとも記述する記述データを生成するステップと、を備え、
前記少なくとも1つの動作情報項目の各々は、前記レイヤ化されたビットストリームの独立に復号可能なサブセットを表し、
前記少なくとも1つの動作情報項目は、前記少なくとも1つの動作情報項目によって示される動作点に含まれる複数のレイヤの依存関係に関する情報を提供することを特徴とする方法。 - 装置からのリクエストに応じて、生成された前記記述データを該装置へ出力するステップを更に備える、
請求項1に記載の方法。 - 前記少なくとも1つの動作情報項目の各々は、
前記ベースレイヤに基づくビットストリームが独立に復号可能であること、並びに前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームが独立に復号可能であること
を指定する、
請求項1または2に記載の方法。 - 前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームの画像品質が該ベースレイヤに基づくビットストリームの画像品質よりも高い、
請求項1から3のいずれか1項に記載の方法。 - 少なくとも1つのレイヤ情報項目を取得するステップを更に備え、
前記少なくとも1つのレイヤ情報項目において、前記レイヤ化されたビットストリームにおいて搬送されるレイヤが列挙されることを特徴とする請求項1から4のいずれか1項に記載の方法。 - 一の動作情報項目がデフォルトの動作情報項目として定義され、
記述的情報に関するメタデータに関連しない一のサンプルグループに属するサンプルが、前記デフォルトの動作情報項目によって提供されるメタデータに基づいて復号される、請求項1から5のいずれか1項に記載の方法。 - 1以上のビットストリームのカプセル化により生じるカプセル化されたビットストリームからメディアデータ及びメタデータを取得する方法であって、前記1以上のビットストリームの各々の前記メディアデータがベースレイヤ及び少なくとも1つのエンハンスメントレイヤを含む複数のレイヤに編成され、該方法が、
前記1以上のビットストリームの少なくとも1つについての少なくとも1つの動作情報項目を記述する記述データを取得するステップと、
記述された前記少なくとも1つの動作情報項目の内の少なくとも1つを取得するステップと、
を備え、
取得された前記少なくとも1つの動作情報項目の各々は、サンプルが独立に復号可能である一のサンプルグループを表し、
前記少なくとも1つの動作情報項目は、前記少なくとも1つの動作情報項目によって示される動作点に含まれる複数のレイヤの依存関係に関する情報を提供することを特徴とする方法。 - 前記少なくとも1つの動作情報項目の各々は、
前記ベースレイヤに基づくビットストリームが独立に復号可能であること、並びに前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームが独立に復号可能であること
を指定する、
請求項7に記載の方法。 - 前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームの画像品質が該ベースレイヤに基づくビットストリームの画像品質よりも高い、
請求項7または8に記載の方法。 - 少なくとも1つのレイヤ情報項目を取得するステップを更に備え、
前記少なくとも1つのレイヤ情報項目において、前記レイヤ化されたビットストリームにおいて搬送されるレイヤが列挙されることを特徴とする請求項7から9のいずれか1項に記載の方法。 - 一の動作情報項目がデフォルトの動作情報項目として定義され、
記述的情報に関するメタデータに関連しない一のサンプルグループに属するサンプルが、前記デフォルトの動作情報項目によって提供されるメタデータに基づいて復号される、請求項7から10のいずれか1項に記載の方法。 - 第1サンプルグループのサンプルを再構成するための順序を動作情報項目から取得するステップを更に備える、
請求項7から11のいずれか1項に記載の方法。 - プログラム可能な装置のためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、プログラムがプログラム可能な装置に読み込まれて実行されると、請求項1から12のいずれか一項に記載の方法の各ステップを実行するための命令を備える、コンピュータプログラム製品。
- ベースレイヤ及び少なくとも1つのエンハンスメントレイヤを含む複数のレイヤに基づいてレイヤ化されたビットストリームに関する記述データを生成するデバイスであって、該デバイスが、
前記レイヤ化されたビットストリームに対応する複数のサンプルを複数のサンプルグループにグループ化するステップと、
前記複数のサンプルグループの中の少なくとも1つのサンプルグループの少なくとも1つの動作情報項目を決定するステップと、
前記複数のサンプルグループの中の前記少なくとも1つのサンプルグループの前記少なくとも1つの動作情報項目を少なくとも記述する記述データを生成するステップと、を実行するように構成されたマイクロプロセッサを備え、
前記少なくとも1つの動作情報項目の各々は、前記レイヤ化されたビットストリームの独立に復号可能なサブセットを表し、
前記少なくとも1つの動作情報項目は、前記少なくとも1つの動作情報項目によって示される動作点に含まれる複数のレイヤの依存関係に関する情報を提供することを特徴とするデバイス。 - 前記マイクロプロセッサが、装置からのリクエストに応じて、生成された前記記述データを該装置へ出力するステップを実行するように更に構成されている、
請求項14に記載のデバイス。 - 前記少なくとも1つの動作情報項目の各々は、
前記ベースレイヤに基づくビットストリームが独立に復号可能であること、並びに前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームが独立に復号可能であること
を指定する、
請求項14または15に記載のデバイス。 - 前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームの画像品質が該ベースレイヤに基づくビットストリームの画像品質よりも高い、
請求項14から16のいずれか1項に記載のデバイス。 - 前記マイクロプロセッサが、少なくとも1つのレイヤ情報項目を取得するステップを実行するように更に構成されており、
前記少なくとも1つのレイヤ情報項目において、前記レイヤ化されたビットストリームにおいて搬送されるレイヤが列挙されることを特徴とする請求項14から17のいずれか1項に記載のデバイス。 - 一の動作情報項目がデフォルトの動作情報項目として定義され、
記述的情報に関するメタデータに関連しない一のサンプルグループに属するサンプルが、前記デフォルトの動作情報項目によって提供されるメタデータに基づいて復号される、請求項14から18のいずれか1項に記載のデバイス。 - 1以上のビットストリームのカプセル化により生じるカプセル化されたビットストリームからメディアデータ及びメタデータを取得するデバイスであって、前記1以上のビットストリームの各々の前記メディアデータがベースレイヤ及び少なくとも1つのエンハンスメントレイヤを含む複数のレイヤに編成され、該デバイスが、
前記1以上のビットストリームの少なくとも1つについての少なくとも1つの動作情報項目を記述する記述データを取得するステップと、
記述された前記少なくとも1つの動作情報項目の内の少なくとも1つを取得するステップと、
を実行するように構成されたマイクロプロセッサを備え、
取得された前記少なくとも1つの動作情報項目の各々は、サンプルが独立に復号可能である一のサンプルグループを表し、
前記少なくとも1つの動作情報項目は、前記少なくとも1つの動作情報項目によって示される動作点に含まれる複数のレイヤの依存関係に関する情報を提供することを特徴とする
デバイス。 - 前記少なくとも1つの動作情報項目の各々は、
前記ベースレイヤに基づくビットストリームが独立に復号可能であること、並びに前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームが独立に復号可能であること
を指定する、
請求項20に記載のデバイス。 - 前記少なくとも1つのエンハンスメントレイヤの内の1つ及び前記ベースレイヤの両方に基づくビットストリームの画像品質が該ベースレイヤに基づくビットストリームの画像品質よりも高い、
請求項21に記載のデバイス。 - 前記マイクロプロセッサが少なくとも1つのレイヤ情報項目を取得するステップを実行するように更に構成されており、
前記少なくとも1つのレイヤ情報項目において、前記レイヤ化されたビットストリームにおいて搬送されるレイヤが列挙されることを特徴とする請求項20から22のいずれか1項に記載のデバイス。 - 一の動作情報項目がデフォルトの動作情報項目として定義され、
記述的情報に関するメタデータに関連しない一のサンプルグループに属するサンプルが、前記デフォルトの動作情報項目によって提供されるメタデータに基づいて復号される、請求項20から23のいずれか1項に記載のデバイス。 - 前記マイクロプロセッサが第1サンプルグループのサンプルを再構成するための順序を動作情報項目から取得するステップを実行するように更に構成されている、
請求項20から24のいずれか1項に記載のデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1510610.7A GB2539462B (en) | 2015-06-16 | 2015-06-16 | Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set |
GB1510610.7 | 2015-06-16 | ||
PCT/EP2016/062926 WO2016202648A1 (en) | 2015-06-16 | 2016-06-07 | Method, device, and computer program for obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018524877A JP2018524877A (ja) | 2018-08-30 |
JP2018524877A5 JP2018524877A5 (ja) | 2019-07-11 |
JP6743059B2 true JP6743059B2 (ja) | 2020-08-19 |
Family
ID=53784857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017564383A Active JP6743059B2 (ja) | 2015-06-16 | 2016-06-07 | カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US10575004B2 (ja) |
EP (1) | EP3311574B1 (ja) |
JP (1) | JP6743059B2 (ja) |
KR (1) | KR102037009B1 (ja) |
CN (1) | CN107750461B (ja) |
GB (1) | GB2539462B (ja) |
WO (1) | WO2016202648A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10148969B2 (en) * | 2015-02-11 | 2018-12-04 | Qualcomm Incorporated | Of sample entry and operation point signalling in a layered video file format |
GB2550604A (en) | 2016-05-24 | 2017-11-29 | Canon Kk | Method, device, and computer program for encapsulating and parsing timed media data |
US10602239B2 (en) * | 2017-03-23 | 2020-03-24 | Mediatek Inc. | Method and apparatus for track composition |
GB2560921B (en) | 2017-03-27 | 2020-04-08 | Canon Kk | Method and apparatus for encoding media data comprising generated content |
GB2575074B (en) * | 2018-06-27 | 2022-09-28 | Canon Kk | Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame |
CN110876083B (zh) * | 2018-08-29 | 2021-09-21 | 浙江大学 | 指定参考图像的方法及装置及处理参考图像请求的方法及装置 |
US11183220B2 (en) * | 2018-10-03 | 2021-11-23 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for temporal track derivations |
GB2579389B (en) * | 2018-11-29 | 2022-07-27 | Canon Kk | Method, device and computer program for encapsulating media data into a media file |
US11205456B2 (en) | 2019-01-09 | 2021-12-21 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for using edit operations to perform temporal track derivations |
WO2020189895A1 (ko) * | 2019-03-21 | 2020-09-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
EP3987816A4 (en) | 2019-06-20 | 2023-06-21 | Nokia Technologies Oy | AN APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
WO2020256615A1 (en) * | 2019-06-21 | 2020-12-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Video coding layer up-switching indication |
CN110430462B (zh) * | 2019-08-02 | 2021-08-31 | 福州大学 | 基于uhd解码器的快速自动设置方法 |
US11109069B2 (en) * | 2019-09-20 | 2021-08-31 | Tencent America LLC | Signaling of scalability parameters in video bitstream |
IL295985A (en) * | 2020-02-28 | 2022-10-01 | Huawei Tech Co Ltd | Decoder and methods suitable for separating image signal information into slices |
KR20230025429A (ko) * | 2020-06-06 | 2023-02-21 | 엘지전자 주식회사 | 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법 |
KR20230023721A (ko) | 2020-06-06 | 2023-02-17 | 엘지전자 주식회사 | 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법 |
GB2597642B (en) * | 2020-06-16 | 2023-08-02 | Canon Kk | Method, device, and computer program for encapsulating media data into a media file |
US11831921B2 (en) | 2020-09-17 | 2023-11-28 | Lemon Inc. | Video operating points record syntax and semantics |
US11671627B2 (en) | 2020-09-17 | 2023-06-06 | Lemon Inc. | Operating point entity group signaling in coded video |
GB2599171A (en) * | 2020-09-29 | 2022-03-30 | Canon Kk | Method and apparatus for encapsulating video data into a file |
WO2022071742A1 (ko) * | 2020-09-29 | 2022-04-07 | 엘지전자 주식회사 | 미디어 파일을 생성하는 방법 및 장치 |
WO2022131801A1 (ko) * | 2020-12-15 | 2022-06-23 | 엘지전자 주식회사 | 레이어 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법 |
WO2023200304A1 (ko) * | 2022-04-14 | 2023-10-19 | 엘지전자 주식회사 | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 |
WO2023200298A1 (ko) * | 2022-04-14 | 2023-10-19 | 엘지전자 주식회사 | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006505024A (ja) | 2002-04-29 | 2006-02-09 | ソニー エレクトロニクス インク | データ処理方法及び装置 |
US8948241B2 (en) * | 2009-08-07 | 2015-02-03 | Qualcomm Incorporated | Signaling characteristics of an MVC operation point |
KR101887548B1 (ko) | 2012-03-23 | 2018-08-10 | 삼성전자주식회사 | 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치 |
US9161004B2 (en) * | 2012-04-25 | 2015-10-13 | Qualcomm Incorporated | Identifying parameter sets in video files |
US20140003504A1 (en) * | 2012-07-02 | 2014-01-02 | Nokia Corporation | Apparatus, a Method and a Computer Program for Video Coding and Decoding |
GB2516826B (en) * | 2013-07-23 | 2016-06-22 | Canon Kk | Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f |
GB2516825B (en) * | 2013-07-23 | 2015-11-25 | Canon Kk | Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies |
GB2519746B (en) * | 2013-10-22 | 2016-12-14 | Canon Kk | Method, device and computer program for encapsulating scalable partitioned timed media data |
MX364550B (es) * | 2014-05-21 | 2019-04-30 | Arris Entpr Llc | Señalización y selección para la mejora de capas en vídeo escalable. |
GB2527786B (en) * | 2014-07-01 | 2016-10-26 | Canon Kk | Method, device, and computer program for encapsulating HEVC layered media data |
-
2015
- 2015-06-16 GB GB1510610.7A patent/GB2539462B/en active Active
-
2016
- 2016-06-07 EP EP16727510.6A patent/EP3311574B1/en active Active
- 2016-06-07 KR KR1020187000559A patent/KR102037009B1/ko active IP Right Grant
- 2016-06-07 CN CN201680035779.8A patent/CN107750461B/zh active Active
- 2016-06-07 WO PCT/EP2016/062926 patent/WO2016202648A1/en active Application Filing
- 2016-06-07 JP JP2017564383A patent/JP6743059B2/ja active Active
- 2016-06-07 US US15/736,265 patent/US10575004B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20180018662A (ko) | 2018-02-21 |
JP2018524877A (ja) | 2018-08-30 |
GB2539462B (en) | 2019-04-03 |
CN107750461A (zh) | 2018-03-02 |
EP3311574A1 (en) | 2018-04-25 |
GB201510610D0 (en) | 2015-07-29 |
CN107750461B (zh) | 2020-10-30 |
WO2016202648A1 (en) | 2016-12-22 |
EP3311574B1 (en) | 2022-03-09 |
GB2539462A (en) | 2016-12-21 |
US10575004B2 (en) | 2020-02-25 |
US20180184098A1 (en) | 2018-06-28 |
KR102037009B1 (ko) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6743059B2 (ja) | カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム | |
US11128898B2 (en) | Method, device, and computer program for encapsulating scalable partitioned timed media data | |
JP6768907B2 (ja) | メディアファイルの処理装置及び処理方法 | |
US20220038793A1 (en) | Method, device, and computer program for encapsulating partitioned timed media data | |
JP6572222B2 (ja) | メディアファイルの生成方法、生成装置、及びプログラム | |
GB2535453A (en) | Method, device, and computer program for encapsulating hevc layered media data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200729 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6743059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |