JP6655091B2 - 低レイテンシビデオストリーミング - Google Patents
低レイテンシビデオストリーミング Download PDFInfo
- Publication number
- JP6655091B2 JP6655091B2 JP2017541633A JP2017541633A JP6655091B2 JP 6655091 B2 JP6655091 B2 JP 6655091B2 JP 2017541633 A JP2017541633 A JP 2017541633A JP 2017541633 A JP2017541633 A JP 2017541633A JP 6655091 B2 JP6655091 B2 JP 6655091B2
- Authority
- JP
- Japan
- Prior art keywords
- media segment
- media
- segment
- format
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012634 fragment Substances 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 78
- 230000011664 signaling Effects 0.000 claims description 50
- 238000009826 distribution Methods 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 11
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 claims description 6
- 235000005102 isau Nutrition 0.000 claims description 5
- 244000016886 isau Species 0.000 claims description 5
- DTBDAFLSBDGPEA-UHFFFAOYSA-N 3-Methylquinoline Natural products C1=CC=CC2=CC(C)=CN=C21 DTBDAFLSBDGPEA-UHFFFAOYSA-N 0.000 claims 3
- 235000017304 Ruaghas Nutrition 0.000 claims 1
- 241000554738 Rusa Species 0.000 claims 1
- 230000014509 gene expression Effects 0.000 description 71
- 230000006978 adaptation Effects 0.000 description 62
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 31
- 238000005538 encapsulation Methods 0.000 description 26
- 238000002360 preparation method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000002123 temporal effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 238000009396 hybridization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 240000002791 Brassica napus Species 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
- H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26616—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for merging a unicast channel into a multicast channel, e.g. in a VOD application, when a client served by unicast channel catches up a multicast channel to save bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
1)クライアントはストリーミングコンテンツ、たとえば、ムービーのMPDを取得する。MPDは、ストリーミングコンテンツの様々な代替表現、たとえば、ビットレート、ビデオ解像度、フレームレート、オーディオ言語に関する情報、ならびにHTTPリソースのURL(初期化セグメントおよびメディアセグメント)を含む。
2)MPD内の情報、およびクライアントのローカル情報、たとえば、ネットワーク帯域幅、復号/ディスプレイ能力、およびユーザの選好に基づいて、クライアントは、所望の表現を一度に1つのセグメント(または、その一部)ずつ要求する。
3)クライアントがネットワーク帯域幅変化を検出したとき、クライアントは、理想的には、ランダムアクセスポイントから開始するセグメントから開始する、より良好に一致するビットレートを有する異なる表現のセグメントを要求する。
1)ISOBMFFライブプロファイルの使用。これは、各セグメントは、タイプ1または2のSAPから開始しなければならないが、セグメントはすべて1つの適応セット内で同じ持続時間のものでなければならないことを意味する。言い換えれば、RAPを提供するために、IDRピクチャを使用しなければならず、SAPタイプ3に対応するオープンGOP RAPを使用することはできない。結果として、ビデオコーディング効率を損なわざるを得ない。
2)ISOBMFFメインプロファイルの使用。しかしながら、これは、スイッチポイント(SAPタイプ1または2)上で何のMPDベースのシグナリングも可能でなく、クライアントは、サンプルにどのようにアクセスするかを見出すためにそれらのセグメントをパースする必要があることを意味する。
各セグメントはクローズドGOPから開始しなければならない。
セグメントは1つの表現内のプレゼンテーション時間が重複してはならない。
より低い周波数においてユニキャスト表現に切り替える能力とともに、低チャネル獲得時間を用いたブロードキャスト配布の展開。
ブロードキャストと同期するユニキャストを介したライブエッジにおける低レイテンシバージョンの配信。
配信ユニットよりも長いランダムアクセル周波数だけを用いたブロードキャストを介した低レイテンシバージョンの配信。
考慮する必要がある様々なセグメント持続時間。
表現切替え
クローズドGOPが一般に必要である。
セグメントは1つの表現内で時間的に重複してはならない。
セグメントは1つの適応セット内の異なる表現にわたって整合されなければならない。
ランダムアクセス
オープンGOPが一般に必要である。
オープンGOPランダムアクセスが許可される場合、セグメントは1つの表現内で時間的に重複してよい。
配信ユニット
ランダムアクセスまたは切替えに関して何の要件もない。
セグメントは整数のムービーセグメントを含まなければならない。
配信ユニットセグメントフォーマット202:何の制約もないフラグメントのみ。(図2において実線の輪郭を用いて楕円によって表現されている)。
ランダムアクセスセグメントフォーマット204:同調のためのオープンGOP。(図2において破線の輪郭を用いて楕円によって表現されている)。
非重複セグメントフォーマット206:クライアントデバイスは、何の問題もなしに、このフォーマットのセグメントに切り替えることができる。(図2において点線の輪郭を用いて楕円によって表現されている)。
切り替えセグメントフォーマット208:クライアントデバイスは、このフォーマットのセグメントに切り替えることができる。(図2において二重点線の輪郭を用いて楕円によって表現されている)。
様々なメディアセグメントタイプおよびその構造の定義。
現在の属性の検討。
ソリューション考慮。
MPDシグナリング。
セグメント内のタイプのシグナリング。
MPD内のタイプのシグナリング。
様々な使用事例に関する適応セットの有効化。
各メディアセグメントは、1つまたは複数の自己完結型ムービーフラグメントを含むべきである。自己完結型ムービーフラグメント全体はムービーフラグメント(「moof」)ボックスであり、トラックによって参照される外部データ参照を使用しないすべてのメディアサンプルを含むメディアデータ(「mdat」)ボックスはムービーフラグメントボックス内で実行する。
各「moof」ボックスは少なくとも1つのトラックフラグメントを包含すべきである。
「moof」ボックスは外部データ参照を使用すべきではなく、フラグ「default-base-is-moof」が設定されるべきであり、データオフセットが使用されるべき、すなわち、「base-data-offset-present」は使用されるべきではない。設定のこの組合せは、メディアデータに関するムービーフラグメント相対アドレッシングと呼ばれる場合がある。
各メディアセグメントは、互換性があるブランドとして、セグメントタイプボックス(「styp」)内で「dums」を搬送することができる。このブランドの準拠要件は本開示において定義される通りであり得る。
メディアセグメントは、上記で指定したように、配信ユニットメディアセグメントフォーマットに準拠すべきである。
ランダムアクセスメディアセグメント内の各ムービーフラグメント内の第1のアクセスユニットは、(たとえば、IDRピクチャ、CRAピクチャ、またはBLAピクチャを含む)タイプ1、2、または3のSAPのISAUに対応すべきである。
メディアセグメントは、ストリーム内のメディアにアクセスするために十分な情報、たとえば、利用可能な場合、初期化セグメントとの組合せですべての必要な暗号を搬送すべきである。
各「traf」ボックス(トラックフラグメントボックス)は「tfdt」ボックス(トラックフラグメント復号時間ボックス)を含むべきである。
各メディアセグメントは、互換性のあるブランドとして、セグメントタイプボックス(「styp」)内で「rams」を搬送することができる。このブランドの準拠要件は本下位条項において定義される通りである。
各メディアセグメントは、1つまたは複数の「sidx」ボックスを含み得る。存在する場合、第1の「sidx」ボックスはいずれの「moof」ボックスの前に配置されるべきであり、第1のセグメントインデックスボックスはセグメント全体を文書化すべきである。
メディアセグメントは、上記で指定したように、配信ユニットメディアセグメントフォーマットに準拠すべきである。
セグメントおよびその先行するセグメントは非重複属性を満たすという意味で、セグメントはISO/IEC23009-1の4.5.3において定義されるように非重複属性を満たすべきである。
メディアセグメントは、上記で指定したように、ランダムアクセスメディアセグメントフォーマットに準拠すべきである。
切替えメディアセグメント内の第1のムービーフラグメント内の第1のサンプルは、タイプ1または2のSAPのISAUに対応すべきである(たとえば、IDRピクチャ)。
各メディアセグメントは、互換性があるブランドとして、セグメントタイプボックス内で「swms」を搬送する。このブランドの準拠要件は本下位条項において定義される通りである。
明示的にシグナリングされるか、またはパターンを通してシグナリングされる、表現内の各メディアセグメントのタイプ。
1つの適応セット内に異なるセグメントサイズを有するが、依然として、整合された切替えポイントを有する能力、すなわち、切替えメディアセグメントは同時に開始する。
minBufferTimeおよび帯域幅の計算に関する結果(ランダムアクセスポイントから開始すべき)。
表現内のパターン。
すべてのセグメントは配信ユニットメディアタイプのセグメントのものであり、すべてのN番目のセグメントはランダムアクセスメディアセグメントであり、すべてのM番目のセグメントはM>=Nである切替えセグメントである。一部の省略およびデフォルトは実行可能であり得る。
これは新しい属性、rams-frequencyおよびswmg-frequencyを用いてシグナリングされ得る。
MPDを更新せずにパターンの表現を可能にする他の省略パターン。
タイムラインセグメント内のパターン
各要素に関するタイムラインセグメント内のオプションのタイプフィールドの追加。
セグメントタイプ。
タイプフィールドはまた上記のパターンのようにパターンを表すこともできる。
タイムラインセグメント内のS要素の更新に伴う不規則性のシグナリングを有効化する。
明示的
場合によっては、いくつかのパターンを交互させて、明示的なリスト内でセグメントパターンをシグナリングすることを可能にするフィールドを追加する。
これはセグメント持続時間のシグナリングも含み得る。
すべての表現は同じ位置に切替えポイントを有し、すべての表現は整合される。これは単一のフラグを用いてシグナリングされ得る。
切替えポイントが特定の時間(この場合、複雑であり得るMPD時間)にシグナリングされるとき、これは、表現内のすべての他の切替えポイントに整合される。これはまた、単一のフラグを用いてシグナリング可能であり、上記で論じたのと同じフラグを使用することができる。
いくつかの例では、続く切替えメディアセグメントが存在しない場合ですら、クライアントデバイス40が重複なしポイントから切替えメディアセグメントに切り替えることができるように、依然として重複は存在しない。
切替えポイントの他のより明示的なシグナリングをマニフェストファイル66内でさらにシグナリングすることができる。
すべての切替えメディアセグメントは、互換性があるブランドとして、セグメントタイプボックス(「styp」)内で「swms」を搬送すべきである。
「swms」を搬送しないすべての「ランダムアクセスメディア」セグメントは、互換性があるブランドとして、セグメントタイプボックス(「styp」)内で「rams」を搬送すべきである。
1.セグメント可用性時間のシグナリング
@durationまたはセグメントタイムラインのいずれか:
提案は、新しいプロファイル内で簡素化し、この目的でセグメントタイムラインだけを使用するが、これは、セグメントタイムラインは@durationのスーパーセットであるためである。
しかしながら、セグメントタイムラインは例外を認めるため、セグメントタイムラインはより複雑である。
セグメントライムライン内の時間が正確なセグメント持続時間であるか(コンテンツオーサリングにおいてより低いフレキシビリティを許可するか)またはドリフトフリー(drift-free)持続時間であり、セグメント可用性時間だけをシグナリングするかどうかを明らかにする必要もある。
@timecaleの適切な適用によって、この問題を解決することができることに留意することが重要である。
2.属性、すなわち、重複なしからの切替えのシグナリング
セグメントアラインメントが適応セット内で真に設定されていることによる。
問題は、これは各セグメントが同じ持続時間を有する必要があることである。
重複なしは、より蜜な粒度で表される必要がある。
3.ランダムアクセスのシグナリング
SAPを1、2、または3に設定することから開始する:
問題は、これはあまり明示的に示されないことである。
他の要件も設定されなければならない。ランダムアクセスセグメントの拡張された定義を参照。
4.切替えポイントのシグナリング。
SAPを1または2に設定することから開始する:
問題は、これはあまり明示的に示されないことである。
他のタイプの切替えを適用することができるが、これはさらなる考えを必要とする。何らかのフレキシビリティを追加すべきである。
5.セグメントURLのシグナリング
数ベースのテンプレート
問題は基本的に、各セグメントが各適応セット内の各表現内に同じ数を有するという仮定が存在することである。これは要件ではないが、実装において仮定される可能性が高いことに留意されたい。1つの適応セット内で異なるサイズのセグメントを有するように変更する場合、番号付けの対応はもはや存在しない。
差し当たり、簡素化するために、番号を使用しない。
時間ベースのテンプレート
問題は基本的に、各セグメントが各適応セット内の各表現内に同じ時間を有するという仮定が存在することである。これは要件ではないが、実装において仮定される可能性が高いことに留意されたい。
しかしながら、これは共通のタイムラインに関して表され得ることにも留意されたい。さらに、異なる表現にわたる関係を表すために、タイムラインは番号付けよりも適切である。
「セグメント」のリスト
問題は、ここで、リスト位置はセグメントに整合し、これはネーミングが任意である場合に当てはまる可能性があることである。クライアントは、適応セット内の各表現のリストの正確なマッピングおよび順序を維持する必要がある。
持続時間/セグメントタイムラインは配信ユニットに割り当てられるが、これは、セグメントがサーバにおいて利用可能であるとき、持続時間/セグメントタイムラインは時間を表すためである。
時間は、メディア時間の点で正確でない可能性があるが、セグメント可用性開始時間を計算するために使用される。
このタイミングは1つの適応セット内の異なる表現に対して異なり得る。たとえば、他の表現よりもより多くの配信ユニットを有する、利用可能な「表現」が存在し得る。使用事例の議論を参照されたい。
上記の信号に基づいてセグメント可用性開始時間をどのように計算するかに関する明瞭な命令が必要とされる。既存のモデルは効果的であるが、本開示の技法に従ってセグメント可用性開始時間の計算について既存のモデルが使用される場合、その実務家は既存のモデルを適切に使用することが確実であるべきである。
これは、セグメント可用性時間はいくつかの表現に関して調整され得るか、または可用性時間オフセットによってbaseURLに関して調整され得ることを含む。
明瞭にすべきもう1つの重要な問題は、セグメント持続時間が可用性開始時間およびシグナリングに与える影響がどの程度不規則であるかである。一般に、セグメントは同じサイズのものであるべきである。
ランダムアクセスは異なる表現内で異なり得る。
ランダムアクセスがセグメントの開始時においてだけタイミングワイズ(timing wise)であるか、またはランダムアクセスがやはりセグメントの中央にあるかを明らかにする必要がある。
4.2.2.によれば、これは、現在、セグメントの開始にあるが、ランダムアクセスポイントが不規則に配置される場合、これは不規則なセグメントをもたらし得る。
セグメント可用性の予測可能性は低いため、これはレイテンシにも影響を及ぼす。
しかしながら、作業仮説として、「ランダムアクセス」はセグメントの開始時であるという4.2.2モデルを維持すべきである。
「ランダムアクセス」は、2つの領域、すなわち、時間、またはセグメント番号付けにおいてシグナリングされ得る。
一般的なツールに達するために、時間ベースの手法を使用することができる。
核心となる実験において、少なくとも2つの切替え手法が論じられた。
ビットストリーム切替え:
DASHクライアントは、表現の内部構造に気づかない。DASHクライアントは、表現をどこでスプライスできるかを単に知っており、これを単一のビットストリームとしてメディアデコーダに供給する。エンコーダは、この属性がカプセル化およびメディアストリームレベルで満たされるように、表現が符号化されることを確実にする。
これは、基本的に、クライアントが次のようにシーケンス/ビットストリームを作成することを許可することになる:
適応セットに関する初期化セグメント
表現1のメディアセグメント1
...
表現1のメディアセグメントX
表現2のメディアセグメントX+1
...
切替えは、メディア内の特定の属性によって有効化される。これはDASHにおいて行われたことである。切替えがファイルプレイアウトレベルにおいてどのように行われ得るかについて何らかの規則が作成された。基本的な規則は、当然、セグメントアラインメントが真に設定され、SAPからの開始が1または2である場合、次のシーケンスがシームレスな切替えを実現することである:
初期化セグメント表現1
表現1のメディアセグメント1
...
表現1のメディアセグメントX
初期化セグメント表現2
表現2のメディアセグメントX+1
...
オープンGOPにおける切替え、またはメディア処理のより詳細な理解を必要とする他の態様。
表現レベルで@timescaleの規模で表される新しい属性@randomAccessPeriod(または、ランダムアクセス期間を表すための何らかの他の手段)を追加する。$Time$が@timescaleおよび@randomAccessPeriodの積の整数倍になる任意のセグメントは、ランダムアクセスセグメントであり、すなわち、これは、この表現の適応セットへのアクセスを許可する。
ランダムアクセスをさらに条件付けることができる。たとえば、何の期間に何のSAPタイプ、すなわち、SAPタイプ1、2、または3が利用可能であるか。3は受けたSAPタイプはまた1または2であり得ることを意味することに留意されたい。
適応セットレベル(1つまたは複数が存在し得る)に関する2つの属性を有する新しい切替えメディアセグメント要素(または、切替えを表すための何らかの他の手段)を追加する。
@timescaleの尺度での@period表現。$Time$が@timescaleとの積の整数倍になる任意の時間位置は、切替え機会を提供し、すなわち、これはこの表現への切替えを許可する。
切替えのタイプを表す@typeが有効化される。少なくとも2つのタイプ、すなわち、ビットストリーム切替えおよびメディアレベル切替えが定義され得る。オープンGOP切替えなど、他のタイプが定義され得る。
そのような切替えを表す別の方法は、記述子を使用することであり、記述子は、切替えのタイプおよび切替え周波数の値を表す。
セグメントタイムラインおよびS要素において、デフォルト設定によって偽に設定する追加の属性@resetを提供する。リセットは、ランダムアクセス期間および切替え期間の周期性がこの時点でリセットされることを意味する。これは、IDRが追加され、セグメントタイムラインが基本的により任意の時間にリセットされることを可能にする。
表現レベル(1つまたは複数が存在し得る)に関する2つの属性を有する新しい切替え要素(または、切替えを表すための何らかの他の手段または要素)を追加する:
@timescaleの尺度での@period表現。$Time$が@timescaleとの積の整数倍になる任意の時間位置は、切替え機会を提供し、すなわち、これはこの表現への切替えを許可する。
切替えのタイプを表す@typeが有効化される。少なくとも2つのタイプ、すなわち、ビットストリーム切替えおよびメディアレベル切替えが定義され得る。オープンGOP切替えなど、他のタイプが定義され得る。
1つの適応セット内のすべての表現に関して単一の@timescaleを使用する。
(簡単のために)セグメント持続時間のシグナリングのためにセグメントタイムラインを使用する。
(簡単のために)URLのシグナリングのために$Time$だけを使用する。
セグメント持続時間に関するタイミングは正確である(作業仮定、その結果を理解する必要がある)。
セグメント持続時間の精度は、使用中の@timescaleによって制御可能であり(留意)、たとえば、タイムスケールが実際のサンプリングレートの1/5だけである場合、正確なサンプリングレートに関して何らかのフレキシビリティを有する。
異なる表現内の異なるセグメント持続時間を可能にするために、セグメントタイムラインは表現単位である。しかしながら、セグメントタイムラインは適応セットレベルにおいてデフォルトであり得る。
セグメントタイムラインは、終端開放型@r(-1)または閉鎖型@r(>=0)を使用することができる。
セグメントアラインメントおよびSAPからの開始は、後方互換性の開発に関して使用され得るが、一般に、使用すべきではない。シグナリングは常に@randomAccess Periodおよび切替え要素によって提供されなければならない。
適応セットが2つ以上の「表現」を含む場合、適応セットレベルの表現に関して切替え論理が提供されることを確実にする必要がある。
4つごとのセグメントが切替え/IDR(瞬時デコーダリフレッシュ)セグメントである。
すべてのセグメントが配信ユニットである。
AdaptationSet
@timescale=50
SegmentTimeline.S:@t=0、@d=25、@r=-1
@randomAccessPeriod=100
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=232
表現:@id=234
各セグメントはランダムアクセスセグメントである。
ブロードキャスト表現内のセグメントは、ユニキャスト表現内のセグメントのサイズの4倍である。
ブロードキャスト/ユニキャスト重複の位置におけるセグメントは切替えセグメントである。
AdaptationSet
@timescale=50
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=1, @randomAccessPeriod=100
SegmentTimeline.S:@t=0、@d=100、@r=-1
表現:@id=2、@randomAccessPeriod=25
SegmentTimeline.S:@t=0、@d=25、@r=-1
セグメント246、248の各々はランダムアクセスセグメントである。(セグメント246Aは図8においてIDRを含むとして示されているが、他の機能的エントリポイントが存在し得るため、ランダムアクセスポイントは必ずしもIDRに制約されるとは限らない。オープンGOPは十分であり得る。)
エンハンスメントレイヤ表現244(すなわち、ブロードキャスト表現)内のセグメント248は、ベースレイヤ表現242(すなわち、ユニキャスト表現)内のセグメント246の持続時間の4倍である。
AdaptationSet
@timescale=50
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=242、@randomAccessPeriod=25
SegmentTimeline.S:@t=0、@d=25、@r=-1
表現:@id=244、@randomAccessPeriod=100、@dependencyID=242
SegmentTimeline.S:@t=0、@d=100、@r=-1
AdaptationSet
@timescale=50
@randomAccessPeriod=25
SegmentTimeline.S:@t=0、@d=25、@r=-1
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=250
各セグメントはランダムアクセスセグメントである。
4つごとのセグメントはメディア切替えのための切替えセグメントである。
AdaptationSet
@timescale=50
SegmentTimeline.S:@t=0、@d=25、@r=-1
@randomAccessPeriod=25
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=262
表現:@id=264
各セグメントはランダムアクセスセグメントである。
4つごとのセグメントはメディア切替えのための切替えセグメントである。
すべてのセグメントはオープンGOP切替えのための切替えセグメントである。
AdaptationSet
@timescale=50
SegmentTimeline.S:@t=0、@d=25、@r=-1
@randomAccessPeriod=25
Switching:@period=100、@type=「media」
Switching:@period=25、@type=「open GOP」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=262
表現:@id=264
各セグメントはランダムアクセスセグメントである。
ブロードキャスト表現284内のセグメント288は、ユニキャスト表現282内のセグメント286の持続時間の4倍である。
ブロードキャスト/ユニキャスト重複の位置にあるセグメント(たとえば、セグメント286A、286E、288A、288B)は切替えセグメントである。
AdaptationSet
@timescale=50
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=282、@randomAccessPeriod=100
SegmentTimeline.S:@t=0、@d=100、@r=-1
表現:@id=284、@randomAccessPeriod=25
SegmentTimeline.S:@t=0、@d=25、@r=-1
各セグメントはランダムアクセスセグメントである。
ブロードキャスト表現294内のセグメント298は、ユニキャスト表現292内のセグメント296の持続時間の4倍である。
ブロードキャスト/ユニキャスト重複の位置にあるセグメント(たとえば、セグメント296A、296E、298A、298B)は切替えセグメントである。
AdaptationSet
@timescale=50
Switching:@period=100、@type=「media」
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=292、@randomAccessPeriod=100
SegmentTimeline.S:@t=0、@d=100、@r=-1
表現:@id=294、@randomAccessPeriod=50
SegmentTimeline.S:@t=0、@d=25、@r=-1
表現302内のセグメント306の各々はランダムアクセスセグメントである。
AdaptationSet
@timescale=50
Switching:@period=100、@type=「media」
SegmentTimeline.S:@t=0、@d=25、@r=-1
SegmentTemplate@media=「http://example.com/$RepresentationID$」/segment_$Time$.mp4
表現:@id=302、@randomAccessPeriod=25
Switching:@period=25、@type=「media」
表現:@id=304、@randomAccessPeriod=100
Switching:@period=100、@type=「media」
追加の新しいセグメントタイプ。
切替えおよび@randomAccessPeriodのための追加のMPDシグナリング。
異なるタイプの切替えに関する定義。
メディア切替え:セグメントアラインメントおよびSAPタイプ1または2。
ビットストリーム切替え:連結が許可される。
オープンGOP切替え。
拡張および制限を文書化するプロファイルを追加する。
後方互換性に関するいずれの問題も文書化する。
より詳細な例を提供する。
本開示の技法に加えて、またはその代替として、ある種の影響および利益をもたらし得る番号ベースのシグナリングが可能である。
本開示の技法に加えて、またはその代替として、リサンプリングおよび非リサンプリングを並行させることが可能な、異なるタイプのオープンGOP切替えも可能である。
上記で論じたメディアフォーマットに関して、追加または代替のメディアフォーマットを使用することができる。
いくつかの例では、フルセグメントに加えて、またはその代替として、サブセグメントを使用することもできる。図6に示したようなセグメントインデックスボックス(SIDX)は、サブセグメントのロケーションをシグナリングすることができ、かつ/または(たとえば、ファイルメタデータ内で、および/またはMPDなどのマニフェストファイル内で)追加の情報がシグナリングされ得る。
20 コンテンツ準備デバイス
22 オーディオソース
24 ビデオソース
26 オーディオエンコーダ
28 ビデオエンコーダ
30 カプセル化ユニット
32 出力インターフェース
40 クライアントデバイス
42 オーディオ出力
44 ビデオ出力
46 オーディオデコーダ
48 ビデオデコーダ
50 カプセル化解除ユニット
52 取出しユニット
54 ネットワークインターフェース
60 サーバデバイス
62 記憶媒体
64 マルチメディアコンテンツ
66 マニフェストファイル
68A〜68N 表現
70 要求処理ユニット
72 ネットワークインターフェース
74 ネットワーク
102 マルチメディアコンテンツ
104 メディアプレゼンテーション記述(MPD)
110A〜110N 表現
112 ヘッダデータ
114 セグメント114A〜114N
122 ヘッダデータ
124A〜124N セグメント
130 期間情報
132 適応セット情報
134A〜134N 表現情報
136A セグメントタイプ情報
136N セグメントタイプ情報
138A セグメント機能情報
138N セグメント機能情報
140A セグメントロケーション
140N セグメントロケーション
150 ビデオファイル
152 ファイルタイプ(FTYP)ボックス
154 ムービー(MOOV)ボックス
156 ムービーヘッダ(MVHD)ボックス
158 トラック(TRAK)ボックス
160 ムービー延長(MVEX:movie extends)ボックス
162 セグメントインデックス(SIDX)ボックス
164 ムービーフラグメント(MOOF)ボックス、ムービーフラグメント
166 ムービーフラグメントランダムアクセス(MFRA)ボックス
200 ベン図
202 配信ユニットセグメントフォーマット
204 ランダムアクセスセグメントフォーマット
206 非重複セグメントフォーマット
208 切替えセグメントフォーマット
210 表現
212A〜212C ISO MBFFファイル
230 適応セット
232 表現
234 表現
236A〜236E IDRセグメント
238A〜238E セグメント
240 適応セット
242 ベースレイヤ(ユニキャスト)表現
244 エンハンスメントレイヤ(ブロードキャスト)表現
246A〜246E セグメント
248A セグメント
248B セグメント
250 表現
252A〜252E セグメント
254 適応セット
260 適応セット
262 表現
264 表現
266A〜266F セグメント
268A〜268F セグメント
270 セグメントトラバーサル
280 適応セット
282 ユニキャスト表現
284 ブロードキャスト表現
286A〜286F セグメント
288A セグメント
288B セグメント
290 適応セット
292 ユニキャスト表現
294 ブロードキャスト表現
296A〜296F セグメント
298A セグメント
298B セグメント
300 適応セット
302 表現
304 表現
306A〜306F セグメント
308A〜308F セグメント
Claims (13)
- メディアデータを取り出す方法であって、
サーバデバイスから、メディアコンテンツの表現内に含まれる複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを示す情報を含むマニフェストファイルを受信するステップであって、前記複数のメディアセグメントのタイプが、
配信ユニットメディアセグメントフォーマットであって、前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数の自己完結型ムービーフラグメントを含む、配信ユニットメディアセグメントフォーマットと、
ランダムアクセスメディアセグメントフォーマットであって、前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、前記メディアセグメントの前記自己完結型ムービーフラグメントの各々における1番目のアクセスユニットが、タイプ1、2、または3のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、ランダムアクセスメディアセグメントフォーマットと、
重複なしメディアセグメントフォーマットであって、前記重複なしメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、かつ前記表現内の他のセグメントおよび前記表現を含む適応セット内の他の表現内の他のセグメントの開始時間および終了時間に重複しない、重複なしメディアセグメントフォーマットと、
切替えメディアセグメントフォーマットであって、前記切替えメディアセグメントフォーマットに準拠するメディアセグメントが、前記ランダムアクセスメディアセグメントフォーマットに準拠し、1番目のムービーフラグメントの1番目のサンプルが、タイプ1または2のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、切替えメディアセグメントフォーマットとを含む、ステップと、
前記情報から、前記メディアコンテンツの表現内に含まれる前記複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを決定するステップと、
前記サーバデバイスからメディアコンテンツストリームのメディアセグメントを取り出すために、前記決定されたタイプを使用するステップとを含む、
方法。 - メディアコンテンツのメディアセグメントを取り出すために、メディア情報をシグナリングする方法であって、
前記メディアコンテンツの表現内に含まれる複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを示すマニフェストファイルを構築するステップであって、前記複数のメディアセグメントのタイプが、
配信ユニットメディアセグメントフォーマットであって、前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数の自己完結型ムービーフラグメントを含む、配信ユニットメディアセグメントフォーマットと、
ランダムアクセスメディアセグメントフォーマットであって、前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠するランダムアクセスメディアセグメントフォーマットであって、
前記メディアセグメントの前記自己完結型ムービーフラグメントの各々における1番目のアクセスユニットが、タイプ1、2、または3のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、ランダムアクセスメディアセグメントフォーマットと、
重複なしメディアセグメントフォーマットであって、前記重複なしメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、かつ前記表現内の他のセグメントおよび前記表現を含む適応セット内の他の表現内の他のセグメントの開始時間および終了時間に重複しない、重複なしメディアセグメントフォーマットと、
切替えメディアセグメントフォーマットであって、前記切替えメディアセグメントフォーマットに準拠するメディアセグメントが、前記ランダムアクセスメディアセグメントフォーマットに準拠し、1番目のムービーフラグメントの1番目のサンプルが、タイプ1または2のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、切替えメディアセグメントフォーマットとを含む、ステップと、
前記マニフェストファイルをクライアントデバイスに送信するステップと、
前記複数のメディアセグメントのタイプのうちの1つに準拠するメディアセグメントに対する前記クライアントデバイスからの要求に応答して、前記メディアセグメントのタイプに準拠するメディアセグメントを前記クライアントデバイスに送信するステップとを含む、
方法。 - 前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、前記メディアセグメントのセグメントタイプボックス内に「dums」の値を包含し、前記自己完結型ムービーフラグメントの各々が、ムービーフラグメント(「moof」)ボックスと、自己完結型ムービーフラグメントボックス内のトラックによって参照される外部データ参照を使用しないメディアサンプルを含むメディアデータ(「mdat」)ボックスとを備え、moofボックスの各々が少なくとも1つのトラックフラグメントを含み、前記moofボックスの各々が外部参照を使用せず、前記メディアセグメントの「default-base-is-moof」フラグが真に設定され、前記メディアセグメントの「base-data-offset-present」フラグが偽に設定される、
請求項1または2に記載の方法。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、メディアデータにアクセスするためのすべての必要な情報を前記メディアセグメントに続くビットストリーム内に含む、
請求項1または2に記載の方法。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、瞬時デコーダリフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの少なくとも1つを備える、
請求項4に記載の方法。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数のセグメントインデックス(「sidx」)ボックスを含み、順序を示す第1のsidxボックスが、前記メディアセグメントのすべてのmoofボックスに先行し、かつメディアセグメント全体を記述する、
請求項1または2に記載の方法。 - メディアデータを取り出すクライアントデバイスであって、
サーバデバイスから、メディアコンテンツの表現内に含まれる複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを示す情報を含むマニフェストファイルを受信する手段であって、前記複数のメディアセグメントのタイプが、
配信ユニットメディアセグメントフォーマットであって、前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数の自己完結型ムービーフラグメントを含む、配信ユニットメディアセグメントフォーマットと、
ランダムアクセスメディアセグメントフォーマットであって、前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、前記メディアセグメントの前記自己完結型ムービーフラグメントの各々における1番目のアクセスユニットが、タイプ1、2、または3のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、ランダムアクセスメディアセグメントフォーマットと、
重複なしメディアセグメントフォーマットであって、前記重複なしメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、かつ前記表現内の他のセグメントおよび前記表現を含む適応セット内の他の表現内の他のセグメントの開始時間および終了時間に重複しない、重複なしメディアセグメントフォーマットと、
切替えメディアセグメントフォーマットであって、前記切替えメディアセグメントフォーマットに準拠するメディアセグメントが前記ランダムアクセスメディアセグメントフォーマットに準拠し、1番目のムービーフラグメントの1番目のサンプルが、タイプ1または2のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、切替えメディアセグメントフォーマットとを含む、手段と、
前記情報から、前記メディアコンテンツの表現内に含まれる前記複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを決定する手段と、
前記サーバデバイスからメディアコンテンツストリームのメディアセグメントを取り出すために、前記決定されたタイプを使用する手段とを備える、
クライアントデバイス。 - メディアコンテンツのメディアセグメントを取り出すためにメディア情報をシグナリングするサーバデバイスであって、
前記メディアコンテンツの表現内に含まれる複数のメディアセグメントのタイプのうちのどのタイプに準拠するかを示すマニフェストファイルを構築する手段であって、前記複数のメディアセグメントのタイプが、
配信ユニットメディアセグメントフォーマットであって、前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数の自己完結型ムービーフラグメントを含む、配信ユニットメディアセグメントフォーマットと、
ランダムアクセスメディアセグメントフォーマットであって、前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、前記メディアセグメントの前記自己完結型ムービーフラグメントの各々における1番目のアクセスユニットが、タイプ1、2、または3のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、ランダムアクセスメディアセグメントフォーマットと、
重複なしメディアセグメントフォーマットであって、前記重複なしメディアセグメントフォーマットに準拠するメディアセグメントが、前記配信ユニットメディアセグメントフォーマットに準拠し、かつ前記表現内の他のセグメントおよび前記表現を含む適応セット内の他の表現内の他のセグメントの開始時間および終了時間に重複しない、重複なしメディアセグメントフォーマットと、
切替えメディアセグメントフォーマットであって、前記切替えメディアセグメントフォーマットに準拠するメディアセグメントが、前記ランダムアクセスメディアセグメントフォーマットに準拠し、1番目のムービーフラグメントの1番目のサンプルが、タイプ1または2のISOベースのメディアファイルフォーマットのストリームアクセスポイント(SAP)のISAUである、切替えメディアセグメントフォーマットとを含む、手段と、
前記マニフェストファイルをクライアントデバイスに送信する手段と、
前記複数のメディアセグメントのタイプのうちの1つに準拠するメディアセグメントに対する前記クライアントデバイスからの要求に応答して、前記メディアセグメントのタイプに準拠するメディアセグメントを前記クライアントデバイスに送信する手段とを備える、
サーバデバイス。 - 前記配信ユニットメディアセグメントフォーマットに準拠するメディアセグメントが、前記メディアセグメントのセグメントタイプボックス内に「dums」の値を包含し、前記自己完結型ムービーフラグメントの各々が、ムービーフラグメント(「moof」)ボックスと、自己完結型ムービーフラグメントボックス内のトラックによって参照される外部データ参照を使用しないメディアサンプルを含むメディアデータ(「mdat」)ボックスとを備え、moofボックスの各々が少なくとも1つのトラックフラグメントを含み、前記moofボックスの各々が外部参照を使用せず、前記メディアセグメントの「default-base-is-moof」フラグが真に設定され、前記メディアセグメントの「base-data-offset-present」フラグが偽に設定される、
請求項7または8に記載のデバイス。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、メディアデータにアクセスするためのすべての必要な情報を前記メディアセグメントに続くビットストリーム内に含む、
請求項7または8に記載のデバイス。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、瞬時デコーダリフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの少なくとも1つを備える、
請求項7または8に記載のデバイス。 - 前記ランダムアクセスメディアセグメントフォーマットに準拠するメディアセグメントが、1つまたは複数のセグメントインデックス(「sidx」)ボックスを含み、順序を示す第1のsidxボックスが、前記メディアセグメントのすべてのmoofボックスに先行し、かつメディアセグメント全体を記述する、
請求項7または8に記載のデバイス。 - 実行されたとき、請求項1〜6のいずれか一項に記載の方法をプロセッサに行わせる命令を記憶した、コンピュータ可読記憶媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562114423P | 2015-02-10 | 2015-02-10 | |
US62/114,423 | 2015-02-10 | ||
US201562183054P | 2015-06-22 | 2015-06-22 | |
US62/183,054 | 2015-06-22 | ||
US15/019,804 US10270823B2 (en) | 2015-02-10 | 2016-02-09 | Low latency video streaming |
US15/019,804 | 2016-02-09 | ||
PCT/US2016/017325 WO2016130657A1 (en) | 2015-02-10 | 2016-02-10 | Low latency video streaming |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018510545A JP2018510545A (ja) | 2018-04-12 |
JP2018510545A5 JP2018510545A5 (ja) | 2019-03-07 |
JP6655091B2 true JP6655091B2 (ja) | 2020-02-26 |
Family
ID=56567242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541633A Active JP6655091B2 (ja) | 2015-02-10 | 2016-02-10 | 低レイテンシビデオストリーミング |
Country Status (13)
Country | Link |
---|---|
US (1) | US10270823B2 (ja) |
EP (1) | EP3257255B1 (ja) |
JP (1) | JP6655091B2 (ja) |
KR (1) | KR102168596B1 (ja) |
CN (1) | CN107251562B (ja) |
AU (1) | AU2016219369B2 (ja) |
BR (1) | BR112017017152A2 (ja) |
EA (1) | EA201791558A1 (ja) |
ES (1) | ES2767288T3 (ja) |
HU (1) | HUE047298T2 (ja) |
TN (1) | TN2017000306A1 (ja) |
TW (1) | TWI686077B (ja) |
WO (1) | WO2016130657A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10454985B2 (en) | 2015-03-04 | 2019-10-22 | Qualcomm Incorporated | File format based streaming with dash formats based on LCT |
US10681107B2 (en) * | 2015-06-16 | 2020-06-09 | Apple Inc. | Adaptive video content for cellular communication |
US10554713B2 (en) * | 2015-06-19 | 2020-02-04 | Microsoft Technology Licensing, Llc | Low latency application streaming using temporal frame transformation |
TWI599218B (zh) * | 2016-07-29 | 2017-09-11 | 元智大學 | 即時影音傳輸系統 |
US10484701B1 (en) * | 2016-11-08 | 2019-11-19 | Amazon Technologies, Inc. | Rendition switch indicator |
WO2018115267A1 (en) * | 2016-12-22 | 2018-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Media streaming with fast tuning and fast channel switching |
CN106658042B (zh) * | 2016-12-28 | 2019-07-02 | 广州华多网络科技有限公司 | 一种数据推送方法及相关客户端、服务器 |
US10476943B2 (en) | 2016-12-30 | 2019-11-12 | Facebook, Inc. | Customizing manifest file for enhancing media streaming |
US10440085B2 (en) * | 2016-12-30 | 2019-10-08 | Facebook, Inc. | Effectively fetch media content for enhancing media streaming |
US9872062B1 (en) * | 2017-02-22 | 2018-01-16 | Wyse Technology L.L.C. | Enforcing synchronization by embedding audio within video frame data |
GB2560953A (en) * | 2017-03-30 | 2018-10-03 | Nokia Technologies Oy | Video Streaming |
US10924822B2 (en) * | 2017-04-04 | 2021-02-16 | Qualcomm Incorporated | Segment types as delimiters and addressable resource identifiers |
US11665219B2 (en) * | 2017-07-10 | 2023-05-30 | Qualcomm Incorporated | Processing media data using a generic descriptor for file format boxes |
JP6271072B1 (ja) * | 2017-10-10 | 2018-01-31 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
US10432970B1 (en) * | 2018-06-14 | 2019-10-01 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for encoding 360° immersive video |
US10862940B1 (en) * | 2018-07-31 | 2020-12-08 | Glance Networks, Inc. | Low latency live video on a communication session |
US11284134B2 (en) * | 2018-08-08 | 2022-03-22 | Comcast Cable Communications, Llc | Media content enhancement based on content importance |
US10779017B2 (en) * | 2018-12-10 | 2020-09-15 | Warner Bros. Entertainment Inc. | Method and system for reducing drop-outs during video stream playback |
EP3939329A4 (en) * | 2019-03-14 | 2022-12-14 | Nokia Technologies Oy | APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VIDEO CODING AND DECODING |
US11831879B2 (en) * | 2019-09-20 | 2023-11-28 | Comcast Cable Communications, Llc | Methods, systems, and apparatuses for enhanced adaptive bitrate segmentation |
US11765444B2 (en) * | 2020-07-01 | 2023-09-19 | Qualcomm Incorporated | Streaming media data including an addressable resource index track |
CN113691886B (zh) * | 2021-08-25 | 2024-05-07 | 三星电子(中国)研发中心 | 流媒体文件的下载方法和装置 |
US20230076014A1 (en) * | 2021-08-27 | 2023-03-09 | AirMettle, Inc. | Partitioning, processing, and protecting media data |
CN118044207A (zh) * | 2021-09-30 | 2024-05-14 | 抖音视界有限公司 | 用于视频流式传输的方法、装置和介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010093115A2 (en) * | 2009-02-12 | 2010-08-19 | Lg Electronics Inc. | Broadcast receiver and 3d subtitle data processing method thereof |
US9485546B2 (en) * | 2010-06-29 | 2016-11-01 | Qualcomm Incorporated | Signaling video samples for trick mode video representations |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US8806050B2 (en) * | 2010-08-10 | 2014-08-12 | Qualcomm Incorporated | Manifest file updates for network streaming of coded multimedia data |
US20130170561A1 (en) * | 2011-07-05 | 2013-07-04 | Nokia Corporation | Method and apparatus for video coding and decoding |
US20130042100A1 (en) * | 2011-08-09 | 2013-02-14 | Nokia Corporation | Method and apparatus for forced playback in http streaming |
US9253233B2 (en) * | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US8935425B2 (en) * | 2011-10-05 | 2015-01-13 | Qualcomm Incorporated | Switching between representations during network streaming of coded multimedia data |
US9843844B2 (en) * | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
WO2013166411A1 (en) * | 2012-05-03 | 2013-11-07 | United Video Properties, Inc. | Systems and methods for preventing access to a media asset segment during a fast-access playback operation |
JP2014239291A (ja) * | 2013-06-06 | 2014-12-18 | ソニー株式会社 | コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム |
WO2015010056A1 (en) * | 2013-07-19 | 2015-01-22 | Huawei Technologies Co., Ltd. | Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol |
-
2016
- 2016-02-09 US US15/019,804 patent/US10270823B2/en active Active
- 2016-02-10 TN TNP/2017/000306A patent/TN2017000306A1/en unknown
- 2016-02-10 KR KR1020177021971A patent/KR102168596B1/ko active IP Right Grant
- 2016-02-10 BR BR112017017152-0A patent/BR112017017152A2/pt active Search and Examination
- 2016-02-10 AU AU2016219369A patent/AU2016219369B2/en active Active
- 2016-02-10 WO PCT/US2016/017325 patent/WO2016130657A1/en active Application Filing
- 2016-02-10 EA EA201791558A patent/EA201791558A1/ru unknown
- 2016-02-10 HU HUE16712103A patent/HUE047298T2/hu unknown
- 2016-02-10 EP EP16712103.7A patent/EP3257255B1/en active Active
- 2016-02-10 CN CN201680008760.4A patent/CN107251562B/zh active Active
- 2016-02-10 JP JP2017541633A patent/JP6655091B2/ja active Active
- 2016-02-10 ES ES16712103T patent/ES2767288T3/es active Active
- 2016-02-15 TW TW105104379A patent/TWI686077B/zh active
Also Published As
Publication number | Publication date |
---|---|
BR112017017152A2 (pt) | 2018-04-03 |
TWI686077B (zh) | 2020-02-21 |
AU2016219369A1 (en) | 2017-07-27 |
ES2767288T3 (es) | 2020-06-17 |
TW201633783A (zh) | 2016-09-16 |
AU2016219369B2 (en) | 2019-10-31 |
HUE047298T2 (hu) | 2020-04-28 |
KR102168596B1 (ko) | 2020-10-21 |
JP2018510545A (ja) | 2018-04-12 |
EP3257255B1 (en) | 2019-10-16 |
TN2017000306A1 (en) | 2019-01-16 |
US10270823B2 (en) | 2019-04-23 |
WO2016130657A1 (en) | 2016-08-18 |
KR20170116027A (ko) | 2017-10-18 |
CN107251562B (zh) | 2020-03-20 |
EA201791558A1 (ru) | 2017-12-29 |
US20160234536A1 (en) | 2016-08-11 |
EP3257255A1 (en) | 2017-12-20 |
CN107251562A (zh) | 2017-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6655091B2 (ja) | 低レイテンシビデオストリーミング | |
US10587934B2 (en) | Virtual reality video signaling in dynamic adaptive streaming over HTTP | |
US10397295B2 (en) | Processing continuous multi-period content | |
KR101703179B1 (ko) | 미디어 스트리밍 동안 적응 세트들 간의 스위칭 | |
KR101558116B1 (ko) | 코딩된 멀티미디어 데이터의 네트워크 스트리밍 동안의 표현들 사이의 전환 | |
US11665219B2 (en) | Processing media data using a generic descriptor for file format boxes | |
KR102434300B1 (ko) | 샘플 엔트리들 및 랜덤 액세스 | |
KR20160110424A (ko) | Dash의 강건한 라이브 동작 | |
KR102434299B1 (ko) | 샘플 엔트리들 및 랜덤 액세스 | |
EA045713B1 (ru) | Способ и клиентское устройство для извлечения мультимедийных данных из серверного устройства | |
OA18391A (en) | Low latency video streaming. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6655091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |