JP7061121B2 - 配信性能を改善するためのリソースセグメント化 - Google Patents

配信性能を改善するためのリソースセグメント化 Download PDF

Info

Publication number
JP7061121B2
JP7061121B2 JP2019524241A JP2019524241A JP7061121B2 JP 7061121 B2 JP7061121 B2 JP 7061121B2 JP 2019524241 A JP2019524241 A JP 2019524241A JP 2019524241 A JP2019524241 A JP 2019524241A JP 7061121 B2 JP7061121 B2 JP 7061121B2
Authority
JP
Japan
Prior art keywords
fragment
client
fragments
information
media segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019524241A
Other languages
English (en)
Other versions
JP2019537897A (ja
Inventor
マグナス ヴェスタールンド,
ベアトリス グラフラ-ゴンツァレス,
ゲーラン エリクソン,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2019537897A publication Critical patent/JP2019537897A/ja
Application granted granted Critical
Publication of JP7061121B2 publication Critical patent/JP7061121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots

Description

ライブストリーミングにおいて使用されるメディアセグメントのようなリソースをセグメント化するための実施形態が開示される。
現行のストリーミング手法
ライブおよびビデオオンデマンドに適応するビットレートストリーミングのための現行の手法は、主として、ハイパーテキスト転送プロトコル(HTTP)に依拠する(例えば、[HTTP]を参照されたい)。これらの手法において、クライアント(User Agent(ユーザエージェント)またはUAとしても参照される)は、各々がメディアサンプル(すなわち、オーディオサンプルおよび/またはビデオサンプル)を包含する複数のメディアセグメントを抽出するために、HTTPを使用することができる。これらのメディアセグメントは、クライアントがメディアセグメントをパースし、メディアサンプルを復号し、最終的にはメディアをクライアントのユーザに向けて再生することを可能にする、一定のフォーマット(例えば、ISOBMFF)に従う。すなわち、メディアセグメントを抽出した後、クライアントは、メディアセグメントのコンテンツをパースし、ユーザ向けにレンダリングすることが可能である。
これらの現行の手法の下では、そのようなメディアセグメントの内在的に異なる表現(例えば、異なった符号化品質の異なる表現)を含む、個々のメディアセグメントの所在に関する情報を提供するより上位の層が存在する。以下の2つの支配的なソリューションが使用される。(1)HTTPライブストリーミング(HLS)(例えば、[HLS]参照)および(2)HTTP上の動的適応ストリーミング(Dynamic adaptive streaming over HTTP)(DASH)(例えば、[DASH]参照)。これらのソリューションは両方とも、種々のメディアセグメントおよびそれらのメディアセグメントのビットレートを記述するマニフェストファイルを使用し、結果、ストリーミングクライアントは、いずれのメディアセグメントを抽出するべきかを判定することができる。いくつかの異なるメディアセグメントフォーマットが存在するが、HLSとDASHは両方とも、ISOベースメディアファイルフォーマット(ISOBMFF)をサポートしている(例えば、[ISOBMFF]参照)。
メディアセグメントフォーマット
ISOBMFFは、柔軟なメディアコンテナファイルフォーマットである。ISOBMFFは、ボックスと呼ばれる構造から構成される。ボックスは、識別子および長さフィールドを含むことができ、ボックスが何を包含しているかを規定するメタデータを含むことができる。ボックスは、他のタイプの1つまたは複数のボックスを包含することができる。一定のタイプのメディアまたは使用事例のためのもののような、特定のフォーマットは、汎用のISOBMFF構造に追加の制約を課す(例えば、メディアファイルに対する要件を規定する、ファイルが包含しなければならないボックスのタイプを指定する)場合がある。DASHは、Initialization Segment(初期化セグメント)およびMedia Segment(メディアセグメント)のような、ISOBMFFファイルフォーマットを使用して、いくつかのタイプのセグメントを規定する。Initialization Segmentは、Media Segmentを復号するのに必要な情報を包含することができる。ただし、Media Segmentのみがメディアサンプルを包含する。各Media Segmentは、moofボックスおよびmdatボックスを包含する。
MOOFボックスは、トラックランボックス(Track Run Box)(trun)を包含するトラックフラグメント(traf)ボックスを包含する。trunボックスは、mdatボックスの内部に記憶されているメディアサンブルの連続的なセットを記録する。そのため、各メディアサンプルについて、少なくともそのサンプルのデータサイズ、およびメディアサンプルの持続時間が提供される。これによって、メディアサンプルが、mdatボックスの内部に連続して記憶されることが可能になる。moofボックスは、mdatボックスの前に記憶される。
作業負荷の分散
HTTPの帯域外(OOB)コンテンツ符号化メカニズムに関して、進行中の研究が存在する(例えば、[OOB]を参照されたい)。このOOBメカニズムは、サーバが、HTTPレスポンスボディのサービングを別の信頼ドメインにリダイレクトすることを可能にする。このメカニズムは例えば、すべての個々のHTTP要求がトランスポート層セキュリティ(TLS)接続の文脈において行われるときに、同一オリジンポリシに違反することなく、良好なプライバシ特性を有し、より柔軟なコンテンツ配布を可能にする、コンテンツ配布ネットワーク(CDN)ノード、エッジサーバまたはサードパーティキャッシュ/プロキシへのセキュアなリダイレクトのために使用することができる。
HTTP代替サービス(例えば、[alt-services]参照)は、要求に対する応答を他のネットワークロケーション、および、場合によっては他の配信プロトコルにリダイレクトするための別の方法である。HTTP代替サービスを使用して、リソースのアイデンティティがリソースの位置から分離される。しかしながら、このリダイレクトは、リダイレクト元全体に適用され、個々のリソースレベルで実施することはできない。
リソース検証
HTTPの文脈において、要求を受けているリソース(例えば、要求を受けているメディアセグメント)のボディのインテグリティを保護および検証するためのいくつかの異なるメカニズムが開発されている。1つの提案は、レスポンスボディのシグネチャである(例えば、[CONTENTSIG]参照)。別の手法は、コンテンツ符号化としてのメッセージ本文の機密性およびインテグリティ検証を可能にする、高度暗号化標準(AES:Advanced Encryption Standard)ガロアカウンタモード(GCM)、すなわちAES GCMの適用である(例えば、[aesgcm]参照)。別の提案は、固定サイズレコードを使用したインテグリティ検証を提供するマークルインテグリティコンテンツ符号化(Merkle Integrity Content Encoding)、すなわちMICEである(例えば、[MICE]参照)。MICEによって、各レコードを、到来するときに検証することができ、以前のレコードが検証されていること、または、検証を実施するエンティティにとってそのレコードに対する正当なハッシュが分かっていることを所与として、受信手段側での漸進的な検証が可能になる。
先行技術文献
[0014] [CONTENTSIG] Thomson, M., "Content-Signature Header Field for HTTP", draft-thomson-http-content-signature-00 (work in progress), July 2015.
[0015] [MICE] Thomson, M., “Merkle Integrity Content Encoding”, draft-thomson-http-mice-01 (work in progress), June 2016.
[0016] [OOB] J. Reschke, and S. Loreto, “‘Out-Of-Band’ Content Coding for HTTP”, draft-reschke-http-oob-encoding-08 (work in progress), September 2016.
[0017] [RFC6454], A. Barth, “The Web Origin Concept”, RFC 6454, December 2011.
[0018] [HLS] R. Pantos, and W. May, “HTTP Live Streaming”, draft-pantos-http-live-streaming-20 (work in progress), September 2016.
[0019] [DASH] “Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats”, ISO/IEC 23009-1:2014, May 2014.
[0020] [HTTP] R. Fielding, J. Reschke, “Hypertext Transfer Protocol (HTTP/1.1): Message Syntax and Routing”, IETF RFC 7230, June 2014.
[0021] [ISOBMFF] “Information technology - Coding of audio-visual objects - Part 12: ISO base media file format”, ISO/IEC 14496-12, July 2012.
[0022] [aesgcm] M. Thomson, “Encrypted Content-Encoding for HTTP”, IETF draft-ietf-httpbis-encryption-encoding-03 (work in progress), October 2016.
[0023] [alt-services] M. Nottingham, et al, “HTTP Alternative Services”, IETF RFC 7838, April 2016.
[0024] [S4-141201] 3GPP TSG-SA4 #81, “MI-EMO: Guidelines for out of order sending of movie fragments”, http://www.3gpp.org/ftp/tsg_sa/wg4_codec/TSGS4_81/Docs/S4-141201.zip, August 2014.
既存のソリューションによる問題
ライブストリーミングを配信するための1つの一般的な方法は、ISOベースメディアファイルフォーマット(ISO BMFF)を用いるDASHを使用することである。ISO BMFFメディアセグメントフォーマットは、moofボックス(すなわち、対応するmdatボックス内に含まれるメディアサンプルのメタデータ(例えば、長さおよび位置)を包含するボックス)がmdatボックスに先行することを指定する。この要件は、符号化手段が対応するメディアサンプルの符号化を完了する前に、符号化手段がmoof全体を生成することを防止する。それゆえ、この要件によって遅延が導入される。遅延は、Tsource_to_playback(符号化手段がメディアセグメントのメディアサンプルの生成を開始するときから、クライアントが再生を開始することができるときまでの遅延)として測定することができる。この遅延は、メディアセグメントがどれだけ早く観賞のために利用可能になるかに影響を与えるため、ユーザにとって重要である。Tsource_to_playbackはさらに、Tsource_to_reception(符号化手段がメディアセグメントの符号化を開始するときから、符号化手段がメディアセグメントを受信エンティティに提供することができるときまでの遅延)とTreception_to_playback(受信エンティティが最初にメディアセグメントの受信を開始するときから、再生を開始することができるときまでの遅延)との合計として測定することができる。それゆえ、メディアサンプルの長さおよび位置が、データ部分よりも前にファイルフォーマット内に書き込まれる必要があることによって(例えば、すべてのメディアサンプルが生成されるまで、moofは完了され得ない)、Tsource_to_receptionが増大するため、Tsource_to_playbackが増大する。この遅延は、メディアセグメントの長さ(典型的には約2~10秒)とともに増大する。
この遅延に対処するための、すなわち、上記で言及した遅延を最小限に抑えるための1つの既知の手法は、特定のメディアセグメントに複数のISOBMFF「動画フラグメント」を作成することである。すなわち、moof/mdatボックス対のシーケンスを含むメディアセグメントを作成することである。例えば、メディアセグメントは、第1の動画フラグメント(すなわち、第1のmoofボックスおよびその後の第1のmdatボックス)および第2の動画フラグメント(すなわち、第2のmoofボックスおよびその後の第2のmdatボックス)を包含することができる。これによって、動画フラグメントが作成されたときに直ちに動画フラグメントを伝送することが可能になる。遅延はフラグメントの長さに依存するため、これによって、遅延を低減することができ、この手法は、各々の長さがより小さい、より多くのフラグメントを作成する。しかしながら、遅延の低減に加えて、この手法はまた、オーバヘッドを増大させる。さらに、この手法は、追加のランダムアクセスポイント(規格に従って、セグメント内のいかなる以前のデータに依拠することもなく復号および連続再生を開始することができるポイントとして規定される)を作成する。ランダムアクセスポイントの頻度は符号化の効率に悪影響を与える(例えば、ビデオ符号化について、この手法はIフレームの数を準最適にする場合がある)ため、この手法はまた、ビデオ符号化に影響を与える可能性もある。
上述した手法にはまた、追加の問題もある。例えば、この手法にはさらに、リソース(例えば、メディアセグメント)のインテグリティの検証が必要であるときには、ランダムアクセスが許容されないという問題がある。インテグリティメカニズムの特性に起因して、制約のないランダムアクセスは可能ではない。にもかかわらず、上述した手法は、リソースの開始を除いて、リソース内のいかなるランダムアクセスポイントも許容しない。追加のランダムアクセスポイントを提供することによって、ライブストリームに後から参加することを可能にすること、または、より大きいビデオシーケンス内で探索すること、または、メディアセグメント内の特定のランダムアクセスポイントにアクセスすることなどの利点が提供される。
帯域外(OOB)符号化、特にHTTPリソース抽出とともに上述した手法を利用するときに、さらなる問題が生じる。例えば、AES GCMを検証に使用する場合、上述した手法は、リソースのインテグリティを検証するために、リソース全体が抽出されることを必要とする。このリソース全体の抽出は、受信クライアントがコンテンツをプレイアウトすることができるまでのコンテンツ取り込みの間の最短時間、すなわち、符号化とクライアント再生との間の時間(すなわち、Tsource_to_playback)に影響を与える。取り込み(符号化)側において、コンテンツは、インテグリティ検証ハッシュを算出することができるようになるまでに完全に取り込まれることを要求する。これは、そのようなハッシュが、リソース全体にわたって計算されるためである。その後、受信手段(復号)側において、送信されるように意図されたものによって何を受信したかを検証しているクライアントは、最初に、インテグリティハッシュが算出されたすべてのコンテンツ、すなわち、リソース全体を受信しなければならない。
AES GCMに加えて、別の既知の手法は、マークルインテグリティコンテンツ符号化(MICE)である。しかしながら、たとえMICEが使用される場合であっても、依然として欠点がある。MICEは、各ブロックが配信を完了したときに、受信手段がリソースの漸進的な検証をブロックごとに実施することを可能にするため(ブロックはリソースよりも小さい単位である)、AES GCMによるいくつかの問題に部分的に対処する。したがって、上記で言及したクライアント側遅延は、リソース全体のサイズではなく、使用されるブロックサイズ、および、ブロックの、基礎となるコンテンツ構造との位置整合に依存する。しかしながら、このMICE手法は、インテグリティ保護を算出し、ハッシュチェーンをコンテンツに追加するときに、符号化手段がリソースの最後の部分を有することを依然として必要とするため、MICEは、上記で言及したサーバ側遅延には対処しない。
既知のインテグリティ検証メカニズムは、動的に生成されるコンテンツでは有効に作用しない。これは、そのようなメカニズムが、符号化手段が検証されるべきリソース全体を知ることを必要とする傾向にあるためである。データが単一のサーバまたは信頼ドメインによって送信されているとき、チャンク転送符号化とともにTLSまたはSSLを使用することができ、トランスポートレベルにおいてデータを検証することが可能であり得るが、そのソリューションは、帯域外サーバからのリソースのインテグリティ検証に依存するOOBのような配信モデルのように、複数のドメインが情報を送出しているときには実践可能ではない。
例示的な提案される実施形態の簡潔な概要
本出願は、リソース(例えば、メディアセグメントのようなメディアリソース、または、通常、HTTPのような汎用のファイル転送プロトコルを使用してフェッチまたはプッシュされるリソースのような他のリソース)を複数のフラグメントにセグメント化するための柔軟な手法を記載する。そのような手法を利用することによって、クライアント側でリソースを利用することができるようになるまでの遅延が低減される。ライブDASHストリーミングによって使用されるもののような、ビデオストリーミングのISOBMFFメディアセグメントに特異的な、柔軟なセグメント化手法を適用する一定の実施形態が提供される。これらの実施形態は、記載されている柔軟なセグメント化を使用することによって、クライアント側での再生を開始することができるようになるまでにサーバ側で利用可能になるメディアサンプル間の遅延(すなわち、Tsource_to_playback)を大幅に低減することができる。1つの実施形態において、この低減は、リソースの部分が抽出される順序を変化させることが可能であるとともに(例えば、抽出順序は論理的順序とは異なる場合がある)、取り込まれているメディアサンプルによって作成されるときにリソースの部分の漸進的フェッチまたはプッシュを可能にすることができる、本明細書において提案されているファイルセグメント化メカニズムを使用することによって達成される。提案されているリソースセグメント化メカニズムはまた、受信手段(クライアント側)が既知のソリューションが有効化するよりも早い段階においてリソースフラグメントを利用することを可能にするためのメタデータをも提供する。
本出願の別の態様は、柔軟なセグメント化によって提供される特性および利益を維持しながら、全リソースおよびリソースフラグメントのインテグリティを保証することに関する。例えば、記載されている手法は、リソースフラグメントの個々のチャンクの漸進的インテグリティ検証を可能にする。漸進的に生成されることになるリソースについて、個々のチャンクまたはチャンクのグループ(インテグリティブロック)にわたるハッシュが、漸進的検証を可能にする。各インテグリティブロックに対する個々のハッシュに対してシグネチャを使用することによって、ハッシュが信頼できること、すなわち、ハッシュが信頼できるエンティティによって生成されていることが保証される。適切なインテグリティ保護を含むセグメント化ソリューションはまた、例えば、帯域外符号化またはHTTPにおける代替的なサービスを使用するときに作成されるもののような、種々の信頼ドメインからのリソースセグメントの抽出に対処することも可能である。ソリューションはまた、複数の信頼およびセキュリティのコンテキストの使用を完全にサポートするために、個々のリソースセグメントの機密性保護のための、独立したもしくは異なるキー、またはさらには独立したもしくは異なる保護メカニズムをもサポートする。
1つの態様において、サーバによって実施される方法が提供される。方法は、サーバが、第1のフラグメントおよび第2のフラグメントを含むフラグメントの順序付けされたセットを含む、メディアセグメントのセグメント化マップを生成することを含む。方法はまた、サーバが、セグメント化マップをクライアントに提供することをも含む。セグメント化マップは、第1のフラグメントと関連付けられる第1のフラグメントメタデータと、第2のフラグメントと関連付けられる第2のフラグメントメタデータと、第1のフラグメントが第2のフラグメントの前に順序付けされていることを指示する情報を含む、セット内のフラグメントの順序付けを識別する順序付け情報とを含む。第1のフラグメントメタデータは、1)第1のフラグメントへのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、2a)サーバから配信されるべき第1のフラグメントの利用可能性がセットの1つもしくは複数の他のフラグメントに依存することを指示する、第1のフラグメントの第1の依存性情報と、2b)第1のフラグメントの長さ、メディアセグメント内の第1のフラグメントの開始位置、およびメディアセグメント内の第1のフラグメントの終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに2c)第1のフラグメントのインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数とを備える。第2のフラグメントメタデータは、第2のフラグメントへのアクセスに使用するための第2のフラグメント識別子を含む。
いくつかの実施形態において、第1のフラグメントメタデータは、第1の依存性情報、第1の位置情報、および第1のフラグメントレベルセキュリティ情報を含む。
いくつかの実施形態において、第1のフラグメントメタデータは、第1のフラグメントレベルセキュリティ情報を含み、フラグメントレベルセキュリティ情報は、サーバによって、第1のフラグメントおよび第1のフラグメントの一部のうちの少なくとも一方のハッシュを生成するために使用されるハッシュ情報を含む。
いくつかの実施形態において、第2のフラグメントメタデータは、サーバから配信されるべき第2のフラグメントの利用可能性がセットの1つもしくは複数の他のフラグメントに依存することを指示する、第2のフラグメントの第2の依存性情報と、第2のフラグメントの長さ、メディアセグメント内の第2のフラグメントの開始位置、およびメディアセグメント内の第2のフラグメントの終端位置のうちの1つもしくは複数を含む第2の位置情報、ならびに、第2のフラグメントのインテグリティの検証に使用するための第2のフラグメントレベルセキュリティ情報のうちの1つまたは複数とを含む。
いくつかの実施形態において、第1のフラグメントメタデータは、第1のフラグメントに対応する優先度値をさらに含む。
いくつかの実施形態において、第1のフラグメントメタデータは、符号化識別子をさらに含む。
いくつかの実施形態において、第1のフラグメント識別子は、第1のフラグメントを識別する統一資源識別子(URI)を含む。
いくつかの実施形態において、第1のフラグメントメタデータは、メディアセグメントのタイプと関連付けられるアプリケーションレベルヒントをさらに含み、アプリケーションレベルヒントは、クライアントが、他の複数のフラグメントの各々を受信する前に第1のフラグメントを利用することを可能にする。
いくつかの実施形態において、第1の依存性情報は、サイズ依存性情報を含み、サイズ依存性情報は、第1のフラグメントのサイズが判定される可能性がある前に生成されなければならない0個以上の他のフラグメントを指示する。
いくつかの実施形態において、第1の依存性情報は、コンテンツ依存性情報を含み、コンテンツ依存性情報は、第1のフラグメントのコンテンツが判定される可能性がある前に生成されなければならない0個以上の他のフラグメントを指示する。
いくつかの実施形態において、順序付け情報は、各フラグメントメタデータと関連付けられるシーケンス識別子を含む。
いくつかの実施形態において、順序付け情報は、複数のフラグメントメタデータを記憶するデータ構造内に内在する。
いくつかの実施形態において、セグメントマップは、メディアセグメントのメディアタイプ、リソースレベルインテグリティ情報、メディアセグメントの統一資源位置指定子(URL)、および、クライアントがセグメント化マップを更新することが推奨される場合を指示する更新ヒントのうちの1つまたは複数を含むメディアセグメントメタデータをさらに含み、更新ヒントは、期限切れ時間およびコンテンツ依存性属性のうちの1つまたは複数を含む。
いくつかの実施形態において、方法はまた、クライアントから、メディアセグメントを求める要求を受信することと、メディアセグメントを求める要求に応答して、クライアントに、セグメント化マップを送信することとをも含む。
いくつかの実施形態において、方法はまた、クライアントから、第1のフラグメントを求める要求を受信することと、第1のフラグメントを求める要求を受信することに応答して、クライアントに、第1のフラグメントを送信することとをも含む。
いくつかの実施形態において、方法はまた、新たな情報に基づいてセグメント化マップを更新することであって、新たな情報は、複数のフラグメントのうちの1つの長さ、複数のフラグメントのうちの1つの開始位置、および複数のフラグメントのうちの1つの終端位置のうちの1つまたは複数を含む、更新することと、クライアントに更新されているセグメント化マップを送信することとをも含む。
別の態様において、クライアントによって実施される方法が提供される。方法は、クライアントが、サーバによって伝送されるセグメント化マップを受信することを含み、セグメント化マップは、複数のメディアセグメントを含むメディアストリームの第1のメディアセグメントのためのものであり、複数のメディアセグメントは、第1のメディアセグメントおよび第2のメディアセグメントを含み、第1のメディアセグメントは、フラグメントの順序付けされたセットを含み、フラグメントの順序付けされたセットは、第1のフラグメントおよび第2のフラグメントを含む。方法はまた、クライアントが、セグメント化マップを処理することをも含む。セグメント化マップは、第1のフラグメントと関連付けられる第1のフラグメントメタデータと、第2のフラグメントと関連付けられる第2のフラグメントメタデータと、第1のフラグメントが第2のフラグメントの前に順序付けされていることを指示する情報を含む、セット内のフラグメントの順序付けを識別する順序付け情報とを含む。第1のフラグメントメタデータは、1)第1のフラグメントへのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、2a)サーバから配信されるべき第1のフラグメントの利用可能性がセットの1つもしくは複数の他のフラグメントに依存することを指示する、第1のフラグメントの第1の依存性情報と、2b)第1のフラグメントの長さ、第1のメディアセグメント内の第1のフラグメントの開始位置、および第1のメディアセグメント内の第1のフラグメントの終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに2c)第1のフラグメントのインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数とを含む。第2のフラグメントメタデータは、第2のフラグメントへのアクセスに使用するための第2のフラグメント識別子を含む。
他の実施形態および態様が下記に記載される。
利点
柔軟なセグメント化メカニズムは、いくつかの方法で配信を改善するために使用することができる。例えば、受信クライアントによってリソースの関連するフラグメントを消費することができるようになるまでの遅延を低減することができる。別の例は、この手法が、受信クライアントの近くのエッジサーバまたはキャッシュの使用を十分にサポートし、そのようなエッジサーバまたはキャッシュ内でリソースフラグメントが利用可能になることを可能にし、ユーザが、より近いまたは他の様態で最適なプロバイダから任意のフラグメントを取得することを可能にし、一方で、他のフラグメントを、それらのフラグメントが利用可能である他のインスタンスから抽出することができることである。この結果として、配信性能が改善される。また別の例は、リソースフラグメント記憶において冗長性を提供し、これをユーザに指示することである。また別の利点は、場合によっては異なるソースから複数のフラグメントを同時に抽出または受信することが可能であることであり、この結果として、配信性能を改善し、符号化過程をより高速にすることができる。
さらに、本出願において記載されているセグメント化メカニズムは、メディアセグメントのインテリジェントなセグメント化によって、コンテンツ取り込みからDASHおよびHLSのようなライブストリーミングメカニズムのプレイアウトまでの遅延(Tsource_to_playback)を大幅に改善するために使用することができる。このインテリジェントなセグメント化は、符号化メディアサンプルがパケタイザによってセグメントに追加されるときに、個々のフラグメントのクライアントへの漸進的な配信を可能にする。これはまた、伝送を開始することが可能になる前に、ISOBMFFファイル内の動画フラグメントを完全なものにする際の遅延を除去するか、または、少なくとも低減する。
さらに、本出願において記載されているセグメント化メカニズムは、例えば、リソース検証および/または機密性などの、セキュリティモデルを改善するために使用することができる。例えば、記載されているセキュリティモデルは、複数のプロバイダから抽出することができる複数のフラグメントにリソースをセグメント化するときに、特に有利である。本出願において記載されているセキュリティモデルは、複数のフラグメントにリソースをセグメント化するときの用途の必要性に適した種々のインテグリティメカニズムの柔軟な使用を可能にする。例えば、ライブビデオストリーミングの事例について、柔軟なレコードサイズを取り扱う、鍵付きのまたはシグネチャベースのインテグリティメカニズムが有利である。そのようなメカニズムは、個々のチャンクがインテグリティを保護されることを可能にし、配信されるデータが、直ちに正当であると検証され、追加の遅延なしに消費されることを可能にする。
例示的な実施形態によるシステムを示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 本発明の例示的な実施形態によるクライアント-サーバ対話を示す図である。 本発明の例示的な実施形態によるクライアント-サーバ対話を示す図である。 本発明の例示的な実施形態による例示的なシーケンスを示す図である。 本発明の例示的な実施形態によるISOBMFFメディアセグメントの例示的なフラグメント化を示す図である。 いくつかの実施形態による装置のブロック図である。
本明細書において使用される場合、「1つの(a)」は、別途指示しない限り、「1つまたは複数の」を意味するように解釈されるべきである。
本出願は、リソース(例えば、HTTP、FLUTE、またはFCASTのようなファイル配信プロトコルを使用してサーバからクライアントに配信されるように意図されているリソース)をセグメント化するための例示的な実施形態を記載している。実施形態は、セグメント化リソースのフォーマット、リソースセグメント化を実施するための方法およびデバイス、ならびに/または、セグメント化リソースを受信/伝送するための方法およびデバイスに関する。
セグメント化のための例示的なソリューションは、クライアントに、所与のリソースのセグメント化マップを提供することに基づく。いくつかの実施形態において、クライアントは、具体的には、セグメント化マップまたは所与のリソースをサーバから要求してもよい。図1に示すように、クライアント102は、サーバ104と通信している。いくつかの実施形態において、サーバ104は、従来のサーバであってもよく、他の実施形態においては、ピアツーピアネットワーク内のピアクライアントであってもよい。
所与のリソースは、配信または用途の必要性に適した任意の数のフラグメントにセグメント化される。セグメント化マップは、個々のフラグメントに関するより多くの情報が決定されるときに、所与のリソースについて更新することができる。すなわち、セグメント化マップは、リソースの個々のフラグメントに関する完全な情報を有する前に(すなわち、リソースが完全に指定される前に)作成され得る。
例示的な実施形態によれば、セグメント化マップは、以下の記載される特徴の何らかの組み合わせを有する。
セグメント化マップは、個々のフラグメントを組み立てる順序を、明示的に(例えば、インデックスまたはシーケンス識別子によって)または黙示的に(例えば、セグメント化マップの全部または一部を実装するデータ構造によって課される順序によって)のいずれかで指示する。
各フラグメントは、セグメント化マップが作成される(セグメント化マップになされる任意の更新を含む)時点において既知または未知のいずれかの長さを有する。したがって、各フラグメントについて、セグメント化マップは、マップが作成される時点において長さが分かっている場合に、フラグメントの長さ(例えば、ビット単位)を指示することができる。長さが分からない場合、ファイル配信プロトコルは、例えば、HTTPチャンク化を使用することによって、または、フラグメントがサーバによってクライアントに完全に配信されたときに接続を閉じることによって、フラグメントの最終的な長さを指示することが可能でなければならない。
各フラグメントは、セグメント化マップ作成の時点において、リソース全体に対する既知または未知のいずれかの位置(例えば、オフセット)を有する。したがって、各フラグメントについて、セグメント化マップは、フラグメントのオフセットを指示することができる。位置が分からない場合、クライアントまたは復号手段は、セグメント化マップを受信した後に(例えば、先行するフラグメントの終端部の位置が判定されたときに、または、所与のフラグメントの位置を含む更新されたセグメント化マップを受信することによって)位置を判定することができる。フラグメントの位置を知らないことの1つの欠点は、そのことによって、追加の移動またはコピー動作がもたらされる場合があることである(ただし、後述するように、メモリの制約されたクライアントは、セグメント化マップ内で提供される依存性情報に基づいて、そのような移動またはコピーを最小限に抑えるためにフラグメントの抽出を順序付けることができる)。
各フラグメントは、例えば、HTTP URLなどのファイル抽出プロトコル、または、URLとそのURLに対するオフセットとの組み合わせによって使用されることになる、フラグメント自体の識別子(例えば、位置指定子、名前など)を有する。したがって、各フラグメントについて、セグメント化マップは、フラグメントの識別子を指示することができる。これによって、個々のフラグメントをそれ自体のリソースとして抽出するためにOOBのようなメカニズムを使用するか、または、様々な理由で複数の異なるサーバを使用する柔軟性が可能になる。抽出領域における、または、コンテンツ処理の理由でのいずれかの負荷平衡が、負荷分散に起因する性能改善をもたらすことができる。各フラグメントに位置指定子を使用することによって、また、URLレベルでの、または、代替サービスのようなメカニズムを使用した、別の配信または抽出プロトコルへのリダイレクトも可能になる(例えば、[alt-services]参照)。
各フラグメントは、機密性およびインテグリティ検証のための個々のセキュリティメカニズムを有する可能性がある。したがって、各フラグメントについて、セグメント化マップは、フラグメントと関連付けられるセキュリティ動作を実施するために要求される情報を含むことができる。この情報は、フラグメントのデータに対するハッシュであってもよく、または、いずれの証明書もしくは鍵がハッシュもしくはシグネチャを生成するために使用されているかを指示してもよい。
各フラグメントについて、セグメント化マップは、最適な性能のためにフラグメントをいずれの順序において抽出するべきかをクライアントに指示する抽出ヒントまたは依存性情報を含むことができる。1つのそのような最適化は、配信が完了するまでの遅延を最小限に抑えることである。別のヒントは、特定のフラグメントが、1つまたはいくつかの他のフラグメントがすでに配信に成功した後に配信されるべきであることを指示し得る。
各フラグメントについて、セグメント化マップは、受信クライアントが、リソース全体ではなく、完全に配信される前にまたは独力でフラグメントを利用することを可能にする、リソースメディアタイプと関連付けられるアプリケーションレベルヒントを含むことができる。
セグメント化マップはまた、リソースレベル特性をも有することができる。例えば、セグメント化マップの更新が適切な時点で行われることを保証するために、セグメント化マップは、配信および再組み立て過程における特定のステップに達したときに、更新されたセグメント化マップが要求され得るというヒントを含むことができる。
ここで図1を参照すると、クライアント102は、サーバ104と通信することができる。本明細書において使用される場合、「サーバ」は、サービスを提供する単一のコンピュータまたはサービスを提供する複数のコンピュータから成るセットであってもよく、コンピュータのセットは同じ場所にあってもよく(例えば、コンピュータのクラスタ)、または、地理的に散在していてもよい。クライアント102は、受信手段202と復号手段204とを備えることができる。受信手段202は、クライアント102が、サーバ104からデータを受信することを可能にする回路を含む(例えば、RF受信手段またはEthernetインターフェースのような、有線または無線リンク)。復号手段204は、様々なメディアファイルフォーマットを復号するように動作可能である。サーバ104は、ソースフィード302と、符号化手段304と、パケタイザ306と、セグメンタ308とを備えることができる。ソースフィード302は、ライブデータのようなメディアデータが(例えば、ケーブルフィード、衛星フィード、または他のソースから)生成されているときに、メディアデータを、または、すでに生成されており、サーバ104もしくは他の場所に記憶されているデータをサーバ104に提供することができる。符号化手段304は、例えば、H.264またはMPEG-4アドバンスドビデオコーディング(AVC)を使用して、ソースフィード302から受信されるメディアデータを様々なメディアサンプルに符号化するように動作可能である。パケタイザ306は、メディアサンプルを取り、それらのメディアサンプルを、HTTPのようなパケットベースのプロトコルを介して送信するのに適したパケット化フォーマットにするように動作可能である(例えば、パケタイザ306は、例えば、メディアサンプルを包含するmdatボックスを有するメディアセグメントを作成することによって、メディアサンプルをISOベースメディアファイルフォーマットにすることができる)。セグメンタ308は、パケット化メディアを取り、そのパケット化メディアをセグメント化フォーマットにするか、または、パケット化メディアをセグメント化フォーマットにおいて配信する(例えば、セグメント化マップに従ってパケット化メディアを配信する)ように動作可能である。
図2は、セグメント化マップを生成および受信するための、例示的な実施形態による方法を図解する。いくつかの実施形態において、方法は、第1のフラグメントおよび第2のフラグメントを含むフラグメントの順序付けされたセットを含む、メディアセグメントのセグメント化マップを生成することを含む(ステップ202a)。一実施形態において、サーバ104が、セグメント化マップを生成するステップを実施する。いくつかの実施形態において、方法は、第1のフラグメントおよび第2のフラグメントを含むフラグメントの順序付けされたセットを含む、メディアセグメントのセグメント化マップを受信することを含む(ステップ202b)。一実施形態において、クライアント102が、セグメント化マップを受信するステップを実施する。
図3は、動的に生成されるメディアストリームを配信(または受信)するための例示的な実施形態を図解する。例えば、いくつかの実施形態において、動的に生成されるメディアストリームは、ライブテレビフィードのような、ライブデータソースを表す。いくつかの実施形態において、方法は、HTTPを使用して、インターネットを介して行うことができ、クライアント102とサーバ104の両方が、インターネット対応デバイスであってもよい。1つの実施形態によれば、動的に生成されるメディアストリームをクライアントに配信するための方法であって、メディアストリームは、第1のメディアセグメントおよび第2のメディアセグメントを含む複数のメディアセグメントを含む、方法が提供される。方法は、クライアントから、マニフェストファイルを求める要求を受信することを含む(ステップ302)。いくつかの実施形態において、マニフェストファイルは、クライアントが、メディアセグメントを求める要求を生成することを可能にするための情報を含む。方法は、マニフェストファイルを求める要求の受信に応答して、クライアントに、マニフェストファイルを送信することをさらに含む(ステップ304)。方法は、マニフェストファイルをクライアントに送った後に、クライアントから、第1のメディアセグメントを識別する要求を受信することをさらに含む(ステップ306)。いくつかの実施形態において、第1のメディアセグメントを識別する要求は、クライアントによって、クライアントがマニフェストファイルを処理する結果として伝送されたものである。いくつかの実施形態において、サーバが、完全なメディアセグメントをクライアントに提供することが可能になる前に(例えば、サーバはmoofおよびmdatボックスの生成を完了していない)、要求がクライアントによって伝送される。
方法は、第1のメディアセグメントを識別する要求に応答して、クライアントに、第1のメディアセグメントのセグメント化マップを送信することをさらに含む(ステップ308)。いくつかの実施形態において、第1のメディアセグメントは、第1のフラグメント(例えば、moofボックス)および第2のフラグメント(例えば、mdatボックス)を含むフラグメントの順序付けされたセットを含み、セグメント化マップは、サーバから第1のフラグメントを抽出するのに使用するための第1のフラグメント識別子を含む第1のフラグメントメタデータと、サーバから第2のフラグメントを抽出するのに使用するための第2のフラグメント識別子を含む第2のフラグメントメタデータと、第1のフラグメントが第2のフラグメントの前に順序付けされていることを指示する情報を含む、フラグメントのセット内のフラグメントの順序付けを識別する順序付け情報とを含む。
図4は、動的に生成されるメディアストリームを受信するための例示的な実施形態を図解し、メディアストリームは、第1のメディアセグメントおよび第2のメディアセグメントを含む複数のメディアセグメントを含む。方法は、サーバに、マニフェストファイルを求める要求を送信することを含む(ステップ402)。いくつかの実施形態において、マニフェストファイルは、クライアントが、メディアセグメントを求める要求を生成することを可能にするための情報を含む。方法は、マニフェストファイルを受信することをさらに含む(ステップ404)。方法は、受信されているマニフェストファイルを処理することをさらに含む(ステップ406)。方法は、マニフェストファイルを処理した後に、サーバに、第1のメディアセグメントを識別する要求を送信することをさらに含む(ステップ408)。方法は、第1のメディアセグメントを識別する要求が送信されたことに応答して、第1のメディアセグメントのセグメント化マップを受信することをさらに含む(ステップ410)。いくつかの実施形態において、第1のメディアセグメントは、第1のフラグメントおよび第2のフラグメントを含むフラグメントの順序付けされたセットを含み、セグメント化マップは、第1のサーバから第1のフラグメントを抽出するのに使用するための第1のフラグメント識別子を含む第1のフラグメントメタデータと、サーバから第2のフラグメントを抽出するのに使用するための第2のフラグメント識別子を含む第2のフラグメントメタデータと、第1のフラグメントが第2のフラグメントの前に順序付けされていることを指示する情報を含む、フラグメントのセット内のフラグメントの順序付けを識別する順序付け情報とを含む。方法は、サーバに、第1のフラグメントを求める要求を送信することをさらに含む(ステップ412)。方法は、第1のフラグメントを受信することをさらに含む(ステップ414)。
図5は、動的に生成されるメディアストリームを配信するための追加の例示的な実施形態を図解する。例えば、いくつかの実施形態において、クライアント102は、第1のメディアセグメントを求める要求(または任意の他の要求)内に、クライアントがセグメント化モードをサポートしていることの指標を含めることができる。いくつかの実施形態において、動的に生成されるメディアストリームをクライアントに配信するための方法は、指標に少なくとも部分的に基づいて、メディアセグメントを配信するためにセグメント化モードを使用することを決定することをさらに含む(ステップ502)。例えば、クライアントがセグメント化モードをサポートしない場合、サーバ104は、セグメント化モードを使用しなくてもよく、それゆえ、セグメント化マップをクライアントに送信されない。いくつかの実施形態において、メディアセグメントを配信するためにセグメント化モードを使用することの決定は、第1のメディアセグメントが完全に生成されたか否かにさらに依存する。例えば、第1のメディアセグメントが完全に生成されている場合、サーバ104は、第1のメディアセグメントを配信するために、従来のファイルストリーミング技法を使用することができる。他方、第1のメディアセグメントが完全に生成されていない場合、サーバ104は、第1のメディアセグメントを配信するために、セグメント化モードを使用することを決定することができる。
本発明の実施形態は、配信の準備ができるように、ソースから受信されるメディアを処理または準備するための複数の方法をサポートする。例えば、いくつかの実施形態において、方法は、メディアストリームを動的に生成するソースから第1のメディアセグメントの一部を受信することをさらに含むことができる(ステップ504)。一実施形態において、第1のメディアセグメントの上記部分は、ソースフィード302を介して受信される。いくつかの実施形態において、第1のメディアセグメントの上記部分は、メディアサンプルおよびメディアアプリケーションデータユニット(ADU)のうちの少なくとも1つに対応する(例えば、第1のメディアセグメントの上記部分は、メディアフレーム(すなわち、オーディオフレームおよび/またはビデオフレーム)を包含し得る)。いくつかの実施形態において、受信される第1のメディアセグメントの上記部分は、例えば、H.264またはMPEG-4アドバンスドビデオコーディング(AVC)のようなオーディオまたはビデオフォーマットにおいて符号化される。他の実施形態において、方法は、第1のメディアセグメントを符号化することをさらに含むことができる(ステップ506)。例えば、符号化は、第1のメディアセグメントの上記部分を、H.264またはMPEG-4アドバンスドビデオコーディング(AVC)のようなオーディオまたはビデオフォーマットに変換することができる。一実施形態において、符号化手段304がこのステップを実施する。方法は、フォーマットに従って第1のメディアセグメントの上記部分をパケット化することをさらに含むことができる(ステップ508)。例えば、フォーマットは、ISOベースメディアファイルフォーマット(ISOBMFF)であってもよい。一実施形態において、パケタイザ306がこのステップを実施する。方法は、第1のメディアセグメントをセグメント化し、第1のメディアセグメントのセグメント化マップを生成することをさらに含むことができる(ステップ510)。例えば、セグメント化マップは、本出願において開示されている例示的なセグメント化マップの1つまたは複数の特性を有することができる。一実施形態において、セグメンタ308がこのステップを実施する。いくつかの実施形態において、第1のメディアセグメントのセグメント化マップの生成は、上記フォーマットにおける第1のメディアセグメントのパケット化部分に基づく。
いくつかの実施形態において、方法は、新たな情報に基づいてセグメント化マップを更新し、更新されているマップをクライアントに送信することをさらに含む(ステップ512)。例えば、セグメント化マップを最初に作成する時点において、一定の情報(メディアセグメント内の個々のフラグメントの長さまたは位置情報など)が分からない場合がある。メディアセグメントまたはメディアセグメント内の特定のフラグメントの符号化およびパケット化が完了すると、サーバ104は、その時点の新たな情報(例えば、長さまたは位置情報)によってセグメント化マップを更新することができる。方法は、クライアントから、第1のフラグメントを識別する要求を受信すること(ステップ514)と、第1のフラグメントを識別する要求を受信することに応答して、クライアントに、第1のフラグメントを送信すること(例えば、第1のフラグメントは、HTTPチャンク化を使用してクライアントに送信することができる)(ステップ516)とをさらに含むことができる。
図6は、動的に生成されるメディアストリームを受信するための追加の例示的な実施形態を図解する。いくつかの実施形態において、動的に生成されるメディアストリームを受信するための方法は、サーバに、第2のフラグメントを求める要求を送信することをさらに含むことができる(ステップ602)。方法は、クライアントによって、第1のフラグメントと同時に第2のフラグメントを受信することをさらに含むことができる(ステップ604)。いくつかの実施形態において、クライアントは、クライアントがメディアセグメントのすべてのフラグメントを受信するまで、フラグメントを求める要求を送信することと、対応するフラグメントを受信することとを継続することができる。方法は、第1のフラグメントを復号し、再生することをさらに含むことができる(ステップ606)。いくつかの実施形態において、第1のフラグメントを復号し、再生することは、クライアントが第1のメディアセグメントの第3のフラグメントを受信する前に行われる。方法は、第1のフラグメントを検証することをさらに含むことができる(ステップ608)。方法は、第1のメディアセグメントを検証することをさらに含むことができる(ステップ610)。いくつかの実施形態において、第1のフラグメントを復号し、再生することは、第1のフラグメントを検証した後で、かつ、第1のメディアセグメントを検証する前に行われる。
本発明の実施形態は、複数の異なる配信メカニズムに適用可能である。例えば、いくつかの実施形態において、クライアントは、サーバからのデータ(例えば、メディアセグメントのフラグメントを含む)を能動的に要求、または、引き出すことができる。他の実施形態において、クライアントは受動的であってもよく、いくつかの他のエンティティがクライアントに対するデータ(例えば、メディアセグメントのフラグメントを含む)をプッシュしてもよい。
図7は、メディアストリームを配信するための例示的な実施形態を図解する。1つの実施形態によれば、メディアセグメントをクライアントに配信するための方法が提供される。方法は、フラグメントのシーケンスにセグメント化されているメディアセグメントのセグメント化マップを生成することを含む(ステップ708)。方法は、セグメント化マップをクライアントに送信することをさらに含む(ステップ710)。いくつかの実施形態において、方法は、サーバによって、メディアセグメントを受信することをさらに含むことができる(ステップ702)。例えば、サーバは、ソースフィード302を介してメディアセグメントを受信し、符号化手段304、パケタイザ306、およびセグメンタ308のうちの1つまたは複数にセグメントを渡すことができる。方法は、メディアセグメントを、第1のフラグメントおよび第2のフラグメントを含むフラグメントのシーケンスにセグメント化することをさらに含むことができる(ステップ704)。例えば、そのようなセグメント化は、セグメンタ308によって行うことができる。方法は、クライアントから、メディアセグメントを求める第1の要求を受信することをさらに含むことができる(ステップ706)。方法は、クライアントから、第1のフラグメントを求める第2の要求を受信することをさらに含むことができる(ステップ712)。方法は、クライアントに、第1のフラグメントを送信することをさらに含むことができる(ステップ714)。方法は、新たな情報に基づいてセグメント化マップを更新し、更新されているマップをクライアントに送信することをさらに含むことができる(ステップ716)。例えば、いくつかの実施形態において、新たな情報は、複数のフラグメントのうちの1つの長さ、メディアセグメント内の当該フラグメントの開始位置、および、メディアセグメント内の当該フラグメントの終端位置のうちの1つまたは複数を含む。いくつかの実施形態において、セグメント化マップを更新することおよび更新されているマップをクライアントへ送信することの一方または両方は、クライアントが更新されているセグメント化マップを要求するのに応答して実施されてもよい。いくつかの実施形態において、サーバは、クライアントに、セカンダリサーバ(例えば、異なる信頼ドメイン内の帯域外サーバ)からフラグメントを要求するように指示してもよい。いくつかの実施形態において、セグメント化マップは、特定のフラグメントについてクライアントをセカンダリサーバへと誘導する情報を含む。
図8は、メディアセグメントを復号するための、例示的な実施形態による方法を図解する。方法は、クライアントによって、メディアセグメントを求める要求を送信することを含む(ステップ802)。方法は、クライアントによって、フラグメントのシーケンスにセグメント化されているメディアセグメントのセグメント化マップを受信することをさらに含む(ステップ804)。いくつかの実施形態において、方法は、クライアントによって、第1のフラグメントを受信することをさらに含むことができる(ステップ806)。方法は、クライアントによって、第1のフラグメントを受信することをさらに含むことができる(ステップ808)。方法は、クライアントによって、第1のフラグメントを再生することをさらに含むことができる(ステップ810)。方法は、第1のフラグメントのインテグリティを検証することをさらに含むことができる(ステップ812)。方法は、メディアセグメントのインテグリティを検証することをさらに含むことができる(ステップ814)。方法は、更新されているセグメント化マップを受信することをさらに含むことができる(ステップ816)。いくつかの実施形態において、他の複数のフラグメントの各々について、方法は、そのようなフラグメントを要求すること、受信すること、および再生することをさらに含むことができる。いくつかの実施形態において、メディアセグメントの任意のフラグメントを再生する前に、クライアントは、最初に、そのようなフラグメントのインテグリティを検証し、クライアントがそのようなフラグメントのインテグリティを肯定的に検証した場合にのみ、そのようなフラグメントを再生する。いくつかの実施形態において、クライアントは、フラグメントのシーケンスに対応する論理的順序付けとは異なる順序において、フラグメントを求める要求を順序付けしてもよい。いくつかの実施形態において、フラグメントを求める要求が行われる順序は、少なくとも部分的に、各フラグメントに関するサイズ依存性およびコンテンツ依存性情報のような、依存性情報に依存する。いくつかの実施形態において、クライアントは、異なるフラグメントを求める要求を並列に行うことができる。いくつかの実施形態において、フラグメントは、複数の異なるサーバから受信されてもよく、いくつかの実施形態において、フラグメントを求める要求は、複数の異なるサーバに送信されてもよい。
ここで図9を参照すると、クライアント102は、要求仲介手段902と通信することもできる。要求仲介手段902は、クライアント102の一部であってもよく(例えば、クライアント102は、クライアント102の要求仲介手段構成要素と通信する、ビデオプレーヤのようなアプリを実行することができる)、または、要求仲介手段902は、クライアント102の近くに配置されてもよく、または、サーバ104の一部であってもよく、または、サーバ104の近くに配置されてもよく、または、クライアント102もしくはサーバ104のいずれかから分離して独立していてもよい。セグメント化マップをサーバ104から受信した後、クライアント102(例えば、アプリ)は、様々なメディアフラグメントを求める一連の要求を送信することができる。セグメント化マップは、いくつかのフラグメントが他のフラグメントに対する依存性を有することを指示することができる。これは、例えば、1つのフラグメントが抽出され得る前に、別のフラグメントがまず抽出されなければならないことを意味し得る。要求仲介手段902の役割は、この依存性情報を取り扱うことである。したがって、クライアント102(例えば、アプリ)は、フラグメント要求を仲介手段902に送信することができ、仲介手段902は、その後、セグメント化マップ内に含まれる依存性情報に基づいて、適切な時点において、要求をサーバ104に転送することができる。これは、例えば、仲介手段902が直ちに要求をサーバ104に転送することを意味し得るか(例えば、依存性がない場合)、条件が満たされる(例えば、何らかの依存性が解決される)まで、仲介手段902が要求をハングまたはブロックさせることを意味し得る。要求仲介手段902はまた、仲介手段がフラグメント優先度または他のフラグメントメタデータに基づいて要求を仲介することを可能にするための論理をも包含することができる。
ここで図10を参照すると、クライアント102は、複数のセカンダリサーバ1002と通信することもできる。したがって、サーバ104からすべてのメディアフラグメントを受信するのではなく、クライアント102は、複数の異なるセカンダリサーバ1002のうちの1つまたは複数から1つまたは複数のフラグメントを受信することができる。いくつかの実施形態によれば、クライアント102は、最初に、サーバ104からフラグメントを要求するが、要求はその後、セカンダリサーバ1002のうちの1つにリダイレクトされる。いくつかの実施形態によれば、クライアント102は、最初に、例えば、セグメント化マップ内に包含される情報に基づいて、セカンダリサーバ1002のうちの1つから直接的にフラグメントを要求する(例えば、フラグメント位置指定子が、セカンダリサーバを指すことができる)。いくつかの実施形態によれば、要求仲介手段902は、セカンダリサーバのうちの1つに要求を誘導する。例えば、要求仲介手段902は、負荷平衡手段として作用することができ、他のサーバに送信される要求の量および利用可能な帯域幅のような複数の要因に基づいて、または、地理的考慮事項に基づいて、セカンダリサーバに要求を誘導する決定を行うことができる。
サーバ104、および、セカンダリサーバ1002のうちの1つまたは複数は、異なる信頼ドメイン(例えば、図10に示す3つの信頼ドメイン1004、1006、1008のうちの1つ)の中に存在することが可能である。このことは、同一オリジンポリシを暗示し得、そのリソースにアクセスする前にリソースのインテグリティを検証することを所望するクライアントがあるという含意を有する。本発明の実施形態は、これを完全にサポートし、クライアントが、下記により十分に説明するように、複数の異なる信頼ドメインにわたってインテグリティを検証することを可能にする。
(単純にするために)図面には完全には示されていないが、いくつかの実施形態において、クライアント102、サーバ104、要求仲介手段902、およびセカンダリサーバ1002の各々は、互いに通信することが可能である(例えば、サーバ104は、セカンダリサーバ1002の各々と通信することができ、逆も可能である)。サーバ104の責務は、1つまたは複数のセカンダリサーバ1002の間で分散させることができることにも留意されたい。これは、例えば、メディアリソースを符号化するサーバ、セグメント化マップを生成するサーバ、クライアント要求を仲介するサーバ、メディアリソースフラグメントをクライアントにサービスする1つまたは複数のサーバが、各々、異なるサーバであってもよいことを意味する。
機密性およびインテグリティソリューション
セグメント化マップは、機密性およびインテグリティメカニズムが採用されるか否かにかかわらず、利点を提供する。しかしながら、そのようなメカニズムが採用される場合、セグメント化マップは、現行の技術水準にまさる追加の利点を提供する。
典型的には、リソース全体のインテグリティは、複数の方法で判定することができる。最も基本的な方法は、リソースがクライアント内で完全に受信されたときに、リソースを検証することである。そのようなソリューションの最も基本的なものは、単純にリソース全体に対するハッシュ値を計算し、リソースについて信頼できるドメインからの安全確保された配信を仮定して、セグメント化マップ内にそのハッシュ値を含めることである。HTTPのためのコンテンツ-シグネチャヘッダフィールド(Content-Signature Header Field for HTTP)(例えば、[CONTENTSIG]参照)またはマークルインテグリティコンテンツ符号化(例えば、[MICE]参照)のような、このためのいくつかのソリューションが存在する。しかしながら、クライアントが漸進的に消費することを所望し得るリソースのセグメント化にこれらの手法を使用することには、明確なマイナス面がある。クライアントまたはアプリケーションは、そのような手法のために、検証されていないデータを使用することを回避することを所望する場合にはリソース全体が配信されるまで待たなければならない。無論、検証されていないデータを使用することが許容可能であれば、代替形態は、データを消費し、その後、後にリソースが検証に失敗した場合にはユーザに警告するか、または、他の様態で取り扱うことである。この手法は、検証されておらず、それゆえ信頼できないデータに依存するため、危険であり、推奨できない可能性がある。
検証についてのそのような手法による別の問題は、リソース全体の検証が、リソースが正当に検証されないことを指示する場合に、クライアントが、いずれのフラグメントによって検証が失敗させられたかを判定することができないことである。この問題を解決するために、個々のリソースフラグメントは、それら自体のインテグリティ検証情報を必要とする。これは、各フラグメントを配信プロトコルレベルにおいてそれ自体のリソースとして処理し、セグメント化マップに、インテグリティ検証メカニズムと関連付けられる任意のパラメータとともに、各フラグメントに使用されるインテグリティ検証メカニズムを指示させることによって、達成することができる。
リソースフラグメントを漸進的に消費するときに検証を可能にするために、リソースフラグメントの適切なチャンクが配信されるときに、当該チャンクに対してインテグリティソリューションが提供される必要がある。そのようなソリューションは好ましくは、各チャンク内で提供されるデータの量が固定レコードサイズと整合しないときにブロック問題を回避するために、レコードサイズに関して柔軟であるべきである。ビデオのようなメディアストリームについて、単一のメディアサンプル(例えば、符号化ビデオフレーム)が、保護するのに適したチャンクである。MICEは、準備されているデータにとって、および、リソースセグメントの配信を開始する前に全DASHセグメントが利用可能である場合に(すなわち、メディアストリームが動的に生成されない場合に)有用であり得る。固定レコードサイズ(MICEによって課される)は、その設定では、各配信チャンク内で全レコードを配信することによって対処され得る。
しかしながら、ライブまたは動的に生成されるコンテンツについて、特定のチャンクの伝送を準備する時点において次のメディアサンプルが利用可能でない場合、上記の手法は良好に機能しない。代わりに、別の手法は、個々のチャンク(メディアセグメント全体の代わりに)をハッシュし、各レコードに結果もたらされるハッシュを含めることである。ハッシュに対するシグネチャ、または鍵付きハッシュを使用したシグネチャの両方を使用して、ハッシュを、セグメント化マップの提供者によって信頼されるソースに由来するものとして、クライアント内で検証可能にすることができる。このソリューションは、インテグリティメカニズムおよびデータを保護するためのその構造に起因するいかなる大幅な遅延を加えることを回避する。
データインテグリティ(そのデータが信頼できるか)は、セキュリティの1つの重要な態様である。別の態様は、機密性(データを認可されていないパーティから秘匿されたままにすること)である。
本発明の実施形態は、リソースの送達が複数のエンティティ(例えば、エッジサーバまたはユーザに近いキャッシュ)にわたって分散されることを可能にする。しかし、所与のメディアリソースの複数の異なるフラグメントを作り出し、配信する可能性があり得る複数のエンティティを有することによって、機密性に関していくらかの複雑性が提示される。セキュリティの理由から、異なるエンティティはセキュリティコンテキストを共有することができない。したがって、セグメント化マップは、鍵のような、リソースフラグメント特有のセキュリティコンテキスト情報を指示する必要があり得る。
漸進的に消費されるリソースフラグメントの機密性の別の態様は、フラグメントをその開始点から解読することができるとともに、チャンクレベルにおけるデータを解読することができることを保証することである。これによって、場合によっては、暗号化アルゴリズムがチャンク境界において解読を実施することができることを保証するために、暗号化層パディングが必要になり得る。
異なる信頼ドメインの利用
個々のリソースフラグメントに汎用の位置指定子を利用することによって、特定のリソースフラグメントを任意のロケーションから抽出することが可能であり得る。すなわち、1つのフラグメントの抽出点が、別のフラグメントの抽出点に依存しないことが可能である。したがって、異なるフラグメントを異なる信頼ドメイン(例えば、場合によっては異なるドメイン名システム(DNS)名を有する異なるホスト)から抽出することができる。リソースセグメントはまた、リソースフラグメントのメインドメインが、そのドメインの順番において、フラグメントのコンテンツを抽出することができる1つまたは複数の二次リソースを指すことを可能にする、OOBコンテンツ符号化を使用して提供することもできる。
これら2つのソリューションは、複数のOOB二次リソースを有する結合セグメント化マップに統合することが可能であり得、または、2つのソリューションを、適切な組み合わせにおいて相次いで適用することができる。
任意のリソースロケーションを指すための、セグメント化マップとOOB符号化ソリューションの両方によって生み出される可能性は、様々な含意を有する。例えば、HTTPにおいて、この可能性は、同一オリジンポリシ(例えば、[RFC6454]参照)に影響を与え得、リソース全体のドメイン(メインドメイン)の制御外のリソースの装荷を可能にする。この結果を回避するために、適切なセキュリティモデルを適用することができる。1つの可能性は、メインドメイン(すなわち、セグメント化マップを提供する)が、二次ドメインから抽出されるセグメントのインテグリティを検証する方法を提供すること、すなわち、二次ドメインから抽出されるものがメインドメインに従って意図されるものに一致することである。これは、セグメント化マップ内にフラグメントのハッシュを含めることによって最も容易に実現される。別の可能性(メインドメインが二次ドメインを信頼することに基づく)は、メインドメインが二次ドメインにおいて有する信頼をメインドメインが指示するための何らかの方法を有することである。例えば、メインドメインは、セグメント化マップ内で、二次ドメインがリソースフラグメントのインテグリティを証明するためにいずれの鍵または証明書を使用することになるかを指示することによって、信頼を指示する。
セグメント化マップの例示的な実施形態
上述した特性のほとんどまたはすべてを満たすセグメント化マップの多くの異なる形態およびフォーマットが存在する。HTTP1.1とともに使用することができるセグメント化マップの1つの可能性のある実施形態を、下記に提供する。
この例において、クライアントは、HTTP1.1を使用して位置指定子(例えば、URL)「https://example.org/xyz/seg-2-14.mp4」においてリソース(この例ではフラグメント化されたMPEG-4(mp4)メディアセグメント)を要求する。クライアントは、セグメント化メカニズムをサポートしていることを指示するために、「セグメント化されている」と呼ばれるコンテンツ符号化をサポートしていることを指示する。サーバもまた、応答においてセグメント化メカニズムをサポートおよび利用する。応答は、セグメント化コンテンツ符号化の使用の指示を含み、本文は、フラグメントを記述するJSON符号化セグメント化マップを含む。この事例において、第1の要求が、リソース全体が構築される前に到来する。
HTTP要求は以下のとおりである。
GET /xyz/seg-2-14.mp4 HTTP/1.1
Host: example.org
Accept-Encoding: gzip, segmented
HTTP/1.1 200 OK
Date:Thu, 24 October 2016 16:54:00 GMT
Content-Type: application/json
Cache-Control: max-age=10, public
Expires:Thu, 24 October 2016 16:54:03 GMT
Content-Encoding: segmented
Content-Length:XYZ
Vary:Accept-Encoding
例示的なセグメント化マップを含む、HTTP要求に対する応答は、以下のとおりである。
“Resource”:“https://example.org/xyz/seg-2-14.mp4”,
“Content-Type”:“video/mp4”
“Crypto-Key”:{keyid=“a1”; aesgcm=“csPJEXBYA5U-Tal9EdJi-w”}
“Update-Hint”:{“Content-Dependency”:{[4]}, “Expires”:“Thu, 24 October 2016 16:54:03 GMT”}
“Fragments”:{


“Fragment”:“1”,
“FL”:“https://example.org/xyz/seg-2-14.mp4.frag1”, “https://backup.example.org/xyz/seg-2-14.mp4.frag1”
“Offset”:“0-493/494”,
“Size-Dependency”:{},
“Content-Dependency”:{},
“Priority”:“3”,
“attributes”:

“Content-Encoding”:“aesgcm”
“Encryption”:{keyid=“a1”; salt=“Lb50cXdEZbMApPzVAzAXBO”}

},

“Fragment”:2,
“FL”:“https://example.org/xyz/seg-2-14.mp4.frag2”, “https://backup.example.org/xyz/seg-2-14.mp4.frag2”
“Offset”:“494-/”,
“Size-Dependency”:{},
“Content-Dependency”:{},
“Priority”:“1”,
“attributes”:

“Content-Encoding”:“aesgcm”,
“Transfer-Encoding”:“chunked”,
“Encryption”:{keyid=“a1”; salt=“mGlyNgksqELbSqrAB09Lsg”},
“Type-Specific”:“moof”

},

“Fragment”:“3”,
“FL”:“https://example.org/xyz/seg-2-14.mp4.frag3”, “https://backup.example.org/xyz/seg-2-14.mp4.frag3”
“Offset”:“-/12”,
“Size-Dependency”:{[“1”, “2”]}
“Content-Dependency”:{[“4”]},
“Priority”:“1”,
“attributes”:

“Content-Encoding”:“aesgcm”
“Encryption”:{keyid=“a1”; salt=“3hVJ0GeuOz1epckD3IsIOa”}

},

“Fragment”:“4”,
“FL”:“https://example.org/xyz/seg-2-14.mp4.frag4”, “https://backup.example.org/xyz/seg-2-14.mp4.frag4”
“Offset”:“-/”,
“Size-Dependency”:{[“3”]}
“Content-Dependency”:{},
“Priority”:“1”,
“attributes”:

“Content-Encoding”:“aesgcm”,
“Transfer-Encoding”:“chunked”,
“Encryption”:{keyid=“a1”; salt=“hynhpnHujSQBb64swbQglf”},
“Type-Specific”:“mdat-samples”


]}
セグメント化マップは、リソースレベル特性によって開始する。リソースレベル特性は、セグメント化マップによって記述されるリソースの実際のメディアタイプを含む(“Content-Type”(コンテンツタイプ))。これはまた、リソース全体に対するハッシュのような、リソースレベルインテグリティメカニズムを含めることができる場所でもある。しかしながら、リソースはまだ完全には構築されていないため、その場所はこの例では可能ではない。しかしながら、複数の異なるリソースフラグメントを暗号化するために使用される暗号鍵が、“Crypto-Key”(暗号鍵)パラメータに含まれる。リソースURL全体は、ちょうど、HTTP要求のコンテキスト外でセグメント化マップを取り扱うことを可能にするように含まれている。
セグメント化マップはまた、“Update-Hint”(更新ヒント)属性をも含む。この属性は、より完全な情報のためにセグメント化マップを更新することが推奨されるときを指示する。この事例においては、更新が“4”として識別されているフラグメントのコンテンツ利用可能性に依存するという意味を有する、Content-Dependency(コンテンツ依存性)属性が存在する。後に説明するように、この属性は、リソースコンテンツがサーバ側で分かっているとき、このセグメント化マップは、オープン範囲なしで(すなわち、開始位置および終端位置に既知の値がある)構築することができることを指示する。しかしながら、Content-Dependency属性は、セグメント化マップが更新され得るときを決定するためのデータを要求することを必要とする。この手法は、更新されたマップを要求する前にフラグメントが処理されることを必要とするため、別の相補的な手法は、より時間に基づいたヒントを使用することである。この例は、サーバがセグメント化マップを生成した3秒後にセグメント化マップを更新すべきであることを指示するための、HTTP Expires(HTTP期限切れ)ヘッダを含む。この事例において、3秒は、この時間までにリソース全体が構築されているであろうという知識に基づいて指示される。Expiresヘッダはまた、“Update-Hint”属性内のパラメータとしても含まれる。
リソースレベル属性の後に、フラグメントの順序付けされたシーケンスを記述するアレイが続く。この例において、リソース(メディアセグメント)は、論理的に4つのフラグメント、すなわち、メディアセグメントのstypボックスに対応する第1のフラグメント、メディアセグメントのmoofボックスに対応する第2のフラグメント、mdatボックスのヘッダ部分に対応する第3のフラグメント、および、mdatボックスのペイロード部分(すなわち、メディアサンプル)に対応する第4のフラグメントにセグメント化される。
用語に関する注記:セグメント化マップは、実際のリソースデータを含む意味においては「フラグメント」を含まず、代わりに、セグメント化マップは、実際のリソースデータを得る方法に関する情報を含む、各リソースフラグメントと関連付けられるメタデータを含む。したがって、セグメント化マップ内の「第1のフラグメント」と記載されている場合、これは第1のフラグメントのメタデータ、または、セグメント化マップ内に記憶されている、第1のフラグメントと関連付けられる情報を意味する。
ここで、アレイ内の第1のフラグメント(すなわち、第1のフラグメントのメタデータ)を説明する。第1のフラグメント内の第1のメタデータ情報は、“Fragment”(フラグメント)パラメータ内で与えられ、“1”の値を有する、フラグメントの識別子である。この情報の後に、このフラグメントのフラグメントロケーション、すなわち、フラグメントがそれ自体のリソースとしてどこで要求され得るかについての1つまたは複数のURLのセットを提供する“FL”パラメータが続く。“Offset”(オフセット)パラメータは、リソース全体へのフラグメントのオフセット(またはリソース全体内の位置)、および、分かっている場合はフラグメントの長さを提供する。フォーマットは“start-end/length”(開始-終端/長さ)である。オフセットパラメータのこれらの値部分のいずれか、すなわち、開始位置、終端位置、または長さは分からない(したがって、提供されない)場合がある。この第1のフラグメントは、リソース全体の始まり(start=0)にあり、既知の長さ(length=494)を有する。この例では、値“0-493/494”が、開始バイト、終端バイト、およびバイト単位の長さを提供する。
第1のフラグメントの次のパラメータは、“Size-Dependency”(サイズ依存性)および“Content-Dependency”である。これらのパラメータは、フラグメントの識別子をリストすることによって、他のフラグメントに対してどのような依存性が存在するかを表現することができる。サイズ依存性パラメータは、所与のフラグメントの開始位置を判定するために、クライアントがいずれの他のフラグメントのサイズ情報(開始および終端位置、長さ)を要求するかを識別する、フラグメント識別子のセットである。コンテンツ依存性パラメータは、所与のフラグメントを受信するために、クライアントがいずれの他のフラグメントを要求するかを識別する、フラグメント識別子のセットである。この事例において、これら両方の依存性パラメータは、空設定を含む。それゆえ、これらのパラメータは、HTTP応答において除外され得るが、ここでは説明の目的で含まれている。優先度パラメータは、他のフラグメントに対する関係においてこのフラグメントを要求する上での相対優先度を指示し、この例では、数が低いほどより重要となり、または、優先度がより高くなる。この情報の可能性のある使用事例は、下記にさらに説明する。
依然として第1のフラグメントのメタデータを考えると、優先度パラメータの後に、それ自体のリソースとしてのフラグメントに関係付けられる属性のセットが続く。すなわち、パラメータは、フラグメントを取得するときに使用することができる。この事例においては“aesgcm”のコンテンツ符号化が指示される。AES GCM(例えば、[aesgcm]を参照)は、フラグメント全体にわたる暗号化およびインテグリティ保護メカニズムである。このコンテンツ符号化を利用するフラグメントは、フラグメント開始から終端まで暗号ブロックごとに連続して解読することができるが、インテグリティ検証は、フラグメント全体が配信されたときにのみ実施することができる。このメカニズムは、鍵およびソルトを付され、鍵は、機密性保護をロック解除するための方法であり、また、インテグリティがフラグメントに対して保持されたことを確信させるための方法でもある。本例において、実際の鍵IDは、すべてのリソースフラグメントにわたって共通である(また、Crypto-Keyパラメータに含まれるリソースレベル鍵ID値と同じである)。しかしながら、この例の各フラグメントは、2つのフラグメントに対して同じ暗号が使用されることを防止するために、個々のソルト付き値を有する。これは、“Encryption”(暗号化)パラメータによって提供される。このパラメータは、第1のフラグメントのメタデータを完結させる。
第2のフラグメントは同様であるが、そのパラメータにいくらかの差異があり、追加のパラメータを説明する。最初に、フラグメントIDが“2”であり、このフラグメントのURLも第2のフラグメントを指している(すなわち、URLが第1のフラグメントのものと異なる)。フラグメントのオフセットが開始位置を提供しているが、長さが分からず、したがって終端位置が分からない。優先度は1に設定されており、このリソース全体内で最も優先度の高いフラグメントである。属性は、“Transfer-Encoding”:”chunked”を含む。これは、HTTPチャンク化メカニズムを使用してこのフラグメントを配信することができることを指示する。これは、例えば、データがサーバ側で生成されるときに(例えば、メディアサンプルおよびそれらのメタデータが生成されるときに)、そのフラグメントについてデータを漸進的に配信するために使用することができる。“Type-Specific”: “moof”パラメータおよびデータは、リソース全体のメディアタイプ「video/mp4」のコンテキストにおいて解釈されるべきである。例えば、“moof”は、このフラグメントがmoofボックスを包含していることを指示し得る。
第3のフラグメント(id=“3”)は、この例においては、既知の長さ(length=12バイト)を有するが、(クライアントが第2のフラグメントの構築を完了するか、または、更新されているセグメント化マップを受信するまで)長さが分からない第2のフラグメントの後に来ているため、開始または終端オフセットは分からない。他のフラグメントに対するこのフラグメントの依存性は、“Size-Dependency”: {[“1”, “2”]} and “Content-Dependency”:{[“4”]}を使用して表現されている。ここで、サイズ依存性は、フラグメント1および2のサイズが分かっているときに、このフラグメントのサイズおよびロケーションが与えられる(すなわち、クライアントが知る)ことを意味する。Content-Dependencyは、ここでは、このフラグメントのコンテンツがフラグメント4内にあるものに依存することを指示する。この場合、これは、フラグメント3が、フラグメント4内にあるデータの長さフィールドを包含するヘッダを表すためである。そのため、フラグメント3は、フラグメント4の生成が完了するまで抽出することができない。これは、そのときまでフラグメント3自体を生成することができないためである。指示されているように、このフラグメントは最上位の優先度、すなわち、優先度1を有する。
第4のフラグメント(id=“4”)は、第2のフラグメントと類似の特性を有する。しかしながら、先行するフラグメントのサイズが分からないことに起因して、セグメント化マップが生成される時点においては、このフラグメントの実際のオフセットは分からない。このフラグメントの優先度は“1”であり、他のフラグメントに対するコンテンツ依存性はない。しかしながら、フラグメント4のサイズおよびオフセットはフラグメント3に依存する。コンテンツタイプ特有のヒント“Type-Specific”: “mdat-samples”は、このフラグメント4がmdatボックスのサンプルの開始において開始することを指示する。このヒントは、メディアタイプにアウェアなクライアントが、チャンク化HTTP転送によって配信されているときにデータの消費を開始することを可能にする。
上記で指示したように、この例において、各フラグメントのメタデータは、その順序を順列で指示する(すなわち、識別子1、2、3、および4)フラグメント識別子を含む。加えて、フラグメント(すなわち、複数のフラグメントメタデータ)はアレイにおいて記憶され、アレイは、この例では、順序付けされたデータ構造であり、アレイは、フラグメントに順序を課すことができる。この例において、両方の順序(データ構造によって暗示される順序と、フラグメント識別子によって指示される順序)は一致している。
上述したセグメント化マップを所与として、クライアントは、フラグメントを要求するための適切な順序を判定することができる。例えば、記憶容量に制約がなく、追加のコピーに伴う問題がないクライアントについて(例えば、クライアントがフラグメントの中間抽出およびその後のフラグメントの組み立てを実施することを所望している)、1つの可能な抽出戦略は、フラグメント2(コンテンツ依存性がなく、優先度が1である)を要求し、並行してフラグメント4(同じく依存性がなく、優先度が1である)を要求し、並行してフラグメント1(同じく依存性がないが、優先度はより低く、3である)を要求することである。この場合、フラグメント3は放置される。フラグメント3はコンテンツ依存性(フラグメント4に対する)を有するが、遅延を最小限に維持するために、クライアントは、フラグメント4が完全に生成されるまでこの要求が保留されることを期待して、先行して、このフラグメントを求める要求を別に行うことができる。
ここで図11を参照すると、上記の要求の完了の可能なシナリオが描写されている。T0の時点において、セグメント化マップがクライアントによって処理されており、クライアントは、上述したように要求を行う。個々の要求が適切なサーバによって処理されると直ちに、フラグメント1、2、および4(各々コンテンツ依存性を有しない)の配信が開始する。フラグメント1はより低い優先度を有するが、この例では、そのサイズが制限されていることに起因して、最初に(時点T1において)完了する。フラグメント2および4(それらのTransfer-Encoding値による)は、チャンク化配信を使用している。この事例においては、メディアデータおよびメディアサンプルのチャンクが、バーによって描写されているように、周期的に搬送される。時点T2において、サーバ(または複数のサーバ)がフラグメント2および4のデータの生成を完了しており、T2のわずか後に、それらのデータの配信が完了することになり、チャンク化転送メカニズムがそれらのデータの配信の完了を指示することになる。この例によれば、フラグメント3を求める要求は、そのフラグメントのコンテンツ依存性によって、T0からT3まで保留されている。時点T2において、フラグメント3のデータ(この例では、mdatボックスの長さを識別する長さ情報)が生成されており、その配信を開始することができる。フラグメント3の配信は、時点T3において完了する。時点T3において、クライアントは、フラグメントを組み立ててISO BMFFメディアセグメントにすることができる。
上記で指示したように、要求の順序は、記憶容量に制約がなく、追加のコピーに伴う問題がないクライアントに対応する。しかしながら、例えば、コピーを回避し、記憶要件を最小限に抑えることを所望する受信手段など、制約のある受信手段の場合、受信手段は、フラグメントの位置が分かるようにフラグメントを要求し得る順序を決定するためのサイズ依存性メタデータを使用することになり得る。この事例において、クライアントは、最初にフラグメント1および2のみを要求することになる。これは、フラグメント1および2がサイズ依存性を有せず、すなわち、フラグメント1が既知のサイズを有し、リソースファイルの始まりにおいて開始するためである。フラグメント2は、フラグメント1の直後に開始するが、その長さは最初は分からない。したがって、受信手段は、共通の連続したファイルに受信するときに、データを書き込むことが可能になる。フラグメント2が配信されると、フラグメント3および4は既知のサイズを有することになる。したがって、クライアントはその後、フラグメント3および4を並行して要求することができる。サイズおよび連続したファイルへのオフセットが分かることによって、受信時に直接的に、データを正確な位置に書き込むことができる。
DASHライブメディアセグメントに使用される別の例示的な実施形態
本出願において記載されているセグメント化ソリューションの実施形態は、メディア配信サーバにおけるコンテンツ取り込み開始から、クライアントにおいて再生が開始されるまでの遅延(Tsource_to_playback)を低減するために使用することができる。最初に、符号化手段が、ストリーミング配信に適したフォーマット(例えば、H.264)において、符号化メディアコンテンツを、個々のフレームレベル、または、ピクチャ群(GOP)毎など、何らかのより粗いレベルのいずれかにおいて生成する。ここから、符号化メディアを、HTTPのようなパケットベースのプロトコルを介して配信するためのフォーマットにするために(例えば、符号化メディアはmp4またはISOBMFFフォーマットにされる)、符号化メディアがパケット化されるか、または、パケタイザもしくはファイルフォーマット構築手段に通される。
ここで、ISOBMFFファイルによるDASHライブメディアストリーミングを使用する例を説明する。
この例における各メディアセグメントについて、セグメントは3秒の長さを有し、ISOBMFFフォーマットにおいて提供されると仮定する。ファイル構築手段は、この場合はセグメントタイプボックス(styp)によって開始する初期構造を作成する。この構造は、メディアセグメントのブランドおよびメディア初期化セグメント内で使用されるファイルタイプに基づいて構築することができる。DASHに従ってセグメント化されるISOBMFFファイルについて、個々のセグメントは、サンプルのロケーションに関する情報を提供するために、動画フラグメント(moof)ボックスを使用する。ここでの課題は、moofボックス内の情報の一部が個々のサンプルに依存することである。そのような依存性の一例は、moofボックスの一部である、トラックフラグメントボックス(traf)の一部である、トラックフラグメントランボックス(trun)である。trunは、mdatの内部に記憶されている各サンプルについて、このサンプルが配置されている場所に対するオフセットを含む。したがって、オフセットは、対応するサンプルがmdatに追加された後(すなわち、オフセットが最初に分かるとき)にのみ、trun内のサンプルエントリに書き込むことができる。依存性の別の例として、所与のボックスの全長は、すべてのボックスまたはサンプルがそのボックスに書き込まれるまで分からないため、ボックスの長さフィールドが問題になり得る。ボックスがファイルの終端まで延在する場合、長さに0の値を指定することが可能であり、これは、ボックスの長さがファイルの終端まで続くことを意味する。しかしながら、mdatボックスは通常、moofに後続しなければならないため、moofの長さは典型的には0として指定され得ない。
本出願において開示されているリソースセグメント化の実施形態は、ISOBMFFのDASH仕様の使用に従ってフォーマット化されたメディアセグメントに適用することができる。そうすることによって、遅延を低減することができ、メディアサンプルデータが利用可能になるときに、HTTPチャンク化配信または他のプッシュ配信を可能にすることができる。
ここで図12を参照すると、DASHメディアセグメントリソースのセグメント化は以下のように進行することができる。第1のリソースフラグメント1210は、最初に生成され得る情報を有する、ファイルの開始を包含することができる。このフラグメント1210は、すべてのサンプルが生成される前に知られるすべての初期ボックス1204を包含する。次のリソースフラグメント1212は、moofボックス1206を包含することができる。[S4-141201]に記載されているように、すべてのサンプルが生成される前に、moofボックス1206が(moofボックス内に包含されるボックスとともに)占める余地空間の量を推定することが可能である。そのような推定は、何らかの予約空間を含み得る。したがって、全長を推定することができ、必要なサンプルが追加された後に何らかの残りの空間が存在する場合、この空間を、空きボックスを使用して空きとしてマークすることができる(この事例において、空きボックスは、ISOBMFF仕様に準拠するために必要とされる)。ここでサイズが過小評価されると、セグメントのフォーマットが不良または不満足な結果となり、サイズが過大評価されると、空間が無駄になる結果となることが留意される。したがって、過大評価することがより好ましい。推定は、例えば、既知のまたは推定されるフレームレートおよび持続時間に基づくことができ、これによって、サンプル数が分かるかまたは推定される。第3のリソースフラグメント1214は、mdatボックス1208を包含することができる。このボックス1208のサイズは、すべてのサンプルが生成されるまで分からないが、ボックスはファイルの終端まで延在することになる。したがって、0の長さフィールド値を使用することが可能である。第3のリソースフラグメント1214はほとんど、mdatボックス1208のデータ部分、すなわち、メディアサンプルのデータを含む。ここで、リソースセグメントの初期オフセットが分かる(フラグメント3オフセット=1562)が、ボックスの終端に対応するオフセットは分からない。したがって、終端オフセットは開放端として指示される。
ここで、クライアントは、第1のリソースフラグメントを抽出することから開始することができる。その抽出の後、クライアントは、第2のフラグメント(trunボックスのコンテンツを有する)および第3のフラグメント(mdatボックスのコンテンツを有する)を抽出することができ、個々のリソースフラグメントのHTTPチャンク化によって、2つの独立したHTTPリソース要求を使用して、これら2つのフラグメントの配信を始めることができる。HTTPチャンク化は、例えば、個々のメディアサンプルなどのデータの適切なチャンクを、符号化を完了するときに配信するために使用され、対応するサンプルは、完了されるときに、trunボックス内で延在する。メディアセグメントに属するすべてのサンプルがmdatボックスに書き込まれると、HTTPチャンク化を使用してチャンク化配信の終端を指示することによって、フラグメントが閉じられる。moofフラグメントはまた、trunボックスの最後の部分を書き込むことによっても完了され、存在する場合、残りの空間は空きボックスによって消費される(結果、フラグメントのバイトカウントが所定の長さまで上げられる)。これによって、メディアセグメントの配信が完了する。
セグメントマップはまた、必要に応じて、リソースフラグメントの開始が何かを受信クライアントに指示するためのヒントをも包含することができる。例えば、セグメント化マップは、1つのフラグメントがmdatボックスの開始である(ここでは、フラグメント3)ことを指示し得、これによって、クライアントが、httpチャンク化によって配信されるようにするときに、メディアサンプルを消費することが可能になる。
上記の例は、moofボックスのコンテンツが書き込まれることになるリソースセグメント、および、特にtrunボックスの推定され、予め割り当てられる空間を使用する。代替的な実施形態は、このボックスが要求する空間の量を推定せず、代わりに、リソースセグメントの長さが開始時に分からないことを指示し、その後、HTTPチャンク化を使用して、リソースセグメント全体が配信されるとき、すなわち、ISOBMFFセグメントファイル内に含まれるように意図されているすべてのサンプルが含まれるときを指示し、すべてのデータの最終的な位置が分かる。これが行われるとき、最終的なtrunが書き込まれ、moofボックスの終端が決定されると、HTTPチャンク化が、空のチャンクを配信して、これが終端であることを指示する。しかしながら、この事例においてmoofボックスの長さを正確に指示するために、moofボックスの開始(長さフィールドを含む)は別個のフラグメントに置く必要があり、結果、moofボックスの長さが決定した後に、この別個のフラグメントが配信され得る。
この手法(すなわち、moofボックスが必要とする空間の量を推定しない)には、必要な空間が誤って推定される危険性が回避され、任意の未使用空間が無駄になることも回避されるという利点がある。しかしながら、最後のリソースが将来の使用のために記憶されることになる場合、最後に組み立てられるリソースの1つの連続したバイトストリームとしてそのリソースフラグメントを組み立てるために、通常、追加のコピー動作が必要とされる。しかし、使用事例によっては、これは最も重要な使用法ではなく、代わりに、依然としてISOBMFFのライブプロファイルに後続するものとしてフォーマット化されるが、データに対する可能な最も早期のアクセスが、主要な使用法である。
比較例
ここで、比較例が提供される。サーバ(サーバ104など)が、2つのクライアントにサーブしており、第1のクライアントは、本開示の実施形態に従ってセグメント化マップを受信および処理することが可能なクライアント(クライアント102など)(「スマートクライアント」と呼ばれる)であり、第2のクライアントは、本開示の実施形態に従ってセグメント化マップを受信および処理することが可能でない従来のクライアント(「ダムクライアント(dumb client)」または「従来のクライアント」と呼ばれる)である。
サーバは、ライブストリーミングメディアイベント(例えば、夕方のTVニュース番組)へのアクセスを提供している。サーバは、イベントが進行中であるときに、ソースフィードを連続的に受信している。サーバは、総継続時間、ソースフィードの品質、予測視聴率などのような、ソースフィードに関する情報をごくわずかしか知らない場合があり、代替的に、そのような情報は事前に完全に決定することができ、または、サーバは、そのような物事の推定値(例えば、番組の典型的な開始および終了時刻、および入来するフィードの典型的な品質)のいずれを形成すべきかに関する何らかの情報を有することができる。いずれにせよ、サーバは、ライブストリーミングメディアイベントのマニフェストファイルを準備する。このファイルは、イベントを、典型的には個々に2秒と10秒との間の継続時間の複数のセグメント、またはメディアリソースに分解する。マニフェストファイルは、クライアントが特定のセグメントまたはメディアリソースにいつアクセスすべきかに関するヒントを包含することができる。例えば、サーバは、時点t0において第1のリソースの受信を始めること、および、リソースを処理するのに(例えば、クライアントに配信する準備ができるようにリソースを符号化およびパケット化するのに)A秒かかることを知るまたは推定することができる。
従来のクライアントは、サーバがリソースを処理し、配信の準備ができるまで、個々のメディアリソースを受信し始めることが可能でないため、マニフェストファイルに従うことになる。それゆえ、従来のクライアントは、時点t1(t1=t0+A)においてまたは時点t1の後に第1のメディアリソースを要求する。したがって、従来のクライアントの遅延Tsource_to_receptionはAである。Aの典型的な値は、2秒と10秒との間であり得る。
さらに、従来のクライアントは、再生を始める前にリソース全体を受信および処理する必要があり、これにB秒かかる。したがって、従来のクライアントは、時点t2(t2=t1+B=t0+A+B)まで再生を始めることができず、そのため、従来のクライアントの遅延Tsource_to_receptionはBである。この結果として、遅延Tsource_to_playback=A+Bとなる。
他方、セグメント化マップを受信および処理することが可能なクライアントであるスマートクライアントは、サーバが第1のメディアリソースを完全に処理する前に、第1のメディアリソースを要求することが可能である。サーバがセグメント化マップを生成し、メディアリソースの部分をクライアントに提供し始めるのに、C秒しかかからないであろう。したがって、スマートクライアントは、時点t1’(t1’=t0+C)においてまたは時点t1’の後に第1のメディアリソースを要求する。したがって、スマートクライアントの遅延Tsource_to_receptionはCである。Cの典型的な値は、約200msであり得る。この時間は、セグメント化マップを形成するための時間と、セグメント化マップを配信し、その後、クライアントにフラグメントを請求させ、その後、フラグメントの配信を開始することを可能にするためのさらなる往復とから構成される。
さらに、スマートクライアントは、セグメント全体を受信する前に、再生を始めることが可能である。例えば、上述したように、アプリケーションレベルヒントが、例えば、D秒の受信以内に、クライアントが再生を始めることを可能にすることができる。したがって、スマートクライアントは、時点t2’(t2’=t1’+C=t0+C+D)において再生を始めることができ、そのため、スマートクライアントの遅延Tsource_to_receptionはDである。この結果として、遅延Tsource_to_playback=C+Dとなる。本例において、MOOFは相対的に小さい(数kb)ため、差B-Dは、この例においては、数ミリ秒程度である。
この例によれば、遅延Tsource_to_receptionは、約2~10秒から約200ミリ秒まで、または約90%~98%低減することができる。遅延Treception_to_playbackは、数ミリ秒だけ低減することができる。全体的に、この結果として、ソース取り込みから再生までの遅延が大幅に低減される。
この例から明らかであるように、リソースセグメントが、クライアントによる消費に利用可能になる時点は、クライアントがセグメント化モードをサポートしているか否かに応じて大幅に異なる。いくつかの実施形態において、セグメント化モードをサポートしているスマートクライアントは、マニフェストファイル内で提供される利用可能性ヒントを無視するか、または、適切に修正することを決定することができる。いくつかの実施形態において、サーバは、1つのマニフェストファイルを従来のクライアントに提供し、異なるマニフェストファイル(改訂された利用可能性ヒントを有する)をスマートクライアントに提供することができる。
図13は、いくつかの実施形態による、クライアント102またはサーバ104のいずれかを実装するために使用することができる装置1300のブロック図である。図13に示すように、装置は、1つまたは複数のプロセッサ1355(例えば、汎用マイクロプロセッサ、および/または、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などのような1つもしくは複数の他のプロセッサ)を含むことができるデータ処理システム(DPS)1302と、他の装置との通信に使用するための、アンテナまたは通信ポートに結合することができる送信手段1305および受信手段1306と、1つもしくは複数の不揮発性記憶デバイス(例えば、フラッシュメモリ、ハードディスク、光ディスクなど)および/または1つもしくは複数の揮発性記憶デバイス(例えば、揮発性ランダムアクセスメモリ(RAM))を含むことができるローカル記憶ユニット(「データ記憶システム」としても知られる)1312とを備えることができる。DPS1302がプログラム可能マイクロプロセッサを含む実施形態において、コンピュータプログラム製品(CPP)1341を提供することができる。CPP1341は、コンピュータ可読命令(CRI)1344を含むコンピュータプログラム(CP)1343を記憶しているコンピュータ可読媒体(CRM)1342を含む。CRM1342は、限定ではないが、磁気媒体(例えば、ハードディスク)、光媒体(例えば、DVD)、メモリデバイス(例えば、フラッシュメモリ、揮発性RAM)などのような、非一時的コンピュータ可読媒体であってもよい。いくつかの実施形態において、コンピュータプログラム1343のCRI1344は、データ処理システム1302によって実行されると、CRIが、装置に、本明細書において記載されているステップ(例えば、流れ図を参照しながら上述したステップ)を実施させるように設定される。他の実施形態において、装置は、コードを必要とすることなく、本明細書において記載されているステップを実施するように設定されてもよい。すなわち、例えば、データ処理システム1302は、1つまたは複数のASICのみから構成されてもよい。したがって、本明細書において記載されている実施形態の特徴は、ハードウェアおよび/またはソフトウェアにおいて実装されてもよい。
本開示の様々な実施形態が本明細書において説明されているが(添付文書を含む)、それらは例としてのみ提示されており、限定ではないことが理解されるべきである。したがって、本開示の広がりおよび範囲は、上述されている例示的な実施形態のいずれによっても限定されるべきではない。その上、本明細書において別途指示しない限り、または、文脈によって別途明確に否定されない限り、すべての可能な変形における上述した要素の任意の組み合わせが、本開示によって網羅される。
加えて、上述されており、図面において図解されている処理は、一連のステップとして示されているが、これは、説明の目的でのみ行われている。したがって、いくつかのステップが追加されてもよく、いくつかのステップが省略されてもよく、ステップの順序が再編成されてもよく、いくつかのステップは並行して実施されてもよいことが企図されている。
本発明は以下に記載する態様を含む。
(態様1)
サーバ(104)が、第1のフラグメント(1210)および第2のフラグメント(1212)を含むフラグメントの順序付けされたセット(1210、1212、1214)を含む、メディアセグメントのセグメント化マップを生成することと、
前記サーバ(104)が、前記セグメント化マップをクライアント(102)に提供することと
を含む方法であって、
前記セグメント化マップは、
前記第1のフラグメント(1210)と関連付けられる第1のフラグメントメタデータと、
前記第2のフラグメント(1212)と関連付けられる第2のフラグメントメタデータと、
前記第1のフラグメント(1210)が前記第2のフラグメント(1212)の前に順序付けされていることを指示する情報を含む、前記セット(1210、1212、1214)内のフラグメントの順序付けを識別する順序付け情報と
を含み、
前記第1のフラグメントメタデータは、1)前記第1のフラグメント(1210)へのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、
2a)前記サーバ(104)から配信されるべき前記第1のフラグメント(1210)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第1のフラグメント(1210)の第1の依存性情報、
2b)前記第1のフラグメント(1210)の長さ、前記メディアセグメント内の前記第1のフラグメント(1210)の開始位置、および前記メディアセグメント内の前記第1のフラグメント(1210)の終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに
2c)前記第1のフラグメント(1210)のインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数と
を含み、
前記第2のフラグメントメタデータは、前記第2のフラグメント(1212)へのアクセスに使用するための第2のフラグメント識別子を含む、方法。
(態様2)
前記第1のフラグメントメタデータは、前記第1の依存性情報、前記第1の位置情報、および前記第1のフラグメントレベルセキュリティ情報を含む、態様1に記載の方法。
(態様3)
前記第1のフラグメントメタデータは、前記第1のフラグメントレベルセキュリティ情報を含み、
前記フラグメントレベルセキュリティ情報は、前記サーバ(104)によって、前記第1のフラグメント(1210)および前記第1のフラグメント(1210)の一部のうちの少なくとも一方のハッシュを生成するために使用されるハッシュ情報を含む、態様1または2に記載の方法。
(態様4)
前記第2のフラグメントメタデータは、
前記サーバ(104)から配信されるべき前記第2のフラグメント(1212)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第2のフラグメント(1212)の第2の依存性情報と、
前記第2のフラグメント(1212)の長さ、前記メディアセグメント内の前記第2のフラグメント(1212)の開始位置、および前記メディアセグメント内の前記第2のフラグメント(1212)の終端位置のうちの1つもしくは複数を含む第2の位置情報と、
前記第2のフラグメント(1212)のインテグリティの検証に使用するための第2のフラグメントレベルセキュリティ情報と
のうちの1つまたは複数をさらに含む、態様1から3のいずれか一項に記載の方法。
(態様5)
前記第1のフラグメントメタデータは、前記第1のフラグメント(1210)に対応する優先度値をさらに含む、態様1から4のいずれか一項に記載の方法。
(態様6)
前記第1のフラグメントメタデータは、符号化識別子をさらに含む、態様1から5のいずれか一項に記載の方法。
(態様7)
前記第1のフラグメント識別子は、前記第1のフラグメント(1210)を識別する統一資源識別子(URI)を含む、態様1から6のいずれか一項に記載の方法。
(態様8)
前記第1のフラグメントメタデータは、前記メディアセグメントのタイプと関連付けられるアプリケーションレベルヒントをさらに含み、
前記アプリケーションレベルヒントは、クライアント(102)が、他の複数のフラグメント(1210、1212、1214)の各々を受信する前に前記第1のフラグメント(1210)を利用することを可能にする、態様1から7のいずれか一項に記載の方法。
(態様9)
前記第1の依存性情報は、サイズ依存性情報を含み、
前記サイズ依存性情報は、前記第1のフラグメント(1210)のサイズが判定される可能性がある前に生成されなければならない0個以上の他のフラグメント(1210、1212、1214)を指示する、態様1から8のいずれか一項に記載の方法。
(態様10)
前記第1の依存性情報は、コンテンツ依存性情報を含み、
前記コンテンツ依存性情報は、前記第1のフラグメント(1210)のコンテンツが生成される可能性がある前に生成されなければならない0個以上の他のフラグメント(1210、1212、1214)を指示する、態様1から8のいずれか一項に記載の方法。
(態様11)
前記順序付け情報は、各フラグメントメタデータと関連付けられるシーケンス識別子を含む、態様1から10のいずれか一項に記載の方法。
(態様12)
前記順序付け情報は、前記複数のフラグメントメタデータを記憶するデータ構造内に内在する、態様1から10のいずれか一項に記載の方法。
(態様13)
前記セグメントマップは、
前記メディアセグメントのメディアタイプ、
リソースレベルインテグリティ情報、
前記メディアセグメントの統一資源位置指定子(URL)、および
前記クライアント(102)が前記セグメント化マップを更新することが推奨される場合を指示する更新ヒントであって、前記更新ヒントは、期限切れ時間およびコンテンツ依存性属性のうちの1つまたは複数を含む、更新ヒント
のうちの1つまたは複数を含むメディアセグメントメタデータをさらに含む、態様1から12のいずれか一項に記載の方法。
(態様14)
前記クライアント(102)から、前記メディアセグメントを求める要求を受信することと、
前記メディアセグメントを求める前記要求に応答して、前記クライアント(102)に、前記セグメント化マップを送信することと
をさらに含む、態様1から13のいずれか一項に記載の方法。
(態様15)
前記クライアント(102)から、前記第1のフラグメント(1210)を求める要求を受信することと、
前記第1のフラグメント(1210)を求める前記要求を受信することに応答して、前記クライアント(102)に、前記第1のフラグメント(1210)を送信することと
をさらに含む、態様14に記載の方法。
(態様16)
新たな情報に基づいて前記セグメント化マップを更新することであって、前記新たな情報は、前記複数のフラグメント(1210、1212、1214)のうちの1つの長さ、前記複数のフラグメント(1210、1212、1214)のうちの1つの開始位置、および前記複数のフラグメント(1210、1212、1214)のうちの1つの終端位置のうちの1つまたは複数を含む、更新することと、
前記クライアント(102)に前記更新されているセグメント化マップを送信することと
をさらに含む、態様1から15のいずれか一項に記載の方法。
(態様17)
態様1から16のいずれか一項に記載の方法を実施するように設定されている、サーバ(104)。
(態様18)
サーバ(104)であって、
メモリを備えるデータ記憶システム(1312)と、
プロセッサ(1355)を備えるデータ処理システム(1302)と
を備え、
前記サーバ(104)は、態様1から16のいずれか一項に記載の方法を実施するように設定されている、サーバ(104)。
(態様19)
クライアント(102)が、サーバ(104)によって伝送されるセグメント化マップを受信することであって、前記セグメント化マップは、複数のメディアセグメントを含むメディアストリームの第1のメディアセグメントのためのものであり、前記複数のメディアセグメントは、第1のメディアセグメントおよび第2のメディアセグメントを含み、前記第1のメディアセグメントは、フラグメントの順序付けされたセット(1210、1212、1214)を含み、前記フラグメントの順序付けされたセット(1210、1212、1214)は、第1のフラグメント(1210)および第2のフラグメント(1212)を含む、受信することと、
前記クライアント(102)が、前記セグメント化マップを処理することと
を含む方法であって、
前記セグメント化マップは、
前記第1のフラグメント(1210)と関連付けられる第1のフラグメントメタデータと、
前記第2のフラグメント(1212)と関連付けられる第2のフラグメントメタデータと、
前記第1のフラグメント(1210)が前記第2のフラグメント(1212)の前に順序付けされていることを指示する情報を含む、前記セット(1210、1212、1214)内のフラグメントの順序付けを識別する順序付け情報と
を含み、
前記第1のフラグメントメタデータは、1)前記第1のフラグメント(1210)へのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、
2a)前記サーバ(104)から配信されるべき前記第1のフラグメント(1210)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第1のフラグメント(1210)の第1の依存性情報、
2b)前記第1のフラグメント(1210)の長さ、前記第1のメディアセグメント内の前記第1のフラグメント(1210)の開始位置、および前記第1のメディアセグメント内の前記第1のフラグメント(1210)の終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに
2c)前記第1のフラグメント(1210)のインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数と
を含み、
前記第2のフラグメントメタデータは、前記第2のフラグメント(1212)へのアクセスに使用するための第2のフラグメント識別子を含む、方法。
(態様20)
前記サーバ(104)によって伝送される前記セグメント化マップを受信する前に、前記クライアント(102)が、前記サーバ(104)に、前記第1のメディアセグメントを求める要求を伝送することをさらに含む、態様19に記載の方法。
(態様21)
前記サーバ(104)によって伝送される前記セグメント化マップを受信する前に、マニフェストファイルを受信することであって、前記マニフェストファイルは、前記クライアント(102)が、前記第1のメディアセグメントを求める前記要求を送信することを可能にするための情報を含む、受信することと、
前記受信されているマニフェストファイルを処理することと
をさらに含み、
前記クライアント(102)は、前記マニフェストファイルを処理した後に、前記サーバ(104)に、前記第1のメディアセグメントを求める前記要求を伝送する、態様20に記載の方法。
(態様22)
前記第1のメディアセグメントを求める前記要求は、前記クライアント(102)がセグメント化モードをサポートしていることを指示する指標を含む、態様20または21に記載の方法。
(態様23)
前記第1のフラグメント(1210)を受信することと、
前記第1のフラグメント(1210)を再生することと
をさらに含む、態様19から22のいずれか一項に記載の方法。
(態様24)
前記第1のフラグメント(1210)を再生する前記ステップは、前記クライアント(102)が、前記フラグメントの順序付けされたセット(1210、1212、1214)に含まれる前記フラグメントをすべて受信する前に行われる、態様23に記載の方法。
(態様25)
前記第1のフラグメント(1210)のインテグリティを検証することをさらに含む、態様23または24に記載の方法。
(態様26)
前記第1のフラグメント(1210)が前記第2のフラグメント(1212)に依存することを指示するフラグメント依存性情報に基づいて、前記クライアント(102)が、前記第1のフラグメント(1210)を求める要求を伝送する前に、前記第2のフラグメント(1212)を求める要求を伝送する、態様19から25のいずれか一項に記載の方法。
(態様27)
態様19から26のいずれか一項に記載の方法を実施するように設定されている、クライアント(102)。
(態様28)
クライアント(102)であって、
メモリを備えるデータ記憶システム(1312)と、
プロセッサ(1355)を備えるデータ処理システム(1302)と
を備え、
前記クライアント(102)は、態様19から26のいずれか一項に記載の方法を実施するように設定されている、クライアント(102)。
(態様29)
データ処理システム(1302)によって実行されると、前記データ処理システム(1302)に、態様1から16および態様19から26のいずれか一項に記載の方法を実施させる命令(1344)を含む、コンピュータプログラム(1343)。
(態様30)
態様29に記載のコンピュータプログラム(1343)を備える非一時的コンピュータ可読媒体(1342)を備える、コンピュータプログラム製品(1341)。

Claims (25)

  1. サーバ(104)が、クライアント(102)から、メディアセグメントを求める要求を受信することと、
    前記サーバ(104)が、第1のフラグメント(1210)および第2のフラグメント(1212)を含むフラグメントの順序付けされたセット(1210、1212、1214)を含む、前記メディアセグメントのセグメント化マップを生成することと、
    前記サーバ(104)が、前記メディアセグメントを求める前記要求であって、前記クライアント(102)がセグメント化モードをサポートしていることを指示する指標を含む前記要求に応答して、前記セグメント化マップを前記クライアント(102)に提供することと
    を含む方法であって、
    前記セグメント化マップは、
    前記第1のフラグメント(1210)と関連付けられる第1のフラグメントメタデータと、
    前記第2のフラグメント(1212)と関連付けられる第2のフラグメントメタデータと、
    前記第1のフラグメント(1210)が前記第2のフラグメント(1212)の前に順序付けされていることを指示する情報を含む、前記セット(1210、1212、1214)内のフラグメントの順序付けを識別する順序付け情報と
    を含み、
    前記第1のフラグメントメタデータは、1)前記第1のフラグメント(1210)へのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、
    2a)前記サーバ(104)から配信されるべき前記第1のフラグメント(1210)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第1のフラグメント(1210)の第1の依存性情報、
    2b)前記第1のフラグメント(1210)の長さ、前記メディアセグメント内の前記第1のフラグメント(1210)の開始位置、および前記メディアセグメント内の前記第1のフラグメント(1210)の終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに
    2c)前記第1のフラグメント(1210)のインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数と
    を含み、
    前記第2のフラグメントメタデータは、前記第2のフラグメント(1212)へのアクセスに使用するための第2のフラグメント識別子を含む、方法。
  2. 前記第1のフラグメントメタデータは、前記第1の依存性情報、前記第1の位置情報、および前記第1のフラグメントレベルセキュリティ情報を含む、請求項1に記載の方法。
  3. 前記第1のフラグメントメタデータは、前記第1のフラグメントレベルセキュリティ情報を含み、
    前記第1のフラグメントレベルセキュリティ情報は、前記サーバ(104)によって、前記第1のフラグメント(1210)および前記第1のフラグメント(1210)の一部のうちの少なくとも一方のハッシュを生成するために使用されるハッシュ情報を含む、請求項1または2に記載の方法。
  4. 前記第2のフラグメントメタデータは、
    前記サーバ(104)から配信されるべき前記第2のフラグメント(1212)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第2のフラグメント(1212)の第2の依存性情報と、
    前記第2のフラグメント(1212)の長さ、前記メディアセグメント内の前記第2のフラグメント(1212)の開始位置、および前記メディアセグメント内の前記第2のフラグメント(1212)の終端位置のうちの1つもしくは複数を含む第2の位置情報と、
    前記第2のフラグメント(1212)のインテグリティの検証に使用するための第2のフラグメントレベルセキュリティ情報と
    のうちの1つまたは複数をさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第1のフラグメントメタデータは、前記第1のフラグメント(1210)に対応する優先度値をさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記第1のフラグメントメタデータは、符号化識別子をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記第1のフラグメント識別子は、前記第1のフラグメント(1210)を識別する統一資源識別子(URI)を含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記第1のフラグメントメタデータは、前記メディアセグメントのタイプと関連付けられるアプリケーションレベルヒントをさらに含み、
    前記アプリケーションレベルヒントは、クライアント(102)が、他の複数のフラグメント(1210、1212、1214)の各々を受信する前に前記第1のフラグメント(1210)を利用することを可能にする、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1の依存性情報は、サイズ依存性情報を含み、
    前記サイズ依存性情報は、前記第1のフラグメント(1210)のサイズが判定される可能性がある前に生成されなければならない0個以上の他のフラグメント(1210、1212、1214)を指示する、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1の依存性情報は、コンテンツ依存性情報を含み、
    前記コンテンツ依存性情報は、前記第1のフラグメント(1210)のコンテンツが生成される可能性がある前に生成されなければならない0個以上の他のフラグメント(1210、1212、1214)を指示する、請求項1から8のいずれか一項に記載の方法。
  11. 前記順序付け情報は、各フラグメントメタデータと関連付けられるシーケンス識別子を含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記順序付け情報は、数のフラグメントメタデータを記憶するデータ構造内に内在する、請求項1から10のいずれか一項に記載の方法。
  13. 前記セグメント化マップは、
    前記メディアセグメントのメディアタイプ、
    リソースレベルインテグリティ情報、
    前記メディアセグメントの統一資源位置指定子(URL)、および
    前記クライアント(102)が前記セグメント化マップを更新することが推奨される場合を指示する更新ヒントであって、前記更新ヒントは、期限切れ時間およびコンテンツ依存性属性のうちの1つまたは複数を含む、更新ヒント
    のうちの1つまたは複数を含むメディアセグメントメタデータをさらに含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記クライアント(102)から、前記第1のフラグメント(1210)を求める要求を受信することと、
    前記第1のフラグメント(1210)を求める前記要求を受信することに応答して、前記クライアント(102)に、前記第1のフラグメント(1210)を送信することと
    をさらに含む、請求項1に記載の方法。
  15. 新たな情報に基づいて前記セグメント化マップを更新することであって、前記新たな情報は、前記複数のフラグメント(1210、1212、1214)のうちの1つの長さ、前記複数のフラグメント(1210、1212、1214)のうちの1つの開始位置、および前記複数のフラグメント(1210、1212、1214)のうちの1つの終端位置のうちの1つまたは複数を含む、更新することと、
    前記クライアント(102)に、更新された前記セグメント化マップを送信することと
    をさらに含む、請求項1から14のいずれか一項に記載の方法。
  16. サーバ(104)であって、
    メモリを備えるデータ記憶システム(1312)と、
    プロセッサ(1355)を備えるデータ処理システム(1302)と
    を備え、
    前記サーバ(104)は、請求項1から15のいずれか一項に記載の方法を実施するように設定されている、サーバ(104)。
  17. クライアント(102)が、サーバ(104)に、第1のメディアセグメントを求める要求であって、前記クライアント(102)がセグメント化モードをサポートしていることを指示する指標を含む要求を伝送することと、
    前記サーバ(104)に、前記第1のメディアセグメントを求める前記要求を伝送したのちに、前記クライアント(102)が、前記サーバ(104)によって伝送されるセグメント化マップを受信することであって、前記セグメント化マップは、複数のメディアセグメントを含むメディアストリームの前記第1のメディアセグメントのためのものであり、前記複数のメディアセグメントは、前記第1のメディアセグメントおよび第2のメディアセグメントを含み、前記第1のメディアセグメントは、フラグメントの順序付けされたセット(1210、1212、1214)を含み、前記フラグメントの順序付けされたセット(1210、1212、1214)は、第1のフラグメント(1210)および第2のフラグメント(1212)を含む、受信することと、
    前記クライアント(102)が、前記セグメント化マップを処理することと
    を含む方法であって、
    前記セグメント化マップは、
    前記第1のフラグメント(1210)と関連付けられる第1のフラグメントメタデータと、
    前記第2のフラグメント(1212)と関連付けられる第2のフラグメントメタデータと、
    前記第1のフラグメント(1210)が前記第2のフラグメント(1212)の前に順序付けされていることを指示する情報を含む、前記セット(1210、1212、1214)内のフラグメントの順序付けを識別する順序付け情報と
    を含み、
    前記第1のフラグメントメタデータは、1)前記第1のフラグメント(1210)へのアクセスに使用するための第1のフラグメント識別子と、2)以下のもの、すなわち、
    2a)前記サーバ(104)から配信されるべき前記第1のフラグメント(1210)の利用可能性が前記セット(1210、1212、1214)の1つもしくは複数の他のフラグメントに依存することを指示する、前記第1のフラグメント(1210)の第1の依存性情報、
    2b)前記第1のフラグメント(1210)の長さ、前記第1のメディアセグメント内の前記第1のフラグメント(1210)の開始位置、および前記第1のメディアセグメント内の前記第1のフラグメント(1210)の終端位置のうちの1つもしくは複数を含む第1の位置情報、ならびに
    2c)前記第1のフラグメント(1210)のインテグリティの検証に使用するための第1のフラグメントレベルセキュリティ情報のうちの1つまたは複数と
    を含み、
    前記第2のフラグメントメタデータは、前記第2のフラグメント(1212)へのアクセスに使用するための第2のフラグメント識別子を含む、方法。
  18. 前記サーバ(104)によって伝送される前記セグメント化マップを受信する前に、マニフェストファイルを受信することであって、前記マニフェストファイルは、前記クライアント(102)が、前記第1のメディアセグメントを求める前記要求を送信することを可能にするための情報を含む、受信することと、
    前記受信されたマニフェストファイルを処理することと
    をさらに含み、
    前記クライアント(102)は、前記マニフェストファイルを処理した後に、前記サーバ(104)に、前記第1のメディアセグメントを求める前記要求を伝送する、請求項17に記載の方法。
  19. 前記第1のフラグメント(1210)を受信することと、
    前記第1のフラグメント(1210)を再生することと
    をさらに含む、請求項17または18に記載の方法。
  20. 前記第1のフラグメント(1210)を再生するステップは、前記クライアント(102)が、前記フラグメントの順序付けされたセット(1210、1212、1214)に含まれる前記フラグメントをすべて受信する前に行われる、請求項19に記載の方法。
  21. 前記第1のフラグメント(1210)のインテグリティを検証することをさらに含む、請求項19または20に記載の方法。
  22. 前記第1のフラグメント(1210)が前記第2のフラグメント(1212)に依存することを指示するフラグメント依存性情報に基づいて、前記クライアント(102)が、前記第1のフラグメント(1210)を求める要求を伝送する前に、前記第2のフラグメント(1212)を求める要求を伝送する、請求項17から21のいずれか一項に記載の方法。
  23. クライアント(102)であって、
    メモリを備えるデータ記憶システム(1312)と、
    プロセッサ(1355)を備えるデータ処理システム(1302)と
    を備え、
    前記クライアント(102)は、請求項17から22のいずれか一項に記載の方法を実施するように設定されている、クライアント(102)。
  24. データ処理システム(1302)によって実行されると、前記データ処理システム(1302)に、請求項1から15および請求項17から22のいずれか一項に記載の方法を実施させる命令(1344)を含む、コンピュータプログラム(1343)。
  25. 請求項24に記載のコンピュータプログラム(1343)を備える非一時的コンピュータ可読媒体(1342)。
JP2019524241A 2016-11-10 2017-11-10 配信性能を改善するためのリソースセグメント化 Active JP7061121B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662420120P 2016-11-10 2016-11-10
US62/420,120 2016-11-10
PCT/EP2017/078928 WO2018087311A1 (en) 2016-11-10 2017-11-10 Resource segmentation to improve delivery performance

Publications (2)

Publication Number Publication Date
JP2019537897A JP2019537897A (ja) 2019-12-26
JP7061121B2 true JP7061121B2 (ja) 2022-04-27

Family

ID=60320886

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019524262A Active JP7178998B2 (ja) 2016-11-10 2017-11-10 配信性能を改善するためのリソースセグメント化
JP2019524241A Active JP7061121B2 (ja) 2016-11-10 2017-11-10 配信性能を改善するためのリソースセグメント化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019524262A Active JP7178998B2 (ja) 2016-11-10 2017-11-10 配信性能を改善するためのリソースセグメント化

Country Status (8)

Country Link
US (3) US11558677B2 (ja)
EP (2) EP3539270B1 (ja)
JP (2) JP7178998B2 (ja)
KR (1) KR102220188B1 (ja)
CN (1) CN110140335B (ja)
AU (2) AU2017358996A1 (ja)
MX (1) MX2019005456A (ja)
WO (2) WO2018087311A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924781B2 (en) * 2014-06-27 2021-02-16 Satellite Investors, Llc Method and system for real-time transcoding of MPEG-DASH on-demand media segments while in transit from content host to dash client
CN108848060B (zh) * 2018-05-17 2021-08-24 上海哔哩哔哩科技有限公司 一种多媒体文件处理方法、处理系统及计算机可读存储介质
US20200330034A1 (en) * 2019-04-18 2020-10-22 Vanderbilt University Method and apparatus for intraoperative nerve visualization using polarized diffuse reflectance spectroscopy and applications of same
US11323778B2 (en) * 2020-09-23 2022-05-03 Sony Group Corporation Unified programming guide for content associated with broadcaster and VOD applications
CN113687846B (zh) * 2021-06-30 2023-07-18 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备和可读存储介质
US20230318982A1 (en) * 2022-03-29 2023-10-05 Qualcomm Incorporated Application data unit architecture and signaling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529970A (ja) 2011-08-31 2014-11-13 クゥアルコム・インコーポレイテッドQualcomm Incorporated 適応httpストリーミングのための表示の改善された切り替えを提供する切替シグナリング方法
JP2015501090A (ja) 2011-09-21 2015-01-08 クゥアルコム・インコーポレイテッドQualcomm Incorporated ネットワークを通じてのメディアデータのストリーミングに関するセグメントの特徴のシグナリング
WO2015064383A1 (ja) 2013-10-30 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置、及び、受信方法
JP2015519814A (ja) 2012-04-25 2015-07-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アダプティブストリーミングのための、セグメントの保全性および信頼性のためのシステムおよび方法
JP2015208018A (ja) 2012-10-09 2015-11-19 シャープ株式会社 コンテンツ送信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ送信装置の制御方法、コンテンツ再生装置の制御方法、制御プログラムおよび記録媒体

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
US20020150966A1 (en) * 2001-02-09 2002-10-17 Muraca Patrick J. Specimen-linked database
US7206627B2 (en) * 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
US10751509B2 (en) * 2007-11-26 2020-08-25 C. R. Bard, Inc. Iconic representations for guidance of an indwelling medical device
US9173554B2 (en) * 2008-03-18 2015-11-03 Novadaq Technologies, Inc. Imaging system for combined full-color reflectance and near-infrared imaging
CA2660674A1 (en) * 2008-03-27 2009-09-27 Crim (Centre De Recherche Informatique De Montreal) Media detection using acoustic recognition
WO2010056945A2 (en) * 2008-11-13 2010-05-20 Shalon Ventures, Inc. Methods and systems for tissue processing and imaging
US8594841B2 (en) * 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8909806B2 (en) 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
KR101938742B1 (ko) * 2009-05-27 2019-01-15 마이크로매스 유케이 리미티드 생물 조직의 식별을 위한 시스템 및 방법
US8166191B1 (en) * 2009-08-17 2012-04-24 Adobe Systems Incorporated Hint based media content streaming
DE102010013308A1 (de) * 2010-03-29 2011-09-29 Karl Storz Gmbh & Co. Kg Vorrichtung zur Bereitstellung von weißem Beleuchtungslicht
CN103747365B (zh) * 2010-09-17 2017-04-26 华为技术有限公司 基于http流的媒体内容动态插播方法、装置及系统
CN102137089B (zh) * 2010-11-01 2013-09-11 华为技术有限公司 验证流媒体内容完整性的方法、设备以及系统
US9301020B2 (en) * 2010-11-30 2016-03-29 Google Technology Holdings LLC Method of targeted ad insertion using HTTP live streaming protocol
US9088835B2 (en) 2010-12-17 2015-07-21 Thomson Licensing Method for adjusting depth or view of three-dimensional streaming video
US9827002B2 (en) * 2011-02-15 2017-11-28 Dextera Surgical Tissue removal and closure device
US11025962B2 (en) 2011-02-28 2021-06-01 Adobe Inc. System and method for low-latency content streaming
WO2011100901A2 (zh) * 2011-04-07 2011-08-25 华为技术有限公司 媒体内容的传输处理方法、装置与系统
US8830233B2 (en) * 2011-04-28 2014-09-09 Howmedica Osteonics Corp. Surgical case planning platform
KR101781717B1 (ko) * 2011-06-08 2017-10-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
EP3525474A1 (en) * 2011-12-29 2019-08-14 Koninklijke KPN N.V. Controlled streaming of segmented content
US9344606B2 (en) 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US9846696B2 (en) * 2012-02-29 2017-12-19 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods for indexing multimedia content
US9375282B2 (en) * 2012-03-26 2016-06-28 Covidien Lp Light energy sealing, cutting and sensing surgical device
US9724118B2 (en) * 2012-04-09 2017-08-08 Ethicon Endo-Surgery, Llc Techniques for cutting and coagulating tissue for ultrasonic surgical instruments
RU2629001C2 (ru) 2012-04-26 2017-08-24 Квэлкомм Инкорпорейтед Система улучшенной потоковой передачи блоков по запросу для обработки потоковой передачи с малой задержкой
JP5612028B2 (ja) * 2012-07-02 2014-10-22 富士フイルム株式会社 光源装置及び内視鏡システム
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9572529B2 (en) * 2012-10-31 2017-02-21 Covidien Lp Surgical devices and methods utilizing optical coherence tomography (OCT) to monitor and control tissue sealing
US9497231B2 (en) * 2013-06-04 2016-11-15 Echostar Technologies L.L.C. Real-time placeshifting of media content to paired devices
US9743991B2 (en) * 2013-10-21 2017-08-29 Biosense Webster (Israel) Ltd. Real-time estimation of tissue perforation risk during minimally invasive medical procedure
EP3055805B1 (en) * 2013-10-28 2018-12-12 Huawei Technologies Co., Ltd. System and method for signaling and verifying url signatures for both url authentication and url-based content access authorization in adaptive streaming
US20150256600A1 (en) 2014-03-05 2015-09-10 Citrix Systems, Inc. Systems and methods for media format substitution
JP2017516507A (ja) * 2014-03-17 2017-06-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド イメージング器具の向きの制御のためのシステム及び方法
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
JP2015192407A (ja) 2014-03-28 2015-11-02 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10226180B2 (en) * 2014-12-23 2019-03-12 Imam Abdulrahman Bin Faisal University System, method, and apparatus for performing histopathology
US11275757B2 (en) * 2015-02-13 2022-03-15 Cerner Innovation, Inc. Systems and methods for capturing data, creating billable information and outputting billable information
EP3265011A1 (en) * 2015-03-01 2018-01-10 Aris MD, Inc. Reality-augmented morphological procedure
US10454985B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated File format based streaming with dash formats based on LCT
CN106034242A (zh) * 2015-03-09 2016-10-19 杭州施强网络科技有限公司 一种p2p系统中音视频直播流媒体数据传输方法
KR20170127561A (ko) * 2015-03-17 2017-11-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
EP3628264A1 (en) * 2015-03-17 2020-04-01 Intuitive Surgical Operations, Inc. Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US9641578B2 (en) 2015-04-02 2017-05-02 Arris Enterprises, Inc. Minimizing unicast bandwidth in an adaptive bit rate system
GB2553707B (en) 2015-04-09 2021-07-28 Arris Entpr Inc Method and apparatus for automatic discovery of elements in a system of encoders
US20160337424A1 (en) 2015-05-13 2016-11-17 Qualcomm Incorporated Transferring media data using a websocket subprotocol
US11057446B2 (en) 2015-05-14 2021-07-06 Bright Data Ltd. System and method for streaming content from multiple servers
KR20180068336A (ko) * 2015-11-12 2018-06-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 훈련 또는 보조 기능들을 갖는 수술 시스템
US10057654B2 (en) 2016-01-29 2018-08-21 Roku, Inc. Selection and alignment of video segments for adaptive streaming
US11730550B2 (en) * 2016-08-12 2023-08-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen menus in a teleoperational medical system
US10448062B2 (en) 2016-10-26 2019-10-15 International Business Machines Corporation Pre-fetching media content to reduce peak loads
US11367526B2 (en) * 2018-05-07 2022-06-21 Medtronic Minimed, Inc. Proactive patient guidance using augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529970A (ja) 2011-08-31 2014-11-13 クゥアルコム・インコーポレイテッドQualcomm Incorporated 適応httpストリーミングのための表示の改善された切り替えを提供する切替シグナリング方法
JP2015501090A (ja) 2011-09-21 2015-01-08 クゥアルコム・インコーポレイテッドQualcomm Incorporated ネットワークを通じてのメディアデータのストリーミングに関するセグメントの特徴のシグナリング
JP2015519814A (ja) 2012-04-25 2015-07-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アダプティブストリーミングのための、セグメントの保全性および信頼性のためのシステムおよび方法
JP2015208018A (ja) 2012-10-09 2015-11-19 シャープ株式会社 コンテンツ送信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ送信装置の制御方法、コンテンツ再生装置の制御方法、制御プログラムおよび記録媒体
WO2015064383A1 (ja) 2013-10-30 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置、及び、受信方法

Also Published As

Publication number Publication date
EP3539271A1 (en) 2019-09-18
US20210307861A1 (en) 2021-10-07
AU2021200397A1 (en) 2021-03-18
EP3539270B1 (en) 2022-07-20
WO2018087309A1 (en) 2018-05-17
US20190281367A1 (en) 2019-09-12
JP2019536354A (ja) 2019-12-12
KR20190075137A (ko) 2019-06-28
MX2019005456A (es) 2019-08-12
KR102220188B1 (ko) 2021-02-25
US11722752B2 (en) 2023-08-08
WO2018087311A1 (en) 2018-05-17
JP2019537897A (ja) 2019-12-26
JP7178998B2 (ja) 2022-11-28
CN110140335A (zh) 2019-08-16
EP3539270A1 (en) 2019-09-18
AU2021200397B2 (en) 2022-05-12
AU2017358996A1 (en) 2019-05-30
US11558677B2 (en) 2023-01-17
US20200186896A1 (en) 2020-06-11
CN110140335B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
JP7061121B2 (ja) 配信性能を改善するためのリソースセグメント化
US8769614B1 (en) Security framework for HTTP streaming architecture
US20230214459A1 (en) Digital rights management for http-based media streaming
US10601944B2 (en) Accurate caching in adaptive video streaming based on collision resistant hash applied to segment contents and ephemeral request and URL data
US10425427B2 (en) Template uniform resource locator signing
JP6278531B2 (ja) ハイブリッドhttp及びudpコンテンツ配信
US8949592B2 (en) System and methods for providing live streaming content using digital rights management-based key management
US9043588B2 (en) Method and apparatus for accelerating connections in a cloud network
EP2695355A1 (en) Network streaming of video data using byte range requests
EP3391652B1 (en) Controlling retrieval in adaptive streaming
US20160065677A1 (en) System and method for a reliable content exchange of a ccn pipeline stream
US20150095483A1 (en) Communications terminal, transfer terminal, and content publication method
OA19292A (en) Resource segmentation to improve delivery performance.
US20220417313A1 (en) Digital media data management system comprising software-defined data storage and an adaptive bitrate media streaming protocol

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220415

R150 Certificate of patent or registration of utility model

Ref document number: 7061121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150