JP6088439B2 - マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法 - Google Patents

マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法 Download PDF

Info

Publication number
JP6088439B2
JP6088439B2 JP2013550401A JP2013550401A JP6088439B2 JP 6088439 B2 JP6088439 B2 JP 6088439B2 JP 2013550401 A JP2013550401 A JP 2013550401A JP 2013550401 A JP2013550401 A JP 2013550401A JP 6088439 B2 JP6088439 B2 JP 6088439B2
Authority
JP
Japan
Prior art keywords
segment
media
file
box
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013550401A
Other languages
English (en)
Other versions
JP2014511580A (ja
Inventor
スン−リュル・リュ
ヨン−ハン・キム
ソ−ヨン・ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014511580A publication Critical patent/JP2014511580A/ja
Application granted granted Critical
Publication of JP6088439B2 publication Critical patent/JP6088439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明はマルチメディアストリーミングシステムに関するものであり、特にマルチメディアストリーミングシステムでストリーミングされるコンテンツを格納及び再生するための装置及びその方法に関するものである。
様々な標準機関で議論されているDASH(Dynamic Adaptive Streaming over HTTP)と称する適応型ストリーミング技術がある。上記DASHはISO(International Organization for Standardization)基本メディアファイルフォーマット(ISO Base Media File Format)又はそれに基づいて標準化された様々なファイルフォーマットで作成されたマルチメディアコンテンツ(content)又はMPEG−2(Moving Picture Experts Group)TS(Transport Stream)で作成されたマルチメディアコンテンツを多数のファイルピース、即ち、セグメント(segment)に分けてHTTPサーバーに格納する。その後、クライアント(client)はHTTPを使用してセグメントを順次にダウンロードし、マルチメディアコンテンツストリーミングサービスを提供することができる。
上述したDASH技術に基づいてストリーミングされるコンテンツはISO基本メディアファイルフォーマット又はMPEG−2 TSに従う。よって、ストリーミングされるコンテンツを格納し、その後該当受信機器又はISOフォーマットを支援する他の機器に格納されたコンテンツを再生するサービスが考慮される。しかし、セグメント単位にストリーミングされるコンテンツの構造は通信ネットワークを介した伝送に基づいて構成されるため、ストリーミングされるセグメントをそのまま格納すると円滑に再生されない場合が生じる恐れがある。特に、ストリーミングサービスを支援しない通常の再生機器において、格納されたコンテンツが円滑に再生されない場合が生じる恐れがある。よって、DASH基盤のストリーミングサービスのためのセグメントファイルを生成するに当たって、セグメントファイルを格納及び再生するための改善された形式に対する要求が存在する。
韓国特許出願公開第10−2009−0044309号公報
本発明の目的は上述の問題及び欠点を解決するためのものであって、以下のような利点のうち少なくとも一つを提供する。
よって、本発明の目的は、マルチメディアストリーミングシステムでストリーミングされるコンテンツを格納及び再生するための装置及びその方法を提供することにある。
本発明の他の目的は、マルチメディアストリーミングシステムにおいて、DASHセグメント(segment)を順番に連結(concatenate)して他の機器で再生可能なコンテンツファイルを生成するための装置及びその方法を提供することにある。
本発明のまた他の目的は、マルチメディアストリーミングシステムにおいて、伝送されるセグメントを連結して従来のファイル生成機器が再生可能なメディアファイルを生成可能であるか否かを知らせるための装置及びその方法を提供することにある。
上記目的を達成するための本発明の態様によると、マルチメディアストリーミングシステムにおけるサーバーの動作方法は、MPD(Media Presentation Description)ファイルの伝送を要求する過程と、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示すフラグを含むMPDファイルを送信する過程と、を含むことを特徴とする。
上記目的を達成するための本発明の他の態様によると、マルチメディアストリーミングシステムにおけるクライアントの動作方法は、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示すフラグを含むMPDファイルを受信する過程と、上記フラグを介して上記セグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるのか否かを判断する過程と、を含むことを特徴とする。
上記目的を達成するための本発明のまた他の態様によると、マルチメディアストリーミングシステムにおけるセグメントファイルの生成方法において、表現グループ(representation group)に属する全ての表現に対するサンプル叙述情報(sample description)エントリーを含む第1ボックスを含む初期化セグメント(IS:Initialization Segment)ファイルを生成する過程と、上記第1ボックスに含まれたサンプル叙述情報エントリーのうち一つを指定するインデックスを含む第2ボックス及びメディアデータを含む第3ボックスを含むメディアセグメント(MS:Media Segment)ファイルを表現(representation)別に生成する過程と、を含むことを特徴とする。
上記目的を達成するための本発明の更に他の態様によると、マルチメディアストリーミングシステムにおけるサーバー装置は、MPDファイルの伝送を要求する通信部と、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示すフラグを含むMPDファイルを送信するように制御する制御部と、を含むことを特徴とする。
上記目的を達成するための本発明の更に他の態様によると、マルチメディアストリーミングシステムにおけるクライアント装置は、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示すフラグを含むMPDファイルを受信する通信部と、上記フラグを介して上記セグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを判断する制御部と、を含むことを特徴とする。
上記目的を達成するための本発明の更に他の態様によると、マルチメディアストリーミングシステムにおけるセグメントファイルの生成装置は、表現グループに属する全ての表現に対するサンプル叙述情報エントリーを含む第1ボックスを含む初期化セグメントを生成する第1生成部と、上記第1ボックスに含まれたサンプル叙述情報エントリーのうち一つを指定するインテックスを含む第2ボックス及びメディアデータを含む第3ボックスを含むメディアセグメントを表現別に生成する第2生成部と、を含むことを特徴とする。
本発明の実施形態による本発明の上述した態様(aspect)及び他の態様、特徴、利益は、以下のような図面と共に説明される詳細な説明から自明に認識されるはずである。
本発明の実施形態によるマルチメディアストリーミングシステムにおけるストリーミングデータ構造を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるセグメント生成者の動作手順を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHサーバーの動作手順を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHクライアントの動作手順を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHクライアントの動作手順を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるセグメント生成者のブロック構成を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHサーバーのブロック構成を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHクライアントのブロック構成を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリームの例を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの例を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの他の例を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの他の例を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルのまた他の例を示す図である。 本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルのまた他の例を示す図である。上記図面において、参照番号は同じであるか類似した要素、特徴、構造を説明するために使用される。
以下、本発明の多様な実施形態を、添付した図面を参照して詳細に説明する。以下の説明において、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明確にする恐れがあると判断される場合、その詳細な説明を省略する。
以下、本発明の実施形態に対する説明では、ISO規格及びDASH規格で定義されている用語及び名称を使用する。しかし、本発明が上記用語及び名称によって限定されることはなく、他の規格によるシステムにも同じく適用可能である。
以下の説明において、本発明はストリーミングのためのセグメントファイルを生成する主体を「セグメント生成者」、通信ネットワークを介してセグメントを提供する主体を「DASHサーバー」、ストリーミングされるセグメントを通信ネットワークを介して受信し、受信されるセグメントを連結してメディアファイルを生成する主体を「DASHクライアント」、上記セグメントを連結して生成されたメディアファイルを再生する外部機器を「メディア再生機器」と称する。
なお、「ボックス」とはメディアファイルを構成する単位を意味する。互いに異なるボックスの種類に対する説明は、下記<表1>のようである。
Figure 0006088439
DASHによってストリーミングサービスを提供されようとするDASHクライアントは、メディアを含むセグメントをダウンロードする前に、まずMPD(Media Presentation Description)と呼ばれる制御情報セグメントをダウンロードする。上記MPDは、ダウンロードするセグメントのURL(Uniform Resource Locator)だけでなく、上記セグメントをどのような順番にダウンロードすれば有効なコンテンツプレゼンテーション(presentation)を構成し得るのかに対する情報、ネットワーク状態によってダウンロードを適応的に制御するために必要な制御情報などを含む。
図1は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるストリーミングデータ構造を示す図である。上記図1を参照すると、DASHサーバーに格納されたISO基本メディアファイルフォーマットによるコンテンツは論理的に時間軸を分割して各時区間に対応する様々なピリオド(period)110−1、110−2で分割されてもよく、上記ピリオド110−1、110−2それぞれは初期化セグメント(IS:Initialization Segment)及びメディアセグメント(MS:Media Segment)で構成される。上記初期化セグメントはメディアデータに対するメタデータ(meta data)を含む。上記メディアデータはメディア構成要素(media component)、例えば、オーディオ構成要素、ビデオ構成要素などで区分されてもよく、上記初期化セグメントは各メディア構成要素別トラック(track)ボックス内に各メディア構成要素に対するメタデータを含む。上記メタデータは実際のメディアデータの長さと関係のない情報のみを含む。言い換えると、上記メタデータはオーディオ、ビデオなどのような各メディア構成要素(media component)の復号方法などを含むが、コンテンツの長さを知らなければ書き込むことができない情報は含まない。
各ピリオドは一つの初期化セグメント及びネットワーク状況に適応的にストリーミングを制御し得るよう、互いに代替可能な多数の表現(representation)で構成されてもよい。上記代替可能な多数の表現は同じ表現グループ(representation group)に属する。上記表現それぞれは一つの初期化セグメント及び多数のメディアセグメントファイルを含んでもよい。よって、DASHクライアントは同じ表現グループ130に属する表現のうち一つのみを選択し、メディアセグメントファイルをダウンロードしてもよい。
例えば、上記図1に示したように、同じ表現グループ130内の表現120-1乃至120−Nがスイッチ(switch)可能な形態で構成されている場合、上記DASHクライアントは同じ表現グループ130に属する第1表現120−1から一つのメディアセグメントをダウンロードし、次の順番のメディアセグメントを第N表現120−Nからダウンロードしてプレゼンテーションしてもよい。一つのメディアセグメントファイルはメディア構成要素データを含んでもよい。例えば、特定表現はオーディオ構成要素のみを含んでもよい。この場合、上記表現に属するメディアセグメントはオーディオのみを含む。一方、特定表現にオーディオ及びビデオ構成要素が含まれると、上記表現に属するメディアセグメントはオーディオとビデオを全て含む。
上記表現120−N内の上記初期化セグメントは、ISO基本メディアファイルフォーマットで定義するmoovボックス142、ftypボックス144などを含む。上記DASH規格によると、上記初期化セグメント内のftypボックスの「major brand」フィールドの値は「dash」を指示する値として記載される。例えば、上記「dash」を指示する値は『dash』を含んでもよい。
一つのメディアセグメントファイルは一つ又は2つ以上のメディア構成要素データを含んでもよい。例えば、上記図1の場合、一つのメディアセグメントファイル表現120−Nは多数のフラグメント(fragment)150−1、150−2を含んでもよい。一つのフラグメント150−1はmoofボックス162及びmdatボックス164を含んでもよい。上記moofボックス162は、一つのメディア構成要素に対するメタデータを含む。上記メタデータは、実際のメディアデータが入っている上記mdatボックス164内に含まれた各メディアデータの塊(chunk)の位置を指示する。上記mdatボックス164は、一つのメディア構成要素に対する実際のメディアデータを含む。上記メディアデータはサンプル(sample)単位で含まれてもよい。ここで、ビデオの場合、サンプルは圧縮されたフレームのデータを意味する。もし、一つの表現120−Nに多数のメディア構成要素が含まれている場合、上記表現120−Nに属するメディアセグメントに含まれるフラグメント150−1、150−2のうち一部はビデオデータ(例えば、フラグメント150−1)、上記フラグメント150−1、150−2の一部はオーディオデータ(例えば、フラグメント150−1)を含んでもよい。即ち、一つのmoofボックス162及び一つのmdatボックス164は一つのメディア構成要素のみを含むため、一つのメディアセグメント内で各メディア構成要素はフラグメント単位で区分されてもよい。
本発明によってDASHセグメントを連結して再生可能なメディアファイルとして格納するために、本発明の実施形態による構成(configuration)方案が要求される。
一つの構成上の特徴として、従来のファイルのブランド値が維持される。
ISO基本メディアファイルフォーマット又はそれに基づいて標準化されたファイルフォーマットに符合するファイル(例えば、MP4、AVC1など)はftypボックスを含む。上記ftypボックスは「major_brand」フィールド、「minor_version」フィールド、「compatible_brand」フィールドを含み、そのうち「major_brand」フィールドは値を有しなければならない。一方、DASHセグメントファイルの初期化セグメント内のftypボックスの場合、上記「major_brand」の値は「dash」を指示する値、例えば、『dash』と設定されてもよい。上記『dash』ブランドは、ISO基本メディアファイルフォーマットに符合するdashプロファイル(profile)に従うと規定されている。しかし、従来のISO基本メディアファイルフォーマットのみを支援するメディア再生機器は、上記dashプロファイルを解析することができない。よって、上記メディア再生機器が格納されたDASHセグメントで構成されたメディアファイルを再生することができるよう、従来のファイル再生機器が解析し得るブランド名が上記ftypボックス内の特定のフィールドに含まれなければならない。例えば、上記特定のフィールドは「compatible_brand」フィールドであってもよい。
ISO基本メディアファイルフォーマットに基づいて新たに定義されたファイルフォーマット、例えば、DMB AF(Digital Media Broadcastion Application Format)のようにMPEG−Aに当たる標準ファイルフォーマットに符合するコンテンツファイルをDASHセグメントの形で伝送する場合、DASHサーバーは原材料に当たるメディアファイルのftypボックス内の「major_brand」フィールドに記載されたブランドを「Compatible_brand」フィールド内に記載し、「major_brand」フィールドに「dash」を指示する値を記載してもよい。それによって、DASHクライアントが初期化セグメント及びメディアセグメントを連結してメディアファイルを生成した場合、上記メディア再生機器は「dash」を主ブランド(major brand)として認識し、生のメディアファイルの主ブランドを互換ブランド(compatible brand)のうち一つとして認識する。また、上記メディア再生機器は『dash』ブランドを認知することができないため、上記メディアファイルの主ブランドを知らないブランドとして判断する。それによって、上記メディア再生機器は互換ブランドのうち自ら解析し得る最適のブランドを選択して上記メディアファイルを再生する。例えば、上記最適のブランドは最も複雑なブランドであってもよい。しかし、再生は行われても生のメディアファイルの主ブランドが維持されないため、ファイルの管理に問題が発生する可能性がある。言い換えると、主ブランドに符合する有効なファイルであるにもかかわらず、それを示す方法がないためファイルの管理に問題が発生する恐れがある。
DASH規格はstypボックスを定義しており、メディアセグメント(MS:media segment)の最初の部分に上記stypボックスを選択的に含ませるように定義する。上記stypボックスはDASHメディアセグメントのブランドを知らせるボックスである。上記メディア再生機器は自らが認識できないボックスを無視するため、上記stypボックスを含んだ状態でメディアセグメントを連結してもメディア再生機器が再生可能な有効なメディアファイルが生成される。
生のメディアファイルの主ブランドがセグメント連結を介して生成されたメディアファイルでも維持されるよう、本発明は初期化セグメントの最初の部分に上記stypボックスを含ませてもよい。即ち、セグメント生成者は上記初期化セグメントの最初の部分に含まれたstypボックス内に「dash」を指示する値を記載し、ftypボックス内のフィールドを生のメディアファイルの内容通り変更せずに設定する。それによってDASHクライアントで初期化セグメント及びメディアセグメントを連結して格納すると、上記メディア再生機器は該当メディアファイルを介して主ブランドを初めとする情報を正確に獲得することができる。上記メディア再生機器は初期化セグメントの最初の部分に含まれたstypボックス及びメディアセグメントの最初の部分に含まれたstypボックスを全て無視する。
一つのピリオドの間受信された初期化セグメント及びメディアセグメントを連結して従来のファイル再生機器で再生可能なメディアファイルを生成するために、セグメント生成者は初期化セグメント及びメディアセグメントを生成する際いくつかの条件を満足しなければならない。DASHクライアントはネットワーク状態によって伝送率を変化させるために同じ表現グループに属する互いに異なる表現にスイッチ(switch)して該当表現に属するメディアセグメントをダウンロードするので、上記条件はそれを考慮して定義されなければならない。
条件1乃至条件7は以下のようである。
条件1:同じピリオドに属する全てのメディア構成要素に対するトラック(track)情報を初期化セグメントに含まれた第1ボックスに含ませる。
例えば、上記第1ボックスはmoovボックスであってもよい。即ち、一つのピリオドは上記ピリオドに属する全ての表現に対する一つの共通した初期化セグメントを含んでもよい。
例えば、上記トラック情報はトラックの種類(例えば、オーディオ、ビデオ)、トラック番号、使用されたコーデック、サンプルの個数、各サンプルのプレゼンテーション時間などの情報を含んでもよい。即ち、上記初期化セグメントは表現グループに属する全ての表現をデコーディングするために要求されるサンプル叙述情報(sample description)を含む。
条件2:全てのトラックは唯一無二なトラック識別情報(track_ID)を有する。
互いに異なるメディア構成要素の間に同じトラック識別情報を有しない。
条件3:同じ表現グループに属する全ての表現のメディアセグメント内の第2ボックスに記載されるトラック識別情報(track_ID)は、上記表現に対応する初期化セグメントの上記第1ボックスに含まれた該当メディア構成要素トラックのトラック識別情報のような値を有する。
例えば、上記第2ボックスはmoofボックス、上記第1ボックスはmoovボックスであってもよい。即ち、各表現グループにおいて、同じメディア構成要素のためのトラック識別情報(track_ID)は各表現に対して同じである。ここで、表現グループは「adaptation set」と称されてもよい。
例えば、上記moofボックスに記載されたオーディオトラックの識別情報は上記moovボックスに含まれたオーディオトラックの識別情報と同じである。例えば、特定のメディア構成要素において、該当ピリオド内の同じ表現グループに属するメディアセグメント内の全てのトラックセグメントは初期化セグメントのmoovボックス内のメディア構成要素トラックのものと同じトラック識別情報(track_ID)をmoofボックスのtrafボックスのtfhdボックスで有する。
条件4:同じ表現グループ内の互いに異なるエンコーディングを使用した表現に対するサンプル叙述情報(sample description)は第1ボックスに含まれる。即ち、上記初期セグメントは表現グループ内の全ての表現をデコーディングするために要求される全てのサンプル叙述情報を含んでもよい。
例えば、上記第1ボックスはmoovボックスであってもよく、上記サンプル叙述情報は上記moovボックスに含まれた該当メディア構成要素のstsdボックスに含まれる。即ち、各表現に対するサンプル叙述情報エントリーは初期化セグメント内のstsdボックスに全て含まれる。言い換えると、stsd内の各サンプルエントリーは各表現のメディア構成要素のコーディング情報に対応する。
例えば、オーディオトラックを含む表現の個数がNである場合、上記N個の表現に対するサンプル叙述情報は全て上記moovボックスに含まれる。即ち、上記moovボックスはN個のサンプル叙述情報エントリーを含む。言い換えると、トラックボックスはstsdボックスに互いに異なる表現に対する全ての互いに異なるコーディング情報を含む。
条件5:メディアセグメント内の全てのトラックフラグメント(track fragment)のtfhdボックス内のサンプル叙述情報インデックス(sample_description_index)は、上記stsdボックスのサンプル叙述情報エントリーのうち該当表現に当たる一つを指定する。
メディアセグメントのトラックフラグメント(track fragment)のtfhdボックス内のサンプル叙述情報インデックス(sample_description_index)値はメディア構成要素トラックのstsdボックス内の対応するサンプル叙述情報エントリーのインデックスであってもよい。
条件6:第2ボックスに含まれたメディアデータアドレスは、絶対アドレス(absolute address)ではなく相対アドレス(relative address)の形を有する。
例えば、上記第2ボックスはmoofボックスであってもよい。即ち、mdatボックスに含まれたメディアデータの位置を指定するためのアドレスは相対アドレスである。例えば、上記相対アドレスはmoofボックスの位置を基準にするバイトオフセット(byte offset)であってもよく、moofボックスはmoof(movie−fragment)相対的アドレス方式を使用してもよい。
条件7:初期化セグメントの最初の部分はstypボックスを含み、stypボックス内に「dash」を指示する値が表示される。追加的に、上記「dash」を指示する値が表示するためにメディアセグメントの最初の部分にもstypボックスが含まれてもよい。
例えば、各メディアセグメントはstypボックスを含んでもよく、表現が互換ブランドとして「dash」を指示する値を含んでもよい。
また他の一つの構成上の特徴として、MPDを介してセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であることを知らせる。
DASHサーバーはMPD内のピリオドレベルに特定のフラグを追加して伝送されるセグメントを連結し、メディアファイル再生機器で再生可能なメディアファイルを生成可能であることを知らせる。以下、本発明では上記フラグを「互換性フラグ」と称する。上記互換性フラグが「1」として設定されると、それは、該当ピリオドの間伝送される同じ表現グループ内の互いに異なる表現のセグメントを連結して生成されたメディアファイルがメディアファイル再生機器で再生可能であることを意味する。
上述したように、一つのピリオドに属する単一表現の初期化セグメント及び全ての連続するメディアセグメントの連結(concatenation)は内容的に(semantically)正しく、形式的に(syntactically)有効なビットストリームとなる。例えば、連結結果を再生すると該当ピリオドの間のメディアコンテンツが正しく表示される。「bitstreamSwitchingFlag」フラグが「true」と設定される際、同じ制約(constraint)に従う連続したセグメントは該当ピリオドに属する同じグループ内のいかなる表現からも選択可能である。そして、従来のメディアファイル再生機器が初期化セグメントを含む互いに異なる他の表現からの全てのセグメントを強引に連結したものを再生できるのであれば、該当ピリオドに属するメディアコンテンツを正しく生成することができる。
以下の説明において、本発明は上記セグメント生成者及び上記DASHサーバーを別の客体として説明する。しかし、本発明の他の実施形態によって、上記セグメント生成者は上記DASHサーバーに含まれてもよい。
図2は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるセグメント生成者の動作手順を示す図である。
上記図2を参照すると、上記セグメント生成者は以下のステップ201乃至ステップ207を介して初期化セグメントファイルを生成する。詳しくは、上記セグメント生成者はステップ201で『dash』ブランドを示すstypボックスを生成する。例えば、上記セグメント生成者は上記stypボックスに含まれた「major brand」フィールドの値を上記「dash」を指示する値として設定する。
次に、上記セグメント生成者はステップ203に進みメディアの長さとは関係のない情報のみを含む第1ボックスを生成する。例えば、上記第1ボックスはmoovボックスであってもよい。即ち、上記セグメント生成者は、上記moovボックスにメディアに対するメタデータを含ませるが、オーディオ、ビデオなどのような各メディア構成要素(media component)の復号方法などを含ませ、コンテンツの長さを知らなければ記載できない情報は排除する。例えば、上記moovボックスはトラックの種類(例えば、オーディオ、ビデオ)、トラック番号、使用されたコーデック、サンプルの個数、各サンプルのプレゼンテーション時間などの情報を含んでもよい。
次に、上記セグメント生成者はステップ205に進み、グループ内の全ての表現のサンプル叙述情報を上記第1ボックスに含ませる。例えば、上記セグメント生成者はグループ内の全ての表現のサンプル叙述情報を含むstsdボックスを生成する。上記stsdボックスは上記moovボックスに含まれ、サンプル叙述情報を含んでもよい。本発明の実施形態によって、上記初期化セグメントは全ての表現のサンプル叙述情報を含むstsdボックスを含む。それによって、上記初期化セグメントは該当ピリオドに属する同じ表現グループ内の全ての表現に対する一つの共通した初期化セグメントとして機能する。例えば、上記サンプル叙述情報はビデオの縦・横サイズ情報、オーディオのサンプリングレート、メディア圧縮符合化条件などの情報を含んでもよい。
次に、上記セグメント生成者はステップ207に進み、上記stypボックス、上記moovボックス、上記stsdボックスを含む初期化セグメントをファイルとして格納する。この際、上記セグメント生成者は生のメディアファイルに含まれたftypボックスをそのまま上記初期化セグメントに含ませる。本発明の実施形態によって、上記初期化セグメントファイルは多数の表現に関する共通した初期化セグメントであってもよい。
次に、上記セグメント生成者は以下のステップ209乃至ステップ225を介して少なくとも一つのメディアセグメントファイルを生成する。
詳しくは、上記セグメント生成者はステップ209に進み「dash」を指示する値を記載したstypボックスを生成する。但し、本発明の他の実施形態によって上記ステップ209は省略してもよい。言い換えると、メディアセグメントは上記stypボックス含まなくてもよい。
次に、上記セグメント生成者はステップ211に進み、同じグループの全ての表現に対するトラックフラグメントに対して同じトラック識別情報を記載したmoofボックスを生成する。また、上記セグメント生成者は上記moofに含まれるトラック識別情報を上記初期化セグメントのmoovボックスに含まれたトラック識別情報と同じく設定する。
次に、上記セグメント生成者はステップ213に進行してトラックフラグメントのtrafボックス及びtfhdボックスを生成する。上記tfhdボックスは上記trafボックスに含まれ、トラックフラグメントに対する情報を含む。例えば、上記tfhdボックスはサンプル叙述情報のインデックスを含んでもよい。よって、上記セグメント生成者は上記ステップ205で上記初期化セグメントの上記stsdボックスに含ませた全ての表現のサンプル叙述情報のうち上記tfhdボックスに対応する表現のサンプル叙述情報を確認した後、該当サンプル叙述情報のインデックスを上記tfhdボックスに含ませる。
次に、上記セグメント生成者はステップ215に進みメディアデータのトラックフラグメントを含むmdatボックスを生成する。上記セグメント生成者は、全てのフラグメントがRAP(Random Access Point)サンプルから始まって同じ再生時間を有するように上記フラグメントを上記mdatボックスに含ませてもよい。この際、同じ表現に属するメディアセグメントに含まれるmdatボックスは同じメディア構成要素のみを含むことが好ましい。
次に、上記セグメント生成者はステップ217に進みmoofボックスにメディアデータの位置を示す相対アドレスを記載する。即ち、moofボックスは上記mdatボックスに含まれた各メディアデータの塊(chunk)それぞれのアドレスを含む。上記セグメント生成者は絶対アドレスではなく相対アドレスを使用する。例えば、上記相対アドレスは上記moofボックスの位置を基準にするバイトオフセットであってもよい。
上記ステップ211乃至上記ステップ217は一つのmoofボックス及び一つのmdatボックスを生成する過程であって、一つのmoofボックス及び一つのmdatボックスは一つのメディア構成要素のみを含む。よって、一つのメディアセグメントに多数のメディア構成要素が含まれる場合、上記ステップ211乃至ステップ217は繰り返し行われる。
よって、上記セグメント生成者はステップ219に進み最後のメディア構成要素トラックの生成が完了されたのかを判断する。もし、上記最後のメディア構成要素トラックの生成が完了されていないのであれば、上記セグメント生成者は上記ステップ211に戻る。一方、上記最後のメディア構成要素トラックの生成が完了されたのであれば、上記セグメント生成者はステップ211に進行して上記moofボックス及び上記mdatボックスを含むメディアセグメントをファイルとして格納する。
次に、上記セグメント生成者はステップ213に進行して該当表現に属する最後のメディアセグメントの格納が完了したのかを判断する。もし、上記最後のメディアセグメントの格納が完了していないのであれば、上記セグメント生成者は上記ステップ209に戻る。
一方、上記最後のメディアセグメントの格納が完了したのであれば、上記セグメント生成者は上記ステップ215に進行して最後の表現に属するメディアセグメントファイルの格納が完了したのかを判断する。もし、最後の表現に属するメディアセグメントファイルの格納が完了していないのであれば、上記セグメント生成者は上記ステップ209に戻る。一方、最後の表現に属するメディアセグメントファイルの格納が完了したのであれば、上記セグメント生成者は該当ピリオドに対するセグメントファイル生成手順を終了する。
図3は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHサーバーの動作手順を示す図である。
上記図3を参照すると、上記DASHサーバーはステップ301でMPDファイルの伝送要求が発生したのかを判断する。言い換えると、上記DASHサーバーはDASHクライアントからHTTPを介してMPDファイルの伝送が要求されるのかを判断する。
もし、上記MPDファイルの伝送要求が発生すると、上記DASHサーバーはステップ303に進み要求されたMPDファイルを送信する。
本発明の実施形態によって、上記MPDファイルは伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるのか否かを示す互換性フラグを含む。即ち、上記DASHサーバーは上記DASHクライアントに上記互換性フラグを含むMPDファイルを送信する。
一方、上記MPDファイルの伝送要求が発生しないと、上記DASHサーバーはステップ305に進行してセグメントファイルの伝送要求が発生するのかを判断する。即ち、上記DASHサーバーはDASHクライアントからのHTTPを介してセグメントファイルの伝送が要求されるのかを判断する。上記セグメントファイルの伝送要求が発生すると、上記DASHサーバーはステップ307に進行して要求されたセグメントファイルを送信する。
図4A及び図4Bは、本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHクライアントの動作手順を示す図である。
上記図4A及び図4Bを参照すると、上記DASHクライアントはステップ401でMPDファイルをダウンロードし、上記MPDファイルを分析する。即ち、上記DASHクライアントは上記MPDファイルを要求し、上記MPDファイルを受信した後、上記MPDファイルに含まれたセグメントをダウンロードするための情報を確認する。
本発明の実施形態によって、上記MPDファイルは伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示す互換性フラグを含む。
次に、上記DASHクライアントはステップ403に進み上記互換性フラグが「1」として、言い換えると、セグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であることを示す値として設定されているかを確認する。もし、上記互換性フラグが「1」と設定されていなければ、上記DASHクライアントはステップ409に進む。
一方、上記互換性フラグが「1」と設定されていれば、上記DASHクライアントはステップ405に進みユーザがファイル格納を指定したのかを確認する。言い換えると、上記DASHクライアントはユーザがセグメントを連結してメディアファイルとして格納することを望むかを判断する。上記図4A及び図4Bに示していないが、上記DASHクライアントは上記ユーザにセグメントの連結可否を問う画面を表示してユーザの入力を確認してもよい。
もし、ファイルの格納が指定されていないのであれば、上記DASHクライアントは以下のステップ409に進行する。
一方、ファイルが格納されていれば、上記DASHクライアントはステップ407に進み連結するセグメントファイルリストを生成し、格納フラグを「1」として設定する。この際、上記連結するセグメントファイルリストは初期化されている。即ち、上記連結するセグメントファイルリストはセグメントファイルの情報を含まない。上記格納フラグはファイルの格納が指定されていることを示すフラグであって、次のステップで受信されるセグメントファイルの識別情報を上記ファイルリストに含ませるか否かを判断するために使用される。
次に、上記DASHクライアントはステップ409に進み初期化セグメントをダウンロードする。詳しくは、上記DASHクライアントは上記MPDファイルに含まれた情報を利用して上記初期化セグメントファイルを要求し、上記初期化セグメントファイルを受信する。本発明の実施形態によって、上記初期化セグメントは「dash」を指示する値を記載したstypボックス、表現グループ内の全ての表現のサンプル叙述情報を含むstsdボックスのうち少なくとも一つを含んでもよい。
上記初期化セグメントを受信した後、上記DASHクライアントはステップ411に進み上記格納フラグが「1」として設定されているかを確認する。もし、上記格納フラグが「1」として設定されていなければ、上記DASHクライアントはステップ415に進む。一方、上記格納フラグが「1」として設定されていれば、上記DASHクライアントはステップ413に進行して上記連結するセグメントファイルリストに上記ダウンロードした初期化セグメントの識別情報を追加する。
次に、上記DASHクライアントはステップ415に進み、上記MPDファイルに含まれた情報を利用して上記メディアセグメントファイルを要求し、上記メディアセグメントファイルを受信することでメディアセグメントをダウンロードする。この際、上記DASHクライアントはネットワーク状態を考慮して適用する伝送率を選択し、選択された伝送率に対応する表現に属するメディアセグメントファイルをダウンロードする。
上記メディアセグメントを受信した後、上記DASHクライアントはステップ417に進み上記格納フラグが「1」として設定されているかを確認する。上記互換性フラグが「1」として設定されているのであれば、上記DASHクライアントはステップ419に進み上記連結するセグメントファイルリストに上記ダウンロードしたメディアセグメントの識別情報を追加する。
上記格納フラグが「1」として設定されていないか、又は上記ステップ419でダウンロードしたメディアセグメントの識別情報を追加した後、上記DASHクライアントはステップ421に進み上記コンテンツデータを再生する。次に、上記DASHクライアントはステップ423に進み最後のメディアセグメントのダウンロードが完了したかを判断する。言い換えると、上記DASHクライアントは該当ピリオドに属する全てのメディアセグメントをダウンロードしたかを判断する。もし、上記最後のメディアセグメントのダウンロードが完了していないのであれば、上記DASHクライアントはステップ415に戻る。
一方、上記最後のメディアセグメントのダウンロードが完了したのであれば、上記DASHクライアントはステップ425に進み上記格納フラグが「1」として設定されているかを判断する。上記格納フラグが「1」として設定されていれば、上記DASHクライアントは上記ファイルリストに含まれたセグメントファイルをリスト上の順番に連結することでメディアファイルを生成する。しかし、上記格納フラグが「1」として設定されていなければ、本手順は終了する。
図5は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるセグメント生成者のブロック構成を示す図である。
上記図5に示したように、上記セグメント生成者はセグメント生成部510及び格納部520を含んで構成される。
上記セグメント生成部510はメディアファイルをDASHによって通信ネットワークを介してストリーミングするために上記メディアファイルからセグメントファイルを生成する。上記セグメント生成部510は初期化セグメントを生成するIS生成部512及びメディアセグメントを生成するMS生成部514を含む。上記格納部520は、上記セグメント生成部510によって生成されたセグメントを格納する。
特に、本発明の実施形態によって、上記IS生成部512及び上記MS生成部514はセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを再生可能であるように上記セグメントを生成する。例えば、上記IS生成部512及び上記MS生成部514は、上記図2に示した手順によってセグメントを生成する。
詳しくは、上記IS生成部512は「dash」を指示する値を記載したstypボックスを生成し、メディアの長さと関係のない情報を含むmoovボックスを生成し、グループ内の全ての表現のサンプル叙述情報を含むstsdボックスを生成する。そして、上記IS生成部512は上記stypボックス、上記moovボックス、上記stsdボックスを含む初期化セグメントをファイルとして格納する。この際、上記IS生成部512は生のメディアファイルに含まれたftypボックスを内容通り変更せずにそのまま上記初期化セグメントに含ませる。
詳しくは、上記MS生成部514は「dash」を指示する値を記載したstypボックスを生成する。
本発明の他の実施形態によって、上記stypボックスの生成動作は省略してもよい。次に、上記MS生成部514は同じグループの全ての表現に対するトラックフラグメントに対して同じトラック識別情報を記載したmoofボックスを生成し、上記初期化セグメントの上記stsdボックスに含ませた全ての表現のサンプル叙述情報のうち上記tfhdボックスに対応する表現のサンプル叙述情報のインデックスを含むtfhdボックスを生成し、メディアデータのトラックフラグメントを含むmdatボックスを生成し、moofボックスにメディアデータの位置を示す相対アドレスを記載する。例えば、上記相対アドレスは上記moofボックスの位置を基準としたバイトオフセットであってもよい。ここで、上記MS生成部516は上記moofに含まれるトラック識別情報を上記初期化セグメントのmoovボックスに含まれたトラック識別情報と同じく設定する。また、上記MS生成部516は同じ表現に属するメディアセグメントに含まれるmdatボックスに同じメディア構成要素のみを含ませる。
図6は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHサーバーのブロック構成を示す図である。
上記図6に示したように、上記DASHサーバーは通信部610、格納部620、制御部630を含んでもよい。
上記通信部610はネットワーク内の他の客体との通信を行うためのインタフェースを提供する。上記格納部620は上記DASHサーバーが動作するための基本プログラムを格納し、特に、DASHクライアントに提供されるメディアコンテンツをセグメントの形で格納し、セグメントのダウンロードのための情報を含むMPDファイルを格納する。
上記制御機630は、上記DASHサーバーの全般的な機能を制御する。例えば、上記制御部630はDASHクライアントの要求に応じて上記通信部610を介して上記DASHクライアントにMPDファイル及びセグメントファイルを送信する。特に、本発明の実施形態によって、上記制御部630は伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるか否かを示す互換性フラグを含むMPDファイルを送信する。
図7は、本発明の実施形態によるマルチメディアストリーミングシステムにおけるDASHクライアントのブロック構成を示す図である。
上記図7に示したように、上記DASHクライアントは通信部710、格納部720、表示部730、制御部740を含んで構成される。
上記通信部710はチャネルを介して受信された信号からデータを復元し、送信データを信号に変換して上記チャネルを介して送信する。ここで、上記チャネルは有線チャネル又は無線チャネルであってもよい。無線チャネルの場合、上記通信部710はアンテナを介して受信されたRF(Radio Frequency)帯域信号を基底帯域信号に変換し、通信システムの規格に従って物理階層処理し、復調(demodulation)を介してビット列を復元する。
上記格納部720は上記DASHクライアントの動作のための基本プログラム、通信に必要な設定情報、ユーザインタフェースのためのプログラム及び設定情報などを格納する。そして、上記格納部720は上記制御部740の制御によって格納されたデータを提供する。
上記表示部730は、上記DASHクライアントの動作中に発生する状態情報及び応用プログラムの実行による数字、文字及び映像などを表示する。例えば、上記表示部730は映像コンテンツを表示する。即ち、上記表示部730は上記制御部740から提供される画像データを視覚的画面に表示する。例えば、上記表示部730はLDC(Liquid Crystal Display)、OLED(Organic Light−Emitting Diode)などで構成されてもよい。
上記制御機740は、上記DASHクライアントの全般的な機能を制御する。即ち、上記制御部740は上記通信部710を介して受信されるデータ、即ち、メディアセグメントファイルから画像データを生成し、上記画像データを上記表示部730に提供する。特に、本発明の実施形態によって、上記制御部740はセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成するための機能を制御する。例えば、上記制御部740は上記DASHクライアントが上記図4A及び図4Bに示したように動作するように制御する。
詳しくは、上記制御部740はMPDファイルをダウンロードし、上記MPDファイルに含まれた互換性フラグが「1」として設定されているのかを判断する。上記互換性フラグが「1」でユーザがファイル格納を指定していれば、上記制御部740は連結するセグメントファイルリストを生成し、格納フラグを「1」として設定する。次に、上記制御部740は上記MPDファイルに含まれた情報を利用して初期化セグメントファイル及びメディアセグメントファイルをダウンロードする。
上記制御部740は、上記連結するセグメントファイルリストにダウンロードされるセグメントファイルの識別情報を格納する。一つのピリオドに属するセグメントのダウンロードが完了すると、上記制御部740は上記ファイルリストに含まれたセグメントファイルをリスト上の順番に連結することでメディアファイルを生成する。
上述したような本発明の他の実施形態によって以下のように連結されたメディアファイルが構成される。
2つの互いに異なる表現、即ち、第1表現(representation1)及び第2表現(representation2)が存在する。上記第1表現及び上記第2表現それぞれはビデオ及びオーディオを含み、ビデオはそれぞれ500kpbs、100kpbsでエンコードされており、オーディオは96kpbsでエンコードされている。全体の再生期間(playback duration)は60秒である。各メディアセグメントファイルの再生期間は5秒である。よって、各表現は12個のメディアセグメントを含む。一つのメディアセグメントは10個又は20個のフラグメントを含んでもよい。例えば、各フラグメントがオーディオ及びビデオを含む場合一つのメディアセグメントは10個のフラグメントを含んでもよく、各フラグメントがオーディオ及びビデオのうち一つのみを含む場合一つのメディアセグメントは20個のフラグメントを含んでもよい。よって、各フラグメントの再生期間は0.5秒である。一つのフラグメント内で最初のサンプルはRAP(Random Access Point)である。以下の説明において、再生される60秒間3回のビットストリームスイッチングが発生すると仮定する。例えば、15秒、30秒、45秒にスイッチングが発生する。それによって、受信されるセグメントの形は以下の図8に示したようである。
図8は、本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリームの例を示す図である。上記図8を参照すると、15秒、30秒、45秒にスイッチングが行われる。それによって、0秒乃至15秒の区間には第1表現のセグメントが、15秒乃至30秒の区間には第2表現のセグメントが、30秒乃至45秒の区間には第1表現のセグメントが、45秒乃至60秒区間には第2表現のセグメントが受信される。
図9(a)及び図9(b)は、本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの例を示す図である。上記図9(a)及び図9(b)は、各フラグメントがビデオ及びオーディオを全て含む場合の受信ストリーム及び連結されたメディアファイルの例を示している。
上記図9(a)を参照すると、0秒乃至15秒の区間にはオーディオ及びビデオを含む第1表現のセグメントが、15秒乃至30秒の区間にはオーディオ及びビデオを含む第2表現のセグメントが、30秒乃至45秒の区間にはオーディオ及びビデオを含む第1表現のセグメントが、45秒乃至60秒区間にはオーディオ及びビデオを含む第2表現のセグメントが受信される。上記図9(a)に示したように受信されたセグメントを連結して格納すると、上記図9(b)に示したようなメディアファイルが生成される。
図10A及び図10Bは、本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの他の例を示す図である。上記図10A及び図10Bは、各フラグメントがビデオ及びオーディオのうち一つのみを含み、ビデオを含む場合フラグメントがオーディオを含むフラグメントとインタリービング(interleaving)される場合、受信ストリーム及び連結されたメディアファイルを示している。
上記図10Aを参照すると、0秒乃至15秒の区間にはビデオを含む第1表現のセグメント及びオーディオを含む第3表現のセグメントが、15秒乃至30秒の区間にはビデオを含む第2表現のセグメント及びオーディオを含む第3表現のセグメントが、30秒乃至45秒の区間にはビデオを含む第1表現のセグメント及びオーディオを含む第3表現のセグメントが、45秒乃至60秒区間にはビデオを含む第2表現のセグメント及びオーディオを含む第3表現のセグメントが受信される。上記図10Aに示したように受信されたセグメントを連結して格納すると、上記図10Bに示したようなメディアファイルが生成される。
図11A及び11Bは、本発明の実施形態によるマルチメディアストリーミングシステムにおける受信ストリーム及び連結されたメディアファイルの例を示す図である。上記図11A及び図11Bは、各フラグメントがビデオ及びオーディオのうち一つのみを含み、ビデオを含む場合フラグメントがオーディオを含むフラグメントとインタリービングされない(not interleaving)場合、受信ストリーム及び連結されたメディアファイルを示している。
上記図11Aを参照すると、0秒乃至15秒の区間にはビデオを含む第1表現のセグメント及びオーディオを含む第3表現のセグメントが、15秒乃至30秒の区間にはビデオを含む第2表現のセグメント及びオーディオを含む第3表現のセグメントが、30秒乃至45秒の区間にはビデオを含む第1表現のセグメント及びオーディオを含む第3表現のセグメントが、45秒乃至60秒区間にはビデオを含む第2表現のセグメント及びオーディオを含む第3表現のセグメントが受信される。上記図11Aに示したように受信されたセグメントを連結して格納すると、上記図11Bに示したようなメディアファイルが生成される。
上述した本発明の実施形態によるマルチメディアストリーミングシステムにおいて、互換フラグを介してセグメントを連結すると従来のファイル再生機器が再生可能であるのか否かを知らせ、セグメントを連結して格納すると従来のファイル再生機器が再生可能であるように上記セグメントを構成することで、ユーザは望む時間に又は従来のファイルイ再生機器を利用してコンテンツを便利に利用することができる。
一方、本発明の詳細な説明では具体的な実施形態に関して説明したが、本発明の範囲を逸脱しない範囲内で多様な変形が可能であることはもちろんである。よって、本発明の範囲は説明された実施形態に限って決められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なものによって決められるべきである。
110−1 ピリオド#1
110−2 ピリオド#2
120−1 表現#1
120−N 表現#N
130 表現グループ
150−1 フラグメント
150−2 フラグメント

Claims (10)

  1. マルチメディアストリーミングシステムにおける、コンテンツを送信するためのサーバーの動作方法において、
    前記コンテンツに係る要求を受信する過程と、
    前記コンテンツに関する制御情報を送信する過程と、
    前記制御情報によって特定される第1セグメント及び第2セグメントを送信する過程と、を含み、
    前記第1セグメントは、表現グループ(representation group)に属する、複数の表現をデコーディングするための情報要素を含み、
    前記第1セグメントは、前記複数の表現それぞれに含まれ、
    前記情報要素は、コンテンツのコーディング関連情報を含み、
    前記情報要素は各々、インデックスによって指示可能であり、
    前記第2セグメントは、メディアデータ及び前記インデックスを含み、
    前記第1セグメントに含まれる前記インデックスの値は、前記複数の情報要素のうち一つのインデックスと同じであり、
    同一のメディア構成要素のためのトラック識別情報(track_ID)は、前記複数の表現に対して同じであり、
    前記複数の表現は各々、同じメディア要素(Media content)に対して異なる属性(property)を有する
    ことを特徴とする、方法。
  2. 前記制御情報は、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるのか否かを示すフラグを含む
    ことを特徴とする、請求項1に記載の方法。
  3. マルチメディアストリーミングシステムにおける、コンテンツを受信するクライアントの動作方法において、
    前記コンテンツに係る要求を送信する過程と、
    前記コンテンツに関する制御情報を受信する過程と、
    前記制御情報によって特定される第1セグメント及び第2セグメントを受信する過程を含み、
    前記第1セグメントは、表現グループ(representation group)に属する複数の表現をデコーディングするための情報要素を含み、
    前記第1セグメントは、前記複数の表現それぞれに含まれ、
    前記情報要素は、コンテンツのコーディング関連情報を含み、
    前記情報要素は各々、インデックスによって指示可能であり、
    前記第2セグメントは、メディアデータ及びインデックスを含み、
    前記第1セグメントに含まれる前記インデックスの値は、前記複数の情報要素のうち一つのインデックスと同じであり、
    同一のメディア構成要素のためのトラック識別情報(track_ID)は、前記複数の表現に対して同じであり、
    前記複数の表現は各々、同じメディア要素(Media content)に対して異なる属性(property)を有する
    ことを特徴とする、方法。
  4. 前記制御情報は、伝送されるセグメントを連結してメディアファイル再生機器で再生可能なメディアファイルを生成可能であるのか否かを示すフラグを含む
    ことを特徴とする、請求項3に記載の方法。
  5. 連結するセグメントのリストを生成する過程と、
    受信されるセグメントの識別情報(identifier)を前記リストに順次に記録する過程と、
    一つのピリオド(period)に属するセグメントの受信が完了されると、前記リストに含まれたセグメントを順番に連結することでメディアファイルを生成する過程と、をさらに含む
    ことを特徴とする、請求項3に記載の方法。
  6. 一つのピリオド内の同じ表現グループに属するメディアセグメント内の全てのトラックセグメントは、初期化セグメントの第1ボックス内のメディア構成要素トラックと同じトラック識別情報(track ID)を有する
    ことを特徴とする、請求項1または請求項3に記載の方法。
  7. 前記第2セグメントは「dash」を指示する値を記載したstypボックスを含む
    ことを特徴とする、請求項1または請求項3に記載の方法。
  8. 前記メディアデータは、相対的アドレス方式(relative addressing)を使用し、位置が指定される
    ことを特徴とする、請求項1または請求項3に記載の方法。
  9. 請求項1及び請求項2のうちいずれか一つの方法を実施するように構成された、サーバー装置。
  10. 請求項3乃至請求項5のうちいずれか一つの方法を実施するように構成された、クライアント装置。
JP2013550401A 2011-01-18 2012-01-18 マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法 Active JP6088439B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0005054 2011-01-18
KR1020110005054A KR101739272B1 (ko) 2011-01-18 2011-01-18 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
PCT/KR2012/000449 WO2012099400A2 (en) 2011-01-18 2012-01-18 Apparatus and method for storing and playing content in a multimedia streaming system

Publications (2)

Publication Number Publication Date
JP2014511580A JP2014511580A (ja) 2014-05-15
JP6088439B2 true JP6088439B2 (ja) 2017-03-01

Family

ID=46491615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013550401A Active JP6088439B2 (ja) 2011-01-18 2012-01-18 マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法

Country Status (7)

Country Link
US (3) US9635076B2 (ja)
EP (1) EP2666288B1 (ja)
JP (1) JP6088439B2 (ja)
KR (1) KR101739272B1 (ja)
CN (1) CN103314579B (ja)
AU (1) AU2012207773B2 (ja)
WO (1) WO2012099400A2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
CN103369355A (zh) * 2012-04-10 2013-10-23 华为技术有限公司 一种在线媒体数据转换的方法、播放视频方法及相应装置
CN104380753B (zh) * 2012-04-26 2018-05-18 华为技术有限公司 用于表示自适应流媒体的分段加密和密钥衍生的系统和方法
WO2014026988A1 (en) * 2012-08-14 2014-02-20 Telefonaktiebolaget L M Ericsson (Publ) Processing of multimedia data
US20140052824A1 (en) * 2012-08-20 2014-02-20 Qualcomm Incorporated Conveying state information for streaming media
FR2996715A1 (fr) * 2012-10-09 2014-04-11 France Telecom Heritage de parametres d'identifiant universel de ressource (uri)
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
JP6139872B2 (ja) * 2012-12-10 2017-05-31 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体、並びに、映像処理システム
US20140189064A1 (en) * 2012-12-31 2014-07-03 Bruce R. Cilli Method and system for adaptive video transmission
KR101685515B1 (ko) 2013-01-16 2016-12-13 후아웨이 테크놀러지 컴퍼니 리미티드 다운로딩 및 스트리밍을 위한 저장 및 전송 콘텐츠
EP2942918B1 (en) * 2013-02-04 2019-01-02 Huawei Technologies Co., Ltd. Method and device for transmitting streaming media data
US20140372569A1 (en) * 2013-06-14 2014-12-18 Samsung Electronics Co., Ltd. Controlling dash client rate adaptation
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
CN105556922B (zh) * 2013-09-17 2019-06-28 瑞典爱立信有限公司 网络中的dash表示自适应
US9363333B2 (en) 2013-11-27 2016-06-07 At&T Intellectual Property I, Lp Server-side scheduling for media transmissions
KR102064792B1 (ko) 2013-12-17 2020-01-10 한국전자통신연구원 Http 기반의 멀티미디어 스트리밍 서비스를 위한 네트워크 대역폭 적응적 콘텐츠 생성 방법 및 시스템
JP6340882B2 (ja) * 2014-04-04 2018-06-13 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
MX368088B (es) * 2014-06-30 2019-09-19 Sony Corp Procesador de informacion y metodo de procesamiento de informacion.
EP3092780B1 (en) * 2014-07-03 2020-04-29 Huawei Technologies Co., Ltd. Signaling and handling of forensic marking for adaptive streaming
US10878828B2 (en) * 2014-09-12 2020-12-29 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10733146B2 (en) 2014-09-30 2020-08-04 Apple Inc. Inline keyed metadata
CN105653530B (zh) * 2014-11-12 2021-11-30 上海交通大学 一种高效可伸缩的多媒体传送、存储和呈现方法
WO2016111563A1 (ko) * 2015-01-07 2016-07-14 삼성전자 주식회사 통신 시스템에서 미디어 정보를 송수신하는 방법 및 장치
KR102326282B1 (ko) 2015-02-09 2021-11-15 한국전자통신연구원 대역폭에 적응적인 대쉬 기반 컨텐츠 제공 장치 및 방법
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
KR20180109890A (ko) * 2016-02-12 2018-10-08 소니 주식회사 정보 처리 장치 및 정보 처리 방법
TWI559753B (zh) * 2016-03-16 2016-11-21 晶睿通訊股份有限公司 傳輸隨選影音檔案的方法
JP6735644B2 (ja) * 2016-09-20 2020-08-05 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
CN109937575B (zh) * 2016-12-30 2022-04-01 谷歌有限责任公司 中断经不可侵犯清单协议提供的流传输内容的系统和方法
WO2018127780A1 (en) 2017-01-09 2018-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Controllable beam management accuracy
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
WO2018186550A1 (ko) * 2017-04-05 2018-10-11 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2019011430A1 (en) * 2017-07-12 2019-01-17 Telefonaktiebolaget Lm Ericsson (Publ) FAST TUNING FOR LOW-LOW CONTINUOUS DIFFUSION
KR102533986B1 (ko) 2018-02-23 2023-05-18 삼성전자주식회사 실시간 콘텐트 데이터를 공유하는 전자 장치
WO2020086452A1 (en) * 2018-10-22 2020-04-30 Radiant Communications Corporation Low-latency video internet streaming for management and transmission of multiple data streams
US11546402B2 (en) 2019-01-04 2023-01-03 Tencent America LLC Flexible interoperability and capability signaling using initialization hierarchy
GB2582155B (en) * 2019-03-12 2023-12-27 Canon Kk Method, device, and computer program for signaling available portions of encapsulated media content
US20230104640A1 (en) * 2020-03-09 2023-04-06 Sony Group Corporation File processing device, file processing method, and program
KR20220012740A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치
CN111901694B (zh) * 2020-08-06 2022-08-26 海信电子科技(深圳)有限公司 一种mmtp节目的播放方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758174A (en) * 1995-06-07 1998-05-26 International Business Machines Corporation Computer system having a plurality of stored system capability states from which to resume
US5959690A (en) * 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
US7263497B1 (en) * 1998-02-06 2007-08-28 Microsoft Corporation Secure online music distribution system
FI118830B (fi) 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
FI20011871A (fi) 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
US8214655B2 (en) 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
US7831603B2 (en) 2003-03-28 2010-11-09 Thomson Licensing System and method for transmitting media based files
JP4062230B2 (ja) * 2003-10-10 2008-03-19 ソニー株式会社 ファイル記録再生装置、ファイル記録再生方法、ファイル記録再生方法のプログラム及びファイル記録再生方法のプログラムを記録した記録媒体
US7373586B2 (en) * 2004-09-03 2008-05-13 International Business Machines Corporation Differencing and merging tree-structured documents
US7860993B2 (en) 2005-03-30 2010-12-28 Yahoo! Inc. Streaming media content delivery system and method for delivering streaming content
JP4481889B2 (ja) 2005-06-28 2010-06-16 キヤノン株式会社 データ記録装置及びその方法、プログラム、記録媒体
US20070100891A1 (en) * 2005-10-26 2007-05-03 Patrick Nee Method of forming a multimedia package
JP2007324722A (ja) * 2006-05-30 2007-12-13 Canon Inc 動画像データ配信装置及び動画像データ通信システム
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
JP2008005254A (ja) 2006-06-22 2008-01-10 Sony Corp サーバ装置、クライアント装置、コンテンツ再生システム、コンテンツ処理方法及びプログラム
KR100838524B1 (ko) 2006-11-28 2008-06-17 전자부품연구원 메타데이터를 이용한 멀티미디어 재생장치 간의 멀티미디어컨텐츠 북마크 공유 방법 및 시스템
US20080270913A1 (en) * 2007-04-26 2008-10-30 Howard Singer Methods, Media, and Devices for Providing a Package of Assets
GB2454651A (en) * 2007-10-31 2009-05-20 Symbian Software Ltd Communication device which calculates the present time at an intended call recipient's location
KR100925521B1 (ko) 2007-10-31 2009-11-05 한양대학교 산학협력단 주문형 멀티미디어 데이터 송수신 방법
TWI361009B (en) * 2008-03-06 2012-03-21 Realtek Semiconductor Corp Method and apparatus for processing audio/vedio bi
US8976728B2 (en) * 2008-11-14 2015-03-10 Bae Systems Information And Electronic Systems Integration Inc. Distributed medium access control (DMAC) for mobile ad hoc networks
US8904191B2 (en) * 2009-01-21 2014-12-02 Microsoft Corporation Multiple content protection systems in a file
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
WO2011083567A1 (ja) * 2010-01-06 2011-07-14 富士通株式会社 負荷分散システム及びその方法
CN103119934B (zh) * 2010-07-20 2017-02-22 诺基亚技术有限公司 一种流媒体传输装置
EP2614653A4 (en) * 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
JP5953307B2 (ja) * 2010-10-05 2016-07-20 テレフオンアクチーボラゲット エルエム エリクソン(パブル) クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法
US9009118B2 (en) * 2010-10-20 2015-04-14 Apple Inc. Temporal metadata track
US10637891B2 (en) * 2010-11-02 2020-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for media description delivery

Also Published As

Publication number Publication date
WO2012099400A3 (en) 2012-12-06
JP2014511580A (ja) 2014-05-15
AU2012207773A1 (en) 2013-07-18
KR20120083744A (ko) 2012-07-26
US10148715B2 (en) 2018-12-04
CN103314579B (zh) 2017-02-15
KR101739272B1 (ko) 2017-05-24
CN103314579A (zh) 2013-09-18
EP2666288B1 (en) 2022-04-27
EP2666288A4 (en) 2015-04-15
US9635076B2 (en) 2017-04-25
US10498785B2 (en) 2019-12-03
US20120185607A1 (en) 2012-07-19
EP2666288A2 (en) 2013-11-27
AU2012207773B2 (en) 2016-04-28
US20170230436A1 (en) 2017-08-10
US20190141102A1 (en) 2019-05-09
WO2012099400A2 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
JP6088439B2 (ja) マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法
JP6648223B2 (ja) メディアコンテンツをクライアントデバイスにストリーミングするための方法および装置
US8510375B2 (en) Apparatus and methods for time mapping media segments in streaming media files
CN105308978B (zh) 用于将媒体内容流式传输到客户端设备的方法和设备
KR100492567B1 (ko) 이동통신 시스템의 http 기반 비디오 스트리밍 장치및 방법
EP2475149B1 (en) Method for streaming multimedia data over a non-streaming protocol
CN101697549B (zh) 流媒体的展示方法、系统以及流媒体管理服务器
CN102055717B (zh) 快速播放的方法、终端及服务器
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
WO2017117422A1 (en) Methods and apparatus for presenting advertisements during playback of recorded television content
KR20180089416A (ko) 전송을 위해 코딩된 차세대 오디오 데이터의 선택
CN104253999A (zh) 用于发送内容的设备和方法
TW201123795A (en) System, method and apparatus for dynamic media file streaming
EP2754301A1 (en) Streaming of multimedia data from multiple sources
JP2014135749A (ja) サーバにおけるファイル伝送方法及びその装置並びに端末におけるファイル再生方法及びその装置
KR102499231B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
JP2007173987A (ja) マルチメディアデータ送受信システム、及び装置、又はプログラム
KR20120114016A (ko) 사용자 컨텐츠를 외부 단말기에서 네트워크 적응적으로 스트리밍하는 방법 및 장치
CN103957471A (zh) 网络视频播放的方法和装置
US9332421B2 (en) Method and apparatus for random access to multimedia content in wireless communication system
WO2020072792A1 (en) Initialization set for network streaming of media data
WO2014171385A1 (ja) サーバ装置、コンテンツ提供方法及びコンピュータプログラム
KR102533674B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
KR102401372B1 (ko) 이종 네트워크를 통해 수신한 콘텐츠의 삽입 방법 및 장치
WO2019131200A1 (ja) 復号装置、復号方法、およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170203

R150 Certificate of patent or registration of utility model

Ref document number: 6088439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250