JP6702875B2 - マルチメディアシステムにおけるメディアデータを送受信するための方法及び装置 - Google Patents

マルチメディアシステムにおけるメディアデータを送受信するための方法及び装置 Download PDF

Info

Publication number
JP6702875B2
JP6702875B2 JP2016545846A JP2016545846A JP6702875B2 JP 6702875 B2 JP6702875 B2 JP 6702875B2 JP 2016545846 A JP2016545846 A JP 2016545846A JP 2016545846 A JP2016545846 A JP 2016545846A JP 6702875 B2 JP6702875 B2 JP 6702875B2
Authority
JP
Japan
Prior art keywords
transmission
packet
mpu
multimedia
media data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016545846A
Other languages
English (en)
Other versions
JP2017508352A5 (ja
JP2017508352A (ja
Inventor
モ パク,キョン
モ パク,キョン
チョル プ,ヒョン
チョル プ,ヒョン
ヨン ソン,ジェ
ヨン ソン,ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017508352A publication Critical patent/JP2017508352A/ja
Publication of JP2017508352A5 publication Critical patent/JP2017508352A5/ja
Application granted granted Critical
Publication of JP6702875B2 publication Critical patent/JP6702875B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、メディアデータを送受信するための方法及び装置に関する。より具体的には、本開示は、マルチメディアシステムにおけるメディアデータを送受信するためのデータパケットの生成、送信、及び受信方法及び装置に関する。
マルチメディアサービスにおいて、ブロードキャストネットワークと通信ネットワークとの両方に接続するハイブリッドネットワークと、送信しようとしているマルチメディアデータ、アプリケーション、及びウェブページのようなファイルを含むマルチメディアデータを提供するためのムービングピクチャーエクスパーツグループ(Moving Picture Experts Group:MPEG)メディアトランスポート(MPEG Media Transport:以下、‘MMT’と称する)技術が最近に開発されてきた。
‘マルチメディアサービス’との用語は、画像電話のような対話型サービスと、ビデオオンデマンド(VideoOnDemand:VoD)サービスのようなストリーミングサービスと、マルチキャスト及びブロードキャストサービスとを意味する。実時間マルチメディアサービスは、サービスタイプに従って、対話型サービス、インタラクティブサービス、及びストリーミングサービスに分類できる。また、実時間マルチメディアサービスは、サービスに参加しているユーザの数に従って、ユニキャスト、マルチキャスト、及びブロードキャストに分類でき、それによる送信要求条件が変わる。
MMT技術は、MPEG基盤マルチメディア送信技術に関し、多機能スマートテレビジョン(TV)、マルチビュー(Multi-view)TV、N−スクリーン(N-Screen)デバイスへのブロードキャスト及びマルチメディアサービスのためにMPEG−2トランスポートストリーム(TransportStream:TS)の代わりに使用され、インターネットプロトコル(InternetProtocol:IP)基づいて変化するマルチメディアサービス環境で効率的なMPEGトランスポート技術を提供し得る。
また、マルチメディアデータの消費の増加及び技術の発展により、従来の1つ又は2つのマルチメディアソースだけが消費された時代から、上述したマルチメディアデータ、アプリケーション、及びファイルのような様々なタイプのマルチメディアコンテンツを含むマルチメディアデータが登場する時代に変化した。
マルチメディアデータは、様々なタイプのマルチメディアコンテンツを含み得る。マルチメディアデータの送信の間に、マルチメディアデータは、それぞれのマルチメディアコンテンツに分割化又は融合化され、マルチメディアコンテンツは、統合送信ネットワークを通して送信され得る。
例えば、ビデオ、オーディオ、及びウィジェットなどのアプリケーションで構成されたマルチメディアデータは、ビデオ信号送信方法、オーディオ信号送信方法、及びファイル送信方法の特性を考慮してデータパケットで構成され送信され得る。送信されたデータパケットは、受信端末でマルチメディアデータに再構成され得る。
現在まで論議され定義されたネットワークを通してマルチメディアデータを送信する場合に、ネットワーク環境に適合した効率的なサービスを提供することが難しいという問題がある。
したがって、ネットワーク環境に適合した効率的なサービスを提供するために、マルチメディアデータの特性に基づくマルチメディアデータパケットを構成する必要があり、マルチメディアデータの特性に基づくマルチメディアデータパケットを提供するために、対応するマルチメディアコンテンツの構成及び分解に対する技術が要求される。
上述した情報は、本発明の理解を助けるために背景情報としてのみ提示される。本発明に対する先行技術で適用されることができるか否かに関してはいかなる決定及びいかなる主張もない。
本発明の態様は、少なくとも上述した問題点及び/又は不都合を解決し、少なくとも以下の利点を提供することにある。すなわち、本発明の一態様は、マルチメディアシステムにおけるメディアデータを送信するためのデータパケット生成方法及び装置を提供することである。
本発明の他の態様は、マルチメディアサービスの要求事項により、ムービングピクチャーエクスパーツグループ(MPEG)メディアトランスポート(MMT)パケットデータヘッダ情報、ペイロード情報、及びMMTパケットを送信するために必要とされる情報を定義するためのデータパケット生成方法及び装置を提供することである。
上記のような目的を達成するために、本発明の一態様によれば、マルチメディアシステムにおけるメディアデータを送信するための方法が提供される。上記方法は、上記メディアデータにより構成されるマルチメディアサービスの送信要求条件により生成されるトランスポートパケットヘッダフォーマット及び送信構造を決定する動作と、上記決定されたトランスポートヘッダフォーマット及び送信構造により上記メディアデータの基本送信単位を生成する動作と、上記生成された基本送信単位に基づいて上記メディアデータを少なくとも1つのパケットにパケット化する動作と、上記パケット化されたメディアデータを送信する動作とを含むことを特徴とする。
本発明の他の態様によれば、マルチメディアシステムにおけるメディアデータを送信するための装置が提供される。上記装置は、上記メディアデータにより構成されるマルチメディアサービスの送信要求条件に基づいてトランスポートパケットヘッダフォーマット及び送信構造を選択し、上記選択されたトランスポートパケットヘッダフォーマット及び送信構造により上記メディアデータの基本送信単位を生成するように構成されるデータパケット生成器と、上記生成された送信単位に基づいて上記マルチメディアデータを少なくとも1つのパケットにパケット化し、上記パケット化されたマルチメディアデータを送信するように構成される送受信器とを含むことを特徴とする。
本発明のさらに他の態様によれば、マルチメディアシステムにおけるメディアデータを受信するための方法が提供される。上記方法は、上記メディアデータを構成するマルチメディアの個数により予め決定されたパケットヘッダフォーマットのうちで選択された1つのパケットヘッダフォーマットにより生成された基本送信単位を受信する動作と、上記基本送信単位のヘッダを決定する動作と、上記決定されたヘッダに関する情報を用いて上記基本送信単位に基づいてパケット化された上記メディアデータを取得する動作とを含むことを特徴とする。
本発明のさらなる他の態様によれば、マルチメディアシステムにおけるメディアデータを受信するための装置が提供される。上記装置は、上記メディアデータを構成するパケットヘッダフォーマットを含む基本送信単位を再構成し受信するように構成される送受信器と、上記受信された基本送信単位のヘッダを決定するように構成されるヘッダ検出器と、上記決定されたヘッダに関する情報を用いて上記基本送信単位に基づいてパケット化された上記メディアデータを受信するように構成される制御器とを含むことを特徴とする。
本発明の実施形態の上述した及び他の様相、特徴、及び利点は、添付の図面が併用された以下の詳細な説明から、より一層明らかになるだろう。
本開示は、マルチメディアデータを伝達するためのデータパケットを構成するために、マルチメディアコンテンツにより対応するデータの構成及び分解のための具体的な送信構造を定義し、上記送信構造に基づいて構成されたデータパケットを送受信することにより、マルチメディアデータの送信の間にネットワーク環境に適合した効率的なサービスを提供できる。
本開示の一実施形態によるメディアトランスポート(MMT)でのマルチメディアコンテンツを処理するレイヤーを示す図である。 本開示の一実施形態によるマルチメディアデータを伝達するためのデータパケットを送信する装置を概略的に示す図である。 本開示の一実施形態によるサービスにより可変的なデータ送信構造を示す図である。 本開示の一実施形態によるメディアデータのパケットを生成する動作を示す図である。 本開示の一実施形態によるマルチメディアデータを受信する装置の構造を示す 図である。 本開示の一実施形態による送信装置でのメディアデータを送信するための方法を示す図である。
図面中、同一の図面参照符号が同一の構成要素、特性、又は構造を意味することは、容易に理解できるはずである。
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるために様々な特定の詳細を含むが、唯1つの実施形態に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
本願明細書に記載の各要素は、文脈中に特に明示しない限り、複数形を含むことは、当業者には理解できるはずである。したがって、例えば、“コンポーネント表面(a component surface)”との記載は、1つ又は複数の表面を含む。
“実質的に(substantially)”という用語は、提示された特徴、パラメータ、又は値が正確に設定される必要はないが、許容誤差、測定誤り、測定精度限界及び当業者に知られているか、あるいは当業者により実験なしに得られる要素を含む偏差又は変化が、これらの特性が提供しようとする効果を排除しない範囲内で発生することを意味する。
以下、本発明の実施形態による動作原理について、添付の図面を参照して説明する。
以下では、本開示が適用可能な技術のうちの1つであるムービングピクチャーエクスパーツグループ(Moving Picture Experts Group:MPEG)メディアトランスポート(MPEG Media Transport:以下、‘MMT’と称する)技術を例に挙げて説明するが、これは、説明の目的のためのものであるだけであり、本開示が必ずしもMMT技術のみに適用されるものではなく、他の類似のマルチメディア送信技術にも適用され得ることに留意すべきである。
詳細な説明に先立って、本開示の基本概念が下記で簡略に説明される。
本開示の一実施形態において、ネットワーク環境は、サーバ及びクライアントの接続構造を有し、ブロードキャストのための専用ネットワーク(以下、‘ブロードキャストネットワーク’と称する)及びインターネット通信のためのネットワーク(以下、‘ブロードバンドネットワーク'と称する)を同一のクライアントに提供でき、クライアントが、複数のネットワークを通してサービスを受信できる環境を意味する。また、複数のネットワーク環境を、ブロードキャストネットワークとブロードバンドネットワークとを並列に接続して構成してもよいし、有線又は無線ネットワークを含めて構成してもよい。
以下では、本開示の様々な実施形態について添付の図面を参照して詳細に説明する。
特に、下記の図1乃至図6、及び、本特許文書で開示された内容の原理を記述するために使用される様々な例示的な実施形態は、例示のみのためのものであり、上記開示された内容の範囲を限定するいかなる方式でも解釈されるべきでない。当業者は、上記開示された内容の原理が、適合に配列された通信システムでも実現されることができることを理解するのであろう。様々な実施形態を記述するために使用される用語は例示的なものである。これらの用語は、単純に詳細な説明の理解を助けるために提供されるものであることを留意しなければならない。これらの用語の使用及び定義は、いかなる方法でも本発明の範囲を限定しない。第1、第2などの用語は、同一の技術を有する対象を区別するために使用され、明示的な説明がない限りはいかなる方法でも順序を示すことを意図しない。セット(set)は、少なくとも1つのエレメントを含む空いていない(non-empty)セットとして定義される。
図1は、本開示の一実施形態によるMMTでのマルチメディアコンテンツを処理するレイヤーを示す図である。
図1を参照すると、カプセル化(Encapsulation)レイヤー(E layer)が示され、カプセル化レイヤーは、3つのサブレイヤー(sub layer)のうちの1つ以上を含む。この3つのサブレイヤーは、マルチメディア(メディア)コーデック(A)100、マルチメディア(メディア)コーデック(B)101、及びMMT E.3サブレイヤー102に対応していてもよい。
マルチメディアコーデック(A)100及びマルチメディアコーデック(B)101は、それらの機能の観点で相互に異なる。
例えば、H.264コーデックにおいて、ディジタル圧縮されたビデオマルチメディアにマルチメディアの特性情報及び復号化に必要なシグナリングなどを提供するネットワークアダプテーションレイヤー(NetworkAdaptationLayer:NAL)ユニットが、H.264コーデックの出力であってもよい。もう1つの例として、H.262コーデックでは、ディジタル圧縮ビデオマルチメディアだけが、H.262コーデックの出力であってもよい。
例えば、H.264コーデックがマルチメディアコーデック(B)101として使用され、H.262コーデックがマルチメディアコーデック(A)100として使用されてもよい。しかしながら、場合によっては、H.264コーデックがマルチメディアコーデック(A)100としても使用されてもよい。したがって、H.264コーデックの出力は、MMT E.3サブレイヤー102で生成された情報をさらに含んでいてもよい。
MMT E.3サブレイヤー102は、様々なタイプのマルチメディアをソースとして受信することにより、メディアフラグメントユニット(MFU)を生成できる。MFUの機能は、上述したNALユニットの機能と類似しており、トランスポートパケットの構成に使用できる送信データユニットの範囲内での重要度及び相関情報(すなわち、依存性カウンタ)を含む。しかしながら、MFUは、ビデオ信号に加えて、音声、テキスト、アプリケーション、及びウェブページのようなすべてのタイプのマルチメディアソースをペイロードとして有することができるという点で、NALユニットとは異なる。MMT E.3サブレイヤー102の機能は、後述する図2、図3、及び図4に関連して詳細に説明する。
図1に示すように、MMT E.2サブレイヤー103は、1つのマルチメディアソースから提供された様々なタイプのMFUを集めることによりメディア処理ユニット(MPU)を構成する。MMT E.2サブレイヤー103は、MPUを1つのストリームに構成するMMTアセットを生成する。
図1に示すように、MMT E.1サブレイヤー104は、複数のMMTアセットを使用してユーザにサービスできるMMTパッケージを構成する。
本開示の実施形態による送信装置は、上述したMPU及びMFUでマルチメディアデータ送信のための基本送信単位を構成し、それをパケット化した後に基本送信単位を受信装置に送信する。
MPUは、消費可能な最小単位であるMFUで構成され、独立した構成が可能である場合に、空間的な間隔単位のバンドル形態でユーザにより消費されるか、又は、ユーザに伝達できるように構成される。また、送信環境により、1つのMPU内で送信効率性を考慮してMFUの構成を可変的に調節できる。
本開示において、送信装置でのマルチメディアデータを送信するための方法は、パケットヘッダを構成するためのパケットヘッダ構成動作、及び、パケットのペイロードを構成するためのパケットペイロード構成動作を含む。パケットヘッダ構成動作及びパケットペイロード構成動作を、個別に説明する。
MMTパケットのペイロードは、送信環境により使用される構成情報を含むペイロードヘッダ領域、及び、送信データを含むデータ領域を含み得る。また、MMTパケットのペイロードは、インターネットプロトコル(IP)基盤プロトコルである送信制御プロトコル(TransmissionControlProtocol:TCP)/ユーザデータグラムプロトコル(UserDatagramProtocol:UDP)の環境で動作するMMTトランスポートパケット又はIPである実時間トランスポートプロトコル(Real-timeTransportProtocol:RTP)のペイロードに含まれることにより端末に送信される。
図2は、本開示の一実施形態によるマルチメディアデータを伝達するためのデータパケットを送信する装置を概略的に示す図である。
図2を参照すると、送信装置200が図示され、送信装置200は、送受信部205、データパケット生成部210、及び制御部215のうちの1つ以上を含む。
データパケット生成部210は、メディアデータを構成するマルチメディアの個数により予め定められたMFUヘッダフォーマットのうちの1つを選択し、この選択されたヘッダフォーマットに従ってマルチメディアデータのMFUを生成する。
送受信部205は、(制御部215の指示の下で)基本MFUによりマルチメディアデータをパケット化し、パケット化されたマルチメディアデータを受信装置に送信する。
制御部215は、マルチメディアの個数が第1のしきい値未満であるか否かを判定できる。マルチメディアの個数が第1のしきい値未満である場合に、制御部215は、第1のMFUヘッダを選択できる。ここで、第1のMFUヘッダは、MFUの開始を示す予め定義されたタイプの開始フラグフィールド、MFUに含まれたメディアのタイプを示すMFUタイプフィールド、及びMFUが特定のマルチメディアデータの最初のMFUであるか(例えば、‘Start’)、MFUが最後のMFUであるか(例えば、‘End’)、又は新たなMFUがMFUの後に継続するか(例えば、‘Conti’)を示すラストフラグ(lastflag)フィールドのうちの1つ以上を含む。
制御部215は、マルチメディアの個数が第1のしきい値以上である場合に、マルチメディアのうちで所定の基準を満足するマルチメディアの個数が第2のしきい値以上であるか否かを判定する。この所定の基準を満足するマルチメディアの個数が第2のしきい値以上でない場合に、制御部215は、第2のMFUヘッダを選択する。ここで、第2のMFUヘッダは、開始フラグフィールド、MFUタイプフィールド、及びラストフラグフィールドのうちの1つ以上を含む。第2のMFUヘッダのMFUタイプフィールドの長さは、第1のMFUヘッダのMFUタイプフィールドの長さより長いことがある。
制御部215は、この所定の基準を満足するマルチメディアの個数が第2のしきい値以上である場合に、第3のMFUヘッダを選択する。ここで、第3のMFUヘッダは、開始フラグフィールド、MFUタイプフィールド、及びラストフラグフィールドのうちの1つ以上を含み、MFUタイプ拡張フィールドをさらに含む。MFUタイプ拡張フィールドは、第3のMFUヘッダのMFUタイプフィールド組み合わされることにより、MFUに含まれたメディアのタイプを示す。第3のMFUヘッダのラストフラグフィールドは、MFUタイプ拡張フィールドの存在を示す。
制御部215、データパケット生成部210、及び送受信部205は、必ずしも個別の構成要素として具現されなければならないというわけではなく、例えば、単一のチップ及び/又は単一のチップ上のソフトウェアの形態で1つの構成要素として具現できることは明らかである。
図3は、本開示の一実施形態によるサービスにより可変的なデータ送信構造を示す図である。
図3を参照すると、MPUファイル301が図示され、MPUファイル301は、カプセル化機能レイヤーが送信することを希望するデータを含むファイルであり、MPU/MFUビルディングブロック(BuildingBlock)313が図示され、MPU/MFUビルディングブロック313は、送信データを構成するためのデータ構造に対応する。MPU/MFUビルディングブロックは、MPU/MFUパケット化ブロックと呼ぶこともできる。
MPUファイル301は、ファイルのタイプを示すファイルタイプ(FTYP)ボックス303、MPUの構成を示すMPEGメディア処理ユニット(MPEGMediaProcessingUnit:MMPU)ボックス305、コーデック構成情報を示すムービー(MOOV)ボックス307、ムービーフラグメント(MOOF)ボックス309のようなヘッダ情報を含み、複数のビデオサンプル(Videosamples:VSs)及び複数のMMTヒントサンプル(HintSamples:HSs)で構成されるメディアデータ(MDAT)ボックス311をさらに含む。MPUファイル301は、2つ以上のMDATボックスを含むこともある。
MMPUボックス305は、MDATボックス311に記憶されたデータのタイプがMPUであることを示し、MOOVボックス307は、MDATボックス311に記憶されたメディアフレームに関する情報を含む。
MPU/MFUビルディングブロック313は、FTYP、MMPU、MOOV、及びMOOFのうちの1つ以上を含むMPUメタデータ315を有する。好ましくは、MPUメタデータ315は、FTYP、MMPU、及びMOOVのうちの少なくとも1つを含み、したがって、MOOFは、他のメタデータ(すなわち、MOOFメタデータ)に含まれる。MPU/MFUビルディングブロック313は、関連した複数のHS及びVSの対で構成される1つ以上のMFU(例えば、317、319、及び321)を有する。例えば、HS#1及びVS#1は、1つのMFU317に含まれ、HS#2及びVS#2は、他のMFU319に含まれる。
MMTペイロードは、MPU/MFUビルディングブロック313に基づいて構成され、MMTパケットに乗せて伝達できる。
本開示の一実施形態による送信装置がMMTペイロードを構成する具体的な手順は、次のとおりである。
送信装置のデータパケット生成部は、所望するMPUファイルタイプのデータを分析することにより、MPUデータのヘッダ情報から、タイプ、MPUの構成情報、コーデックの設定情報、及びデータの開始点及びサイズ(又は長さ)情報を決定できる。
また、データパケット生成部は、MPUデータを構成するMFU及びMFU HSの構造を分析することにより、各MFUのサイズ、相互の優先順位及び相互接続情報(例えば、長さなど)を含んでいるMFUヘッダ及び実際のメディアデータであるMFUデータを決定し、各MFUの開始オフセット及び長さを示すMFU HSに基づいて、各MFUのサイズを分析することもできる。分析されたMPUタイプに基づいて、トランスポートパケットを構成するためのMPU/MFUビルディングブロックを構成できる。MFU HSは、ビルディングブロックのMFUヘッダに対応する。
また、データパケット生成部は、複数のMFU HSから分析された各MFUのサイズに基づいて各MFUを送信単位として構成する。MFUのサイズにより、1つ又は複数のペイロードが構成される。各ペイロードの開始、中間、及び終わりは、選択的なビット(optionalbits)であるstart_end_indicatorにより示される。MPUメタデータ315は、MPU/MFUビルディングブロック313の1つの構成単位とも見なされる。
図4は、本開示の一実施形態によるメディアデータのパケットを生成する動作を示す図である。
図4を参照すると、本開示の実施形態による単一のサイズのMPUを送信する方法において、サービスの要求事項を分析することによりMPUを分割し送信する場合に、送信装置は、MPU再生に必要なFTYP、MMPU、MOOV、及びMOOFのうちの1つ以上で構成された制御情報ペイロードを周期的にかつ可変的にパケット化し送信する。一例として、制御情報ペイロードは、FTYP、MMPU、及びMOOVのうちの少なくとも1つを含むMPUメタデータを有する。他の例として、制御情報ペイロードは、MOOFを含むMOOFメタデータを有する。
その結果、受信装置は、より迅速にMPUを再生させる。制御情報ペイロードは、単一の情報(すなわち、MOOV)を含み、送信装置は、1つ又は複数のMFUの間隔で制御情報ペイロードを反復して挿入することにより制御情報を送信する。
本開示の実施形態による可変長さの送信データは、送信環境により単一のペイロード又は基本単位のサイズに対応する複数のペイロードに分割され、複数のペイロードで送信される。このとき、各ペイロードは、それぞれのパケットでパケット化されることにより送信される。また、複数のペイロードに対して、それらのパケットは、マルチプレキシングされることによりネットワークチャネルを通して送信される。
また、送信装置は、特定の送信機能を考慮して所定の単位でインターリービング機能を提供し、このペイロードは、トランスポートレイヤーの可能な一般的な単位構造(すなわち、相当に簡素な単位構造)として定義される。図4に示すように、送信装置は、動作401において、クライアントからマルチメディアのサービス要請を受信し、要請されたメディアデータを送信するためのパケット生成方法を開始し得るが、動作401は、常に発生するのでなく、選択的に実行され得る。
動作403において、送信装置は、要請されたサービスの送信要求条件(例えば、アセットデリバリ特性(AssetDeliveryCharacteristics:ADC))の分析/処理を行う動作を実行する。
動作405において、分析/処理の結果として、送信装置は、要請されたサービスが実時間送信を要請するサービスであるか又は非実時間サービスであるかを判定する。選択的に、送信装置は、ビデオオンデマンド(Videoon Demand:VoD)サービスであるかを決定する。
動作405の結果で、要請されるサービスが非実時間サービスである場合に、送信装置は、動作415において、所定のサイズの単位パケットを生成する。
動作405の結果で、要請されるサービスが実時間サービス(例えば、ストリーミングサービス)である場合に、送信装置は、動作407において、付加の判定を選択的に実行する。
動作407において、送信装置は、要請されるサービスが高速の実時間送信を保証しなければならないサービスであるか否かを判定する。要請されるサービスが高速の実時間送信を要請するサービスである場合には、送信装置は、動作409において、制御情報ペイロードを含む少なくとも1つのパケットを生成し、周期的なパケット送信(例えば、少なくとも1つのMFUの間隔で)を実行する。一例として、そのような短い間隔でパケットで周期的に送信される制御情報ペイロードは、FTYP、MMPU、及びMOOVのうちの少なくとも1つを含むMPUメタデータを有する。他の例として、制御情報ペイロードは、MOOFを含むMOOFメタデータを有する。好ましくは、MPUメタデータは、MOOFメタデータよりさらに頻繁に(すなわち、そのような短い間隔で)送信される必要がある。要請されたサービスが実時間送信を要請するとしても、高速の実時間送信を要請しない場合に、送信装置は、動作411において、MPUヘッダを分析し、MPUの単位でパケットを生成し、制御情報ペイロードを含む生成されたパケットを送信する。
動作405において、要請されたサービスがVoDサービスであると判定される場合に、送信装置は、動作413において、付加の判定を選択的に実行する。
動作413において、送信装置は、要請されるサービスがサービス品質(QoS)が保証されなければならないか否かを判定する。要請されるサービスがQoSが保証されなければならないサービスである(例えば、動作413において‘yes’である)場合に、送信装置は、動作417において、MPUヘッダを分析し、MPUの単位でパケットを生成し、生成されたパケットを送信する。要請されるサービスがサービス品質(QoS)が保証されなければならないサービスではない(例えば、動作413において‘no’である)場合に、送信装置は、動作415において、非実時間送信の場合と同様に、所定のサイズの単位パケットを生成し、生成された単位パケットを送信する。
図5は、本開示の一実施形態によるマルチメディアデータを受信する装置の構造を示す図である。
図5を参照すると、受信装置500が図示され、本開示の一実施形態による受信装置500は、メディアデータを構成するマルチメディアの個数により予め定められたヘッダフォーマットのうちで選択された1つにより生成される基本送信単位を受信する動作と、基本送信単位のヘッダを確認する動作と、得られたヘッダ情報を用いて、基本送信単位によりパケット化されるマルチメディアデータを取得する動作とを実行する。
受信装置500は、メディアデータを構成するヘッダフォーマットを含む基本送信単位を再構成し受信する送受信部505、受信された基本送信単位のヘッダを確認するヘッダ検出部510、及び確認されたヘッダ情報を用いて基本送信単位によりパケット化されたマルチメディアデータを受信する制御部515のうちの少なくとも1つを含むように構成される。
制御部515、ヘッダ検出部510、及び送受信部505は、 必ずしも個別の構成要素として具現されなければならないというわけではなく、例えば、単一のチップ及び/又は単一のチップ上のソフトウェアの形態で1つの構成要素として具現できることは明らかである。
図6は、本開示の一実施形態による送信装置でのメディアデータを送信するための方法を示す図である。
図6を参照すると、動作601において、送信装置は、メディアデータを構成するマルチメディアの送信要求条件により生成されるトランポートパケットヘッダフォーマット及び送信構造を決定する。
送信装置は、動作603において、決定されたヘッダフォーマット及び送信構造によりメディアデータの基本送信単位を生成する。
送信装置は、動作605において、生成された基本送信単位によりメディアデータをパケット化する。
送信装置は、動作607において、パケット化されたメディアデータを送信する。
図1乃至図6に示すレイヤー構成、送信装置及び受信装置、データ送信構造、データ生成方法、及びデータ送信方法は、本開示の範囲を限定するための意図がないことに留意すべきである。言い換えれば、図1乃至図6に示すすべてのデータユニット、特定の構成部、又は動作が本開示の実施のための必須の構成要素であると解析されてはならず、一部のデータユニット、動作、又は構成要素だけを含むとしても、本開示の範囲及び趣旨を逸脱することなく具現できる。
上述した動作は、対応するプログラムコードを記憶するメモリ装置を通信システムの送信装置、サーバ、受信装置、又は端末装置内の任意の構成部に備えることにより実現できる。言い換えれば、送信装置、サーバ、受信装置、又は端末装置の制御部は、プロセッサ又は中央処理ユニット(CPU)によりメモリ装置内に記憶されたプログラムコードを読み出し実行することにより、上述した動作を実行できる。
ここで説明される送信装置、サーバ、受信装置、又は端末装置の様々な構成部及びモジュールは、ハードウェア回路(例えば、相補形金属酸化膜半導体(Complementary Metal Oxide Semiconductor:CMOS)をベースとした論理回路)、ファームウェア、ソフトウェア、及び/又は、ハードウェア、ファームウェア、及び/又は機械読み取り可能な媒体に組み込まれたソフトウェアの組み合せのようなハードウェア回路、を使用して動作させてもよい。例えば、様々な電気構造及び方法は、トランジスタ、論理ゲート、及び特定用途向け集積回路(ASICs)のような電気回路を使用して実施されることができる。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。

Claims (10)

  1. マルチメディアシステムにおけるメディアデータを送信するための方法であって、
    前記メディアデータにより要求されるマルチメディアサービスのタイプによる送信要求条件、及び前記メディアデータにより要求される前記マルチメディアサービスの前記送信要求条件に基づく送信構造を識別するステップと、
    前記識別された送信構造に基づいて、前記メディアデータのメディア処理ユニット(MPU)又は前記メディアデータのメディアフラグメントユニット(MFU)から少なくとも一つのパケットを生成するステップと、
    前記生成された少なくとも一つのパケットを送信するステップと、
    を含み、
    複数のMFUは前記MPUを構成し、
    前記送信要求条件が、前記マルチメディアサービスが実時間送信を保証する条件を含む場合、少なくとも一つのMFUから生成されたパケットが送信される毎に周期的に制御情報を含むパケットが送信される方法。
  2. 前記送信要求条件が、前記マルチメディアサービスが非実時間送信を保証する条件を含む場合、前記少なくとも一つのパケットの各々は、予め決定されたサイズを有する請求項1に記載の方法。
  3. 前記送信要求条件が、前記マルチメディアサービスがVoDサービスである条件を含む場合、前記少なくとも一つのパケットの各々は、予め決定されたサイズを有するか、それとも、少なくとも一つのMPUの間隔で挿入される制御情報ペイロードを含む請求項1に記載の方法。
  4. 前記送信要求条件が、前記マルチメディアサービスがQoS(quality of service)保証VoDサービスである条件を含む場合、前記少なくとも一つのパケットは、少なくとも一つのMPUの間隔で挿入される制御情報ペイロードを含む請求項1に記載の方法。
  5. 前記識別された送信構造は、前記MPUを構成する前記MFUのサイズに基づいて構成される一つ以上のペイロードの構造を含む請求項1に記載の方法。
  6. マルチメディアシステムにおけるメディアデータを送信するための装置であって、
    少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサに接続された送受信器と、を含み、
    前記少なくとも一つのプロセッサは、
    前記メディアデータにより要求されるマルチメディアサービスのタイプによる送信要求条件、及び前記メディアデータにより要求される前記マルチメディアサービスの前記送信要求条件に基づく送信構造を識別し、
    前記識別された送信構造に基づいて、前記メディアデータのメディア処理ユニット(MPU)又は前記メディアデータのメディアフラグメントユニット(MFU)から少なくとも一つのパケットを生成するよう構成され、また、
    前記送受信器は、前記生成された少なくとも一つのパケットを送信するように構成され、
    複数のMFUは前記MPUを構成し、
    前記送信要求条件が、前記マルチメディアサービスが実時間送信を保証する条件を含む場合、少なくとも一つのMFUから生成されたパケットが送信される毎に周期的に制御情報を含むパケットが送信される装置。
  7. 前記送信要求条件が、前記マルチメディアサービスが非実時間送信を保証する条件を含む場合、前記少なくとも一つのパケットの各々は、予め決定されたサイズを有する請求項6に記載の装置。
  8. 前記送信要求条件が前記マルチメディアサービスがVoDサービスである条件を含む場合、少なくとも一つのパケットの各々は、予め決定されたサイズを有するか、それとも、少なくとも一つのMPUの間隔で挿入される制御情報ペイロードを含む請求項6に記載の装置。
  9. 前記送信要求条件がQoS(quality of service)保証VoDサービスである条件を含む場合、前記少なくとも一つのパケットは、少なくとも一つのMPUの間隔で挿入される制御情報ペイロードを含む請求項8に記載の装置。
  10. 前記識別された送信構造は、前記MPUを構成する前記MFUのサイズに基づいて構成される一つ以上のペイロードの構造を含む請求項6に記載の装置。
JP2016545846A 2014-01-09 2015-01-09 マルチメディアシステムにおけるメディアデータを送受信するための方法及び装置 Active JP6702875B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0003093 2014-01-09
KR1020140003093A KR102138075B1 (ko) 2014-01-09 2014-01-09 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
PCT/KR2015/000237 WO2015105375A1 (en) 2014-01-09 2015-01-09 Method and apparatus for transmitting and receiving media data in multimedia system

Publications (3)

Publication Number Publication Date
JP2017508352A JP2017508352A (ja) 2017-03-23
JP2017508352A5 JP2017508352A5 (ja) 2018-02-08
JP6702875B2 true JP6702875B2 (ja) 2020-06-03

Family

ID=53496206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016545846A Active JP6702875B2 (ja) 2014-01-09 2015-01-09 マルチメディアシステムにおけるメディアデータを送受信するための方法及び装置

Country Status (6)

Country Link
US (1) US10264299B2 (ja)
EP (1) EP3092812B1 (ja)
JP (1) JP6702875B2 (ja)
KR (1) KR102138075B1 (ja)
CN (1) CN105934952B (ja)
WO (1) WO2015105375A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812444B2 (ja) 2012-04-13 2015-11-11 日東電工株式会社 光学部材、偏光板のセットおよび液晶表示装置
JP2017017382A (ja) * 2015-06-26 2017-01-19 ソニー株式会社 データ処理装置、データ処理方法、並びに、プログラム
US10972878B2 (en) 2015-10-13 2021-04-06 Samsung Electronics Co., Ltd. Method and apparatus for providing unicast based multimedia service
CN110545254B (zh) * 2018-05-29 2021-05-04 北京字节跳动网络技术有限公司 一种元数据容器的解析方法、装置及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3918447B2 (ja) * 2001-03-30 2007-05-23 三菱電機株式会社 動画像受信装置および動画像送信装置
FR2854530B1 (fr) 2003-05-02 2005-07-22 Medialive Procede et dispositif pour securiser la transmission, l'enregistrement et la visualisation de flux empaquetes audiovisuels numeriques
KR20040096718A (ko) * 2003-05-10 2004-11-17 삼성전자주식회사 멀티미디어 데이터 재생장치, 오디오 데이터 수신방법 및오디오 데이터 구조
CN100454859C (zh) * 2003-09-18 2009-01-21 Ut斯达康(中国)有限公司 Umts网络中ip多媒体会话无线接入承载的方法
US7961754B2 (en) 2005-07-26 2011-06-14 Electronics And Telecommunications Research Institute Apparatus and method for multimedia data transmission and reception in cable network using broadband and physical layer frame structure
WO2008156257A2 (en) 2007-06-18 2008-12-24 Samsung Electronics Co., Ltd. Method and apparatus for transporting mobile broadcasting service, and method and apparatus for receiving mobile broadcasting service
EP2654266B1 (en) * 2008-06-07 2018-12-12 Coherent Logix Incorporated Transmitting and receiving control information for use with multimedia streams
CN107360130B (zh) 2010-04-20 2021-05-07 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
US8897820B2 (en) 2010-11-16 2014-11-25 Jack L. Marovets System, method, and apparatus for storing, transmitting, receiving, and using structured data using un-structured text message bodies
KR20120084237A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 엠엠티(mmt)에서 엠엠티 인캡슐레이터를 전송하는 방법
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR20130040132A (ko) * 2011-10-13 2013-04-23 한국전자통신연구원 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법
KR20130040090A (ko) 2011-10-13 2013-04-23 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법
WO2013077670A1 (ko) * 2011-11-23 2013-05-30 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US20140344875A1 (en) * 2012-01-20 2014-11-20 Electronics And Telecommunications Research Institute Method for transmitting media data having access unit divided into media fragment units in heterogeneous network
JP2013157820A (ja) 2012-01-30 2013-08-15 Sharp Corp 生成装置、再生装置、生成方法、再生方法、データ構造、制御プログラム、および記録媒体
PL2843955T3 (pl) * 2012-04-25 2024-02-19 Samsung Electronics Co., Ltd. Sposób przesyłania danych w systemie przesyłania multimediów
US9544641B2 (en) * 2012-05-10 2017-01-10 Humax Co., Ltd. Hybrid transmission method through MMT packet format extension
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치

Also Published As

Publication number Publication date
CN105934952A (zh) 2016-09-07
US20150195588A1 (en) 2015-07-09
EP3092812A4 (en) 2017-08-02
EP3092812B1 (en) 2020-03-11
US10264299B2 (en) 2019-04-16
KR20150083407A (ko) 2015-07-17
CN105934952B (zh) 2019-04-19
KR102138075B1 (ko) 2020-07-27
WO2015105375A1 (en) 2015-07-16
EP3092812A1 (en) 2016-11-16
JP2017508352A (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
US11381625B2 (en) Apparatus and method for transmitting multimedia data in hybrid network
JP6887466B2 (ja) マルチメディア伝送システムにおけるパケットを伝送する装置
JP6754810B2 (ja) マルチメディアシステムにおけるデータ送信方法
KR102093618B1 (ko) 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법
US9100461B2 (en) Automatically publishing streams to multiple destinations
AU2014293819B2 (en) Method and apparatus for packet transmission supporting downloading and streaming
JP6606240B2 (ja) 放送システムにおけるマルチメディアデータの転送装置及び方法
JP6702875B2 (ja) マルチメディアシステムにおけるメディアデータを送受信するための方法及び装置
KR102049039B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
US9742826B2 (en) Method and apparatus for transceiving data packet for transmitting and receiving multimedia data
JP2015506614A (ja) マルチメディアコンテンツの多重化ストリーミングのためのシステム及び方法
US20240259454A1 (en) Method, An Apparatus, A Computer Program Product For PDUs and PDU Set Handling
Comsa et al. Evaluating QoS parameters for IPTV distribution in heterogeneous networks
KR101855327B1 (ko) 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법
KR20130138694A (ko) 하나 또는 그 이상의 액세스 유닛을 포함하는 mpu에서의 타이밍 정보 기술 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6702875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250