JP6665126B2 - マルチメディアシステムにおけるメディアパケット復号方法及び復号装置 - Google Patents

マルチメディアシステムにおけるメディアパケット復号方法及び復号装置 Download PDF

Info

Publication number
JP6665126B2
JP6665126B2 JP2017055919A JP2017055919A JP6665126B2 JP 6665126 B2 JP6665126 B2 JP 6665126B2 JP 2017055919 A JP2017055919 A JP 2017055919A JP 2017055919 A JP2017055919 A JP 2017055919A JP 6665126 B2 JP6665126 B2 JP 6665126B2
Authority
JP
Japan
Prior art keywords
unit
data
information
media
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017055919A
Other languages
English (en)
Other versions
JP2017130966A (ja
Inventor
キュン−モ・パク
スン−リュル・リュ
スン−オ・ファン
ジェ−ヨン・ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017130966A publication Critical patent/JP2017130966A/ja
Application granted granted Critical
Publication of JP6665126B2 publication Critical patent/JP6665126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/402—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H04L65/4025—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services where none of the additional parallel sessions is real time or time sensitive, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services

Description

本発明は、マルチメディアシステムにおけるメディアパケット処理方法に関する。
インターネット及び通信ネットワークで利用可能なマルチメディアコンテンツの増加及び最近の技術の発達によって、単一又は２個以上のマルチメディアソースが使用され始めた時期に、見聞き、使用、及び消費のために多様なタイプのマルチメディアコンテンツを含むハイブリッドメディアコンテンツが登場した。ハイブリッドメディアコンテンツは、多様なタイプのマルチメディアコンテンツを含む。このハイブリッドメディアコンテンツは、生成時に個別的なマルチメディアコンテンツに分離されて生成される。
例えば、ハイブリッドメディアコンテンツは、ビデオデータ、画像データ、音声データ、及び特定の動画像を含むハイブリッドメディアコンテンツであるイメージを構成するためのウィジェットのようなアプリケーションで実現され、各メディアの特性に従って画像信号の符号化方法、音声信号の符号化方法、ファイル圧縮方法、又は他の類似データ生成方法を通じて生成され、それぞれのマルチメディアコンテンツは受信側でハイブリッドメディアコンテンツとして再構成される。
上記したように、従来のハイブリッドメディアコンテンツは、送信側で複数のマルチメディアコンテンツに分類されて受信側に提供される。受信側は分類された複数のマルチメディアコンテンツを再構成してハイブリッドメディアコンテンツを生成する。ハイブリッドメディアコンテンツの使用は、分類された複数のマルチメディアコンテンツの分類と再構成を通じて提供される。しかしながら、ハイブリッドメディアコンテンツの使用が増加することによって、より効率的にハイブリッドメディアコンテンツを生成、送信、及び/又は受信する方法が要求される。
したがって、コンピュータ又はユーザーインタフェースから自己診断を手動で選択する場合の不便さなしにデバイスの自己診断を遂行するシステム及び方法が必要である。
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、多様な伝送単位を用いてメディアコンテンツを效率的に送受信する方法及び装置を提供することにある。
本発明の他の目的は、多様なマルチメディアデータを含むハイブリッドメディアコンテンツを該当マルチメディアデータに適合した伝送単位を用いて送受信する方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、マルチメディアシステムにおけるメディアコンテンツを伝送する方法が提供される。その方法は、メディアコンテンツに関連した少なくとも一つのマルチメディアソースを伝送するための伝送単位を決定するステップと、決定された伝送単位に従ってヘッダー情報と少なくとも一つのマルチメディアソースを含むデータストリームを生成するステップと、データストリームを通信ネットワークを介して伝送するステップとを有する。
本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを伝送する装置が提供される。その装置は、データストリームを通信ネットワークを介して伝送する送信部と、メディアコンテンツに関連した少なくとも一つのマルチメディアソースを伝送するための伝送単位を決定し、決定された伝送単位に従ってヘッダー情報と少なくとも一つのマルチメディアソースを含むデータストリームを生成し、生成されたデータストリームの伝送を制御する制御部とを含む。
また、本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを受信する方法が提供される。その方法は、通信ネットワークを介してメディアコンテンツのデータストリームを受信するステップと、メディアコンテンツの伝送単位を判断し、判断された伝送単位に従ってヘッダー情報を確認し、確認されたヘッダー情報によって少なくとも一つのマルチメディアソースを含むメディアコンテンツを復号化するステップとを有する。
さらに、本発明の他の態様によれば、マルチメディアシステムにおけるメディアコンテンツを受信する装置が提供される。その装置は、通信ネットワークを介してメディアコンテンツのデータストリームを受信する受信部と、メディアコンテンツの伝送単位を判断し、判断された伝送単位に従ってヘッダー情報を確認し、確認されたヘッダー情報によって少なくとも一つのマルチメディアソースを含むメディアコンテンツを復号化する制御部とを含む。
本発明は、ＭＦＵ(Media Fragment Unit)、Ｍユニット(Media-Unit)、アセット(asset)、又はパッケージのように、多様な伝送単位を用いてメディアコンテンツを送受信する装置及び方法を提供することができる。また、本発明は、多様なタイプのマルチメディアソース、すなわちマルチメディアデータを含むハイブリッドメディアコンテンツを效率的に生成して送受信する装置及び方法を提供することにある。さらに、本発明は、所定のサイズを有するマルチメディアデータを伝送又は格納するときに適切に分割(fragmentation)することができる。
また、本発明は、マルチメディアシステムにおいて時間、重要度、及び多様な機能情報のうち少なくとも一つを制御情報として含む復号化単位であるＭユニットの位置又は伝送時点を容易に識別でき、ハイブリッドメディアコンテンツの一形態であるアセットの形式を適切な方法で效率的に通知することができる。さらに、本発明は、マルチメディアシステムにおけるアセットのタイプを效率的に通知することができる。
本発明の他の様態、長所、及び顕著な特徴は、添付された図面との結合を考慮すれば、後述する詳細な説明を参照してより容易に理解できることは、当該技術分野における通常の知識を持つ者には明らかである。
本発明の一実施形態により、ＭＰＥＧ(Motion Picture Experts Group)メディア転送(以下、“ＭＭＴ”とする)でハイブリッドメディアコンテンツを処理する階層構造を示す図である。 本発明の実施形態によるＭユニットのヘッダー構成を示す図である。 本発明の実施形態によるアセットのヘッダー構成を示す図である。 本発明の実施形態により、メディアコンテンツを生成して伝送する送信装置を示すブロック構成図である。 本発明の実施形態によるメディアコンテンツを受信する受信装置を示すブロック構成図である。 本発明の実施形態により、複数のスライスで構成されるビデオフレームを示す図である。 本発明の実施形態により、多様な伝送単位を用いてメディアコンテンツを伝送するシステム構成を示す図である。 本発明の実施形態によるＭＦＵの構成を示す図である。 本発明の実施形態によるＭユニットの構成を示す図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供される。具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
英文明細書に記載の“ａ”、“ａｎ”、及び“ｔｈｅ”、すなわち単数形は、コンテキスト中に特記で明示されない限り、複数形を含むことは、当業者にはわかることである。したがって、例えば、“コンポーネント表面(a component surface)”との記載は一つ又は複数の表面を含む。
以下、本発明の実施形態は、それに適用される技術のうちＭＭＴ技術に基づいて説明する。しかしながら、本発明は、これに限定されるものではなく、適切な又は類似の技術又は通信標準に適用することができる。
図１は、本発明の実施形態により、ＭＭＴでハイブリッドメディアコンテンツを処理する階層構造を示す。
図１を参照すると、Ｅ階層の構造が示され、このＥ階層は、ＭＭＴ Ｅ.３階層１０５、ＭＭＴ Ｅ.２階層１０７、及びＭＭＴ Ｅ.１階層１０９を含む。
メディアコーデックＡ１０１及びメディアコーデックＢ１０３は、マルチメディアデータを復号化/符号化のためのメディアコーデック階層である。メディアコーデックＡ１０１及びメディアコーデックＢ１０３は、異なる機能を有する。例えば、圧縮されたデジタルビデオを含むマルチメディアデータと一緒に、そのマルチメディアデータに関する特性情報、復号化のためのシグナリング情報、及び他の類似した情報を提供するＮＡＬ(Network Adaptation Layer)ユニットは、Ｈ.２６４コーデック(図示せず)におけるエンコーダの出力であり、圧縮デジタルビデオのようなマルチメディアデータは、Ｈ.２６２コーデック(図示せず)におけるエンコーダの出力である。Ｈ.２６４符号化はメディアコーデックＢ１０３で遂行され、Ｈ.２６２符号化はメディアコーデックＡ１０１で遂行され得る。しかしながら、本発明は、これに限定されるものではなく、Ｈ.２６４符号化は、メディアコーデックＡ１０１で遂行することができる。
すなわち、メディアコーデックＢ１０３は、特性情報及びシグナリング情報のような制御情報が付加されるマルチメディアデータの符号化が遂行でき、メディアコーデックＡ１０１は、マルチメディアデータのみの符号化が遂行できる。
図１を参照すると、ＭＭＴ Ｅ.３階層１０５は、メディアコーデックＡ１０１から伝送される符号化されたマルチメディアデータに該当マルチメディアデータの特性情報及び復号化に必要なシグナリング情報のような制御情報を付加してＭＭＴ Ｅ.２階層１０７に伝送する。この場合において、ＭＭＴ Ｅ．３階層１０５に関する情報は、ＮＡＬユニットヘッダーとＮＡＬユニットデータを包含し、追加に付加ヘッダー情報を含む。
図６は、本発明の実施形態により複数のビデオスライスで構成されるビデオフレームを示す。
図６を参照すると、ビデオフレームの構造は、特定時間でビデオの単一の画像として表示される一つのフレームであって、複数のスライス６０１〜６１３を含む。より詳細には、上記ビデオの単一の画像は、スライス６０１，６０３，６０５，６０７，６０９，６１１，６１３である７個の小さいブロックに符号化される。
すなわち、複数のスライス６０１〜６１３は、ビデオの単一画像に表示されるフレームに含まれる。複数のスライス６０１〜６１３は、図６に示すように、左側から右側方向へ配置され、フレームが埋められている間に上側から下方へ配置され、あるいは他の適切な方法で配置することができる。例えば、単一のフレームに含まれた複数のスライスは、左側又は右側から右側又は左側方向へ、あるいは下側又は上側から上側又は下側の方向に多様な組み合わせで埋められることができる。複数のスライス６０１〜６１３は、異なる長さを有する。
図６の構成を有するフレームは、時間情報、重要度、及び後述されるランダムアクセスポイントのような多様な機能情報のうち、制御情報のような少なくとも一つの情報を含むハイブリッドメディアコンテンツの伝送単位のうちいずれか一つであるメディアユニット(Ｍユニット又はＭＵ)で構成される。加えて、フレームに含まれたスライス６０１〜６１３の各々は、独立的に復号化でき、メディアフラグメントユニット(ＭＦＵ)で構成することができる。
さらに、Ｍユニットは、データが記録されるデータユニットを従属的に有する最も大きいグループフレーム、言い換えればＧｏＰ(Group of Pictures)のような独立的に動作する単位で定義することができる。本発明の実施形態によれば、ＭＦＵがフレーム内の一つのスライスに該当する場合、一つのフレームは、一つのＭユニットとして構成される。また、ＭＦＵが一つのフレームに該当する場合、Ｍユニットは、独自の復号化単位であるＧｏＰとして構成される。
次世代マルチメディアブロードキャストシステムを考慮すると、ビデオフレームは、最小復号化単位であるＭＦＵと、制御情報を含む復号化単位であるＭユニットを含むことができる。さらに、Ｍユニットは、単一ＭＦＵ、断片化した(fragmented)ＭＦＵ、又はＭＦＵのグループを含むことができる。デコーダは、制御情報に基づいて最小構成単位別制御機能を制御することができる。また、ＭＦＵは、ＭＭＴ Ｅ.３階層１０５(図１を参照)に入力される最小データユニットであり、Ｍユニットは、時間情報のような制御情報を含むＭＭＴ Ｅ.３階層１０５の出力データユニットである。したがって、本発明の実施形態は、構造化されたＭＦＵ又はＭユニットを用いて、次世代マルチメディアブロードキャストシステムで伝送及び格納のための効率的なメディアコンテンツデータを構成可能にする。
本発明の実施形態によるＭＦＵは、メディアコンテンツデータを構成するための最小の構成単位であり、メディアコンテンツデータに関する構成情報を含む。この構成情報は、各メディアコンテンツデータの開始位置(point)、中間位置、及び終了位置を示し、分割されないデータを示す識別子、メディアコーデックを設定するための設定情報、符号化されたメディアフォーマットに関する情報を表すデータタイプを示すタイプ情報、メディアコンテンツデータに関する優先順位情報、メディアコンテンツデータの開始位置を示す位置情報、メディアコンテンツデータに関するサイズ情報、及び階層符号化及び多時点メディアコーデックに関する特定情報を表す情報を示す識別子のうち少なくともいずれか一つを含む。ＭＦＵの単位サイズは、独立的に符号化及び/又は復号化が可能な単位サイズを示すことができる。例えば、ビデオは、メディアコーデックの最小符号化及び/又は復号化単位であるマクロブロックからデータユニットに基づき、ピクチャ、スライス、及びアクセスユニットに断片化できる。
図８は、本発明の実施形態によるＭＦＵの構成を示す。
図８を参照すると、本発明は図８の実施形態に限定されず、このＭＦＵは、多様な構成及び形態で構成できる。
付加ヘッダー情報は、メディア符号化の出力データユニットに含まれる単位情報であるＭＦＵに関する構成情報として、ＭＦＵに関連して情報フィールド８０１〜８０９のうち少なくとも一つを含む。
ＭＦＵのインジケータ８０１は、ＭＦＵに関する構成情報を含み、ＭＦＵデータが分割されるか否かを示すフラグ情報を示し、ＭＦＵのうち開始ユニット、連続ユニット、又は最後ユニットも示す。データタイプ８０２は、ＭＦＵデータのタイプを示し、該当ＭＦＵデータの属性を表す情報である。例えば、データタイプ８０２は、メディアコーデックに関する設定情報、符号化の動き予測情報、符号化データ、符号化データに関する構成情報、及び他の類似データに対するデータタイプを示す。
復号化順序番号(decoding order number)８０３は、分割されたＭＦＵに関するフラグ情報が継続される場合を示すために使用される。ＭＦＵは、該当ＭＦＵが使われる順序を表す順次情報である増加番号を有する。その上、クライアント端末は、該当ＭＦＵが使用される順序を復号化順序に関する情報として表す順次情報である増加番号を活用することができる。バイトオフセット情報８０４は、メディアデータの開始である実際位置を示す。長さ８０５は、メディアデータの長さを示す。
優先順位(Ｐ)８０６は、ＭＦＵの優先順位の値を表す情報である。例えば、優先順位８０６が“０”である場合、該当ＭＦＵは優先順位データを有しないことを示し、優先順位８０６が“１”である場合、該当ＭＦＵは優先順位データを有する。メディアに対するＮＡＬヘッダーパラメータの場合、優先順位８０６は“１”に設定され得る。優先順位８０６は、単一メディア単位内に分割されたデータが優先順位データであることを示し、この優先順位情報が損失する場合、復号化は中断され得る。
従属カウンタ(dependency counter)８０７は、独立的に符号化及び/又は復号化可能な単位内で従属的なＭＦＵカウンタの値を示す。例えば、従属カウントの値が“４”である場合、以後の４個のＭＦＵは、該当ＭＦＵデータに依存していることを意味する。例えば、従属カウント“４”を有するＭＦＵのうち４個の関連ＭＦＵがある場合、第１のＭＦＵは、“３”のカウント値を有し、第２のＭＦＵは“２”のカウント値を有し、第３のＭＦＵは“１”のカウント値を有し、最後のＭＦＵは“０”のカウント値を有する。従属的なカウントの使用を通じて、この誤りの伝搬程度は、該当ＭＦＵデータに誤りがある場合に示すことができる。
多層(multi-layer)情報８０８は、基本メディアの識別子、階層化ビデオ符号化の向上階層メディアの識別子、多視点メディアコーディング、及び他の類似情報を示す。このＭＦＵは、スケーラブル(scalable)メディアコーディング又は多層メディアコーディングに関する情報に関連する。メディアコーデック装置付加情報(Ｍｉ)８０９は、該当メディアコーデックを用いて符号化する過程で装置に応じて変更される情報である。これは、該当メディアコーデックに関するプロファイルとレベル情報が変更され、あるいはコーデックのタイプが変更される場合を考慮して該当情報に関するリスト又は拡張情報を表示する。
さらに、ＭＭＴ Ｅ.３階層１０５は、メディアコーデックＡ１０１から伝送された符号化マルチメディアデータに該当するマルチメディアデータの特性情報及び復号化に必要なシグナリング情報のような制御情報を付加してＭＭＴ Ｅ.２階層１０７にマルチメディアデータを伝送するためのＭユニットを生成する。上述したＭユニットに含まれる制御情報の例については、図９を参照して説明する。
図９は、本発明の実施形態によるＭユニットの構成を示す。
図９を参照して、Ｍユニットの一実施形態、及び情報フィールド９０１〜９０８について以下に説明する。しかしながら、本発明はこれに限定されるものではなく、Ｍユニットは、多様な方法及びタイプで構成することができる。
タイプ９０１は、Ｍユニットに関する構成情報を示すＭユニット識別子である。これは、Ｍユニットが単一ＭＦＵ、分割されたＭＦＵ、ＭＦＵグループ、又は複数のアクセスユニット(ＡＵ)を含むか否かを示すフラグ情報、またＭユニットが開始ユニット、継続ユニット、又は最後ユニットであるか否かを追加的に示すフラグ情報である。シーケンス番号９０２は、フラグ情報が継続される場合を示す。Ｍユニットは、その使用順序に関する情報である増加番号を有する。
バイトで与えられるデータオフセット９０３は、Ｍユニットメディアデータの開始位置を示す情報であり、Ｍユニットに関するヘッダー情報の長さで表現され得る。長さ情報９０４は、Ｍユニットメディアデータの長さを表す。タイミング情報９０５は、Ｍユニットに関する再生時間を表す。再生時間に関するタイミング情報９０５は、復号化時間情報、表現時間情報、及び他の類似時間情報を含み、表現方法は、ネットワーク同期化時間情報表現方法と周期を有する時間情報表現方法を含むことができる。
ランダムアクセス位置(Random Access Point：ＲＡＰ)９０６は、該当するＭユニットに関するランダムアクセス位置情報を示す。ＲＡＰ９０６を用いるビデオデータは、ランダムな再生機能を提供できる。ＲＡＰ９０６を提供する場合には、Ｍユニットは、少なくとも一つのＲＡＰ９０６の情報を含む。さらに、Ｍユニットが少なくとも一つのＲＡＰ９０６の情報を含む場合、ＲＡＰは、ＲＡＰに対応する複数個の位置情報を提供する。状況によって、ＭＦＵのＲＡＰ認識コードを挿入して該当位置を順次に検索する方法が提供される。
初期メディアコーデック情報９０７は、メディアコーデックの初期設定値に関する情報を含むことができる。メディアコーデックの復号化のための初期設定は、該当構成情報を通じて進行され得る。
カウンタ９０８は、複数のＭＦＵ及びＭＦＵ/ＡＵ番号の許容に関する情報を含むことができる。複数のＭＦＵ許容情報は、Ｍユニットデータが複数のＭＦＵ又は一つのＭＦＵを含むか否かを示し、Ｍユニットデータが複数のＭＦＵを含む場合にＭＦＵの個数を示す。ＭＦＵ/ＡＵ番号は、Ｍユニットデータが複数のＭＦＵ又はＡＵを含む場合に内部データ単位の個数を示す。また、ＭＦＵ/ＡＵは、該当ＭＦＵ又はＡＵのアクセスのためのデータに関する該当位置情報を提供する。また、該当位置情報は、その位置情報を提供するためのインジケータをＭＦＵ又はＡＵに関するヘッダー情報に追加して該当位置情報を順次に検索して捜し出すことができる。
上記したように、ＭＭＴ Ｅ.３階層１０５(図１を参照)は、メディアコーデックＡ１０１から伝送されるＭＦＵのように、ソースから獲得されたマルチメディアデータに制御情報を付加してＭＭＴ Ｅ.２階層１０７に伝送する。したがって、ＭＭＴ Ｅ.２階層１０７は、制御情報が付加された少なくとも一つのマルチメディアデータを集めてＭユニットを構成する。
制御情報は、ＭＦＵに関する制御情報とＭユニットに関する制御情報に分けられる。さらに、ＭＦＵに関する制御情報とＭユニットに関する制御情報の各々の具体的な情報構成は、図１，図６，図８，図９で上記した方法で構成することができる。また、制御情報は、ヘッダー情報に多様な形態で付加できる。Ｍユニットのヘッダー構成の実施形態は、以下に図１を参照して説明する。
図１のＭＭＴ Ｅ.２階層１０７は、一つ以上のマルチメディアデータ又はマルチメディアソースから提供される多様なタイプのＭＦＵを集めてＭユニットで構成するＭＭＴアセットデータ(以下、“アセット”と称する)を生成する。このＭＭＴアセットは、ビデオデータ、オーディオデータ、テキストデータ、ファイルデータ、ウィジェットデータ、アプリケーションデータ、及び他の類似データのように、多様なタイプのマルチメディアソース、すなわちマルチメディアデータの属性による単位構造の入力を受信してハイブリッドメディアコンテンツに構成される。このアセットは、上記したＮＡＬユニットのグループ、すなわちＭユニットの各々である一つ以上のＭＭＴ Ｍユニットデータを含み、このＭＭＴ Ｍユニットデータは相互に区別される。ＭＭＴ Ｅ.２階層１０７は、ハイブリッドメディアコンテンツの伝送に必要な情報又はマルチメディアデータに関する属性情報に基づいてアセットの形態でハイブリッドメディアコンテンツを生成する。ここで、“グループ”は、マルチメディアシステムにおける符号化及び/又は復号化情報の単位として理解できる。
同一の特性情報を有する情報単位を含むデータグループであるＭユニットは、上記したエンコーダの出力であるＮＡＬユニットデータにハイブリッドメディアコンテンツの生成に必要な付加特性情報を付加して生成される。付加特性情報の一例は、ファイル又はウィジェットデータの特性である無損失情報、メディアデータの特性である損失許容及び遅延情報を含む。同一の特性単位のグループであるＭユニットが構成及び生成される。図１のＭＭＴ Ｅ.１階層１０９は、ＭＭＴ Ｅ.２階層１０７から伝送された一つ以上のアセットをユーザーにより使用可能なＭＭＴパッケージとして構成する。
図２は、本発明の一実施形態によるＭユニットのヘッダー構成を示す。
図２を参照して、図２のＭユニットのヘッダーに含まれるフィールドについて以下に説明する。
Ｍユニット識別子(ＩＤ)２０１は、Ｍユニットを判断するための識別子である。シーケンス番号２０３は、Ｍユニットの機能による順序を示す。このシーケンス番号２０３は、伝送損失再送信要求又はメディア早送り(fast forward)再生及びランダムアクセスのようにメディア再生時間による順序再配列機能に使用できる。
タイプ２０５は、Ｍユニットのデータタイプを表す。このタイプ２０５は、データグループに関する特性情報、損失率を考慮したファイル特性、メディア再生のための遅延情報、又は他の類似した特性及び情報を示すことができる。図２に示されていないが、Ｍユニットのデータが乗せられたペイロードは、ビデオ、オーディオ、テキスト、ファイル、及びウィジェットのように多様なソースのマルチメディアデータを伝送できる。したがって、タイプ２０５は、Ｍユニットのヘッダーと一緒に伝送されるコンテンツのタイプを表すことができる。
タイプ２０５は、０００がＨ.２６４ビデオを示し、００１がＡＡＣオーディオを示し、００２がテキストを示し、００３がアプリケーションを示し、００４がウェブページを示し、００５はコーデックのためのシグナリングを示し、００６が組み立てのためのシグナリングを示し、００７がフューチャユースのために予備されるタイプを表す３個のデジット(digit)フィールドを含む。ハイブリッドメディアコンテンツの供給者により決定された範囲内で所定値を用いて適切なコンテンツのタイプが示され得る。タイプ２０５の他の例では、０００がＨ.２６４Ｉフレームを示し、００１がＨ.２６４Ｂフレームを示し、００２がＨ.２６４Ｐフレームを示すケースであり、特定マルチメディアの多様なソースに優先順位を割り当てる方法に使用できる。ＱｏＳ(Quality of Service)は、優先順位に基づいてマルチメディアデータの伝送を考慮することができる。
フラグメントユニット(ＦＵ)フラグ２０７は、連続したＭユニットに関する情報を表す。ＦＵフラグの値は、該当Ｍユニットが結合されるか、分割されるか、あるいは単一Ｍユニットであるかを示す。タイムフラグ２０９は、該当Ｍユニットが時間情報を含むことを表す。ＧｏＰ２１１は、該当ＭユニットがＧｏＰユニットに関する情報を含むことを示す。ＧｏＰ２１１が含まれる場合、ＧｏＰ２１１の値は、該当Ｍユニットが単一のＡＵ又は複数のＡＵを有することを示す。ＭＦＵ範囲は、図２に示されていないが、ＭＦＵのグループの値を示す。ＳＰＳ(Spatial Parameter Set)２１３は、空間パラメータセット情報を含むことを示す。ＳＰＳ２１３は、該当Ｍユニットのデータが表示される空間的位置に関する情報を表す。ＰＰＳ(Presentation Parameter Set)２１５は、ＭユニットがＰＰＳ情報を含むことを示す。ＰＰＳ２１５は、コーデック初期化に使用される情報であり、メディアコーデックに関する特定情報を含む。さらに、ＳＰＳ２１３とＰＰＳ２１５は、メディア符号化の初期化パラメータの一般的な値を使用する。
同期(sync)２１７は、該当Ｍユニットが同期化制御情報を含むことを表す。同期２１７は、組み合わせ処理された複数のＭユニット間の相互同期化のためのデータであって、例えば、３次元(３Ｄ)イメージのための右側(Ｒ)イメージのためのＭユニットと左側(Ｌ)イメージのためのＭユニットとの間の同期マーカー(marker)として 活用される。また、同期２１７は、該当Ｍユニット間の命令情報を割り当てるために使用される。命令情報は、該当Ｍユニットに対する制御情報であって、該当Ｍユニットが付加、削除、置換、又は更新情報のような情報に対応することを示す。同期情報は、命令情報に基づいて、ハイブリッド伝送ネットワークを通じて転送される同一のセッションにＭユニットのみのための制御情報として使用できる。
伝送特性(ＴＣ)２１９は、Ｍユニットが伝送特性情報を含むことを示す。ＴＣ２１９は、該当Ｍユニットを伝送するためのもので、例えば損失率、遅延時間、誤り復旧のためのパリティ情報、データ伝送のための平均ビット率、及び最大ビット率を表す。
ＲＡＰ２２１は、該当Ｍユニットがランダムアクセスのためのフラグ情報を含むことを示す。早送り再生のような機能構成は、該当フラグの存在有無に従って提供され得る。
図２は、Ｍユニットのヘッダーの構成を示す。しかしながら、本発明は、これに限定されず、図２の実施形態によるＭユニットのヘッダー構成は、他の適切な形態及び構成からなり得る。例えば、Ｍユニットのヘッダー構成は、図２で説明したＭユニットのヘッダーに含まれる複数のヘッダー情報及び/又は図１のＭＭＴ Ｅ.３階層１０５の説明でＭユニットの生成に付加される複数の制御情報のうち、一つ以上の情報の組み合わせを含むことができる。
図３は、本発明の実施形態によるアセットのヘッダー構成を示す。
図３を参照すると、本発明の実施形態により、アセットは、メディアソースの多様なマルチメディアデータによる少なくとも一つのＭユニットを含む構造で生成され、メディアソースの多様なマルチメディアデータを含むデータストリームとして理解できる。すなわち、各マルチメディアソースは、ＭＦＵ又はＭユニットとして生成され、アセットは、少なくとも一つのＭユニットを含む。
＜表１＞は、Ｍユニット、アセット、及びＭＦＵの一例を示す。
Figure 0006665126
 ＜表１＞において、ｏｆｆ-ｓｅｔは、バイトデータオフセット情報を意味する。
より詳細には、図３は、図１のＭＭＴ Ｅ.２階層１０７が多様なタイプのマルチメディアデータの同一の属性情報のグルーピングされたデータであるＭユニットの入力でアセットを生成する場合に使用されるアセットに関するヘッダー情報の一例を示す。また、図３のアセットのヘッダーは、空間的に連続するＭユニットの単位グループを示す。アセットＩＤ３０１は、該当連続データに対する識別子を示す。このアセットＩＤ３０１は、ハイブリッドメディアコンテンツを生成する過程で該当アセットに関する識別情報である。
アセット長さ情報３０３，３０５，３０７，３１１は、該当アセットのデータ長さを表す。アセット長さ情報３０３，３０５，３０７，３１１は、ＵＤ(Ultra Definition)ビデオデータを考慮して十分に長い大きい長さを有するように設定される。アセット長さ情報３０３，３０５，３０７，３１１は、便宜のために３個の領域に別々に示される。しかしながら、本発明は、これに限定されるものではなく、アセット長さ情報３０３，３０５，３０７，３１１は、一つのフィールド又は適切な個数のフィールドであり得る。
アセットタイプ３０９は、該当アセットのデータタイプを表し、上記した図１を参照して同一の方法で図１のＭユニットのデータタイプを使用することができる。しかしながら、上記した方法以外にも、マルチメディアタイプは多様な方法で示すことができる。例えば、第１のマルチメディアソースのタイプは、最近オーディオコーデック、ビデオコーデック、又は各種アプリケーションが多様にプロファイリング及び使用されるため、代表的マルチメディアソースの名称のみによるマルチメディアソースの不正確な復号化を防止するように直接に通知することができる。例えば、Ｈ.２６４には概略１０個のタイプのプロファイリングがあるので、アセットのタイプがＨ.２６４を通じて簡単に通知される場合、誤りが復号化過程で生成され得る。さらに、複数のマルチメディアデータがＭＭＴパッケージを構成するのに多重化されて使用される場合、長い長さのアセットタイプが使用される。
また、例えば、１３ビットの長さを有するアセットタイプは、Ｍユニットのデータタイプに従い、状況に従って拡張フラグを追加して該当優先順位による追加情報を表すことができる。例えば、Ｈ.２６４に基づいて“００００００００”である場合、Ｈ.２６４のイメージ内のＩフレームは“００１”で示され、Ｂフレームは“０１０”で示され、Ｐフレームは“１００”で示される。Ｍユニットを伝送する送信側で最大限にＱｏＳを保証するための伝送優先順位は、優先順位に基づいて考慮することができる。
Ｍユニット制御情報ヘッダー長さ３１３は、該当ペイロードで示されたＭユニット制御情報ヘッダーの長さを示し、この長さと同一のＭユニット制御情報データがあることを通知する。Ｍユニット制御情報３１５は、ハイブリッド伝送ネットワークを考慮して同期化情報と追加、削除、挿入、更新、取り替えの命令に対するアセット命令情報、該当アセットデータグループの基本時間単位であるタイムスケール、伝送データグループのための伝送率、損失率、遅延許容時間、最大ビット率、平均ビット率、ＱｏＳ保証可否、及び他の類似情報を示す伝送特性情報、該当アセットのデータグループに含まれたＭユニットの個数、及びＲＡＰに関する付加情報のうち少なくとも一つを含む。
１ビット又は２ビットのように特定長さを有するヘッダーが本発明の別々の実施形態を説明する一例として示されたが、他の長さを有するＭユニット及び/又はアセットのヘッダーが使用できる。さらに、本発明の実施形に上記したように、フィールドが長さに関係なく使用される場合、Ｍユニット及び/又はアセットの構成方法は、本発明の実施形態により使用することができる。
本発明の実施形態によるアセットの識別子又はデータタイプは、アセットのＭユニットに含まれるメディアソースのマルチメディアデータのタイプを示すことができる。例えば、アセットの識別子又はデータタイプは、アセットがビデオデータに対するか、オーディオデータに対するか、又はアセットがビデオデータ、オーディオデータ、ファイルデータ、ウィジェットデータ、又は他の類似タイプのデータのような複数のマルチメディアソースを含むかを表すことができる。さらに、Ｍユニットの識別子又はデータタイプは、該当Ｍユニットに含まれたデータ、すなわちマルチメディアソースのタイプを有するビデオデータ、オーディオデータ、ファイルデータ、ウィジェットを示すことができる。
図７は、本発明の実施形態により、多様な伝送単位を用いてメディアコンテンツを伝送するシステムを示すブロック構成図である。
図７を参照すると、データストリームの構成は、リアルタイムブロードキャスト及び時間に密接に関連したリアルタイムデータの伝送のためのストリーミングペイロード７０１と、ファイル伝送のような非リアルタイムデータの伝送のためのファイル転送ペイロード７０３に分類され得る。さらに、ストリーミングペイロード７０１において、メディアコンテンツは、リアルタイムデータ伝送のために基本伝送単位としてＭＭＴ Ｍユニット又はＭＭＴ ＭＦＵを用いて構成及び伝送され得る。
ＭＦＵ７０５は、コーデック又はアプリケーションソースから入力されるマルチメディアデータを処理する基本単位である。ＭＦＵ７０５は、ビデオコーデックの一つの画像、又は一つの画像が含まれる複数のブロックのうち一つであり、アプリケーションのように、ファイルでは一つのファイルブロックであり得る。さらに、ＭＦＵ７０５は、伝送又はアプリケーション駆動の基本単位であるＭＭＴ Ｍユニット７０７であり得る。例えば、一つのＭユニット７０７は、ビデオマルチメディアデータの一つのイメージを構成するデータを伝送するための単位であるＡＵが数個のグループで構成される。Ｍユニット７０７の構成の際に、ユーザーは、早送り検索又はビデオ検索を遂行することができる。
さらに、Ｍユニット７０７は、一つのＭＭＴアセット７０９で構成さ得る。また、ＭＭＴアセット７０９は、独立したビデオデータ、オーディオデータ、又は字幕のうちの一つである。多様なタイプのＭＭＴアセット７０９のグループは、ハイブリッドマルチメディアコンテンツを提供できるＭＭＴパッケージ７１１であり得る。加えて、ファイル伝送用データストリームは非リアルタイムデータの伝送に使用され、伝送単位は、ハイブリッドメディアコンテンツのＭＭＴアセット７０９又はＭＭＴパッケージ７１１の全体又は特定部分となり得る。
上記のように、図７の本発明の実施形態によるメディアコンテンツを伝送するための構成でメディアコンテンツを符号化するための単位は、ＭＦＵ７０５又はＭユニット７０７であり得る。独立的に復号可能なビデオである場合、ＭＦＵ７０５は、符号化のための一つのフレームあるいはフレームが複数のスライスを含む場合に複数のスライスのうちいずれか一つを意味する。さらに、独立的に復号可能なビデオである場合、Ｍユニット７０７は、符号化のための一つのフレーム又は符号化のために独立して復号可能な単位であるＧｏＰを意味する。
メディアコンテンツの伝送単位は、メディアの属性及びサービスを考慮して決定され得る。アセット７０９は、同一のメディアタイプで構成されるＭユニット７０７の連続したストリームである。パッケージ７１１は、単一アセット又は複数のアセットのグループの形態であり、サービスのための付加情報、すなわちハイブリッドメディアのイメージ構成情報時間、空間的配置順序及びハイブリッドネットワーク環境を考慮した伝送環境情報、伝送要求帯域幅、損失確率、遅延時間許容可否に関する情報、又は他の適切又は類似情報を含むことができる。
図４は、本発明の実施形態により、メディアコンテンツを生成して伝送する送信装置の構成を示すブロック構成図である。
図４を参照すると、送信装置は、マルチメディアソース入力部４０１、マルチメディアソース識別部４０３、マルチメディアソース格納部４０５、伝送部４０７、及び制御部４０９を含む。図４の送信装置は、図７を参照して説明した多様な伝送単位をサポートし、リアルタイムデータの伝送のためのストリーミング用構成及び非リアルタイムデータを伝送するためのファイル伝送用構成によって伝送単位を決定し、決定された伝送単位に従って一つ以上のマルチメディアソースをＭＦＵ、Ｍユニット、アセット、又はパッケージに伝送単位として構成して伝送する。マルチメディアソース入力部４０１は、ハイブリッドメディアコンテンツを生成するためのマルチメディアソースとして多様なタイプのマルチメディアデータのグループであるＭユニットの入力を受信する。マルチメディアソース識別部４０３は、マルチメディアソースとしてＭユニットのグループにアセットＩＤを割り当て、マルチメディアソースのタイプ、例えば音声ソース、ビデオソース、ファイル、又は実行ファイルを識別し、該当アセットＩＤを割り当てる。ここで、一つのアセットは、多様なマルチメディアソースで構成される複数のＭユニットを含むことができる。マルチメディアソース格納部４０５は、アセットの構成方法で生成されたアセットを格納する。伝送部４０７は、通信ネットワークを介してアセット又は複数のアセットを伝送する。制御部４０９は、マルチメディアソースの一つ以上のマルチメディアデータから提供される多様なタイプのＭＦＵを集合してＭユニットを構成し、ＭＦＵ、Ｍユニット、及びアセットを生成及び伝送するための一般的な制御を遂行する。
図５は、本発明の実施形態により、メディアコンテンツを受信する受信装置を示すブロック構成図である。
図５を参照すると、受信装置は、受信部５０１、マルチメディアソース読み取り部５０３、マルチメディアソース格納部５０５、ディスプレイ部５０７、及び制御部５０９を含む。図５の受信装置は、図７を参照して説明した多様な伝送単位をサポートし、リアルタイムデータの伝送のためのストリーミング用構造と非リアルタイムデータ伝送のためのファイル伝送用構造によって該当伝送単位で受信されたメディアコンテンツの伝送単位を判断し、伝送単位に関するヘッダー情報を識別し、復号化を遂行する。図５の受信部５０１は、マルチメディアソースの多様なマルチメディアデータにより、一つ以上のＭＦＵを含み、一つ以上のＭユニットを含むアセットを通信ネットワークを介して受信し、アセットに関するヘッダー情報とＭユニットに関するヘッダー情報は、制御部５０９に伝送されてハイブリッドメディアコンテンツの受信制御と復号化に使用される。さらに、制御部５０９は、ＭＦＵに関する制御情報とＭユニットに関する制御情報を用いてハイブリッドメディアコンテンツの受信及び復号化に関連した全般的な制御を遂行する。
マルチメディアソース読み取り部５０３は、アセット及びＭユニットに関するヘッダー情報を各々受信する制御部５０９から伝送されたＭＦＵに関する制御情報を含む制御情報に基づいたＭユニット単位の各マルチメディアソースのデータタイプを読み取り、読み取られた各マルチメディアソースをマルチメディアソース格納部５０５に分類及び格納する。図５の制御部５０９は、アセットの受信とマルチメディアソースの読み取り及び復号化のための全般的な制御を遂行し、復号化されたマルチメディアソースのデータはディスプレイ部５０７を通じて出力される。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
４０１ マルチメディアソース入力部
４０３ マルチメディアソース識別部
４０５ マルチメディアソース格納部
４０７ 伝送部
４０９ 制御部
５０１ 受信部
５０３ マルチメディアソース読み取り部
５０５ マルチメディアソース格納部
５０７ ディスプレイ部
５０９ 制御部

Claims (6)

  1. メディアパケットを復号する方法であって、
    メディアデータに基づいて生成された一つまたは複数のサブユニットまたは分割された(fragmented)サブユニットを含んで構成されたペイロードを含む前記メディアパケットを受信するステップと、
    復号処理に関連した依存数情報に基づいて前記ペイロードに含まれたサブユニットのデータを復号するステップと、を含み、
    前記ペイロードは、前記復号処理が前記サブユニットに依存する少なくとも一つのサブユニットの数を示す前記依存数情報を含み、
    前記少なくとも一つのサブユニットが依存する前記サブユニットを復号処理しないと、前記少なくとも一つのサブユニットを復号処理できないことを特徴とするメディアパケット復号方法。
  2. 前記ペイロードは、前記ペイロードに含まれた前記サブユニットのデータの分割状態を示す情報を含むことを特徴とする請求項１に記載のメディアパケット復号方法。
  3. 前記メディアデータは時間基盤メディアデータを含むことを特徴とする請求項１に記載のメディアパケット復号方法。
  4. メディアパケットを復号する装置であって、
    メディアデータに基づいて生成された一つまたは複数のサブユニットまたは分割された(fragmented)サブユニットを含んで構成されたペイロードを含む前記メディアパケットを受信する受信器と、
    復号処理に関連した依存数情報に基づいて前記ペイロードに含まれたサブユニットのデータを復号する制御器と、を含み、
    前記ペイロードは前記復号処理が前記サブユニットに依存する少なくとも一つのサブユニットの数を指示する前記依存数情報を含み、前記少なくとも一つのサブユニットが依存する前記サブユニットを復号処理しないと、前記少なくとも一つのサブユニットを復号処理できないことを特徴とするメディアパケット復号装置。
  5. 前記ペイロードは、前記ペイロードに含まれた前記サブユニットのデータの分割状態を示す情報を含むことを特徴とする請求項４に記載のメディアパケット復号装置。
  6. 前記メディアデータは、時間基盤メディアデータを含むことを特徴とする請求項４に記載のメディアパケット復号装置。

JP2017055919A 2011-06-14 2017-03-22 マルチメディアシステムにおけるメディアパケット復号方法及び復号装置 Active JP6665126B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2011-0057714 2011-06-14
KR20110057714 2011-06-14
KR10-2011-0104862 2011-10-13
KR1020110104862A KR20120138604A (ko) 2011-06-14 2011-10-13 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR10-2011-0125458 2011-11-28
KR1020110125458A KR20120138608A (ko) 2011-06-14 2011-11-28 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014515746A Division JP6117193B2 (ja) 2011-06-14 2012-06-13 マルチメディアシステムにおけるメディアコンテンツを送受信する方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017080313A Division JP6665127B2 (ja) 2011-06-14 2017-04-14 メディアパケット復号装置及び復号方法

Publications (2)

Publication Number Publication Date
JP2017130966A JP2017130966A (ja) 2017-07-27
JP6665126B2 true JP6665126B2 (ja) 2020-03-13

Family

ID=47905381

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014515746A Active JP6117193B2 (ja) 2011-06-14 2012-06-13 マルチメディアシステムにおけるメディアコンテンツを送受信する方法及び装置
JP2017055919A Active JP6665126B2 (ja) 2011-06-14 2017-03-22 マルチメディアシステムにおけるメディアパケット復号方法及び復号装置
JP2017080313A Active JP6665127B2 (ja) 2011-06-14 2017-04-14 メディアパケット復号装置及び復号方法
JP2019075665A Active JP6743235B2 (ja) 2011-06-14 2019-04-11 マルチメディアシステムにおけるメディアパケット送信方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014515746A Active JP6117193B2 (ja) 2011-06-14 2012-06-13 マルチメディアシステムにおけるメディアコンテンツを送受信する方法及び装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017080313A Active JP6665127B2 (ja) 2011-06-14 2017-04-14 メディアパケット復号装置及び復号方法
JP2019075665A Active JP6743235B2 (ja) 2011-06-14 2019-04-11 マルチメディアシステムにおけるメディアパケット送信方法

Country Status (10)

Country Link
US (3) US10110655B2 (ja)
EP (3) EP4152730B1 (ja)
JP (4) JP6117193B2 (ja)
KR (5) KR20120138604A (ja)
CN (1) CN103621067B (ja)
AU (1) AU2012270417B2 (ja)
ES (1) ES2935286T3 (ja)
PL (1) PL2721814T3 (ja)
RU (1) RU2601442C2 (ja)
WO (1) WO2012173389A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084234A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 Ｍｐｅｇ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ｍｍｔ）에서 ｍｍｔ ａｕ를 전송하는 방법
US9520975B2 (en) 2011-05-03 2016-12-13 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for transmission of control data to a user equipment
EP2811705B1 (en) * 2012-01-31 2019-06-26 Sharp Kabushiki Kaisha Generation device and generation method for data packets
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
JP6498882B2 (ja) * 2013-07-22 2019-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 蓄積方法、再生方法、蓄積装置、および再生装置
WO2015012063A1 (ja) * 2013-07-22 2015-01-29 シャープ株式会社 情報処理装置
WO2015040824A1 (ja) * 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
WO2015060586A1 (ko) * 2013-10-23 2015-04-30 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
JP6505413B2 (ja) 2013-11-08 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置、及び受信装置
WO2015068352A1 (ja) 2013-11-08 2015-05-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、及び受信装置
KR102138075B1 (ko) * 2014-01-09 2020-07-27 삼성전자주식회사 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
JP2015136058A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP5725235B1 (ja) * 2014-04-22 2015-05-27 ソニー株式会社 受信装置及び受信方法、並びに、送信装置及び送信方法
US11082340B2 (en) 2014-06-10 2021-08-03 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
KR102196492B1 (ko) * 2014-07-04 2020-12-30 삼성전자주식회사 통신 시스템에서 데이터 송수신 장치 및 방법
KR20160004858A (ko) 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
JP5954751B2 (ja) * 2014-09-29 2016-07-20 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープ上のデータをロールバックする方法及びファイルシステム
JP6450968B2 (ja) * 2014-11-25 2019-01-16 シャープ株式会社 受信装置、受信方法、及びプログラム
CN106572062B (zh) * 2015-10-10 2019-08-09 上海交通大学 一种异构媒体传输网络下的资源动态请求方法
CN106330820A (zh) * 2015-06-18 2017-01-11 上海交通大学 基于mmt协议传输及重组非时序媒体的包头设计方法
KR102210380B1 (ko) * 2015-11-10 2021-02-01 에스케이텔레콤 주식회사 복합 컨텐츠 패키지의 생성 및 활용을 위한 장치 및 방법
CN111107398A (zh) * 2019-12-27 2020-05-05 深圳市小溪流科技有限公司 一种流媒体数据的传输方法及接收方法、电子设备
KR20240027435A (ko) * 2022-08-23 2024-03-04 주식회사 팀그릿 실시간 데이터 송수신 방법 및 그 장치

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE500950C2 (sv) * 1993-02-18 1994-10-03 Info Dev & Patent Ab Förfarande vid informationsöverföring samt anordning för genomförande av förfarandet
WO1995012265A1 (en) * 1993-10-26 1995-05-04 Northern Telecom Limited Digital telecommunication link for efficiently transporting mixed classes of packets
US5812545A (en) * 1996-01-04 1998-09-22 Orion Atlantic, L.P. Full mesh satellite-based multimedia networking system
US5831662A (en) * 1996-04-04 1998-11-03 Hughes Electronics Corporation Near on-demand digital information delivery system and method using signal fragmentation and sequencing to reduce average bandwidth and peak bandwidth variability
JPH1198503A (ja) 1997-09-19 1999-04-09 Nec Corp 画像データの転送および再生方式
AUPP362498A0 (en) * 1998-05-19 1998-06-11 Curtin University Of Technology Method and apparatus for transfer of real time signals over packet network
JP2001078181A (ja) 1999-09-02 2001-03-23 Matsushita Electric Ind Co Ltd パケット伝送方法、パケット受信再生装置
US6891832B1 (en) * 2000-09-15 2005-05-10 Cisco Technology, Inc. Adaptive fragmentation techniques implemented on a data network
US6646983B1 (en) * 2000-11-21 2003-11-11 Transwitch Corporation Network switch which supports TDM, ATM, and variable length packet traffic and includes automatic fault/congestion correction
JP2002176432A (ja) * 2000-12-05 2002-06-21 Sony Corp 通信中継装置、通信中継方法、および通信端末装置、並びにプログラム記憶媒体
US6876669B2 (en) * 2001-01-08 2005-04-05 Corrigent Systems Ltd. Packet fragmentation with nested interruptions
US20020150100A1 (en) * 2001-02-22 2002-10-17 White Timothy Richard Method and apparatus for adaptive frame fragmentation
US20020129383A1 (en) 2001-03-08 2002-09-12 Wasilewski Louise Mary Apparatus for a cosumer controlled selective recording device for interactive television
ES2201024T3 (es) * 2001-11-30 2004-03-16 Alcatel Plataforma de ip para sistemas avanzados de acceso multipunto.
US8856416B2 (en) * 2001-12-06 2014-10-07 Intel Corporation Method and apparatus for processing latency sensitive electronic data with interrupt moderation
JP2003319389A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
DE10392598T5 (de) * 2002-04-29 2005-05-19 Sony Electronics Inc. Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
US7340392B2 (en) * 2002-06-06 2008-03-04 International Business Machines Corporation Multiple sound fragments processing and load balancing
JP3825719B2 (ja) 2002-06-13 2006-09-27 三洋電機株式会社 画像再生方法、画像再生装置、および画像記録装置
US7230918B1 (en) * 2002-09-18 2007-06-12 Cisco Technology, Inc. System for using special links in multi-link bundles
US7336283B2 (en) * 2002-10-24 2008-02-26 Hewlett-Packard Development Company, L.P. Efficient hardware A-buffer using three-dimensional allocation of fragment memory
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
US7161909B2 (en) 2004-04-23 2007-01-09 Samsung Electronics Co., Ltd. Method and system for acknowledging the receipt of a transmitted data stream in a wireless communication system
KR100631758B1 (ko) * 2004-05-04 2006-10-09 삼성전자주식회사 멀티 스트리밍 포맷을 지원하는 네트워크 ｉ/ｆ 카드 및그 방법
US7433314B2 (en) * 2004-06-01 2008-10-07 Samsung Electronics Co., Ltd. Method and system for acknowledging the receipt of a transmitted data stream in a wireless personal area network
KR101084462B1 (ko) 2004-06-02 2011-11-21 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
KR100937045B1 (ko) 2004-07-22 2010-01-15 한국전자통신연구원 Ｓａｆ 동기화 계층 패킷 구조
WO2006036043A1 (en) * 2004-08-17 2006-04-06 Samsung Electronics Co., Ltd. Method and system for forming and transmitting/receiving neighbor base station information in a bwa communication system
KR100724911B1 (ko) 2004-08-17 2007-06-04 삼성전자주식회사 통신 시스템에서 인접 기지국 정보의 구성과 송수신 방법 및 시스템
KR100651486B1 (ko) 2004-12-07 2006-11-29 삼성전자주식회사 네트워크를 통해 멀티미디어 컨텐츠를 전송하는 장치 및방법
US20060212902A1 (en) * 2004-12-14 2006-09-21 Samsung Electronics Co., Ltd. Device and method for displaying broadcasting information in digital broadcasting receiver
US7613106B2 (en) * 2005-01-04 2009-11-03 Avaya Inc. Dial plan transparency for fragmented networks
ATE453261T1 (de) * 2005-01-18 2010-01-15 Taiwan Semiconductor Mfg Verbesserte ip-datagramm-entkapselung
EP1694031A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing S.A. Method for performing data transport over a serial bus using internet protocol and apparatus for use in the method
US7614068B2 (en) * 2005-03-18 2009-11-03 Nokia Corporation Prioritization of electronic service guide carousels
ATE375678T1 (de) * 2005-05-17 2007-10-15 Alcatel Lucent Verfahren zur bereitstellung einer echtzeitkommunikationsverbindung
US8316132B2 (en) * 2005-09-08 2012-11-20 Nokia Corporation Method to determine the completeness of a service guide
ATE541389T1 (de) * 2005-10-12 2012-01-15 Ericsson Telefon Ab L M Verfahren und anordnung zur streckenkostenbestimmung für das routen in drahtlosen netzen
US7720096B2 (en) * 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
WO2007053072A1 (en) * 2005-11-07 2007-05-10 Telefonaktiebolaget Lm Ericsson (Publ) Implicit signaling for link adaptation
WO2007078253A2 (en) * 2006-01-05 2007-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
US7756055B2 (en) * 2006-05-05 2010-07-13 Roke Manor Research Limited Method of transmission
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
KR100800857B1 (ko) * 2006-08-18 2008-02-04 삼성전자주식회사 Ｄｖｂ―ｈ시스템에서 통지 메시지를 제공하기 위한 방법및 이를 위한 시스템
US7684430B2 (en) 2006-09-06 2010-03-23 Hitachi, Ltd. Frame-based aggregation and prioritized channel access for traffic over wireless local area networks
CN101146212B (zh) 2006-09-11 2010-06-09 思华科技（上海）有限公司 视频点播网络的流媒体封包解包方法及系统
US8346945B2 (en) * 2006-09-14 2013-01-01 Nokia Corporation Dynamic SDP update in IPDC over DVB-H
US9219941B2 (en) 2006-10-25 2015-12-22 Telefonaktiebolaget L M Ericsson (Publ) Rich media stream management
FR2910757B1 (fr) * 2006-12-22 2009-05-08 Thales Sa Procede de retransmission a redondance incrementale pour des paquets fragmentes.
US7912057B2 (en) * 2007-01-12 2011-03-22 Wi-Lan Inc. Convergence sublayer for use in a wireless broadcasting system
EP3484123A1 (en) 2007-01-12 2019-05-15 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
US7848237B2 (en) * 2007-01-18 2010-12-07 Ineoquest Technologies, Inc. System and method for selective packet discard for the transport of multiple transportation streams of streaming media in packet-based networks
US7870377B2 (en) * 2007-02-07 2011-01-11 Nokia Corporation Automatic electronic-service-guide selection
WO2008102215A1 (en) * 2007-02-19 2008-08-28 Freescale Semiconductor, Inc. Data communication unit, data communication network and method of decoding
US7903574B2 (en) * 2007-03-15 2011-03-08 Nokia Corporation Service discovery mechanism in broadcast telecommunication network
US20080225892A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Using Forward Error Correction with Generic Stream Encapsulation in a Digital Broadcast Network
US20080225838A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Common Rate Matching Slot for Variable Bit Rate Services
US7978669B2 (en) * 2007-05-09 2011-07-12 Cisco Technology, Inc. Methods and apparatus for efficient MPEG transmission over 802.11
WO2008140263A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co., Ltd. Method and apparatus for transmitting broadcast, method and apparatus for receiving broadcast
US8396082B2 (en) * 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
US7747558B2 (en) * 2007-06-07 2010-06-29 Motorola, Inc. Method and apparatus to bind media with metadata using standard metadata headers
DE102007045741A1 (de) * 2007-06-27 2009-01-08 Siemens Ag Verfahren und Vorrichtung zum Codieren und Decodieren von Multimediadaten
US20090028142A1 (en) 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US7742415B1 (en) * 2007-09-26 2010-06-22 The United States Of America As Represented By Secretary Of The Navy Non-intrusive knowledge suite for evaluation of latencies in IP networks
US8176252B1 (en) * 2007-11-23 2012-05-08 Pmc-Sierra Us, Inc. DMA address translation scheme and cache with modified scatter gather element including SG list and descriptor tables
CN101453463B (zh) * 2007-11-28 2013-02-27 中兴通讯股份有限公司 一种移动多媒体广播系统的数据包封装、发送和接收方法
US8363672B2 (en) * 2008-05-08 2013-01-29 Gilat Satellite Networks Ltd. Optimization of internet traffic based on application prioritization
CN101272383B (zh) 2008-05-08 2012-09-26 中兴通讯股份有限公司 一种实时音频数据传输方法
JP5070125B2 (ja) * 2008-05-19 2012-11-07 キヤノン株式会社 受信装置及びその方法、通信システム及びその方法、並びに、プログラム
CN102067610B (zh) 2008-06-16 2013-07-10 杜比实验室特许公司 基于视频编码的切片依赖性的码率控制模型适配
JP5517181B2 (ja) 2008-07-24 2014-06-11 日本電気株式会社 コンテンツ配信システム、コンテンツ受信方法および装置
KR101611168B1 (ko) * 2008-10-09 2016-04-12 삼성전자주식회사 파일 다운로드 또는 스트리밍 과정에서 핸드오버 또는 로밍을 위한 장치 및 방법
US7894481B2 (en) * 2008-12-31 2011-02-22 Silver Spring Networks, Inc. Methods and systems for dynamic fragmentation of packets by communication network nodes
JP5521385B2 (ja) * 2009-04-27 2014-06-11 株式会社リコー 無線通信装置及び無線通信方法
US8412841B1 (en) * 2009-08-17 2013-04-02 Adobe Systems Incorporated Media content streaming using stream message fragments
US8392748B2 (en) * 2009-10-06 2013-03-05 Microsoft Corporation Reliable media streaming
JP2010136441A (ja) 2010-02-17 2010-06-17 Fujitsu Ltd 情報配信システム及び情報配信装置及び端末装置
JP6290838B2 (ja) * 2015-09-15 2018-03-07 株式会社スクウェア・エニックス リズムゲームプログラム及びゲームシステム
JP2017080313A (ja) 2015-10-30 2017-05-18 株式会社セガゲームス プログラム及び情報処理装置

Also Published As

Publication number Publication date
JP6743235B2 (ja) 2020-08-19
KR20120138608A (ko) 2012-12-26
AU2012270417A1 (en) 2013-12-12
KR101863410B1 (ko) 2018-05-31
RU2014100914A (ru) 2015-07-20
JP2017130966A (ja) 2017-07-27
RU2601442C2 (ru) 2016-11-10
EP3917137A1 (en) 2021-12-01
JP6665127B2 (ja) 2020-03-13
KR20150051970A (ko) 2015-05-13
EP2721814B1 (en) 2021-12-29
KR20120138604A (ko) 2012-12-26
US20120320925A1 (en) 2012-12-20
KR20180122995A (ko) 2018-11-14
JP6117193B2 (ja) 2017-04-19
US10110655B2 (en) 2018-10-23
EP2721814A2 (en) 2014-04-23
EP4152730A1 (en) 2023-03-22
JP2017153127A (ja) 2017-08-31
US20190058749A1 (en) 2019-02-21
EP2721814A4 (en) 2015-01-07
EP3917137B1 (en) 2022-11-16
WO2012173389A2 (en) 2012-12-20
ES2935286T3 (es) 2023-03-03
CN103621067B (zh) 2018-04-27
EP4152730B1 (en) 2023-11-29
AU2012270417A8 (en) 2014-01-09
KR20180061106A (ko) 2018-06-07
KR101918658B1 (ko) 2019-02-08
KR101973544B1 (ko) 2019-04-30
CN103621067A (zh) 2014-03-05
US20190058748A1 (en) 2019-02-21
AU2012270417B2 (en) 2016-05-26
US10447754B2 (en) 2019-10-15
WO2012173389A3 (en) 2013-03-14
JP2019165456A (ja) 2019-09-26
PL2721814T3 (pl) 2022-06-06
US10542065B2 (en) 2020-01-21
JP2014519789A (ja) 2014-08-14

Similar Documents

Publication Publication Date Title
JP6743235B2 (ja) マルチメディアシステムにおけるメディアパケット送信方法
US10397295B2 (en) Processing continuous multi-period content
CN110447234B (zh) 用于处理媒体数据及产生位流的方法、装置及存储媒体
US9900363B2 (en) Network streaming of coded video data
CN109479158B (zh) 检索及存取用于媒体流式处理的段区块
JP5937275B2 (ja) ネットワークストリーミングのための失われたメディアデータの置換
JP6285608B2 (ja) ネットワークを介して交換されたファイルのためのエラー処理
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
JP2015527788A (ja) マルチメディアシステムにおける適応的メディア構造送信方法及び装置
US20150095450A1 (en) Utilizing multiple switchable adaptation sets for streaming media data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180620

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190419

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200219

R150 Certificate of patent or registration of utility model

Ref document number: 6665126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250