JP5288710B2 - マルチメディアデータを記録した情報保存媒体、その再生方法及び再生装置 - Google Patents

Description

本発明は、マルチメディアコンテンツの符号化に係り、より詳細には、マルチメディアコンテンツをストリーミングサービスするためのマルチメディアデータの構成と、そのデータの再生方法及び装置に関する。

ビデオデータ、オーディオデータ、コンピュータアニメーションデータまたはこれらを全て含むマルチメディアデータは、それぞれのデータ自体内でまたはそれぞれのデータの間で再生時間が互いに同期している。すなわち、オーディオデータとビデオデータとが互いに同期して再生できるようにする時間情報が各データに記録されており、データ自体内にもそのデータがいつ出力されるかに関する情報が記録されている。このようなマルチメディアデータをインターネットを含んだ有無線ネットワークを通じてストリーミングすることにより、教育、娯楽、映画などのサービスを提供できる。

ストリーミングサービスは、ネットワークのジッター、帯域幅、遅延、パケット損失率、ビットエラー率などの制限条件と端末機のデータ処理性能、メモリ容量などの特性によって制限される。したがって、従来のダウンロード方式とストリーミング方式とを結合したストリーミングサービス技術(大韓民国特許公開第２００２−９５００１号公報)では、マルチメディアストリームファイルをダウンロードファイルとストリーミングファイルとに分離して、ユーザーが所望のストリームを要請すれば、これに該当するダウンロードファイルが端末に存在しているか否かをメッセージ送受信を通じて確認して、存在していない場合には、ストリーミングファイルとダウンロードファイルとを共に伝送し、ダウンロードファイルが存在する場合には、ストリーミングファイルのみをストリーミングしている。このようなストリーミングファイルと該当するダウンロードファイルとを単純に連結する方法は、ストリーミングファイルとダウンロードファイルとの特定結合構成を端末及びサーバーが予め知っている場合にのみ動作し、多様なストリーミングファイルとダウンロードファイルとの結合構造を提供できない。また、この方法では、ダウンロードファイルがない場合、ダウンロードを強制的に実施することで、端末の保存容量が不足した場合には動作しないという問題点がある。

本発明が達成しようとする技術的課題は、多様なストリーミング方式とダウンロード方式とが結合されたマルチメディアコンテンツサービスをコンテンツ付加情報を活用して提供できるマルチメディアデータを記録した情報保存媒体、その再生方法及び装置を提供することである。

前記技術的課題は、本発明によって、マルチメディアデータを記録した情報保存媒体において、前記マルチメディアデータは、少なくとも一つのメディアストリームと、付加情報とを含み、前記メディアストリームは、ネットワークを通じてストリーミングされるデータとネットワークを通じてダウンロードされるデータとを分離して記録しており、前記付加情報は、前記ストリーミングデータとダウンロードデータとの結合方法を表現する情報であることを特徴とする情報保存媒体により達成される。

前記メディアストリームは、前記ストリーミングデータを集めて作られた第１サブストリームと、前記ダウンロードデータを集めて作られた第２サブストリームとを組み合わせて、前記メディアストリームを作るのに使われる情報であるコンテンツ付加情報をさらに含むことが望ましい。

また、前記技術的課題は、(ａ)マルチメディアデータを構成する少なくとも一つのメディアストリームに関する構成情報であるコンテンツ付加情報を受信する段階と、(ｂ)前記コンテンツ付加情報によってダウンロードデータ伝送要求命令を伝送し、ダウンロードデータを受信して保存する段階と、(ｃ)前記コンテンツ付加情報によってストリーミングデータ伝送要求命令を伝送し、ストリーミングデータを受信する段階と、(ｄ)前記保存されたダウンロードデータとストリーミングデータとを前記コンテンツ付加情報によって元のメディアストリームに作って再生する段階とを含むことを特徴とするマルチメディアデータ再生方法によっても達成される。

前記コンテンツ付加情報は、前記マルチメディアデータを構成するメディアストリームの数情報と、前記メディアストリームの属性に関する情報であるストリーム付加情報とを含むことが望ましい。

一方、本発明の他の分野によれば、前記技術的課題は、ダウンロードサブストリームを受信するダウンロードサブストリームバッファと、ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、前記ダウンロードサブストリーム及びストリーミングサブストリームを組み合わせてメディアストリームを作って復号化するメディア復号器と、前記復号化したデータが複数個である場合に、そのそれぞれの時間同期を合わせて再生するレンダラとを備えることを特徴とするマルチメディアデータ再生装置によっても達成される。

本発明によれば、多様な方法でダウンロード方式及びストリーミング方式を結合したマルチメディアサービスを提供でき、端末の保存容量が不足した場合に不要なダウンロードをしないので、効率的である。

以下、添付された図面を参照して、本発明の望ましい実施例について詳細に説明する。

図１は、本発明のマルチメディアデータの構成を示す図である。

マルチメディアコンテンツは、ビデオ、オーディオ及びテキストなど色々なデータから構成されうる。これらそれぞれのデータをメディアストリームという。図１を参照するに、３個のメディアストリームから構成されたマルチメディアコンテンツの一例を挙げている。すなわち、メディアストリームＡ１１０、メディアストリームＢ１２０、メディアストリームＣ１３０は、一つのマルチメディアコンテンツを構成するメディアストリームであって、それぞれのメディアストリームは、メディアストリーム自体の内部時間同期情報とメディアストリーム間の時間同期を合わせるためのメディア間時間同期情報が挿入されている。これらの情報は、メディアストリームを作る際に使われる参照システムクロックを利用して作られる。

時間同期に関する情報をさらに詳細に説明すれば、ＭＰＥＧ−４システムの場合、それぞれのメディアストリームの再生開始時間は、ＢＩＦＳ(Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｏｒ Ｓｃｅｎｅ Ｄｅｓｃｒｉｐｔｉｏｎ)のノード情報のｓｔａｒｔＴｉｍｅに記録される。その他にもＢＩＦＳには、メディアストリームの位置情報などが記録される。そして、一つのストリームを復号の基本単位であるアクセスユニットに分け、ＳＬ Ｐａｃｋｅｔ(Ｓｙｎｃｈｒｏｎｉｚｔｉｏｎ Ｌａｙｅｒ Ｐａｃｋｅｔ)に含めて伝送するが、この際、ＳＬ Ｐａｃｋｅｔのヘッダーに記録されたＣＴＳ(Ｃｏｍｐｏｓｉｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ)、ＤＴＳ(ＤｅｃＯＤｅｒ Ｔｉｍｅ Ｓｔａｍｐ)情報、ＯＣＲ(Ｏｂｊｅｃｔ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ)情報を使用して、ストリーム内の時間同期及びストリームとストリーム間の時間同期を達成する。

図２は、ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。図２を参照するに、それぞれのメディアストリームは、陰影で表示されたダウンロードセグメントと、白色で表示されたストリーミングセグメントとから構成されるということが分かる。ダウンロードセグメントは、ストリーミング開始以前に端末にダウンロードされ、ストリーミングセグメントは、ストリーミング時にリアルタイムで端末に伝送される。ストリーミングセグメント及びダウンロードセグメントをどのように分割するかは、通信網の伝送速度及び端末機の入力バッファの容量を考慮して決定されうるが、一例として、端末機入力バッファのオーバーフロー及びアンダーフローが発生しないように、一部をまずストリーミングセグメントに割り当て、残りはダウンロードセグメントに割り当てることができる。ＭＰＥＧ−４システムで使われる場合には、これらのダウンロードセグメント及びストリーミングセグメントは、アクセスユニットから構成される。

図３は、図２に示すメディアストリームをダウンロードサブストリームとストリーミングサブストリームに作ることを示す図である。

ストリームＡは、ダウンロードセグメントＡ２、Ａ４、Ａ６とストリーミングセグメントＡ１、Ａ３、Ａ５、Ａ７とから構成されている。したがって、ダウンロードサブストリームＡ−１３１０は、ダウンロードセグメントであるＡ２、Ａ４、Ａ６セグメントを集めて作り、ストリーミングサブストリームＡ−２３２０は、ストリーミングセグメントであるＡ１、Ａ３、Ａ４、Ａ７セグメントを集めて作る。同様に、ストリームＢでも、Ｂ２、Ｂ４、Ｂ６セグメントを集めてダウンロードサブストリームＢ−１３３０を作り、Ｂ１、Ｂ３、Ｂ５セグメントを集めてストリーミングサブストリームＢ−３４０を作る。ストリームＣでも、Ｃ２、Ｃ４セグメントを集めてダウンロードサブストリームＣ−１３５０を作り、Ｃ１、Ｃ３、Ｃ５を集めてストリーミングサブストリームＣ−２３６０を作る。付加情報３７０は、ダウンロードサブストリーム及びストリーミングサブストリームをもって元のストリームを再び作る時に必要な情報である。

図４は、図３の付加情報の内容を示す図である。従来のコンテンツ符号化技術で使われている著作権情報、メタデータ情報、キーワード情報などの表現に使われる技術は、図４の付加情報に含まれうる。したがって、図４では、本発明のストリーミングサービスを提供するための付加情報について主に説明する。図４を参照するに、ストリーミング＿コンテンツ＿付加情報４４０は、ストリーミングサービスに提供されるマルチメディアコンテンツに関する情報であって、コンテンツを構成するストリームの数(ストリーム＿数)４４２とそれぞれのストリームに対する付加情報(ストリーム＿付加情報)４４４とから構成される。

そして、それぞれのストリームに対する付加情報であるストリーム＿付加情報４４４は、このストリームについての識別子(ストリーム＿識別子)４３２とダウンロードサブストリーム及びストリーミングサブストリームに関する情報４３４ないし４３８とを含む。一つのストリームは、全体がダウンロードサブストリームまたはストリーミングサブストリームになることができ、Ｂｏｏｌｅａｎデータであるダウンロード情報４３４とストリーミング情報４３６との値によって、ダウンロードサブストリームに対する付加情報またはストリーミングサブストリームについての付加情報を含む。

ダウンロードサブストリームまたはストリーミングサブストリームについての付加情報は、サブストリーム＿付加情報４２０に記録されている。サブストリーム＿付加情報４２０は、サブストリームを構成するセグメントの数(セグメント＿数)４２２、サブストリームのサイズ(サブストリーム＿サイズ)４２４、及びセグメントリスト４２６から構成されている。セグメントリスト４２６は、サブストリームを構成するセグメントのバイト単位の開始位置(セグメント＿開始)４１２とセグメントのサイズ(セグメント＿サイズ)４１４とから構成される。

図５は、再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。ストリーミングサービスのための認証、セッション管理などに使われるプロトコルは、従来の方法がそのまま使用されても良く、したがって、本発明によって追加されるプロトコルを中心に説明する。まず、ストリーミングコンテンツを端末がサーバーに要求すれば、Ｓ５１０、サーバーは、図４に示すような付加情報を端末に伝送するＳ５２０。端末は、この付加情報を読んでダウンロードしたデータの保存に使われるデータ保存部の容量が十分であるか否かを分析し、十分である場合には、サーバーにダウンロードサブストリームのダウンロードを要求するＳ５３０。サーバーは端末にダウンロードサブストリームを伝送し、端末は、受信したダウンロードサブストリームをデータ保存部に保存するＳ５４０。端末は、ダウンロードが完了すれば、サーバーにストリーミングサービスを要請しＳ５５０、端末は、データ保存部に保存されたダウンロードサブストリームとサーバーから伝送されるストリーミングサブストリームとを合わせて、図４に示す付加情報によって元のストリームを作って再生するＳ５６０ａ、Ｓ５６０ｂ。

図６は、本発明の再生装置の構成図である。ダウンロードサブストリーム保存部６１０に保存されたダウンロードされたサブストリームは、予めサーバーから読まれて保存されたものである。ネットワーク６０４を通じてサーバー６０２からストリーミングされるストリーミングサブストリームは、デマルチプレクサ６０６を経ていろいろなストリームに分けられ、それぞれのストリームの復号時間符号(ＭＰＥＧ−４の場合、ＤＴＳ）及びストリーム識別子情報を参照して、該当するストリーミングサブストリームバッファ１ないし３６３０ａないし６３０ｃに復号時間前に入力される。そして、ダウンロードサブストリームバッファ１ないし３６２０ａないし６２０ｃには、ダウンロードサブストリーム保存部６１０に保存されたダウンロードサブストリームが保存される。復号前バッファ６４０ａないし６４０ｃは、ストリームの種類によって別に設けられている。一つのストリームに対する復号前バッファ６４０ａには、ダウンロードサブストリームバッファ６２０ａ及びストリーミングサブストリームバッファ６３０ａから、復号時間符号を読んでその値によって、順次にアクセスユニット別に入力される。

したがって、メディアストリーム復号器６５０ａ、６５０ｂ及びレンダラ６７０は、従来のものをそのまま利用できる。図６を参照するに、一つのメディアストリームは、二つの復号前バッファ６４０ａ、６４０ｂを持っているが、これは、伸縮符号圧縮方式による基本層ストリーム及び向上層ストリームのための例を示すものである。

図７は、本発明で記述した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。ＭＰＥＧ−４は、コンテンツの構成情報をＢＩＦＳとオブジェクト記述子とを使用して表現する。ＩＯＤ(Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）は、ＢＩＦＳとＯＤとを示す。図７の実施例は、図４を参照して説明した付加情報を従来のＭＰＥＧ−４と互換して適用するために、ＭＰＥＧ−４のストリームについての付加情報を記述する基本ストリーム記述子が含む拡張記述子を使用した例である。ｄｏｗｎｌｏａｄＳｕｂｓｔｒｅａｍ及びｓｔｒｅａｍｉｎｇＳｕｂｓｔｒｅａｍは、このストリームがダウンロードサブストリームやストリーミングサブストリームを有しているかについての情報である。それぞれは、ダウンロードサブストリーム及びストリーミングサブストリームに対して分割されたセグメントの数、バイト単位のサブストリームのサイズ、サブストリームを構成するセグメントのバイト単位の開始位置、及びセグメントのサイズから構成される。ＵＲＬ＿ｆｌａｇ、ＵＲＬｌｅｎｇｔｈ、及びＵＲＬｓｔｒｉｎｇは、このサブストリームの保存場所をＵＲＬで表示する時に使用し、端末は、この位置でダウンロードサブストリームをダウンロードし、ストリーミングサブストリームをストリーミングする。

既存のＭＰＥＧ−４ストリームとの互換性を考慮しないとすれば、ＭＰＥＧ−４システムに存在する基本ストリーム記述子以外に、図７に示す情報を表す新しい記述子を含むことができる。

端末が備えなければならないダウンロードストリーム保存部の容量は、各ダウンロードストリームのサイズを全て加算して予め計算して定めることができるが、必要な保存部の容量情報をコンテンツ付加情報に記録することも可能である。ＭＰＥＧ−４システムの場合、容量情報はＩＯＤに記録される。端末は、このダウンロードストリーム保存部の容量情報を活用して、保存部の現在使用可能保存容量と比較して、サーバーにダウンロードストリームを要請するか否かを決定できる。

一方、前記マルチメディアデータ再生方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムは、コンピュータが読み取り可能な情報保存媒体に保存され、コンピュータによって読み取られ、実行されることによって、マルチメディアデータ再生方法を具現する。前記情報保存媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。

本発明のマルチメディアデータの構成を示す図である。 ダウンロードセグメント及びストリーミングセグメントから構成されたメディアストリームを示す図である。 ２に示すメディアストリームをダウンロードサブストリーム及びストリーミングサブストリームに作ることを示す図である。 図３の付加情報の内容を示す図である。 再生装置がサーバーからストリーミングサービスを提供されることを説明するための図である。 本発明の再生装置の構成図である。 本発明で説明した付加情報をＭＰＥＧ−４標準に適用した実施例を示す図である。

Claims (11)

1. マルチメディアデータ再生装置によって読み出されるデータが記憶された、コンピュータ読取可能な記憶媒体であって、前記データは、
   ストリーミング以前にダウンロードされた、複数のダウンロードセグメントを有するダウンロードデータと、
   マルチメディアデータの構成に関する付加情報とを含み、
   前記付加情報は、前記マルチメディアデータを構成する一つのメディアストリーム又は複数のメディアストリームのそれぞれについて、当該メディアストリームに含まれるダウンロードセグメントの数と、それぞれのダウンロードセグメントの開始位置及びサイズと、当該メディアストリームに含まれるストリーミングセグメントの数と、それぞれのストリーミングセグメントの開始位置及びサイズとを含むものであり、前記再生装置が、前記付加情報データを基に所望のダウンロードセグメントからダウンロードされた前記ダウンロードデータと、ストリーミング開始時に前記付加情報を元に所望のストリーミングセグメントを要求して、受信したストリーミングデータと前記ダウンロードとを結合し再構成するためのものである、コンピュータ読取可能な記憶媒体。
2. 前記付加情報は、
   前記マルチメディアデータを構成するメディアストリームの数情報と、
   前記マルチメディアデータを構成する一つのメディアストリーム又は複数のメディアストリームのそれぞれについての、当該メディアストリームに含まれるダウンロードセグメントの数と、それぞれのダウンロードセグメントの開始位置及びサイズと、当該メディアストリームに含まれるストリーミングセグメントの数と、それぞれのストリーミングセグメントの開始位置及びサイズとを含むストリーム付加情報と、を含むことを特徴とする請求項１に記載のコンピュータ読取可能な記憶媒体。
3. 前記ストリーム付加情報は、
   当該ストリーム付加情報に関連するメディアストリーム識別子情報と、
   当該ストリーム付加情報に関連するメディアストリームを構成するダウンロードデータ及びストリーミングデータのそれぞれについてのサブストリーム付加情報とを含み、
   前記サブストリーム付加情報は、
   当該サブストリーム付加情報に関連するダウンロードデータ又はストリーミングデータに含まれるセグメントの数情報と、
   当該サブストリーム付加情報に関連するダウンロードデータ又はストリーミングデータを構成するセグメントのそれぞれについてのセグメント情報とを含むことを特徴とする請求項２に記載のコンピュータ読取可能な記憶媒体。
4. (ａ)マルチメディアデータの構成に関する付加情報を受信する段階と、
   (ｂ)前記付加情報に基づきダウンロードデータ伝送要求命令を伝送し、ストリーミング開始時に予めダウンロードされる複数のダウンロードセグメントを有するダウンロードデータを受信して保存する段階と、
   (ｃ)前記ダウンロードデータの保存後に前記付加情報に基づきストリーミングデータ伝送要求命令を伝送し、ストリーミング時にリアルタイムで、前記複数のダウンロードセグメントと結合されて前記マルチメディアデータを再構成する複数のストリーミングセグメントを有するストリーミングデータを受信する段階と、
   （ｄ）前記ストリーミングデータ及び前記ダウンロードデータから前記付加情報に基づき前記マルチメディアデータを再構成し、該マルチメディアデータを再生する段階と
   を含み、
   前記付加情報は、前記マルチメディアデータを構成する一つのメディアストリーム又は複数のメディアストリームのそれぞれについて、当該メディアストリームに含まれるダウンロードセグメントの数と、それぞれのダウンロードセグメントの開始ビット位置及びサイズと、当該メディアストリームに含まれるストリーミングセグメントの数と、それぞれのストリーミングセグメントの開始ビット位置及びサイズとを含む、ことを特徴とするマルチメディアデータ再生方法。
5. 前記付加情報は、
   前記マルチメディアデータを構成するメディアストリームの数情報と、
   前記マルチメディアデータを構成する一つのメディアストリーム又は複数のメディアストリームのそれぞれについての、当該メディアストリームに含まれるダウンロードセグメントの数と、それぞれのダウンロードセグメントの開始ビット位置及びサイズと、当該メディアストリームに含まれるストリーミングセグメントの数と、それぞれのストリーミングセグメントの開始ビット位置及びサイズとを含むストリーム付加情報と、を含むことを特徴とする請求項４に記載のマルチメディアデータ再生方法。
6. 前記ストリーム付加情報は、
   当該ストリーム付加情報に関連するメディアストリーム識別子情報と、
   当該ストリーム付加情報に関連するメディアストリームを構成するダウンロードデータ及びストリーミングデータのそれぞれについてのサブストリーム付加情報とを含み、
   前記サブストリーム付加情報は、
   当該サブストリーム付加情報に関連するダウンロードデータ又はストリーミングデータに含まれるセグメントの数情報と、
   当該サブストリーム付加情報に関連するダウンロードデータ又はストリーミングデータを構成するセグメントのそれぞれについてのセグメント情報とを含み、
   前記セグメント情報は、当該セグメント情報に関連するセグメントの開始ビット位置及びサイズを含む、ことを特徴とする請求項５に記載のマルチメディアデータ再生方法。
7. ダウンロードサブストリームとストリーミングサブストリームとから構成されるメディアストリームを再生するマルチメディアデータ再生装置において、
   第１ネットワークを通じて、ストリーミング開始前に予めダウンロードされる複数のダウンロードセグメントを有する前記ダウンロードサブストリームを受信して保存するダウンロードサブストリーム保存部と、
   前記ダウンロードサブストリーム保存部から前記保存されたダウンロードサブストリームを受信するダウンロードサブストリームサーバと、
   ストリーミング時にリアルタイムで、第２ネットワークを通じて、前記複数のダウンロードセグメントと結合されて前記マルチメディアデータを再構成する複数のストリーミングセグメントを有する前記ストリーミングサブストリームを受信するストリーミングサブストリームバッファと、
   前記マルチメディアストリームを構成する一つのメディアストリーム又は複数のメディアストリームのそれぞれについて当該メディアストリームに含まれるダウンロードセグメントの数と、それぞれのダウンロードセグメントの開始ビット位置及びサイズと、当該メディアストリームに含まれるストリーミングセグメントの数と、それぞれのストリーミングセグメントの開始ビット位置及びサイズとを含む付加情報に基づいて、前記ダウンロードサブストリーム及び前記ストリーミングサブストリームから前記マルチメディアストリームを復号化するメディア復号器とを備えることを特徴とするマルチメディアデータ再生装置。
8. ストリーミングサーバーからストリーミングサブストリームを受信して、複数個のストリーミングサブストリームを作るデマルチプレクサをさらに備えることを特徴とする請求項７に記載のマルチメディアデータ再生装置。
9. 前記復号化されたマルチメディアストリームにおけるメディアストリーム間の時間同期によって、該メディアストリームを再生するレンダラをさらに備えることを特徴とする請求項７に記載のマルチメディアデータ再生装置。
10. 前記付加情報に基づいて、前記ダウンロードデータを保存するための保存容量が十分であるか否かを分析する段階を更に含み、
    前記付加情報に基づきダウンロードデータ伝送要求命令を伝送し、複数のダウンロードセグメントを有するダウンロードデータを受信して保存する前記段階（ｂ）において、該ダウンロードデータ伝送要求命令は、前記保存容量が、前記ダウンロードデータを保存するのに十分である場合に、伝送されることを特徴とする請求項４に記載のマルチメディアデータ再生方法。
11. 請求項４に記載されたマルチメディアデータ再生方法を行うためのコンピュータで読み取り可能なコードが記録されたコンピュータで読み取り可能な記録媒体。
    

Images