JP6184408B2 - 受信装置及びその受信方法 - Google Patents

Description

本発明は、受信装置及びその受信方法に関し、より詳細には、複数のストリームを受信して処理する受信装置及びその受信方法に関する。

最近、電子技術の発達により、多様な電子装置が開発及び普及されている。特に、テレビの場合、３Ｄコンテンツより高い解像度のコンテンツを提供することができるようになり、それにより、放送技術においても、３Ｄコンテンツ、マルチアングルコンテンツ、デプス（Ｄｅｐｔｈ）映像を含むコンテンツ等のように、複数の映像を含むコンテンツやＵＨＤ級画像のコンテンツを提供するための技術が開発されている。

既存の放送網で使用されるチャネル帯域幅は制限的であるのに対し、マルチアングルコンテンツ、３Ｄコンテンツ、ＵＨＤ級画質のコンテンツ等は、既存のコンテンツより大きいデータサイズを有するため、既存の放送網でデータサイズが大きいコンテンツをそのまま伝送するには無理があった。

一方、新たなコンテンツを提供するために新たな設備を投資することは、コスト的に無理があり、既存の放送設備及び受信装置を用いて新たなコンテンツを提供することができるようにしなければならない。それにより、マルチメディアコンテンツに含まれた複数のマルチメディアデータのうち、基準となるマルチメディアデータは既存の放送網を通じて伝送し、付加的なマルチメディアデータは既存の放送網と異なる伝送経路で伝送する方策を考慮することができる。

ただ、それぞれ異なる伝送網でデータを伝送する場合、各マルチメディアデータは独立的な符号化器を使用するようになり、各符号化器のシステムクロックが一致しないため、同一の同期化情報を付加することが困難であった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、互いに異なる経路を通じて複数のストリームを受信して処理する受信装置及びその受信方法を提供することにある。なお、もう一つの目的は、互いに異なる経路で提供される複数のストリームを同期化して再生することができる方法を提供することにある。

本発明の一実施形態に係る受信装置は、フレーム別に第１タイムコードの付加された第１マルチメディアデータを放送網を通じて受信する第１受信部と、フレーム別に第２タイムコードの付加された第２マルチメディアデータをＩＰ網を通じて受信する第２受信部と、前記第１マルチメディアデータを信号処理して第１ビデオフレームを生成する第１信号処理部と、前記第２マルチメディアデータを信号処理して第２ビデオフレームを生成する第２信号処理部と、前記第１マルチメディアデータの第１タイムコードと、前記第２マルチメディアデータの第２タイムコードとを比較して一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出する制御部と、前記タイムスタンプ情報の差を用いて、前記生成された第１ビデオフレーム及び第２ビデオフレームのうち、互いに同期化されるビデオフレームをそれぞれ読み取ってレンダリングを行うレンダリング部とを含む。

ここで、前記第１信号処理部は、前記受信された第１マルチメディアデータをデマルチプレキシングする第１デマルチプレクサと、前記第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを保存する第１バッファと、前記第１バッファに保存された第１ビデオデータをデコードして第１ビデオフレームを生成する第１デコーダと、前記生成された第１ビデオフレームを保存する第２バッファとを含み、前記第２信号処理部は、前記受信された第２マルチメディアデータをデマルチプレキシングする第２デマルチプレクサと、前記第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを保存する第３バッファと、前記第３バッファに保存された第２ビデオデータをデコードして第２ビデオフレームを生成する第２デコーダと、前記生成された第２ビデオフレームを保存する第４バッファとを含んでよい。

そして、前記制御部は、前記タイムスタンプ情報の差を用いて、前記第１バッファ及び前記第３バッファに保存された第１ビデオデータ及び第２ビデオデータのうちの一方のタイムスタンプ情報を補正してよい。

一方、受信装置は、前記第１受信部を介して受信される第１マルチメディアデータを保存する保存部を更に含んでよく、前記制御部は、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されると、前記保存された第１マルチメディアデータを処理するように前記第１信号処理部を制御してよい。

そして、前記制御部は、前記保存部に保存された第１マルチメディアデータに付加された第１タイムコード及び前記第２受信部を介して受信される第２マルチメディアデータに付加された第２タイムコードを比較し、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断してよい。

なお、前記制御部は、前記第１マルチメディアデータと前記第２マルチメディアデータとを同期化して再生するためのユーザ命令が入力されると、前記第１マルチメディアデータを保存するように前記保存部を制御してよい。

本発明の一実施形態に係る受信装置の受信方法は、フレーム別に第１タイムコードの付加された第１マルチメディアデータを放送網を通じて受信するステップと、フレーム別に第２タイムコードの付加された第２マルチメディアデータをＩＰ網を通じて受信するステップと、前記第１マルチメディアデータを信号処理して第１ビデオフレームを生成するステップと、前記第２マルチメディアデータを信号処理して第２ビデオフレームを生成するステップと、前記第１マルチメディアデータの第１タイムコードと、前記第２マルチメディアデータの第２タイムコードとを比較して一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出するステップと、前記タイムスタンプ情報の差を用いて、前記生成された第１ビデオフレーム及び第２ビデオフレームのうち、互いに同期化されるビデオフレームをそれぞれ読み取ってレンダリングを行うステップとを含む。

ここで、前記第１ビデオフレームを生成するステップは、前記受信された第１マルチメディアデータをデマルチプレキシングするステップと、前記第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを第１バッファに保存するステップと、前記保存された第１ビデオデータをデコードして第１ビデオフレームを生成するステップと、前記生成された第１ビデオフレームを第２バッファに保存するステップとを含んでよく、前記第２ビデオフレームを生成するステップは、前記受信された第２マルチメディアデータをデマルチプレキシングするステップと、前記第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを第３バッファに保存するステップと、前記保存された第２ビデオデータをデコードして第２ビデオフレームを生成するステップと、前記生成された第２ビデオフレームを第４バッファに保存するステップとを含んでよい。

そして、前記受信装置の受信方法は、前記タイムスタンプ情報の差を用いて、前記第１バッファ及び前記第３バッファに保存された第１ビデオデータ及び第２ビデオデータのうちの一方のタイムスタンプ情報を補正するステップを更に含んでよい。

なお、前記第１受信部を介して受信される第１マルチメディアデータを保存するステップを更に含んでよく、前記第１ビデオフレームを生成するステップは、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されると、前記保存された第１マルチメディアデータを信号処理してよい。

そして、前記第１ビデオフレームを生成するステップは、前記保存された第１マルチメディアデータに付加された第１タイムコード及び前記受信された第２マルチメディアデータに付加された第２タイムコードを比較し、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断してよい。

なお、前記保存するステップは、前記第１マルチメディアデータと前記第２マルチメディアデータとを同期化して再生するためのユーザ命令が入力されると、前記第１マルチメディアデータを保存してよい。

以上説明したように、本発明によれば、既存の放送設備を用いて、互いに異なる経路を通じて異なるデータを送受信し、伝送帯域幅の制限を克服してユーザに新たなコンテンツを提供することができる。

なお、互いに異なる経路で複数のストリームを提供する場合にも、各マルチメディアデータを効果的に同期化し、複数のマルチメディアデータ間の同期化された再生を行うことができる。

本発明の一実施形態に係るマルチメディアデータ送受信システムを示す図である。 本発明の一実施形態に係るマルチメディアデータ送受信システムの構成を示すブロック図である。 本発明の一実施形態に係る受信装置の具体的な構成を示すブロック図である。 本発明の一実施形態によってタイムコード及びタイムスタンプが付加されたストリームの例を示す図である。 本発明の一実施形態に係る第１及び第２信号処理部の具体的な構成を説明するためのブロック図である。 本発明の別の実施形態に係る受信装置の構成を示すブロック図である。 本発明の一実施形態によって第１マルチメディアデータを遅延させて処理する方法を説明するための図である。 本発明の別の実施形態によって第１マルチメディアデータを遅延させて処理する方法を説明するための図である。 本発明の一実施形態に係る受信装置の受信方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るマルチメディアデータ送受信システムを示す図である。図１に示すように、マルチメディアデータ送受信システム１０００は、送信装置１００及び受信装置２００を含む。

送信装置１００は、マルチメディアデータを処理し、互いに異なる信号を互いに異なる伝送網を通じて伝送する。例えば、図１のように、送信装置１００は、第１伝送網を通じて第１信号を伝送し、第２伝送網を通じて第２信号を伝送することができる。

第１信号及び第２信号は、一つのコンテンツを構成する互いに異なるマルチメディアデータまたは相対的に低画質のマルチメディアデータと、相対的に高画質のマルチメディアデータであってよい。例えば、マルチメディアデータが３Ｄコンテンツである場合には、左眼映像及び右眼映像のいずれか一方が第１伝送網を通じて伝送され、他方の映像が第２伝送網を通じて伝送されてよい。別の例として、ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画質の第１信号が第１伝送網を通じて伝送され、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画質の第２信号が第２伝送網を通じて伝送されてよい。その他にも、第１信号及び第２信号は、マルチアングルコンテンツを構成するマルチメディアデータ、２Ｄ映像とデプス映像等であってよい。

ここで、第１伝送網はＲＦ網（または、放送網）であってよく、第２伝送網はＩＰ網（または、インターネット網）であってよい。ただ、それは一実施形態に過ぎず、第１伝送網がＩＰ網であって第２伝送網がＲＦ網か、第１伝送網と第２伝送網とが同一の形態の網であってよい。

受信装置２００は、送信装置１００から伝送される第１信号及び第２信号をそれぞれ受信し、マルチメディアデータに対する信号を行い、信号処理されたマルチメディアデータを同期化してコンテンツを再生することができる。

ここで、受信装置２００は、第２信号をサーバから受信することができる。すなわち、受信装置２００は、送信装置１００から第２信号を直接受信することもできるが、送信装置１００から生成された第２信号を別途のサーバを通じて受信することもできる。

一方、第１伝送網と第２伝送網とを通じて伝送される信号には、同期化のためのＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）及びＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）等が含まれてよい。

ＰＣＲとは、受信装置（セットトップボックスやテレビ等）で時刻基準を送信機側に合わせるようにする参照時間情報を意味する。受信装置では、ＰＣＲに応じてＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を合わせるようになる。ＤＴＳは、データのデコード時刻を報知するタイムスタンプであり、ＰＴＳは、映像及び音声の同期化のための再生時刻を報知するタイムスタンプのことを意味する。本明細書においては、ＤＴＳ及びＰＴＳをタイムスタンプと称する。

互いに異なる信号が互いに異なる送信装置１００−１、１００−２から伝送される場合には、送信装置１００−１、１００−２の特性に応じてＰＣＲが異なってよい。具体的に、互いに異なる信号は、互いに異なる符号化器を使用し、各符号化器はシステム動作クロック情報が一致せず、各符号化器ごとに異なる動作方式及び遅延を有することができるためである。そのため、ＰＣＲに合わせたタイムスタンプに応じて再生を行うとしても、同期化が行われない場合がある。

本システムにおいて、受信装置２００はタイムコードを用いてタイムスタンプを補正して同期化を行うことができる。

図２は、本発明の一実施形態に係るマルチメディアデータ送受信システムの構成を示すブロック図である。図２によると、マルチメディアデータ送受信システム１０００の送信装置１００は、データ処理部１１０と、第１伝送部１２０及び第２伝送部１３０を含む。

データ処理部１１０は、マルチメディアデータを処理し、第１伝送部１２０及び第２伝送部１３０に伝送する。具体的に、データ処理部１１０は、マルチメディアコンテンツを構成する第１マルチメディアデータ及び第２マルチメディアデータを処理し、それぞれ第１伝送部１２０及び第２伝送部１３０に伝送する。ここで、第１マルチメディアデータ及び第２マルチメディアデータとは、同期化のための同期化情報を含んでよい。

第１伝送部１２０は、第１マルチメディアデータを第１伝送網を通じて受信装置２００に伝送する。そのために、第１伝送部１２０は、第１マルチメディアデータを第１伝送網の伝送規格に適した形態に変換し、受信装置２００に伝送することができる。

第２伝送部１３０は、第２マルチメディアデータを第２伝送網を通じて受信装置２００に伝送する。そのために、第２伝送部１３０は、第２マルチメディアデータを第２伝送網の伝送規格に適した形態に変換することができる。

一方、マルチメディアデータ送受信システムの受信装置２００は、第１受信部２１０と、第２受信部２２０及びデータ処理部２３０を含む。

第１受信部２１０は、送信装置１００から第１伝送網を通じて第１マルチメディアデータを受信する。第２受信部２２０は、送信装置１００から第２伝送網を通じて第２マルチメディアデータを受信する。例えば、第１受信部２１０は、放送網を通じて第１マルチメディアデータを受信し、第２受信部２２０はＩＰ網を通じて第２マルチメディアデータを受信することができる。

データ処理部２３０は、第１マルチメディアデータ及び第２マルチメディアデータを処理し、マルチメディアコンテンツを構成する。具体的に、データ処理部２３０は、受信された第１マルチメディアデータ及び第２マルチメディアデータを信号処理してビデオフレームを生成し、第１マルチメディアデータ及び第２マルチメディアデータに含まれた同期化情報を用いて第１マルチメディアデータのビデオフレーム及び第２マルチメディアデータのビデオフレームを同期化してレンダリングを行うことができる。

図３は、本発明の一実施形態に係る受信装置の具体的な構成を示すブロック図である。図３によると、受信装置２００は、第１受信部２１０と、第２受信部２２０と、第１信号処理部２４０と、第２信号処理部２５０と、制御部２６０及びレンダリング部２７０を含む。

第１受信部２１０は、第１マルチメディアデータを受信する。具体的に、第１受信部２１０は、放送網を通じてフレーム別に第１タイムコードの付加された第１マルチメディアデータを受信することができる。

第２受信部２２０は、第２マルチメディアデータを受信する。具体的に、第２受信部２２０は、放送網を通じてフレーム別に第２タイムコードの付加された第２マルチメディアデータを受信することができる。

第１受信部２１０及び第２受信部２２０の構成は、その通信経路に応じて多様に実現されてよい。例えば、放送網を通じて伝送される信号を受信するためのモジュールの場合には、アンテナ、チューナ、復調部、等化部等のような構成要素を含んでよい。ネットワークを通じて信号を受信する場合には、ネットワーク通信モジュールを含んでよい。

一方、各マルチメディアデータに付加されたタイムコードとして、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）タイムコードが使用されてよい。ＳＭＰＴＥ １２Ｍでは、“時：分：秒：フレーム”の形式でタイムコードを表現する。ＳＭＰＴＥ １２Ｍタイムコードは、映像やビデオ、オーディオ等、ローデータの獲得及び編集時に挿入されてよく、時間軸上の修正及び編集のためのリファレンスの役割を担うことができる。同一の時間軸上で獲得されたロードデータは同一のタイムコード値を有してよい。

ＳＭＰＴＥタイムコードは、記録方式に応じて、ＬＴＣ（Ｌｏｎｇｉｔｕｄｅ Ｔｉｍｅ Ｃｏｄｅ）またはＶＩＴＣ（Ｖｅｒｔｉｃａｌ Ｉｎｔｅｒｖａｌ Ｔｉｍｅ Ｃｏｄｅ）に区分されてよい。ＬＴＣは、テープの進行方向に沿って記録される。ＬＴＣの場合、視覚情報（２５ｂｉｔｓ）、ユーザ情報（３２ｂｉｔｓ）、同期情報（１６ｂｉｔｓ）、保存領域（４ｂｉｔｓ）、フレームモード表示（２ｂｉｔｓ）を含み、計８０ｂｉｔｓのデータで構成されてよい。ＶＩＴＣは、ビデオ信号の垂直帰線期間内の２つの水平ラインに記録される。

ＳＭＰＴＥ ＲＰ−１８８では、ＬＴＣまたはＶＩＴＣタイプのタイムコードがａｎｃｉｌｌａｒｙ ｄａｔａで伝送され得るインターフェース規格を定義しており、タイムコードはこのようなインターフェース規格に応じて伝送することができる。

一方、第１及び第２マルチメディアデータは、タイムコードだけでなく、同期化のためのタイムスタンプを含むことができる。具体的に、第１及び第２マルチメディアデータは、それぞれＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）及びＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を含んでよい。一般に、タイムスタンプは、同期化のための同期化情報として利用されてよいが、異種網基盤のマルチメディアデータ送受信システムでは、第１マルチメディアデータ及び第２マルチメディアデータをそれぞれ異なる符号化器で符号化することで、システムクロックが一致しないという問題が発生するおそれがあり、それにより、上述のタイムコードを用いて同期化を行うことができる。それについての具体的な説明は後述する。

図４は、本発明の一実施形態によってタイムコード及びタイムスタンプが付加されたストリームの例を示す図である。送信装置１００は、第１マルチメディアデータ及び第２マルチメディアデータを伝送ストリーム形態で伝送することができる。

具体的に、送信装置１００は、マルチメディアデータを構成するビデオＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）、オーディオＥＳ及び付加データＥＳをＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット化器を通じてパケット化した後、マルチプレキシングして伝送ストリームを生成することができる。こおで、図４でのように、各ＰＥＳヘッダには、ＰＴＳ及びＤＴＳ情報が、ＥＳヘッダにはタイムコード情報が含まれてよい。特に、タイムコード情報は、ビデオＥＳヘッダ、オーディオＥＳヘッダ、付加データＥＳヘッダのうち、一つに含まれてよい。

第１信号処理部２４０は、第１受信部２１０を介して受信した第１マルチメディアデータを信号処理してビデオフレームを生成する。第２信号処理部２５０は、第２受信部２２０を介して受信した第２マルチメディアデータを信号処理してビデオフレームを生成する。第１信号処理部２４０及び第２信号処理部２５０については、図５を参照して具体的に説明する。

図５は、本発明の一実施形態に係る第１及び第２信号処理部の具体的な構成を説明するためのブロック図である。図５によると、第１信号処理部２４０は、第１デマルチプレクサ２４１と、第１バッファ２４２と、第１デコーダ２４３及び第２バッファ２４４を含む。

第１デマルチプレクサ２４１は、第１受信部２１０から第１マルチメディアデータを受信してデマルチプレキシングする。第１デマルチプレクサ２４１は、第１マルチメディアデータを受信してデマルチプレキシングすることで、第１ビデオデータ、第１オーディオデータ及び第１付加データに分離することができる。

第１バッファ２４２は、第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを保存する。具体的に、第１バッファ２４２は、第１マルチメディアデータからデマルチプレキシングされる第１ビデオデータを順次に保存することができる。

第１デコーダ２４３は、第１バッファ２４２に保存された第１ビデオデータをデコードし、第１ビデオフレームを生成することができる。具体的に、第１デコーダ２４２は、送信装置１００で第１ビデオデータをエンコードしたエンコーダ（図示せず）の逆過程を行い、第１ビデオデータのＤＴＳとシステムクロックとが一致する瞬間、第１ビデオデータをデコードすることができる。特に、送信装置１００で、第１ビデオデータをエンコードしたエンコーダ（図示せず）は、異種網を通じたデータ受信をサポートしない既存の受信装置との互換性のために、第１ビデオデータに対してＭＰＥＧ−２エンコードを行うことができ、それにより、受信装置２００の第１デコーダ２４２は、第１ビデオデータに対してＭＰＥＧ−２デコードを行うことができる。第１ビデオデータの映像フォーマットは、それに限定されず、Ｈ．２６４、ＨＥＶＣ等、現在利用可能な映像フォーマット及び今後開発され、本発明に適用可能な多様な映像フォーマットに応じてエンコード及びデコードされてよい。

第２バッファ２４４は、第１デコーダ２４３によって生成された第１ビデオフレームを保存する。具体的に、第２バッファ２４４は、第１ビデオデータが第１デコーダ２４３によってデコードされる順に応じて生成されるビデオフレームを順次に保存することができる。

一方、図５によると、第２信号処理部２５０は、第２デマルチプレクサ２５１と、第３バッファ２５２と、第２デコーダ２５３及び第４バッファ２５４を含む。

第２デマルチプレクサ２５１は、第２受信部２２０から第２マルチメディアデータを受信してデマルチプレキシングする。具体的に、第２デマルチプレクサ２５１は、第２マルチメディアデータを受信してデマルチプレキシングすることで、第２ビデオデータ、第２オーディオデータ及び第２付加データに分離することができる。

第３バッファ２５２は、第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを保存する。具体的に、第２バッファ２５２は、第２マルチメディアデータからデマルチプレキシングされる第２ビデオデータを順次に保存することができる。

第２デコーダ２５３は、第３バッファ２５２に保存された第２ビデオデータをデコードし、第２ビデオフレームを生成することができる。具体的に、第２デコーダ２５２は、送信装置１００で第２ビデオデータをエンコードしたエンコーダ（図示せず）の逆過程を行い、第２ビデオデータＤＴＳとシステムクロックとが一致する瞬間、第２ビデオデータをデコードすることができる。特に、送信装置１００の第２ビデオデータをエンコードしたエンコーダ（図示せず）は、第２ビデオデータに対してＨ．２６４エンコードを行うことができ、それにより、受信装置２００の第２デコーダ２５２は、第２ビデオデータに対してＨ．２６４デコードを行うことができる。第２ビデオデータの映像フォーマットは、それに限定されず、ＨＥＶＣ等、現在利用可能な映像フォーマット及び今後開発され、本発明に適用可能な多様な映像フォーマットに応じてエンコード及びデコードされてよい。

第４バッファ２５４は、第２デコーダ２５３によって生成された第２ビデオフレームを保存する。具体的に、第４バッファ２５４は、第２ビデオデータが第２デコーダ２５３によってデコードされる順に応じて生成されるビデオフレームを順次に保存することができる。

一方、第１及び第２信号処理部２４０、２５０はデマルチプレキシングされたビデオデータ、オーディオデータ及び付加データをデパケット化するためのデパケット化部、デパケット化されたオーディオデータ及び付加データを処理するためのバッファ（図示せず）、デコーダ（図示せず）等の構成を更に含んでよく、デコードされたオーディオデータ及び付加データは、第１ビデオフレーム及び第２ビデオフレームと同期化またはレンダリングされて出力されてよい。ただ、本発明と直接関連がないため、その具体的な動作は省略する。

制御部２６０は、受信装置２６０の動作全般を制御することができる。具体的に、制御部２６０は、第１受信部２１０と、第２受信部２２０と、第１信号処理部２４０と、第２信号処理部２５０及びレンダリング部２７０のそれぞれを制御し、第１マルチメディアデータ及び第２マルチメディアデータを受信して処理するようにすることができる。

そして、制御部２６０は、デマルチプレキシングされた第１マルチメディアデータ及び第２マルチメディアデータからそれぞれタイムコード及びタイムスタンプに関する情報を検出することができる。図３を参照して説明したように、タイムコードはＥＳヘッダに、タイムスタンプはＰＥＳヘッダに挿入されてよい。よって、制御部２６０は、第１マルチメディアデータ及び第２マルチメディアデータがデマルチプレキシングされた後に、タイムコード及びタイムスタンプを検出することができる。より詳細には、制御部２６０はマルチメディアをデマルチプレキシングして生成されたＰＥＳのヘッダからタイムスタンプを検出することができ、ＰＥＳをデパケット化部（図示せず）によってデパケット化して生成されたＥＳのヘッダからタイムコードを検出することができる。

なお、マルチメディアデータがデマルチプレキシング及びデパケット化された後には、制御部２６０はいつでもタイムコードを検出することができる。すなわち、制御部２６０は、デマルチプレキシングされてバッファ２４２、２５２に保存されたビデオデータからタイムコードを検出することができ、またはデコーダ２４３、２５３によるデコード過程でタイムコードを検出することもできる。なお、デコードされてバッファ２４４、２５４に保存されたデータからタイムコードを検出することもできる。

そして、制御部２６０は、第１マルチメディアデータの第１タイムコードと第２マルチメディアデータの第２タイムコードとを比較し、一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出することができる。

例えば、同一のタイムコードを有する第１ビデオフレームと第２ビデオフレームとのうち、第１ビデオフレームのＰＴＳ（ＰＴＳ＿１）が１１５であり、第２ビデオフレームのＰＴＳ（ＰＴＳ＿２）が１００である場合、２フレームのＰＴＳ差は１５であってよい。ＤＴＳの場合も同様である。

制御部２６０は、算出されたタイムスタンプ情報の差を算出し、タイムスタンプを補正することで、第１ビデオデータ（または、第１ビデオフレーム）及び第２ビデオデータ（または、第２ビデオフレーム）を同期化することができる。例えば、ＰＴＳ＿１−ＰＴＳ＿２＝１５である場合、第１ビデオフレームが同一のタイムコードを有する第２ビデオフレームに比べて、１５フレームだけ遅れて出力されるようにＰＴＳを補正することができる。

ここで、制御部２６０は、算出されたタイムスタンプ情報の差を用いて、第１バッファ２４２及び第３バッファ２５２に保存された第１及び第２ビデオデータのうち、一つのＤＴＳを補正することにより、デコーダ２４３、２５３によってデコードされる前にビデオデータを同期化することができる。

なお、制御部２６０は、算出されたタイムスタンプ情報の差を用いて、第１デコーダ２４３及び第２デコーダ２５３のデコード過程で、第１ビデオデータ及び第２ビデオデータ（または、第１及び第２ビデオフレーム）のＤＴＳ（または、ＰＴＳ）を補正することで、ビデオデータを同期化することができる。

そして、制御部２６０は、算出されたタイムスタンプ情報の差を用いて、第２バッファ２４４及び第４バッファ２５４に保存された第１及び第２ビデオフレームのうち一方のＰＴＳを補正することで、レンダリング部２７０に入力される前にビデオフレームを同期化することができる。

レンダリング部２７０は、第１ビデオフレームと第２ビデオフレームとを用いて、レンダリングを行うことができる。具体的に、第１ビデオフレームと第２ビデオフレームとのＰＴＳがシステムクロックと一致する瞬間、第１ビデオフレームと第２ビデオフレームをレンダリングしてディスプレイ画面に出力することができる。

一方、レンダリング部２７０は、制御部２６０によって算出されたタイムスタンプ情報の差を用いて、第２バッファ２４４に保存された第１ビデオフレームと第４バッファ２５４に保存された第２ビデオフレームのうち、同期化される映像フレームを読み取ってレンダリングを行うことができる。

一方、上述の実施形態では、タイムコードが伝送ストリームのＥＳヘッダに挿入され、受信装置２００に伝送されるものとして説明したが、受信装置２００はタイムコードに関する情報を別途のストリームを受信し、第１ビデオデータ及び第２ビデオデータを同期化することができる。具体的に、受信装置２００は、第１受信部２１０または第２受信部２２０を介してサーバ等の外部装置から第１マルチメディアデータ及び第２マルチメディアデータのパケット順及び各パケットに含まれたビデオフレームのタイムコード及びＰＴＳ情報を含むマップテーブルを受信することができる。制御部２６０は、受信されたマップテーブルに含まれた第１マルチメディアデータ及び第２マルチメディアデータのタイムコード情報を比較し、一致するタイムコードを有する第１マルチメディアデータ及び第２マルチメディアデータのＰＴＳを比較し、ＰＴＳの差を算出することができる。

図６は、本発明の別の実施形態に係る受信装置の構成を示すブロック図である。図６によると、受信装置２００は、第１受信部２１０と、第２受信部２２０と、第１信号処理部２４０と、第２信号処理部２５０と、制御部２６０及びレンダリング部２７０だけでなく、保存部２８０を更に含んでよい。

受信装置２００がそれぞれ異なる網を通じて第１マルチメディアデータ及び第２マルチメディアデータを受信する場合、網特性に応じて受信時点に差を生じる場合がある。特に、第１マルチメディアデータは放送網で、第２マルチメディアデータはＩＰ網で伝送する場合、ＩＰ網の特性上、第２マルチメディアデータが受信装置に遅く伝送されてよい。第１マルチメディアデータと第２マルチメディアデータとが類似する時点で受信される場合、上述のタイムスタンプ補正で同期化が可能であるが、第１マルチメディアデータと第２マルチメディアデータとの受信時刻が大きくなる場合、ＰＴＳ補正のみで同期化することが不可であってよい。すなわち、第１マルチメディアデータ及び第２マルチメディアデータのうちの一方が遅く受信されると、同一のタイムコードを有するビデオフレームを見つけることができなくなり、各ビデオフレームの同期化ができなくなることがある。

それにより、受信装置２００は、第１マルチメディアデータまたは第２マルチメディアデータのうち、先に受信されるマルチメディアデータを遅延させるために、第１マルチメディアデータまたは第２マルチメディアデータを保存するための保存部２８０を含んでよい。ここで、保存部２８０は、ＰＶＲ（Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）のような装置で実現されてよい。以下では、説明の便宜上、第１マルチメディアデータは放送網を通じて受信され、第２マルチメディアデータはＩＰ網を通じて受信される場合を例えて説明する。

保存部２８０は、第１マルチメディアデータが放送網を通じて受信され、第２マルチメディアデータがＩＰ網を通じて受信される場合、第１受信部２１０を介して受信される第１マルチメディアデータを保存することができる。

制御部２６０は、保存部２８０に保存されたマルチメディアデータと同期化される第２マルチメディアデータが受信されると、第１マルチメディアデータを処理するように第１信号処理部２４０を制御することができる。ここで、制御部２６０は、保存部２８０に保存された第１マルチメディアデータに付加された第１タイムコード及び第２受信部２２０を介して受信される第２マルチメディアデータに付加された第２タイムコードを比較することで、保存部２８０に保存されたマルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断することができる。

具体的に、制御部２６０は、保存部２８０に保存された第１マルチメディアデータからタイムコードを検出する。図３を参照して説明しているように、タイムコードはＥＳヘッダに挿入されてよく、第１マルチメディアデータからタイムコードを検出するためには、保存部２８０に保存された第１マルチメディアデータをデマルチプレキシングしなければならない（より具体的には、第１マルチメディアデータのデマルチプレキシングで生成されたＰＥＳデータをデパケット化した後、タイムコードを検出することができる）。そのために、第１信号処理部は、第１デマルチプレクサ２４１を用いて第１マルチメディアデータをデマルチプレキシングすることができる。または、第１信号処理部２４０は、保存部２８０に保存された第１マルチメディアデータをデマルチプレキシングするための別途のデマルチプレクサ（図示せず）を具備することもできる。

なお、制御部２６０は、第２受信部２２０を介して第２マルチメディアデータが受信されると、制御部２６０は、第２マルチメディアデータからタイムコードを検出することができる。制御部２６０は、第２マルチメディアデータから検出したタイムコード及び保存部２８０に保存された第１マルチメディアデータから検出されたタイムコードを比較し、一致するタイムコードがある場合、保存部２８０に保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたと判断することができる。

一方、制御部２６０は、第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたと判断すると、第１マルチメディアデータ及び第２マルチメディアデータが同期化されて再生できるように、受信装置２００の各構成を制御することができる。それについては、図５を参照して説明しているため、具体的な説明は省略する。

一方、第１マルチメディアデータが保存部２８０に保存される条件に応じて、受信装置２００の動作が異なってよい。それについては、図７及び図８を参照して具体的に説明する。

図７は、本発明の一実施形態によって、第１マルチメディアデータを遅延させて処理する方法を説明するための図である。具体的に、図７は、受信装置２００が第１マルチメディアデータのみを処理して再生する途中、第１マルチメディアデータと第２マルチメディアデータとを連動して再生するためのユーザ命令を入力される場合、ユーザ命令が入力された時点から受信される第１マルチメディアデータを保存する場合について説明する図である。

ＲＦ網を通じて第１マルチメディアデータ７１０が受信されて保存される途中、第１マルチメディアデータと第２マルチメディアデータとを連動して再生するためのユーザ命令が入力された場合（例えば、２Ｄコンテンツ再生中、３Ｄコンテンツを再生するためのユーザ命令が入力された場合）、ユーザ命令が入力された時点以後に受信される第１マルチメディアデータ（図７の第１マルチメディアデータ７１０の４番パケット以後）が保存部２８０に保存される。

受信装置２００は、ユーザ命令が入力されると、第２マルチメディアデータを提供する送信装置１００またはサーバから第２マルチメディアデータを要求してＩＰ網を通じて第２マルチメディアデータ７２０を受信することができる。この場合、ユーザ命令が入力された時点から第１マルチメディアデータと第２マルチメディアデータとが同期化されて再生される時点までは、一定のディレイが存在する。例えば、受信装置２００が第２マルチメディアデータを要求して、最初の１番パケットを受信するまでは一定時間がかかってよく、更に、第２マルチメディアデータの１番パケットが受信される時点（ｔ１）から保存部２８０に保存された第１マルチメディアデータと同期されて再生される第２マルチメディアデータの４番パケットが受信される時点（ｔ２）まで一定時間がかかってよい。

それにより、受信装置２００は、ユーザ命令が入力された時点（ｔ０）から第２マルチメディアデータの４番パケットが受信される時点（ｔ２）まで、第１マルチメディアデータの再生を止め、第２マルチメディアデータの４番パケットが受信されると、第１マルチメディアデータと同期化して再生することができる。

または、受信装置２００は、ユーザ命令が入力されるとしても、第１マルチメディアデータのみで再生を行い、第２マルチメディアデータの４番パケットが受信されると（Ｓｔ２）、第１マルチメディアデータと第２マルチメディアデータとの４番パケットから再び同期化して再生することができる。

結果的に、受信装置２００は、ＩＰストリームを通じた第２マルチメディアデータの受信が遅延されるとしても、保存部２８０に保存された第１マルチメディアデータの処理を遅延させて第１マルチメディアデータと第２マルチメディアデータとを同期化して再生することができるようになる。

図８は、本発明の別の実施形態によって第１マルチメディアデータを遅延させて処理する方法を説明するための図である。具体的に、図８は、受信装置２００が第１マルチメディア８１０が最初に再生される時点から保存部２８０に第１マルチメディアデータを保存する場合（すなわち、第１マルチメディアデータの１番パケットから第１マルチメディアデータを保存する場合）を説明するための図である。

受信装置２００は、ＲＦ網を通じて第１マルチメディアデータ８１０を受信して再生し、第１マルチメディアデータの１番パケットから保存部２８０に保存する。その後、第１マルチメディアデータと第２マルチメディアデータとを連動して再生するためのユーザ命令が入力された場合、受信装置２００は送信装置１００またはサーバに第２マルチメディアデータ８２０を要求し、ＩＰ網を通じて受信することができる。第２マルチメディアデータの１番パケットが受信されると、受信装置２００は、保存部２８０に保存された第１マルチメディアデータのパケットのうち、第２マルチメディアデータの１番パケットと同期化されて再生される第１マルチメディアデータのパケット（すなわち、第１マルチメディアデータの１番パケット）を探して同期化して出力することができる。すなわち、第１マルチメディアデータ及び第２マルチメディアデータを同期化してマルチメディアコンテンツを最初から再び再生することができる。

結果的に、受信装置２００はＩＰストリームを通じた第２マルチメディアデータの受信が遅延されるとしても、保存部２８０に保存された第１マルチメディアデータの処理を遅延させ、第１マルチメディアデータと第２マルチメディアデータとを同期化して保存することができるようになる。

図９は、本発明の一実施形態に係る受信装置の受信方法を説明するためのフローチャートである。図９によると、第１マルチメディアデータを放送網を通じて受信し（Ｓ９１０）、第２マルチメディアデータをＩＰ網を通じて受信する（Ｓ９２０）。そして、第１マルチメディアデータを信号処理して第１ビデオフレームを生成する（Ｓ９３０）。第１ビデオフレームを生成するステップは、受信された第１マルチメディアデータをデマルチプレキシングするステップと、第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを第１バッファに保存するステップと、保存された第１ビデオデータをデコードして第１ビデオフレームを生成するステップと、第１ビデオフレームを第２バッファに保存するステップとを含んでよい。

そして、第２マルチメディアデータを信号処理して第２ビデオフレームを生成する（Ｓ９４０）。第２ビデオフレームを生成するステップは、受信された第２マルチメディアデータをデマルチプレキシングするステップと、第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを第３バッファに保存するステップと、保存された第２ビデオデータをデコードして第２ビデオフレームを生成するステップと、第２ビデオフレームを第４バッファに保存するステップとを含んでよい。

そして、第１マルチメディアデータの第１タイムコードと第２マルチメディアデータの第２タイムコードとを比較し、一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出する（Ｓ９５０）。

その後、タイムスタンプ情報の差を用いて、第１ビデオフレーム及び第２ビデオフレームのうち、互いに同期化されるビデオフレームをそれぞれ読み取ってレンダリングを行う（Ｓ９６０）。

一方、本発明の一実施形態に係る受信装置の受信方法は、タイムスタンプ情報の差を用いて、第１バッファ及び第３バッファに保存された第１ビデオデータ及び第２ビデオデータのうちの一方のタイムスタンプ情報を補正するステップを更に含んでよい。

なお、第１受信部を介して受信される第１マルチメディアデータを保存するステップを更に含んでよい。ここで、第１ビデオフレームを生成するステップは、第１マルチメディアデータと同期化される第２マルチメディアデータが受信されると、第１マルチメディアデータを信号処理することができる。

なお、第１ビデオフレームを生成するステップは、保存された第１マルチメディアデータに付加された第１タイムコード及び受信された第２マルチメディアデータに付加された第２タイムコードを比較し、保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断することができる。

そして、保存するステップは、第１マルチメディアデータと第２マルチメディアデータを同期化して再生するためのユーザ命令が入力されると、第１マルチメディアデータを保存することができる。

上述の本発明の多様な実施形態に係る方法を行うためのプログラムは多様な記録媒体に保存されて使用されてよい。

具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、端末機で読取可能な多様な記録媒体に保存されていてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (12)

1. 再生時間情報を含む第１タイムコードがタイム別に付加された第１マルチメディアデータを放送網を通じて受信する第１受信部と、
   再生時間情報を含む第２タイムコードがタイム別に付加された第２マルチメディアデータをＩＰ網を通じて受信する第２受信部と、
   前記第１マルチメディアデータを信号処理して第１ビデオフレームを生成する第１信号処理部と、
   前記第２マルチメディアデータを信号処理して第２ビデオフレームを生成する第２信号処理部と、
   前記第１マルチメディアデータの第１タイムコードと、前記第２マルチメディアデータの第２タイムコードとを比較して一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出する制御部と、
   前記タイムスタンプ情報の差を用いて、前記生成された第１ビデオフレーム及び第２ビデオフレームのうち、互いに同期化されるビデオフレームをそれぞれ読み取ってレンダリングを行うレンダリング部と、
   を含み、
   前記タイムスタンプ情報は、Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ（ＤＴＳ）及びＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）を含み、
   前記制御部は、
   前記タイムスタンプ情報の差に基づいて、前記第１及び第２マルチメディアデータのうち、一つのＤＴＳを補正し、
   前記第１及び第２マルチメディアデータは、
   ＥＳ（Ｅｌｅｍｅｎｔ Ｓｔｒｅａｍ）がマルチプレキシングされたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔ Ｓｔｒｅａｍ）形態であり、
   前記第１及び第２タイムコードは、前記ＥＳのヘッダに付加され、前記ＤＴＳ及びＰＴＳは、前記ＰＥＳのヘッダに付加されたものである、受信装置。
2. 前記第１信号処理部は、
   前記受信された第１マルチメディアデータをデマルチプレキシングする第１デマルチプレクサと、
   前記第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを保存する第１バッファと、
   前記第１バッファに保存された第１ビデオデータをデコードして第１ビデオフレームを生成する第１デコーダと、
   前記生成された第１ビデオフレームを保存する第２バッファと
   を含み、
   前記第２信号処理部は、
   前記受信された第２マルチメディアデータをデマルチプレキシングする第２デマルチプレクサと、
   前記第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを保存する第３バッファと、
   前記第３バッファに保存された第２ビデオデータをデコードして第２ビデオフレームを生成する第２デコーダと、
   前記生成された第２ビデオフレームを保存する第４バッファと
   を含むことを特徴とする請求項１に記載の受信装置。
3. 前記制御部は、
   前記タイムスタンプ情報の差を用いて、前記第１バッファ及び前記第３バッファに保存された第１ビデオデータ及び第２ビデオデータのうちの一方のタイムスタンプ情報を補正することを特徴とする請求項２に記載の受信装置。
4. 前記第１受信部を介して受信される第１マルチメディアデータを保存する保存部を更に含み、
   前記制御部は、
   前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されると、前記保存された第１マルチメディアデータを処理するように前記第１信号処理部を制御することを特徴とする請求項１に記載の受信装置。
5. 前記制御部は、
   前記保存部に保存された第１マルチメディアデータに付加された第１タイムコード及び前記第２受信部を介して受信される第２マルチメディアデータに付加された第２タイムコードを比較し、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断することを特徴とする請求項４に記載の受信装置。
6. 前記制御部は、
   前記第１マルチメディアデータと前記第２マルチメディアデータとを同期化して再生するためのユーザ命令が入力されると、前記第１マルチメディアデータを保存するように前記保存部を制御することを特徴とする請求項４に記載の受信装置。
7. 受信装置の受信方法において、
   再生時間情報を含む第１タイムコードがタイム別に付加された第１マルチメディアデータを放送網を通じて受信するステップと、
   再生時間情報を含む第２タイムコードがタイム別に付加された第２マルチメディアデータをＩＰ網を通じて受信するステップと、
   前記第１マルチメディアデータを信号処理して第１ビデオフレームを生成するステップと、
   前記第２マルチメディアデータを信号処理して第２ビデオフレームを生成するステップと、
   前記第１マルチメディアデータの第１タイムコードと、前記第２マルチメディアデータの第２タイムコードとを比較して一致するタイムコードを有するビデオフレームのタイムスタンプ情報の差を算出するステップと、
   前記タイムスタンプ情報の差を用いて、前記生成された第１ビデオフレーム及び第２ビデオフレームのうち、互いに同期化されるビデオフレームをそれぞれ読み取ってレンダリングを行うステップと
   を含み、
   前記タイムスタンプ情報は、Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ（ＤＴＳ）及びＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）を含み、
   前記受信方法は、
   前記タイムスタンプ情報の差に基づいて、前記第１及び第２マルチメディアデータのうち、一つのＤＴＳを補正するステップを更に含み、
   前記第１及び第２マルチメディアデータは、
   ＥＳ（Ｅｌｅｍｅｎｔ Ｓｔｒｅａｍ）がマルチプレキシングされたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔ Ｓｔｒｅａｍ）形態であり、
   前記第１及び第２タイムコードは、前記ＥＳのヘッダに付加され、前記ＤＴＳ及びＰＴＳは、前記ＰＥＳのヘッダに付加されたものである、受信方法。
8. 前記第１ビデオフレームを生成するステップは、
   前記受信された第１マルチメディアデータをデマルチプレキシングするステップと、
   前記第１マルチメディアデータからデマルチプレキシングされた第１ビデオデータを第１バッファに保存するステップと、
   前記保存された第１ビデオデータをデコードして第１ビデオフレームを生成するステップと、
   前記生成された第１ビデオフレームを第２バッファに保存するステップと
   を含み、
   前記第２ビデオフレームを生成するステップは、
   前記受信された第２マルチメディアデータをデマルチプレキシングするステップと、
   前記第２マルチメディアデータからデマルチプレキシングされた第２ビデオデータを第３バッファに保存するステップと、
   前記保存された第２ビデオデータをデコードして第２ビデオフレームを生成するステップと、
   前記生成された第２ビデオフレームを第４バッファに保存するステップと
   を含むことを特徴とする請求項７に記載の受信方法。
9. 前記タイムスタンプ情報の差を用いて、前記第１バッファ及び前記第３バッファに保存された第１ビデオデータ及び第２ビデオデータのうちの一方のタイムスタンプ情報を補正するステップを更に含むことを特徴とする請求項８に記載の受信方法。
10. 前記受信された第１マルチメディアデータを保存するステップを更に含み、
    前記第１ビデオフレームを生成するステップは、
    前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されると、前記保存された第１マルチメディアデータを信号処理することを特徴とする請求項７に記載の受信方法。
11. 前記第１ビデオフレームを生成するステップは、
    前記保存された第１マルチメディアデータに付加された第１タイムコード及び前記受信された第２マルチメディアデータに付加された第２タイムコードを比較し、前記保存された第１マルチメディアデータと同期化される第２マルチメディアデータが受信されたか否かを判断することを特徴とする請求項１０に記載の受信方法。
12. 前記保存するステップは、
    前記第１マルチメディアデータと前記第２マルチメディアデータとを同期化して再生するためのユーザ命令が入力されると、前記第１マルチメディアデータを保存することを特徴とする請求項１０に記載の受信方法。

Images