JP5924728B2 - 信号処理装置及びプログラム - Google Patents

Description

本発明は、複数の異なる伝送路から伝送されてくる信号に対して同期処理を行う機能を有する信号処理装置及びプログラムに関する。

近年、放送のデジタル化と通信のブロードバンド化の進展に伴い、放送通信連携サービスの実現に向けた研究開発が行われている。

ここで、以下に一般的な同期処理について説明する。特許文献１に示すように、受信機は、受信した信号（トランスポートストリーム（ＴＳ））を映像ＴＳ、音声ＴＳ及びＰＣＲに分離する。なお、ＰＣＲは、送信機で符号化された時の基準時間（ＳＴＣ）を受信機のＳＴＣ再生部で再現するときに参照されるタイムスタンプである。

映像ＴＳや音声ＴＳには、それぞれアクセスユニットと呼ばれる復号・再生の単位がある。このアクセスユニットには、その単位ごとに基準時間のどこで復号し、いつ再生すればよいかを示すタイムスタンプ（ＰＴＳ（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ ｓｔａｍｐ）、ＤＴＳ（ｄｅｃｏｄｉｎｇ ｔｉｍｅ ｓｔａｍｐ））がＰＥＳパケットヘッダに記述されている。ＰＴＳは、アクセスユニットを再生するときに利用されるタイムスタンプである。

映像ＴＳは、映像バッファで一時的に蓄えられた後、ＳＴＣ再生部で再生されたＳＴＣに基づいて、個々のＰＴＳとの間で同期を図り、同期したＰＴＳに対応するアクセスユニットを映像ＰＥＳとして出力する。映像ＰＥＳは、映像デコーダに出力されて、復号後に映像として表示部に提示される。

また、音声ＴＳも同様に、音声バッファで一時的に蓄えられた後、ＳＴＣ再生部で再生されたＳＴＣに基づいて、音声ＴＳに含まれているＰＴＳとの間で同期を図り、同期したＰＴＳに対応するアクセスユニットを音声ＰＥＳとして出力する。音声ＰＥＳは、音声デコーダに出力されて、復号後に音声としてスピーカから出力される。

なお、ＭＰＥＧ−２ビデオで符号化されたストリームは、復号する順序と再生する順序が異なる場合がある。この場合には、ＰＴＳに加えて復号するタイムスタンプを示すＤＴＳが付加される。
このようにして、受信機は、ＰＴＳとＤＴＳにより映像と音声について同期再生の処理を行っている。

特開２００３−２５９３１２号公報

ところで、放送通信連携サービスにおいては、放送と通信という異なる伝送路を用いてコンテンツを配信し、デジタルテレビ等の受信機において、複数のコンテンツを同期させて提示する形態が考えられる。

ここで、受信機では、映像や音声等のストリーム信号を再生する際には、データ放送等から再生をコントロールするソフトウェア上のプレーヤーオブジェクトを用いている。複数のストリーム信号を同期させて再生するには、通常、各プレーヤーオブジェクト同士が再生を行う前に同期関係の設定を行う必要がある。よって、再生開始後に同期関係の設定を行うことができない。また、プレーヤーオブジェクトには、同期の精度を制御する機能も提供されない。

また、放送番組の再生を制御するデータ放送等では、放送波に多重化して含まれている映像と音声は、選局後（例えば、リモコン等によりチャンネルを変更した後）、直ちにプレーヤーオブジェクトにより映像と音声の再生が行われる。したがって、データ放送アプリケーションが起動した段階においては、プレーヤーオブジェクトはすでに再生状態になっている。

また、放送通信連携サービスにおいては、同期再生をするための基準として、放送波を利用するケースが多いと考えられる。そうすると、放送波に基づいて映像と音声の再生を行っているときに、通信経由で受信したコンテンツを放送波に同期して再生を行う場合には、放送波の映像と音声の再生を一旦停止させないと、通信経由で受信したコンテンツを放送波に同期して再生することができない。

また、字幕や音声等、同期の対象となるメディアによって要求される同期精度が異なる場合があり、柔軟に同期精度を変更する技術が必要になる。

本発明は、一方の伝送路から伝送されてきた信号に対して再生処理を行っているときに、異なる伝送路から伝送されてきた信号を同期させる場合において、すでに開始されている再生処理を意図的に停止することなく、異なる伝送路から伝送されてきた信号をスムーズに同期して提示することができる信号処理装置及びプログラムを提供することを一つの目的とする。

本発明に係る信号処理装置は、第１の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第１の信号を受信する第１の受信部と、前記第１の信号を第１の同期信号と第１のコンテンツ信号に分離処理する第１の分離部と、前記第１のコンテンツ信号を記憶する第１の記憶部と、前記第１の記憶部に記憶されている前記第１のコンテンツ信号を読み出して復号処理する第１の復号部と、第２の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第２の信号を受信する第２の受信部と、前記第２の信号を第２の同期信号と第２のコンテンツ信号に分離処理する第２の分離部と、前記第２のコンテンツ信号を記憶する第２の記憶部と、前記第２の記憶部に記憶されている前記第２のコンテンツ信号を読み出して復号処理する第２の復号部と、前記第１の信号と前記第２の信号の主従関係を指示する主従関係指示部と、前記第１の受信部により前記第１の信号を受信し、かつ、前記第２の受信部により前記第２の信号を受信した場合には、前記主従関係指示部による指示にしたがって、前記第１の同期信号又は前記第２の同期信号のいずれかを基準同期信号に決定し、前記基準同期信号に基づいて、前記第１の復号部により復号処理された前記第１のコンテンツ信号と前記第２の復号部により復号処理された前記第２のコンテンツ信号を同期させて提示処理を行う提示処理部を備える構成とした。

かかる構成によれば、本発明に係る信号処理装置は、プレーヤーオブジェクトに対して同期再生のための基準同期の主従関係を設定する主従関係指示部を有するので、任意のタイミングで基準クロックを有するプレーヤーオブジェクトを選定することができる。これによって、例えば、Ｊａｖａ（登録商標）を用いた場合、従来のＪＭＦのような、制御の全てを委譲することによる同期再生とは異なり、同期再生の基準クロックの主従関係を行うので、すでに再生を開始しているプレーヤーオブジェクトが基準クロックを有するものとして選定し、異なる伝送路から伝送されてきた複数のコンテンツ信号に基づく映像等をスムーズに同期再生することができる。

また、信号処理装置では、前記主従関係指示部は、前記第１の受信部により前記第１の信号を受信し、前記提示処理部により前記第１の同期信号に基づいて前記第１の復号部により復号処理された前記第１のコンテンツ信号の提示処理を行っていた場合において、前記第２の受信部により前記第２の信号を受信した場合、前記第１の同期信号を前記基準同期信号に決定し、前記提示処理部は、前記主従関係指示部により決定された前記第１の同期信号に基づいて、前記第２の復号部により復号処理された前記第２のコンテンツ信号を前記第１の復号部により復号処理された前記第１のコンテンツ信号に同期して提示処理を行う構成でも良い。

かかる構成によれば、本発明に係る信号処理装置は、すでに再生を開始しているプレーヤーオブジェクトの再生クロックを主従関係指示部によって同期再生のための基準クロックに指示されるので、異なる伝送路から伝送されてきた映像等を、すでに再生を開始している映像等にスムーズに同期して再生することができる。

また、信号処理装置では、前記第１の同期信号を基準として、前記第２の同期信号との差分を検出する差分検出部と、前記差分検出部により検出された差分が所定の範囲を超えたかどうかを判定する判定部を備え、前記提示処理部は、前記判定部により差分が所定の範囲を超えると判定された場合には、前記第１のコンテンツ信号を前記第１の同期信号に基づいて提示処理を行う構成でも良い。

かかる構成によれば、本発明に係る信号処理装置は、異なる伝送路から伝送されてきた複数のコンテンツ信号の同期ずれが所定の範囲を超えて大きい場合には、一方のコンテンツ信号に基づく映像等のみを再生することができる。

また、信号処理装置では、前記第１のコンテンツ信号及び前記第２のコンテンツ信号の種類に基づいて、前記所定の範囲を調整する調整部を備える構成でも良い。

かかる構成によれば、本発明に係る信号処理装置は、異なる伝送路から伝送されてきた複数のコンテンツ信号の種類に基づいて、許容できる同期ずれの精度を適宜変更することができる。

また、信号処理装置では、前記第１の受信部は、前記第１の伝送路としての空間を介して送信されてくる前記第１の信号としての放送信号を受信し、前記第２の受信部は、前記第２の伝送路としての通信回線を介して送信されてくる前記第２の信号としての通信信号を受信する構成でも良い。

かかる構成によれば、本発明に係る信号処理装置は、放送信号に対して再生処理を行っているときに、インターネット等のＩＰ網から伝送されてきた信号を同期させる場合において、すでに開始されている再生処理を意図的に停止することなく、ＩＰ網から伝送されてきた信号をスムーズに同期して提示することができる。

また、本発明に係るプログラムは、第１の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第１の信号を受信する第１の受信部と、前記第１の信号を第１の同期信号と第１のコンテンツ信号に分離処理する第１の分離部と、前記第１のコンテンツ信号を記憶する第１の記憶部と、前記第１の記憶部に記憶されている前記第１のコンテンツ信号を読み出して復号処理する第１の復号部と、第２の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第２の信号を受信する第２の受信部と、前記第２の信号を第２の同期信号と第２のコンテンツ信号に分離処理する第２の分離部と、前記第２のコンテンツ信号を記憶する第２の記憶部と、前記第２の記憶部に記憶されている前記第２のコンテンツ信号を読み出して復号処理する第２の復号部と、前記第１の信号と前記第２の信号の主従関係を指示する主従関係指示部と、前記第１の受信部により前記第１の信号を受信し、かつ、前記第２の受信部により前記第２の信号を受信した場合には、前記主従関係指示部による指示にしたがって、前記第１の同期信号又は前記第２の同期信号のいずれかを基準同期信号に決定し、前記基準同期信号に基づいて、前記第１の復号部により復号処理された前記第１のコンテンツ信号と前記第２の復号部により復号処理された前記第２のコンテンツ信号を同期させて提示処理を行う提示処理部を備えるコンピュータを、信号処理装置として機能させる構成とした。

かかる構成によれば、本発明に係るプログラムは、プレーヤーオブジェクトに対して同期再生のための基準クロックの主従関係を設定する主従関係指示部を有するので、任意のタイミングで基準クロックを有するプレーヤーオブジェクトを選定することができる。これによって、例えば、Ｊａｖａ（登録商標）を用いた場合、従来のＪＭＦのような、制御の全てを委譲することによる同期再生とは異なり、同期再生の基準クロックの主従関係を行うので、すでに再生を開始しているプレーヤーオブジェクトが基準クロックを有するものとして選定し、異なる伝送路から伝送されてきた複数のコンテンツ信号に基づく映像等をスムーズに同期再生することができる。

本発明によれば、一方の伝送路から伝送されてきた信号に対して再生処理を行っているときに、異なる伝送路から伝送されてきた信号を同期させる場合において、すでに開始されている再生処理を意図的に停止することなく、異なる伝送路から伝送されてきた信号をスムーズに同期して提示することができる。

放送通信連携システムの構成を示す図である。 放送信号の伝送プロトコルのスタックを模式的に示す図である。 放送通信連携システムの信号処理装置としての受信機の構成を示す図である。 同期の主従関係の連鎖によるプレーヤーオブジェクト間の同期についての説明に供する図である。

以下、本発明の実施の形態について図面を参照して説明する。
放送通信連携システム１００は、図１に示すように、放送局１と、放送用アンテナ２と、受信機３と、情報配信サーバ４により構成されており、放送と通信の連携サービスを実現するシステムである。具体的には、放送通信連携システム１００では、受信機３において、ＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ：統合デジタル放送サービス）方式による放送サービスと、インターネットＮ等のＩＰ網による通信サービスとを連携する。ユーザは、受信機３によって、放送通信連携サービスを利用することができる。

放送局１から放送される放送信号は、放送設備によって放送されている従来のデジタル放送の放送信号と同一であり、詳細は後述するが、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｒｏａｄｃａｓｔ：社団法人電波産業会）標準規格で規定される。

放送局１は、図示しないが、番組編成設備、番組送出設備、送信設備等から構成される一般的なデジタル放送用の放送設備を有している。

また、放送局１は、コンテンツを含んだ放送信号を放送する。コンテンツには、放送スケジュールにしたがって放送される通常コンテンツである番組や、番組とは非同期に発生する緊急コンテンツであるイベントがある。例えば、イベントは、緊急警報信号や緊急地震速報、データ放送のモジュールアップデート、イベントメッセージ等であり、番組とは必ずしも連動して発生しない放送の内容である。

また、図２に放送信号の伝送プロトコルのスタックを示す。データ伝送方式は、デジタル放送で採用されている国際標準規格ＭＰＥＧ−２ Ｓｙｓｔｅｍｓを拡張した方式で、大きく分けて、データストリーム（独立ＰＥＳ）伝送方式とデータカルーセル伝送方式と、イベントメッセージ伝送方式からなる。

独立ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）伝送方式は、字幕・速報スーパー等の文字・図形のストリームや、テレビ映像・音声と独立した映像・音声ストリームを伝送するための方式である。

データカルーセル伝送方式は、受信機３にとっては仮想メモリを提供する伝送方式である。データカルーセルは、その名が示す回転木馬のように、同一のファイルセットを一定周期ごとに繰り返し伝送することによって実現される。

イベントメッセージ伝送方式は、放送局１から受信機３に対して、トリガ信号を送るための方式である。この方式は、放送局１が受信機３に対してデータ量が少ないメッセージを伝送するのに適した方式である。例えば、視聴者参加型のクイズ番組で、視聴者が回答するまでの時間を競争するような場合、放送局１が全視聴者に対して回答開始のトリガ信号を送るような使い方が考えられる。

マルチメディア符号化（ＢＭＬ：Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）は、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）が定義したｘＨＴＭＬを基礎とし、手続き型言語にはＪａｖａ Ｓｃｒｉｐｔ（登録商標）を基礎とした、ＥＣＭＡ Ｓｃｒｉｐｔを用いて国際標準との整合性を考慮して定義された規格である。

受信機３は、上述した形式の放送信号を受信し、所定の処理を行うことにより、番組の表示画面及び音声を同期して出力する機能を有している。また、受信機３は、アプリケーションを実行し、実行されているアプリケーションがインターネットＮ等のＩＰ網を経由して情報配信サーバ４から取得したコンテンツの表示画面及び音声を、番組の表示画面及び音声に連携させて出力する機能を有している。以下に受信機３の具体的な構成について説明する。

例えば、受信機３は、様々なアプリケーションが利用可能な状態である場合、放送番組の表示画面（以下、「放送画面」という。）に、インターネットＮ等のＩＰ網を経由してアプリケーションが取得したコンテンツの表示画面（以下、「アプリケーション画面」という。）を重ね合わせて表示することができる。

また、受信機３は、放送信号を用い、放送番組単位で、又は、放送番組とは非同期に、放送番組とアプリケーション間の画面表示方法及び音声出力方法を制御する。
画面表示方法には、例えば、放送画面のみを表示する、放送画面とアプリケーション画面を重ねてあるいは隣り合わせに表示する、等の方法がある。また、音声出力方法には、放送番組の音声のみを出力する、放送番組の音声とアプリケーションの音声を独立にあるいは混合して出力する、等の方法がある。

また、受信機３は、例えば、テレビ受信機、パーソナルコンピュータ、携帯端末等のデバイスであり、放送局１から放送される放送信号の受信、及び、インターネットＮ等のＩＰ網を介した通信が可能な受信機である。

情報配信サーバ４は、静止画や、動画等のコンテンツを配信するコンテンツ配信サーバと、受信機３で動作する各種のアプリケーションを配信するアプリケーション配信サーバを兼ねている。

なお、受信機３は、インターネットＮ等のＩＰ網を介して情報配信サーバ４からアプリケーションを取得するのみでなく、他の経路により取得しても良い。例えば、アプリケーションは、放送信号に重畳されて受信機３に提供されても良いし、スマートメディアや光ディスク等の情報記録媒体に記憶されて受信機３に提供されても良いし、工場出荷時に受信機３の内部メモリに記憶されても良い。

このように構成される放送通信連携システム１００の受信機３は、異なる伝送路から配信されてきた複数のコンテンツをスムーズに同期して提示する機能を有している。以下に、当該機能を実現するための一の構成例について説明する。

信号処理装置としての受信機３は、図３に示すように、第１の処理部３１と、第２の処理部３２と、主従関係指示部３３と、提示処理部３４を備える。
第１の処理部３１は、一つのプレーヤーオブジェクトの内部構造を模式的に示しており、第１の受信部３１１と、第１の分離部３１２と、第１の記憶部３１３と、第１の復号部３１４を備え、第１の伝送路から伝送されてくる信号に対して所定の処理を行う。

第１の受信部３１１は、第１の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第１のストリーム信号（以下では、「第１の信号」という。）を受信する。第１の信号は、例えば、映像信号や音声信号や字幕信号等から構成される第１のコンテンツ信号と、第１の同期信号が多重化された信号である。第１の分離部３１２は、第１の信号を第１の同期信号と第１のコンテンツ信号に分離処理する。

第１の記憶部３１３は、第１のコンテンツ信号を記憶する。第１の復号部３１４は、第１の記憶部３１３に記憶されている第１のコンテンツ信号を読み出して復号処理する。

また、第２の処理部３２は、第１の処理部３１とは異なるプレーヤーオブジェクトの内部構造を模式的に示しており、第２の受信部３２１と、第２の分離部３２２と、第２の記憶部３２３と、第２の復号部３２４を備え、第２の伝送路から伝送されてくる信号に対して所定の処理を行う。

第２の受信部３２１は、第２の伝送路から伝送されてくる信号であって、複数の信号が多重化されてなる第２のストリーム信号（以下、「第２の信号」という。）を受信する。第２の信号は、例えば、映像信号や音声信号や字幕信号等から構成される第２のコンテンツ信号と、第２の同期信号が多重化された信号である。第２の分離部３２２は、第２の信号を第２の同期信号と第２のコンテンツ信号に分離処理する。

第２の記憶部３２３は、第２のコンテンツ信号を記憶する。第２の復号部３２４は、第２の記憶部３２３に記憶されている第２のコンテンツ信号を読み出して復号処理する。

主従関係指示部３３は、第１の信号と第２の信号の主従関係を指示する。提示処理部３４は、第１の受信部３１１により第１の信号を受信し、かつ、第２の受信部３２１により第２の信号を受信した場合には、主従関係指示部３３による指示にしたがって、第１の同期信号又は第２の同期信号のいずれかを基準同期信号に決定し、基準同期信号に基づいて、第１の復号部３１４により復号処理された第１のコンテンツ信号と第２の復号部３２４により復号処理された第２のコンテンツ信号を同期させて提示処理を行う。提示処理部３４により処理された映像や文字は、ディスプレイ３８に出力され、提示処理部３４により処理された音声は、スピーカ３９に出力される。

また、主従関係指示部３３は、放送信号を「主」になり、ＩＰ網から伝送されてきた信号（通信信号）を「従」になるように予め設定しておいても良いし、放送信号と通信信号を比較して、安定している方を「主」としても良いし、放送信号又は通信信号に含まれている情報に基づいて、いずれかを「主」に指示しても良い。

このように構成される受信機３は、プレーヤーオブジェクトに対して同期再生のための基準クロックの主従関係を設定する主従関係指示部３３を有するので、任意のタイミングで基準クロックを有するプレーヤーオブジェクトを選定することができる。これによって、例えば、Ｊａｖａ（登録商標）を用いた場合、従来のＪＭＦのような、制御の全てを委譲することによる同期再生とは異なり、同期再生の基準クロックの主従関係を行うので、すでに再生を開始しているプレーヤーオブジェクトが基準クロックを有するものとして選定し、異なる伝送路から伝送されてきた複数のコンテンツ信号に基づく映像等をスムーズに同期再生することができる。

なお、第１の同期信号がＰＣＲ（ｐｒｏｇｒａｍ ｃｌｏｃｋ ｒｅｆｅｒｅｎｃｅ）である場合には、図示しないＳＴＣ（ｓｙｓｔｅｍ ｔｉｍｅ ｃｌｏｃｋ）再生部は、第１の同期信号であるＰＣＲに基づいて、ＳＴＣを生成し、生成したＳＴＣを第１の記憶部３１３に供給する。第１の記憶部３１３は、ＳＴＣ再生部から供給されたＳＴＣの時刻に基づいて、第１のコンテンツ信号からＤＴＳ（ｄｅｃｏｄｅ ｔｉｍｅ ｓｔａｍｐ）とＰＴＳ（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ ｓｔａｍｐ）を抽出し、第１のコンテンツ信号と共にＤＴＳとＰＴＳを第１の復号部３１４に供給する。

また、同様に、第２の同期信号がＰＣＲである場合には、図示しないＳＴＣ（ｓｙｓｔｅｍ ｔｉｍｅ ｃｌｏｃｋ）再生部は、第２の同期信号であるＰＣＲに基づいて、ＳＴＣを生成し、生成したＳＴＣを第２の記憶部３２３に供給する。第２の記憶部３２３は、ＳＴＣ再生部から供給されたＳＴＣの時刻に基づいて、第２のコンテンツ信号からＤＴＳ（ｄｅｃｏｄｅ ｔｉｍｅ ｓｔａｍｐ）とＰＴＳ（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ ｓｔａｍｐ）を抽出し、第２のコンテンツ信号と共にＤＴＳとＰＴＳを第２の復号部３２４に供給する。

また、例えば、主従関係指示部３３により、第１の伝送路から伝送されてくる第１の信号が「主」に指示され、第２の伝送路から伝送されてくる第２の信号が「従」に指示された場合には、提示処理部３４は、第１の同期信号に基づいて、第１のコンテンツ信号と第２のコンテンツ信号を同期させて提示処理する。

また、提示処理部３４は、例えば、第１の同期信号に基づいて、第１のコンテンツ信号の所定の位置（ファイルの先頭から「１０００」バイト目）と、第２のコンテンツ信号の所定の位置（ファイルの先頭から「１１００」バイト目）が同期するようにオフセットを設定できる構成でも良い。

なお、上述では、受信機３の構成について説明したが、これに限られず、各構成要素を備え、異なる伝送路から配信されてきた複数のコンテンツをスムーズに同期して提示するコンピュータを受信機として機能させるプログラムにより構成されても良い。

ここで、主従関係指示部３３には、図示しないが、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）として、二つ以上の同期信号が入力された場合に、一方を他方に追従させる同期信号追従部が備えられている。同期信号追従部は、初期状態（第１の伝送路からのみ信号が伝送されてくる状態）として、第１の分離部３１２から供給される第１の同期信号をそのまま提示処理部３４に引き渡す、いわば単なる電線のようなものとして初期化される。この状態では、同期信号追従部は、与えられた同期信号（第１の同期信号）を提示処理部３４にそのまま引き渡す以外の機能を有さない。

しかし、プレーヤーオブジェクト（提示処理部３４）がディスプレイ３８やスピーカ３９に情報の提示を開始した後であっても、同期信号追従部は、第２の同期信号に対して第１の同期信号が同期するように、同期信号を組み替える機能を有するように、機能を変更することができる。

これは、本発明により定義されるＡＰＩを呼び出すことによって実現される。
同期信号追従部は、機能を組み替えた後は、第２の同期信号に追従する同期信号を生成して提示処理部３４に与えることにより、提示処理部３４は、第２の同期信号に追従して提示を行うようになる。

図示しないが、受信機３は、ＡＰＩとして、同期信号供給部を備える構成でも良い。同期信号供給部は、第２の同期信号に相当する信号を他のプレーヤーオブジェクトに与える機能を有するが、初期状態としては存在しない。必要に応じて、本発明によって定義されるＡＰＩを呼び出すことによって、提示処理部３４が提示を開始した後であってもこの機能をプレーヤーオブジェクト内に生成することができ、他のプレーヤーオブジェクトに対して同期信号を供給することが可能になる。

また、同期の主従関係は、複数のプレーヤーオブジェクトそれぞれにおいて、同期信号追従部と同期信号供給部を必要に応じて生成して、これらの間で同期信号を受け渡すことにより実現される。

例えば、プレーヤーオブジェクトＡとプレーヤーオブジェクトＢの二つがある場合において、プレーヤーオブジェクトＡの同期信号供給部及びプレーヤーオブジェクトＢの同期信号追従部を生成して、プレーヤーオブジェクトＡの同期信号供給部をプレーヤーオブジェクトＢの同期信号追従部を接続することにより、プレーヤーオブジェクトＡの同期信号によってプレーヤーオブジェクトＢは提示を行うようになる。つまり、この場合、プレーヤーオブジェクトＡが「主」であり、プレーヤーオブジェクトＢが「従」の関係になる。

また、受信機３は、以下に示す機能（ＡＰＩ）を付加することができる。
第１の機能は、同期の主従関係を指示し、実際に同期が確立したら、指示された「従」側のプレーヤーオブジェクトを当該メディアの再生の「主」とする機能である。

また、第２の機能は、確立した同期関係が何らかの理由によって、保てなくなった場合には、その対処法を同期の主従関係の指示を与えるとき（すなわち、ＡＰＩを呼び出すとき）に併せて指示する機能である。

また、第３の機能は、同期の主従関係の連鎖を可能にすることによって、複数の同期関係を持つプレーヤーオブジェクト群の同期をまとめて確立する機能である。

この第３の機能によれば、例えば、図４に示すように、プレーヤーオブジェクトＡを「主」（Ｍ１）とし、プレーヤーオブジェクトＢを「従」（Ｓ１）として同期しており、また、プレーヤーオブジェクトＣを「主」（Ｍ２）とし、プレーヤーオブジェクトＤを「従」（Ｓ２）として同期している場合において、プレーヤーオブジェクトＡを「主」とし、他のプレーヤーオブジェクトＢ乃至Ｄが「従」として同期させる場合には、第３の機能を利用することにより、プレーヤーオブジェクトＣとプレーヤーオブジェクトＤの関係を解除することなく、一括して「従」にして同期関係を確立することができるので、個別に同期を確立するよりも、同期確立の動作を簡略化することができる。

また、主従関係指示部３３は、第１の受信部３１１により第１の信号を受信し、提示処理部３４により第１の同期信号に基づいて第１の復号部３１４により復号処理された第１のコンテンツ信号の提示処理を行っていた場合において、第２の受信部３２１により第２の信号を受信した場合、第１の同期信号を基準同期信号に決定する。

また、提示処理部３４は、主従関係指示部３３により決定された第１の同期信号に基づいて、第２の復号部３２４により復号処理された第２のコンテンツ信号を第１の復号部３１４により復号処理された第１のコンテンツ信号に同期して提示処理を行う。

このように構成される受信機３では、すでに再生を開始しているプレーヤーオブジェクトの再生クロックを主従関係指示部３３によって同期再生のための基準クロックとして指示されるので、異なる伝送路から伝送されてきた映像等を、すでに再生を開始している映像等を意図的に停止することなく、スムーズに同期して再生することができる。

また、受信機３は、図３に示すように、差分検出部３５と、判定部３６を備える構成でも良い。
差分検出部３５は、第１の同期信号を基準として、第２の同期信号との差分を検出する。判定部３６は、差分検出部３５により検出された差分が所定の範囲を超えたかどうかを判定する。

このような構成においては、提示処理部３４は、判定部３６により差分が所定の範囲を超えると判定された場合には、第１のコンテンツ信号を第１の同期信号に基づいて提示処理を行う。

例えば、受信機３は、第１のコンテンツ信号と第２のコンテンツ信号を同期して再生処理を行っているときに、第２のコンテンツ信号に遅延が生じ、同期ずれが大きくなった場合には、第１の同期信号に基づいて第１のコンテンツ信号のみを再生するので、同期ずれが生じた際に全てのコンテンツ信号の再生が停止することがなく、一定のサービスを担保することができる。

このようにして、受信機３は、異なる伝送路から伝送されてきた複数のコンテンツ信号の同期ずれが所定の範囲を超えるほど大きい場合には、一方のコンテンツ信号に基づく映像等のみを再生することができる。

また、受信機３は、図３に示すように、第１のコンテンツ信号及び第２のコンテンツ信号の種類に基づいて、判定部３６の判定基準である所定の範囲を調整する調整部３７を備える構成でも良い。

例えば、第１のコンテンツ信号に含まれている映像信号（立体視（右目立体視）用の映像信号）と、第２のコンテンツ信号に含まれている映像信号（立体視（左目立体視）用の映像信号）とにより、立体的な映像（３Ｄ映像）を表示する場合には、一方を奇数フレームとし、他方を偶数フレームとするので、フレームレベルでの同期精度が必要となる。

この場合には、調整部３７は、判定部３６の判定基準である所定の範囲をフレームレベルに相当するように狭く調整する。

したがって、受信機３は、第１のコンテンツ信号と第２のコンテンツ信号がフレームレベルで同期している場合、すなわち、調整部３７で調整された所定の範囲以内の場合には、立体的な映像としてディスプレイ３８に表示し、同期ずれがフレームレベルを超えた場合、すなわち、調整部３７で調整された所定の範囲を超えた場合には、一方のコンテンツ信号のみに基づく映像をディスプレイ３８に表示する。なお、受信機３は、同期ずれが生じて一方のコンテンツ信号のみに基づく映像をディスプレイ３８に表示しているときに、同期ずれが所定の範囲内に復帰した場合には、二つのコンテンツ信号を同期させて、立体的な映像としてディスプレイ３８に表示しても良い。

また、例えば、第１のコンテンツ信号に含まれている映像信号と、第２のコンテンツ信号に含まれている字幕信号とを同期させる場合には、上述したようなフレームレベルでの同期精度は要求されない。

この場合には、調整部３７は、判定部３６の判定基準である所定の範囲が広くなるように調整する。

したがって、受信機３は、第１のコンテンツ信号と第２のコンテンツ信号が、調整部３７で調整された所定の範囲以内の場合には、映像に同期して字幕を表示し、調整部３７で調整された所定の範囲を超えた場合には、映像のみをディスプレイ３８に表示する。なお、受信機３は、同期ずれが生じて映像のみをディスプレイ３８に表示しているときに、同期ずれが所定の範囲内に復帰した場合には、映像に同期して字幕を表示しても良い。

このようにして、受信機３は、異なる伝送路から伝送されてきた複数のコンテンツ信号の種類に基づいて、許容できる同期ずれの精度を適宜変更することができる。

また、第１の受信部３１１は、第１の伝送路としての空間を介して送信されてくる第１の信号としての放送信号を受信し、第２の受信部３２１は、第２の伝送路としての通信回線を介して送信されてくる第２の信号としての通信信号を受信する構成でも良い。

このようにして、受信機３は、放送信号に対して再生処理を行っているときに、インターネット等のＩＰ網から伝送されてきた信号を同期させる場合において、すでに開始されている再生処理を意図的に停止することなく、ＩＰ網から伝送されてきた信号をスムーズに同期して提示することができる。

また、受信機３では、放送局１から放送される放送信号を第１の信号とし、情報配信サーバ４から配信される通信信号を第２の信号として同期再生を行う構成を想定して説明したが、これに限られず、異なる放送局又はチャンネルにより放送された放送信号同士を同期再生する構成でも良いし、異なる情報配信サーバから伝送された通信信号同士を同期再生する構成であっても良い。また、受信機３は、３つ以上の異なる伝送路から伝送されてきた３つ以上の信号を同期させる構成であっても良い。

また、受信機３は、複数の信号を同期する処理を行っているときには、ディスプレイ３８に「ただ今同期中」等の表示を行っても良い。

１ 放送局
２ 放送用アンテナ
３ 受信機
４ 情報配信サーバ
３１ 第１の処理部
３２ 第２の処理部
３３ 主従関係指示部
３４ 提示処理部
３５ 差分検出部
３６ 判定部
３７ 調整部
３８ ディスプレイ
３９ スピーカ
３１１ 第１の受信部
３１２ 第１の分離部
３１３ 第１の記憶部
３１４ 第１の復号部
３２１ 第２の受信部
３２２ 第２の分離部
３２３ 第２の記憶部
３２４ 第２の復号部

Claims (6)

1. 第１の伝送路から伝送されてくる信号であって、第１のコンテンツを提示するための第１のコンテンツ信号を含む複数の信号が多重化されてなる第１の信号を受信する第１の受信部と、
   前記第１の信号を第１の同期信号と前記第１のコンテンツ信号に分離処理する第１の分離部と、
   前記第１のコンテンツ信号を記憶する第１の記憶部と、
   前記第１の記憶部に記憶されている前記第１のコンテンツ信号を読み出して復号処理する第１の復号部と、
   第２の伝送路から伝送されてくる信号であって、第２のコンテンツを提示するための第２のコンテンツ信号を含む複数の信号が多重化されてなる第２の信号を受信する第２の受信部と、
   前記第２の信号を第２の同期信号と前記第２のコンテンツ信号に分離処理する第２の分離部と、
   前記第２のコンテンツ信号を記憶する第２の記憶部と、
   前記第２の記憶部に記憶されている前記第２のコンテンツ信号を読み出して復号処理する第２の復号部と、
   前記第１の信号と前記第２の信号の主従関係を指示する主従関係指示部と、
   前記第１の受信部により前記第１の信号を受信し、かつ、前記第２の受信部により前記第２の信号を受信した場合には、前記主従関係指示部により前記第１の信号が主に指示された場合、前記第１の同期信号を基準同期信号に決定し、前記第２の信号が主に指示された場合、前記第２の同期信号を基準同期信号に決定し、決定された前記基準同期信号に基づいて、前記第１の復号部により復号処理された前記第１のコンテンツ信号と前記第２の復号部により復号処理された前記第２のコンテンツ信号を同期させて提示処理を行う提示処理部を備える信号処理装置。
2. 前記主従関係指示部は、前記第１の受信部により前記第１の信号を受信し、前記提示処理部により前記第１の同期信号に基づいて前記第１の復号部により復号処理された前記第１のコンテンツ信号の提示処理を行っていた場合において、前記第２の受信部により前記第２の信号を受信した場合、前記第１の信号を主に指示し、前記第１の同期信号を前記基準同期信号に決定し、
   前記提示処理部は、前記主従関係指示部により決定された前記第１の同期信号に基づいて、前記第２の復号部により復号処理された前記第２のコンテンツ信号を前記第１の復号部により復号処理された前記第１のコンテンツ信号に同期して提示処理を行う請求項１記載の信号処理装置。
3. 前記主従関係指示部により前記第１の信号が主に指示された場合、前記第１の同期信号を基準として、前記第２の同期信号との差分を検出し、前記主従関係指示部により前記第２の信号が主に指示された場合、前記第２の同期信号を基準として、前記第１の同期信号との差分を検出する差分検出部と、
   前記差分検出部により検出された差分が所定の範囲を超えたかどうかを判定する判定部を備え、
   前記提示処理部は、前記主従関係指示部により前記第１の信号が主に指示された場合に前記判定部により差分が所定の範囲を超えると判定された場合には、前記第１のコンテンツ信号を前記第１の同期信号に基づいて提示処理を行い、前記主従関係指示部により前記第２の信号が主に指示された場合に、前記判定部により差分が所定の範囲を超えると判定された場合には、前記第２のコンテンツ信号を前記第２の同期信号に基づいて提示処理を行う請求項１記載の信号処理装置。
4. 前記第１のコンテンツ信号及び前記第２のコンテンツ信号の種類に基づいて、前記所定の範囲を調整する調整部を備える請求項３記載の信号処理装置。
5. 前記第１の受信部は、前記第１の伝送路としての空間を介して送信されてくる前記第１の信号としての放送信号を受信し、
   前記第２の受信部は、前記第２の伝送路としての通信回線を介して送信されてくる前記第２の信号としての通信信号を受信する請求項１記載の信号処理装置。
6. コンピュータを、
   第１の伝送路から伝送されてくる信号であって、第１のコンテンツを提示するための第１のコンテンツ信号を含む複数の信号が多重化されてなる第１の信号を受信する第１の受信部、
   前記第１の信号を第１の同期信号と前記第１のコンテンツ信号に分離処理する第１の分離部、
   前記第１のコンテンツ信号を記憶する第１の記憶部、
   前記第１の記憶部に記憶されている前記第１のコンテンツ信号を読み出して復号処理する第１の復号部、
   第２の伝送路から伝送されてくる信号であって、第２のコンテンツを提示するための第２のコンテンツ信号を含む複数の信号が多重化されてなる第２の信号を受信する第２の受信部、
   前記第２の信号を第２の同期信号と第２のコンテンツ信号に分離処理する第２の分離部、
   前記第２のコンテンツ信号を記憶する第２の記憶部、
   前記第２の記憶部に記憶されている前記第２のコンテンツ信号を読み出して復号処理する第２の復号部、
   前記第１の信号と前記第２の信号の主従関係を指示する主従関係指示部、
   前記第１の受信部により前記第１の信号を受信し、かつ、前記第２の受信部により前記第２の信号を受信した場合には、前記主従関係指示部により前記第１の信号が主に指示された場合、前記第１の同期信号を基準同期信号に決定し、前記第２の信号が主に指示された場合、前記第２の同期信号を基準同期信号に決定し、決定された前記基準同期信号に基づいて、前記第１の復号部により復号処理された前記第１のコンテンツ信号と前記第２の復号部により復号処理された前記第２のコンテンツ信号を同期させて提示処理を行う提示処理部、
   として機能させるための信号処理プログラム。

Images