JP5595348B2 - マルチメディアコンテンツ同期システム及び方法 - Google Patents

Description

本発明は、マルチメディアコンテンツ同期システム及び方法に係り、特に、ネットワークに接続された複数地点の映像コンテンツ（蓄積ならびにライブのコンテンツ）を互いに共有、または、コンテンツ自身をライブで製作して協調動作を行う応用において、映像や音と照明の切替などのタイミングが、コンテンツ制作者の意図に合うように適切な時間遅れを保ちながら同期し、または、これらの信号（映像や音と照明の切替など）がコンテンツ視聴者に適切な範囲で同期して到達するように調整するための計測と制御の仕組みを有するマルチメディアコンテンツ同期システム及び方法に関する。

従来、映像コンテンツを再生する場合、特にネットワークで他地点から送信する場合、映像送信に関わるシステムの要素の処理時間などにより、映像と音の周期が、オリジナルのコンテンツにおける時間関係からずれてしまう問題があった。

これはいわゆるリップシンクといわれ、通常は映像処理時間の方が音の処理時間より長いために、音を遅延させる必要がある。

送信側から映像と音を同期して伝送し、受信側では映像と音の出力時の遅延差を計測し、計測した遅延分、受信側のサウンドシステムに計測した遅延差を遅延させることによって同期を実現してきた（例えば、特許文献1参照）。

近年、ネットワークにより複数地点との高精細なコンテンツ共有や、遠隔協調作業、双方向ライブパフォーマンスなどの応用が注目されている。このような状況から、単にリップシンクだけでなく、照明の切替などのタイミングが、映像、音と容易に同期できる仕組みが必要となる。

特開平１０−２８５４８３号公報

上記のように、従来はマルチメディアコンテンツを演出するための制御をマルチメディアコンテンツと容易に同期する仕組みが存在しなかった。

本発明は、上記の点に鑑みなされたもので、映像と音のメディア同期のみでなく、マルチメディアコンテンツを演出するために必要となる照明の切替などのタイミングが、容易に同期することが可能なマルチメディアコンテンツ同期システム及び方法を提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
演出制御情報と該演出制御情報の入力に伴う音を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値分遅延させて前記演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記演出制御情報による音と該演出制御情報の入力に伴う音との時間差に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果を前記演出制御情報を送信する際の前記遅延値として該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記演出制御情報を受信し、該マルチメディアコンテンツを再生する再生手段と、
前記演出制御情報に基づいてマルチメディアコンテンツを演出する演出手段と、を有する。

また、本発明（請求項２）は、前記演出制御信号が、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。

本発明（請求項３）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、演出制御情報と該演出制御情報の入力に伴う音を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップを行い、
前記受信地側システムは、
遅延値測定手段が、前記演出制御情報による音と該演出制御情報の入力に伴う音との時間差に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果を前記演出制御情報を送信する際の前記遅延値として該送信地側システムに送信する遅延測定ステップを行い、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値分遅延させて前記演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記演出制御情報を受信し、該マルチメディアコンテンツを再生する再生ステップと、
前記演出制御情報に基づいてマルチメディアコンテンツを演出する演出ステップと、
を行う。

また、本発明（請求項４）は、前記演出制御信号が、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。

本発明は、被演出制御地（受信地）側で、音に基づいてマルチメディアコンテンツと演出制御情報との遅延を測定し、その測定結果を演出制御地（送信地）側に送信し、演出制御地側で演出制御情報にだけ上記測定結果分の遅延を付加し、マルチメディアコンテンツと演出制御情報を被演出制御地に送信することにより、各拠点において、マルチメディアコンテンツの演出とマルチメディアコンテンツとをコンテンツ製作者の意図に合うように同期させることが可能となる。

本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成図である。 本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。 本発明の一実施の形態における送信側キューシステムの構成図である。 本発明の一実施の形態における受信地側キューシステムの構成図である。 本発明の一実施の形態における遅延値の測定のシーケンスチャートである。 本発明の一実施の形態における遅延地測定機能を示す図である。

以下図面と共に、本発明の実施の形態を説明する。

図１は、本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成を示す。

同図に示すシステムは、送信地側システム１００と受信地側システム２００及びそれらを接続するネットワーク３００から構成される。

送信地側システム１００は、カメラ１１０、エンコーダ１２０、マイク１３０、オーディオシステム１４０、照明制御用ＰＣ１５０、キューシステム１６０、照明制御装置１７０、照明器具１８０を有する。

受信地側システム２００は、デコーダ２１０、映像表示装置２２０、オーディオシステム２３０、スピーカ２４０、キューシステム２５０、照明制御装置２６０、照明器具２７０、遅延値通知部２８０、遅延値計算手段２９０を有する。

本発明では、照明の切替を映像と音に同期させるために、送受信側双方にキューシステム１６０，２５０を導入していることが特徴である。

図1に示す構成では、特許文献1等の方法により、受信地側システム２００の映像表示装置２２０の映像と、スピーカ２４０から出力される音声の遅延差Ｄｓを測定し、受信地側システム２００に送信する。受信地側のシステム２００はオーディオシステム２３０に受信した遅延Ｄｓを挿入する。これにより、受信地側システム２００では、映像と音声が同期して出力される。

また、送信地側システム１００、受信地側システム２００の照明器具１８０，２７０のオン／オフ、調光の制御は、送信地側システム１００では、照明制御装置１７０を照明制御用ＰＣ１５０から制御信号を送ることにより制御する。受信地側システム２００では、キューシステム２５０から出力された制御信号により照明制御装置２６０が照明器具２７０を制御する。

送信地側システム１００では、照明制御用ＰＣ１５０から出力された照明の切替を制御する制御信号は分岐され、照明制御装置１７０とキューシステム１６０の両方に入力される。

図２は、本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。

ステップ１００） 送信地側システム１００と受信地側システム２００との間で遅延値測定を行う。詳細については後述する。

ステップ１１０） 受信地側システム２００の遅延値通知部２８０において、測定された遅延値を送信地側システム１００のキューシステム１６０に送信する。

ステップ１２０） 送信地側システム１００のキューシステム１６０は、遅延値を受信する。

ステップ１３０） 照明制御用ＰＣ１５０は、照明の演出制御情報を照明制御装置１７０とキューシステム１６０に出力する。照明制御装置１７０は、演出制御情報に基づいて照明器具１８０のオン／オフを行う。

ステップ１４０） キューシステム１６０は、照明制御用PC１５０から取得した演出制御信号にステップ１２０で受信地側システム２００から受信した遅延値分の遅延を付加して受信地側システム２００のキューシステム２５０に制御情報を送信する。

図３は、本発明の一実施の形態における送信側キューシステムの構成を示す。

送信側キューシステム１６０は、入力側ネットワークインタフェース１６１、遅延付加部１６２、出力側インタフェース１６３から構成される。

キューシステム１６０は、照明制御用PC１５０から入力された制御信号を受信地側システム２００のキューシステム２５０に送信する。そのときに、設定した遅延値だけを遅延を付加して送信する。設定する遅延値については後述する。

図４は、本発明の一実施の形態における受信側キーシステムの構成を示す。

受信側キューシステム２５０は、入力側ネットワークインタフェース２５１、出力側ネットワークインタフェース２５２、音発生装置２５３から構成される。

受信側キューシステム２５０では、受け取った制御信号を受信地の照明制御装置２６０に送る。また、送信側のキューシステム１００に設定する遅延値を決定するための制御信号を送るときに、遅延値計測手段２９０の音発生装置２５３において音を発生させる。なお、音を発生させるか否かは、切り替えることができ、遅延値を決定するときだけ音を発生させるものとする。

送信地側のキューシステム１６０に設定する遅延値は、送信地の映像と音声が受信地側システム２００に伝送され出力される時間と、送信地側システム１００の照明の演出制御信号が受信地側システム２００に送信され、キューシステム２５０から照明制御装置２６０に送信されるまでの時間差である。この時間差の測定は、以下の方法で行う。

図５は、本発明の一実施の形態における遅延値の測定のシーケンスチャートであり、図６は、遅延値測定機能を示す図である。

送信地側システム１００のキューシステム１６０から、演出制御信号を受信地側システム２００に送信する（ステップ１０１）。受信地側システム２００の遅延値計測手段２９０は、キューシステム２５０から入力された当該演出制御信号による音（B）を発生させる。

照明制御用PC１５０において、上記のステップ１０１の処理に対する操作時のキーボード、または、マウスのボタンを打つことによって入力された音（A）が、当該PC１５０の近くに設置されたマイク１３０で集音され（ステップ１０３）、受信地側システム２００に送られる（ステップ１０４）。このとき、キューシステム１６０に設定する遅延値は０とする。

受信地側システム２００では、送られたキーボードのキーやマウスボタンを打つ音（A）を受信地システム２００のオーディオシステム２３０を用いてスピーカ２４０から出力する（ステップ１０５）
遅延値計測手段２９０のマイク２９１で音（A）と音（B）を集音して電気変換部２９２で電気信号に変換する（ステップ１０６）。その電気信号をオシロスコープ２９３に入力し、スピーカ２４０が出力した音の波形とキューシステム２５０が発生させた音の波形を観測することにより、音の発生時間の差を計測する（ステップ１０７）。その計測した差の値が、送信側のキューシステム１６０に設定する遅延値となる。なお、本実施の形態では、当該オシロスコープの計測は人が行うものであり、観測された遅延値は計測値入力部２９４から遅延値通知部２８０に入力されるものとする（ステップ１０８）。遅延値通知部２８０は、遅延値を送信地側システム１００のキューシステム１６０に送信する。

また、照明の制御だけではなく、特殊効果サウンドの制御等もＰＣから制御されている場合は、同じ構成のキューシステムで受信側でも同期をとることができる。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１００ 装置地側システム
１１０ カメラ
１２０ エンコーダ
１３０ マイク
１４０ オーディオシステム
１５０ 照明制御用ＰＣ
１６０ キューシステム
１６１ ネットワークインタフェース（入力側）
１６２ 遅延付加部
１６３ ネットワークインタフェース（出力側）
１７０ 照明制御装置
１８０ 照明器具
２３０ オーディオシステム
２４０ スピーカ
２５０ キューシステム
２５１ ネットワークインタフェース（入力側）
２５２ ネットワークインタフェース（出力側）
２５３ 音発生装置
２６０ 照明制御装置
２８０ 遅延値通知部
２９０ 遅延地計測手段
２９１ マイク
２９２ 変換部
２９３ オシロスコープ
２９４ 計測値入力部

Claims (4)

1. ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
   前記送信地側システムは、
   演出制御情報と該演出制御情報の入力に伴う音を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
   前記受信地側システムから取得した遅延値分遅延させて前記演出制御情報を該受信地側システムに送信する遅延制御手段と、
   を有し、
   前記受信地側システムは、
   前記演出制御情報による音と該演出制御情報の入力に伴う音との時間差に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果を前記演出制御情報を送信する際の前記遅延値として該送信地側システムに送信する遅延値測定手段と、
   前記送信地側システムから前記マルチメディアコンテンツと前記演出制御情報を受信し、該マルチメディアコンテンツを再生する再生手段と、
   前記演出制御情報に基づいてマルチメディアコンテンツを演出する演出手段と、
   を有することを特徴とするマルチメディアコンテンツ同期システム。
2. 前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
   請求項１記載のマルチメディアコンテンツ同期システム。
3. ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
   前記送信地側システムは、
   遅延測定指示手段が、演出制御情報と該演出制御情報の入力に伴う音を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップを行い、
   前記受信地側システムは、
   遅延値測定手段が、前記演出制御情報による音と該演出制御情報の入力に伴う音との時間差に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果を前記演出制御情報を送信する際の前記遅延値として該送信地側システムに送信する遅延測定ステップを行い、
   前記送信地側システムは、
   遅延制御手段が、前記受信地側システムから取得した前記遅延値分遅延させて前記演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
   前記受信地側システムは、
   再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記演出制御情報を受信し、該マルチメディアコンテンツを再生する再生ステップと、
   前記演出制御情報に基づいてマルチメディアコンテンツを演出する演出ステップと、
   を行うことを特徴とするマルチメディアコンテンツ同期方法。
4. 前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
   請求項３記載のマルチメディアコンテンツ同期方法。

Images