JP4534201B2

JP4534201B2 - 情報コミュニケーション端末装置

Info

Publication number: JP4534201B2
Application number: JP2005062347A
Authority: JP
Inventors: 真儀河野
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-09-30
Filing date: 2005-03-07
Publication date: 2010-09-01
Anticipated expiration: 2025-03-07
Also published as: JP2006129420A

Description

本発明は、複数の端末に同一内容の映像及び音声を含むコンテンツデータを再生しつつ、お互いに動画像および音声でコミュニケーションを図るための情報コミュニケーション装置に関するものである。

従来テレビやビデオなどから得られる音声映像の情報は個々の端末で独立して再生されるものであった。１端末に対して複数の視聴者が音声映像を視聴している場合、視聴者同士でお互いに感想を話しながら動画音声を見るなどのコミュニケーションをとることは可能であるが、異なる場所にある複数の端末の視聴者同士でコミュニケーションを取ることは不可能であった。

特開２００２−２１８２７７号公報ではその一つの解決策として、複数の端末で同一内容の音声映像信号を持つコンテンツデータを時刻同期させて表示させるための情報再生方法が提案されている。当該発明によるとネットワークを介して接続された複数の端末に再生スケジュール情報を配信し、前記端末は前記スケジュール情報にしたがって前記コンテンツデータを再生させる。

上記従来例によると同一内容のコンテンツデータが複数の端末で時刻同期して再生表示されるため、各端末を利用する視聴者同士が同じ情報を見ながらコミュニケーションを図ることができる。
特開２００２−２１８２７７号公報

しかしながら、上記従来例の問題点は、利用者がビデオカメラ、マイクなどを用いて撮影した音声映像信号（以下コミュニケーションデータと呼ぶ）を他の利用者の端末へ送信する際の通信にかかる時間と送信先端末での再生にかかる時間を考慮していないために、送信する側の端末での前記同一内容のコンテンツデータの再生時刻とコミュニケーションデータの撮影時刻との時刻関係が、受信する側の端末での前記同一内容のコンテンツデータの再生時刻と前記コミュニケーションデータの再生時刻との時刻関係と一致しないことである。

以下詳細に説明する。視聴者Ａと視聴者Ｂがおのおの自らの端末で同一内容のコンテンツデータを時刻同期再生して視聴し、その内容に関してコミュニケーションを図る場合を考える。視聴者Ａと視聴者Ｂは互いに身振りや音声でコミュニケーションデータを伝える。図３はこのようなコミュニケーションをとる際の各端末における表示画面の例を示したものである。これは１画面内にコンテンツ画面とコミュニケーション画面を同時に表示する例である。この場合、コンテンツデータの内容と互いにコミュニケーションを図っている視聴者Ａまたは視聴者Ｂの反応とのタイミングがずれるためにお互いの意図が相手に良好に伝わらない場合がある。

例えば、サッカーコンテンツを視聴者Ａと視聴者Ｂがそれぞれの端末でコミュニケーションをとりながら視聴している場合を図４を参照しながら説明する。ゴールした瞬間を時刻００：００としてこの瞬間に視聴者Ａが歓声をあげ、ガッツポーズをしたとする。しかし、視聴者Ｂの端末では、時刻同期再生されているコンテンツデータであるサッカーコンテンツは同時刻の００：００に再生されるのに対して、コミュニケーションデータとして送信されてくる視聴者Ａの歓声とガッツポーズは、ネットワーク伝送と自らの端末内での再生に要する時間である００：０５秒遅れて再生される。従って、受信側ではゴールシーンの後の得点表示シーンで歓声とガッツポーズが再生されてしまうこととなり、良好なコミュニケーションがとれない。

また、別の例としてコンテンツデータがダンスコンテンツの場合にリズムにあわせて視聴者Ａが踊ることを考える。視聴者Ａはリズムにあわせて踊っているつもりでも、視聴者Ｂの端末では、コンテンツデータは視聴者Ａの端末と同時刻に再生されるのに対して、コミュニケーションデータとして送信されてくる視聴者Ａが踊っている姿はネットワーク伝送と自らの端末内での再生に要する時間だけ遅れて再生され、結果として、ダンスコンテンツのリズムとコミュニケーションデータの視聴者Ａの踊っている姿がずれて表示されてしまい、良好なコミュニケーションがとれない。

本発明では、上記で述べたようなコミュニケーションを図る側の端末での、送信するコミュニケーションデータの撮影時刻とコンテンツデータの再生時刻との時刻関係と、コミュニケーションを図られる側の端末内での送信されてくるコミュニケーションデータの再生時刻とコンテンツデータの再生時刻との時刻関係とが一致しない問題を解決して、良好なコミュニケーションをとることができる端末装置（以下情報コミュニケーション端末装置と呼ぶ）を提供することを目的とする。

そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と（１２５、１３０、１３１）、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と（１２６）、
音声映像信号からなる放送コンテンツデータを受信再生する放送コンテンツデータ受信再生手段と（１２９）、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記放送コンテンツデータ受信再生手段により得られた放送コンテンツデータ再生信号とを同時出力する音声映像出力手段と（１２３、１２４）、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と（１２７）、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報と、自らの情報コミュニケーション端末内の時計から得られる時刻情報との差分を計算することで、前記コミュニケーションデータが他の情報コミュニケーション端末から自らの情報コミュニケーション端末に到達し再生されるまでに要する遅延時間を算出する遅延時間算出手段と（１２８）、
を備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られていると判断した場合は、前記放送コンテンツデータ受信再生手段は、自らの情報コミュニケーション端末内での前記放送コンテンツデータを再生するタイミングを、前記遅延時間算出手段により算出した前記遅延時間分だけ遅らせることを特徴とする情報コミュニケーション端末装置。
（２）通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と（１２５、１３０、１３１）、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と（１２６）、
同一の音声映像信号からなるコンテンツデータを、所定の時刻情報に従って前記他の情報コミュニケーション端末と時刻同期して再生するコンテンツデータ再生手段と（２２９）、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記コンテンツデータ再生手段により得られたコンテンツデータ再生信号とを同時出力する音声映像出力手段と（１２３、１２４）、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と（１２７）、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報を選択し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態であると判断した場合は、自らの情報コミュニケーション端末内の時計から得られる時刻情報を選択する時刻情報選択手段と（２２８）、
を備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態と判断した場合は、前記コンテンツデータ再生手段は、前記時刻情報選択手段により選択した前記コミュニケーションデータ内の撮影時刻情報に時刻同期させて前記コンテンツデータを再生し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態と判断した場合は、前記コンテンツデータ再生手段は、前記時刻情報選択手段により選択した前記自らの情報コミュニケーション端末内の時計から得られる時刻情報に時刻同期させて前記コンテンツデータを再生することを特徴とする情報コミュニケーション端末装置。
（３）通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と（１２５、１３０、１３１）、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と（１２６）、
ストリーミングコンテンツデータ配信用のサーバから配信される前記ストリームコンテンツデータを一時記憶し、前記一時記憶したストリーミングコンテンツデータを、所定の時刻情報に従って前記他の情報コミュニケーション端末と時刻同期して再生するストリーミングコンテンツデータ受信再生手段と（３２９）、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記ストリーミングコンテンツデータ受信再生手段により得られたストリーミングコンテンツデータ再生信号とを同時出力する音声映像出力手段と（１２３，１２４）、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と（１２７）、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報を選択し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態であると判断した場合は、自らの情報コミュニケーション端末内の時計から得られる時刻情報を選択する時刻情報選択手段と（２２８）、
を備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態と判断した場合は、前記ストリーミングコンテンツデータ受信再生手段は、前記時刻情報選択手段により選択した前記コミュニケーションデータ内の撮影時刻情報に時刻同期させて前記ストリーミングコンテンツデータを再生し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態と判断した場合は、前記ストリーミングコンテンツデータ受信再生手段は、前記時刻情報選択手段により選択した前記自らの情報コミュニケーション端末内の時計から得られる時刻情報に時刻同期させて前記ストリーミングコンテンツデータを再生することを特徴とする情報コミュニケーション端末装置。

本発明の請求項１では、他の情報コミュニケーション端末からコミュニケーションを図られる場合に、送信されてくるコミュニケーションデータに含まれる撮影時刻情報と自らの情報コミュニケーション端末内の時計から得られる時刻情報との差分を遅延時間として放送コンテンツデータの再生タイミングを遅らせる。

上記処理により、他の情報コミュニケーション端末からコミュニケーションを図られる場合に、送信されてくる前記コミュニケーションデータの再生時刻と前記放送コンテンツデータの受信再生時刻との時刻関係が、他の情報コミュニケーション端末における前記コミュニケーションデータの撮影時刻と前記放送コンテンツデータ受信再生時刻との時刻関係と同一の時刻関係にすることが可能となる。

従って、互いの情報コミュニケーション端末間において良好なコミュニケーションを取ることが可能となる。
また本発明の請求項２および請求項３では、他の情報コミュニケーション端末からコミュニケーションを図られる場合は、送信されてくるコミュニケーションデータに含まれる撮影時刻情報を使用してコンテンツデータの再生タイミングを制御し、他の情報コミュニケーション端末へコミュニケーションを図る場合は、自らの情報コミュニケーション端末内の時計から得られる時刻情報を使用して前記コンテンツデータの再生タイミングを制御する。

上記処理により、他の情報コミュニケーション端末からコミュニケーションを図られる場合に、自らの情報コミュニケーション端末へ送信されてくる前記コミュニケーションデータの再生時刻と前記コンテンツデータの再生時刻との時刻関係が、他の情報コミュニケーション端末における前記コミュニケーションデータ撮影時刻と前記コンテンツデータ再生時刻との時刻関係と同一の時刻関係にすることが可能となる。

また他の情報コミュニケーション端末へコミュニケーションを図る場合に、他の情報コミュニケーション端末へ送信するコミュニケーションデータの他の情報コミュニケーション端末での再生時刻とコンテンツデータの他の情報コミュニケーション端末での再生時刻との時刻関係が、自らの情報コミュニケーション端末における前記コミュニケーションデータ撮影時刻と前記コンテンツデータ再生時刻との時刻関係と同一の時刻関係にすることが可能となる。

従って、互いの情報コミュニケーション端末間において良好なコミュニケーションを取ることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

図１に本発明の第１の実施例の情報コミュニケーション端末の内部構成のブロック図を示す。また図７は前記第１の実施例情報コミュニケーション端末を２台使用してコミュニケーションを図る場合のシステム構成図である。本実施例では情報コミュニケーション端末を２台使用した例を示すが、使用する端末数は何台でも良い。

時計１２２は実時刻の時刻情報を出力する。電波時計やＮＴＰ(Network Time Protocol)を用いた時計が考えられるが、実装手段によらず、正確な時計であればどのようなものでも良い。

放送コンテンツデータ１０６は放送局１５０より各々の情報コミュニケーション端末へ放送電波、ケーブルなどの通信手段で配信される。したがって各情報コミュニケーション端末で同内容の放送コンテンツデータを再生する場合、再生タイミングは各情報コミュニケーション端末間で時刻同期がなされている。

自らの情報コミュニケーション端末から他の情報コミュニケーション端末へ送信するためのコミュニケーションデータは、マイク１０１及び音声入力部１２０で取り込まれる音声信号と、カメラ１０２及び映像入力部１２１取り込まれる映像信号と、時計１２２で得られる前記音声信号及び映像信号入力時の撮影時刻情報とを、データ合成部１２５において合成することで生成される。生成された送信用コミュニケーションデータは送信部１３０にて他の情報コミュニケーション端末へ送信される。

上記と同様の処理で他の情報コミュニケーション端末にて生成され送信されてくるコミュニケーションデータは、受信部１３１を介してデータ分解部１２６に送られる。データ分解部１２６では送られてきたコミュニケーションデータを、音声信号、映像信号、時刻情報に分離する。

上記処理にて得られる、放送コンテンツデータを再生して得られる音声映像信号、自らの情報コミュニケーション端末で撮影した音声映像信号、及び他の情報コミュニケーション端末から送信されてきたコミュニケーションデータを分離して得られた音声映像信号の３種類の音声映像信号は、音声信号は音声出力部１２３で音声混合され、映像信号は映像出力部１２４でマルチウインドウ合成され、それぞれスピーカ１０３及びディスプレイ１０４にて出力される。

また他の情報コミュニケーション端末から送信されてくるコミュニケーションデータ１０８には、他の情報コミュニケーション端末でコミュニケーションデータを撮影した時刻を示す撮影時刻情報が含まれており、データ分解部１２６で前記撮影時刻情報を取り出す。

この撮影時刻情報と時計１２２が出力する実時刻情報は、他の情報コミュニケーション端末と自らの情報コミュニケーション端末間のネットワーク伝送時間に遅延がある限り全く同一にはなりえず、常にコミュニケーションデータに含まれる撮影時刻情報の方が遅れた値になる。

つまり他のコミュニケーション端末で撮影されたコミュニケーションデータはネットワーク伝送と再生に要する時間分遅れて自らの情報コミュニケーション端末で再生されることになる。

一方、放送コンテンツデータは各情報コミュニケーション端末間で時刻同期して再生されている。従って、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、放送コンテンツデータの再生時刻との時刻関係は、他の情報コミュニケーション端末内での前記コミュニケーションデータの撮影時刻と前記放送コンテンツデータの受信再生時刻との時刻関係と一致していない。

例えば、サッカー番組を視聴者Ａと視聴者Ｂがそれぞれの端末でコミュニケーションをとりながら視聴している場合を図５を参照しながら説明する。ゴールした瞬間を時刻００：００としてこの瞬間に視聴者Ａが歓声をあげ、ガッツポーズをしたとする。しかし、視聴者Ｂの端末では、放送コンテンツデータであるサッカー番組は同時刻の００：００に再生されるのに対して、コミュニケーションデータとして送信されてくる視聴者Ａの歓声とガッツポーズは、ネットワーク伝送と自らの端末内での再生に要する時間である００：０５秒遅れて再生される。従って、図５の遅延時間０設定時に示すように、受信側ではゴールシーンの後の得点表示シーンで歓声とガッツポーズが再生されてしまうこととなる。

本実施例は、上記で述べたようなコミュニケーションを図る側の情報コミュニケーション端末内での送信するコミュニケーションデータの撮影時刻とコンテンツデータの再生時刻との時刻関係と、コミュニケーションを図られる側の情報コミュニケーション端末内での送信されてくるコミュニケーションデータの再生時刻とコンテンツデータの再生時刻との時刻関係とが一致しない課題を解消する手段を提供するものである。

遅延時間算出部１２８では、上記課題を解決するためにネットワーク伝送と自らの端末内での再生に要する遅延時間を算出する。具体的には他の情報コミュニケーション端末から送信されてくるコミュニケーションデータ内の撮影時刻情報と、自らの情報コミュニケーション端末内の時計から得られる実時刻情報との差分を計算する。これによりネットワーク伝送と自らの端末内での再生に要する遅延時間が得られる。得られた遅延時間を放送コンテンツデータ再生及び遅延処理部１２９に設定する。

放送コンテンツデータ再生及び遅延処理部１２９は設定された遅延時間分だけ放送コンテンツデータの再生を遅らせる。これにより、図５の遅延時間設定時に示すように、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、放送コンテンツデータの再生時刻との時刻関係を、他の情報コミュニケーション端末での前記コミュニケーションデータの撮影時刻と前記放送コンテンツデータの受信再生時刻との時刻関係と一致させることが可能となる。

前記遅延時間の設定をする必要があるのは、自らの情報コミュニケーション端末が他の情報コミュニケーション端末からコミュニケーションを図られている場合である。逆に他の情報コミュニケーション端末へコミュニケーションを図る場合には、放送コンテンツデータの再生時の前記遅延時間は０にしなければならない。

従って、自らの情報コミュニケーション端末が他の情報コミュニケーション端末へコミュニケーションを図っているのか、図られているのかのコミュニケーション状態を検出し、前記コミュニケーション状態に従って遅延時間を切り替える必要がある。

コミュニケーション状態検出器１２７は、上記遅延時間切り替え処理を行うためのコミュニケーション状態検出を行う。
コミュニケーション状態検出部１２７は自らの情報コミュニケーション端末から送信するコミュニケーションデータに含まれる音声映像信号と、他の情報コミュニケーション端末から送られてくるコミュニケーションデータに含まれる音声映像信号とを比較し、主にどちらからどちらにコミュニケーションが図られているかを判断する。例えば、情報コミュニケーション端末からの音声信号があり、自らの情報コミュニケーション端末からの音声信号が無音の場合は他の情報コミュニケーション端末から自らの情報コミュニケーション端末に向けてコミュニケーションを図っていると判断できる。さらに進んだコミュニケーション状態の検出方法として音声信号だけでなく、映像信号を利用し、画像認識技術により視聴者の手、顔、目の動きを解析して音声映像信号を総合して判断する等の方法等でも良い。

ここで、他の情報コミュニケーション端末から自らの情報コミュニケーション端末に向けてコミュニケーションが図られていると判断した場合、コミュニケーション状態検出部１２７は遅延時間算出部１２８に対して、算出した遅延時間を放送コンテンツデータ再生及び遅延処理部１２９に設定するように指示する。

逆に他の情報コミュニケーション端末へ自らの情報コミュニケーション端末からコミュニケーションを図っていると判断した場合、コミュニケーション状態検出部１２７は遅延時間算出部１２８に対して、遅延時間を０として放送コンテンツデータ再生及び遅延処理部１２９に設定するように指示する。

複数の他の情報コミュニケーション端末からコミュニケーションデータが送信されてくる場合、コミュニケーション状態検出部１２７は自らの情報コミュニケーション端末及び各々の他の情報コミュニケーション端末からのコミュニケーションデータを入力にして、前記検出処理と同様の処理をそれぞれの他の情報コミュニケーション端末毎に行う。そして、最もコミュニケーションを図っていると判断できる他の情報コミュニケーション端末からの遅延時間を算出して放送コンテンツデータ再生及び遅延処理部１２９に設定するように遅延時間算出部１２８に指示する。

図２に本発明の第２の実施例の情報コミュニケーション端末の内部構成のブロック図を示す。また図８は前記第２の実施例情報コミュニケーション端末を２台使用してコミュニケーションを図る場合のシステム構成図である。本実施例では情報コミュニケーション端末を２台使用した例を示すが、使用する端末数は何台でも良い。

コンテンツデータ２０６は各々の情報コミュニケーション端末で持っている。そして互いに持っているコンテンツデータ２０６を時刻同期させて再生する。以下に、そのコンテンツデータ２０６を各端末間で時刻同期させて再生する方法の一例を説明する。

コンテンツデータ２０６を各端末間で時刻同期させて再生するために、コンテンツ表示時刻データ２０７を用いる。このコンテンツ表示時刻データ２０７は、前記複数の端末のうち、最初に再生指示を行なう１台の端末のコンテンツデータ入力及び再生部２２９において生成され他の端末に出力する。このコンテンツ表示時刻データ２０７は、コンテンツデータの先頭を時刻００秒として以降一定再生周期の時間（例えば０３秒）毎にカウントアップする再生オフセット時刻情報と、その再生オフセット時刻情報に対応する位置のコンテンツデータを実際に再生する予定の実時刻情報とを組とする時刻データである。

他の各端末のコンテンツデータ入力及び再生部２２９は、このコンテンツ時刻表示データ２０７を受け取ったならば、再生予定の実時刻情報を参照して、この実時刻情報と組になっている再生オフセット時刻情報に対応する位置のコンテンツデータを自らの時計１２２から得られる実時刻情報に従って再生する。

このような方法により複数の情報コミュニケーション端末間でコンテンツデータの時刻同期再生が可能となる。
なお、再生オフセット時刻データに対応するコンテンツデータを実際に再生する予定の実時刻は、ネットワーク伝送に要する遅延時間を考慮して、各端末がコンテンツデータの再生を開始する時刻に十分に間に合う程度の将来の時刻に設定する必要がある。

自らの情報コミュニケーション端末から他の情報コミュニケーション端末へ送信するためのコミュニケーションデータは、マイク１０１及び音声入力部１２０で取り込まれる音声信号と、カメラ１０２及び映像入力部１２１取り込まれる映像信号と、時計１２２で得られる前記音声信号及び映像信号入力時の撮影時刻情報とを、データ合成部１２５において合成することで生成される。生成されたコミュニケーションデータは送信部１３０にて他の情報コミュニケーション端末へ送信される。

上記処理にて得られる、コンテンツデータを再生して得られる音声映像信号、自らの情報コミュニケーション端末で撮影した音声映像信号、及び他の情報コミュニケーション端末から送信されてきたコミュニケーションデータを分離して得られた音声映像信号の３種類の音声映像信号は、音声信号は音声出力部１２３で音声混合され、映像信号は映像出力部１２４でマルチウインドウ合成され、それぞれスピーカ１０３及びディスプレイ１０４に出力される。

また他の情報コミュニケーション端末から送信されてくるコミュニケーションデータ１０８には、他の情報コミュニケーション端末でコミュニケーションデータが撮影された時刻を示す撮影時刻情報が含まれており、データ分解部１２６で前記撮影時刻情報を取り出す。

この撮影時刻情報と時計１２２が出力する実時刻情報は、他の情報コミュニケーション端末と自らの情報コミュニケーション端末間のネットワーク伝送時間に遅延がある限り全く同一にはなりえず、常にコミュニケージョンデータに含まれる撮影時刻情報の方が遅れた値になる。

一方、コンテンツデータは前述した方法などを用いて各情報コミュニケーション端末間で時刻同期して再生されている。従って、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、コンテンツデータの再生時刻との時刻関係は、他の情報コミュニケーション端末内での前記コミュニケーションデータの撮影時刻と前記コンテンツデータの受信再生時刻との時刻関係と一致していない。

例えば、サッカーコンテンツを視聴者Ａと視聴者Ｂがそれぞれの端末でコミュニケーションをとりながら視聴している場合を図６を参照しながら説明する。ゴールした瞬間を時刻００：００としてこの瞬間に視聴者Ａが歓声をあげ、ガッツポーズをしたとする。しかし、視聴者Ｂの端末では、コンテンツデータであるサッカーコンテンツは同時刻の００：００に再生されるのに対して、コミュニケーションデータとして送信されてくる視聴者Ａの歓声とガッツポーズは、ネットワーク伝送と自らの端末内での再生に要する時間である００：０５秒遅れて再生される。従って、図６の自端末の時刻情報選択時に示すように、受信側ではゴールシーンの後の得点表示シーンで歓声とガッツポーズが再生されてしまうこととなる。

時刻情報選択部２２８では、上記課題を解決するためにコンテンツデータを再生する際の基準となる時刻情報を、他の情報コミュニケーション端末から送信されてくるコミュニケーションデータに含まれている撮影時刻情報を選択してコンテンツデータ入力及び再生部２２９へ入力する。

コンテンツデータ入力及び再生部２２９は前述した方法などを用いて、複数の端末間で時刻同期をとりながらコンテンツデータの再生を行う。
これにより、図６のコミュニケーションデータ内の撮影時刻情報選択時に示すように、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、コンテンツデータの再生時刻との時刻関係を、他の情報コミュニケーション端末での前記コミュニケーションデータの撮影時刻と前記コンテンツデータの再生時刻との時刻関係と一致させることが可能となる。

前記他の情報コミュニケーション端末から送信されてくるコミュニケーションデータに含まれている撮影時刻情報を使用する必要があるのは、自らの情報コミュニケーション端末が他の情報コミュニケーション端末からコミュニケーションを図られている場合である。逆に他の情報コミュニケーション端末へコミュニケーションを図る場合には、時刻情報として自らの情報コミュニケーション端末内の時計１２２から得られる実時刻情報を使用しなければならない。

ここで、他の情報コミュニケーション端末から自らの情報コミュニケーション端末に向けてコミュニケーションが図られていると判断した場合、コミュニケーション状態検出部１２７は時刻情報選択部２２８に対して、他の情報コミュニケーション端末から送信されてくるコミュニケーションデータに含まれている撮影時刻情報を選択してコンテンツデータ入力及び再生部２２９に入力するように指示する。

逆に他の情報コミュニケーション端末へ自らの情報コミュニケーション端末からコミュニケーションを図っていると判断した場合、コミュニケーション状態検出部１２７は時刻情報選択部２２８に対して、自らの情報コミュニケーション端末内の時計１２２から得られる実時刻情報を選択してコンテンツデータ入力及び再生部２２９に入力するように指示する。

複数の他の情報コミュニケーション端末からコミュニケーションデータが送信されてくる場合、コミュニケーション状態検出部１２７は自らの情報コミュニケーション端末及び各々の他の情報コミュニケーション端末からのコミュニケーションデータを入力にして、前記検出処理と同様の処理をそれぞれの他の情報コミュニケーション端末毎に行う。そして、最もコミュニケーションを図っていると判断できる他の情報コミュニケーション端末からのコミュニケーションデータに含まれる撮影時刻情報を選択し、コンテンツデータ入力及び再生部２２９に入力するように時刻情報選択部２２８に指示する。

図９に本発明の第３の実施例の情報コミュニケーション端末の内部構成のブロック図を示す。また図１０は前記第３の実施例の情報コミュニケーション端末を２台使用してコミュニケーションを図る場合のシステム構成図である。本実施例では情報コミュニケーション端末を２台使用した例を示すが、使用する端末数は何台でも良い。

ストリーミングコンテンツデータ３０６はストリーミングサーバ３５０より各々の情報コミュニケーション端末へネットワークなどの通信手段で配信される。以下に、そのストリーミングコンテンツデータ３０６を各端末間で時刻同期させて再生する方法の一例を説明する。

ストリーミングコンテンツデータ３０６を各端末間で時刻同期させて再生するために、コンテンツ表示時刻データ２０７を用いる。このコンテンツ表示時刻データ２０７は、前記複数の端末のうち、最初にストリーミングサーバ３５０に再生指示を行なう１台の端末のストリーミングコンテンツデータ受信及び再生部３２９において生成され他の端末に出力する。このコンテンツ表示時刻データ２０７は、ストリーミングコンテンツデータ３０６の先頭を時刻００秒として以降一定再生周期の時間（例えば０３秒）毎にカウントアップする再生オフセット時刻情報と、その再生オフセット時刻情報に対応する位置のストリーミングコンテンツデータを実際に再生する予定の実時刻情報とを組とする時刻データである。

ストリーミングサーバ３５０は、再生指示を受けたならば各情報コミュニケーション端末にストリーミングコンテンツデータ３０６の配信を開始する。各情報コミュニケーション端末のストリーミングコンテンツデータ受信及び再生部３２９は、配信されたストリーミングコンテンツデータを所定容量のバッファへ一時バッファリングする。そして、バッファリングしたストリーミングコンテンツデータを、最初に再生指示を出した情報コミュニケーション端末から送出されるコンテンツ時刻表示データ２０７を別途受信し、そのコンテンツ時刻表示データの再生予定の実時刻情報を参照して、この実時刻情報と組になっている再生オフセット時刻情報に対応する位置のコンテンツデータを自らの時計１２２から得られる実時刻情報に従って再生する。

このような方法により複数の情報コミュニケーション端末間でストリーミングコンテンツデータの時刻同期再生が可能となる。
なお、再生オフセット時刻データに対応するストリーミングコンテンツデータを実際に再生する予定の実時刻は、ネットワーク伝送に要する遅延時間を考慮して、各端末がバッファリングするストリーミングコンテンツデータの再生を開始する時刻に十分に間に合う程度の将来の時刻に設定する必要がある。

このような方法により複数の情報コミュニケーション端末間でストリーミングコンテンツデータの時刻同期再生が可能となる。
自らの情報コミュニケーション端末から他の情報コミュニケーション端末へ送信するためのコミュニケーションデータは、マイク１０１及び音声入力部１２０で取り込まれる音声信号と、カメラ１０２及び映像入力部１２１取り込まれる映像信号と、時計１２２で得られる前記音声信号及び映像信号入力時の撮影時刻情報とを、データ合成部１２５において合成することで生成される。生成されたコミュニケーションデータは送信部１３０にて他の情報コミュニケーション端末へ送信される。

上記処理にて得られる、ストリーミングコンテンツデータを再生して得られる音声映像信号、自らの情報コミュニケーション端末で撮影した音声映像信号、及び他の情報コミュニケーション端末から送信されてきたコミュニケーションデータを分離して得られた音声映像信号の３種類の音声映像信号は、音声信号は音声出力部１２３で音声混合され、映像信号は映像出力部１２４でマルチウインドウ合成され、それぞれスピーカ１０３及びディスプレイ１０４に出力される。

一方、ストリーミングコンテンツデータは前述した方法などを用いて各情報コミュニケーション端末間で時刻同期して再生されている。従って、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、ストリーミングコンテンツデータの再生時刻との時刻関係は、他の情報コミュニケーション端末内での前記コミュニケーションデータの撮影時刻と前記ストリーミングコンテンツデータの受信再生時刻との時刻関係と一致していない。

例えば、サッカーコンテンツを視聴者Ａと視聴者Ｂがそれぞれの端末でコミュニケーションをとりながら視聴している場合を図６を参照しながら説明する。ゴールした瞬間を時刻００：００としてこの瞬間に視聴者Ａが歓声をあげ、ガッツポーズをしたとする。しかし、視聴者Ｂの端末では、ストリーミングコンテンツデータであるサッカーコンテンツは同時刻の００：００に再生されるのに対して、コミュニケーションデータとして送信されてくる視聴者Ａの歓声とガッツポーズは、ネットワーク伝送と自らの端末内での再生に要する時間である００：０５秒遅れて再生される。従って、図６の自端末の時刻情報選択時に示すように、受信側ではゴールシーンの後の得点表示シーンで歓声とガッツポーズが再生されてしまうこととなる。

本実施例は、上記で述べたようなコミュニケーションを図る側の情報コミュニケーション端末内での送信するコミュニケーションデータの撮影時刻とストリーミングコンテンツデータの再生時刻との時刻関係と、コミュニケーションを図られる側の情報コミュニケーション端末内での送信されてくるコミュニケーションデータの再生時刻とストリーミングコンテンツデータの再生時刻との時刻関係とが一致しない課題を解消する手段を提供するものである。

時刻情報選択部２２８では、上記課題を解決するためにストリーミングコンテンツデータを再生する際の基準となる時刻情報を、他の情報コミュニケーション端末から送信されてくるコミュニケーションデータに含まれている撮影時刻情報を選択してストリーミングコンテンツデータ受信及び再生部３２９へ入力する。

ストリーミングコンテンツデータ受信及び再生部３２９は前述した方法などを用いて、複数の端末間で時刻同期をとりながらストリーミングコンテンツデータの再生を行う。
これにより、図６のコミュニケーションデータ内の撮影時刻情報選択時に示すように、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へ送信されるコミュニケーションデータの再生時刻と、ストリーミングコンテンツデータの再生時刻との時刻関係を、他の情報コミュニケーション端末での前記コミュニケーションデータの撮影時刻と前記ストリーミングコンテンツデータの再生時刻との時刻関係と一致させることが可能となる。

ここで、他の情報コミュニケーション端末から自らの情報コミュニケーション端末に向けてコミュニケーションが図られていると判断した場合、コミュニケーション状態検出部１２７は時刻情報選択部２２８に対して、他の情報コミュニケーション端末から送信されてくるコミュニケーションデータに含まれている撮影時刻情報を選択してストリーミングコンテンツデータ受信及び再生部３２９に入力するように指示する。

逆に他の情報コミュニケーション端末へ自らの情報コミュニケーション端末からコミュニケーションを図っていると判断した場合、コミュニケーション状態検出部１２７は時刻情報選択部２２８に対して、自らの情報コミュニケーション端末内の時計１２２から得られる実時刻情報を選択してストリーミングコンテンツデータ受信及び再生部３２９に入力するように指示する。

複数の他の情報コミュニケーション端末からコミュニケーションデータが送信されてくる場合、コミュニケーション状態検出部１２７は自らの情報コミュニケーション端末及び各々の他の情報コミュニケーション端末からのコミュニケーションデータを入力にして、前記検出処理と同様の処理をそれぞれの他の情報コミュニケーション端末毎に行う。そして、最もコミュニケーションを図っていると判断できる他の情報コミュニケーション端末からのコミュニケーションデータに含まれる撮影時刻情報を選択し、ストリーミングコンテンツデータ受信及び再生部３２９に入力するように時刻情報選択部２２８に指示する。

以上、３つの実施例について述べた。なお、これらの実施例では、再生時刻情報として実時刻情報を使用しているが、全ての実施例において再生時刻情報として、コンテンツデータが持っているタイムコード、及びタイムコードと絶対時刻とのオフセット値の組み合わせで実現することも可能である。

本発明の第１の実施例を示す内部構成のブロック図である。本発明の第２の実施例を示す内部構成のブロック図である。本発明及び従来の情報コミュニケーション端末の表示画面の例である。従来のコンテンツデータとコミュニケーションデータの再生のタイミングを示す図である。本発明の第１の実施例のコンテンツデータとコミュニケーションデータの再生のタイミングを示す図である。本発明の第２の実施例のコンテンツデータとコミュニケーションデータの再生のタイミングを示す図である。本発明の第１の実施例のシステム構成図である。本発明の第２の実施例のシステム構成図である。本発明の第３の実施例を示す内部構成のブロック図である。本発明の第３の実施例のシステム構成図である。

符号の説明

１００情報コミュニケーション端末
１０１マイク
１０２カメラ
１０３スピーカ
１０４ディスプレイ
１０６放送コンテンツデータ
１０８コミュニケーション入力データ
１０９コミュニケーション出力データ
１５０放送局
１２０音声入力部
１２１映像入力部
１２２時計
１２３音声出力部
１２４映像出力部
１２５データ合成部
１２６データ分解部
１２７コミュニケーション状態検出部
１２８遅延時間算出部
１２９放送コンテンツデータ再生及び遅延処理部
１３０送信部
１３１受信部
２００情報コミュニケーション端末
２０６コンテンツデータ
２０７コンテンツ表示時刻データ
２２８時刻情報選択部
２２９コンテンツデータ入力及び再生部
３００情報コミュニケーション端末
３０６ストリーミングコンテンツデータ
３２９ストリーミングコンテンツデータ受信及び再生部
３５０ストリーミングサーバ

Claims

通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と、
音声映像信号からなる放送コンテンツデータを受信再生する放送コンテンツデータ受信再生手段と、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記放送コンテンツデータ受信再生手段により得られた放送コンテンツデータ再生信号とを同時出力する音声映像出力手段と、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報と、自らの情報コミュニケーション端末内の時計から得られる時刻情報との差分を計算することで、前記コミュニケーションデータが他の情報コミュニケーション端末から自らの情報コミュニケーション端末に到達し再生されるまでに要する遅延時間を算出する遅延時間算出手段とを備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られていると判断した場合は、前記放送コンテンツデータ受信再生手段は、自らの情報コミュニケーション端末内での前記放送コンテンツデータを再生するタイミングを、前記遅延時間算出手段により算出した前記遅延時間分だけ遅らせることを特徴とする情報コミュニケーション端末装置。
通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と、
同一の音声映像信号からなるコンテンツデータを、所定の時刻情報に従って前記他の情報コミュニケーション端末と時刻同期して再生するコンテンツデータ再生手段と、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記コンテンツデータ再生手段により得られたコンテンツデータ再生信号とを同時出力する音声映像出力手段と、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報を選択し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態であると判断した場合は、自らの情報コミュニケーション端末内の時計から得られる時刻情報を選択する時刻情報選択手段とを備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態と判断した場合は、前記コンテンツデータ再生手段は、前記時刻情報選択手段により選択した前記コミュニケーションデータ内の撮影時刻情報に時刻同期させて前記コンテンツデータを再生し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態と判断した場合は、前記コンテンツデータ再生手段は、前記時刻情報選択手段により選択した前記自らの情報コミュニケーション端末内の時計から得られる時刻情報に時刻同期させて前記コンテンツデータを再生することを特徴とする情報コミュニケーション端末装置。
通信回線を利用して複数の情報コミュニケーション端末間で、撮影装置を使用して撮影する音声映像信号とその撮影の撮影時刻情報とを含むコミュニケーションデータの双方向通信を行うコミュニケーション手段と、
前記コミュニケーション手段により他の情報コミュニケーション端末から受信したコミュニケーションデータを再生するコミュニケーションデータ再生手段と、
ストリーミングコンテンツデータ配信用のサーバから配信される前記ストリームコンテンツデータを一時記憶し、前記一時記憶したストリーミングコンテンツデータを、所定の時刻情報に従って前記他の情報コミュニケーション端末と時刻同期して再生するストリーミングコンテンツデータ受信再生手段と、
前記コミュニケーションデータ再生手段より得られたコミュニケーションデータ再生信号と、前記ストリーミングコンテンツデータ受信再生手段により得られたストリーミングコンテンツデータ再生信号とを同時出力する音声映像出力手段と、
前記コミュニケーション手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態なのか、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態なのかを判断するコミュニケーション状態検出手段と、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態であると判断した場合は、他の情報コミュニケーション端末から受信している前記コミュニケーションデータ内の前記撮影時刻情報を選択し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態であると判断した場合は、自らの情報コミュニケーション端末内の時計から得られる時刻情報を選択する時刻情報選択手段とを備えた情報コミュニケーション端末装置であり、
前記コミュニケーション状態検出手段が、他の情報コミュニケーション端末から自らの情報コミュニケーション端末へコミュニケーションを図られている状態と判断した場合は、前記ストリーミングコンテンツデータ受信再生手段は、前記時刻情報選択手段により選択した前記コミュニケーションデータ内の撮影時刻情報に時刻同期させて前記ストリーミングコンテンツデータを再生し、前記コミュニケーション状態検出手段が、自らの情報コミュニケーション端末から他の情報コミュニケーション端末へコミュニケーションを図っている状態と判断した場合は、前記ストリーミングコンテンツデータ受信再生手段は、前記時刻情報選択手段により選択した前記自らの情報コミュニケーション端末内の時計から得られる時刻情報に時刻同期させて前記ストリーミングコンテンツデータを再生することを特徴とする情報コミュニケーション端末装置。