JP4785088B2 - 端末間における同期制御方法 - Google Patents

Description

本発明は、映像や音声などのコンテンツデータを複数の端末間で同期させて再生させる技術に関する。

映像や音声などの時間データの配信・再生を、ワイアレスネットワークを使って行う様々な技術が登場してきている。

このような技術を実現するためには、まず、映像や音声などを配信するために必要となる通信帯域幅を絶対的に増加させる必要がある。さらに、ＱＯＳ(Quality of Service)という観点から、物理環境の悪化や、ネットワーク伝送におけるジャムが発生した場合においても、でき得る限りスムーズに映像や音声が配信されるような最低限の通信帯域を確保する必要がある。

しかし、こうした技術は、映像や音声をできる限り送信時と同様な状態で再生することに注力され、送信側の端末と受信側の端末での送信・再生絶対時間を同期させることにはそれほど注力されていなかった。

特開２００３−６０６５２号公報

しかし今後、マルチメディアデータ再生機器がますますパーソナル化していくに従い、従来は遠隔でのコミュニケーションでしか使われなかった携帯端末が、実際に人々が会対するコミュニケーションにおいても、これらのコミュニケーションをより豊かにするために使われることが想定される。

こうした状況においては、映像や音声などがそれぞれの個人の端末で完全に同期して再生されていることが要求される。人々が会対するコミュニケーションにおいて各端末から再生される映像や音声が時間同期されていない場合には、映像や音声の聴覚・視覚上の遅延によって、それらのデータから再生される情報をスムーズに取得することが困難になるからである。

また、上記特許文献１で開示されている技術は、映像データそのものを端末間で送受信する方式であり、広い通信帯域を必要とするとともに、端末に対して高い処理能力を必要とする技術である。

本発明はこうした会対コミュニケーションにおいて、それぞれの端末で再生されるデータを同期させ、複数の利用者が、マルチプレイゲームや、映像教材などを、より効果的に共同で享受できることを目的としたものである。

上記課題を解決するため、請求項１記載の発明は、第１端末と第２端末の間でコンテンツデータの同期制御を行う方法であって、前記第１端末から前記第２端末に対して、問い合わせコマンドを送信する工程と、前記第２端末から前記第１端末に対して、コンテンツデータの制御開始指示を受信してからコンテンツデータの制御が開始されるまでに要する時間を準備時間として返答する工程と、前記第１端末から前記第２端末に対して、前記制御開始指示を送信する工程と、前記第２端末が、前記制御開始指示を受信した後、前記準備時間経過後に前記コンテンツデータの制御を開始し、前記第１端末が、前記問い合わせコマンドを送信してから前記返答を受信するまでの時間に基づいて遅延時間を求め、前記制御開始指示を送信した時刻から前記遅延時間および前記準備時間を加算した時間が経過した後に前記コンテンツデータの制御を開始する工程と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の端末間における同期制御方法において、さらに、前記第１端末から前記第２端末に対して、制御対象となるコンテンツデータを指定したコンテンツＩＤを送信する工程、を備えることを特徴とする。

請求項３に記載の発明は、請求項１または請求項２に記載の端末間における同期制御方法において、さらに、前記第１端末から前記第２端末に対して、コンテンツデータに対する制御内容を指定する制御種別情報を送信する工程、を備えることを特徴とする。

請求項４に記載の発明は、請求項１ないし請求項３のいずれかに記載の端末間における同期制御方法において、前記コンテンツデータは、動画像データおよび／または音声データ、を含むことを特徴とする。

請求項５に記載の発明は、請求項１ないし請求項４いずれかに記載の端末間における同期制御方法において、前記第１端末および／または前記第２端末は、携帯電話端末、を含むことを特徴とする。

請求項６に記載の発明は、請求項１ないし請求項５のいずれかに記載の端末間における同期制御方法において、前記コンテンツデータはメモリカードに格納されており、前記第１端末および／または前記第２端末は、前記メモリカードを装着することによって、前記コンテンツデータにアクセスすることを特徴とする。

本発明によれば、各端末局に保存されている同一コンテンツデータを同期再生させることが可能となる。また、複数の端末間で無線により動画伝送を行って、同期再生を行う場合のように、多大な伝送容量と消費電力を必要としない。

第１の実施の形態にかかる同期制御システムの全体図である。 第２の実施の形態にかかる同期制御システムの全体図である。 第２の実施の形態にかかる同期制御システムのシーケンス図である。 第３の実施の形態にかかる同期制御システムの全体図である。 第３の実施の形態にかかる同期制御システムのシーケンス図である。 本発明の利用イメージを示す図である。

｛第１の実施の形態｝
図１を参照して、本発明の第１の実施の形態について説明する。第１の実施の形態における同期制御システムは、２つの端末局１０，２０と時間情報配信局３０とを備えている。

端末局１０，２０は、本実施の形態では、携帯電話機１１，２１で構成されている。端末局１０,２０は、メモリカードスロットを備えており、それぞれメモリカード２１，２２を挿入して、メモリカード２１，２２に格納された各種コンテンツデータにアクセス可能としている。また、端末局１０，２０は、いずれも、近距離の無線通信機能を備えており、互いに、無線通信によりデータ交換を行うことを可能としている。無線通信としては、たとえば、赤外線無線通信やBlueToothが用いられる。したがって、端末局１０，２０は、携帯電話機で構成されているが、以下の説明において、端末局１０，２０は、全て赤外線無線通信やBlueToothなどの近距離の無線通信を行って直接データ交換を行うものであり、携帯電話機の基地局やインターネットなどを介して行うデータ通信を行うものではない。

時間情報配信局３０は、端末局１０，２０に時間情報４０を送信する局である。時間情報配信局３０としては、たとえば、ＧＰＳ衛星やＣＤＭＡ基地局などが利用可能である。この他にも、電波時計に対して標準電波（時間情報）を送信する基地局を利用するようにしてもよい。端末局１０，２０は、それぞれ時間情報配信局３０から送信される時間情報４０を受信することにより、正確な現在時間を取得することが可能である。

次に、同期制御方法について説明する。まず、前提として端末局１０，２０は、メモリカード１２，２２内に制御対象となる同一のコンテンツデータを格納しているものとする。ここで、制御対象となるコンテンツデータは、動画像データや音声データなどの時間とともに表現内容が変化する情報である。

そして、端末局１０が、端末局２０に対して、コンテンツＩＤ４１，制御種別情報４２，制御開始情報４３の３つの情報を送信する。

コンテンツＩＤ４１は、制御対象となるコンテンツデータを指定する情報である。端末局１０，２０は、メモリカード１２，２２内に複数のコンテンツデータを格納することが可能である。したがって、コンテンツＩＤ４１を送信することによって、端末局１０と端末局２０とが同一のコンテンツデータを制御できるようになる。

制御種別情報４２は、コンテンツＩＤ４１で指定されたコンテンツデータに対する制御内容を指定する情報である。制御内容とは、たとえば、「コンテンツデータを再生する」、「コンテンツデータを早送りする」、「コンテンツデータを巻き戻す」、「コンテンツデータをスロー再生させる」などである。

制御開始情報４３は、コンテンツＩＤ４１で指定されたコンテンツデータの制御を開始する時刻を指定した情報である。

端末局１０から端末局２０に対して、これらコンテンツＩＤ４１，制御種別情報４２，制御開始情報４３が送信されると、制御開始情報４３で指定された時刻に、端末局１０と端末局２０とが、コンテンツＩＤ４１で指定されたコンテンツデータを制御開始するのである。なお、この際、端末局１０および端末局２０は、制御種別情報４２で指定された制御内容にしたがって、コンテンツデータを制御する。ここで、端末局１０と端末局２０とは、前述したように、時間情報配信局３０から、常時、時間情報４０を取得して、絶対時間を取得している。したがって、この時間情報４０に基づいて制御開始情報４３で指定された時刻に制御を開始することで、端末局１０,２０間で時間同期したコンテンツデータの制御を行うことが可能である。

｛第２の実施の形態｝
図２および図３を参照して、本発明の第２の実施の形態について説明する。第２の実施の形態における同期制御システムは、２つの端末局１０，２０を備えている。第１の実施の形態と同様、端末局１０，２０は、携帯電話機１１，２１で構成されており、メモリカード２１，２２に格納された各種コンテンツデータにアクセス可能としている。また、第１の実施の形態と同様、以下の説明において、端末局１０，２０は、いずれも、赤外線無線通信やBlueToothなどの近距離の無線通信を行って直接データ交換を行う。

次に、同期制御方法について説明する。まず、前提として端末局１０，２０は、メモリカード１２，２２内に制御対象となる同一のコンテンツデータを格納しているものとする。なお、コンテンツデータとは、第１の実施の形態と同様である。

まず、端末局１０が、端末局２０に対して問い合わせコマンド６１を送信する。この問い合わせコマンド６１は、端末局２０がコンテンツデータの制御指示を受けてからコンテンツデータの制御を開始することが可能となるまでの時間（これを準備時間と呼ぶことにする。）を問い合わせるコマンドである。また、問い合わせコマンド６１は、端末局１０と端末局２０との間で、データ転送に要する時間（これを遅延時間と呼ぶことにする。）を計測するためのコマンドとしての目的も兼ね備えている。

端末局２０は、問い合わせコマンド６１を受信すると、準備時間がＸ時間であることを示した返答６２を端末局１０に対して送信する。

端末局１０は、返答６２を受信すると、遅延時間を計算する。図３に示すように、問い合わせコマンド６１を送信した時刻を０とし、返答６２を受信した時間をＹとすれば、遅延時間はＹ／２時間であると推定することができる。あるいは、端末局２０において問い合わせコマンド６１を受信してから返答６２を送信するまでに要する時間を考慮して遅延時間を算出するようにしてもよい。

そして、端末局１０が、端末局２０に対して、コンテンツＩＤ６３，制御種別情報６４，制御開始指示６５の３つの情報を送信する。

コンテンツＩＤ６３は、制御対象となるコンテンツデータを指定する情報である。端末局１０，２０は、メモリカード１２，２２内に複数のコンテンツデータを格納することが可能である。したがって、コンテンツＩＤ６３を送信することによって、端末局１０と端末局２０とが同一のコンテンツデータを制御できるようになる。

制御種別情報６４は、コンテンツＩＤ６３で指定されたコンテンツデータに対する制御内容を指定する情報である。制御内容とは、たとえば、「コンテンツデータを再生する」、「コンテンツデータを早送りする」、「コンテンツデータを巻き戻す」、「コンテンツデータをスロー再生させる」などである。

制御開始指示６５は、端末局２０対して、コンテンツＩＤ６３で指定されたコンテンツデータをすぐに制御開始するよう指示するデータである。

端末局１０から端末局２０に対して、これらコンテンツＩＤ６３，制御種別情報６４，制御開始指示６５が送信されると、端末局２０は、直ちに、コンテンツＩＤ６３で指定されたコンテンツデータを、制御種別情報６４で指定された制御内容にしたがって、制御開始するのである。ただし、端末局２０では、コンテンツデータの制御を開始するのに準備時間がＸ時間必要であるので、実際に、制御が開始されるのは、制御開始指示６５を受信してからＸ時間後である。

一方、端末局１０が、制御開始指示６５を送信した時刻をＺとすれば、端末局１０は、時刻Ｚに遅延時間と準備時間を加算した時刻、つまり時刻（Ｚ＋Ｙ／２＋Ｘ）にコンテンツデータの制御を開始するのである。つまり、端末局１０は、制御開始指示６５の伝送にかかる遅延時間と、端末局２０において制御が開始されるまでの準備時間を考慮して制御を開始するのである。なお、この際、端末局１０は、制御種別情報６４で指定した制御内容にしたがって、コンテンツデータを制御する。これにより、端末局１０と端末局２０とが、時間同期して同一のコンテンツデータを再生することが可能となる。

｛第３の実施の形態｝
図４および図５を参照して、本発明の第３の実施の形態について説明する。第３の実施の形態における同期制御システムは、２つの端末局１０，２０を備えている。他の実施の形態と同様、端末局１０，２０は、携帯電話機１１，２１で構成されており、メモリカード２１，２２に格納された各種コンテンツデータにアクセス可能としている。また、他の実施の形態と同様、以下の説明において、端末局１０，２０は、いずれも、赤外線無線通信やBlueToothなどの近距離の無線通信を行って直接データ交換を行う。

次に、同期制御方法について説明する。まず、前提として端末局１０，２０は、メモリカード１２，２２内に制御対象となる同一のコンテンツデータを格納しているものとする。なお、コンテンツデータとは、他の実施の形態と同様である。

まず、端末局１０が、端末局２０に対して計測用コマンド７１を送信する。この計測用コマンド７１は、端末局１０と端末局２０との間で、データ転送に要する時間（これを遅延時間と呼ぶことにする。）を計測するためのコマンドである。

端末局２０は、計測用コマンド７１を受信すると、計測用コマンド７１に対する返答７２を端末局１０に対して送信する。

端末局１０は、返答７２を受信すると、遅延時間を計算する。図５に示すように、計測用コマンド７１を送信した時刻を０とし、返答７２を受信した時間をＹとすれば、遅延時間はＹ／２時間であると推定することができる。あるいは、端末局２０において、計測コマンド７１を受信してから返答６２を送信するまでに要する時間を考慮して遅延時間を算出するようにしてもよい。

次に、端末局１０は、端末局２０に対してタイムコード７３の送信を開始する。タイムコード７３とは、端末局１０と端末局２０との間で時間同期をとるための信号である。この信号は、絶対時間を示す信号である必要はない。端末局１０と端末局２０との間で時間同期をとることが目的であるため、たとえば、所定間隔のパルスと、そのパルスに相対的な時刻を与えるためのポイントとなる時間情報が送信されればよい。より具体的には、１／１０００秒間隔のパルスを送信するとともに、１／１０秒ごとに相対的な時間ポイントを示す連続的な数字（・・・１００，１０１，１０２，・・・）などが送信されればよい。このタイムコード７３は、この後継続的に送信される。

そして、タイムコード７３が継続的に送信されている状態で、端末局１０が、端末局２０に対して、コンテンツＩＤ７４，制御種別情報７５，制御開始情報７６の３つの情報を送信する。

コンテンツＩＤ７４は、制御対象となるコンテンツデータを指定する情報である。端末局１０，２０は、メモリカード１２，２２内に複数のコンテンツデータを格納することが可能である。したがって、コンテンツＩＤ７４を送信することによって、端末局１０と端末局２０とが同一のコンテンツデータを制御できるようになる。

制御種別情報７５は、コンテンツＩＤ７４で指定されたコンテンツデータに対する制御内容を指定する情報である。制御内容とは、たとえば、「コンテンツデータを再生する」、「コンテンツデータを早送りする」、「コンテンツデータを巻き戻す」、「コンテンツデータをスロー再生させる」などである。

制御開始情報７６は、コンテンツＩＤ７４で指定されたコンテンツデータの制御を開始する時刻を指定した情報である。なお、ここで、制御開始情報７６で指定される時刻とは、タイムコード７３によって指定可能な時刻である。したがって、絶対時間である必要はない。

端末局１０から端末局２０に対して、これらコンテンツＩＤ７４，制御種別情報７５，制御開始情報７６が送信されると、端末局２０は、継続的に受信するタイムコード７３に基づいて、制御開始情報７６で指定される時刻にコンテンツＩＤ７４で指定されるコンテンツデータを制御開始する。なお、この際、端末局２０は、制御種別情報７５で指定された制御内容にしたがってコンテンツデータを制御する。

一方、端末局１０は、継続的に送信しているタイムコード７３に基づいて、制御開始情報７６で指定される時刻から遅延時間（Ｙ／２時間）経過後に、コンテンツＩＤ７４で指定されるコンテンツデータの制御を開始するのである。なお、この際、端末局１０は、制御種別情報７５で指定した制御内容にしたがってコンテンツデータを制御する。つまり、同一のタイムコード７３に基づいて時間同期をとることとしているが、タイムコード７４自体の伝送に遅延時間が発生するため、この時間を考慮して、端末局１０は、制御を開始するのである。これにより、端末局１０と端末局２０とが、同期して同一のコンテンツデータを再生することが可能となる。

なお、タイムコード７３の送信を開始するタイミングは上記のタイミングに限られることはない。制御開始時刻までの任意のタイミングにおいて、タイムコード７３を送信するようにすればよい。

｛変形例｝
上記実施の形態においては、２つの端末局間でコンテンツデータの同期制御を行う方法を説明したが、３つ以上の端末局間で同期制御を行うようにしてもよい。この場合には、１台の親局（上記端末局１０に相当する。）が、複数の端末局（上記端末局２０に相当する。）に対して、コンテンツＩＤや制御種別情報、制御開始情報、制御開始指示などを送信するようにすればよい。

また、上記実施の形態においては、メモリカード１２,２２にコンテンツデータを格納するようにしたが、必ずしもその必要はない。携帯電話機に十分な内蔵メモリが存在すれば、本体にコンテンツデータを格納するようにしてもよい。また、コンテンツデータは、携帯電話機のインターネット接続機能を利用してダウンロードするようにしてもよい。

｛応用例｝
＜１．実技学習＞
本発明の応用例の１つとして、同期制御方法を実技学習の場で利用すると効果的である。複数の生徒に端末局として携帯電話機（上記端末局２０に相当する。）を持たせ、教師は親局としての携帯電話機（上記端末局１０に相当する。）を持つ。そして、コンテンツデータとしての学習教材データをメモリカードに格納して、各生徒に配布する。また、親局にも同一のコンテンツデータを格納したメモリカードを挿入する。

そして、教師は、教師と生徒の携帯電話機において、同一のコンテンツデータを時間同期させて再生させながら授業を行うのである。たとえば、実技学習であれば、実技方法を示す動画像を再生させながら、教師は口頭で説明を付け加えるのである。このとき、教師および生徒が見ている動画像は時間同期されているので、非常に細かい実技内容であっても、教師の説明と生徒が見ている映像がずれることはなく、スムーズな授業を行うことが可能となるのである。また、各生徒は、各々いずれの方向を向いていても、自身の携帯電話機を参照していればよいので、教材に注意を向けることが可能である。そして、映像配信サーバやパソコンのない実技学習環境であっても、それぞれの生徒の手元で教師のコントロールする同期映像（あるいは音声）を閲覧させることが可能であり、より密度の濃い授業を行うことが可能である。

このように、実技学習において本発明を利用すると効果的である。また、上記のように、各生徒にメモリカードを配布することで、簡易にコンテンツデータを共有することが可能であり、メモリカードにコンテンツデータを格納する１つの効果と言える。

また、体育の授業で、模範演技を各端末局で同期再生させることや、技能教育において利用することも効果的である。

＜２．対面プレゼンテーション＞
本発明の応用例の１つとして、同期制御方法を対面セールスプレゼンテーションの場で利用すると効果的である。従来、映像を駆使してプレゼンテーションを行う場合には、ノートパソコンを用いる方法があった。しかし、この場合には、説明する人と説明を受ける人が同じノートパソコンの映像を見なければならないため、横に並ぶ必要がある。したがって、説明をする人は操作が煩雑であるし、説明を受ける人も正面で映像が見ることができないといった問題がある。また、プロジェクターなどを用いるのも大掛かりである。

そこで、図６に示すように、説明者８１が端末局８３（上記端末局１０に相当する。）を持ち、顧客８２も端末局８４（上記端末局２０に相当する。）を持つ。そして、説明者８１は、セールス用のコンテンツデータが格納されたメモリカードを自身の所持する端末局８３に挿入するとともに、顧客８２の端末局８４にも同じコンテンツデータが格納されたメモリカードを挿入するのである。そして、説明者８１は、コンテンツデータを同期再生させながら、セールスを行うのである。この方法であれば、説明者８１は、顧客８２と向かい合って会話を行いながら、時間同期された映像を用いてセールスプレゼンテーションを行うことが可能となる。

＜３．エンターテインメント＞
本発明の応用例の１つとして、同期制御方法をエンターテインメントの場で利用すると効果的である。たとえば、マルチプレイゲームにおいて、動画背景画像を同期再生すると効果的である。対戦型のマルチプレイゲームであれば、対戦している両者の端末上において、完全に同期させた背景映像を再生させることが可能である。そして、狭帯域のネットワーク環境においても、３Ｄ-ＣＧオブジェクトに加えて、メモリカードに格納された迫力のある動画背景画像を長時間同期再生させることが可能である。

また、マルチプレイ・ワイアレス・リズムアクションゲームに適用させることも効果的である。マルチプレイ・ワイアレス・リズムアクションゲームは、たとえば、各端末局を所持している各プレイヤーが、それぞれギターパート、ベースパート、ドラムパートなどを担当し、キー操作を行いながら、同期演奏を行うといったものである。この場合にも、各端末局で再生されるベーシックトラックを完全に同期させたうえで、複数グループのメンバー間のリズム感覚の共通の「一致具合」、あるいは「ずれ具合」を競う、「グループ対抗リズムグルーブ対戦ゲーム」等を実現することが可能になる。

１０，２０ 端末局
１１，２１ 携帯電話本体
１２，２２ メモリカード
３０ 時間情報配信局
８３，８４ ノートパソコン

Claims (6)

1. 第１端末と第２端末の間でコンテンツデータの同期制御を行う方法であって、
   前記第１端末から前記第２端末に対して、問い合わせコマンドを送信する工程と、
   前記第２端末から前記第１端末に対して、コンテンツデータの制御開始指示を受信してからコンテンツデータの制御が開始されるまでに要する時間を準備時間として返答する工程と、
   前記第１端末から前記第２端末に対して、前記制御開始指示を送信する工程と、
   前記第２端末が、前記制御開始指示を受信した後、前記準備時間経過後に前記コンテンツデータの制御を開始し、前記第１端末が、前記問い合わせコマンドを送信してから前記返答を受信するまでの時間に基づいて遅延時間を求め、前記制御開始指示を送信した時刻から前記遅延時間および前記準備時間を加算した時間が経過した後に前記コンテンツデータの制御を開始する工程と、
   を備えることを特徴とする端末間における同期制御方法。
2. 請求項１に記載の端末間における同期制御方法において、さらに、
   前記第１端末から前記第２端末に対して、制御対象となるコンテンツデータを指定したコンテンツＩＤを送信する工程、
   を備えることを特徴とする端末間における同期制御方法。
3. 請求項１または請求項２に記載の端末間における同期制御方法において、さらに、
   前記第１端末から前記第２端末に対して、コンテンツデータに対する制御内容を指定する制御種別情報を送信する工程、
   を備えることを特徴とする端末間における同期制御方法。
4. 請求項１ないし請求項３のいずれかに記載の端末間における同期制御方法において、
   前記コンテンツデータは、
   動画像データおよび／または音声データ、
   を含むことを特徴とする端末間における同期制御方法。
5. 請求項１ないし請求項４のいずれかに記載の端末間における同期制御方法において、
   前記第１端末および／または前記第２端末は、
   携帯電話端末、
   を含むことを特徴とする端末間における同期制御方法。
6. 請求項１ないし請求項５のいずれかに記載の端末間における同期制御方法において、
   前記コンテンツデータはメモリカードに格納されており、前記第１端末および／または前記第２端末は、前記メモリカードを装着することによって、前記コンテンツデータにアクセスすることを特徴とする端末間における同期制御方法。

Images