JP4520335B2 - データ送受信装置、双方向データ伝送システム、及び、データ送受信方法 - Google Patents

Description

この発明は、各種状態が動的に変化する通信環境、かつ、遅延のある伝送路において双方向データ伝送を行うためのデータ送受信装置、双方向データ伝送システム、及び、データ送受信方法に関する。

遅延のある伝送路において双方向通信を行う際に、送信側装置が受信側装置に送信すべき送信データを生成した時の受信者の状態と、受信側装置が送信データを受信した時の受信者の状態とにずれが生じるため、そのずれを補償する仕組みが必要となる。負荷分散等の理由から送信側装置と受信側装置との双方が協調して実行処理を行う場合などは、同期をとるなど、お互いの状態をお互いに把握しておく必要がある。

例として、立体音響伝送の場合を説明する。
近年、２チャネルステレオ方式で立体音響を実現するシステムが研究されており、音源位置から受聴者の耳までの伝達関数である頭部伝達関数を利用する手法が知られている。入力音源に頭部伝達関数の特性をディジタルフィルタによって付加した音を２チャネルスピーカやヘッドホンで再生した場合、受聴者は立体的な音響効果を得ることができる。多数のスピーカを周囲に配置してサラウンド音響空間を再現するマルチチャネル再生方式と比べ、携帯端末において立体音響を再生するのに適している手法である。しかしながら、頭部伝達関数は、受聴者と音源との相対位置および受聴者の向きによって変化するため、自分や通話相手、すなわち音源や受聴者が任意に動く動的な音場を再現するには、音源や受聴者の位置および頭の向きに追従する必要がある。そのため、磁気センサなどを用いて位置および頭部の回転を検出し、頭部伝達関数フィルタを逐次更新する方法が使われている（例えば、非特許文献１参照）。この追従機能の導入により、方向知覚の精度向上も期待できる。

移動通信において上記手法にて立体音響再生を行う場合に、図１２に示すような、複数の音源データを受信し立体音響処理を行う端末がある。しかしながら、このような端末処理型のシステムでは、端末での演算量が大きく、また、立体空間に定位させる音源の音響データを全て伝送しなければならないため伝送データ量も多い。携帯電話機など、演算処理能力や伝送データ量の制約が厳しい端末を応用して立体音響処理を行う場合には、これらはできるだけ小さく抑えることが望ましい。

別の手法として、図１３に示すような、複数の音源データを受信し、それらに立体音響処理を施したものを端末へ送信するサーバと、受信した立体音響データを再生する端末とで構成される立体音響伝送システムがある。このようなサーバ処理型のシステムでは、前述の端末演算処理能力と伝送データ量との問題は解決するが、受聴者の動きに合わせた立体音響処理を行うために受聴者の位置および頭の向きをサーバへ伝送しなければならない。そのため、サーバと端末間に大きな伝送遅延があると、受信した立体音響データと実際の位置および頭の向きとにずれが生じる（追従遅延）という別の問題が発生する。

また別の手法として、図１４に示すような、複数の音源データを受信しそれらに立体音響処理を施したものを端末に送信するサーバと、最新の位置方向情報を基に受信した立体音響データを補正して再生する端末とで構成される立体音響伝送システムがある（例えば、特許文献１参照）。本手法では特許文献１に開示されているように、音場が静的な場合であれば、受聴者の多少の動きによる音像のずれは、サーバが立体音響処理した音を端末に伝送し端末側で追従の補正を行うことで、端末側では簡易な演算でかつ追従遅延を低減した立体音場を生成することができる。
米国特許第６２５９７９５号 F. Wightman, et al., "Reassessment of the role of head movements in human sound localization", J. Acoust. Soc. Am., 95(5), p.3003-3004

しかしながら、特許文献１に記載されている手法では、端末側において、サーバ側で立体音響処理した時点での音源や受聴者の位置や方向が既知でなければ補正を行うことができない。そのため、移動通信のように受聴者ならびに音源（通話相手）の位置および頭の向きが随時変わる動的な立体音場の場合には適用できないという問題がある。
また、遅延のある伝送路を介して送信側装置と受信側装置とが双方向データ伝送を行う場合には、伝送遅延の影響によって送信側装置と受信側装置との内部状態を同一に保つことができないという問題が発生する。

上述のような問題は、時刻によって、受聴者の位置及び向き、通信相手装置の位置、送信側装置及び受信側装置の内部状態等、各種状態が動的に変化する環境において、遅延のある伝送路を用いてインタラクティブな通信（双方向データ伝送）を行う際には、あらゆるデータ伝送について起こりうる問題である。
本発明は上記課題に鑑みてなされたものであり、時刻によって各種状態が動的に変化する環境において通信相手装置と双方向通信を行う場合に、伝送遅延の影響を低減することが可能なデータ送受信装置、双方向データ伝送システム、及び、データ送受信方法を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、通信相手装置と双方向データ伝送を行うデータ送受信装置において、時刻によって変化する変化データを取得するデータ取得手段と、前記データ取得手段により取得された変化データが生成された時刻を示す時刻情報を取得する時刻情報取得手段と、前記データ取得手段により取得された変化データと前記時刻情報取得手段により取得された時刻情報とを対応付けて記憶する記憶手段と、前記データ取得手段により取得された所定時刻における変化データと、前記時刻情報取得手段により取得された前記所定時刻を示す所定時刻情報とを前記通信相手装置に送信する送信手段と、前記通信相手装置から送信されてきたデータであって、前記送信手段により送信された前記変化データに基づいて前記通信相手装置において生成される送信データと、前記送信手段により送信された前記所定時刻情報を前記通信相手装置にて複製した所定時刻情報とを受信する受信手段と、前記送信手段から前記所定時刻における変化データおよび前記所定時刻情報を送信した後に前記データ取得手段において取得した変化データであって、前記記憶手段に記憶されている、最新の時刻情報に対応する最新の変化データと前記所定時刻情報に対応する変化データとの差に基づき、前記受信手段により受信された前記所定時刻における送信データを前記最新の時刻情報に対応した送信データに補正する補正処理手段とを備えることを特徴とするデータ送受信装置を提供する。

この構成によれば、データ送受信装置は、変化データ及び送信データがいつ時点のデータであるかを示す時刻情報を取得し、これらの変化データと送信データと時刻情報とに基づいて通信相手装置との間のデータ伝送によって発生する遅延の補正処理を行うことができるため、時刻によって各種状態が動的に変化する環境においても、伝送遅延の影響を低減することが可能となる。

請求項２に記載の発明は、請求項１に記載のデータ送受信装置において、前記データ送受信装置は、移動通信装置であることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載のデータ送受信装置において、前記データ取得手段は、前記時刻情報取得手段による時刻情報の取得タイミングと同期して変化データを取得することを特徴とする。
この構成によれば、時刻情報の取得タイミングと変化データの取得タイミングとが同期しているため、このタイミングに合わせて変化データを含む通信パケットを生成することで、通信パケットのヘッダに付加されるタイムスタンプを時刻情報として利用することができ、伝送データ量を抑制することができる。

請求項４に記載の発明は、請求項３に記載のデータ送受信端末装置において、前記時刻情報取得手段は、前記通信相手装置に送信すべき符号化データの符号化周期に同期して時刻情報を取得することを特徴とする。
この構成によれば、通信相手装置に符号化データを送信する場合には、符号化データの符号化周期を利用して時刻情報を取得することができるため、データ送受信装置は通信相手装置に時刻情報を送信する必要がなくなり、伝送データ量を抑制することができる。

請求項５に記載の発明は、請求項１から４の何れか１項に記載のデータ送受信装置において、前記送信データはメディアデータであり、前記変化データは該メディアデータを受信する受信者の位置と向きとの少なくとも一方を示す位置方向情報であることを特徴とする。
この構成によれば、データ送受信装置は、受信者の位置や向きが随時変化しても、位置方向情報及びメディアデータが生成された時刻を取得してメディアデータの追従遅延を補正することで追従遅延の影響を低減することができ、品質の高いメディアデータ伝送を実現することができる。
請求項６に記載の発明は、請求項１から５の何れか１項に記載のデータ送受信装置において、前記送信データは立体音響データであり、前記変化データは該立体音響データを受信する受信者の位置と向きとの少なくとも一方を示す位置方向情報であり、さらに、前記立体音響データは、前記送信手段により送信された前記位置方向情報に基づき、前記通信相手装置において受信された音響データもしくは前記通信相手装置内部の仮想音源に立体音響処理を施したものであることを特徴とする。

請求項７に記載の発明は、第１のデータ送受信装置と第２のデータ送受信装置とを含んで構成される双方向データ通信システムにおいて、前記第１のデータ送受信装置は、時刻によって変化する変化データを取得するデータ取得手段と、前記データ取得手段により取得された変化データが生成された時刻を示す時刻情報を取得する時刻情報取得手段と、前記データ取得手段により取得された変化データと前記時刻情報取得手段により取得された時刻を示す時刻情報とを対応付けて記憶する記憶手段と、前記データ取得手段により取得された所定時刻における変化データと前記時刻情報取得手段により取得された前記所定時刻を示す所定時刻情報とを前記第２のデータ送受信装置へ送信する送信手段と、前記第２のデータ送受信装置から送信されてきたデータであって、前記送信手段により送信された前記変化データに基づいて前記第２のデータ送受信装置において生成される送信データと、前記送信手段により送信された前記所定時刻情報を前記第２のデータ送受信装置にて複製した所定時刻情報とを受信する受信手段と、前記送信手段から前記所定時刻における変化データおよび前記所定時刻情報を送信した後に前記データ取得手段において取得した変化データであって、前記記憶手段に記憶されている、最新の時刻情報に対応する最新の変化データと前記所定時刻情報に対応する変化データとの差に基づき、前記受信手段により受信された前記所定時刻における送信データを前記最新の時刻情報に対応した送信データに補正する補正処理手段とを備え、前記第２のデータ送受信装置は、前記変化データと該変化データが生成された所定時刻を示す所定時刻情報とを前記第１のデータ送受信装置から受信する受信手段と、前記受信手段により受信された変化データに基づいて前記送信データを生成するデータ生成手段と、前記受信手段により受信された所定時刻情報を複製する時刻情報複製手段と、前記データ生成手段により生成された送信データと前記時刻情報複製手段により複製された所定時刻情報とを前記第１のデータ送受信装置に送信する送信手段とを備えることを特徴とする双方向データ伝送システムを提供する。

この構成によれば、双方向データ伝送システムを構成する第２のデータ送受信装置は第１のデータ送受信装置に対して送信データとともに当該送信データがいつの時点のデータかを示す時刻情報を送信し、第１のデータ送受信装置は、送信データ及び変化データがいつ時点のデータかを把握することで、時刻によって各種状態が動的に変化する環境においても、第２のデータ送受信装置との間のデータ伝送によって発生する遅延の補正処理を行うことができ、伝送遅延の影響を低減することができる。また、第１のデータ送受信装置と第２のデータ送受信装置とで分散して演算処理を行うようにしたため、データ送受信装置が資源の乏しい端末装置であっても処理負荷を低減することができる。このように、各データ送受信装置の演算処理量及びデータ伝送量を抑制しながら、伝送遅延の影響を低減することが可能となる。

請求項８に記載の発明は、サーバが送信したメディアデータを端末装置が受信するデータ送受信方法において、前記端末装置が、受信者の位置と向きとの少なくとも一方を示す第１の位置方向情報と、該第１の位置方向情報が生成された時刻を示す第１の時刻情報とを取得する第１情報取得ステップと、前記端末装置が、前記第１の位置方向情報と前記第１の時刻情報とを対応付けて記憶装置に記憶する記憶ステップと、前記端末装置が、前記第１の位置方向情報と前記第１の時刻情報とを前記サーバに送信する第１情報送信ステップと、前記サーバが、前記第１情報送信ステップにおいて送信された第１の位置方向情報に基づいて、前記端末装置に送信すべきメディアデータに対して処理を行うデータ処理ステップと、前記サーバが、前記第１情報送信ステップにおいて送信された第１の時刻情報を複製する時刻情報複製ステップと、前記サーバが、前記データ処理ステップにおいて処理が行われたメディアデータと前記時刻情報複製ステップにおいて複製された第１の時刻情報とを前記端末装置に送信するメディアデータ送信ステップと、前記端末装置が、前記メディアデータ送信ステップにおいて送信された第１の時刻情報と対応する第１の位置方向情報を前記記憶装置から取得する第１の位置方向情報取得ステップと、前記端末装置が、第２の位置方向情報と該第２の位置方向情報が生成された時刻を示す第２の時刻情報とを取得する第２情報取得ステップと、前記端末装置が、前記第１の位置方向情報取得ステップにおいて取得した前記第１の位置方向情報と第２情報取得ステップにおいて取得した前記第２の位置方向情報との差に基づき、前記メディアデータ送信ステップにおいて送信されたメディアデータを前記第２の時刻情報に対応するメディアデータに補正する補正処理ステップとを有することを特徴とするデータ送受信方法を提供する。

この方法によれば、端末装置が第１の位置方向情報及び第１の時刻情報をサーバに通知し、サーバが第１の時刻情報に対応するメディアデータを生成し、端末装置が第１の位置方向情報及び第１の時刻情報と新たに取得した第２の位置方向情報及び第２の時刻情報とに基づき、第１の時刻情報に対応するメディアデータを第２の時刻情報に対応するメディアデータに補正することができるため、端末装置からサーバへ位置方向情報をフィードバックしても、追従遅延を低減してメディアデータを再現することができる。また、サーバ及び端末装置とで分散して処理を行うようにしたので処理負荷を低減することができる。このように、サーバ及び端末装置の演算処理量及びデータ伝送量を抑制しながら、受信者の向きや位置が随時変わる動的な環境においても、伝送遅延のある伝送路における伝送遅延の影響を低減し、通信の品質を向上させることができる。

本発明によれば、データ送受信装置は、変化データ及び送信データがいつ時点のデータであるかを示す時刻情報を取得し、これらの変化データと送信データと時刻情報とに基づいて通信相手装置との間のデータ伝送によって発生する遅延の補正処理を行うことができるため、時刻によって各種状態が動的に変化する環境においても、伝送遅延の影響を低減することが可能となる。

次に、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の説明において参照する各図においては、他の図と同等部分に同一符号が付されている。
（第１実施形態）
まず、本発明の第１実施形態について説明する。第１実施形態においては、本発明に係るデータ送受信装置を、立体音響伝送システム１を構成する端末１０とサーバ２０とに適用した場合について説明する。

図１は、本発明の第１実施形態に係る立体音響伝送システム１の概略構成を示す図である。同図に示すように、立体音響伝送システム１は、端末１０及びサーバ２０を含んで構成される。端末１０及びサーバ２０は、図示せぬＣＰＵ（Central Processing Unit）、記憶装置、及び、通信インターフェース等のハードウェアを備えている。記憶装置にはデータやプログラム等のソフトウェアが記憶されている。プログラムの中には、データとともに時刻情報を通信相手装置との間で送受信し、時刻情報を利用した演算処理を行うためのプログラムが含まれている。これらの各装置１０，２０が備えるハードウェア及びソフトウェアによって、以下に説明する機能構成が各装置１０，２０に実現される。

［端末の機能構成］
図２は、端末１０の機能構成を示すブロック図である。
同図に示すデータ取得部１１は、時刻によって変化する変化データとして、受聴者の位置や、頭や体の向きに関する位置方向情報を取得する。データ取得部１１は、ジャイロセンサや磁気センサといったセンサから位置方向情報を取得しても良いし、ＧＰＳ（Global Positioning System）やコンパスから取得しても良い。また、仮想空間を立体音響信号で再現する場合は、受聴者がジョイスティックなどを用いて任意に位置や方向を端末１０に入力したものをデータ取得部１１が取得しても良い。

時刻情報取得部１２は、データ取得部１１で取得された位置方向情報が生成された時刻を示す時刻情報を取得する。時刻情報としては、内部クロックの時刻情報を取得してもよいし、データ取得部１１がＧＰＳから位置方向情報を受信している場合にはＧＰＳの時刻情報を取得してもよい。
メモリ部１３は不揮発性メモリ等の記憶装置で構成される。メモリ部１３は、データ取得部１１により取得された位置方向情報と、時刻情報取得部１２により取得された時刻情報とを記憶する。

送信部１５は、データ取得部１１により取得された位置方向情報と、時刻情報取得部１２により取得された時刻情報とをサーバ２０へ送信する。
受信部１６は、サーバ２０からの送信データとして立体音響データを受信する。さらに、受信部１６は、立体音響データとともに当該立体音響データがいつの時点の立体音響かを示す時刻情報をサーバ２０から受信する。
補正処理部１４は、データ取得部１１により取得された位置方向情報と、時刻情報取得部１２により取得された時刻情報と、受信部１６により受信された時刻情報及び立体音響データとに基づき、サーバ２０との間のデータ伝送によって発生した追従遅延を補正する。

具体的には、まず、補正処理部１４は、受信部１６が受信した時刻情報に対応する位置方向情報をメモリ部１３より読み出す。そして、補正処理部１４は、データ取得部１１から最新の位置方向情報を取得する。補正処理部１４は読み出した位置方向情報と最新の位置方向情報との差に基づき、立体音響データを補正する。最新の位置方向情報は、補正処理部１４がデータ取得部１１から随時受信するようにしておいてもよいし、メモリ部１３を介して取得してもよい。また、立体音響データの補正方法としては、例えば、２つの位置方向情報の差を算出し、その差に対応する補正伝達関数を求め、その補正伝達関数により受信した音響データを処理してもよい。また、２つの位置方向情報の差を用いて、米国特許第６５３２２９１号に開示されているような手法を用いてもよい。距離の補正については、距離減衰を模擬したフィルタを用いてもよいし、より簡易に、音量を変える手法を用いてもよい。なお、サーバ２０から端末１０へ伝送する送信データが映像データの場合は、サーバ２０は、表示する範囲の映像よりも広い視野角の映像を端末１０に伝送しておき、端末１０の補正処理部１４が、頭部回転に併せて表示する映像の範囲をずらしてもよい。

［サーバの機能構成］
次にサーバ２０の機能構成について説明する。図３は、サーバ２０の機能構成を示すブロック図である。
サーバ２０の受信部２３は、一つ又は複数の端末１０から、時刻情報および位置方向情報を受信する。
データ生成部２１は、受信部２３により受信された位置方向情報に基づき、受信した音響データやサーバ２０内部の仮想音源などに立体音響処理を施し、端末１０側で再生すべき立体音響データを生成する。
時刻情報複製部２２は、受信部２３が端末１０から受信した時刻情報、即ちデータ生成部２１が作成した立体音響データがいつの時点の音場かを示す時刻情報を複製する。
送信部２４は、データ生成部２１が生成した立体音響データと時刻情報複製部２２が複製した時刻情報とを端末１０へ送信する。

［動作］
次に、図４を参照して、立体音響伝送システム１を構成する端末１０及びサーバ２０の動作例を説明する。
端末１０のデータ取得部１１は、受聴者の位置方向情報Ｄを取得し（ステップＳ１０１）、同時に時刻情報取得部１２は、位置方向情報Ｄが生成された時刻を示す時刻情報Ｔｎを取得する（ステップＳ１０２）。
端末１０の送信部１５は、時刻情報Ｔｎ時の位置方向情報Ｄ（Ｔｎ）及び時刻情報Ｔｎをサーバ２０側へ送信するとともに、端末１０は位置方向情報Ｄ（Ｔｎ）及び時刻情報Ｔｎをメモリ部１３へも書き込んでおく（ステップＳ１０３）。

サーバ２０の受信部２３は、端末１０から時刻情報Ｔｎおよび位置方向情報Ｄ（Ｔｎ）を受信する（ステップＳ２０１）。データ生成部２１は、位置方向情報Ｄ（Ｔｎ）に基づき、例えば、位置方向情報Ｄ（Ｔｎ）と音響データとの相対関係に対応する頭部伝達関数を用いるなどして音響データに立体音響処理を行い、時刻情報Ｔｎ時の音場である立体音響データＳ（Ｔｎ）を生成する（ステップＳ２０２）。時刻情報複製部２２は、生成された立体音響データＳ（Ｔｎ）がＴｎ時の音場であることを示すため、時刻情報Ｔｎを複製する（ステップＳ２０３）。送信部２４は、立体音響データＳ（Ｔｎ）と時刻情報Ｔｎとを端末１０側へ送信する（ステップＳ２０４）。

端末１０の受信部１６は、サーバ２０から時刻情報Ｔｎおよび立体音響データＳ（Ｔｎ）を受信する（ステップＳ１０４）。補正処理部１４は、メモリ部１３より時刻情報Ｔｎ時の位置方向情報Ｄ（Ｔｎ）を読み出す（ステップＳ１０５）。
補正処理部１４は、データ取得部１１から最新の位置方向情報Ｄ（Ｔｍ）を受信し（ステップＳ１０６）、位置方向情報Ｄ（Ｔｎ）と最新の位置方向情報Ｄ（Ｔｍ）との差に基づき、立体音響データＳ（Ｔｎ）に補正処理を行い（ステップＳ１０７）、端末１０で実際に再生する立体音響データＳ’（Ｔｍ）を生成する（ステップＳ１０８）。
このように、立体音響処理を行うサーバ２０側から端末１０側へ、立体音響データとともに当該立体音響データがいつの時点の音場かを示す補助情報を送信し、端末１０側でその補助情報を用いて最新の位置および頭の向きとの差を補正することで、追従遅延による定位音像のずれを補償することができる。

図５は、従来法における追従遅延と、図４において説明した本実施形態の動作例における追従遅延とについて説明するためのシーケンス図である。同図に示すτａは、図１３に示す従来のサーバ処理型のシステムにおける立体音響データＳの再生方法（受聴者のＴｎ時における位置及び方向を示す位置方向情報を一旦サーバ２０側へフィードバックし、サーバ２０側が立体音響処理を行った音響データを端末１０へ伝送してＴｎ時の音響データＳを再生する方法）における追従遅延である。また、τｂは、図４に示す本実施形態の再生方法（端末１０側で最新の（Ｔｍ時の）位置方向情報に基づき補正処理を行ってＴｍ時の立体音響データＳを再生する方法）における追従遅延である。このように、従来法の追従遅延τａに対し、本実施形態における追従遅延τｂは小さくてすむ。

本実施形態においては、動的な立体音場を再現するため受聴者の位置および頭の向きを端末１０からサーバ２０側へフィードバックしても、時刻情報を補助情報として授受することで、端末１０において低遅延で立体音場を再現することが可能となる。また、頭部や体の回転に対応した立体音響処理をサーバ２０側と端末１０側とで分散処理するようにしたので、資源の乏しい端末１０に処理負荷をかけずに、動的な立体音場を低遅延で再現することが可能となる。
このようにして、受聴者や音源の相対位置および受聴者の向きが変化しても、インタラクティブな立体音場を再現する場合に問題となる追従遅延や処理負荷の改善を行うことが可能になる。

なお、上述した実施形態においては、サーバ２０から端末１０へ伝送するデータが立体音響データの場合について説明したが、映像データ、テキストデータ、さらには、映像データ及び立体音響データを含むメディアデータについても同様に適用可能である。
また、上述した実施形態においては立体音響データのみの単一メディアデータを伝送する例について説明したが、複数のメディアデータを伝送する際は、各々のメディアデータに対応する時刻情報を用いてもよいし、１つの時刻情報を共有してもよい。

（第２実施形態）
次に、本発明の第２実施形態について説明する。第２実施形態においては、本発明に係るデータ送受信装置を、双方向データ伝送システム２を構成する送信側装置３０と受信側装置４０とに適用した場合について説明する。
送信側装置３０と受信側装置４０とは、図示せぬＣＰＵ、記憶装置、ディスプレイ、及び、通信インターフェースを含んで構成され、一般的なコンピュータのハードウェア構成を備えている。記憶装置にはデータやプログラム等のソフトウェアが記憶されている。プログラムの中には、データとともに時刻情報を通信相手装置との間で送受信し、時刻情報を利用した演算処理を行うためのプログラムが含まれている。これらの各装置３０，４０が備えるハードウェア及びソフトウェアによって、以下に説明する機能構成が各装置３０，４０に実現される。

図６は、双方向データ伝送システム２を構成する送信側装置３０の機能構成を示すブロック図である。
データ取得部３１は、時刻によって変化する変化データとして、画像データを取得する。
時刻情報取得部３２は、データ取得部３１により取得された画像データが生成された時刻を示す時刻情報を取得する。
送信部３４は、データ取得部３１が取得した画像データ及び時刻情報取得部３２が取得した時刻情報を受信側装置４０に送信する。
受信部３５は、受信側装置４０からの送信データとしてイベント情報を受信する。イベント情報とは、受信側装置４０において所定のイベントが発生したことを示す情報である。また、受信部３５は、当該イベント情報とともに当該イベントが発生した時刻を示す時刻情報を受信する。

補正処理部３３は、受信部３５が受信したイベント情報及び時刻情報に基づき、当該受信した時刻情報で示される時刻においてどのようなイベントが発生したかを判断し、データ取得部３１により取得された最新の画像データをイベントが発生した時点の画像データに補正する。このように、本実施形態においては、データ取得部３１により取得される変化データを補正する。

図７は、双方向データ伝送システム２を構成する受信側装置４０の機能構成を示すブロック図である。同図に示す受信部４３は、画像データと当該画像データが生成された時刻を示す時刻情報とを送信側装置３０から受信する。
データ生成部４１は、受信部４３が受信した画像データに基づいてイベント情報を生成する。例えば、受信者が受信側装置４０に受信されてディスプレイに表示されている画像データを停止させるために当該画像データをマウスでクリックした場合に、データ生成部４１はマウスをリックしたことを示すイベント情報を生成する。

時刻情報複製部４２は、イベントが発生した時点でディスプレイに表示されている画像データが生成された時刻を示す時刻情報、すなわち、当該画像データと対応付けられて受信された時刻情報を複製する。
送信部４４は、データ生成部４１により生成されたイベント情報と、時刻情報複製部４２により複製された時刻情報とを送信側装置３０に送信する。

［動作］
次に、図８を参照して動作を説明する。動作例としては、送信側装置３０が画像データを送信し、受信側装置４０は受信した画像データをディスプレイに表示し、受信者がマウスを用いて画像データをクリックすることで画像を停止させる例を用いる。
まず、送信側装置３０のデータ取得部３１は、あらかじめ受信側装置４０に送信する画像データＶ（ｔ）を取得し（ステップＳ３０１）、時刻情報取得部３２は、対応する時刻情報ｔを取得する（ステップＳ３０２）。送信部３４は、画像データＶ（ｔ）と時刻情報ｔとを受信側装置４０へ送信する（ステップＳ３０３）。

受信側装置４０は、受信した画像データＶ（ｔ）を表示し（ステップＳ４０１）、受信者に提示する。受信者が、表示されている画像データを停止させるため時刻情報ｔ１の画像データＶ（ｔ１）をマウスでクリックすると、受信側装置４０は直ちに画像データの表示を停止するとともに、データ生成部４１は、マウスをクリックしたというイベント情報を生成する（ステップＳ４０２）。時刻情報複製部４２は、イベントが発生した画像データに対応する時刻情報ｔ１を複製する（ステップＳ４０３）。受信側装置４０は、イベント情報と時刻情報ｔ１とを送信側装置３０へ返送する（ステップＳ４０４）。

送信側装置３０は、イベント情報と複製時刻情報ｔ１とを受信する（ステップＳ３０４）。ここで、受信側装置４０から送信側装置３０までイベント情報および複製時刻情報ｔ１を伝送するために必要な時間をｄとすると、送信側装置３０がイベント情報と複製時刻情報ｔ１を受信する時刻はｔ１＋ｄとなるため、送信側装置３０は、Ｖ（ｔ１＋１）〜Ｖ（ｔ１＋ｄ）の画像データについて受信側装置４０への送信を完了している。

送信側装置３０の補正処理部３３は、受信した複製時刻情報ｔ１時点の画像データＶ（ｔ１）において停止のためのイベントが発生したと判断し、画像データＶ（ｔ１＋ｄ）を画像データＶ（ｔ１）に補正し（ステップＳ３０５）、画像データＶ（ｔ１）において停止処理を実行する（ステップＳ３０６）。これにより、送信側装置３０の画像はＶ（ｔ１）で停止する。したがって、送信側装置３０、受信側装置４０ともに停止した時点の画像はＶ（ｔ１）となっている。

このように、送信側装置３０における最新の画像データＶ（ｔ１＋ｄ）を、受信側装置４０から受信した時刻情報ｔ１での画像データＶ（ｔ１）に補正することができ、追従遅延の影響をなくすことができる。送信側装置３０及び受信側装置４０が取得する画像データの状態が時々刻々変化する場合に遅延のある伝送路を用いてインタラクティブな通信を行う際も、時刻情報を用いて送信側装置３０と受信側装置４０との双方が同じ内部状態を保つことができる。

なお、双方向通信の形態によっては、送信側装置３０が受信側となり、受信側装置４０が送信側となることも考えられる。
また、上述した実施形態においては、送信側装置３０から受信側装置４０に画像データを伝送するとして説明したが、伝送するデータの種類はこれに限定されることはなく、立体音響データ等のメディアデータであってもテキストデータであってもよい。
また、イベントの種類は画像の停止に限定されることはなく、例えば、画像の早送り、巻き戻し等のイベントであってもよい。

（変形例）
本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。変形例としては、例えば、以下のものが考えられる。
（１）第１の変形例
図９には、第１の変形例に係る端末１０の機能構成を示す。本変形例は、データ取得部１１１が時刻情報取得部１２と同期して動作する。つまり、データ取得部１１１は、時刻情報取得部１２による時刻情報の取得タイミングと同期して位置方向情報を取得する。

例えば、端末１０とサーバ２０とが、ＲＴＰ（H.Schulzrinne, et al.,"RTP: A Transport Protocol for Real-Time Applications", RFC1889, Jan. 1996.）によるパケット通信を行う例を考える。この場合には、端末１０の時刻情報取得部１２は、例えば、ＲＴＰパケットの送信タイミングを計時するタイマーを含んで構成されており、時刻情報取得部１２はこのタイマーで計時されるＲＴＰパケットの送信タイミングに合わせて時刻情報を取得する。時刻情報取得部１２は、取得した時刻情報をメモリ部１３に記憶するとともに、データ取得部１１１に位置方向情報取得のタイミングを通知する。データ取得部１１１は、時刻情報取得部１２から通知されたタイミングに合わせて位置方向情報を取得する。端末１０は、位置方向情報を含んだＲＴＰパケットを生成し、従来通りＲＴＰヘッダにＲＴＰパケット生成時のタイムスタンプを付加する。

これにより、ＲＴＰヘッダのタイムスタンプを時刻情報とすることができ、サーバ２０へ送信する補助情報を削減することができる。
なお、他の変形例として、時刻情報取得部１２がＲＴＰパケットの送信タイミングを計時するタイマーを含んでおらず、外部のタイマー等からＲＴＰパケットの送信タイミングの通知を受け、このタイミングに合わせて時刻情報を取得するようにしてもよい。
また、本変形例は、第２実施形態における送信側装置３０についても同様に適用することができる。

（２）第２の変形例
図１０には、第２の変形例に係る端末１０の機能構成を示す。本変形例では、時刻情報取得部１２１が受聴者側の符号化音響データの符号化周期に同期して動作することにより時刻情報を取得する。また、本変形例においては、第１の変形例と同様に、データ取得部１１１は時刻情報取得部１２１と同期して動作することにより位置方向情報を取得する。

端末１０が受聴者の音声など受聴者側の音響データを符号化してサーバ２０へ送信する場合に、時刻情報取得部１２１は、取得する時刻情報として符号化フレーム周期やサンプリング周期といった音響データが持つ時刻情報を利用する。データ取得部１１１は時刻情報取得部１２と同期して動作しているので、結果的に、データ取得部１１１は受聴者側の音響データの符号化周期に合わせて位置方向情報を取得することになる。

具体的には、時刻情報取得部１２は、例えば、符号化音響データの符号化フレーム数をカウントし、そのフレーム番号を時刻情報として位置方向情報とともにメモリ部１３へ格納しておけばよい。通信開始時刻をＴ０とすると、符号化のフレーム長Ｌおよびフレーム番号Ｎから位置方向情報を生成した時刻Ｔｎは、Ｔｎ＝Ｔ０＋Ｌ×Ｎと算出することもできる。

位置方向情報は毎フレーム発生するようにしてもよいし、サンプリング周期など短い周期を利用する場合は数サンプルに１度発生するようにしてもよい。
サーバ２０側から受信した時刻情報がフレーム番号Ｎであっても時刻Ｔｎであっても、前述の計算式が成り立つため、対応する位置方向情報をメモリ部１３より読み出すことができる。

符号化音響データを受信したサーバ２０は、端末１０と同様の手順で符号化音響データから時刻を算出することが可能であるし、また、端末１０はサーバ２０からフレーム番号を受信しても当該フレーム番号から時刻を算出することができるため、端末１０はサーバ２０に対して時刻情報を送信する必要がなくなり、サーバ２０に送信する補助情報を削減することができる。
なお、符号化音響データは音響データに限定されることはなく、符号化データであればどのようなデータであってもよい。例えば、符号化された位置方向情報であってもよい。また、本変形例は、第２実施形態における送信側装置３０についても同様に適用することが可能である。

（３）第３の変形例
図１１には、第３の変形例に係るサーバ２０の機能構成を示す。本変形例においては、サーバ２０は時刻情報の代わりに符号化音響データを受信し、受信した符号化音響データから時刻情報を算出して生成する。
サーバ２０の受信部２３は、一つ又は複数の端末１０から、符号化音響データおよび位置方向情報を受信する。
データ生成部２１は、受信部２３が受信した位置方向情報に基づき、受信した符号化音響データ又は端末１０へ送信すべきその他の音響データに立体音響処理を施し、端末１０側で再生すべき立体音響データを作成する。その際必要であれば、立体音響処理の前に復号化処理を行う。

ここで、端末１０側で最新の位置方向情報に基づいて補正を行うために、前記立体音響データがいつの時点の音場かを示す時刻情報が必要となる。本変形例においては、図１０に示す端末１０から符号化音響データを受信する場合、サーバ２０の受信部２３が時刻情報を受信しなくても、時刻情報複製部２２１は前記受信符号化音響データを用いて時刻情報を生成することができる。例えば、時刻情報複製部２２１が受信した符号化音響データの符号化フレーム数をカウントしておき、そのフレーム番号を時刻情報とすればよい。また、時刻情報複製部２２１は、通信開始時刻をＴ０、符号化のフレーム長Ｌおよびフレーム番号Ｎから、前述の計算式を用いて、位置方向情報を生成した時刻Ｔｎを算出してもよい。

このように、受信した符号化音響データから時刻情報を生成することもできるので、図１０に示す端末１０が符号化音響データの符号化周期に合わせて位置方向情報を生成してサーバ２０へ送信するようにすれば、サーバ２０は時刻情報を受信しなくても、端末１０側へ立体音響データがいつの時点の音場かを示す時刻情報を送信することができる。時刻情報をサーバ２０へ送信する必要がなくなるため、補助情報を削減することができ、データ伝送量を抑制することができる。
なお、符号化音響データは音響データに限定されず、符号化データであればよい。また、本変形例は第２実施形態における受信側装置４０についても同様に適用することができる。

受聴者の位置及び向き、相手側装置の位置、送信側装置及び受信側装置の内部状態等、各種状態が動的に変化する移動通信網等の通信環境において、遅延のある伝送路を用いてインタラクティブな通信を行う場合に、伝送遅延の影響を低減し、通信の品質を向上させる必要のあるあらゆる産業に利用することができる。

本発明の第１実施形態に係る立体音響伝送システムの概略構成を示す図である。 同実施形態に係る端末の機能構成を示すブロック図である。 同実施形態に係るサーバの機能構成を示すブロック図である。 同実施形態に係る端末とサーバとの動作例を説明するためのフローチャートである。 同実施形態に係る追従遅延と、従来における追従遅延とを比較するためのシーケンス図である。 本発明の第２実施形態に係る双方向データ伝送システムを構成する送信側装置の機能構成を示すブロック図である。 同実施形態に係る双方向データ伝送システムを構成する受信側装置の機能構成を示すブロック図である。 同実施形態に係る送信側装置と受信側装置との動作を説明するためのフローチャートである。 第１の変形例に係る端末の機能構成であり、データ取得部が時刻情報取得部と同期して動作する例を示すブロック図である。 第２の変形例に係る端末の機能構成であり、時刻情報取得部が受聴者側の符号化音響データの符号化周期に同期して動作する例を示すブロック図である。 第３の変形例に係るサーバの機能構成であり、受信した音響符号化音響データから時刻情報を複製し、立体音響データとともに送信する例を示すブロック図である。 従来における立体音響伝送システムの一例の概略構成であり、複数の音源データを受信し立体音響処理を行う端末の例を示す図である。 従来における立体音響伝送システムの別の一例の概略構成であり、複数の音源データを受信し立体音響処理を行い送信するサーバと受信した立体音響データを再生する端末とで構成されるサーバ処理型立体音響伝送システムの例を示す図である。 従来における立体音響伝送システムの別の一例の概略構成であり、複数の音源データを受信し立体音響処理を行い送信するサーバと最新の位置方向情報を基に受信した立体音響データを補正して再生する端末とで構成される立体音響伝送システムの例を示す図である。

符号の説明

１ 立体音響伝送システム
２ 双方向データ伝送システム
１０ 端末
１１，１１１ データ取得部
１２，１２１ 時刻情報取得部
１３ メモリ部
１４ 補正処理部
１５ 送信部
１６ 受信部
２０ サーバ
２１ データ生成部
２２，２２１ 時刻情報複製部
２３ 受信部
２４ 送信部
３０ 送信側装置
３１ データ取得部
３２ 時刻情報取得部
３３ 補正処理部
３４ 送信部
３５ 受信部
４０ 受信側装置
４１ データ生成部
４２ 時刻情報複製部
４３ 受信部
４４ 送信部

Claims (8)

1. 通信相手装置と双方向データ伝送を行うデータ送受信装置において、
   時刻によって変化する変化データを取得するデータ取得手段と、
   前記データ取得手段により取得された変化データが生成された時刻を示す時刻情報を取得する時刻情報取得手段と、
   前記データ取得手段により取得された変化データと前記時刻情報取得手段により取得された時刻情報とを対応付けて記憶する記憶手段と、
   前記データ取得手段により取得された所定時刻における変化データと、前記時刻情報取得手段により取得された前記所定時刻を示す所定時刻情報とを前記通信相手装置に送信する送信手段と、
   前記通信相手装置から送信されてきたデータであって、前記送信手段により送信された前記変化データに基づいて前記通信相手装置において生成される送信データと、前記送信手段により送信された前記所定時刻情報を前記通信相手装置にて複製した所定時刻情報とを受信する受信手段と、
   前記送信手段から前記所定時刻における変化データおよび前記所定時刻情報を送信した後に前記データ取得手段において取得した変化データであって、前記記憶手段に記憶されている、最新の時刻情報に対応する最新の変化データと前記所定時刻情報に対応する変化データとの差に基づき、前記受信手段により受信された前記所定時刻における送信データを前記最新の時刻情報に対応した送信データに補正する補正処理手段と
   を備えることを特徴とするデータ送受信装置。
2. 前記データ送受信装置は、移動通信装置であることを特徴とする請求項１に記載のデータ送受信装置。
3. 前記データ取得手段は、
   前記時刻情報取得手段による時刻情報の取得タイミングと同期して変化データを取得することを特徴とする
   請求項１又は２に記載のデータ送受信装置。
4. 前記時刻情報取得手段は、
   前記通信相手装置に送信すべき符号化データの符号化周期に同期して時刻情報を取得することを特徴とする
   請求項３に記載のデータ送受信装置。
5. 前記送信データはメディアデータであり、前記変化データは該メディアデータを受信する受信者の位置と向きとの少なくとも一方を示す位置方向情報であることを特徴とする
   請求項１から４の何れか１項に記載のデータ送受信装置。
6. 前記送信データは立体音響データであり、前記変化データは該立体音響データを受信する受信者の位置と向きとの少なくとも一方を示す位置方向情報であり、さらに、
   前記立体音響データは、前記送信手段により送信された前記位置方向情報に基づき、前記通信相手装置において受信された音響データもしくは前記通信相手装置内部の仮想音源に立体音響処理を施したものであることを特徴とする請求項１から５の何れか１項に記載のデータ送受信装置。
7. 第１のデータ送受信装置と第２のデータ送受信装置とを含んで構成される双方向データ通信システムにおいて、
   前記第１のデータ送受信装置は、
   時刻によって変化する変化データを取得するデータ取得手段と、
   前記データ取得手段により取得された変化データが生成された時刻を示す時刻情報を取得する時刻情報取得手段と、
   前記データ取得手段により取得された変化データと前記時刻情報取得手段により取得された時刻を示す時刻情報とを対応付けて記憶する記憶手段と、
   前記データ取得手段により取得された所定時刻における変化データと前記時刻情報取得手段により取得された前記所定時刻を示す所定時刻情報とを前記第２のデータ送受信装置へ送信する送信手段と、
   前記第２のデータ送受信装置から送信されてきたデータであって、前記送信手段により送信された前記変化データに基づいて前記第２のデータ送受信装置において生成される送信データと、前記送信手段により送信された前記所定時刻情報を前記第２のデータ送受信装置にて複製した所定時刻情報とを受信する受信手段と、
   前記送信手段から前記所定時刻における変化データおよび前記所定時刻情報を送信した後に前記データ取得手段において取得した変化データであって、前記記憶手段に記憶されている、最新の時刻情報に対応する最新の変化データと前記所定時刻情報に対応する変化データとの差に基づき、前記受信手段により受信された前記所定時刻における送信データを前記最新の時刻情報に対応した送信データに補正する補正処理手段とを備え、
   前記第２のデータ送受信装置は、
   前記変化データと該変化データが生成された所定時刻を示す所定時刻情報とを前記第１のデータ送受信装置から受信する受信手段と、
   前記受信手段により受信された変化データに基づいて前記送信データを生成するデータ生成手段と、
   前記受信手段により受信された所定時刻情報を複製する時刻情報複製手段と、
   前記データ生成手段により生成された送信データと前記時刻情報複製手段により複製された所定時刻情報とを前記第１のデータ送受信装置に送信する送信手段と
   を備えることを特徴とする双方向データ伝送システム。
8. サーバが送信したメディアデータを端末装置が受信するデータ送受信方法において、
   前記端末装置が、受信者の位置と向きとの少なくとも一方を示す第１の位置方向情報と、該第１の位置方向情報が生成された時刻を示す第１の時刻情報とを取得する第１情報取得ステップと、
   前記端末装置が、前記第１の位置方向情報と前記第１の時刻情報とを対応付けて記憶装置に記憶する記憶ステップと、
   前記端末装置が、前記第１の位置方向情報と前記第１の時刻情報とを前記サーバに送信する第１情報送信ステップと、
   前記サーバが、前記第１情報送信ステップにおいて送信された第１の位置方向情報に基づいて、前記端末装置に送信すべきメディアデータに対して処理を行うデータ処理ステップと、
   前記サーバが、前記第１情報送信ステップにおいて送信された第１の時刻情報を複製する時刻情報複製ステップと、
   前記サーバが、前記データ処理ステップにおいて処理が行われたメディアデータと前記時刻情報複製ステップにおいて複製された第１の時刻情報とを前記端末装置に送信するメディアデータ送信ステップと、
   前記端末装置が、前記メディアデータ送信ステップにおいて送信された第１の時刻情報と対応する第１の位置方向情報を前記記憶装置から取得する第１の位置方向情報取得ステップと、
   前記端末装置が、第２の位置方向情報と該第２の位置方向情報が生成された時刻を示す第２の時刻情報とを取得する第２情報取得ステップと、
   前記端末装置が、前記第１の位置方向情報取得ステップにおいて取得した前記第１の位置方向情報と第２情報取得ステップにおいて取得した前記第２の位置方向情報との差に基づき、前記メディアデータ送信ステップにおいて送信されたメディアデータを前記第２の時刻情報に対応するメディアデータに補正する補正処理ステップと
   を有することを特徴とするデータ送受信方法。

Images