JP7443973B2

JP7443973B2 - 音響振動再現システム及び音響振動再現方法

Info

Publication number: JP7443973B2
Application number: JP2020127361A
Authority: JP
Inventors: 秀弥辻井; 尚志岡; アズリアーマド; 馨豊口; 知英猪俣; 優雅伊藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2024-03-06
Anticipated expiration: 2040-07-28
Also published as: JP2022024649A

Description

本発明は、音響振動再現技術に関する。

ネットワークを介した双方向のＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）コミュニケーション通信では、映像情報と音情報を高画質・高音質に低遅延で伝送することでリアリティのあるコミュニケーション体験を提示できる。近年ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）といった映像システムやマルチチャンネルによる立体音響システムを導入すれば、あたかもその場にいるかのような臨場感を得ることができる。

特許文献１には、高い臨場感で相互に通信が可能な双方向通信システムが開示されている。

特開２００８－５１２２号公報

ネットワーク通信による双方向のＡＶコミュニケーション技術を用いたＴＶ会議システムが普及しており、臨場感のあるシステムが要求される。そのために、映像装置においては、高解像度の映像を伝送可能な装置やＶＲを利用した没入感のあるシステムが好まれ、音響装置においては、音声明瞭度の高い入出力装置や立体音響提示装置が好まれる。

しかし、双方間のコミュニケーションとして更なるリアリティを向上させるためには、双方間同士が同じ空間に存在しているかのような空間共有体験が必要である。

特許文献１の双方向通信システムでは、画像や音の再現性のみを考慮しているため、使用者の行動（たとえば、机を叩く動作、物体を机に置く動作など）による音響や振動などの周囲変化を感じ取ることができず、空間共有の観点からすると、臨場感に欠けてしまうという課題が挙げられる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、音響振動を通して空間共有体験を提示し、臨場感を高めることのできる音響振動再現技術を提供することにある。

上記課題を解決するために、本発明のある態様の音響振動再現システムは、ネットワークを介して音響振動信号を送受信する音響振動再現システムであって、共有物体を介して伝搬される振動を測定する振動測定器と、振動を前記共有物体へ伝搬させる振動発生器と、音響振動信号を送受信する信号処理装置とを含む。前記信号処理装置は、前記振動測定器により測定された振動を音響振動信号として通信先の音響振動再現システムに送信し、前記信号処理装置は、通信先の音響振動再現システムから音響振動信号を受信し、前記振動発生器は、受信された音響振動信号にもとづいて振動を前記共有物体へ伝搬させて再現する。

本発明の別の態様は、音響振動再現方法である。この方法は、ネットワークを介して音響振動信号を送受信する音響振動再現システムによる音響振動再現方法であって、共有物体を介して伝搬される振動を振動測定器によって測定するステップと、振動発生器によって振動を前記共有物体へ伝搬させるステップと、音響振動信号を送受信するステップとを含む。前記音響振動信号を送受信するステップは、前記振動測定器により測定された振動を音響振動信号として通信先の音響振動再現システムに送信し、前記音響振動信号を送受信するステップは、通信先の音響振動再現システムから音響振動信号を受信し、前記振動を前記共有物体へ伝搬させるステップは、受信された音響振動信号にもとづいて前記振動発生器によって振動を前記共有物体へ伝搬させて再現する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、音響振動を通して空間共有体験を提示し、臨場感を高めることができる。

実施の形態に係る音響振動再現システムの模式的な概略構成図である。図１のＡＶ配信制御装置の入出力部の機能ブロックを説明する図である。図１のＡＶ配信制御装置の内部処理フローを説明する図である。衝突音が生じた場合の振動信号送信時における処理フローを説明するシーケンス図である。図５（ａ）および図５（ｂ）は、加振器と加速度ピックアップ装置の配置パターンについて基本配置パターンと拡張配置パターンを説明する図である。加振器と加速度ピックアップ装置の拡張配置パターンに関して、装置使用数増加時の配列パターンを示す図である。共有物体のサイズがスクリーンの奥まで達しない場合の加振器と加速度ピックアップ装置の配置パターンを示す図である。

図１は、実施の形態に係る音響振動再現システム２００の模式的な概略構成図である。空間１には使用者がテーブルの前で椅子に座っており、空間２には別の使用者がテーブルの前で椅子に座っている。空間１と空間２には音響振動再現システム２００が設けられ、通信ネットワーク３００によって互いに接続されている。

音響振動再現システム２００は、ＡＶ配信制御装置１０と、プロジェクタ装置２０と、動画撮影カメラ３０と、プロジェクタスクリーン４０と、スピーカ５０と、共有物体６０と、加振器７０と、加速度ピックアップ装置８０と、ヘッドセットマイクロホン９０とを有する。空間１の音響振動再現システム２００のＡＶ配信制御装置１０と、空間２の音響振動再現システム２００のＡＶ配信制御装置１０とは、通信ネットワーク３００を介して互いに通信する。

ＡＶ配信制御装置１０は、動画データと音データを一括管理し、通信ネットワークを介して空間１あるいは空間２のデータを入出力するＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などの信号処理装置である。

プロジェクタ装置２０は、ＡＶ配信制御装置１０により送信される空間１あるいは空間２側のライブ映像を投射する。動画撮影カメラ３０は、使用者を撮影する。プロジェクタスクリーン４０は、プロジェクタ装置２０から投射されたライブ映像を映す。スピーカ５０は、ＡＶ配信制御装置１０により送信される使用者の音声を含む空間１あるいは空間２内で発せられる音を出力する。

共有物体６０は、振動を共有するために空間１と空間２で使用される物体であり、ここでは一例としてテーブルである。加振器７０は、ＡＶ配信制御装置１０により送信される空間１あるいは空間２で測定される振動を共有物体６０へ伝搬させるための振動発生器である。加速度ピックアップ装置８０は、空間１あるいは空間２で共有物体６０を介して伝搬される振動を測定する振動測定器である。

空間１の加速度ピックアップ装置８０により測定される振動は、空間１のＡＶ配信制御装置１０により空間２のＡＶ配信制御装置１０に送信され、空間２の加振器７０で再現される。空間２の加速度ピックアップ装置８０により測定される振動は、空間２のＡＶ配信制御装置１０により空間１のＡＶ配信制御装置１０に送信され、空間１の加振器７０で再現される。

ヘッドセットマイクロホン９０は、使用者の音声を集音し、ＡＶ配信制御装置１０に録音する。空間１のＡＶ配信制御装置１０は、空間１の使用者の録音された音声を空間２のＡＶ配信制御装置１０に送信する。空間２のＡＶ配信制御装置１０は、空間２の使用者の録音された音声を空間１のＡＶ配信制御装置１０に送信する。

ＡＶ配信制御装置１０は、入力部では音声記録媒体で収録した音データと動画記録媒体で撮影した動画データを同期記録し、リアルタイムで通信ネットワーク３００にデータを転送する。ＡＶ配信制御装置１０は、出力部では転送された音データを音声再生機器で出力し、転送された動画データを動画再生機器で出力する。ＡＶ配信制御装置１０は、例えば、高演算処理能力を備えたコンピュータである。

プロジェクタ装置２０は、ＡＶ配信制御装置１０より出力された動画データをプロジェクタスクリーン４０へリアルタイムに背面投影する。プロジェクタ装置２０は少なくともフルＨＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画質以上を備えており、４Ｋ画質や８Ｋ画質を投射可能な装置を用いてもよい。

動画撮影カメラ３０は、使用者とその周囲の風景を撮影するためのカメラである。例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）を搭載したｗｅｂカメラである。動画撮影カメラ３０は少なくともフルＨＤ画質以上の撮影性能を備えているとする。動画撮影カメラ３０は、リアルタイムで撮影した動画データをＡＶ配信制御装置１０の主記憶装置に蓄積することができる。

プロジェクタスクリーン４０は、プロジェクタ装置２０より背面投射される動画データを映し出すスクリーンである。動画データの出力手段は、少なくとも動画データを高画質で出力可能な性能を満たしていればよいため、プロジェクタ装置２０とは異なる出力手段を用いてもよい。例えば、高画質出力対応のディスプレイパネルやＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）などの映像出力装置を用いてもよい。特に非透過型ＨＭＤによる映像出力を用いれば、現実空間の視覚情報を遮断しＨＭＤで映し出す映像のみを提示可能であるため、没入感による更なる高臨場感を与えることができる。これらの動画データの出力手段を総称して表示部とする。

スピーカ５０は、ＡＶ配信制御装置１０より送信された音データを出力する。スピーカのチャンネル数は、少なくとも１チャンネル以上で構成されており、メインチャンネルのスピーカは、通信の相手側のヘッドセットマイクロホン９０で録音される音声信号を出力する。

共有物体６０は、空間１および空間２において同じ素材、同じ大きさ、同じ形を有する。共有物体６０は、各空間で衝突物体と共有物体６０との衝突により発せられる振動を双方で共有するために用いられる。共有物体６０には加振器７０と加速度ピックアップ装置８０が裏面にそれぞれ少なくとも２セット以上、スクリーン４０中央に垂直な面を基準とした左右対称配置で備えられており、双方向の定位方向の情報を含む音響振動を再現し共有する機能を備えている。共有物体６０は、例えば木製テーブルである。なお、空間１及び空間２における共有物体６０として、素材、大きさ、形が必ずしも一致していなくてもよい。例えば、テーブルの木材の種類が異なっていたり、大きさが異なっていたり（例えば０．５倍から２倍程度）、細部の意匠が異なっていたりしてもよい。この場合、共有物体６０が一致する場合よりも音響振動の再現性は低下するが、一定の臨場感を伝えることで使用者らは空間を共有する体験ができる。

衝突物体は、共有物体６０との衝突により振動を発することができる物体である。音響振動再現システム２００を利用するシチュエーションによって想定させる衝突物体は異なる。例えば、遠隔地同士での音響振動再現システム２００を利用した食事会を想定した場合、衝突物体は皿やコップといった食器類が対象となる。音響振動再現システム２００を会議などで利用する場合は、衝突物体はたとえば文房具である。なお、衝突物体は使用者自身の身体、例えば使用者の拳や肘などでもよい。

加振器７０は、共有物体６０の裏面でスクリーン４０より奥に少なくとも２台以上備えられており、ＡＶ配信制御装置１０より送信された振動データの音響信号を再生し、共有物体６０へ振動を伝搬させる。

加速度ピックアップ装置８０は、共有物体６０の裏面でスクリーン４０より手前に少なくとも２台以上備えられており、各空間で衝突物体と共有物体６０との衝突により発せられる振動の測定データを電気信号に変換してＡＶ配信制御装置１０の主記憶装置に蓄積することができる。

ヘッドセットマイクロホン９０は、使用者の音声を直接録音するマイクロホンである。通信ネットワーク３００は、光回線などの高速回線である。音響振動再現システム２００では、更なる臨場感向上のために複数のマイクロホンを空間内に用意し、マルチチャンネルスピーカシステムを構成してもよい。例えば、使用者の耳にマイクロホンを装着して録音するバイノーラル録音を導入すれば、出力するスピーカシステムを２チャンネル構成に変更し、トランスオーラル再生を行うことで臨場感の向上が期待できる。

図２は、図１のＡＶ配信制御装置１０の入出力部の機能ブロックを説明する図である。ＡＶ配信制御装置１０が扱う入出力部の対象は、映像データと振動データと音声データである。

映像データは、動画撮影カメラ３０で撮影されたデータである。入力部では、映像データは直接、ＡＶ配信制御装置１０の主記憶装置に蓄積され、ＡＶ配信制御装置１０の内部処理にて音データと共に、通信ネットワーク３００へ伝送される。出力部では、通信ネットワーク３００より伝送されるデータから受信側のＡＶ配信制御装置１０にて映像データを受信し、映像データをプロジェクタ装置２０によってプロジェクタスクリーン４０に投射する。

振動データは、加速度ピックアップ装置８０で測定される共有物体６０の振動データである。入力部は、振動データを測定する加速度ピックアップ装置８０と、測定される振動データを増幅する信号増幅部８１と、増幅されたアナログ音響振動信号をディジタル音響振動信号に変換するＡ／Ｄ変換部１１とで構成されている。入力部では、共有物体６０の振動データを加速度ピックアップ装置８０で測定し、信号増幅部８１で信号を増幅し、Ａ／Ｄ変換部１１でアナログ音響振動信号からディジタル音響振動信号へ変換し、ＡＶ配信制御装置１０の主記憶装置に蓄積する。

振動データは、ＡＶ配信制御装置１０の内部処理にて音声データのサブチャンネルとして加速度ピックアップ装置８０の台数分のチャンネルが追加され、１トラックの音データとして映像データと共に通信ネットワーク３００へ伝送される。

出力部は、ＡＶ配信制御装置１０にて受信した振動データのディジタル音響振動信号をアナログ音響振動信号に変換するＤ／Ａ変換部１２と、変換後のアナログ音響振動信号を増幅する信号増幅部７１と、振動データを共有物体６０へ伝搬する加振器７０とで構成されている。出力部では、通信ネットワーク３００より伝送されるデータから受信側のＡＶ配信制御装置１０にて振動データを受信し、振動データをＤ／Ａ変換部１２でディジタル音響振動信号からアナログ音響振動信号に変換した後、信号増幅部７１で信号を増幅し、加速度ピックアップ装置８０と対応関係にある加振器７０を使用して、共有物体６０に共有したい振動を伝搬する。

入力部で使用する加速度ピックアップ装置８０は、振動域の周波数成分を対象とするため変位のみを測定対象とする。信号増幅部８１は、例えば、チャージアンプである。出力部で使用する加振器７０は低周波数成分を対象とした装置を用いる。信号増幅部７１は、例えば、加振器専用アンプである。

音声データは、ヘッドセットマイクロホン９０で測定される使用者の通話音声データである。入力部は、ヘッドセットマイクロホン９０と、ヘッドセットマイクロホン９０で録音される音声データを増幅する信号増幅部９１と、増幅されたアナログ音響音声信号をディジタル音響音声信号に変換するＡ／Ｄ変換部１１とで構成されている。入力部では、使用者の通話音声データをヘッドセットマイクロホン９０で録音し、信号増幅部９１で信号を増幅し、Ａ／Ｄ変換部１１でアナログ音響音声信号からディジタル音響音声信号へ変換し、ＡＶ配信制御装置１０の主記憶装置に蓄積する。

音声データは、ＡＶ配信制御装置１０の内部処理にて加速度ピックアップ装置８０で測定される各振動データがチャンネル追加されて、１トラックの音データとして映像データと共に通信ネットワーク３００へ伝送される。

出力部は、ＡＶ配信制御装置１０にて受信したディジタル音響音声信号をアナログ音響音声信号に変換するＤ／Ａ変換部１２と、変換後のアナログ音響音声信号を増幅する信号増幅部５１と、スピーカ５０とで構成されている。出力部では、通信ネットワーク３００より伝送されるデータから受信側のＡＶ配信制御装置１０にて音声データを受信し、音声データをＤ／Ａ変換部１２でディジタル音響音声信号からアナログ音響音声信号に変換した後、信号増幅部５１で信号を増幅し、スピーカ５０へ出力する。

信号増幅部５１は、例えば、スピーカアンプである。音声データと振動データで使用するＡ／Ｄ変換部１１及びＤ／Ａ変換部１２は、例えばオーディオインタフェースである。

図３は、図１のＡＶ配信制御装置１０の内部処理フローを説明する図である。ＡＶ配信制御装置１０は、送信時に音声信号と振動信号を１つのトラックに格納するチャンネル追加処理部１０１と、受信時に音声信号と振動信号を１トラックからチャンネル単位に切り離すチャンネル分離処理部１０２とを備える。

特に振動信号については送信時にＬＰＦ（Ｌｏｗ－ＰａｓｓＦｉｌｔｅｒ）処理Ｆ０を施し、振動帯域のみ（～２０Ｈｚ）の周波数成分を残し、２０Ｈｚ以上の周波数成分を逓減することが好ましい。また、加振器から伝搬させる振動信号による振動エコーを抑制するため、振動信号の送信前処理としてエコーキャンセラ１００を備えてもよい。ＡＶ配信制御装置１０では、予め測定済みである各加振器７０と加速度ピックアップ装置８０間の伝達特性情報を保持しているものとする。エコーキャンセラ１００は、加速度ピックアップ装置８０で測定される振動信号から加振器７０に受信された振動信号に伝達特性情報を畳み込んだ信号（エコー成分）を減算する処理を施すことでエコー除去を実現している。

図４は、衝突音が生じた場合の振動信号送信時における処理フローを説明するシーケンス図である。図４において、振動信号を送信する側の空間１には使用者Ａが、振動信号を受信する側の空間２には使用者Ｂが存在しており、使用者Ａが共有物体６０に衝突物体を衝突させることで振動が発生する。これは、例えば、互いに遠隔地にいる使用者の間で音響振動再現システム２００を利用した食事会を行う場合、皿やコップなどの食器をテーブルに置く時に生じる振動である。共有物体６０から伝搬される衝突音の振動は、加速度ピックアップ装置８０で変位のみ測定される（Ｓ１０）。

測定された音響振動信号は、カットオフ周波数を２０Ｈｚに設定したＬＰＦ処理を施すことで、可聴域の周波数成分を逓減することが好ましい（Ｓ２０）。衝突音を送信する際に、同時に空間２側の衝突音を受信した場合、振動エコーキャンセル処理を施してもよい（Ｓ３０）。振動エコーキャンセル処理では、エコー成分を減算処理により予め取り除くことで送信側の振動エコーを回避する。その後、音声信号に振動信号のチャンネルを追加して１トラックの音データを用意し（Ｓ４０）、空間２側へ通信ネットワークを介して送信する。

受信側はまずトラックの音データから音声信号と振動信号にチャンネル分離させ（Ｓ５０）、加振器を使用して振動信号を出力する（Ｓ６０）。この一連の処理により遠隔地である空間１側で発生した衝突音を空間２側の共有物体を通して加振器より出力することで、遠隔地の振動を再現することができる。

図５（ａ）および図５（ｂ）は、加振器７０と加速度ピックアップ装置８０の配置パターンについて基本配置パターンと拡張配置パターンを説明する図である。音響振動再現システム２００では加振器７０と加速度ピックアップ装置８０の数を各装置少なくとも２台以上使用し、使用する数も等しいことを原則とする。加振器７０と加速度ピックアップ装置８０はスクリーン４０中央に垂直な面に関して左右対称に配置する。２台以上使用することで左右の振動を測定することが可能となるため、振動の到来方向を再現することができる。

図５（ａ）は加振器７０と加速度ピックアップ装置８０の基本配置パターンを、図５（ｂ）は加振器７０と加速度ピックアップ装置８０を３セット以上配置した拡張配置パターンをそれぞれ表す。

図５（ａ）は、加振器７０と加速度ピックアップ装置８０を２台配置している場合である。各空間において、スクリーン４０の手前には２台の加速度ピックアップ装置８０Ｌ、８０Ｒが配置され、スクリーン４０の奥には２台の加振器７０Ｌ、７０Ｒが配置されており、加速度ピックアップ装置８０Ｌ、８０Ｒと加振器７０Ｌ、７０Ｒはスクリーン４０中央に垂直な線、すなわちスクリーン４０のセンタラインを軸として左右対称の配置となっている。

現実には、空間１においてスクリーン４０の手前には使用者Ａが存在し、空間２においてスクリーン４０の手前には使用者Ｂが存在するが、仮想的には、空間１においてスクリーン４０の奥には使用者Ｂが存在し、空間２においてスクリーン４０の奥には使用者Ａが存在するように音響振動を共有する。

空間１の加速度ピックアップ装置８０Ｌは、空間２では加振器７０Ｒの位置にあると想定され、空間１の加速度ピックアップ装置８０Ｒは、空間２では加振器７０Ｌの位置にあると想定される。同様に、空間２の加速度ピックアップ装置８０Ｌは、空間１では加振器７０Ｒの位置にあると想定され、空間２の加速度ピックアップ装置８０Ｒは、空間１では加振器７０Ｌの位置にあると想定される。

各空間の加速度ピックアップ装置８０で測定した振動信号は、各加速度ピックアップ装置８０と対になる加振器７０へ送信され、それぞれ出力される。すなわち、空間１の加速度ピックアップ装置８０Ｌで測定された振動信号は、空間２の加振器７０Ｒへ送信され出力され、空間１の加速度ピックアップ装置８０Ｒで測定された振動信号は、空間２の加振器７０Ｌへ送信され出力される。同様に、空間２の加速度ピックアップ装置８０Ｌで測定された振動信号は、空間１の加振器７０Ｒへ送信され出力され、空間２の加速度ピックアップ装置８０Ｒで測定された振動信号は、空間１の加振器７０Ｌへ送信され出力される。

図５（ｂ）は、加振器７０と加速度ピックアップ装置８０を３台配置している場合である。３台以上の奇数台配置する場合は、図５（ｂ）のようにセンタ用の加振器７０Ｃと加速度ピックアップ装置８０Ｃをスクリーン４０のセンタラインに配置する。空間１の加速度ピックアップ装置８０Ｃで測定された振動信号は、空間２の加振器７０Ｃへ送信され出力され、空間２の加速度ピックアップ装置８０Ｃで測定された振動信号は、空間１の加振器７０Ｃへ送信され出力される。もし偶数台で拡張する場合は基本配置パターンのようにマトリクス上に配置するとする。このように格子状に配置することにより、振動の左右の到来方向だけでなく奥行きの情報も付加されるため、振動再現の臨場感を向上することができる。

図６は、加振器７０と加速度ピックアップ装置８０の拡張配置パターンに関して、装置使用数増加時の配列パターンを示す図である。装置使用数が２、３、４、５、６の場合の、加振器７０または加速度ピックアップ装置８０を配置する位置を黒丸で示している。図６に示すように装置を奇数台で拡張する場合はセンタ用の装置を付加することとする。また、音響振動再現システム２００では拡張配置パターンとして、共有物体６０のサイズが小さい場合においても対応可能である。

図７は、共有物体６０のサイズがスクリーン４０の奥まで達しない場合の加振器７０と加速度ピックアップ装置８０の配置パターンを示す図である。図７に示す通り、共有物体６０はスクリーン４０の手前までしかなく、スクリーン４０の奥には存在しないため、各空間において、加振器７０Ｌ、７０Ｒと加速度ピックアップ装置８０Ｌ、８０Ｒはスクリーン４０の手前にマトリクス状に配置する。

空間１の加速度ピックアップ装置８０Ｌは、空間２ではスクリーン４０の奥の加振器７０Ｒ’の位置にあると想定され、空間１の加速度ピックアップ装置８０Ｒは、空間２ではスクリーン４０の奥の加振器７０Ｌ’の位置にあると想定されるが、現実には空間２のスクリーン４０の奥には加振器７０Ｌ’、７０Ｒ’は存在しない。そこで、空間１の加速度ピックアップ装置８０Ｌで測定される振動は、空間２ではスクリーン４０の手前にある加振器７０Ｒで再現し、空間１の加速度ピックアップ装置８０Ｒで測定される振動は、空間２ではスクリーン４０の手前にある加振器７０Ｌで再現する必要がある。

図７の配置パターンの場合、送信側の加速度ピックアップ装置８０で測定した振動信号は、スクリーン４０より奥側から到来する振動として再現する必要があるため、測定した振動信号に対しては遅延処理と減衰処理を施してから受信側の加振器７０へ出力する。実際には、共有物体６０の使用者側の端から加振器７０までの到来時間と共有物体６０の低域周波数帯の距離減衰量を測定しておけば、信号処理によって、スクリーン４０より奥側から到来する振動として再現することが可能である。

以上述べたように、音響振動再現システム２００は、ネットワークを介した双方向のＡＶコミュニケーション通信において、双方に同じ材質、大きさの物体を備え、双方間での共有物体を経由した音響振動を、遠隔地の使用者へ共有物体を通じて伝搬することにより振動を再現するシステムである。振動を測定し電気信号に変換できる加速度ピックアップ装置と電気信号を振動に変換して物体に振動を伝搬させる加振器を複数備えた共有物体を備えることで、共有物体を通じて定位方向を含めて振動を互いに共有し合うことができるため、空間共有体験を提示することによる高い臨場感の効果を与えることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ＡＶ配信制御装置、１１Ａ／Ｄ変換部、１２Ｄ／Ａ変換部、２０プロジェクタ装置、３０動画撮影カメラ、４０プロジェクタスクリーン、５０スピーカ、５１信号増幅部、６０共有物体、７０加振器、７１信号増幅部、８０加速度ピックアップ装置、８１信号増幅部、９０ヘッドセットマイクロホン、９１信号増幅部、１００エコーキャンセラ、１０１チャンネル追加処理部、１０２チャンネル分離処理部、２００音響振動再現システム、３００通信ネットワーク。

Claims

ネットワークを介して音響振動信号を送受信する音響振動再現システムであって、
共有物体を介して伝搬される振動を測定する振動測定器と、
振動を前記共有物体へ伝搬させる振動発生器と、
音響振動信号を送受信する信号処理装置とを含み、
前記信号処理装置は、前記振動測定器により測定された振動を音響振動信号として通信先の音響振動再現システムに送信し、
前記信号処理装置は、通信先の音響振動再現システムから音響振動信号を受信し、
前記振動発生器は、受信された音響振動信号にもとづいて振動を前記共有物体へ伝搬させて再現し、
前記共有物体に前記振動測定器と前記振動発生器が少なくとも２セット以上、映像を表示する表示部中央に垂直な面を基準として左右対称に配置され、通信先の振動測定器により測定された振動は、対応する位置にある通信元の振動発生器により再現され、前記振動測定器は前記表示部の手前に設置され、前記振動発生器は前記表示部の奥に設置されることを特徴とする音響振動再現システム。
前記共有物体に前記振動測定器と前記振動発生器が格子状に設置されることを特徴とする請求項１に記載の音響振動再現システム。
ネットワークを介して音響振動信号を送受信する音響振動再現システムによる音響振動再現方法であって、
共有物体を介して伝搬される振動を振動測定器によって測定するステップと、
振動発生器によって振動を前記共有物体へ伝搬させるステップと、
音響振動信号を送受信するステップとを含み、
前記音響振動信号を送受信するステップは、前記振動測定器により測定された振動を音響振動信号として通信先の音響振動再現システムに送信し、
前記音響振動信号を送受信するステップは、通信先の音響振動再現システムから音響振動信号を受信し、
前記振動を前記共有物体へ伝搬させるステップは、受信された音響振動信号にもとづいて前記振動発生器によって振動を前記共有物体へ伝搬させて再現し、
前記共有物体に前記振動測定器と前記振動発生器が少なくとも２セット以上、映像を表示する表示部中央に垂直な面を基準として左右対称に配置され、通信先の振動測定器により測定された振動は、対応する位置にある通信元の振動発生器により再現され、前記振動測定器は前記表示部の手前に設置され、前記振動発生器は前記表示部の奥に設置されることを特徴とする音響振動再現方法。