JP4046891B2 - 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 - Google Patents
音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 Download PDFInfo
- Publication number
- JP4046891B2 JP4046891B2 JP13386899A JP13386899A JP4046891B2 JP 4046891 B2 JP4046891 B2 JP 4046891B2 JP 13386899 A JP13386899 A JP 13386899A JP 13386899 A JP13386899 A JP 13386899A JP 4046891 B2 JP4046891 B2 JP 4046891B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- information
- sound field
- listener
- spatial information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像とともにあるいは音声だけで伝送されてきた音声を受信側で受信・再現するにあたって、再現された音声が現実と同程度にリアリティや臨場感をもって、シーンまたは聴取者の位置に対応した音声としてダイナミックに再現できるようにした装置に関する。
【０００２】
【従来の技術】
臨場感ある音場を再現する手法としてステレオ方式がよく知られている。
ステレオ方式は、少なくとも２つのスピーカを用意し、これらを聴取者の正面左右に配置して立体的な音響を再現しようとする手法であり、モノラルスピーカ方式に比較して高臨場感を譲し出すことができる。
【０００３】
２チャンネルステレオ方式でさらにリアリティのある音場を再現する手法の１つにダミーヘッド収音システムと呼ばれるものがある。
ダミーヘッド収音システムは、人間の頭部を模した、いわゆるダミーヘッドのちょうど鼓膜の位置にマイクロフォンを仕込んだ収音システムであり、ヘッドホン再生とすることにより、リアリティのある音場を再現しようとするものである。この手法は、頭部伝達関数という人間の頭部の存在による音の回り込みや回折効果を考慮した伝達関数を用いて入力信号に畳み込み演算を施す手法と等価である。
【０００４】
一方、ヘッドホン再生でなくてもダミーヘッド収音の効果が発揮できる手法として、ＯＳＳ (Ortho Stereophonic System)がある。これは、ダミーヘッド収音したものを聴取者の正面左右に配置したスピーカで音を再生する場合に、左右のスピーカからの再生音が完全に分離されて聴取者の左右の耳に入力されないという欠点を補うために、左右のスピーカから出る音の分離特性を向上させる手法である。ＯＳＳでは、信号処理により左右の聴取ポイントにおいて不要なスピーカからの再生音と逆相の音波が発生するようにし、この逆相音波の干渉により不要なスピーカからの再生音を打ち消して、右（左）のスピーカからの音を右（左）の耳だけに聴こえるようにしている。
【０００５】
これらの手法を用いたシステムとしては、ローランド社のＲＳＳ（ローランド・サウンド・スペース）やアーチャーコミュニケーションズ社が開発したＱサウンドがある。
【０００６】
また、ステレオ方式でさらにリアリティのある音場再現を実現する手法として、前方２チャンネルのスピーカ以外からも音声を発生させるいわゆるサラウンド方式がある。サラウンド方式には、主信号にディレーをもたせた信号を前方２チャンネル以外のサラウンドスピーカから出す簡易な手法や、近年の劇場映画などのマルチチャンネル音声システムに対応した高能率符号化方式を採用したＡＣ−３方式などがある。
【０００７】
さらに、特定のホールやスタジアムの音場の空間情報が数種類プリセットされ、聴取者の好みに応じて選択されたこれらの空間情報に基づき、既に録音されたＣＤなどの再生音を畳み込み演算して再生信号を生成することにより、臨場感をより高めることができるようにした音響効果機器や増幅装置がヤマハ社などから製品化されている。
【０００８】
【発明が解決しようとする課題】
上述した２チャンネルステレオ方式は、収音現場の臨場感を再現しようとするものであるが、その臨場感はあくまで収音ポイントの臨場感であって、収音ポイント以外のポイントの臨場感を再現することはできない。
【０００９】
また、例えば、スタジオ内でセットを使って行われる放送用ドラマの収録などでは、いわゆるロケ収録の場合のような現実の音響空間における臨場感をもった音声を収録することはできない。そのため、収録後に、例えば、洞窟のシーンであれば、収録音に響きの長いリバーブを試行錯誤しながら付加するといった方法で、音作りをするのが常であり、受信側で各シーンに対応した現実の音響空間に存在する音響特性を忠実に再現することはできなかった。
【００１０】
また、サラウンド方式は、音が広がることにより高臨場感を体感することはできるが、これも収音ポイント以外のポイントの臨場感を再現できない点、および収音現場にない臨場感を再現できない点については２チャンネルステレオ方式と同じである。
【００１１】
さらに、プリセットされている数種類の音場の空間情報をもとに、既に録音されたＣＤなどの再生音を畳み込み演算して臨場感を向上させる従来技術は、収音現場にない臨場感を再現できるものの、その臨場感は予めプリセットされたホールやスタジアムの特定の収音ポイントにおける臨場感であり、収音ポイントをリアルタイムでダイナミックに変化させることはできないし、当然ながらプリセット以外の音場を再現することはできなかった。
【００１２】
また、ＣＧ技術を用いて構築した架空の世界を現実のように知覚できるいわゆるバーチャルリアリティ (ＶＲ：Virtual Reality)において、操作者がジョイスティックなどを操作して操作者の意思を反映した立体視等を行う場合、映像については操作者の動きに応じた立体視が可能である反面、音声については操作者の動きに応じたダイナミックな音場再生をすることができなかった。
このことは、記録媒体に記録されたデータをもとに、コンピュータにより操作者の意思を反映させた映像を再生するコンピュータゲームなどの再生音声についても同様である。
【００１３】
本発明の目的は、映像とともにあるいは音声だけで伝送されてきた音声を受信側で受信・再現するにあたって、再現された音声が現実と同程度にリアリティや臨場感をもって、シーンまたは聴取者の位置に対応した音声としてダイナミックに再現できるようにした音場空間情報送受信方法、音場空間情報送信装置および音場再現装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明音場空間情報送受信方法は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送受信する方法であって、送信側においては、シーンまたは聴取者の位置に対応した仮想空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして生成し、仮想空間のシーンまたは聴取者の位置に応じた空間情報テーブルを音声信号とともに受信側に送信し、受信側においては、送信側から前記空間情報テーブル及び前記音声信号を受信し、受信された前記空間情報テーブルをもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成し、前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成し、前記再生信号をスピーカ又はヘッドホンに供給するようにしたことを特徴とするものである。
【００１５】
また、本発明の第１の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、 音声信号を送信する第１の送信手段、各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、記憶する記憶手段、およびその記憶した複数の空間情報のうちから特定のシーンに対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とするものである。
【００１６】
また、本発明の第１の態様の音場再現装置は、第１の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、前記音声信号を受信する第１の受信手段、前記特定のシーンに対応した音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された空間情報をもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、前記特定のシーンの聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００１７】
また、本発明の第２の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、聴取者の各位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び時間遅れの情報とを含む複数の空間情報テーブルとして、記憶する記憶手段、およびその記憶した複数の空間情報のうちから受信側から送られてくる聴取者の位置情報及び聴取者の向きの情報に対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とするものである。
【００１８】
また、本発明の第２の態様の音場再現装置は、第２の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、操作者が入力する聴取者の位置情報及び聴取者の向きの情報を前記音場空間情報送信装置に送信する送信手段、前記音声信号を受信する第１の受信手段、前記聴取者の位置情報及び聴取者の向きの情報に対応した音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された空間情報をもとに、聴取者の位置及び向きに対応した仮想空間として、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００１９】
また、本発明の第３の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段、およびシーンに対応した空間情報テーブルの選択のための空間情報切り換え信号を送信する第３の送信手段を具えてなることを特徴とするものである。
【００２０】
また、本発明の第４の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、および聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段を具えてなることを特徴とするものである。
【００２１】
また、本発明の第３の態様の音場再現装置は、第３又は第４の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、前記音声信号を受信する第１の受信手段、シーンまたは聴取者の位置に対応した空間について、前記複数の音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された前記複数の音場の空間情報を記憶する記憶手段、前記音場空間情報送信装置からシーンに対応して送られてくる前記空間情報切り換え信号を受信する場合には前記空間情報切り換え信号をもとに、前記音場空間情報送信装置から聴取者の位置に対応した複数の空間情報を受信する場合には操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている前記複数の音場の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、選択された空間情報テーブルから、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００２２】
また、本発明の第４の態様の音場再現装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別した音場の仮想空間情報を再生して音場を再現する音場再現装置であって、音声信号を再生する第１の再生手段、シーンまたは聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、再生する第２の再生手段、前記第２の再生手段によって再生された複数の空間情報テーブルを記憶する記憶手段、前記第２の再生手段からシーンに対応して再生される、シーンに対応した空間情報テーブルの選択のための空間情報切り換え信号または操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている複数の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、選択された空間情報テーブルから、各反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の再生手段によって再生された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および前記畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００２３】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
前述したように、本発明は、送信側においては、シーンまたは聴取者の位置に対応した空間の音場シミュレーションを行い、その結果得られた音場の空間情報を音声信号とともに受信側に送信し、受信側においては、受信した音場の空間情報をもとに音声信号を畳み込み演算して受信側の音場再生機器の構成に応じた再生信号を生成し、それら再生信号を複数のスピーカやヘッドホンに供給することによりシーンなどに対応した臨場感のある音場をダイナミックに再現できるようにしたものである。
【００２４】
図１は、送信側において、ドラマなど各シーンに対応した音場の空間情報を受信側に送信し、受信側において、受信した空間情報をもとに音声信号を畳み込み演算することによってシーンと連動した高臨場感のある音響再現が可能となる本発明による音場空間情報送受信方法の一実施形態をフローチャートにて示している。
【００２５】
図１に示すフローチャートに基づいて、本発明方法を順を追って説明する。
送信側において、
１．シーンに対応する仮想空間の音響特性（空間の形、材料など）を入力データとして用意する（Ｓ１）。
【００２６】
２．上記の入力データを用いて、なんらかの音場シミュレーション（例えば、特開平９−１６６４８２号「高精度音線追跡装置および高精度音線追跡方法」公報参照）を実行（Ｓ２）し、各シーンに対応した音場の空間情報をあらかじめ作成しておく（Ｓ３）。この空間情報は、反射音一本一本の到来方向情報から音圧レベルの情報まで音源および聴取点の位置など一群のデータをパラメータとしてテーブル化した形態で送信側の記憶装置に保存する（Ｓ４）。
【００２７】
３．当該シーンに対応した音場の空間情報テーブルを上記記憶装置から選択し（Ｓ４，Ｓ５，Ｓ６）連続した音声信号とともに受信側に向けて送信する（Ｓ７，Ｓ８）。
【００２８】
受信側において、
４．送信側から伝送されてきた当該シーンに対応した音場の空間情報テーブル、および連続的に送られてくる音声信号を受信する（Ｓ９，Ｓ１０）。受信した音場の空間情報テーブルから、受信側で再現したいチャンネル数に対応した数の反射音時系列を以下に説明するようにして生成する。本実施形態では、一例として、受信側において音場の再現は図２に示すように４つのスピーカで再現されるものとし、生成された一例の反射音時系列を図３に示す。ここに、反射音時系列の生成は、伝送された来た音場の空間情報テーブルに記載されている反射音の到来方向と遅れ時間から、水平面内を４つに分割した各方向（図２参照）別の反射音時系列を生成する（Ｓ１１）。
【００２９】
図２に示すように、時間遅れが小さくてレベルの大きい反射音Ａが２つのスピーカ１、２の間から到来する場合には、反射音方向とスピーカ１との角度をα、反射音方向とスピーカ２との角度をβとすると、反射音Ａのレベルのうち、スピーカ１はβ／（α＋β）倍の信号を、スピーカ２はα／（α＋β）倍の信号を各々受け持つことになる。また、時間遅れが大きく、レベルが下がった反射音Ｂ，Ｃがそれぞれ図示の方向からも到来する場合には、反射音Ａと同様、反射音Ｂ，Ｃの時間遅れとレベルおよびそれぞれの到来方向とを考慮した信号をそれぞれ受けもつ１から４までの４つのスピーカの各反射音時系列として生成する。その結果、１から４のスピーカに対応した反射音時系列はそれぞれ図３（ａ），（ｂ），（ｃ），（ｄ）に示すようになる。
【００３０】
５．Ｓ１０（図１参照）によって受信され連続的に送られてくる音声信号と以上のようにして生成した方向別反射音時系列とを畳み込み（Ｓ１２）、畳み込まれた信号を増幅器（アンプ）に通して用意されたスピーカから音場を再現する（Ｓ１３）。以上によれば、シーン毎に、シーンの音場に関わる空間情報が選択されて送られてくることにより、より高臨場感を有する音響が得られる。
【００３１】
以上においては、本発明方法の第１の実施形態を図１に示すフローチャートで説明したが、送信側、受信側の各信号処理をハードウエアに置き替えることにより、本発明音場空間情報送信装置および音場再現装置を実現することができる。また、このことは、以下に説明する第２の実施形態についても同じである。
【００３２】
図４（ａ），（ｂ）〜図７（ａ），（ｂ），（ｃ），（ｄ）は、本発明による音場再現のための音場空間情報送受信方法、送信装置および音場再現装置を適用した第２の実施形態を示している。
【００３３】
本実施形態は、図４（ａ）に示すように、３つの連続した空間Ａ，Ｂ，Ｃ内における音源や聴取者の動きに対応した音場のダイナミックな変化を別の空間にいる操作者が、あたかもその空間にいるように体感できるシステムをネットワークという伝送手段を介して実現する方法である。また、本実施形態のフローチャートを図５に示す。ここでは、聴取点は仮想空間内での聞き手を意味し、操作者は実空間で操作し音を聞く者として、両者を区別する。
以下の説明においては、第１の実施形態の説明と同様、図５に示すフローチャート（図１と同一機能のブロックには、図１と同一符号を付してある）の流れに基づいて、本実施形態（第２の実施形態）の特徴的な事項を図４（ａ），（ｂ）、図６（ａ），（ｂ）および図７（ａ），（ｂ），（ｃ），（ｄ）を参照しながら行う。
【００３４】
送信側において、
１．音源信号、音源の位置、聴取点の位置、仮想空間の音響特性（空間の形、材料など）を入力データとして用意する。本例では簡単のために図４（ａ）に示すように空間の種類を、空間Ａ，Ｂ，Ｃの３種類、音源（●で示した）の数をＡ空間では２、Ｂ空間では２、Ｃ空間では１、また、音源の位置は固定とし、聴取点を×で示した７点で代表し、それぞれの聴取点に対応した空間をゾーンとして定義する（Ｓ１）。なお、図４（ａ）中、×印はゾーンの代表点を示している。
【００３５】
２．上記の入力データを用いて、なんらかの音場シミュレーション（例えば、特開平９−１６６４８２号「高精度音線追跡装置および高精度音線追跡方法」公報参照）を用いて実行し（Ｓ２）、音源から聴取点までの反射音に関する空間情報を作成する（Ｓ３）。この反射音に関する空間情報は、反射音一本一本の到来方向情報から音圧レベルの情報まで一群のデータをパラメータとしてテーブル化した形態でシミュレーション実行・記憶装置（サーバマシン）に記憶、保存する（Ｓ４）。空間Ａでは、音源２、ゾーン３からシミュレーションは６通り、空間Ｂでは音源２、ゾーン２からシミュレーションは４通り、空間Ｃでは音源１、ゾーン２からシミュレーションは２通りとなる。
【００３６】
テーブル化した形態で保存された複数の反射音に関する空間情報は、受信側から送られてくる聴取点の位置の情報（図５のＳ１４によって発生される）に従って選択される（Ｓ１５）。
送信側での送信処理Ｓ７，Ｓ８および受信側での受信処理Ｓ９，Ｓ１０は、第１の実施形態におけるのと同じである。
【００３７】
受信側において、
３．受信端末であるクライアントマシン上で、３つ空間Ａ，Ｂ，Ｃを聴取点が動き回る。本例では、これらの空間を３次元的に表現するためにＨＴＭＬブラウザ内のＶＲＭＬ（Virtual Reality Modeling Language)ビューワ上に表示し（Ｓ１４）、ＶＲＭＬビューワにて、マウスまたはジョイスティックにより、上記３つの仮想空間（空間Ａ，Ｂ，Ｃ）内で聴取点移動（ウォークスルー）を実現している。
【００３８】
４．ＨＴＭＬブラウザは、ウォークスルー時の仮想空間（ＶＲＭＬ）において、聴取者の位置の座標および向き情報を取得し、これを送信側にテーブル選択情報として送信する。送信側においてはこの伝送された情報をもとに聴取位置のゾーン情報を抽出して用意された音場の空間情報テーブル群のうちから１つを選択する（Ｓ１５，Ｓ４）。具体的には、まず、聴取位置がどのゾーンに属しているかを判断し、所属したゾーンの代表点（図４（ａ）に×で示す）を聴取点とする空間情報テーブルを選択する（Ｓ１５）。図４（ａ）では、ポイント１はゾーンＢ−１に、ポイント２はゾーンＣ−２に、ポイント３はゾーンＡ−３に属することになる。このゾーンニングを図４（ｂ）に示すように細分化すれば、より正確に位置に対応した音場情報が選択できることになる。
【００３９】
さらに、音源と聴取点の相対位置関係および音源から発せられる直接音の距離減衰値を算出する。ここで、直接音の減衰は、音源と聴取位置との距離が１ｍのときを基準に距離の２乗に反比例して減衰値を決定する。
そして、この距離減衰値を含む選択された空間情報テーブルを連続した音声信号とともに受信側に向けて送信する（Ｓ７，Ｓ８）。
【００４０】
５．なお、ＨＴＭＬブラウザにおいては、操作者の操作に基づいて聴取点が移動する毎に受信（Ｓ９）された上述の情報をもとに、再現したいチャンネル数に対応した数の反射音時系列を生成する（Ｓ１１）。
【００４１】
音場の再現空間で操作者自らが方向転換する場合は、向きについての処理は必要ない。しかし、仮想空間内の聴取者がどの方向に向いているかによって、反射音の到来方向も相対的に変化する。そのため、操作者が常に正面を向いたまま、聴取者の向いている方向を転換する場合は、到来する反射音の方向と聴取者の向いている方向との相対的な角度を算出して、各スピーカに出力するレベルのレベル配分を決定する必要がある。
【００４２】
図６（ａ），（ｂ）および図７（ａ），（ｂ），（ｃ），（ｄ）は、４つのスピーカで音場を再生する場合の方向別反射音時系列の生成方法の一例を示したものである。ここでは、仮想空間で聴取者が向く方向を反時計回りにθ、また、音場の再現空間で操作者が向いている方向をθ＝０°とする。
【００４３】
図６（ａ），（ｂ）に示す場合は、聴取者がθの方向に向いているため、再生空間でのスピーカからの反射音成分は、反射音が−θ回転した方向から到来することと等価になる。また、図７（ａ），（ｂ），（ｃ），（ｄ）の場合は、反射音が仮想空間を示す図７（ａ）および（ｃ）において図上で左上から到来するものとした場合に、聴取者がθ＝９０°の方向（図７（ａ），（ｂ））、およびθ＝１８０°の方向（図７（ｃ），（ｄ））をそれぞれ向いているときの各スピーカからの出力配分を示したものである。図７（ａ），（ｂ）ではスピーカ２はβ／（α＋β）倍の信号を、スピーカ３はα／（α＋β）倍の信号をそれぞれ受けもつことになる。また、図７（ｃ），（ｄ）ではスピーカ３はβ／（α＋β）倍の信号を、スピーカ４はα／（α＋β）倍の信号をそれぞれ受けもつことになる。
【００４４】
６．Ｓ１０（図５参照）によって受信した連続的に送られてくる音声信号と以上のようにして生成された方向別反射音時系列とを畳み込み（Ｓ１２）、畳み込まれた信号を増幅器（アンプ）に供給してスピーカから音場を再現する（Ｓ１３）。
【００４５】
以上説明した本発明の第２の実施形態においては、音源は固定していて移動しないものとしたが、（１）聴取位置のみが移動する場合、（２）音源のみが移動する場合、および（３）聴取位置、音源の双方が移動する場合にも本発明を拡張することができる。
【００４６】
ここで、本発明の第２の実施形態においては、再生側の操作者の情報を送信側に送信し、送信側では、操作者の意思を反映し、例えば、そのときの映像に対応した空間の音場シミュレーションで得られた音場の空間情報を映像および音声情報とともに受信側に送信している。そして、受信側では、受信した音場の空間情報に基づき受信した音声信号を畳み込み演算して、受信側の音場再生機器の構成に応じた再生信号を生成し、それを複数のスピーカやヘッドホンに供給することにより、映像に対応した臨場感のある音場をダイナミックに再現できるようにしている。
【００４７】
これによれば、操作者がジョイスティックなどを用いて操作者の意思を反映した立体視を行うバーチャルリアリティ (ＶＲ：Virtual Reality)やコンピュータゲームにおいて、映像と同様に音声についても操作者の操作に応じたダイナミックな音場再生を実現することができる。
【００４８】
また、第１および第２の実施形態のいずれにおいても、音場再現空間のスピーカの数は４個としたが、これは４個に限られるものではなく、本発明は、音場シミュレーションを行い、それに基づいて音場の空間情報テーブルを作成し、受信側において、音場再現空間のスピーカの数に応じた反射音時系列を生成するようにしているので、水平、垂直面内に任意数のスピーカを配置して本発明を実施することができる。
【００４９】
また、第２の実施形態においては、受信側における音場空間の表示に、ＶＲＭＬビューワを使用するものとしたが、これ以外にも、例えば、ＸＭＬ（eXtensible Markup Language）などを任意のネットワーク上で使用することも可能である。
【００５０】
また、図１、図５にそれぞれ示されるフローチャートには、映像信号が送信側から受信側に伝送されることは示されていないが、本発明では、本発明による音場再現がテレビジョンや各種画像メディアに付随した音声信号に対して適用される場合をも含むものである。
【００５１】
また、以上説明した本発明の第１の実施形態および第２の実施形態においては、受信側で必要とする音場の空間情報の選択をともに送信側で行うものとしたが、これとは反対に、送信側からすべてのシミュレーション結果の空間情報を同時または時系列で受信側に送信し、シーンや聴取者の位置に対応した空間情報の選択を受信側で行うようにしてもよい。なお、シーンに対応した空間情報の選択を受信側で行うにあたっては、送信側からシーンに対応した空間情報切り換え信号を送信することが必要である。
【００５２】
また、本発明は、以上の説明中、送信を記録に、受信を再生にそれぞれ置き換えて、記録再生系に適用することもできる。
【００５３】
この場合、記録媒体に記録されたデータに基づき、コンピュータにより操作者の意思を反映させた映像を再生するコンピュータでの音声再生の場合には、再生すべき映像に対応した音場の空間情報の選択を記録媒体からデータを取り出す再生装置において行うのが好ましい。
【００５４】
【発明の効果】
本発明によれば、従来の音声信号とは別に、音源、聴取点の位置情報および音場の空間情報を送信側から受信側に、また、必要に応じ受信側から送信側に伝送することにより、受信側においてシーンに対応した音場を再現したり、自分の動きに対応した音場空間を再構成することが可能になる。また、これは、スピーカ数には関係しない。
【００５５】
また、本発明は、高臨場感音響が必要とされる下記のような多方面へのアプリケーションが期待できる。
例えば、
ａ．共演者が離れた場所にいても、あたかも自分のそばにいるかの如く演じられる仮想協調スタジオシステム
ｂ．大迫力・高臨場感のゲームに代表されるアミューズメントシステム
ｃ．遠隔会議システム
ｄ．視覚障害者など、人にやさしい音情報を提供するシステム
ｅ．イメージトレーニングシステム
などをあげることができる。
【図面の簡単な説明】
【図１】 本発明による音場空間情報送受信方法の第１の実施形態における処理の流れをフローチャートにて示している。
【図２】 同じく第１の実施形態において、音場を４つのスピーカで再現する場合の一例のスピーカの配置と反射音の到来方法を示している。
【図３】 同じく第１の実施形態において、音場を４つのスピーカで再現する場合の各スピーカ毎の一例の反射音時系列を示している。
【図４】 本発明による音場空間情報送受信方法の第２の実施形態として、本発明を３つの連続した空間に適用した場合を示している。
【図５】 同じく第２の実施形態において、処理の流れをフローチャートにて示している。
【図６】 同じく第２の実施形態において、各スピーカ毎の反射音時系列を生成するにあたって、仮想空間における聴取者と反射音到来方向の関係、および再生空間における操作者と反射音到来方向の関係を示している。
【図７】 図６において、θが９０°と１８０°の場合の具体例を示している。
【発明の属する技術分野】
本発明は、映像とともにあるいは音声だけで伝送されてきた音声を受信側で受信・再現するにあたって、再現された音声が現実と同程度にリアリティや臨場感をもって、シーンまたは聴取者の位置に対応した音声としてダイナミックに再現できるようにした装置に関する。
【０００２】
【従来の技術】
臨場感ある音場を再現する手法としてステレオ方式がよく知られている。
ステレオ方式は、少なくとも２つのスピーカを用意し、これらを聴取者の正面左右に配置して立体的な音響を再現しようとする手法であり、モノラルスピーカ方式に比較して高臨場感を譲し出すことができる。
【０００３】
２チャンネルステレオ方式でさらにリアリティのある音場を再現する手法の１つにダミーヘッド収音システムと呼ばれるものがある。
ダミーヘッド収音システムは、人間の頭部を模した、いわゆるダミーヘッドのちょうど鼓膜の位置にマイクロフォンを仕込んだ収音システムであり、ヘッドホン再生とすることにより、リアリティのある音場を再現しようとするものである。この手法は、頭部伝達関数という人間の頭部の存在による音の回り込みや回折効果を考慮した伝達関数を用いて入力信号に畳み込み演算を施す手法と等価である。
【０００４】
一方、ヘッドホン再生でなくてもダミーヘッド収音の効果が発揮できる手法として、ＯＳＳ (Ortho Stereophonic System)がある。これは、ダミーヘッド収音したものを聴取者の正面左右に配置したスピーカで音を再生する場合に、左右のスピーカからの再生音が完全に分離されて聴取者の左右の耳に入力されないという欠点を補うために、左右のスピーカから出る音の分離特性を向上させる手法である。ＯＳＳでは、信号処理により左右の聴取ポイントにおいて不要なスピーカからの再生音と逆相の音波が発生するようにし、この逆相音波の干渉により不要なスピーカからの再生音を打ち消して、右（左）のスピーカからの音を右（左）の耳だけに聴こえるようにしている。
【０００５】
これらの手法を用いたシステムとしては、ローランド社のＲＳＳ（ローランド・サウンド・スペース）やアーチャーコミュニケーションズ社が開発したＱサウンドがある。
【０００６】
また、ステレオ方式でさらにリアリティのある音場再現を実現する手法として、前方２チャンネルのスピーカ以外からも音声を発生させるいわゆるサラウンド方式がある。サラウンド方式には、主信号にディレーをもたせた信号を前方２チャンネル以外のサラウンドスピーカから出す簡易な手法や、近年の劇場映画などのマルチチャンネル音声システムに対応した高能率符号化方式を採用したＡＣ−３方式などがある。
【０００７】
さらに、特定のホールやスタジアムの音場の空間情報が数種類プリセットされ、聴取者の好みに応じて選択されたこれらの空間情報に基づき、既に録音されたＣＤなどの再生音を畳み込み演算して再生信号を生成することにより、臨場感をより高めることができるようにした音響効果機器や増幅装置がヤマハ社などから製品化されている。
【０００８】
【発明が解決しようとする課題】
上述した２チャンネルステレオ方式は、収音現場の臨場感を再現しようとするものであるが、その臨場感はあくまで収音ポイントの臨場感であって、収音ポイント以外のポイントの臨場感を再現することはできない。
【０００９】
また、例えば、スタジオ内でセットを使って行われる放送用ドラマの収録などでは、いわゆるロケ収録の場合のような現実の音響空間における臨場感をもった音声を収録することはできない。そのため、収録後に、例えば、洞窟のシーンであれば、収録音に響きの長いリバーブを試行錯誤しながら付加するといった方法で、音作りをするのが常であり、受信側で各シーンに対応した現実の音響空間に存在する音響特性を忠実に再現することはできなかった。
【００１０】
また、サラウンド方式は、音が広がることにより高臨場感を体感することはできるが、これも収音ポイント以外のポイントの臨場感を再現できない点、および収音現場にない臨場感を再現できない点については２チャンネルステレオ方式と同じである。
【００１１】
さらに、プリセットされている数種類の音場の空間情報をもとに、既に録音されたＣＤなどの再生音を畳み込み演算して臨場感を向上させる従来技術は、収音現場にない臨場感を再現できるものの、その臨場感は予めプリセットされたホールやスタジアムの特定の収音ポイントにおける臨場感であり、収音ポイントをリアルタイムでダイナミックに変化させることはできないし、当然ながらプリセット以外の音場を再現することはできなかった。
【００１２】
また、ＣＧ技術を用いて構築した架空の世界を現実のように知覚できるいわゆるバーチャルリアリティ (ＶＲ：Virtual Reality)において、操作者がジョイスティックなどを操作して操作者の意思を反映した立体視等を行う場合、映像については操作者の動きに応じた立体視が可能である反面、音声については操作者の動きに応じたダイナミックな音場再生をすることができなかった。
このことは、記録媒体に記録されたデータをもとに、コンピュータにより操作者の意思を反映させた映像を再生するコンピュータゲームなどの再生音声についても同様である。
【００１３】
本発明の目的は、映像とともにあるいは音声だけで伝送されてきた音声を受信側で受信・再現するにあたって、再現された音声が現実と同程度にリアリティや臨場感をもって、シーンまたは聴取者の位置に対応した音声としてダイナミックに再現できるようにした音場空間情報送受信方法、音場空間情報送信装置および音場再現装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明音場空間情報送受信方法は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送受信する方法であって、送信側においては、シーンまたは聴取者の位置に対応した仮想空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして生成し、仮想空間のシーンまたは聴取者の位置に応じた空間情報テーブルを音声信号とともに受信側に送信し、受信側においては、送信側から前記空間情報テーブル及び前記音声信号を受信し、受信された前記空間情報テーブルをもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成し、前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成し、前記再生信号をスピーカ又はヘッドホンに供給するようにしたことを特徴とするものである。
【００１５】
また、本発明の第１の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、 音声信号を送信する第１の送信手段、各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、記憶する記憶手段、およびその記憶した複数の空間情報のうちから特定のシーンに対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とするものである。
【００１６】
また、本発明の第１の態様の音場再現装置は、第１の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、前記音声信号を受信する第１の受信手段、前記特定のシーンに対応した音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された空間情報をもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、前記特定のシーンの聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００１７】
また、本発明の第２の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、聴取者の各位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び時間遅れの情報とを含む複数の空間情報テーブルとして、記憶する記憶手段、およびその記憶した複数の空間情報のうちから受信側から送られてくる聴取者の位置情報及び聴取者の向きの情報に対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とするものである。
【００１８】
また、本発明の第２の態様の音場再現装置は、第２の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、操作者が入力する聴取者の位置情報及び聴取者の向きの情報を前記音場空間情報送信装置に送信する送信手段、前記音声信号を受信する第１の受信手段、前記聴取者の位置情報及び聴取者の向きの情報に対応した音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された空間情報をもとに、聴取者の位置及び向きに対応した仮想空間として、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００１９】
また、本発明の第３の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段、およびシーンに対応した空間情報テーブルの選択のための空間情報切り換え信号を送信する第３の送信手段を具えてなることを特徴とするものである。
【００２０】
また、本発明の第４の態様の音場空間情報送信装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、音声信号を送信する第１の送信手段、および聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段を具えてなることを特徴とするものである。
【００２１】
また、本発明の第３の態様の音場再現装置は、第３又は第４の態様の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、前記音声信号を受信する第１の受信手段、シーンまたは聴取者の位置に対応した空間について、前記複数の音場の空間情報を受信する第２の受信手段、前記第２の受信手段によって受信された前記複数の音場の空間情報を記憶する記憶手段、前記音場空間情報送信装置からシーンに対応して送られてくる前記空間情報切り換え信号を受信する場合には前記空間情報切り換え信号をもとに、前記音場空間情報送信装置から聴取者の位置に対応した複数の空間情報を受信する場合には操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている前記複数の音場の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、選択された空間情報テーブルから、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００２２】
また、本発明の第４の態様の音場再現装置は、仮想空間で与えられる音場の音響を直接音及び反射音に区別した音場の仮想空間情報を再生して音場を再現する音場再現装置であって、音声信号を再生する第１の再生手段、シーンまたは聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、再生する第２の再生手段、前記第２の再生手段によって再生された複数の空間情報テーブルを記憶する記憶手段、前記第２の再生手段からシーンに対応して再生される、シーンに対応した空間情報テーブルの選択のための空間情報切り換え信号または操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている複数の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、選択された空間情報テーブルから、各反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、前記第１の再生手段によって再生された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および前記畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とするものである。
【００２３】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
前述したように、本発明は、送信側においては、シーンまたは聴取者の位置に対応した空間の音場シミュレーションを行い、その結果得られた音場の空間情報を音声信号とともに受信側に送信し、受信側においては、受信した音場の空間情報をもとに音声信号を畳み込み演算して受信側の音場再生機器の構成に応じた再生信号を生成し、それら再生信号を複数のスピーカやヘッドホンに供給することによりシーンなどに対応した臨場感のある音場をダイナミックに再現できるようにしたものである。
【００２４】
図１は、送信側において、ドラマなど各シーンに対応した音場の空間情報を受信側に送信し、受信側において、受信した空間情報をもとに音声信号を畳み込み演算することによってシーンと連動した高臨場感のある音響再現が可能となる本発明による音場空間情報送受信方法の一実施形態をフローチャートにて示している。
【００２５】
図１に示すフローチャートに基づいて、本発明方法を順を追って説明する。
送信側において、
１．シーンに対応する仮想空間の音響特性（空間の形、材料など）を入力データとして用意する（Ｓ１）。
【００２６】
２．上記の入力データを用いて、なんらかの音場シミュレーション（例えば、特開平９−１６６４８２号「高精度音線追跡装置および高精度音線追跡方法」公報参照）を実行（Ｓ２）し、各シーンに対応した音場の空間情報をあらかじめ作成しておく（Ｓ３）。この空間情報は、反射音一本一本の到来方向情報から音圧レベルの情報まで音源および聴取点の位置など一群のデータをパラメータとしてテーブル化した形態で送信側の記憶装置に保存する（Ｓ４）。
【００２７】
３．当該シーンに対応した音場の空間情報テーブルを上記記憶装置から選択し（Ｓ４，Ｓ５，Ｓ６）連続した音声信号とともに受信側に向けて送信する（Ｓ７，Ｓ８）。
【００２８】
受信側において、
４．送信側から伝送されてきた当該シーンに対応した音場の空間情報テーブル、および連続的に送られてくる音声信号を受信する（Ｓ９，Ｓ１０）。受信した音場の空間情報テーブルから、受信側で再現したいチャンネル数に対応した数の反射音時系列を以下に説明するようにして生成する。本実施形態では、一例として、受信側において音場の再現は図２に示すように４つのスピーカで再現されるものとし、生成された一例の反射音時系列を図３に示す。ここに、反射音時系列の生成は、伝送された来た音場の空間情報テーブルに記載されている反射音の到来方向と遅れ時間から、水平面内を４つに分割した各方向（図２参照）別の反射音時系列を生成する（Ｓ１１）。
【００２９】
図２に示すように、時間遅れが小さくてレベルの大きい反射音Ａが２つのスピーカ１、２の間から到来する場合には、反射音方向とスピーカ１との角度をα、反射音方向とスピーカ２との角度をβとすると、反射音Ａのレベルのうち、スピーカ１はβ／（α＋β）倍の信号を、スピーカ２はα／（α＋β）倍の信号を各々受け持つことになる。また、時間遅れが大きく、レベルが下がった反射音Ｂ，Ｃがそれぞれ図示の方向からも到来する場合には、反射音Ａと同様、反射音Ｂ，Ｃの時間遅れとレベルおよびそれぞれの到来方向とを考慮した信号をそれぞれ受けもつ１から４までの４つのスピーカの各反射音時系列として生成する。その結果、１から４のスピーカに対応した反射音時系列はそれぞれ図３（ａ），（ｂ），（ｃ），（ｄ）に示すようになる。
【００３０】
５．Ｓ１０（図１参照）によって受信され連続的に送られてくる音声信号と以上のようにして生成した方向別反射音時系列とを畳み込み（Ｓ１２）、畳み込まれた信号を増幅器（アンプ）に通して用意されたスピーカから音場を再現する（Ｓ１３）。以上によれば、シーン毎に、シーンの音場に関わる空間情報が選択されて送られてくることにより、より高臨場感を有する音響が得られる。
【００３１】
以上においては、本発明方法の第１の実施形態を図１に示すフローチャートで説明したが、送信側、受信側の各信号処理をハードウエアに置き替えることにより、本発明音場空間情報送信装置および音場再現装置を実現することができる。また、このことは、以下に説明する第２の実施形態についても同じである。
【００３２】
図４（ａ），（ｂ）〜図７（ａ），（ｂ），（ｃ），（ｄ）は、本発明による音場再現のための音場空間情報送受信方法、送信装置および音場再現装置を適用した第２の実施形態を示している。
【００３３】
本実施形態は、図４（ａ）に示すように、３つの連続した空間Ａ，Ｂ，Ｃ内における音源や聴取者の動きに対応した音場のダイナミックな変化を別の空間にいる操作者が、あたかもその空間にいるように体感できるシステムをネットワークという伝送手段を介して実現する方法である。また、本実施形態のフローチャートを図５に示す。ここでは、聴取点は仮想空間内での聞き手を意味し、操作者は実空間で操作し音を聞く者として、両者を区別する。
以下の説明においては、第１の実施形態の説明と同様、図５に示すフローチャート（図１と同一機能のブロックには、図１と同一符号を付してある）の流れに基づいて、本実施形態（第２の実施形態）の特徴的な事項を図４（ａ），（ｂ）、図６（ａ），（ｂ）および図７（ａ），（ｂ），（ｃ），（ｄ）を参照しながら行う。
【００３４】
送信側において、
１．音源信号、音源の位置、聴取点の位置、仮想空間の音響特性（空間の形、材料など）を入力データとして用意する。本例では簡単のために図４（ａ）に示すように空間の種類を、空間Ａ，Ｂ，Ｃの３種類、音源（●で示した）の数をＡ空間では２、Ｂ空間では２、Ｃ空間では１、また、音源の位置は固定とし、聴取点を×で示した７点で代表し、それぞれの聴取点に対応した空間をゾーンとして定義する（Ｓ１）。なお、図４（ａ）中、×印はゾーンの代表点を示している。
【００３５】
２．上記の入力データを用いて、なんらかの音場シミュレーション（例えば、特開平９−１６６４８２号「高精度音線追跡装置および高精度音線追跡方法」公報参照）を用いて実行し（Ｓ２）、音源から聴取点までの反射音に関する空間情報を作成する（Ｓ３）。この反射音に関する空間情報は、反射音一本一本の到来方向情報から音圧レベルの情報まで一群のデータをパラメータとしてテーブル化した形態でシミュレーション実行・記憶装置（サーバマシン）に記憶、保存する（Ｓ４）。空間Ａでは、音源２、ゾーン３からシミュレーションは６通り、空間Ｂでは音源２、ゾーン２からシミュレーションは４通り、空間Ｃでは音源１、ゾーン２からシミュレーションは２通りとなる。
【００３６】
テーブル化した形態で保存された複数の反射音に関する空間情報は、受信側から送られてくる聴取点の位置の情報（図５のＳ１４によって発生される）に従って選択される（Ｓ１５）。
送信側での送信処理Ｓ７，Ｓ８および受信側での受信処理Ｓ９，Ｓ１０は、第１の実施形態におけるのと同じである。
【００３７】
受信側において、
３．受信端末であるクライアントマシン上で、３つ空間Ａ，Ｂ，Ｃを聴取点が動き回る。本例では、これらの空間を３次元的に表現するためにＨＴＭＬブラウザ内のＶＲＭＬ（Virtual Reality Modeling Language)ビューワ上に表示し（Ｓ１４）、ＶＲＭＬビューワにて、マウスまたはジョイスティックにより、上記３つの仮想空間（空間Ａ，Ｂ，Ｃ）内で聴取点移動（ウォークスルー）を実現している。
【００３８】
４．ＨＴＭＬブラウザは、ウォークスルー時の仮想空間（ＶＲＭＬ）において、聴取者の位置の座標および向き情報を取得し、これを送信側にテーブル選択情報として送信する。送信側においてはこの伝送された情報をもとに聴取位置のゾーン情報を抽出して用意された音場の空間情報テーブル群のうちから１つを選択する（Ｓ１５，Ｓ４）。具体的には、まず、聴取位置がどのゾーンに属しているかを判断し、所属したゾーンの代表点（図４（ａ）に×で示す）を聴取点とする空間情報テーブルを選択する（Ｓ１５）。図４（ａ）では、ポイント１はゾーンＢ−１に、ポイント２はゾーンＣ−２に、ポイント３はゾーンＡ−３に属することになる。このゾーンニングを図４（ｂ）に示すように細分化すれば、より正確に位置に対応した音場情報が選択できることになる。
【００３９】
さらに、音源と聴取点の相対位置関係および音源から発せられる直接音の距離減衰値を算出する。ここで、直接音の減衰は、音源と聴取位置との距離が１ｍのときを基準に距離の２乗に反比例して減衰値を決定する。
そして、この距離減衰値を含む選択された空間情報テーブルを連続した音声信号とともに受信側に向けて送信する（Ｓ７，Ｓ８）。
【００４０】
５．なお、ＨＴＭＬブラウザにおいては、操作者の操作に基づいて聴取点が移動する毎に受信（Ｓ９）された上述の情報をもとに、再現したいチャンネル数に対応した数の反射音時系列を生成する（Ｓ１１）。
【００４１】
音場の再現空間で操作者自らが方向転換する場合は、向きについての処理は必要ない。しかし、仮想空間内の聴取者がどの方向に向いているかによって、反射音の到来方向も相対的に変化する。そのため、操作者が常に正面を向いたまま、聴取者の向いている方向を転換する場合は、到来する反射音の方向と聴取者の向いている方向との相対的な角度を算出して、各スピーカに出力するレベルのレベル配分を決定する必要がある。
【００４２】
図６（ａ），（ｂ）および図７（ａ），（ｂ），（ｃ），（ｄ）は、４つのスピーカで音場を再生する場合の方向別反射音時系列の生成方法の一例を示したものである。ここでは、仮想空間で聴取者が向く方向を反時計回りにθ、また、音場の再現空間で操作者が向いている方向をθ＝０°とする。
【００４３】
図６（ａ），（ｂ）に示す場合は、聴取者がθの方向に向いているため、再生空間でのスピーカからの反射音成分は、反射音が−θ回転した方向から到来することと等価になる。また、図７（ａ），（ｂ），（ｃ），（ｄ）の場合は、反射音が仮想空間を示す図７（ａ）および（ｃ）において図上で左上から到来するものとした場合に、聴取者がθ＝９０°の方向（図７（ａ），（ｂ））、およびθ＝１８０°の方向（図７（ｃ），（ｄ））をそれぞれ向いているときの各スピーカからの出力配分を示したものである。図７（ａ），（ｂ）ではスピーカ２はβ／（α＋β）倍の信号を、スピーカ３はα／（α＋β）倍の信号をそれぞれ受けもつことになる。また、図７（ｃ），（ｄ）ではスピーカ３はβ／（α＋β）倍の信号を、スピーカ４はα／（α＋β）倍の信号をそれぞれ受けもつことになる。
【００４４】
６．Ｓ１０（図５参照）によって受信した連続的に送られてくる音声信号と以上のようにして生成された方向別反射音時系列とを畳み込み（Ｓ１２）、畳み込まれた信号を増幅器（アンプ）に供給してスピーカから音場を再現する（Ｓ１３）。
【００４５】
以上説明した本発明の第２の実施形態においては、音源は固定していて移動しないものとしたが、（１）聴取位置のみが移動する場合、（２）音源のみが移動する場合、および（３）聴取位置、音源の双方が移動する場合にも本発明を拡張することができる。
【００４６】
ここで、本発明の第２の実施形態においては、再生側の操作者の情報を送信側に送信し、送信側では、操作者の意思を反映し、例えば、そのときの映像に対応した空間の音場シミュレーションで得られた音場の空間情報を映像および音声情報とともに受信側に送信している。そして、受信側では、受信した音場の空間情報に基づき受信した音声信号を畳み込み演算して、受信側の音場再生機器の構成に応じた再生信号を生成し、それを複数のスピーカやヘッドホンに供給することにより、映像に対応した臨場感のある音場をダイナミックに再現できるようにしている。
【００４７】
これによれば、操作者がジョイスティックなどを用いて操作者の意思を反映した立体視を行うバーチャルリアリティ (ＶＲ：Virtual Reality)やコンピュータゲームにおいて、映像と同様に音声についても操作者の操作に応じたダイナミックな音場再生を実現することができる。
【００４８】
また、第１および第２の実施形態のいずれにおいても、音場再現空間のスピーカの数は４個としたが、これは４個に限られるものではなく、本発明は、音場シミュレーションを行い、それに基づいて音場の空間情報テーブルを作成し、受信側において、音場再現空間のスピーカの数に応じた反射音時系列を生成するようにしているので、水平、垂直面内に任意数のスピーカを配置して本発明を実施することができる。
【００４９】
また、第２の実施形態においては、受信側における音場空間の表示に、ＶＲＭＬビューワを使用するものとしたが、これ以外にも、例えば、ＸＭＬ（eXtensible Markup Language）などを任意のネットワーク上で使用することも可能である。
【００５０】
また、図１、図５にそれぞれ示されるフローチャートには、映像信号が送信側から受信側に伝送されることは示されていないが、本発明では、本発明による音場再現がテレビジョンや各種画像メディアに付随した音声信号に対して適用される場合をも含むものである。
【００５１】
また、以上説明した本発明の第１の実施形態および第２の実施形態においては、受信側で必要とする音場の空間情報の選択をともに送信側で行うものとしたが、これとは反対に、送信側からすべてのシミュレーション結果の空間情報を同時または時系列で受信側に送信し、シーンや聴取者の位置に対応した空間情報の選択を受信側で行うようにしてもよい。なお、シーンに対応した空間情報の選択を受信側で行うにあたっては、送信側からシーンに対応した空間情報切り換え信号を送信することが必要である。
【００５２】
また、本発明は、以上の説明中、送信を記録に、受信を再生にそれぞれ置き換えて、記録再生系に適用することもできる。
【００５３】
この場合、記録媒体に記録されたデータに基づき、コンピュータにより操作者の意思を反映させた映像を再生するコンピュータでの音声再生の場合には、再生すべき映像に対応した音場の空間情報の選択を記録媒体からデータを取り出す再生装置において行うのが好ましい。
【００５４】
【発明の効果】
本発明によれば、従来の音声信号とは別に、音源、聴取点の位置情報および音場の空間情報を送信側から受信側に、また、必要に応じ受信側から送信側に伝送することにより、受信側においてシーンに対応した音場を再現したり、自分の動きに対応した音場空間を再構成することが可能になる。また、これは、スピーカ数には関係しない。
【００５５】
また、本発明は、高臨場感音響が必要とされる下記のような多方面へのアプリケーションが期待できる。
例えば、
ａ．共演者が離れた場所にいても、あたかも自分のそばにいるかの如く演じられる仮想協調スタジオシステム
ｂ．大迫力・高臨場感のゲームに代表されるアミューズメントシステム
ｃ．遠隔会議システム
ｄ．視覚障害者など、人にやさしい音情報を提供するシステム
ｅ．イメージトレーニングシステム
などをあげることができる。
【図面の簡単な説明】
【図１】 本発明による音場空間情報送受信方法の第１の実施形態における処理の流れをフローチャートにて示している。
【図２】 同じく第１の実施形態において、音場を４つのスピーカで再現する場合の一例のスピーカの配置と反射音の到来方法を示している。
【図３】 同じく第１の実施形態において、音場を４つのスピーカで再現する場合の各スピーカ毎の一例の反射音時系列を示している。
【図４】 本発明による音場空間情報送受信方法の第２の実施形態として、本発明を３つの連続した空間に適用した場合を示している。
【図５】 同じく第２の実施形態において、処理の流れをフローチャートにて示している。
【図６】 同じく第２の実施形態において、各スピーカ毎の反射音時系列を生成するにあたって、仮想空間における聴取者と反射音到来方向の関係、および再生空間における操作者と反射音到来方向の関係を示している。
【図７】 図６において、θが９０°と１８０°の場合の具体例を示している。
Claims (9)
- 仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送受信する方法であって、
送信側においては、
シーンまたは聴取者の位置に対応した仮想空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして生成し、仮想空間のシーンまたは聴取者の位置に応じた空間情報テーブルを音声信号とともに受信側に送信し、
受信側においては、
送信側から前記空間情報テーブル及び前記音声信号を受信し、
受信された前記空間情報テーブルをもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成し、
前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成し、
前記再生信号をスピーカ又はヘッドホンに供給するようにしたことを特徴とする音場仮想空間情報送受信方法。 - 仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、
音声信号を送信する第１の送信手段、
各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、記憶する記憶手段、および
その記憶した複数の空間情報のうちから特定のシーンに対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とする音場空間情報送信装置。 - 請求項２に記載の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、
前記音声信号を受信する第１の受信手段、
前記特定のシーンに対応した音場の空間情報を受信する第２の受信手段、
前記第２の受信手段によって受信された空間情報をもとに、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、前記特定のシーンの聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、
前記音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および
畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とする音場再現装置。 - 仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、
音声信号を送信する第１の送信手段、
聴取者の各位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び時間遅れの情報とを含む複数の空間情報テーブルとして、記憶する記憶手段、および
その記憶した複数の空間情報のうちから受信側から送られてくる聴取者の位置情報及び聴取者の向きの情報に対応した空間情報を選択して送信する第２の送信手段を具えてなることを特徴とする音場空間情報送信装置。 - 請求項４に記載の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、
操作者が入力する聴取者の位置情報及び聴取者の向きの情報を前記音場空間情報送信装置に送信する送信手段、
前記音声信号を受信する第１の受信手段、
前記聴取者の位置情報及び聴取者の向きの情報に対応した音場の空間情報を受信する第２の受信手段、
前記第２の受信手段によって受信された空間情報をもとに、聴取者の位置及び向きに対応した仮想空間として、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、
前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および
畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とする音場再現装置。 - 仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、
音声信号を送信する第１の送信手段、
各シーンに対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、各シーンに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段、および
シーンに対応した空間情報テーブルの選択のための空間情報切り換え信号を送信する第３の送信手段を具えてなることを特徴とする音場空間情報送信装置。 - 仮想空間で与えられる音場の音響を直接音及び反射音に区別して、音場の仮想空間情報を送信する音場空間情報送信装置であって、
音声信号を送信する第１の送信手段、および
聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、聴取者の位置情報及び聴取者の向きに対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向及び音圧レベルの情報とをそれぞれ含む複数の空間情報テーブルとして、同時または時系列で送信する第２の送信手段を具えてなることを特徴とする音場空間情報送信装置。 - 請求項６又は７に記載の音場空間情報送信装置から送られてくる音場の仮想空間情報を受信して、音場を再現する音場再現装置であって、
前記音声信号を受信する第１の受信手段、
シーンまたは聴取者の位置に対応した空間について、前記複数の音場の空間情報を受信する第２の受信手段、
前記第２の受信手段によって受信された前記複数の音場の空間情報を記憶する記憶手段、
前記音場空間情報送信装置からシーンに対応して送られてくる前記空間情報切り換え信号を受信する場合には前記空間情報切り換え信号をもとに、前記音場空間情報送信装置から聴取者の位置に対応した複数の空間情報を受信する場合には操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている前記複数の音場の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、
選択された空間情報テーブルから、反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、シーン又は聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、
前記第１の受信手段によって受信された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および
畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とする音場再現装置。 - 仮想空間で与えられる音場の音響を直接音及び反射音に区別した音場の仮想空間情報を再生して音場を再現する音場再現装置であって、
音声信号を再生する第１の再生手段、
シーンまたは聴取者の位置に対応した空間について、受信側で水平面内に配置された複数のスピーカの数に応じて、シーン毎に聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成可能とする、予め定められた音源の位置及び代表的な聴取点の位置に基づいてゾーン分けして行なわれた音場シミュレーションにより得られた複数の音場の空間情報を、音源及び聴取点の位置情報と、音源から聴取点までのゾーン毎の反射音の到来方向、音圧レベル及び遅れ時間の情報とをそれぞれ含む複数の空間情報テーブルとして、再生する第２の再生手段、
前記第２の再生手段によって再生された複数の空間情報テーブルを記憶する記憶手段、
前記第２の再生手段からシーンに対応して再生される、シーンに対応した空間情報テーブルの選択のための空間情報切り換え信号または操作者が入力する聴取者の位置情報をもとに、前記記憶手段に記憶されている複数の空間情報の中から聴取者の位置が属するゾーンの空間情報テーブルを選択する選択手段、
選択された空間情報テーブルから、各反射音の到来方向、音圧レベル及び遅れ時間の情報を、スピーカ又はヘッドホンの数に応じて、聴取者の向きを含む聴取者の位置情報に対応させて、各方向別の反射音時系列を生成する反射音時系列生成手段、
前記第１の再生手段によって再生された音声信号と前記方向別反射音時系列とを畳み込み演算して再生信号を生成する畳み込み演算手段、および
前記畳み込み演算手段から出力される再生信号が供給され音場を再現するスピーカ又はヘッドホンを具えてなることを特徴とする音場再現装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13386899A JP4046891B2 (ja) | 1999-05-14 | 1999-05-14 | 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13386899A JP4046891B2 (ja) | 1999-05-14 | 1999-05-14 | 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322069A JP2000322069A (ja) | 2000-11-24 |
| JP4046891B2 true JP4046891B2 (ja) | 2008-02-13 |
Family
ID=15114945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13386899A Expired - Fee Related JP4046891B2 (ja) | 1999-05-14 | 1999-05-14 | 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4046891B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005094271A (ja) * | 2003-09-16 | 2005-04-07 | Nippon Hoso Kyokai <Nhk> | 仮想空間音響再生プログラムおよび仮想空間音響再生装置 |
-
1999
- 1999-05-14 JP JP13386899A patent/JP4046891B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000322069A (ja) | 2000-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5459790A (en) | Personal sound system with virtually positioned lateral speakers | |
| Hacihabiboglu et al. | Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics | |
| US8437485B2 (en) | Method and device for improved sound field rendering accuracy within a preferred listening area | |
| US5661812A (en) | Head mounted surround sound system | |
| EP3022947B1 (en) | Method for processing of sound signals | |
| Wittek et al. | Development and application of a stereophonic multichannel recording technique for 3D Audio and VR | |
| JP2009077379A (ja) | 立体音響再生装置、立体音響再生方法及びコンピュータプログラム | |
| Gardner | 3D audio and acoustic environment modeling | |
| CN108476367A (zh) | 用于沉浸式音频回放的信号的合成 | |
| US20190394596A1 (en) | Transaural synthesis method for sound spatialization | |
| JP2018110366A (ja) | ３ｄサウンド映像音響機器 | |
| CN103609143A (zh) | 用于捕获和回放源自多个声音源的声音的方法 | |
| KR100955328B1 (ko) | 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법 | |
| Malham | Toward reality equivalence in spatial sound diffusion | |
| US6718042B1 (en) | Dithered binaural system | |
| JP4046891B2 (ja) | 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 | |
| Melchior et al. | Emerging technology trends in spatial audio | |
| Travis | Virtual reality perspective on headphone audio | |
| KR102559015B1 (ko) | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 | |
| Storms | NPSNET-3D sound server: an effective use of the auditory channel | |
| Rébillat et al. | SMART-I 2:“Spatial multi-user audio-visual real-time interactive interface”, A broadcast application context | |
| KR100284457B1 (ko) | 삼차원으로 녹음시킬 수 있는 음원의 처리방법 | |
| Dağlık | Spatial Audio Reproduction Techniques and Their Application to Musical Composition: The Analysis of “Wunderkammer”,“Point-Instant” and “Hollow” | |
| Bruck | The KFM 360 Surround-A purist approach | |
| Stevenson | Spatialisation, Method and Madness Learning from Commercial Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040322 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |