JP4226238B2

JP4226238B2 - Sound field reproduction device

Info

Publication number: JP4226238B2
Application number: JP2001283313A
Authority: JP
Inventors: 洋幸大久保; 一穂小野; 摂小宮山
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-09-18
Filing date: 2001-09-18
Publication date: 2009-02-18
Anticipated expiration: 2021-09-18
Also published as: JP2003091293A

Description

【０００１】
【発明の属する技術分野】
本発明は、音場再現装置に関し、特に、臨場感のあるサラウンド音声制作にあたって、各スピーカに供給する再生信号のレベルで音の大きさや到来方向を制御すると共に、響き成分の種類、レベル、再生する方向を制御する装置に適用する場合に有効となる技術に関するものである。
【０００２】
【従来の技術】
従来のステレオ方式で臨場感（リアリティ）のある音場再現を実現する手法として、前方２チャンネルのスピーカ以外からも音声を発生させる、いわゆるサラウンド方式がある。サラウンド方式には、主信号にディレーをもたせた信号を前方２チャンネル以外のサラウンドスピーカから出す簡易な手法や、近年の劇場映画などのマルチチャンネル音声システムに対応した高能率符号化方式を採用したＡＣ−３方式などがある。
【０００３】
これらのステレオ方式では、予め設定されたスピーカ位置に応じて収音位置（収音ポイント）を決定し、それぞれの収音位置で収音された音声信号を対応するスピーカから出力することによって、臨場感のある音場再現を実現していた。このために、従来のステレオ方式では、収音現場の臨場感を再現することは可能であるが、その臨場感はあくまで収音位置での臨場感であって、収音位置以外のポイントの臨場感を再現することはできなかった。
【０００４】
例えば、スタジオ内でセットを使って行われる放送用ドラマの収録などでは、いわゆるロケ収録の場合のような現実の音響空間における臨場感をもった音声を収録することはできなかった。そのため、例えば、洞窟のシーンであれば、収録後に、収録音に響きの長いリバーブを試行錯誤しながら付加するといった方法を用いて音作りをすることによって、各シーンに対応した音場再現を実現していた。
【０００５】
【発明が解決しようとする課題】
本発明者は、前記従来技術を検討した結果、以下の問題点を見いだした。
従来のサラウンド制作においては、例えば、音の到来方向を調整する場合には、各スピーカから再生される音のレベルをそれぞれのボリューム、または２つのチャンネル間のパンを調整することで実現していたので、３個以上のスピーカでは困難であった。ただし、パンとは空間上での音の位置を決めるための左右のスピーカチャンネル（２つのチャンネル間）の音量バランスである。
【０００６】
しかしながら、２つのチャンネル間のパンを組み合わせることによって音の到来方向を調整する場合には、スムーズに音を回転・移動させることは困難であった。例えば、１チャンネル目と２チャンネル目とは第１の機材を用いると共に、２チャンネル目と３チャンネル目とに第２の機材を用い、１チャンネル目と２チャンネル目との間でパンさせると共に、２チャンネル目と３チャンネル目との間にもパンをさせる場合には、まず第１の機材と第２の機材との２チャンネルの音量バランスを調整した後に、第１の機材と第２の機材との間の音量バランスを調整する必要があった。また、スムーズに音を回転・移動させるためにはタイミングを計って、第１の機材から第２の機材に動作を引き渡す必要もあった。さらには、チャンネル数を増大させた場合には、前述の煩雑さがさらに増大することとなっていた。
【０００７】
このように、音を移動させたり、効果をつけるための従来のサラウンド制作では、複数の機器の組み合わせとそれに伴う複数のパラメータとの煩雑な操作を必要としたので、大きな負担となっていた。
【０００８】
本発明の目的は、この煩雑な操作を簡単なものにし、音声をリアルタイムに変化させ、臨場感の高い再生を実現することが可能な技術を提供することにある。
【０００９】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【００１１】
（１）発音体の音響信号を入力する一つの信号入力手段と、前記一つの信号入力手段から入力された音響信号を２分配する２分配手段と、前記２分配手段により分配された一方の音響信号を３以上のチャンネルの音響信号に分配し、仮想空間内に配置される前記発音体の位置座標と前記仮想空間に対して設定される視点位置とに基づいて、それぞれの音響信号のレベルを制御する直接音処理部と、前記２分配手段により分配された他方の音響信号を３以上のチャンネルの音響信号に分配し、分配されたそれぞれの音響信号に基づいて３以上のチャンネルの前記仮想空間での残響音信号を生成する反射音処理部と、前記反射音処理部からの前記３以上のチャンネルの残響音信号と前記直接音処理部からの前記レベルの制御された３以上のチャンネルの音響信号とを合成し３以上のチャンネル毎の再生信号を生成する手段と、前記３以上のチャンネル毎の再生信号が供給され音場を再現する３個以上のスピーカとを備える音場再現装置。
【００１２】
（２）発音体の音響信号を入力する一つの信号入力手段と、前記一つの信号入力手段から入力された音響信号を２分配する２分配手段と、シーンまたは聴取者の位置に対応した仮想空間内での音場の空間情報を格納する手段と、前記２分配手段により分配された一方の音響信号を３以上のチャンネルの音響信号に分配し、前記空間情報として格納される発音体の座標位置と前記視聴者の視点位置とに基づいて、それぞれの音響信号のレベルを制御する直接音処理部と、前記２分配手段により分配された他方の音響信号を３以上のチャンネルの音響信号に分配し、分配されたそれぞれの音響信号に基づいて３以上のチャンネルの前記仮想空間における残響音信号を生成する反射音処理部と、前記反射音処理部からの前記３以上のチャンネルの残響音信号と前記直接音処理部からの前記レベルの制御された３以上のチャンネルの音響信号とを合成し３以上のチャンネル毎の再生信号を生成する手段と、前記３以上のチャンネル毎の再生信号が供給され音場を再現する３個以上のスピーカとを備える音場再現装置。
【００１３】
（３）前述した（１）もしくは（２）に記載の音場再現装置において、前記残響音信号を生成する反射音生成部は、仮想空間内に配置される前記発音体の位置座標と前記仮想空間に対して設定される視点位置とに基づいて、前記各チャンネル毎の前記残響音信号のレベルを一律に制御し前記発音体からの音の到来方向を制御する。
【００１４】
（４）前述した（１）乃至（３）の内の何れかに記載の音場再現装置において、前記残響音信号を生成する反射音生成部は、仮想空間内に配置される前記発音体の位置座標と前記仮想空間に対して設定される視点位置とに基づいて、前記各チャンネルの前記残響音信号のレベルを制御し前記発音体までの距離を制御する。
【００１５】
（５）前述した（１）乃至（４）の内の何れかに記載の音場再現装置において、前記音響信号のレベルを制御する直接音処理部は、発音体の座標位置と前記視聴者の視点位置とが変化した場合には、クロスフェードにより各チャンネル毎の音響信号レベルを制御する。
【００１６】
前述した手段によれば、一つの信号入力手段から入力された音響信号を２分配手段で２分配し、２分配手段により分配された一方の音響信号に対して、音響信号のレベルを制御する直接音処理部が、仮想空間内に配置される発音体の位置座標と仮想空間に対して設定される視点位置とに基づいて、発音体の音響信号を３以上のチャンネルの音響信号に分配しそれぞれの音響信号のレベルを制御することによって、音響信号の発音体までの方向及び距離感を制御した音響信号を得ることができる。
【００１７】
また、一つの信号入力手段から入力された音響信号を２分配手段で２分配し、２分配手段により分配された他方の音響信号に対して、残響音信号を生成する反射音処理部が３以上のチャンネルに分配された音響信号に基づいて、仮想空間での残響音信号を生成することによって、発音体までの方向及び距離感を制御した反射音やリバーブ等の残響音信号を得ることができる。
【００１８】
ここで、再生信号生成手段が、残響音信号とレベルの制御された音響信号とを合成しチャンネル毎の再生信号を生成し、得られた再生信号を音場再現手段となるスピーカまたはヘッドホンに供給することによって、発音体までの方向及び距離感が制御された音声や残響音を得ることができるので、煩雑な操作をすることなく音響信号をリアルタイムに変化させた臨場感の高い音場を再生することができる。
【００１９】
また、信号入力手段から入力された音響信号に対して、シーンまたは聴取者の位置に対応した仮想空間内での音場の空間情報を格納する手段に格納される空間情報、すなわち発音体の座標位置と視聴者の視点位置とに基づいて、音響信号のレベルを制御する手段が、音響信号のレベルを制御し発音体からの音の到来方向及び発音体までの距離を制御する。
【００２０】
一方、残響音信号生成手段が信号入力手段から入力された音響信号に基づいて、仮想空間における残響音信号を生成することによって、発音体までの方向及び距離感を制御した反射音やリバーブ等の残響音信号を得ることができる。
【００２１】
ここで、再生信号生成手段が、残響音信号とレベルの制御された音響信号とを合成しチャンネル毎の再生信号を生成し、得られた再生信号を音場再現手段となるスピーカまたはヘッドホンに供給することによって、発音体までの方向及び距離感が制御された音声や残響音を得ることができるので、煩雑な操作をすることなく音響信号をリアルタイムに変化させた臨場感の高い音場を再生することができる。
【００２２】
また、残響音信号を生成する反射音処理部が、仮想空間内に配置される発音体の位置座標と仮想空間に対して設定される視点位置とに基づいて、各チャンネル毎の残響音信号のレベルを制御し発音体からの音の到来方向を制御することによって、音響信号と同様に残響音信号にも音の到来方向の制御を行うことができるので、煩雑な操作をすることなく音響信号をリアルタイムに変化させた臨場感の高い音場を再生することができる。
【００２３】
また、残響音信号を生成する反射音処理部が、仮想空間内に配置される発音体の位置座標と仮想空間に対して設定される視点位置とに基づいて、各チャンネルの残響音信号のレベルを制御し発音体までの距離を制御することによって、容易に視点位置から発音体までの距離感を制御することができるので、装置構成を簡単な構成とすることができる。
【００２４】
さらには、音響信号のレベルを制御する直接音処理部が、発音体の座標位置と視聴者の視点位置とが変化した場合には、クロスフェードにより各チャンネル毎の音響信号レベルを制御するので、例えば音場再現手段となるスピーカの所定チャンネルから他のチャンネルへの音響信号と残響音信号との割り当てを変化させる時に生じる切り替えのショックを無くしたスムーズな切り替えが可能となる。
【００２５】
【発明の実施の形態】
以下、本発明について、発明の実施の形態（実施例）とともに図面を参照して詳細に説明する。
なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２６】
図１は本発明の一実施の形態である音場再現装置の概略構成を説明するための図である。ただし、以下の説明では、音声信号を入力信号とした場合について説明するが、音声信号以外の他の音響信号を入力信号とした場合でも適用可能なことはいうまでもない。
【００２７】
図１において、１０１は信号入力端子、１０２は直接音処理部、１０３は反射音処理部、１０４は距離方向情報設定手段、１０５は合成部、１０６は方向別反射音データ設定手段、１０７は減衰手段、１０８は可変抵抗器、１０９は反射音生成手段、１１０はパッチ部、１１１は選択合成手段、１１２は信号線を示す。
【００２８】
図１に示すように、本実施の形態の音場再現装置は、信号入力手段となる信号入力端子１０１から入力された音声信号を２分配する周知の図示しない２分配手段と、この２分配手段により分配された一方の音声信号から音声の到来方向及び距離を勘案した音声信号を生成する直接音処理部１０２と、直接音処理部１０２にシーンまたは聴取者の位置に応じた音声の到来方向及び距離を設定する距離方向情報設定手段１０４とを備える構成となっている。また、本実施の形態の音場再現装置は、図示しない２分配手段により分配された他方の音声信号から音声の到来方向及びシーンまたは聴取者の位置に対応した反射音信号を生成する反射音処理部１０３と、反射音処理部１０３にシーンまたは聴取者の位置に応じて音声の方向別の反射音データを設定する方向別反射音データ設定手段１０６と、直接音処理部１０２と反射音処理部１０３とから出力される音声信号と反射音信号（残響音信号）とを合成して得られる再生信号を生成する合成部１０５とを備える構成となっている。
【００２９】
直接音処理部１０２は、入力された一の音声信号（サラウンド処理されていない信号）を図示しないスピーカ数（チャンネル数）の音声信号に分配する図示しない周知の分配器と、この分配器によって分配されたそれぞれの音声信号に距離方向情報設定手段１０４により設定された減衰を与える減衰手段１０７とから構成されている。ただし、減衰手段１０７としては、例えば分配器により分配された音声信号線にそれぞれ直列に接続される周知の可変抵抗器１０８により実現可能であるが、増幅器を用いる構成としてもよい。
【００３０】
反射音処理部１０３は、入力された一の音声信号を図示しないスピーカ数の音声信号に分配する図示しない周知の分配器と、方向別反射音データ設定手段１０６により設定される伝達関数（インパルス応答）に基づいて、分配器によって分配されたそれぞれの音声信号に対して反射成分やリバーブ等と共に音声の到来方向に応じた反射音信号を生成する反射音生成手段１０９とから構成されている。
【００３１】
また、合成部１０５は、直接音処理部１０２から出力される信号数すなわちスピーカ数に対応する信号線１１２と、それぞれの信号線１１２に出力された音声信号に各反射音生成手段１０９から出力される反射音信号を選択的に合成させる複数個の選択合成手段１１１を有するパッチ部１１０とを備える構成となっている。パッチ部１１０を構成する複数この選択合成手段１１１から出力される信号である音声信号と反射音信号とが重畳されたそれぞれの重畳信号は、図示しない増幅器によりそれぞれ増幅された後に、図示しないスピーカに出力されることとなる。
【００３２】
また、本実施の形態の選択合成手段１１１は、減衰器としての機能も有する構成となっている。この構成によって、本実施の形態では、選択合成手段１１１はスピーカへの音声信号と反射音信号との割り当てを変化させる時に、それまで割りあてていたスピーカヘの振幅を減衰させ、切り替え先のスピーカヘの信号の振幅を次第に増加させるというクロスフェード処理を行う構成となっている。従って、スピーカへの音声信号と反射音信号との割り当てを変化させる時に生じる切り替えのショックを無くしてスムーズな切り替えを実現できる。
【００３３】
ただし、図２に示すように、クロスフェードの際における移行中の音源の方向が、元のスピーカとなす角をα度、切り替え先のスピーカとのなす角をβ度とした場合、振幅を減衰・増幅する係数は例えば次のようになる。それまで割りあてていたスピーカＳＰ１ヘの振幅係数φ_ＳＰ１をｃｏｓ（α／（α＋β）×π／２）で減衰し、切り替え先のスピーカＳＰ２ヘの信号の振幅係数φ_ＳＰ２をｓｉｎ（α／（α＋β）×π／２）で増幅することによって、スピーカへの音声信号と反射音信号との割り当てを変化させる時に生じる切り替えのショックを無くしたスムーズな切り替えが実現できる。ただし、図２中の矢印で示すように、切り替え中における振幅係数φは、φ^２＝φ^２ _ＳＰ１＋φ^２ _ＳＰ２となる。
【００３４】
次に、図１及び図２に基づいて、本実施の形態の音場再現装置におけるサラウンド動作について説明する。ただし、以下の説明では、図示しない送信側において、シーンまたは聴取者の位置に対応した空間の音場シミュレーション等を行い、その結果得られた音場の空間情報が音声信号と共に放送回線や通信回線を介して本実施の形態の音場再現装置に送信され、この受信した音場の空間情報に基づいて、音場再現装置が音声信号から再生信号を生成し、それら再生信号を複数の図示しないスピーカやヘッドホンに供給することによりシーンなどに対応した臨場感のある音場をダイナミックに再現する場合の動作について説明する。しかしながら、音場の空間情報と音声信号とを光ディスクや磁気ディスク等に予め格納しておき、本実施の形態の音場再現装置が光ディスクや磁気ディスクに格納される音場の空間情報に基づいて、音場再現装置が音声信号から再生信号を生成する場合等にも適用可能なことはいうまでもない。
【００３５】
本実施の形態の音場再現装置に音場の空間情報と音声信号とが入力されると、音場の空間情報からシーンに応じた音声の到来方向及び距離に係わる設定値が取り出され、この設定値が距離方向情報設定手段１０４に設定される。また、音場の空間情報からはシーンに応じた音声の方向別の反射音データの設定値も取り出され、この設定値が方向別反射音データ設定手段１０６に設定される。
【００３６】
この距離方向情報設定手段１０４及び方向別反射音データ設定手段１０６に設定値が設定されると、距離方向情報設定手段１０４及び方向別反射音データ設定手段１０６が、この設定値に従って減衰手段１０７を構成する各可変抵抗器１０８と反射音処理部１０３を構成する反射音生成手段１０９とを設定する。
【００３７】
この後に、信号入力端子１０１から入力された音声信号は図示しない２分配器によって分配された後に、一方の音声信号は直接音処理部１０２に入力され、他方の音声信号は反射音処理部１０３に入力される。
【００３８】
直接音処理部１０２に入力された入力信号は、まず図示しない分配器によりスピーカ数すなわちチャンネル数（ヘッドホンを含む）に対応する信号数に分配された後に、それぞれの入力信号が減衰手段１０７に入力される。減衰手段１０７では、距離方向情報設定手段１０４により設定される減衰量に従って、それぞれのチャンネルに対応した可変抵抗器１０８の抵抗値が設定されることとなる。従って、各可変抵抗器１０８に入力されたそれぞれの入力信号は、距離方向情報設定手段１０４に従った減衰量が与えられた後に、合成部１０５に出力される。
【００３９】
このとき、本実施の形態では、距離方向情報設定手段１０４は、各可変抵抗器１０８での減衰量を調整することによって音の定位方向を制御すると共に、全体のゲインを一律となるように調整する構成となっているので、発音体からの距離によって減衰する音量を制御することができ、発音体までの距離感を制御することができることとなる。
【００４０】
一方、反射音処理部１０３に入力された入力信号は、直接音処理部１０２と同様に、まず図示しない分配器によりスピーカ数すなわちチャンネル数に対応する信号数に分配される。次に、この分配された入力信号は、対応する反射音生成手段１０９に入力され、方向別反射音データ設定手段１０６で設定された反射成分やリバーブ等が生成され、得られた反射成分やリバーブ等の残響音信号が合成部１０５に出力される。ただし、本実施の形態では、反射成分やリバーブ等は、各スピーカの方向に対応した方向別の反射音情報（インパルス応答）であり、あらかじめ音響シミュレーションなどにより求められたものである。また、本実施の形態では、各反射音生成手段１０９に入力される入力信号に応じた反射成分やリバーブ等が生成される構成となっている。
【００４１】
合成部１０５に入力された音響信号及び残響音信号は、パッチ部１１０を構成する選択合成手段１１１によって、距離方向情報設定手段１０４に従った合成がなされ、得られた信号が図示しない周知の増幅器により増幅された後に再生信号として図示しない複数個のスピーカに出力され、入力信号をリアルタイムに変化させた臨場感の高い音場が再生されることとなる。
【００４２】
このとき、本実施の形態では、音響信号に合成される残響音信号が距離方向情報設定手段１０４に基づいた信号の合成がなされると共に、シーン等に応じた入力信号の到来方向及び距離並びに視点位置の移動に伴う音響信号及び残響音信号の出力チャンネルの変更が指示された場合には、それまで割りあてられていたチャンネルヘの音響信号及び残響音信号の振幅が減衰され、切り替え先のチャンネルヘの信号の振幅を次第に増加させるというクロスフェード処理がなされる構成となっているので、出力チャンネルの切り替えに伴うショックをなくしたスムーズなチャンネルの切り替えが可能となる。
【００４３】
その結果、音を移動させたり、効果をつけるためのサラウンド制作であっても、複数の機器の組み合わせとそれに伴う複数のパラメータとを調整する煩雑な操作が不必要となるので、サラウンド制作における負担を大幅に低減できる。
【００４４】
また、本実施の形態であっても、一つの固定した音場を再現する点においては、ＤＳＰを用いた従来の音場再現装置と同様となる。しかしながら、本実施の形態の音場再現装置では、方向別反射音データは、ｓｉｎ，ｃｏｓ関数を用いた反射音の振り分けができるという点、また、あらかじめ音響シミュレーションによって得た精度の高いデータを用いた残響音を得られるという点において、ＤＳＰを用いた従来の音場再現装置よりも特に優れている。また、音場を逐次、スムーズに変化させることができるという格別の効果を得ることもできる。
【００４５】
以上、本発明者によってなされた発明を、前記発明の実施の形態に基づき具体的に説明したが、本発明は、前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００４６】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００４７】
（１）、この煩雑な操作を簡単なものにし、音声をリアルタイムに変化させ、臨場感の高い音場の再生を実現することができる。
【００４８】
（２）、選択重畳手段はスピーカへの音声信号と反射音信号との割り当てを変化させる時に、それまで割りあてていたスピーカヘの振幅を減衰させ、切り替え先のスピーカヘの信号の振幅を次第に増加させるというクロスフェード処理を行うので、スピーカへの音声信号と反射音信号との割り当てを変化させる時に生じる切り替えのショックを無くしてスムーズな切り替えを実現できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である音場再現装置の概略構成を説明するための図である。
【図２】本実施の形態でのクロスフェードの際における移行中の音源の方向を説明するための図である。
【符号の説明】
１０１…信号入力端子１０２…直接音処理部
１０３…反射音処理部１０４…距離方向情報設定手段
１０５…合成部１０６…方向別反射音データ設定手段
１０７…減衰手段１０８…可変抵抗器
１０９…反射音生成手段１１０…パッチ部
１１１…選択合成手段１１２…信号線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sound field reproduction apparatus, and in particular, in the production of surround sound with a sense of presence, controls the loudness and direction of arrival according to the level of a reproduction signal supplied to each speaker, and the type, level, and reproduction of a sound component. The present invention relates to a technique that is effective when applied to a device that controls the direction of movement.
[0002]
[Prior art]
As a method for realizing a realistic sound field reproduction with a stereo method in the related art, there is a so-called surround method in which sound is generated from speakers other than the front two-channel speakers. The surround system uses a simple method that outputs a signal with a delay in the main signal from surround speakers other than the front two channels, and an AC that employs a high-efficiency encoding system that supports multi-channel audio systems such as theatrical movies in recent years. -3 method.
[0003]
In these stereo systems, sound pickup positions (sound pickup points) are determined according to preset speaker positions, and audio signals picked up at the respective sound pickup positions are output from the corresponding speakers, so that A sound field reproduction with a feeling was realized. For this reason, in the conventional stereo system, it is possible to reproduce the sense of presence at the sound collection site, but the sense of reality is just the sense of presence at the sound collection position, and the presence of points other than the sound collection position The feeling could not be reproduced.
[0004]
For example, when recording a broadcast drama performed using a set in a studio, it was not possible to record sound with a sense of presence in a real acoustic space as in the case of so-called location recording. So, for example, in the case of a cave scene, after recording, the sound field reproduction corresponding to each scene is realized by making sound using a method that adds reverb that reverberates the recorded sound with trial and error Was.
[0005]
[Problems to be solved by the invention]
As a result of examining the prior art, the present inventor has found the following problems.
In conventional surround production, for example, when adjusting the direction of sound arrival, the level of the sound reproduced from each speaker is realized by adjusting each volume or panning between two channels. Therefore, it was difficult with three or more speakers. However, pan is a volume balance between left and right speaker channels (between two channels) for determining the position of sound in space.
[0006]
However, when adjusting the direction of sound arrival by combining pans between two channels, it has been difficult to smoothly rotate and move the sound. For example, the first and second channels use the first equipment, the second and third channels use the second equipment, and pan between the first and second channels, When panning between the second channel and the third channel, first adjust the volume balance of the two channels of the first device and the second device, then the first device and the second device. It was necessary to adjust the volume balance between. In addition, in order to smoothly rotate and move the sound, it is necessary to measure the timing and transfer the operation from the first equipment to the second equipment. Further, when the number of channels is increased, the above-described complexity is further increased.
[0007]
As described above, in the conventional surround production for moving the sound or adding an effect, a complicated operation with a combination of a plurality of devices and a plurality of parameters associated therewith is required, which is a heavy burden.
[0008]
An object of the present invention is to provide a technique capable of simplifying this complicated operation, changing a voice in real time, and realizing reproduction with high presence.
[0009]
The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
[0010]
[Means for Solving the Problems]
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
[0011]
(1) One signal input means for inputting the sound signal of the sounding body, two distribution means for distributing the sound signal input from the one signal input means, and one of the sounds distributed by the two distribution means The signal is distributed to the acoustic signals of three or more channels, and the level of each acoustic signal is determined based on the position coordinates of the sounding body arranged in the virtual space and the viewpoint position set for the virtual space. The direct sound processing unit to be controlled and the other acoustic signal distributed by the two distribution means are distributed to the acoustic signals of three or more channels, and the virtual space of the three or more channels is based on the distributed acoustic signals. a reflected sound processor for generating a reverberation sound signal at the level of the controlled three or more Chang from the 3 reverberation sound signals over channels between the direct sound processing section from the reflected sound processing unit Sound reproduction comprising means for generating a reproduction signal of each channel of the audio signal and the synthesized three or more of the Le, and three or more loudspeakers reproducing signal for each channel of the three or more to reproduce the supplied sound field apparatus.
[0012]
(2) One signal input means for inputting the sound signal of the sounding body, two distribution means for distributing the sound signal inputted from the one signal input means, and a virtual space corresponding to the position of the scene or the listener And a position of the sound generator stored as the spatial information by distributing one of the acoustic signals distributed by the two distributing means to the acoustic signals of three or more channels. And a direct sound processing unit for controlling the level of each sound signal based on the viewer's viewpoint position, and the other sound signal distributed by the two distribution means is distributed to the sound signals of three or more channels. a reflected sound processor for generating a reverberation signal in the virtual space of three or more channels based on respective sound signals distributed, remaining of the three or more channels from the reflected sound processing unit Means and said three or more of the reproduction signal of each channel for generating a sound signal and the level reproduced signal of the synthesized three or more for each channel and the audio signal of the controlled three or more channels from the direct sound processing section A sound field reproduction device comprising three or more speakers that reproduce the sound field.
[0013]
(3) In the sound field reproduction device according to (1) or (2) described above, the reflected sound generation unit that generates the reverberation sound signal includes the position coordinates of the sounding body arranged in a virtual space, and the virtual Based on the viewpoint position set with respect to the space, the level of the reverberation signal for each channel is uniformly controlled to control the direction of arrival of the sound from the sounding body.
[0014]
(4) In the sound field reproduction device according to any one of (1) to (3) described above, the reflected sound generation unit that generates the reverberation sound signal is the sound generator arranged in the virtual space. Based on the position coordinates and the viewpoint position set for the virtual space, the level of the reverberant sound signal of each channel is controlled to control the distance to the sounding body.
[0015]
(5) In the sound field reproduction device according to any one of (1) to (4) described above, the direct sound processing unit that controls the level of the acoustic signal includes the coordinate position of the sound generator and the viewer's When the viewpoint position changes, the sound signal level for each channel is controlled by crossfading.
[0016]
According to the means described above, the acoustic signal input from one signal input means is divided into two by the two distribution means, and the level of the acoustic signal is directly controlled with respect to one of the acoustic signals distributed by the two distribution means. The sound processing unit distributes the sound signal of the sound generator to the sound signals of three or more channels based on the position coordinates of the sound generator arranged in the virtual space and the viewpoint position set for the virtual space. By controlling the level of the acoustic signal, it is possible to obtain an acoustic signal in which the direction of the acoustic signal to the sounding body and the sense of distance are controlled.
[0017]
In addition, the acoustic signal input from one signal input means is divided into two by the two distribution means, and there are three or more reflected sound processing units that generate a reverberation sound signal with respect to the other acoustic signal distributed by the two distribution means. By generating a reverberation signal in the virtual space based on the acoustic signal distributed to the channels, it is possible to obtain a reverberation signal such as a reflected sound or a reverb that controls the direction and distance to the sounding body. .
[0018]
Here, the reproduction signal generating means generates a reproduction signal for each channel by combining the reverberant sound signal and the acoustic signal whose level is controlled, and supplies the obtained reproduction signal to a speaker or headphones serving as a sound field reproduction means. By doing so, you can obtain sound and reverberation with controlled direction and distance to the sounding body, so you can reproduce a sound field with high presence by changing the sound signal in real time without complicated operations can do.
[0019]
In addition, with respect to the sound signal input from the signal input means, spatial information stored in the means for storing the spatial information of the sound field in the virtual space corresponding to the position of the scene or the listener, that is, the coordinates of the sounding body A means for controlling the level of the acoustic signal based on the position and the viewpoint position of the viewer controls the level of the acoustic signal to control the arrival direction of the sound from the sounding body and the distance to the sounding body.
[0020]
On the other hand, the reverberant signal generating means generates a reverberant sound signal in the virtual space based on the sound signal input from the signal input means, thereby controlling the direction and distance to the sounding body, such as reflected sound and reverb. A reverberant signal can be obtained.
[0021]
Here, the reproduction signal generating means generates a reproduction signal for each channel by combining the reverberant sound signal and the acoustic signal whose level is controlled, and supplies the obtained reproduction signal to a speaker or headphones serving as a sound field reproduction means. By doing so, you can obtain sound and reverberation with controlled direction and distance to the sounding body, so you can reproduce a sound field with high presence by changing the sound signal in real time without complicated operations can do.
[0022]
Further, the reflected sound processing unit that generates the reverberant sound signal generates the reverberant sound signal for each channel based on the position coordinates of the sounding body arranged in the virtual space and the viewpoint position set for the virtual space. By controlling the level and the direction of sound coming from the sounding body, the direction of sound arrival can be controlled in the reverberant sound signal as well as the sound signal. It is possible to reproduce a sound field with a high sense of presence by changing the sound in real time.
[0023]
In addition, the reflected sound processing unit that generates the reverberant sound signal determines the level of the reverberant sound signal of each channel based on the position coordinates of the sounding body arranged in the virtual space and the viewpoint position set for the virtual space. Since the distance from the viewpoint position to the sounding body can be easily controlled by controlling the distance to the sounding body, the apparatus configuration can be simplified.
[0024]
Furthermore, the direct sound processing section for controlling the level of the acoustic signal, when the viewer's viewpoint position and the coordinate position of the sounding body is changed, and controls the sound signal levels of each channel by cross-fade, For example, it is possible to perform smooth switching without the shock of switching that occurs when changing the allocation of sound signals and reverberation sound signals from a predetermined channel of a speaker serving as sound field reproduction means to another channel.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the invention.
Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment of the invention, and the repetitive description thereof is omitted.
[0026]
FIG. 1 is a diagram for explaining a schematic configuration of a sound field reproduction apparatus according to an embodiment of the present invention. However, in the following description, a case where an audio signal is used as an input signal will be described, but it is needless to say that the present invention can be applied even when an acoustic signal other than the audio signal is used as an input signal.
[0027]
In FIG. 1, 101 is a signal input terminal, 102 is a direct sound processing unit, 103 is a reflected sound processing unit, 104 is a distance direction information setting unit, 105 is a synthesis unit, 106 is a reflected sound data setting unit for each direction, and 107 is attenuation. Means 108, variable resistor 109, reflected sound generation means 110, patch section 110, selection / synthesis means 111, and 112 a signal line.
[0028]
As shown in FIG. 1, the sound field reproduction apparatus according to the present embodiment includes a well-known two distribution unit (not shown) that distributes an audio signal input from a signal input terminal 101 serving as a signal input unit, and the two distribution unit. A direct sound processing unit 102 that generates a sound signal that takes into account the direction and distance of the sound from one of the sound signals distributed by the method, and the direction of arrival of the sound according to the position of the scene or the listener and the direct sound processing unit 102 A distance direction information setting unit 104 for setting a distance is provided. In addition, the sound field reproduction device according to the present embodiment generates a reflected sound signal that generates a reflected sound signal corresponding to the direction of arrival of the sound and the position of the listener or listener from the other sound signal distributed by the two distributing means (not shown). Unit 103, reflected sound data setting means 106 by direction for setting reflected sound data for each direction of sound according to the position of the scene or listener in reflected sound processing unit 103, direct sound processing unit 102, and reflected sound processing unit 103 is configured to include a synthesizing unit 105 that generates a reproduction signal obtained by synthesizing the audio signal output from the signal 103 and the reflected sound signal (reverberation signal).
[0029]
The direct sound processing unit 102 distributes one input audio signal (signal not subjected to surround processing) to audio signals of the number of speakers (number of channels) (not shown), and a known distributor (not shown). Attenuating means 107 for applying attenuation set by the distance / direction information setting means 104 to each of the audio signals. However, the attenuating means 107 can be realized by, for example, the well-known variable resistor 108 connected in series to the audio signal line distributed by the distributor, but may be configured to use an amplifier.
[0030]
The reflected sound processing unit 103 includes a well-known distributor (not shown) that distributes one input audio signal to audio signals of the number of speakers (not shown), and a transfer function (impulse response) set by the direction-specific reflected sound data setting means 106. ) And a reflected sound generating means 109 for generating a reflected sound signal corresponding to the direction of arrival of the voice together with a reflection component, reverb, etc. for each of the sound signals distributed by the distributor.
[0031]
The synthesizing unit 105 outputs the signal lines 112 corresponding to the number of signals output from the direct sound processing unit 102, that is, the number of speakers, and the sound signals output to the respective signal lines 112 from each reflected sound generation unit 109. And a patch unit 110 having a plurality of selective combining means 111 for selectively combining the reflected sound signals. A plurality of superimposed signals obtained by superimposing a plurality of audio signals and reflected sound signals, which are signals output from the selection / combination means 111 constituting the patch unit 110, are amplified by an amplifier (not shown) and then applied to a speaker (not shown). Will be output.
[0032]
Further, the selection / combination means 111 of the present embodiment is configured to have a function as an attenuator. With this configuration, in the present embodiment, when the selection / synthesizing unit 111 changes the allocation of the audio signal and the reflected sound signal to the speaker, the selection / synthesizing unit 111 attenuates the amplitude to the speaker that has been allocated so far, A cross-fade process is performed to gradually increase the amplitude of the signal. Therefore, smooth switching can be realized without the shock of switching that occurs when the assignment of the audio signal and the reflected sound signal to the speaker is changed.
[0033]
However, as shown in FIG. 2, when the direction of the sound source in transition at the time of cross-fading is α degrees as the angle formed with the original speaker and β degrees as the angle formed with the switching destination speaker, the amplitude is attenuated. The coefficients to be amplified are as follows, for example. Until the speakers SP1 f amplitude coefficient phi _SP1 had allocated attenuated by cos (α / (α + β ) × π / 2), to switch to the loudspeaker SP2 f of the signal amplitude coefficient φ _SP2 sin (α / ( By amplifying by α + β) × π / 2), it is possible to realize smooth switching that eliminates the shock of switching that occurs when the assignment of the audio signal to the speaker and the reflected sound signal is changed. However, as indicated by an arrow in FIG. 2, the amplitude coefficient φ during switching is φ ² = φ ² _SP1 + φ ² _SP2 .
[0034]
Next, based on FIG.1 and FIG.2, the surround operation | movement in the sound field reproduction apparatus of this Embodiment is demonstrated. However, in the following description, on the transmitting side (not shown), a sound field simulation of the space corresponding to the scene or the position of the listener is performed, and the spatial information of the sound field obtained as a result is transmitted along with the audio signal to the broadcast line or communication line. The sound field reproduction device generates a reproduction signal from the audio signal based on the received spatial information of the sound field, and the reproduction signals are not shown in the drawing. An operation in the case of dynamically reproducing a realistic sound field corresponding to a scene by supplying it to a speaker or headphones will be described. However, the spatial information of the sound field and the audio signal are stored in advance on an optical disk, a magnetic disk, or the like, and the sound field reproduction device of the present embodiment is based on the spatial information of the sound field stored in the optical disk or the magnetic disk. Needless to say, the present invention can also be applied to a case where the sound field reproduction device generates a reproduction signal from an audio signal.
[0035]
When the sound field spatial information and the sound signal are input to the sound field reproduction device of the present embodiment, the setting values related to the direction and distance of the sound according to the scene are extracted from the space information of the sound field. The set value is set in the distance direction information setting means 104. Also, the setting value of the reflected sound data for each direction of the sound corresponding to the scene is taken out from the spatial information of the sound field, and this set value is set in the reflected sound data setting unit 106 for each direction.
[0036]
When setting values are set in the distance direction information setting unit 104 and the direction-specific reflected sound data setting unit 106, the distance direction information setting unit 104 and the direction-specific reflected sound data setting unit 106 set the attenuation unit 107 in accordance with the set values. Each variable resistor 108 and the reflected sound generation means 109 that configure the reflected sound processing unit 103 are set.
[0037]
Thereafter, after the audio signal input from the signal input terminal 101 is distributed by a two distributor (not shown), one audio signal is directly input to the sound processing unit 102, and the other audio signal is input to the reflected sound processing unit 103. Entered.
[0038]
The input signal input to the direct sound processing unit 102 is first distributed to the number of signals corresponding to the number of speakers, that is, the number of channels (including headphones) by a distributor (not shown), and then each input signal is input to the attenuation means 107. Is done. In the attenuation means 107, the resistance value of the variable resistor 108 corresponding to each channel is set in accordance with the attenuation amount set by the distance direction information setting means 104. Accordingly, each input signal input to each variable resistor 108 is output to the combining unit 105 after being given an attenuation amount according to the distance direction information setting unit 104.
[0039]
At this time, in this embodiment, the distance direction information setting means 104 controls the sound localization direction by adjusting the attenuation amount in each variable resistor 108 and adjusts the overall gain to be uniform. Therefore, the sound volume attenuated by the distance from the sounding body can be controlled, and the sense of distance to the sounding body can be controlled.
[0040]
On the other hand, similarly to the direct sound processing unit 102, the input signal input to the reflected sound processing unit 103 is first distributed to the number of signals corresponding to the number of speakers, that is, the number of channels, by a distributor (not shown). Next, the distributed input signal is input to the corresponding reflected sound generation unit 109, and the reflection component and reverb set by the direction-specific reflection sound data setting unit 106 are generated, and the obtained reflection component and reverb are obtained. The reverberation signal such as is output to the synthesis unit 105. However, in the present embodiment, the reflection component, reverb, and the like are reflected sound information (impulse response) for each direction corresponding to the direction of each speaker, and are obtained in advance by acoustic simulation or the like. In the present embodiment, a reflection component, reverb or the like corresponding to an input signal input to each reflected sound generation unit 109 is generated.
[0041]
The acoustic signal and the reverberation signal input to the synthesis unit 105 are synthesized according to the distance direction information setting unit 104 by the selection synthesis unit 111 constituting the patch unit 110, and the obtained signal is a well-known amplification not shown. is output to a plurality of speakers (not shown) as a reproduced signal after being amplified more in the vessel, high sound field realistic with varying input signal in real time and reproduced.
[0042]
At this time, in the present embodiment, the reverberation signal synthesized with the acoustic signal is synthesized based on the distance direction information setting unit 104, and the arrival direction and distance of the input signal according to the scene etc., and the viewpoint When the change of the output channel of the sound signal and the reverberation sound signal accompanying the movement of the position is instructed, the amplitude of the sound signal and the reverberation sound signal to the previously assigned channel is attenuated, and the channel to be switched to Since the cross-fading process of gradually increasing the amplitude of the signal is performed, it is possible to smoothly switch the channels without the shock associated with the switching of the output channels.
[0043]
As a result, even in surround production for moving sounds and adding effects, the complicated operation of adjusting the combination of multiple devices and the multiple parameters associated therewith is not necessary. Can be greatly reduced.
[0044]
Further, even in the present embodiment, it is the same as a conventional sound field reproduction apparatus using a DSP in that one fixed sound field is reproduced. However, in the sound field reproduction apparatus according to the present embodiment, the reflected sound data for each direction can be used to sort the reflected sound using the sin and cos functions, and the highly accurate data obtained in advance by acoustic simulation is used. The present invention is particularly superior to the conventional sound field reproduction apparatus using a DSP in that a reverberant sound can be obtained. In addition, it is possible to obtain an exceptional effect that the sound field can be changed sequentially and smoothly.
[0045]
The invention made by the present inventor has been specifically described based on the embodiment of the invention, but the invention is not limited to the embodiment of the invention and does not depart from the gist of the invention. Of course, various changes can be made.
[0046]
【The invention's effect】
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
[0047]
(1) It is possible to simplify this complicated operation, change the sound in real time, and realize the reproduction of a sound field with a high sense of presence.
[0048]
(2) When the selection superimposing means changes the assignment of the audio signal and the reflected sound signal to the speaker, the selective superimposing means attenuates the amplitude of the speaker assigned so far and gradually increases the amplitude of the signal to the switching destination speaker. Therefore, smooth switching can be realized without the shock of switching that occurs when the assignment of the audio signal to the speaker and the reflected sound signal is changed.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a schematic configuration of a sound field reproduction device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining the direction of a sound source in transition during crossfading in the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Signal input terminal 102 ... Direct sound processing part 103 ... Reflection sound processing part 104 ... Distance direction information setting means 105 ... Synthesis | combination part 106 ... Direction-specific reflected sound data setting means 107 ... Attenuation means 108 ... Variable resistor 109 ... Reflection sound Generation unit 110 ... patch unit 111 ... selection and synthesis unit 112 ... signal line

Claims

One signal input means for inputting the sound signal of the sounding body;
Two distribution means for distributing the acoustic signal input from the one signal input means into two;
One acoustic signal distributed by the two distributing means is distributed to acoustic signals of three or more channels, and the position coordinates of the sounding body arranged in the virtual space and the viewpoint position set for the virtual space, A direct sound processing unit for controlling the level of each acoustic signal,
The other acoustic signal distributed by the two distributing means is distributed to the acoustic signals of three or more channels, and a reverberant sound signal in the virtual space of three or more channels is generated based on the distributed acoustic signals. A reflected sound processing unit ;
The reverberation sound signals of the three or more channels from the reflected sound processing unit and the acoustic signals of the three or more channels whose levels are controlled from the direct sound processing unit are synthesized to generate a reproduction signal for each of the three or more channels. Means for generating;
A sound field reproduction device comprising: three or more speakers that are supplied with reproduction signals for each of the three or more channels and reproduce a sound field.

One signal input means for inputting the sound signal of the sounding body;
Two distribution means for distributing the acoustic signal input from the one signal input means into two;
Means for storing spatial information of the sound field in a virtual space corresponding to the position of the scene or listener;
One acoustic signal distributed by the two distributing means is distributed to three or more channel acoustic signals, and based on the coordinate position of the sounding body stored as the spatial information and the viewpoint position of the viewer, A direct sound processor that controls the level of the acoustic signal;
Reflection that distributes the other acoustic signal distributed by the two distributing means to acoustic signals of three or more channels and generates reverberant sound signals in the virtual space of three or more channels based on the distributed acoustic signals. A sound processing unit ;
The reverberation sound signals of the three or more channels from the reflected sound processing unit and the acoustic signals of the three or more channels whose levels are controlled from the direct sound processing unit are synthesized to generate a reproduction signal for each of the three or more channels. Means for generating;
A sound field reproduction device comprising: three or more speakers that are supplied with reproduction signals for each of the three or more channels and reproduce a sound field.

The sound field reproduction device according to claim 1 or 2, wherein the reflected sound generation unit that generates the reverberation sound signal is set with respect to the position coordinates of the sounding body arranged in the virtual space and the virtual space. A sound field reproduction device characterized by controlling the arrival direction of the sound from the sounding body by uniformly controlling the level of the reverberant sound signal for each channel based on the viewpoint position.

The sound field reproduction device according to any one of claims 1 to 3, wherein the reflected sound generation unit that generates the reverberation sound signal includes a position coordinate of the sounding body arranged in the virtual space and a position in the virtual space. A sound field reproduction apparatus characterized by controlling a distance to the sounding body by controlling a level of the reverberation sound signal of each channel based on a viewpoint position set for the channel.

5. The sound field reproduction device according to claim 1, wherein the direct sound processing unit that controls the level of the acoustic signal changes when the coordinate position of the sounding body and the viewpoint position of the viewer are changed. The sound field reproduction apparatus characterized by controlling the sound signal level for each channel by crossfade.