WO2021117576A1 - 信号処理装置、信号処理方法およびプログラム - Google Patents

信号処理装置、信号処理方法およびプログラム Download PDF

Info

Publication number
WO2021117576A1
WO2021117576A1 PCT/JP2020/044855 JP2020044855W WO2021117576A1 WO 2021117576 A1 WO2021117576 A1 WO 2021117576A1 JP 2020044855 W JP2020044855 W JP 2020044855W WO 2021117576 A1 WO2021117576 A1 WO 2021117576A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
reverberation
sound source
virtual
synthesis filter
Prior art date
Application number
PCT/JP2020/044855
Other languages
English (en)
French (fr)
Inventor
慶一 大迫
祐基 光藤
将文 高橋
由楽 池宮
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202080081571.6A priority Critical patent/CN114762364A/zh
Priority to US17/782,095 priority patent/US20230011357A1/en
Publication of WO2021117576A1 publication Critical patent/WO2021117576A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/10—Arrangements for producing a reverberation or echo sound using time-delay networks comprising electromechanical or electro-acoustic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the distance r is acquired by using a distance measuring camera (depth camera) capable of measuring the distance to the listener L, a ToF (Time of Flight) sensor, LiDAR (Light Detection and Ringing), a beacon, or the like.
  • the position of the listener L can change to positions PO1, PO2, and PO3 as shown in FIG.
  • a new distance r is acquired according to the change in the position of the listener L.
  • the distance r also changes as the position of the virtual sound source VS changes.
  • the reverberation reproduced by the wave field synthesis system can be automatically calculated.
  • the distance r may be measured in real time, and the reverberation corresponding to the distance fluctuation can be calculated and reproduced in real time.
  • the processing by the signal processing device 1 is performed to generate a drive signal for driving the speaker array SA.
  • the drive signal includes a channel (ch) signal corresponding to the number of speaker units SU constituting the speaker array SA.
  • the signal processing device 1 outputs a drive signal of 8 channels supplied to each speaker unit SU.
  • a larger number of speaker units SU are generally used, but in this example, the speaker array SA has eight speaker units SU for convenience of explanation. The explanation is given.
  • the wave field synthesis filter 14 which is an example of the drive signal generation unit, generates the drive signal D2 by performing a wave field synthesis filter on the convolution signal D1.
  • the wave field synthesis filter 14 multi-channels the convolution signal D1 (8 channels in this example), and has a wave field such that the virtual sound source signal D0 localizes the phase, gain, delay, etc. of each signal at a predetermined position. Adjust appropriately so that it can be reproduced.
  • the drive signal D2 including the 8ch signal is output from the wave field synthesis filter 14.
  • the processing algorithm performed by the wave field synthesis filter 14 an arbitrary algorithm is used depending on the processing power of the computer, the arrangement of the speakers, and the like. Specifically, the Higher Order Ambisonics (HOA) method, the Weighted Mode Matching method, the Spectral Division Method method, and the like can be applied.
  • HOA Higher Order Ambisonics
  • the reverberation includes the reflected sound following the direct sound. This is observed when the sound waves reflected from the ceiling, floor and walls reach the listening point. That is, this reflected sound can be regarded as arriving from the reflected point, not from the position of the sound source. Therefore, it is possible to assume that the reflected point is a sound source in which the reflected sound is generated, and to synthesize the wave surface of the reflected sound as a virtual sound source.
  • FIG. 12 is a diagram for explaining a configuration example of the signal processing device (signal processing device 1A) according to the second embodiment.
  • the signal processing device 1A includes a virtual sound source signal wave field synthesis filter 21, a virtual reverberation signal generation unit 22, a virtual reverberation signal wave field synthesis filter 23, an adder 24, an adder 25, and a DA conversion / amplifier unit 15. And have. Since the reflection can occur at N locations instead of one location, N virtual sound source signals (hereinafter, appropriately referred to as virtual reverberation signals) are generated. Therefore, the virtual reverberation signal generation unit 22 has N virtual reverberation signal generation units (virtual reverberation signal generation unit 22 1 to virtual reverberation signal generation unit 22 N ).
  • a speaker for reverberation may be installed separately from the speaker array SA for wave field synthesis so that the reverberation can be reproduced from the speaker.
  • a speaker SP A for reproducing the virtual reverberation corresponding to the primary reflection and a speaker SP B for reproducing the virtual reverberation corresponding to the secondary reflection are arranged, and the speaker SP A is arranged.
  • the reverberation may be reproduced from the speaker SP B.
  • the reverberation since the reverberation can be reproduced from the side or the rear where the wave field synthesis speaker is not installed, it is possible to increase the feeling that the listener L is surrounded by the sound. ..
  • the signal RDA corresponding to the reverberation output from the reverberation reading unit 11 is supplied to the rear reverberation signal generation unit 31.
  • the rear reverberation signal generation unit 31 generates the rear reverberation signal D16 based on the signal RDA corresponding to the reverberation.
  • the rear reverberation signal generation unit 31 generates the rear reverberation signal D16 by deleting the direct sound and the reflected sound of the impulse response, for example, as schematically shown in FIG.
  • the drive signal generation unit performs wave surface synthesis filter processing on the signal obtained by performing wave surface synthesis filter processing on the signal obtained by convolving the reverberation sound signal into the signal of the virtual sound source and / or on the reverberation sound signal. Therefore, a program that causes a computer to execute a signal processing method for generating the drive signal based on a signal obtained by converting the reverberant sound signal into a virtual sound source.

Abstract

仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成する残響音信号生成部と、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成する駆動信号生成部とを有し、駆動信号生成部は、残響音信号を仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または残響音信号に対して波面合成フィルタ処理を行うことより残響音信号を仮想音源化した信号に基づいて、駆動信号を生成する信号処理装置である。

Description

信号処理装置、信号処理方法およびプログラム
　本開示は、信号処理装置、信号処理方法およびプログラムに関する。
　室内等の一般的な環境で聴取される音は、音源から発生した音波が床や天井、壁に幾度となく反射することにより残響が付加される。この残響によって周波数特性や音の持続時間が変化するため、受聴者はそれらを用いて音との距離感や残響感を知覚することができる。かかる残響を付加する技術が下記特許文献１に記載されている。
国際公開２０１３／０５７９４８号
　しかしながら、特許文献１に記載の技術では、制御対象として操作されるのは残響を模擬した遅延のみであるため、音の反射や音が持続することによる残響感を制御するには不十分であった。
　本開示は、例えば、仮想音源の信号に適切な残響を付加することができる信号処理装置、信号処理方法およびプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成する残響音信号生成部と、
　波面合成フィルタによりスピーカーアレイに対する駆動信号を生成する駆動信号生成部と
　を有し、
　駆動信号生成部は、残響音信号を仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または残響音信号に対して波面合成フィルタ処理を行うことより残響音信号を仮想音源化した信号に基づいて、駆動信号を生成する
　信号処理装置である。
　本開示は、例えば、
　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
　駆動信号生成部は、残響音信号を仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または残響音信号に対して波面合成フィルタ処理を行うことより残響音信号を仮想音源化した信号に基づいて、駆動信号を生成する
　信号処理方法である。
　本開示は、例えば、
　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
　駆動信号生成部は、残響音信号を仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または残響音信号に対して波面合成フィルタ処理を行うことより残響音信号を仮想音源化した信号に基づいて、駆動信号を生成する
　信号処理方法をコンピュータに実行させるプログラムである。
図１は、波面合成技術の概略を説明するための図である。 図２は、第１の実施形態の概要を説明するための図である。 図３Ａおよび図３Ｂは、マイクロホンを用いて測定した残響波形の一例をそれぞれ示した図である。 図４は、第１の実施形態にかかる再生システムを示す図である。 図５は、残響制御関数の一例を示す図である。 図６は、第１の実施形態にかかる信号処理装置の構成例を説明するための図である。 図７は、第１の実施形態にかかる信号処理装置の動作例に関する説明がなされる際に参照されるフローチャートである。 図８は、第１の実施形態の変形例に関する説明がなされる際に参照される図である。 図９は、第１の実施形態の変形例に関する説明がなされる際に参照される図である。 図１０は、第１の実施形態の変形例に関する説明がなされる際に参照される図である。 図１１は、第２の実施形態の概要を説明するための図である。 図１２は、第２の実施形態にかかる信号処理装置の構成例を説明するための図である。 図１３は、第２の実施形態の変形例にかかる信号処理装置の構成例を説明するための図である。 図１４は、第２の実施形態の変形例にかかる信号処理装置の動作例に関する説明がなされる際に参照される図である。 図１５は、第２の実施形態の変形例に関する説明がなされる際に参照される図である。 図１６は、第２の実施形態の変形例に関する説明がなされる際に参照される図である。 図１７は、第３の実施形態の概要を説明するための図である。 図１８は、第３の実施形態にかかる信号処理装置の構成例を説明するための図である。 図１９は、第３の実施形態にかかる後部残響信号生成部の処理が説明される際に参照される図である。
　以下、本開示の実施形態等について図面を参照しながらの説明がなされる。なお、説明は以下の順序で行われる。
＜本開示で考慮すべき問題＞
＜第１の実施形態＞
＜第２の実施形態＞
＜第３の実施形態＞
＜変形例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜本開示で考慮すべき問題＞
　始めに、本開示の理解を容易とするために、本開示がなされた背景および本開示において考慮すべき問題についての説明がなされる。
　近年、高ビット・高サンプリングレートで記録されたハイレゾオーディオやヘッドホン再生によるバーチャルサラウンドオーディオが普及してきている。これらは、従来のデジタルオーディオに新たな価値観を提供している。一方で、マルチチャンネルスピーカーによるサラウンドオーディオの研究開発も進められており、時間方向のみならず空間方向に解像度を高めることで、リアルな聴体験を実現するという取り組みが始まっている。空間を伝搬する波面を、従来の２～５．１ｃｈ（チャンネル）より遥かに多数のスピーカーを用いて空間的に高解像度な再生を行うことで、元の波面を忠実に再現する提案がなされている。かかる技術は、一般に「波面合成」と称されており、学術界、産業界で様々な研究開発が行われている。
　図１は、波面合成の概略を説明するための図である。図１に示すように、波面合成は、空間上の任意の位置に仮想音源（オブジェクト音源）である楽器を配置し、各仮想音源から発生される音の波面を複数のスピーカーから再生するシステムである。楽器から発生する波面を物理的に再現することによって、あたかもその場に本物の楽器があるような音環境を提供することができる。さらに、各仮想音源を移動させたり、波面合成を実現するための音を再生するスピーカーアレイよりも手前に配置させたりすることもでき、これにより、これまでにない自由度を持った音楽再生を実現することが可能になる。なお、図１では楽器が示されているが、上述した通り、これらは仮想音源の種類をわかりやすく示したものであり、実際の楽器が配置されているわけではない。また、仮想音源の種類は楽器に限定されず、動物の声や環境音であってもよい。
　一方で、一般的な環境で聴取される音は、音源から発生した音波が床や天井、壁に幾度となく反射することにより残響が付加される。この残響によって周波数特性や音の持続時間が変化するため、受聴者はそれらを用いて音との距離感や残響感を知覚することができる。しかし、波面合成では反射などの影響が物理的に再現されていない。従って、仮想音源を配置して波面を正確に再現したとしても、受聴者は音源の距離感や残響感を知覚しにくい場合がある。従って、波面合成においても、適切に残響が付加されることによって再現する音場の臨場感を向上させることができると考えられる。以上の点を踏まえ、本開示の実施形態に関する詳細な説明がなされる。
＜第１の実施形態＞
［概要］
　本開示は、波面合成が適用されるシステム（以下、かかるシステムが「波面合成システム」と適宜、略称される）において残響が付加される技術である。図２は、第１の実施形態の概要を説明するための図である。図２に示すように、所定の仮想音源ＶＳから発生される音の波面が複数のスピーカーユニットＳＵを有するスピーカーアレイＳＡから再生される。これにより、楽器等の音源が仮想音源ＶＳの箇所に定位した仮想音源ＶＳの音を、受聴者Ｌは聞く。仮想音源ＶＳの位置は、変化し得る。第１の実施形態は、仮想音源ＶＳそのものに仮想残響ＶＲが付加される実施形態である。
　ここで、波面合成システムにおいて仮想音源そのものに残響を付加する具体的な例についての説明がなされる。まず、残響の性質について、音源と受聴点間の距離を観点とした説明がなされる。
　図３は、マイクロホンを用いて測定した残響（インパルス応答）波形の一例を示したものである。図３Ａは、所定の音源と受聴点（マイクロホンの設置位置）までの距離が近い場合の残響波形の一例を示し、図３Ｂは、所定の音源と受聴点までの距離が遠い場合の残響波形の一例を示す。残響は、直接音、反射音（初期反射音とも称される）、後部残響（後部残響音とも称される）の３つのパートに分けることができる。なお、反射音および後部残響は、直線音を基準にして到達するまでの時間や、方向の知覚可能性の有無（例えば、反射音は音の到来方向を知覚できるのに対して、後部残響は知覚できない）等に応じて区別される。
　両者の直接音を対比すると、図３Ａに示す直接音の振幅値が図３Ｂに示す直接音の振幅値より大きくなる。これは、音源の位置から受聴点までの距離が異なっており、遠いほど距離減衰により音圧が低下していることを表す。また、反射音および後部残響は、あらゆる角度で放射された音が壁に反射して集まった音であり、音源から受聴点までの距離の違いによる大きな振幅差は見られない。従って、距離に応じて「直接音」対「反射音・後部残響」のエネルギー比率が変化すると考えることができる。そして、直接音の音圧を最大振幅で正規化した場合、音源距離が遠くなるほど相対的に後部残響比率が高まり、その分聞こえる後部残響時間が長くなると言える。この距離に応じた残響制御が本実施形態において技術的根拠となるところである。
　図４は、第１の実施形態にかかる再生システム、具体的には、波面合成システムであって、空間に仮想音源ＶＳが配置され、スピーカーアレイＳＡの前で１人の受聴者Ｌが仮想音源ＶＳの音を聞くシステムを示す図である。仮想音源ＶＳと基準点までの距離（最短距離）が距離ｒとして設定される。本実施形態にかかる基準点は、仮想音源ＶＳの音源位置に対する受聴位置、すなわち、受聴者Ｌの位置である。距離ｒは、受聴者Ｌまでの距離を計測可能な測距カメラ（デプスカメラ）、ＴｏＦ(Time of Flight)センサ、ＬｉＤＡＲ(Light Detection and Ranging)、ビーコン等を用いることにより取得される。なお、受聴者Ｌの位置は、図４に示すように、位置ＰＯ１、ＰＯ２、ＰＯ３と変化し得る。受聴者Ｌの位置の変化に応じて、新たな距離ｒが取得される。仮想音源ＶＳの位置が変化することによっても距離ｒが変化する。
　距離ｒに応じて残響のレベルや長さが調整されることにより残響音信号が生成される。残響音信号が仮想音源ＶＳの信号に畳み込まれた上で波面合成フィルタによる処理が施されることにより駆動信号が生成され、駆動信号がスピーカーアレイＳＡから再生されることにより、受聴者Ｌは残響が付加された音を聞くことができる。仮想音源ＶＳに畳み込まれる残響には、コンサートホールなどであらかじめ測定されたものや、鏡像法などのシミュレーションアルゴリズムを用いて作成されたものを用いることができる。
　距離ｒに応じて付加される残響は、例えば、残響制御関数に応じて決定される。図５は、かかる残響制御関数の一例を示す。図５に示す横軸は距離ｒ、縦軸は残響のレベルまたは残響時間をそれぞれ示している。図５に示される残響制御関数が適用されることにより、距離が遠くなるほど残響レベルおよび時間の少なくとも一方が長くなるように制御することができる。この残響制御関数を保持または外部機器から取得することにより、仮想音源ＶＳや受聴者Ｌの移動に伴う距離変動にも追従して対応することができる。すなわち、距離ｒを予め測距することにより、波面合成システムで再生される残響を自動的に計算することができる。また、オフラインで波面合成するシステムだけでなく、リアルタイムに距離ｒを測距してもよく、距離変動に応じた残響がリアルタイムに計算され再生されることも可能である。
　なお、上述した残響制御関数は、ユーザによって調整することも可能である。例えば、残響制御関数の曲率がユーザによって調整されても良い。波面合成の編集ソフトウェア上で残響制御関数を表示させ、当該残響制御関数に対してマウスでドラッグアンドドロップ操作等を行うことで残響制御関数の曲率を自由に変えることができるようにしてもよい。
［信号処理装置の構成例］
　図６は、第１の実施形態にかかる信号処理装置（信号処理装置１）の構成例を説明するための図である。図６において、細い矢印がオーディオ信号の流れを示し、太い矢印が駆動信号（波面合成信号（本例では８ｃｈのマルチチャンネルの信号））の流れを示し、点線の矢印がパラメータの流れを示している。
　信号処理装置１には、仮想音源ＶＳの信号（以下、仮想音源信号Ｄ０と称される）が入力される。仮想音源信号Ｄ０は、例えば、１チャンネルのモノラルの信号であり、所定のオブジェクトに対応するオブジェクトオーディオ信号である。仮想音源信号ＶＳの信号は、適宜なメモリから読み出されてもよいし、インターネット等のネットワークから配信されたものでもよい。なお、波面合成システムでは、仮想音源ＶＳの位置を示す情報も信号処理装置１に入力されるが、この点に関する図示は省略されている。
　また、信号処理装置１には、測距デバイス等により計測された、距離ｒを示す距離情報Ｉ（ｒ）および図５に例示された残響制御関数ＦＵが入力される。なお、信号処理装置１は、上述した測距デバイスを有する構成であっても良いし、残響制御関数ＦＵを予めメモリに保持する構成であってもよい。
　信号処理装置１による処理が行われることで、スピーカーアレイＳＡを駆動する駆動信号が生成される。駆動信号は、スピーカーアレイＳＡを構成するスピーカーユニットＳＵの数に対応するチャンネル（ｃｈ）の信号を含む。図６に示す例では、スピーカーアレイＳＡが８個のスピーカーユニットＳＵを有していることから、信号処理装置１からは各スピーカーユニットＳＵに供給される８ｃｈの駆動信号が出力される。なお、実際の波面合成システムでは、より多数のスピーカーユニットＳＵが用いられることが一般的であるが、本例では説明の便宜を考慮してスピーカーアレイＳＡが８個のスピーカーユニットＳＵを有するものとした説明がなされる。
　信号処理装置１は、例えば、残響読み込み部１１と、残響補正部１２と、残響畳み込み部１３と、波面合成フィルタ１４と、ＤＡ（Digital to Analog）変換・アンプ部１５とを有している。残響読み込み部１１は、残響に対応する信号を適宜なメモリから読み出す。残響に対応する信号は、インターネット等のネットワークを介して配信されてもよく、この場合、残響読み込み部１１は、当該ネットワークに接続可能な通信部として機能する。残響読み込み部１１は、読み込んだ残響に対応する信号ＲＤＡを残響補正部１２に出力する。
　残響音信号生成部の一例である残響補正部１２は、残響制御関数ＦＵを使用して距離情報Ｉ（ｒ）に対応する例えば残響のレベルを特定する。そして、残響補正部１２は、特定したレベルに基づいて、残響に対応する信号ＲＤＡのレベルを調整することにより残響音信号ＲＤＢを生成する。残響補正部１２は、生成した残響音信号ＲＤＢを残響畳み込み部１３に出力する。すなわち、本実施形態では、残響補正部１２が残響音信号生成部に対応する。なお、残響のレベルではなく残響時間が調整されてもよいし、残響のレベルと共に残響時間が調整されてもよい。
　残響畳み込み部１３は、仮想音源信号Ｄ０に残響音信号ＲＤＢを畳み込む処理を行うことにより畳み込み信号Ｄ１を生成する。畳み込み処理は、一般に、信号を周波数領域に変換して行われることから、残響畳み込み部１３がＦＦＴ（Fast Fourier Transform）等を有していてもよい。残響畳み込み部１３は、畳み込み信号Ｄ１を波面合成フィルタ１４に出力する。
　駆動信号生成部の一例である波面合成フィルタ１４は、畳み込み信号Ｄ１に対して波面合成フィルタを行うことにより駆動信号Ｄ２を生成する。例えば、波面合成フィルタ１４は、畳み込み信号Ｄ１をマルチチャンネル化（本例では、８ｃｈ）し、各信号の位相、ゲイン、ディレイ等を、仮想音源信号Ｄ０が所定の位置に定位するような波面が再現されるように適宜調整する。これにより、８ｃｈの信号を含む駆動信号Ｄ２が波面合成フィルタ１４から出力される。波面合成フィルタ１４で行われる処理のアルゴリズムは、計算機の処理能力やスピーカーの配置等に応じて任意のアルゴリズムが使用される。具体的には、Higher Order Ambisonics（ＨＯＡ）法、Weighted Mode Matching法、Spectral Division Method法などを適用することができる。
　ＤＡ変換・アンプ部１５は、デジタル形式の駆動信号Ｄ２をアナログ形式の駆動信号Ｄ３に変換して増幅する。これにより、アナログ形式の駆動信号Ｄ３が生成される。駆動信号Ｄ３に含まれる各チャンネルの信号が、対応するスピーカーユニットＳＵに供給され再生される。なお、波面合成フィルタ１４およびＤＡ変換・アンプ部１５を含む構成が駆動信号生成部に対応する構成であってもよい。
［信号処理装置の動作例］
　続いて、図７に示すフローチャートが参照されつつ、信号処理装置１の動作例に関する説明がなされる。ステップＳＴ１１では、仮想音源信号Ｄ０が読み込まれる。読み込まれた仮想音源信号Ｄ０は、残響畳み込み部１３に供給される。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、残響読み込み部１１により、残響に対応する信号ＲＤＡが読み込まれる。なお、残響に対応する信号ＲＤＡが生成されるようにしてもよい。そして、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、残響補正部１２に、距離情報Ｉ（ｒ）と残響制御関数ＦＵとが読み込まれる。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、残響補正部１２による残響補正処理が行われる。かかる処理により残響音信号ＲＤＢが生成される。具体的には、距離情報Ｉ（ｒ）および残響制御関数ＦＵに基づいて、残響に対応する信号ＲＤＡが補正されることにより残響音信号ＲＤＢが生成される。生成された残響音信号ＲＤＢが残響畳み込み部１３に出力される。そして、処理がステップＳＴ１５に進む。
　ステップＳＴ１５では、残響畳み込み部１３によって、仮想音源信号Ｄ０と残響音信号ＲＤＢとが畳み込まれる処理が行われる。かかる処理により、畳み込み信号Ｄ１が生成される。そして、処理がステップＳＴ１６に進む。
　ステップＳＴ１６では、波面合成フィルタ１４によるフィルタリング処理が行われる。かかる処理により、デジタル形式の駆動信号Ｄ２が生成される。そして、処理がステップＳＴ１７に進む。
　ステップＳＴ１７では、ＤＡ変換・アンプ部１５による処理が行われる。かかる処理により、アナログ形式の駆動信号Ｄ３が生成され、当該駆動信号Ｄ３が増幅される。駆動信号Ｄ３の各チャンネルの信号が、対応するスピーカーユニットＳＵに供給され、各スピーカーユニットＳＵから音が再生される。
　なお、上述した処理の流れの順序は、適宜、変更されてもよいし、複数の処理が並列的に行われてもよい。
　以上、説明した本実施形態によれば、波面合成システムにおいて、受聴者Ｌの位置に依存しない残響を付加することができる。また、受聴者Ｌの位置が変化した場合であっても適切な残響を付加することができる。
　なお、仮想音源ＶＳが複数、存在する場合、すなわち仮想音源信号Ｄ０が複数、存在する場合に、残響に対応する信号は全ての仮想音源信号Ｄ０に対して同一の信号であってもよいし、異なる信号であってもよい。また、残響に対応する信号が複数、存在する場合に、それらに対する残響制御関数ＦＵは、同一の関数であってもよいし、異なる関数であってもよい。
［第１の実施形態の変形例］
　上述した説明では、１または複数の仮想音源に対して受聴者が一人である例が想定されていたが、受聴者が複数、存在する場合もある。図８は、かかる態様を模式的に示した図である。図８に示すように、仮想音源として、例えば、仮想音源ＶＳAおよび仮想音源ＶＳBが存在する。また、受聴者として受聴者ＬAおよび受聴者ＬBとが存在する。受聴者ＬAから仮想音源ＶＳAまでの距離を距離ｒA1とし、受聴者ＬAから仮想音源ＶＳBまでの距離を距離ｒB1とする。受聴者ＬBから仮想音源ＶＳAまでの距離を距離ｒA2とし、受聴者ＬBから仮想音源ＶＳBまでの距離を距離ｒB2とする。
　例えば、受聴者ＬAを基準として仮想音源ＶＳAおよび仮想音源ＶＳBに残響を付加することを考える。このとき、受聴者ＬAから各仮想音源までの距離の関係は、ｒA1＜ｒB1となるので、実施形態の同様の処理を行った場合には、仮想音源ＶＳAに付加される残響より仮想音源ＶＳBに付加される残響の方が大きく、且つ、長く設定される。これは、上述したように、遠い音源の残響が相対的に大きくなるという現象を波面合成で表現していることになる。しかしながら、そのように残響が付加された音を受聴者ＬBが聴取した場合、受聴者ＬBから各仮想音源までの距離の関係がｒA2＞ｒB2であるにも関わらず、仮想音源ＶＳBの残響の方が大きく聞こえてしまう。
　波面合成システムでは、複数人が同時に同じ波面を受聴することができることがメリットの一つでもあり、受聴者が複数人であることも十分にあり得る。受聴者が複数の場合に、音源と受聴者の最短距離とを用いると、当該受聴者にのみ最適化された残響になってしまう。そこで、例えば、複数の受聴者の存在が測距デバイス等により検出された場合や、所定のモードが設定された場合には、仮想音源とスピーカーアレイＳＡ間までの距離が最短となる距離が距離ｒとして設定される。
　具体的には、図９に示すように、仮想音源ＶＳAからスピーカーアレイＳＡまでの最短距離が距離ｒAとして設定され、仮想音源ＶＳBからスピーカーアレイＳＡまでの最短距離が距離ｒBとして設定される。スピーカーアレイＳＡまでの最短距離は、スピーカーアレイＳＡを構成する所定のスピーカーユニットＳＵまでの最短距離として規定されるが、スピーカーアレイＳＡの他の位置（例えば、音の放射面）を基準に規定されてもよい。距離ｒAおよび距離ｒBのそれぞれに対応するレベルや時間の残響が、仮想音源ＶＳAおよび仮想音源ＶＳBのそれぞれに付加される点は上述した処理と同じであるため、重複した説明が省略される。
　これにより、図８に示したような受聴者ごとに残響が異なる状況を避け、スピーカーアレイＳＡを設置した空間全体で仮想音源の残響の整合性をとることができる。従って、受聴者の人数やそれぞれの移動によって上述した不都合が生じてしまうことを防止することができる。
　なお、これまではスピーカーユニットＳＵが直線上に配置されたスピーカーアレイＳＡを例にした説明がなされたが、例えば、図１０に示すように、スピーカーユニットＳＵが矩形状（四方）に配置されたものでもよいし、円状やその他の任意の形状に沿うように配置されたものであってもよい。なお、図１０に示される例では、スピーカーアレイＳＡの内側に複数の受聴者がいることから、各仮想音源からスピーカーアレイＳＡまでの最短距離が距離ｒとして設定される。
＜第２の実施形態＞
　次に、第２の実施形態についての説明がなされる。なお、第２の実施形態の説明において、上述した説明における同一または同質の構成については同一の参照符号を付し、重複した説明が適宜、省略される。また、特に断らない限り、第１の実施形態で説明した事項は第２の実施形態に対して適用することができる。
［概要］
　第１の実施形態では、一般的な波面合成システムの枠組みを大きく変えることなく残響を付加することができる。第２の実施形態では、残響の反射成分を新たに仮想音源として生成し、より効果的な残響を付加することができるようにした実施形態である。
　残響は直接音に続いて反射音を含んでいる。これは、天井、床や壁に反射した音波が受聴点に到達することにより観測される。すなわち、この反射音は、音源の位置から到達するのではなく、反射した点から到達するとみなすことができる。従って、反射した点を反射音が発生する音源であると仮定し、反射音を仮想音源として波面合成することが可能である。
　図１１は、第２の実施形態の概要を説明するための図である。本実施形態では、残響の反射音が仮想音源化された上で波面合成される。例えば、１次反射の反射音が仮想残響ＶＲ1として仮想残響化される。また、２次反射の反射音が仮想残響ＶＲ2として仮想残響化される。なお、反射はさまざまな場所で複数回起こるが、図１１では簡略化するために１次反射と２次反射のみが示されている。反射音の仮想音源化は、反射音が受聴者Ｌに到達する経路の最終反射点（本例では壁際）に仮想音源を置くことで実現できる。反射は壁だけでなく、天井、床、その場にある物体などで発生するため、それらの場所に仮想音源が置かれても良い。仮想音源化された反射音が配置される位置が必要になるため、仮想的な空間情報が信号処理装置に入力される。仮想的な空間情報は、例えば、クリエーター等によって予め設定された情報である。
　図１２は、第２の実施形態にかかる信号処理装置（信号処理装置１Ａ）の構成例を説明するための図である。信号処理装置１Ａは、仮想音源信号用波面合成フィルタ２１と、仮想残響信号生成部２２と、仮想残響信号用波面合成フィルタ２３と、加算器２４と、加算器２５と、ＤＡ変換・アンプ部１５とを有している。反射は、１箇所ではなくＮ箇所で起こり得ることから、仮想音源化された反射音の信号（以下、仮想残響信号と適宜、称される）は、Ｎ個生成される。そこで、仮想残響信号生成部２２は、Ｎ個の仮想残響信号生成部（仮想残響信号生成部２２1～仮想残響信号生成部２２N）を有している。同様の理由で、仮想残響信号用波面合成フィルタ２３も、Ｎ個の仮想残響信号用波面合成フィルタ（仮想残響信号用波面合成フィルタ２３1～仮想残響信号用波面合成フィルタ２３N）を有している。なお、個々の仮想残響信号生成部を区別する必要がない場合には、仮想残響信号生成部と適宜、総称される。また、仮想残響信号用波面合成フィルタを区別する必要がない場合は、仮想残響信号用波面合成フィルタ２３と適宜、総称される。
　信号処理装置１Ａに対しては、仮想音源信号Ｄ０が供給される。仮想音源信号Ｄ０は、分岐され、仮想残響信号生成部２２に対しても供給される。また、仮想残響信号生成部２２には、仮想的な空間情報の一例として、所定の仮想音源ＶＳに対する仮想的な壁の位置を示す仮想壁位置情報Ｉ（ＶＷ）が供給される。
　仮想音源信号用波面合成フィルタ２１は、仮想音源信号Ｄ０に対する波面合成フィルタによるフィルタ処理を行う。波面合成フィルタが行われることにより出力信号Ｄ５が生成される。例えば、仮想音源信号用波面合成フィルタ２１は、仮想音源信号Ｄ０をマルチチャンネル化（本例では、８ｃｈ）し、各信号の位相、ゲイン、ディレイ等を、仮想音源信号Ｄ０が所定の位置に定位するような波面が再現されるように適宜調整する。これにより、８ｃｈの信号を含む出力信号Ｄ５が仮想音源信号用波面合成フィルタ２１から出力される。仮想音源信号用波面合成フィルタ２１で行われる処理のアルゴリズムは、計算機の処理能力やスピーカーの配置等に応じて任意のアルゴリズムが使用される。具体的には、ＨＯＡ法、Weighted Mode Matching法、Spectral Division Method法などを適用することができる。
　仮想残響信号生成部２２は、仮想音源信号Ｄ０および仮想音源信号Ｄ０の音源位置と仮想壁位置情報Ｉ（ＶＷ）とを取得し、仮想残響信号Ｄ６（Ｄ６1～Ｄ６N）を生成する。例えば、仮想残響信号生成部２２は、仮想残響信号Ｄ６の反射位置を特定する処理、換言すれば、仮想残響信号Ｄ６を定位させる位置を特定する処理を行う。仮想残響信号Ｄ６の反射位置は、例えば鏡像法などを使って音の伝搬をシミュレートすることによって計算できる。例えば、仮想残響信号生成部２２は、１次反射の仮想残響信号Ｄ６1の反射位置を、仮想壁位置情報Ｉ（ＶＷ）を参照して、仮想音源信号Ｄ０の再生位置に対して最も近い壁の位置に設定する。このように、本実施形態では、仮想音源ＶＳの音源位置と、仮想音源信号Ｄ０を反射する面までの距離とに応じて、本実施形態における残響音信号である仮想残響信号Ｄ６（Ｄ６1～Ｄ６N）を生成する。
　仮想残響信号用波面合成フィルタ２３は、仮想残響信号Ｄ６に対する波面合成フィルタ処理を行うことにより、仮想残響信号Ｄ６を仮想音源化した仮想残響信号Ｄ６'（Ｄ６'1～Ｄ６'N）を生成する。例えば、仮想残響信号用波面合成フィルタ２３1は、仮想残響信号Ｄ６1をマルチチャンネル化（本例では、８ｃｈ）し、各信号の位相、ゲイン、ディレイ等を、仮想残響信号Ｄ６1が所定の位置（壁沿い）に定位するように調整する。これにより、８ｃｈの信号を含む仮想残響信号Ｄ６'1が仮想残響信号用波面合成フィルタ２３1から出力される。仮想残響信号用波面合成フィルタ２３1で行われる処理のアルゴリズムは、計算機の処理能力やスピーカーの配置等に応じて任意のアルゴリズムが使用される。具体的には、ＨＯＡ法、Weighted Mode Matching法、Spectral Division Method法などを適用することができる。
　加算器２４は、仮想残響信号Ｄ６を仮想音源化した仮想残響信号Ｄ６'、具体的には、仮想残響信号Ｄ６'1～仮想残響信号Ｄ６'Nの対応するチャンネル同士の信号を加算する。加算器２４による加算処理の結果、加算器２４からは、８ｃｈの信号を含む出力信号Ｄ７が出力される。
　仮想残響信号Ｄ６を仮想音源化した仮想残響信号Ｄ６'に基づいて、各スピーカーユニットＳＵに対する駆動信号が生成される。具体的には、加算器２５が、仮想音源信号Ｄ０に対して波面合成フィルタを行うことにより得られる出力信号Ｄ５と、加算器２４から出力される出力信号Ｄ７とを、対応するチャンネル同士で加算する。加算器２５による加算処理により、８ｃｈのチャンネルからなるデジタル形式の駆動信号Ｄ８が生成される。生成された駆動信号Ｄ８が加算器２５から出力される。
　ＤＡ変換・アンプ部１５は、デジタル形式の駆動信号Ｄ８をアナログ形式に変換した上で増幅することにより、駆動信号Ｄ９を生成して出力する。アナログ形式の駆動信号Ｄ９が、対応するチャンネルのスピーカーユニットＳＵに対して供給され、スピーカーユニットＳＵから音が再生される。
　このように、本実施形態では、例えば、仮想残響信号生成部２２および仮想残響信号用波面合成フィルタ２３を含む構成が残響音信号生成部に対応する。また、例えば、仮想音源信号用波面合成フィルタ２１、加算器２４および加算器２５を含む構成（ＤＡ変換・アンプ部１５を含んでもよい）が駆動信号生成部に対応する。
　以上、説明した、第２の実施形態によれば、残響を仮想音源化することにより、残響を任意の位置に配置することができる。従って、残響を適切に再生することが可能となる。
　なお、第２の実施形態において、反射回数（１次、２次・・３次反射）は、任意の回数を設定することができる。また、壁の材質や形状によっても反射の減衰率が異なるため、これらも考慮して仮想残響が生成されてもよい。壁の材質や形状をも考慮した仮想残響が生成され再生されることにより、より高い臨場感をリスナーに与えることが可能となる。
［第２の実施形態の変形例］
　次に、第２の実施形態の変形例に関する説明がなされる。上述した残響を仮想音源化する波面合成システムでは、反射の次数が多くなればなるほど波面合成フィルタの計算が多数必要となり演算量が多くなってしまう。かかる問題は、例えば、波面合成システムをオンライン処理するアプリケーションにおいて不利となる。
　通常の波面合成フィルタは、設置されたスピーカー数・配置と再現する波面の次数によって設計される。このスピーカー数を間引き、再現次数を低次にすることによって波面合成フィルタ処理にかかる演算量を削減することが可能となる。低次にすることによって再現波面の分解能が低下するため、音質と演算量とのトレードオフが発生する。しかしながら、一般的には、反射成分は直接音に比べて利得が小さく、受聴者は厳密に反射のみを聞こうとはしない。従って、残響成分に関しては低次で波面合成しても問題なく、臨場感の向上に寄与すると考えられる。以上の点を踏まえ、第２の実施形態の変形例に関する説明がなされる。
（第１の変形例）
　始めに、第１の変形例に関する説明がなされる。図１３は、本変形例にかかる信号処理装置（信号処理装置１Ｂ）の構成例を説明するための図である。信号処理装置１Ｂが信号処理装置１Ａと異なる点は、信号処理装置１Ｂが、仮想残響信号用波面合成フィルタ２３に代えて仮想残響信号用低次波面合成フィルタ２７（仮想残響信号用低次波面合成フィルタ２７1～２７N）を有している点、および、信号複製部２８（信号複製部２８1～２８N）を有している点である。なお、Ｎは、第２の実施形態と同様に反射の次数に対応する値である。
　図１４が参照されつつ、仮想残響信号用低次波面合成フィルタ２７および信号複製部２８の動作に関する説明がなされる。なお、図１４では、仮想残響信号用低次波面合成フィルタ２７1および信号複製部２８1が図示されているが、他の仮想残響信号用低次波面合成フィルタおよび信号複製部についても同様に動作する。
　仮想残響信号用低次波面合成フィルタ２７1は、仮想残響信号Ｄ６1に対して波面合成フィルタを行うものの、チャンネルを間引いた信号を出力する。仮想残響信号用低次波面合成フィルタ２７1は、例えば、図１４に示すように、スピーカーアレイＳＡのチャンネル数（本例における８ｃｈ）より小さいチャンネル数（例えば、４チャンネル）の仮想残響信号Ｄ６1を仮想音源化した信号Ｄ１０1を出力する。そして、スピーカーアレイＳＡを構成するスピーカーユニットＳＵの全てから音が再生されるように、信号複製部２８1は、信号を補間する。図１４に示すように、信号複製部２８1は、例えば、間引かれて信号が無いスピーカーに対して、近傍、より具体的には隣接するスピーカーへの駆動信号を複製する。かかる処理により８ｃｈの出力信号Ｄ１１1が生成され、生成された出力信号Ｄ１１1が出力される。加算器２４、２５の動作は既に説明してあるため、重複した説明が省略される。
　なお、信号が無いスピーカーの両側のスピーカーへの信号を平均化して、信号がないスピーカーへの信号を生成する補間処理が行われてもよい。また、信号複製を行わず、間引かれたスピーカーはそのままで、仮想残響信号用低次波面合成フィルタ２７の出力のみが再生されるようにしてもよい。以上のようにして、演算量を低減することが可能となる。
（第２の変形例）
　反射成分を波面合成せず仮想音源化しないことにより演算量が低減されるようにされてもよい。図１５に示すように、１次反射に対応する仮想残響ＶＲAを定位させる位置は、仮想残響信号生成部２２によって特定される。また、受聴者Ｌの位置もカメラによる撮影等により判別することができる。例えば、仮想残響ＶＲAを定位させる位置と受聴者Ｌの位置とを直線で結び、直線上に位置するスピーカーユニット（図１５では、スピーカーユニットＳＵA）に残響成分を加えた上で音の再生がなされるようにしてもよい。１次反射だけではなく、２次反射に対応する仮想残響ＶＲBを定位させる位置と受聴者Ｌの位置とを直線で結び、直線上に位置するスピーカーユニット（図１５では、スピーカーユニットＳＵB）に残響成分を加えた上で音の再生がなされるようにしてもよい。かかる処理によっても演算量を低減することができる。
　また、波面合成用のスピーカーアレイＳＡとは別に残響用のスピーカーを設置し、当該スピーカーから残響が再生されるようにしてもよい。例えば、図１６に示すように、１次反射に対応する仮想残響を再生するためのスピーカーＳＰAおよび２次反射に対応する仮想残響を再生するためのスピーカーＳＰBを配置して、スピーカーＳＰAおよびスピーカーＳＰBから残響が再生されるようにしてもよい。図１６に示される方法によれば、波面合成スピーカーが設置されていない側方や後方からも残響を再生することができるため、受聴者Ｌが音に包まれている感覚を増大することができる。
＜第３の実施形態＞
　次に、第３の実施形態についての説明がなされる。なお、第１、２の実施形態の説明において、上述した説明における同一または同質の構成については同一の参照符号を付し、重複した説明が適宜、省略される。また、特に断らない限り、第１、２の実施形態で説明した事項は第３の実施形態に対して適用することができる。
　第１、第２の実施形態では、残響の反射に着目したが、その他の特徴として、音に包み込まれている感じや音が持続するというものがある。反射が無数にかつあらゆる場所で起こった結果として、受聴者がいる空間全体が鳴っている感覚と、その音が長く続く響きは、図３における後部残響の成分として表現される。本実施形態では、この後部残響を効果的に再生する手法に関する実施形態である。
　図１７は、第３の実施形態の概要を説明するための図である。第３の実施形態では、スピーカーアレイＳＡを用いて後部残響が再生される。後部残響は先に述べたように空間全体が鳴っているため、それを表現するために、広く設置されたスピーカーアレイＡＲ全体が用いられる。
　図１８は、第３の実施形態にかかる信号処理装置（信号処理装置１Ｃ）の構成例を説明するための図である。信号処理装置１Ｃは、第１の実施形態にかかる信号処理装置１が有する残響読み込み部１１、波面合成フィルタ１４およびＤＡ変換・アンプ部１５に加え、後部残響信号生成部３１と、残響畳み込み部３２と、マルチチャンネル化処理部３３と、加算器３４とを有している。
　波面合成フィルタ１４は、仮想音源信号Ｄ０に対して波面合成フィルタを行うことにより信号Ｄ１５を出力する。
　残響読み込み部１１から出力される残響に対応する信号ＲＤＡは、後部残響信号生成部３１に供給される。後部残響信号生成部３１は、残響に対応する信号ＲＤＡに基づいて後部残響信号Ｄ１６を生成する。後部残響信号生成部３１は、例えば、図１９に模式的に示すように、インパルス応答の直接音と反射音を削除することによって後部残響信号Ｄ１６を生成する。
　残響畳み込み部３２は、仮想音源信号Ｄ０に後部残響信号Ｄ１６を畳み込む処理を行うことにより畳み込み信号Ｄ１７を生成する。そして、残響畳み込み部３２は、生成した畳み込み信号Ｄ１７をマルチチャンネル化処理部３３に出力する。
　マルチチャンネル化処理部３３は、畳み込み信号Ｄ１７を、スピーカーアレイＳＡのチャンネル数（本例では、８ｃｈ）に対応するようにマルチチャンネル化する処理を行う。マルチチャンネル化処理部３３による処理により、マルチチャンネル化された後部残響音（以下、マルチチャンネル後部残響信号Ｄ１８）が生成される。マルチチャンネル後部残響信号Ｄ１８が加算器３４に供給される。
　加算器３４は、波面合成フィルタ１４から出力される信号Ｄ１５と、マルチチャンネル後部残響信号Ｄ１８とを、対応するチャンネル同士で加算する。加算器３４による処理により、デジタル形式の駆動信号Ｄ１９が生成される。
　ＤＡ変換・アンプ部１５は、デジタル形式の駆動信号Ｄ１９をアナログ形式に変換した上で増幅することにより、駆動信号Ｄ２０を生成して出力する。アナログ形式の駆動信号Ｄ２０が、対応するチャンネルのスピーカーユニットＳＵに対して供給され、スピーカーユニットＳＵから音が再生される。
　以上説明した本実施形態によれば、後部残響を広い範囲で再生することができ、受聴者が音に包み込まれている感覚を増大させることができる。また、後部残響成分を波面合成フィルタによる計算を行うことなく、空間全体が鳴っているように再生することが可能となる。
　なお、実際の空間では、観測点によってインパルス応答の波形は異なる。かかる点を考慮して、スピーカーユニットＳＵ位置毎に異なる後部残響を用いて、それぞれを仮想音源信号Ｄ０に畳み込んだ信号を再生するようにしても良い。また、後部残響信号生成部３１は、擬似的な後部残響信号を生成してもよく、生成された擬似的な後部残響信号が仮想音源信号Ｄ０に畳み込まれるようにしてもよい。
＜変形例＞
　以上、本開示の複数の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
　上述の実施形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。
　なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成する残響音信号生成部と、
　波面合成フィルタによりスピーカーアレイに対する駆動信号を生成する駆動信号生成部と
　を有し、
　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
　信号処理装置。
（２）
　前記駆動信号生成部は、前記仮想音源の信号に対する波面合成フィルタを行うことにより得られる信号と、前記残響音信号を前記仮想音源化した信号とを加算することにより前記駆動信号を生成する
　（１）に記載の信号処理装置。
（３）
　前記基準点は、前記仮想音源の音源位置に対する受聴者の位置である
　（１）または（２）に記載の信号処理装置。
（４）
　前記基準点は、前記仮想音源の音源位置に対して最短距離となる前記スピーカーアレイの位置である
　（１）または（２）に記載の信号処理装置。
（５）
　前記基準点は、前記仮想音源の信号を反射する面である
　（１）または（２）に記載の信号処理装置。
（６）
　前記残響音信号に対して行われる波面合成フィルタ処理に応じて、前記スピーカーアレイのチャンネル数より小さいチャンネル数の前記残響音信号を仮想音源化した信号が出力される
　（１）から（５）までの何れかに記載の信号処理装置。
（７）
　前記スピーカーアレイを構成する全てのスピーカーユニットから音が出力されるように、前記残響音信号を仮想音源化した信号を補間する処理が行われる
　（６）に記載の信号処理装置。
（８）
　前記スピーカーアレイを構成する所定のスピーカーから再生される信号が複製されることにより、前記スピーカーに隣接するスピーカーから再生される信号が生成される
　（７）に記載の信号処理装置。
（９）
　後部残響音信号が生成され、生成された前記後部残響音信号を前記スピーカーアレイに対応するようにマルチチャンネル化され、マルチチャンネル化された信号を前記波面合成フィルタの出力に加算することにより前記駆動信号が生成される
　（１）から（８）までの何れかに記載の信号処理装置。
（１０）
　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
　信号処理方法。
（１１）
　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
　信号処理方法をコンピュータに実行させるプログラム。
１,１Ａ,１Ｂ,１Ｃ・・・信号処理装置
１２・・・残響補正部
１４・・・波面合成フィルタ
１５・・・ＤＡ変換・アンプ部
２１・・・仮想音源信号用波面合成フィルタ
２２・・・仮想残響信号生成部
２３・・・仮想残響信号用波面合成フィルタ
２４,２４,３４・・・加算器
３３・・・マルチチャンネル化処理部
ＳＵ・・・スピーカーユニット
ＳＡ・・・スピーカーアレイ

Claims (11)

  1. 　仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成する残響音信号生成部と、
    　波面合成フィルタによりスピーカーアレイに対する駆動信号を生成する駆動信号生成部と
    　を有し、
    　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
    　信号処理装置。
  2. 　前記駆動信号生成部は、前記仮想音源の信号に対する波面合成フィルタを行うことにより得られる信号と、前記残響音信号を前記仮想音源化した信号とを加算することにより前記駆動信号を生成する
    　請求項１に記載の信号処理装置。
  3. 　前記基準点は、前記仮想音源の音源位置に対する受聴者の位置である
    　請求項１に記載の信号処理装置。
  4. 　前記基準点は、前記仮想音源の音源位置に対して最短距離となる前記スピーカーアレイの位置である
    　請求項１に記載の信号処理装置。
  5. 　前記基準点は、前記仮想音源の信号を反射する面である
    　請求項１に記載の信号処理装置。
  6. 　前記残響音信号に対して行われる波面合成フィルタ処理に応じて、前記スピーカーアレイのチャンネル数より小さいチャンネル数の前記残響音信号を仮想音源化した信号が出力される
    　請求項１に記載の信号処理装置。
  7. 　前記スピーカーアレイを構成する全てのスピーカーユニットから音が出力されるように、前記残響音信号を仮想音源化した信号を補間する処理が行われる
    　請求項６に記載の信号処理装置。
  8. 　前記スピーカーアレイを構成する所定のスピーカーから再生される信号が複製されることにより、前記スピーカーに隣接するスピーカーから再生される信号が生成される
    　請求項７に記載の信号処理装置。
  9. 　後部残響音信号が生成され、生成された前記後部残響音信号を前記スピーカーアレイに対応するようにマルチチャンネル化され、マルチチャンネル化された信号を前記波面合成フィルタの出力に加算することにより前記駆動信号が生成される
    　請求項１に記載の信号処理装置。
  10. 　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
    　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
    　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
    　信号処理方法。
  11. 　残響音信号生成部が、仮想音源の音源位置と基準点までの距離とに応じて残響音信号を生成し、
    　駆動信号生成部が、波面合成フィルタによりスピーカーアレイに対する駆動信号を生成し、
    　前記駆動信号生成部は、前記残響音信号を前記仮想音源の信号に畳み込んだ信号に対する波面合成フィルタ処理を行うことにより得られる信号および／または前記残響音信号に対して波面合成フィルタ処理を行うことより前記残響音信号を仮想音源化した信号に基づいて、前記駆動信号を生成する
    　信号処理方法をコンピュータに実行させるプログラム。
PCT/JP2020/044855 2019-12-13 2020-12-02 信号処理装置、信号処理方法およびプログラム WO2021117576A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080081571.6A CN114762364A (zh) 2019-12-13 2020-12-02 信号处理装置、信号处理方法及程序
US17/782,095 US20230011357A1 (en) 2019-12-13 2020-12-02 Signal processing device, signal processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019224997 2019-12-13
JP2019-224997 2019-12-13

Publications (1)

Publication Number Publication Date
WO2021117576A1 true WO2021117576A1 (ja) 2021-06-17

Family

ID=76330269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044855 WO2021117576A1 (ja) 2019-12-13 2020-12-02 信号処理装置、信号処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20230011357A1 (ja)
CN (1) CN114762364A (ja)
WO (1) WO2021117576A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006009028A1 (ja) * 2004-07-20 2006-01-26 Pioneer Corporation 音響再生装置および音響再生システム
JP2009071406A (ja) * 2007-09-11 2009-04-02 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
WO2013057948A1 (ja) * 2011-10-21 2013-04-25 パナソニック株式会社 音響レンダリング装置および音響レンダリング方法
JP2014529251A (ja) * 2011-09-07 2014-10-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 残響時間拡張のための装置、方法および電気音響システム
WO2019078035A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2019165845A (ja) * 2018-03-22 2019-10-03 株式会社コーエーテクモゲームス プログラム、画像処理方法、及び情報処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687099B2 (ja) * 1994-02-14 2005-08-24 ソニー株式会社 映像信号及び音響信号の再生装置
JP3722335B2 (ja) * 1998-02-17 2005-11-30 ヤマハ株式会社 残響付加装置
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
JP4551652B2 (ja) * 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
JP4668118B2 (ja) * 2006-04-28 2011-04-13 ヤマハ株式会社 音場制御装置
WO2017136573A1 (en) * 2016-02-02 2017-08-10 Dts, Inc. Augmented reality headphone environment rendering
JP2019087973A (ja) * 2017-11-10 2019-06-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006009028A1 (ja) * 2004-07-20 2006-01-26 Pioneer Corporation 音響再生装置および音響再生システム
JP2009071406A (ja) * 2007-09-11 2009-04-02 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2014529251A (ja) * 2011-09-07 2014-10-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 残響時間拡張のための装置、方法および電気音響システム
WO2013057948A1 (ja) * 2011-10-21 2013-04-25 パナソニック株式会社 音響レンダリング装置および音響レンダリング方法
WO2019078035A1 (ja) * 2017-10-20 2019-04-25 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2019165845A (ja) * 2018-03-22 2019-10-03 株式会社コーエーテクモゲームス プログラム、画像処理方法、及び情報処理装置

Also Published As

Publication number Publication date
US20230011357A1 (en) 2023-01-12
CN114762364A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
JP4819823B2 (ja) 音響システム駆動装置、駆動方法および音響システム
KR102235413B1 (ko) 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
US7706544B2 (en) Audio reproduction system and method for reproducing an audio signal
Savioja Modeling techniques for virtual acoustics
CA3043057C (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
JP2007512740A (ja) 低周波チャネルを生成する装置および方法
US9355632B2 (en) Apparatus, method and electroacoustic system for reverberation time extension
WO2015102920A1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
Novo Auditory virtual environments
WO2021117576A1 (ja) 信号処理装置、信号処理方法およびプログラム
Austin-Stewart et al. Spatial System Design as a Spatio-Compositional Strategy
JP2013128314A (ja) 波面合成信号変換装置および波面合成信号変換方法
Novo VIRTUAL AND REAL AUDITORY ENVIRONMENTS
Marion Listener Envelopment
KR20060026234A (ko) 입체 음향 재생 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898619

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898619

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP