JPWO2018008396A1 - 音場形成装置および方法、並びにプログラム - Google Patents

音場形成装置および方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018008396A1
JPWO2018008396A1 JP2018526014A JP2018526014A JPWO2018008396A1 JP WO2018008396 A1 JPWO2018008396 A1 JP WO2018008396A1 JP 2018526014 A JP2018526014 A JP 2018526014A JP 2018526014 A JP2018526014 A JP 2018526014A JP WO2018008396 A1 JPWO2018008396 A1 JP WO2018008396A1
Authority
JP
Japan
Prior art keywords
control point
listener
speaker array
speaker
sound field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018526014A
Other languages
English (en)
Other versions
JP6939786B2 (ja
Inventor
悠 前野
悠 前野
祐基 光藤
祐基 光藤
将文 高橋
将文 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018008396A1 publication Critical patent/JPWO2018008396A1/ja
Application granted granted Critical
Publication of JP6939786B2 publication Critical patent/JP6939786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本技術は、受聴者位置での波面の再現性を向上させることができるようにする音場形成装置および方法、並びにプログラムに関する。音場形成装置は、受聴者の位置または形成する音源の位置を示す位置情報を取得する位置取得部と、位置情報に基づいて、受聴者または音源のスピーカアレイからの距離に応じて制御点を指定する制御点指定部と、指定された制御点に対応するフィルタ係数と音源信号とを畳み込むことで、スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成するフィルタ部とを有する。本技術は音場形成装置に適用することができる。

Description

本技術は音場形成装置および方法、並びにプログラムに関し、特に、受聴者位置での波面の再現性を向上させることができるようにした音場形成装置および方法、並びにプログラムに関する。
例えば空間上に受聴者が複数いて、それぞれに所望の音を聞かせたい場合、指向性制御技術を用いることで複数の各受聴者がそれぞれ異なる音を聴取することができる。
このような指向性制御を行う方法として、パラメトリックスピーカを用いる方法が知られている。ところがパラメトリックスピーカを用いる方法では、提示する音の方向の数だけパラメトリックスピーカを用意しなければならず、また点音源や平面波などの特定の音場を形成することができない。さらに、一般的に通常のスピーカと比べると、パラメトリックスピーカから出力される音の音質はよくないため、再生するコンテンツが制限されてしまう。
これに対して、波面合成技術を用いれば、点音源や平面波を形成することができ、特定の受聴者に所望の音場を提供することができる。
例えばスピーカアレイを用いた音場形成では、スピーカアレイを構成するスピーカが並ぶ方向と平行なリファレンスラインと呼ばれる制御点群からなる制御線が存在する。そして、その制御点上でのみ形成音場を理想的な音場と一致させることができることが知られている（例えば、非特許文献１参照）。
Jens Ahrens, Sascha Spors, "Sound Field Reproduction Using Planar and Linear Arrays of Loudspeakers," IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, 2010.
ところで、スピーカアレイを用いた音場形成技術は、スピーカアレイから見てリファレンスラインよりも遠い側の領域、つまりリファレンスラインの後方にある領域で、所望の音場を形成する技術であるため、受聴者は制御点よりも後方にいなければならない。また、制御点から離れた位置ほど音の波面の再現性が低下してしまう。すなわち、制御点から遠い位置ほど、形成された音場と、目標とする理想的な音場との誤差が大きくなってしまう。
そのため、スピーカアレイにより音場を形成して、複数の受聴者にそれぞれ異なる音を聞かせたい場合、各受聴者がスピーカアレイから異なる距離の位置にいるときには、それらの各受聴者の位置で理想的な音場との誤差の少ない音場を形成することは困難である。
具体的には、例えば複数の受聴者がいる場合、各受聴者が制御点の後方に位置していなければならない。また、１人の受聴者に合わせて固定の制御点を設定してもその制御点は必ずしも他の受聴者にとって最適なものとはならず、制御点から遠い受聴者の位置では波面の再現性が低下してしまう。
本技術は、このような状況に鑑みてなされたものであり、受聴者位置での波面の再現性を向上させることができるようにするものである。
本技術の一側面の音場形成装置は、受聴者の位置または形成する音源の位置を示す位置情報を取得する位置取得部と、前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定する制御点指定部と、指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成するフィルタ部とを備える。
前記制御点指定部には、複数の前記受聴者ごとに、前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定させることができる。
前記制御点指定部には、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定させることができる。
前記制御点指定部には、前記位置情報に基づいて、複数の前記受聴者ごとに前記制御点を指定するか、または複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定するかを切り替えさせて前記制御点の指定を行わせることができる。
前記制御点指定部には、複数の前記受聴者の間の距離が所定の閾値以下である場合、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定させることができる。
前記スピーカアレイを、前記受聴者を囲むように配置することができる。
音場形成装置には、前記スピーカアレイをさらに設けることができる。
音場形成装置には、複数の前記制御点のそれぞれに対応する前記フィルタ係数のそれぞれを記録するフィルタ係数記録部をさらに設けることができる。
前記フィルタ部には、指定された前記制御点に対応する、前記スピーカアレイを構成するスピーカごとの前記フィルタ係数のうち、前記受聴者または前記音源の位置に応じたスピーカの前記フィルタ係数のみを用いて前記スピーカ駆動信号を生成させることができる。
本技術の一側面の音場形成方法またはプログラムは、受聴者の位置または形成する音源の位置を示す位置情報を取得し、前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定し、指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成するステップを含む。
本技術の一側面においては、受聴者の位置または形成する音源の位置を示す位置情報が取得され、前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点が指定され、指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号が生成される。
本技術の一側面によれば、受聴者位置での波面の再現性を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術の概要について説明する図である。 音場形成装置の構成例を示す図である。 座標系について説明する図である。 制御点の指定方法について説明する図である。 制御点の指定方法について説明する図である。 音場形成処理を説明するフローチャートである。 本技術の適用例について説明する図である。 本技術の適用例について説明する図である。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
本技術は、スピーカアレイを用いて、スピーカアレイから見た受聴者の奥行き方向の位置や、生成する音源の位置に応じて制御点を指定（設定）し、波面合成を行うことで、各受聴者位置での音の波面の再現性を向上させることができるようにするものである。
例えば図１に示すように複数のスピーカを直線状に並べて得られるスピーカアレイSPA11により音場を形成することを考える。
この例では、スピーカアレイSPA11の前方に２人の受聴者ＬＮ１１および受聴者ＬＮ１２がおり、これらの受聴者ＬＮ１１および受聴者ＬＮ１２にそれぞれ異なる音を聞かせるものとする。また、図中、下方向、つまりスピーカアレイSPA11を構成するスピーカが並ぶ方向と垂直な方向を奥行き方向とも称することとする。
このとき、各受聴者に聞かせる音についてリファレンスラインを矢印Ｑ１１に示す位置とすると、受聴者ＬＮ１１には理想的な音場と一致する音場を提示することができる。しかし、受聴者ＬＮ１２は奥行き方向においてリファレンスラインから遠い位置にいるため、受聴者ＬＮ１２に提示される音場は、理想的な音場との誤差が大きいものとなってしまう。
これに対して、各受聴者に聞かせる音についてリファレンスラインを矢印Ｑ１２に示す位置とすると、受聴者ＬＮ１２には理想的な音場と一致する音場を提示することができるが、受聴者ＬＮ１１がリファレンスラインよりもスピーカアレイSPA11側に位置してしまうことになる。そうすると、受聴者ＬＮ１１には適切な音場を提示することができない。
そこで、本技術では、各受聴者の奥行き方向の位置や、生成しようとする音源の位置に応じて奥行き方向の位置が互いに異なる複数の制御点、つまり複数のリファレンスラインを指定するなどして、各受聴者の位置における形成音場による波面の再現性を向上させることができるようにした。
例えば図１に示す例では、受聴者ＬＮ１１に聞かせる音については矢印Ｑ１１に示す奥行き方向の位置が制御点の位置、つまりリファレンスラインの位置として指定され、スピーカ駆動信号が生成される。また、受聴者ＬＮ１２に聞かせる音については矢印Ｑ１２に示す奥行き方向の位置が制御点の位置として指定され、スピーカ駆動信号が生成される。そして、それらの２つのスピーカ駆動信号が足し合わせられて、最終的なスピーカ駆動信号とされる。
このように、受聴者ごとなど、複数のリファレンスラインを指定すれば、各受聴者の位置において誤差の少ない音場を形成し、波面の再現性を向上させることができる。
〈音場形成装置の構成例〉
次に、以上において説明した本技術のより具体的な実施の形態について説明する。
図２は、本技術を適用した音場形成装置の一実施の形態の構成例を示す図である。
図２に示す音場形成装置１１は、受聴者位置取得部２１、音源位置取得部２２、制御点指定部２３、フィルタ係数記録部２４、フィルタ部２５、およびスピーカアレイ２６を有する。
受聴者位置取得部２１は、音場を形成する空間である受聴エリアにいる受聴者の位置を示す受聴者位置情報を取得し、音源位置取得部２２および制御点指定部２３に供給する。
音源位置取得部２２は、必要に応じて、受聴者位置取得部２１から供給された受聴者位置情報を用いて、音場を形成することで生成される点音源の位置を示す音源位置情報を取得して制御点指定部２３に供給する。
制御点指定部２３は、受聴者位置取得部２１から供給された受聴者位置情報、および音源位置取得部２２から供給された音源位置情報の少なくとも何れか一方に基づいて、音場を形成する際の制御点の位置を指定する制御点情報を生成し、フィルタ係数記録部２４に供給する。
例えば制御点指定部２３では、スピーカアレイ２６からの奥行き方向の距離が互いに異なる複数の制御点が指定され、それらの制御点の位置を示す制御点情報が生成される。
フィルタ係数記録部２４は、奥行き方向におけるリファレンスラインの位置ごとに、すなわち制御点の奥行き方向の位置ごとに、波面合成により音場を形成するための音響フィルタのフィルタ係数を記録している。
フィルタ係数記録部２４は、予め記録しているフィルタ係数のうち、制御点指定部２３から供給された制御点情報により示される制御点の位置に応じたフィルタ係数を選択し、選択したフィルタ係数をフィルタ部２５に供給する。したがって、制御点情報により奥行き方向の位置が異なる複数の制御点が指定された場合には、それらの制御点ごとにフィルタ係数が選択されることになる。
フィルタ部２５には、再生しようとする音の音源信号が供給される。フィルタ部２５は、外部から供給された音源信号と、フィルタ係数記録部２４から供給されたフィルタ係数とを畳み込んで、所定の音場を形成するためのスピーカ駆動信号を求め、スピーカアレイ２６に供給する。
より詳細には、フィルタ部２５は、制御点情報により指定された制御点ごとに、つまり供給されたフィルタ係数ごとにスピーカ駆動信号を生成し、それらのスピーカ駆動信号を足し合わせることで最終的なスピーカ駆動信号を生成する。
なお、例えば受聴エリアにいる受聴者ごとに異なるコンテンツの音を聞かせる場合には、それらのコンテンツごとに、コンテンツの音を再生するための音源信号がフィルタ部２５に供給される。また、例えば複数の受聴者のそれぞれに対して、同じコンテンツの音を異なるタイミングで聞かせる場合には、その１つのコンテンツの音を再生するための音源信号がフィルタ部２５に供給される。
スピーカアレイ２６は、例えば複数のスピーカが直線状に並べられた直線スピーカアレイや、複数のスピーカが平面状に並べられた平面スピーカアレイ、複数のスピーカが円状に並べられた環状スピーカアレイ、複数のスピーカが球状に並べられた球状スピーカアレイなどからなる。
スピーカアレイ２６は、フィルタ部２５から供給されたスピーカ駆動信号に基づいて音を再生することで音場を形成する。
ここで、以下においてする説明で用いる座標系について、図３を参照して説明する。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、以下においてする説明では、スピーカアレイ２６の中心位置が３次元直交座標系の原点Ｏとされる。
また、３次元直交座標系の３つの軸は原点Ｏを通り、互いに直交するｘ軸、ｙ軸、およびｚ軸とされる。ここで、ｘ軸の方向、つまりｘ方向はスピーカアレイ２６を構成するスピーカが並ぶ方向とされる。また、ｙ軸の方向、つまりｙ方向はｘ方向と垂直な方向であり、かつスピーカアレイ２６から音波が出力される方向と平行な方向とされ、これらのｘ方向およびｙ方向と垂直な方向がｚ軸の方向、つまりｚ方向とされる。特に、スピーカアレイ２６から音波が出力される方向がｙ方向の正の方向とされる。
以下では、空間上の位置、つまり空間上の位置を示すベクトルをｘ座標、ｙ座標、およびｚ座標を用いて(x,y,z)とも記すこととする。また、座標(x,y,z)により示される位置を、位置ｖとも称することとする。
さらに、スピーカアレイ２６は直線スピーカアレイや、平面スピーカアレイ、環状スピーカアレイ、球状スピーカアレイ等どのようなものであってもよいが、以下ではスピーカアレイ２６が直線スピーカアレイであるものとして説明を続ける。
この場合、スピーカアレイ２６に対して指定される１つのリファレンスラインを構成する複数の制御点のｙ方向の位置は同じとなるから、リファレンスラインはスピーカアレイ２６からのｙ方向の距離、つまり奥行き方向の距離が一定の直線となる。すなわち、リファレンスラインはｘ方向と平行な直線となる。
（受聴者位置取得部）
続いて、図２に示した音場形成装置１１の各部について、より詳細に説明する。まず、受聴者位置取得部２１について説明する。
受聴者位置取得部２１は、例えばスピーカアレイ２６から受聴者までのｙ方向の距離ｙlsnを受聴者位置情報として取得する。
例えば受聴者位置取得部２１が、外部装置から供給されたり、ユーザ等により入力されたりした距離ｙlsnを受聴者位置情報として取得するようにしてもよい。
また、例えば受聴者位置取得部２１が、受聴者の数と、それらの受聴者の位置を検出して受聴者ごとに距離ｙlsnを算出することで、距離ｙlsnを受聴者位置情報として取得するようにしてもよい。
そのような場合、受聴者位置取得部２１は、例えば受聴者を被写体として撮影するカメラ、受聴者のいる空間の床部分に配置された感圧センサ、超音波等により受聴者までの距離を検出する距離センサなどから構成される。この場合、受聴者位置取得部２１は、カメラや感圧センサ、距離センサなどを用いて受聴者を認識し、その認識結果に基づいて距離ｙlsnを算出する。
具体的には、例えば受聴者位置取得部２１は、カメラにより撮影された画像から辞書を用いた物体認識等により受聴者を検出し、その検出結果から各受聴者について、スピーカアレイ２６から受聴者までの空間上のｙ方向の距離を距離ｙlsnとして算出する。
なお、ｙ方向における複数の受聴者間の距離が所定の一定距離よりも近い場合には、それらの受聴者を１つのグループとして処理するようにしてもよい。この場合、例えばｙ方向においてスピーカアレイ２６から最も近い受聴者の距離ｙlsnや、グループに属する代表的な受聴者の距離ｙlsnなどが、そのグループを１人の受聴者とみなしたときの受聴者位置情報とされる。
また、受聴者位置情報には、各受聴者のｙ方向の位置だけでなく、各受聴者のｘ方向の位置やｚ方向の位置も含まれるようにしてもよい。
（音源位置取得部）
音源位置取得部２２では、後述するSDM（Spectral Division Method）法などにより点音源を生成する場合に、その点音源の位置が音源位置情報として取得される。
例えば音源位置は、受聴者位置取得部２１から供給される受聴者位置情報が用いられて、受聴者との相対的な位置関係により定められるようにしてもよいし、外部入力により点音源の絶対的な位置が定められるようにしてもよい。
具体的には、例えば受聴者から見た点音源の生成位置が予め定められている場合、受聴者位置情報により示される受聴者の位置から点音源の位置が決定され、決定された位置を示す情報が音源位置情報とされる。
なお、音場形成時に生成される点音源のｙ方向の位置は、受聴者の位置よりもスピーカアレイ２６から遠い位置とすることはできないため、点音源のｙ方向の位置が受聴者よりもスピーカアレイ２６から遠い側の位置となるときには、そのような点音源の位置は採用されないようにされる。また、そのような場合には、点音源のｙ方向の位置が受聴者の位置を限度として、つまり受聴者よりもスピーカアレイ２６側の位置となるように修正されるようにしてもよい。
（制御点指定部）
制御点指定部２３では、受聴者位置情報および音源位置情報の少なくとも何れか一方に基づいて、音場を形成する際の制御点の位置が指定される。すなわち、受聴者や音源の、スピーカアレイ２６からのｙ方向における距離に応じて定められた制御点の位置を示す制御点情報が生成される。
具体的には、例えば図４に示すようにスピーカアレイ２６から受聴者のそれぞれまでの奥行き方向、つまりｙ方向の距離が制御点までの距離とされる。なお、図４において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図４に示す例では、スピーカアレイ２６に対してｙ方向の距離がｙlsn1である位置、つまりｙ方向の位置がｙ＝ｙlsn1である位置に１人の受聴者ＬＮ２１がいる。また、スピーカアレイ２６に対してｙ方向の距離がｙlsn2である位置、つまりｙ方向の位置がｙ＝ｙlsn2である位置に１人の受聴者ＬＮ２２がいる。
例えば制御点指定部２３は、受聴者ＬＮ２１がいるｙ＝ｙlsn1の位置を１つ目の制御点の位置ｙ＝yref1、すなわちリファレンスラインＲＬ１１の位置とする。また、制御点指定部２３は、受聴者ＬＮ２２がいるｙ＝ylsn2の位置を２つ目の制御点の位置ｙ＝yref2、すなわちリファレンスラインＲＬ１２の位置とする。
そして、制御点指定部２３は、それらの制御点の位置、すなわち距離yref1および距離yref2を示す情報を制御点情報として生成する。
この場合、受聴者位置情報により示される受聴者ＬＮ２１の位置を示す距離ｙlsn＝ｙlsn1が、そのままリファレンスラインＲＬ１１上の制御点の位置を示す距離yref1とされる。同様に、受聴者位置情報により示される受聴者ＬＮ２２の位置を示す距離ｙlsn＝ｙlsn2が、そのままリファレンスラインＲＬ１２上の制御点の位置を示す距離yref2とされる。
このように複数の受聴者が検出された場合、各受聴者のｙ方向の位置を制御点のｙ方向の位置とすれば、音場形成時における全受聴者の位置での波面の再現性を向上させることができる。すなわち、各受聴者の位置において、理想的な波面との誤差の少ない良好な波面を形成することができるようになる。これは、上述したように制御点、つまりリファレンスラインに近い位置ほど、形成される波面の再現性が高くなるからである。
以下では、各受聴者の位置を制御点の位置とする制御点指定方法を、特に受聴者毎制御点指定方法とも称することとする。
また、例えば図５に示すようにスピーカアレイ２６に対してｙ方向の距離がｙlsn1である位置に１人の受聴者ＬＮ２１がおり、スピーカアレイ２６に対してｙ方向の距離がｙlsn2である位置に１人の受聴者ＬＮ２２がいるとする。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
この場合、制御点指定部２３は、２人の受聴者ＬＮ２１および受聴者ＬＮ２２のうち、ｙ方向の距離がスピーカアレイ２６に最も近い受聴者の位置を制御点の位置、すなわちリファレンスラインの位置とする。
換言すれば、スピーカアレイ２６から受聴者ＬＮ２１までの距離ｙlsn1と、スピーカアレイ２６から受聴者ＬＮ２２までの距離ｙlsn2とのうち、最も短い距離、つまり最小値となる距離が制御点の位置を示すｙ方向の距離とされる。
この例では、距離ｙlsn1と距離ｙlsn2とのうち、より小さい距離ｙlsn1が制御点の位置ｙ＝yref、すなわちリファレンスラインＲＬ２１の位置とされている。このリファレンスラインＲＬ２１上の制御点は、受聴者ＬＮ２１に聞かせる音を再生するための音場の制御点でもあり、受聴者ＬＮ２２に聞かせる音を再生するための音場の制御点でもある。
制御点指定部２３は、このようにして決定した制御点の位置ｙ＝yrefを示す情報を制御点情報として生成する。
この場合、受聴者位置情報により示される、受聴者ＬＮ２１の位置を示す距離ｙlsn＝ｙlsn1と、受聴者ＬＮ２２の位置を示す距離ｙlsn＝ｙlsn2とのうち、より小さい距離ｙlsn1がそのままリファレンスラインＲＬ２１上の制御点の位置を示す距離yrefとされる。
このように複数の受聴者が検出された場合、それらの受聴者のうち、ｙ方向においてスピーカアレイ２６に最も近い受聴者の位置を制御点のｙ方向の位置とすれば、少なくともスピーカアレイ２６に最も近い受聴者の位置では音場形成時に良好な再現性で波面を形成することができる。
また、制御点からｙ方向に遠い位置になるほど波面の再現性は低下するが、他の受聴者が制御点に近ければ、それらの他の受聴者の位置でも十分な再現性で波面を形成することができる。しかも、スピーカアレイ２６に最も近い受聴者の位置を制御点の位置とするため、受聴者よりもスピーカアレイ２６からｙ方向に遠い位置に制御点が指定されて、受聴者に音場を提示できなくなってしまうようなこともない。
以下では、ｙ方向の距離が最もスピーカアレイ２６に近い受聴者の位置を制御点の位置とする制御点指定方法を、特に最小値制御点指定方法とも称することとする。
以上において説明した受聴者毎制御点指定方法と最小値制御点指定方法とを比較すると、受聴者が複数いて、それらの受聴者の間のｘ方向の距離、すなわちスピーカアレイ２６を構成するスピーカが並ぶ方向と並行な方向の距離が近い場合には、最小値制御点指定方法を採用するとより効果的である。
例えば受聴者毎制御点指定方法により複数の受聴者ごとに制御点を指定し、それらの受聴者ごとに異なる音を聞かせる場合、受聴者ごとに制御点の位置が異なると、制御点ごとにスピーカ駆動信号を生成する必要がある。すなわち、ある位置を制御点として所定の音を再生する波面と、その位置とは異なる位置を制御点として他の音を再生する波面とが生成されることになる。そうすると、それらの制御点のｙ方向の位置の差から、一方の制御点の位置では、その位置とは異なる位置を制御点として形成した波面に誤差が生じることになる。
そのため、例えば複数の受聴者同士のｘ方向の位置が近いと、ある受聴者に聞かせるための再生音が、他の受聴者にも漏れ聞こえてしまう。つまり、受聴者には、その受聴者自身に対して再生された音に混ざって、他の受聴者に対して再生された音も聞こえてしまうことになる。
一方、複数の受聴者同士のｘ方向の位置が近い場合、最小値制御点指定方法では、それらの受聴者に対して１つの制御点が指定され、同じ位置を制御点として各受聴者に聞かせる音がそれぞれ再生されるスピーカ駆動信号が生成されるので、受聴者位置における音の混合を抑制することができる。
そこで、制御点指定部２３が、受聴者位置情報に基づいて、受聴者毎制御点指定方法により制御点を指定するか、最小値制御点指定方法により制御点を指定するかを選択して、すなわち制御点指定方法を切り替えて制御点の指定を行うようにしてもよい。
そのような場合、受聴者位置情報には各受聴者のｘ方向の位置とｙ方向の位置とが少なくとも含まれるようにされる。そして、例えば受聴者位置情報から求まる複数の受聴者間のｘ方向の距離が所定の閾値以下であるときに、最小値制御点指定方法により制御点が指定されるようにすればよい。このとき、受聴者間のｘ方向の距離が所定の閾値より大きいときには、受聴者毎制御点指定方法により制御点が指定される。
なお、例えば受聴者間のｘ方向の距離がある程度離れているときなどには、スピーカアレイ２６を構成するスピーカのうち、受聴者の正面にあるスピーカのみを用いて、その受聴者に提示する音場を形成するようにしてもよい。
具体的には、例えば図５に示した例では受聴者ＬＮ２１に聞かせる音のスピーカ駆動信号が、スピーカアレイ２６を構成する全スピーカのうちの、例えば図５中、左半分のスピーカについてのみ生成され、それらの左半分のスピーカのみが用いられて音が出力される。
受聴者ＬＮ２１の正面にあるスピーカアレイ２６の左半分のスピーカを用いれば、つまり受聴者ＬＮ２１近傍にあるスピーカのみを用いるようにすれば、受聴者ＬＮ２１に対して聞かせる音の他の受聴者ＬＮ２２への漏れ出しを抑制することができる。
この場合、スピーカアレイ２６の左半分のスピーカのそれぞれのフィルタ係数のみが用いられて、受聴者ＬＮ２１に聞かせる音を再生するためのスピーカ駆動信号が生成される。後述するように、フィルタ係数記録部２４には１つの制御点に対応するフィルタ係数として、スピーカアレイ２６を構成するスピーカごとのフィルタ係数が、各制御点について用意されている。
したがって、この例ではフィルタ部２５は受聴者ＬＮ２１について指定された制御点に対応する、スピーカアレイ２６の各スピーカのフィルタ係数のうち、スピーカアレイ２６の左半分のスピーカのそれぞれのフィルタ係数のみを用いてスピーカ駆動信号を生成することになる。
これに対して、受聴者ＬＮ２２についてはスピーカアレイ２６を構成する全スピーカのうちの例えば図５中、右半分のスピーカについてのみスピーカ駆動信号が生成され、それらの右半分のスピーカのみが用いられて音が出力される。
このように受聴者の位置や音源の位置に応じた制御点の指定と、受聴者の位置に応じて音を出力するスピーカを選択する方法とを組み合わせると、音の漏れ出しの少ない良好な音場を形成することができる。
なお、再生する音ごとにスピーカを選択するにあたり、受聴者の位置、つまり受聴者位置情報だけでなく、音源の位置、つまり音源位置情報も用いるようにしてもよいし、音源位置情報のみを用いるようにしてもよい。すなわち、受聴者の位置または音源の位置の少なくとも何れか一方に応じてスピーカが選択され、指定された制御点に対応するフィルタ係数のうち、選択されたスピーカのフィルタ係数のみが用いられてスピーカ駆動信号が生成されればよい。
例えば受聴者と音源の位置に基づいてスピーカが選択される場合には、スピーカアレイ２６を構成するスピーカのうち、受聴者および音源の近傍に位置するスピーカが選択されるようにすればよい。
また、受聴者毎制御点指定方法と最小値制御点指定方法の何れかを選択して制御点を指定する場合、例えば受聴者の数や受聴者間のｙ方向の距離、生成する音源の位置などに基づいて選択を行うようにしてもよい。すなわち、受聴者位置情報および音源位置情報の少なくとも何れか一方に基づいて、受聴者や音源の位置に応じて制御点指定方法を切り替えるようにしてもよい。
例えば受聴者の数が多い場合、複数の受聴者ごとにスピーカ駆動信号を生成し、それらのスピーカ駆動信号を足し合わせて最終的なスピーカ駆動信号とすると、各スピーカの出力音圧が再生可能音圧の限界に達してしまう可能性がある。
この場合、複数の受聴者ごとに制御点を指定するよりも、複数の受聴者に対して１つの制御点を指定した方が、スピーカの出力音圧を再生可能音圧内に制御するための音圧調整の処理が容易である。そこで、受聴者の数が多い場合、すなわち受聴者位置情報により示される受聴者の数が所定の閾値以上である場合に、最小値制御点指定方法により制御点が指定されるようにしてもよい。
その他、例えばリファレンスラインに近い位置ほど波面の再現性が高いことから、受聴者間のｙ方向の距離が閾値以下であるときには最小値制御点指定方法により制御点が指定され、受聴者間のｙ方向の距離が閾値より大きいときには受聴者毎制御点指定方法により制御点が指定されるようにしてもよい。
また、ここでは制御点指定方法の例として、受聴者毎制御点指定方法と最小値制御点指定方法について説明したが、他の方法により制御点を指定するようにしても勿論よい。さらに、受聴者位置情報のみに基づいて制御点を指定する例について説明したが、音源位置情報のみに基づいて制御点を指定するようにしてもよいし、受聴者位置情報と音源位置情報の両方を用いて制御点を指定するようにしてもよい。
例えば音源位置情報のみに基づいて制御点を指定する場合、音源位置情報により示される点音源のｙ方向の位置を制御点のｙ方向の位置とするようにしてもよい。
また、受聴者位置情報と音源位置情報の両方を用いて制御点を指定する場合、例えば音源位置情報により示される点音源のｙ方向の位置と、受聴者位置情報により示される受聴者のｙ方向の位置との間の任意の位置を制御点のｙ方向の位置とするようにしてもよい。
以上のようにして制御点が指定され、指定された制御点の位置を示す制御点情報が生成されると、その制御点情報が制御点指定部２３からフィルタ係数記録部２４に供給される。
（フィルタ係数記録部）
フィルタ係数記録部２４は、制御点情報に基づいて、予め用意された音響フィルタのフィルタ係数のなかから、スピーカ駆動信号の生成に用いるフィルタ係数を決定する。
音響フィルタのフィルタ係数は、例えばSDM法が用いられて、以下のように求められる。なお、SDM法については、例えば「Sascha Spors and Jens Ahrens, “Reproduction of Focused Sources by the Spectral Division Method,” 4th International Symposium on Communications, Control and Signal Processing (ISCCSP), 2010.」などに詳細に記載されている。
例えば、３次元自由空間における音場P(v,ntf)は次式（１）に示すように表される。
Figure 2018008396
なお、式（１）においてntfは時間周波数インデックスを示しており、vは空間上の位置を示すベクトルでありv＝(x,y,z)である。また、式（１）においてv0はｘ軸上の所定の位置を示すベクトルでありv0＝(x0,0,0)である。なお、以下、ベクトルvにより示される位置を位置vとも称し、ベクトルv0により示される位置を位置v0とも称することとする。
さらに、式（１）においてD(v0,ntf)は二次音源の駆動信号を示しており、G(v,v0,ntf)は、位置vと位置v0との間の伝達関数である。この二次音源の駆動信号D(v0,ntf)は、スピーカアレイ２６を構成するスピーカのスピーカ駆動信号に対応する。
このような式（１）の計算では、空間領域においては駆動信号D(v0,ntf)と伝達関数G(v,v0,ntf)の畳み込みのかたちとなっており、式（１）に示す音場P(v,ntf)をｘ軸方向に空間フーリエ変換すると、次式（２）に示すようになる。
Figure 2018008396
なお、式（２）において、nsfは空間周波数インデックスを示している。
このように音場P(v,ntf)を空間フーリエ変換すると、式（２）に示すように空間周波数領域の音場PF(nsf,y,z,ntf)は、空間周波数領域の駆動信号DF(nsf,ntf)と伝達関数GF(nsf,y,z,ntf)との積により表される。したがって、二次音源の駆動信号の空間周波数表現は、次式（３）に示すようになる。
Figure 2018008396
また、直線上の二次音源を用いる場合、その直線と平行な制御点上でのみ実際に形成される音場を理想的な音場と一致させることができる。そこで、その制御点のｙ方向の位置をｙ＝yrefとし、また水平面上での音場形成を考えるためｚ＝０とすると、式（３）は次式（４）に示すようになる。
Figure 2018008396
この式（４）により示される二次音源の駆動信号DF(nsf,ntf)は、ｙ＝yrefの位置を制御点として、その制御点で理想的な音場を形成するための駆動信号である。
また、例えば所望する音場PF(nsf,yref,0,ntf)として、次式（５）に示すように点音源モデルPps(nsf,yref,0,ntf)を用いることができる。
Figure 2018008396
なお、式（５）において、S(ntf)は再生しようとする音の音源信号を示しており、ｊは虚数単位を示しており、ｋxはｘ軸方向の波数を示している。また、xpsおよびypsはそれぞれ点音源の位置を示すｘ座標およびｙ座標を示しており、ωは角周波数を示しており、ｃは音速を示している。さらに、H0 (2)は第二種ハンケル関数を示しており、K0はベッセル関数を示している。なお、フィルタ係数は音源に依存しないため、ここではS(ntf)＝１とされる。
また、伝達関数GF(nsf,yref,0,ntf)は、次式（６）に示すように表すことができる。
Figure 2018008396
以上の式（４）、式（５）、および式（６）が用いられて、スピーカアレイ２６のスピーカ駆動信号の空間周波数スペクトルDF(nsf,ntf)が求められる。
次に、空間周波数スペクトルDF(nsf,ntf)を、DFT(Discrete Fourier Transform)を用いて空間周波数合成することで、時間周波数スペクトルD(l,ntf)が求められる。すなわち、次式（７）を計算することで、時間周波数スペクトルD(l,ntf)が算出される。
Figure 2018008396
なお、式（７）において、ｌはスピーカアレイ２６を構成するスピーカを識別し、そのスピーカのｘ方向の位置を示すスピーカインデックスを示しており、MdsはDFTのサンプル数を示している。
さらに、時間周波数スペクトルD(l,ntf)に対して、IDFT(Inverse Discrete Fourier Transform)を用いて時間周波数合成が行われ、時間信号であるスピーカアレイ２６の各スピーカのスピーカ駆動信号d(l,nd)が求められる。具体的には、次式（８）の計算を行うことで、スピーカ駆動信号d(l,nd)が算出される。
Figure 2018008396
なお、式（８）において、ndは時間インデックスを示しており、MdtはIDFTのサンプル数を示している。ここではスピーカアレイ２６のスピーカインデックスｌにより識別されるスピーカごとにスピーカ駆動信号d(l,nd)が算出される。
このようにして求められたスピーカ駆動信号d(l,nd)は、音源に依存しないフィルタ係数そのものを表している。そこで、このスピーカ駆動信号d(l,nd)の時間インデックスndを、時間インデックスｎに置き換えられたものが、点音源の位置（xps,yps）および制御点の位置ｙ＝yrefについて求められた音響フィルタのフィルタ係数h(l,n)とされる。
ここでは、１つの制御点について、スピーカアレイ２６のスピーカインデックスｌにより識別されるスピーカごとにフィルタ係数h(l,n)が求められる。すなわち、スピーカアレイ２６を構成するスピーカごとのフィルタ係数h(l,n)から音響フィルタが構成される。
例えば音場形成が行われる受聴エリアのｙ方向の範囲が、位置ｙ＝ymin（但し、０＜ymin）から位置ｙ＝ymaxの間の範囲であるとする。この場合、フィルタ係数記録部２４では、点音源の位置（xps,yps）について、受聴エリアの複数の位置ｙのそれぞれを制御点とする音響フィルタのフィルタ係数h(l,n)が予め保持されるようにされる。すなわち、点音源の各位置（xps,yps）について、複数の異なる制御点の位置ｙ＝yref（ymin≦yref≦ymax）ごとのフィルタ係数h(l,n)が予めフィルタ係数記録部２４に記録される。
フィルタ係数記録部２４は、制御点指定部２３から供給された制御点情報により示される制御点の位置に対応するフィルタ係数h(l,n)を選択し、フィルタ部２５に供給する。すなわち、制御点情報により示される制御点の位置について求められたフィルタ係数h(l,n)がフィルタ部２５に出力される。なお、音源の位置（xps,yps）が固定ではない場合には、適宜、音源位置取得部２２で得られる音源位置情報により示される音源位置と、制御点情報により示される制御点の位置とに基づいてフィルタ係数h(l,n)を選択すればよい。
（フィルタ部）
フィルタ部２５には、再生しようとする音の音源信号ｘ（ｎ）が供給される。ここで、音源信号ｘ（ｎ）におけるｎは時間インデックスを示している。
フィルタ部２５は、供給された音源信号ｘ（ｎ）と、フィルタ係数記録部２４から供給されたフィルタ係数h(l,n)とを畳み込んでスピーカ駆動信号d(l,n)を求める。すなわち、フィルタ部２５では、スピーカアレイ２６を構成するスピーカごとに次式（９）の計算が行われて、スピーカインデックスｌにより識別される各スピーカのスピーカ駆動信号d(l,n)が算出される。
Figure 2018008396
なお、式（９）において、Ｎは音響フィルタのフィルタ長を示している。
また、制御点指定部２３においてｙ方向の位置が異なる制御点が複数指定された場合には、フィルタ係数記録部２４からはそれらのｙ方向の位置が異なる制御点ごとにフィルタ係数h(l,n)が供給される。そのような場合、フィルタ部２５は、ｙ方向の位置が異なる制御点ごとにスピーカ駆動信号d(l,n)を求め、各スピーカについて、それらの制御点ごとに求めたスピーカ駆動信号d(l,n)を加算して最終的なスピーカ駆動信号とする。
フィルタ部２５は、以上のようにして得られた最終的なスピーカ駆動信号をスピーカアレイ２６に供給する。
〈音場形成処理の説明〉
次に、以上において説明した音場形成装置１１の動作について説明する。すなわち、以下、図６のフローチャートを参照して、音場形成装置１１による音場形成処理について説明する。
ステップＳ１１において、受聴者位置取得部２１は受聴者位置情報を取得して音源位置取得部２２および制御点指定部２３に供給する。
ステップＳ１１では、例えば外部装置から供給されたり、ユーザ等により入力されたりしたスピーカアレイ２６から受聴者までのｙ方向の距離ｙlsnが、受聴者位置情報として取得される。また、例えば受聴者位置取得部２１としてのカメラにより撮影された画像に対する物体認識や、受聴者位置取得部２１としての感圧センサによる受聴者の検出などにより距離ｙlsnが求められるようにしてもよい。
ステップＳ１２において、音源位置取得部２２は音源位置情報を取得して制御点指定部２３に供給する。
例えばステップＳ１２では、受聴者位置取得部２１から音源位置取得部２２に供給された受聴者位置情報に基づいて音源位置が求められたり、外部入力された音源位置が用いられたりして音源位置を示す情報が生成され、音源位置情報とされる。
ステップＳ１３において、制御点指定部２３は、受聴者位置取得部２１から供給された受聴者位置情報、および音源位置取得部２２から供給された音源位置情報に基づいて１または複数の制御点を指定し、指定した制御点の位置を示す制御点情報をフィルタ係数記録部２４に供給する。
例えば制御点指定部２３は、上述した受聴者毎制御点指定方法や最小値制御点指定方法により制御点を指定する。すなわち、ｙ方向の位置が互いに異なる１または複数の制御点が定められる。また、例えば制御点指定部２３が、受聴者位置情報に基づいて受聴者毎制御点指定方法または最小値制御点指定方法の何れの方法を用いるかを選択し、選択された制御点指定方法により制御点を指定するようにしてもよい。
ステップＳ１４において、フィルタ係数記録部２４は、制御点指定部２３から供給された制御点情報に基づいてフィルタ係数を選択し、選択したフィルタ係数をフィルタ部２５に供給する。
例えばステップＳ１４では、制御点情報により指定された制御点の位置に対応するフィルタ係数が選択される。このとき、ｙ方向の位置が異なる複数の制御点が指定された場合には、それらの制御点ごとにフィルタ係数が選択される。
ステップＳ１５において、フィルタ部２５は、フィルタ係数記録部２４から供給されたフィルタ係数と、外部から供給された音源信号とを畳み込み、スピーカ駆動信号を生成する。具体的には、上述した式（９）の計算が行われて制御点ごとに各スピーカのスピーカ駆動信号が生成され、各スピーカについて、それらの制御点ごとのスピーカ駆動信号が足し合わせられて最終的なスピーカ駆動信号とされる。
フィルタ部２５は、このようにして得られたスピーカ駆動信号をスピーカアレイ２６の各スピーカに供給する。
ステップＳ１６において、スピーカアレイ２６は、フィルタ部２５から供給されたスピーカ駆動信号に基づいて音を出力して所望の音場を形成し、音場形成処理は終了する。
以上のようにして音場形成装置１１は、受聴者位置情報と音源位置情報を取得し、それらの受聴者位置情報と音源位置情報に基づいて制御点を指定する。これにより、例えば受聴者ごとに制御点を指定したり、複数の受聴者に対して１つの制御点を指定したりして、受聴者位置での波面の再現性を向上させることができる。
〈本技術の適用例１〉
〈直線マイクアレイを用いた例〉
次に、以上において説明した本技術の具体的な適用例について説明する。
例えば本技術は、図７に示すように受聴エリアが４つのスピーカアレイ５１−１乃至スピーカアレイ５１−４により囲まれた領域とされる場合にも適用することが可能である。
この例では、スピーカアレイ５１−１乃至スピーカアレイ５１−４は、直線スピーカアレイとされており、受聴エリアには受聴者ＬＮ３１と受聴者ＬＮ３２がいる。すなわち、受聴エリアにいる受聴者ＬＮ３１と受聴者ＬＮ３２の周囲を囲むように４つのスピーカアレイ５１−１乃至スピーカアレイ５１−４が配置されている。
なお、以下、スピーカアレイ５１−１乃至スピーカアレイ５１−４を特に区別する必要のない場合、単にスピーカアレイ５１とも称することとする。１つのスピーカアレイ５１は、図２の音場形成装置１１におけるスピーカアレイ２６に対応する。
このような場合、音場形成装置には、例えばスピーカアレイ５１ごとに受聴者位置取得部２１乃至フィルタ部２５の構成が設けられる。
例えば４つのスピーカアレイ５１を用いて音を出力し、波面合成により音場を形成する場合、各スピーカアレイ５１について、上述した受聴者毎制御点指定方法により受聴者ごとに制御点を指定すると、矢印Ｑ３１に示すように各受聴者は、スピーカアレイ５１ごとのリファレンスラインにより囲まれる領域内に位置するようになる。
すなわち、例えば受聴者ＬＮ３１は、スピーカアレイ５１−１について指定した制御点からなるリファレンスラインＲＬ４１と、スピーカアレイ５１−２について指定した制御点からなるリファレンスラインＲＬ４２と、スピーカアレイ５１−３について指定した制御点からなるリファレンスラインＲＬ４３と、スピーカアレイ５１−４について指定した制御点からなるリファレンスラインＲＬ４４とにより囲まれることになる。
このように受聴者ＬＮ３１はリファレンスラインＲＬ４１乃至リファレンスラインＲＬ４４に囲まれた領域にいるため、つまり各リファレンスライン近傍に位置しているため、受聴者ＬＮ３１の位置では、高い再現性で音の波面が形成されることになる。
同様に、例えば受聴者ＬＮ３２は、スピーカアレイ５１−１について指定した制御点からなるリファレンスラインＲＬ５１と、スピーカアレイ５１−２について指定した制御点からなるリファレンスラインＲＬ５２と、スピーカアレイ５１−３について指定した制御点からなるリファレンスラインＲＬ５３と、スピーカアレイ５１−４について指定した制御点からなるリファレンスラインＲＬ５４とにより囲まれることになる。
また、各スピーカアレイ５１について、上述した最小値制御点指定方法により複数の受聴者に対して１つの制御点を指定すると、矢印Ｑ３２に示すように全受聴者が、スピーカアレイ５１ごとのリファレンスラインにより囲まれる同一領域内に位置するようになる。
すなわち、例えば受聴者ＬＮ３１および受聴者ＬＮ３２は、スピーカアレイ５１−１について指定した制御点からなるリファレンスラインＲＬ６１と、スピーカアレイ５１−２について指定した制御点からなるリファレンスラインＲＬ６２と、スピーカアレイ５１−３について指定した制御点からなるリファレンスラインＲＬ６３と、スピーカアレイ５１−４について指定した制御点からなるリファレンスラインＲＬ６４とにより囲まれることになる。
この場合、受聴者ＬＮ３１も受聴者ＬＮ３２もリファレンスラインＲＬ６１乃至リファレンスラインＲＬ６４に囲まれた領域にいるため、それらの受聴者の位置では高い再現性で音の波面が形成されることになる。
また、例えばSDM法により焦点音源を生成する場合には、スピーカアレイ５１から見てリファレンスライン、つまり制御点よりも遠い位置には音源を生成することができない。さらに、スピーカアレイ５１から見て受聴者よりも遠い位置を制御点の位置として指定することができない。そのため、これらの音源と制御点についての条件が満たされるように音源の位置と制御点の位置とを指定する必要がある。
したがって、例えば音場形成時に矢印Ａ１１に示す位置に音源を生成しようとする場合には、スピーカアレイ５１−１とスピーカアレイ５１−４により音源を生成し、その音源の生成には、スピーカアレイ５１−２とスピーカアレイ５１−３は用いないようにされる。
〈本技術の適用例２〉
〈環状マイクアレイを用いた例〉
また、図７では、直線マイクアレイを用いた例について説明したが、上述したようにマイクアレイは環状マイクアレイや球状マイクアレイでもよい。
例えば環状マイクアレイを用いる場合でも、図８に示すように受聴者毎制御点指定方法や最小値制御点指定方法により制御点を指定することが可能である。なお、図８において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
この例では、スピーカアレイ６１は、円形状、つまり環状にスピーカが配置された環状スピーカアレイとなっている。このスピーカアレイ６１は、図２の音場形成装置１１におけるスピーカアレイ２６に対応する。また、スピーカアレイ６１に囲まれる円形の領域が受聴エリアとなっており、受聴エリア内には２人の受聴者ＬＮ３１および受聴者ＬＮ３２がいる。
例えばスピーカアレイ６１を用いて音を出力し、音場を形成する場合、上述した受聴者毎制御点指定方法により受聴者ごとに制御点を指定すると、矢印Ｑ４１に示すように各受聴者は、リファレンスラインにより囲まれる領域内に位置するようになる。
すなわち、例えば受聴者ＬＮ３１は、その受聴者ＬＮ３１について指定された制御点からなる円形状のリファレンスラインＲＬ７１の内側に位置することになる。同様に、受聴者ＬＮ３２は、その受聴者ＬＮ３２について指定された制御点からなる円形状のリファレンスラインＲＬ７２の内側に位置することになる。
これに対して、上述した最小値制御点指定方法により複数の受聴者に対して１つの制御点を指定すると、矢印Ｑ４２に示すように全受聴者が、指定された制御点からなる円形状のリファレンスラインＲＬ８１の内側に位置することになる。
このような場合、例えばSDM法により焦点音源を生成するときには、スピーカアレイ６１とリファレンスラインとの間の位置に焦点音源が生成されるようにすればよい。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカアレイなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
（１）
受聴者の位置または形成する音源の位置を示す位置情報を取得する位置取得部と、
前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定する制御点指定部と、
指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成するフィルタ部と
を備える音場形成装置。
（２）
前記制御点指定部は、複数の前記受聴者ごとに、前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
（１）に記載の音場形成装置。
（３）
前記制御点指定部は、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
（１）に記載の音場形成装置。
（４）
前記制御点指定部は、前記位置情報に基づいて、複数の前記受聴者ごとに前記制御点を指定するか、または複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定するかを切り替えて前記制御点の指定を行う
（２）に記載の音場形成装置。
（５）
前記制御点指定部は、複数の前記受聴者の間の距離が所定の閾値以下である場合、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
（４）に記載の音場形成装置。
（６）
前記スピーカアレイは前記受聴者を囲むように配置される
（１）乃至（５）の何れか一項に記載の音場形成装置。
（７）
前記スピーカアレイをさらに備える
（１）乃至（６）の何れか一項に記載の音場形成装置。
（８）
複数の前記制御点のそれぞれに対応する前記フィルタ係数のそれぞれを記録するフィルタ係数記録部をさらに備える
（１）乃至（７）の何れか一項に記載の音場形成装置。
（９）
前記フィルタ部は、指定された前記制御点に対応する、前記スピーカアレイを構成するスピーカごとの前記フィルタ係数のうち、前記受聴者または前記音源の位置に応じたスピーカの前記フィルタ係数のみを用いて前記スピーカ駆動信号を生成する
（１）乃至（８）の何れか一項に記載の音場形成装置。
（１０）
受聴者の位置または形成する音源の位置を示す位置情報を取得し、
前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定し、
指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成する
ステップを含む音場形成方法。
（１１）
受聴者の位置または形成する音源の位置を示す位置情報を取得し、
前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定し、
指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
１１ 音場形成装置， ２１ 受聴者位置取得部， ２２ 音源位置取得部， ２３ 制御点指定部， ２４ フィルタ係数記録部， ２５ フィルタ部， ２６ スピーカアレイ

Claims (11)

  1. 受聴者の位置または形成する音源の位置を示す位置情報を取得する位置取得部と、
    前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定する制御点指定部と、
    指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成するフィルタ部と
    を備える音場形成装置。
  2. 前記制御点指定部は、複数の前記受聴者ごとに、前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
    請求項１に記載の音場形成装置。
  3. 前記制御点指定部は、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
    請求項１に記載の音場形成装置。
  4. 前記制御点指定部は、前記位置情報に基づいて、複数の前記受聴者ごとに前記制御点を指定するか、または複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定するかを切り替えて前記制御点の指定を行う
    請求項２に記載の音場形成装置。
  5. 前記制御点指定部は、複数の前記受聴者の間の距離が所定の閾値以下である場合、複数の前記受聴者のうちの最も前記スピーカアレイから近い前記受聴者の前記スピーカアレイからの距離に応じて前記制御点を指定する
    請求項４に記載の音場形成装置。
  6. 前記スピーカアレイは前記受聴者を囲むように配置される
    請求項１に記載の音場形成装置。
  7. 前記スピーカアレイをさらに備える
    請求項１に記載の音場形成装置。
  8. 複数の前記制御点のそれぞれに対応する前記フィルタ係数のそれぞれを記録するフィルタ係数記録部をさらに備える
    請求項１に記載の音場形成装置。
  9. 前記フィルタ部は、指定された前記制御点に対応する、前記スピーカアレイを構成するスピーカごとの前記フィルタ係数のうち、前記受聴者または前記音源の位置に応じたスピーカの前記フィルタ係数のみを用いて前記スピーカ駆動信号を生成する
    請求項１に記載の音場形成装置。
  10. 受聴者の位置または形成する音源の位置を示す位置情報を取得し、
    前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定し、
    指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成する
    ステップを含む音場形成方法。
  11. 受聴者の位置または形成する音源の位置を示す位置情報を取得し、
    前記位置情報に基づいて、前記受聴者または前記音源のスピーカアレイからの距離に応じて制御点を指定し、
    指定された前記制御点に対応するフィルタ係数と音源信号とを畳み込むことで、前記スピーカアレイにより所定の音場を形成するためのスピーカ駆動信号を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2018526014A 2016-07-05 2017-06-21 音場形成装置および方法、並びにプログラム Active JP6939786B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016133050 2016-07-05
JP2016133050 2016-07-05
PCT/JP2017/022774 WO2018008396A1 (ja) 2016-07-05 2017-06-21 音場形成装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018008396A1 true JPWO2018008396A1 (ja) 2019-04-18
JP6939786B2 JP6939786B2 (ja) 2021-09-22

Family

ID=60912573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526014A Active JP6939786B2 (ja) 2016-07-05 2017-06-21 音場形成装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10880638B2 (ja)
EP (2) EP3823301B1 (ja)
JP (1) JP6939786B2 (ja)
CN (1) CN109417668A (ja)
WO (1) WO2018008396A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880638B2 (en) * 2016-07-05 2020-12-29 Sony Corporation Sound field forming apparatus and method
CN110637466B (zh) * 2017-05-16 2021-08-06 索尼公司 扬声器阵列与信号处理装置
WO2019163013A1 (ja) * 2018-02-21 2019-08-29 株式会社ソシオネクスト 音声信号処理装置、音声調整方法及びプログラム
JP6970366B2 (ja) * 2018-04-26 2021-11-24 日本電信電話株式会社 音像再現装置、音像再現方法及び音像再現プログラム
JP7154049B2 (ja) * 2018-07-04 2022-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ エリア再生システム及びエリア再生方法
US11462200B2 (en) 2018-08-13 2022-10-04 Sony Corporation Signal processing apparatus and method, and program
JPWO2020100670A1 (ja) * 2018-11-15 2021-10-07 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
WO2020203343A1 (ja) * 2019-04-03 2020-10-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN116582803B (zh) * 2023-06-01 2023-10-20 广州市声讯电子科技股份有限公司 扬声器阵列的自适应控制方法、系统、存储介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042324A1 (ja) * 2011-09-22 2013-03-28 パナソニック株式会社 音響再生装置
JP2015056905A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 音声の到達性
WO2015076149A1 (ja) * 2013-11-19 2015-05-28 ソニー株式会社 音場再現装置および方法、並びにプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080079A (ja) * 2003-09-02 2005-03-24 Sony Corp 音声再生装置及び音声再生方法
JP4551652B2 (ja) * 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
US7492913B2 (en) * 2003-12-16 2009-02-17 Intel Corporation Location aware directed audio
JP4273343B2 (ja) * 2005-04-18 2009-06-03 ソニー株式会社 再生装置および再生方法
JP4449998B2 (ja) * 2007-03-12 2010-04-14 ヤマハ株式会社 アレイスピーカ装置
JP4561785B2 (ja) * 2007-07-03 2010-10-13 ヤマハ株式会社 スピーカアレイ装置
US8379891B2 (en) * 2008-06-04 2013-02-19 Microsoft Corporation Loudspeaker array design
KR101702330B1 (ko) * 2010-07-13 2017-02-03 삼성전자주식회사 근거리 및 원거리 음장 동시제어 장치 및 방법
EP2426949A3 (en) * 2010-08-31 2013-09-11 Samsung Electronics Co., Ltd. Method and apparatus for reproducing front surround sound
EP2661905B1 (en) * 2011-01-05 2020-08-12 Koninklijke Philips N.V. An audio system and method of operation therefor
JP6007474B2 (ja) * 2011-10-07 2016-10-12 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体
KR102028122B1 (ko) * 2012-12-05 2019-11-14 삼성전자주식회사 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체
CN104641659B (zh) * 2013-08-19 2017-12-05 雅马哈株式会社 扬声器设备和音频信号处理方法
JP6430506B2 (ja) * 2013-11-22 2018-11-28 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ハンズフリー・ビームパターン構成
CN107464553B (zh) * 2013-12-12 2020-10-09 株式会社索思未来 游戏装置
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
US10264383B1 (en) * 2015-09-25 2019-04-16 Apple Inc. Multi-listener stereo image array
EP3467818B1 (en) 2016-05-30 2020-04-22 Sony Corporation Locally attenuated sound field forming device, corresponding method and computer program
EP3484184A4 (en) * 2016-07-05 2019-06-19 Sony Corporation Sound field generation device, method and program
US10880638B2 (en) * 2016-07-05 2020-12-29 Sony Corporation Sound field forming apparatus and method
US10484812B2 (en) * 2017-09-28 2019-11-19 Panasonic Intellectual Property Corporation Of America Speaker system and signal processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042324A1 (ja) * 2011-09-22 2013-03-28 パナソニック株式会社 音響再生装置
JP2015056905A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 音声の到達性
WO2015076149A1 (ja) * 2013-11-19 2015-05-28 ソニー株式会社 音場再現装置および方法、並びにプログラム

Also Published As

Publication number Publication date
EP3823301A1 (en) 2021-05-19
EP3823301B1 (en) 2023-08-23
EP3484177A4 (en) 2019-07-03
JP6939786B2 (ja) 2021-09-22
WO2018008396A1 (ja) 2018-01-11
EP3484177A1 (en) 2019-05-15
US10880638B2 (en) 2020-12-29
CN109417668A (zh) 2019-03-01
US20190230435A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6939786B2 (ja) 音場形成装置および方法、並びにプログラム
JP6933215B2 (ja) 音場形成装置および方法、並びにプログラム
KR102456765B1 (ko) 라우드스피커 위치 추정을 위한 시스템 및 방법
US9361898B2 (en) Three-dimensional sound compression and over-the-air-transmission during a call
CN108370487B (zh) 声音处理设备、方法和程序
EP3675527B1 (en) Audio processing device and method, and program therefor
US20180213309A1 (en) Spatial Audio Processing Apparatus
US11659349B2 (en) Audio distance estimation for spatial audio processing
US11284211B2 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
JP2020500480A (ja) デバイス内の非対称配列の複数のマイクからの空間メタデータの分析
JP2020500480A5 (ja)
KR20170053623A (ko) 사운드 소스들을 향상시키기 위한 방법 및 장치
CN114450977A (zh) 用于在空间变换域中处理声场表示的装置、方法或计算机程序
JP7036008B2 (ja) 局所消音音場形成装置および方法、並びにプログラム
US20210105571A1 (en) Sound image reproduction device, sound image reproduction method, and sound image reproduction program
JP2020522189A (ja) インコヒーレント冪等アンビソニックスレンダリング
WO2018066376A1 (ja) 信号処理装置および方法、並びにプログラム
KR20160122029A (ko) 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
JPWO2018211984A1 (ja) スピーカアレイ、および信号処理装置
US20230362537A1 (en) Parametric Spatial Audio Rendering with Near-Field Effect
Iida et al. Acoustic VR System

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R151 Written notification of patent or utility model registration

Ref document number: 6939786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151