JP6650245B2 - インパルス応答生成装置及びプログラム - Google Patents

インパルス応答生成装置及びプログラム Download PDF

Info

Publication number
JP6650245B2
JP6650245B2 JP2015209634A JP2015209634A JP6650245B2 JP 6650245 B2 JP6650245 B2 JP 6650245B2 JP 2015209634 A JP2015209634 A JP 2015209634A JP 2015209634 A JP2015209634 A JP 2015209634A JP 6650245 B2 JP6650245 B2 JP 6650245B2
Authority
JP
Japan
Prior art keywords
impulse response
microphone
sound source
virtual sound
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015209634A
Other languages
English (en)
Other versions
JP2017085265A (ja
Inventor
千晶 森
千晶 森
敏行 西口
敏行 西口
一穂 小野
一穂 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2015209634A priority Critical patent/JP6650245B2/ja
Publication of JP2017085265A publication Critical patent/JP2017085265A/ja
Application granted granted Critical
Publication of JP6650245B2 publication Critical patent/JP6650245B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、インパルス応答生成装置及びプログラムに関する。
テレビ番組や音楽、映画などの音響制作において、音の広がり感や臨場感を与えるために、残響を付加する技術が用いられている。空間の残響をシミュレーションで模擬したIIR(Infinite impulse response、無限インパルス応答)フィルタ型のものや、実空間で測定したインパルス応答を用いて残響を生成するFIR(Finite impulse response、有限インパルス応答)フィルタ型のものなど、様々な残響付加装置が開発されている(例えば、特許文献1参照)。特に、FIRフィルタ型の残響付加装置では、インパルス応答を測定した空間の残響特性が忠実に再現できるという特長がある。
ところで、5.1チャネルサラウンド方式やスーパーハイビジョン用の22.2マルチチャンネル方式といったマルチチャンネル音響方式は、平面上もしくは空間内に配置した複数のスピーカを用いて、様々な方向から到来する音を表現することができるという特長を持っている(例えば、非特許文献1参照)。一般的にこれらのコンテンツを制作する過程でも、残響付加装置を用いて豊かな臨場感と空間的な広がり感を付与することが多い。実空間において壁や床、天井など様々な方向から反射音が到来するように、マルチチャンネル音響方式における残響付加でも、ある任意の方向から到来する特徴的な反射音(方向別の残響)を、その方向に設置したスピーカから再生することで、インパルス応答を測定した空間の残響特性をできるだけ忠実に再現するのが理想である。特に直接音の後、100ms(ミリ秒)くらいまでの間に到来する初期反射音は、音像の幅や方向感などの知覚に寄与することが分かっており、残響付加において初期反射音を方向別に再生することは、インパルス応答を測定した空間の印象を再現する上で重要である。そこで、指向性マイクロホンで測定したインパルス応答を用いて、方向別のインパルス応答を生成する技術が提案されてきた(例えば、特許文献2、3参照)。
一方、近接四点法(例えば、非特許文献2参照)やそれを拡張した方法(例えば、非特許文献3、4参照)など、複数のマイクロホンを用いて、音源や仮想音源(反射音)の位置を推定する様々な技術が提案されてきた。これらの手法では、各マイクロホンの相互相関やインテンシティ算出することにより、受音点における反射音の到来時刻、到来方向を予測することができる。
特開2014−45282号公報 特開2013−238643号公報 特開2014−112767号公報
W.woszczyk,et al.,"Space Builder: An impulse response-based tool for immersive 22.2 channel ambiance design",日本,AES 40th international conference,2010年 山崎芳男,「近接4点法による音場の空間情報の可視化」,テレビジョン学会誌,1990年,Vol.44,No.3,p.253-258 西村昌浩,外2名,「BoSCマイクロホンによる仮想音源推定のための近接4点法の拡張アルゴリズムの提案」,2012年3月,日本音響学会講演論文集、p.789-790 小林万理恵他,外2名,「分散配置した近接4点法マイクロホンによる音源位置推定と音源分離」,日本音響学会講演論文集,2012年3月,p.685-686
上述した技術によって生成したインパルス応答には、厳密にはある任意の方向以外から到来する反射音も含まれている。指向性マイクロホンとは言っても、その指向性には幅があるため、近接する複数のマイクロホンで同一の反射音を拾ってしまうからである。このため、これらのインパルス応答を用いて残響付加を行う場合、ある反射音が複数のスピーカから再生され、リスニングポイントでの反射音の密度が高くなってしまい、測定音場の空間印象が厳密には再現されないという問題点がある。
本発明は、このような事情を考慮してなされたもので、残響付加において、測定音場の空間印象をより厳密に再現できる方向別のインパルス応答を生成するインパルス応答生成装置及びプログラムを提供する。
本発明の一態様は、同一の音響信号を空間内の異なる位置に設置された複数のマイクロホンにより収音して得られた信号それぞれに基づき算出された各インパルス応答を用いて、複数の前記マイクロホンに囲まれた任意の位置における、前記空間内の仮想音源の情報を推定する仮想音源情報推定部と、前記仮想音源情報推定部により推定された前記仮想音源の情報と、前記インパルス応答との比較に基づいて、前記インパルス応答において、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音を判定する比較判定部と、前記インパルス応答から、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来すると前記比較判定部により判定された反射音以外の反射音を間引いて方向別のインパルス応答を生成する反射音除去部と、を備えることを特徴とするインパルス応答生成装置である。
本発明の一態様は、上述するインパルス応答生成装置であって、前記仮想音源の情報は、前記任意の位置における前記仮想音源の到来時刻及び到来方向を示し、前記比較判定部は、前記仮想音源の到来時刻と、前記仮想音源の到来方向に対応したマイクロホンにより収音した信号から算出された前記インパルス応答の波形構造が表す経時的な音の大きさの変化との比較に基づいて、前記インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音を判定する、ことを特徴とする。
本発明の一態様は、上述するインパルス応答生成装置であって、前記比較判定部は、複数の前記マイクロホンのうち前記仮想音源の到来方向に対応したマイクロホンを選択し、選択した前記マイクロホンにより収音した信号から算出された前記インパルス応答において、選択した前記マイクロホンと前記任意の位置との距離に応じた遅延を前記仮想音源の到来時刻から減算した時刻を含んだ所定の時刻範囲内で生じた局所的なピークを特定する処理を前記仮想音源のそれぞれについて行い、前記インパルス応答において前記処理により特定された局所的なピークを、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音と判定する、ことを特徴とする。
本発明の一態様は、コンピュータを、同一の音響信号を空間内の異なる位置に設置された複数のマイクロホンにより収音して得られた信号それぞれに基づき算出された各インパルス応答を用いて、複数の前記マイクロホンに囲まれた任意の位置における、前記空間内の仮想音源の情報を推定する仮想音源情報推定手段と、前記仮想音源情報推定手段により推定された前記仮想音源の情報と、前記インパルス応答との比較に基づいて、前記インパルス応答において、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音を判定する比較判定手段と、前記インパルス応答から、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来すると前記比較判定手段により判定された反射音以外の反射音を間引いて方向別のインパルス応答を生成する反射音除去手段と、を具備するインパルス応答生成装置として機能させるためのプログラムである。
本発明によれば、残響付加において、測定音場の空間印象をより厳密に再現できる方向別のインパルス応答を生成することが可能となる。
単一指向性マイクロホンの指向特性を示す図である。 単一指向性マイクロホンにより測定されたインパルス応答を示す図である。 本発明の一実施形態によるインパルス応答生成装置の構成を示す機能ブロック図である。 同実施形態によるインパルス応答測定方法の例を示す図である。 同実施形態によるインパルス応答生成装置における方向別インパルス応答生成処理のフロー図である。 同実施形態によるインパルス応答測定方法の例を示す図である。 同実施形態によるインテンシティを用いた仮想音源情報の推定処理を説明するための図である。 同実施形態による相互相関係数を用いた仮想音源情報推定処理のフロー図である。 同実施形態による比較判定処理及び反射音除去処理の例を示す図である。
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
まず、図1及び図2を用いて、複数の単一指向性マイクロホンによる収音を説明する。
図1は、単一指向性マイクロホンの指向特性を示す図である。マイクロホンM及びMは、単一指向性マイクロホンである。同図では、方向別の反射音を収音するため、マイクロホンMをD1方向に向けて、マイクロホンMをD2方向に向けて配置している。マイクロホンMの指向特性はRであり、マイクロホンMの指向特性はRである。点線は、マイクロホンMMbが全指向性マイクロホンであった場合の収音範囲を示す。D1方向からは反射音Aが、D2方向からは反射音Bが到来する。
図2は、図1に示す単一指向性マイクロホンにより測定されたインパルス応答を示す図である。インパルス応答は、TSP(Time Stretched Pulse)信号などの音響測定用の信号を放射し、マイクロホンにより収音(測定)された信号を処理することによって算出されるものであり、音の大きさの経時的な変化を表す。本明細書では、あるマイクロホンにより収音された信号を処理することによって算出されたインパルス応答を、そのマイクロホンにより測定されたインパルス応答と記載する。具体的には、ある任意の位置のマイクロホンにより測定されたインパルス応答は、時刻tと、時刻tにおいてそのマイクロホンが収音した音の振幅とを対応付けた情報として得られる。図2(a)は、図1に示すマイクロホンMにより測定されたインパルス応答h(t)を示し、図2(b)は、図1に示すマイクロホンMにより測定されたインパルス応答h(t)を示す。
本来、D1方向に向けて設置したマイクロホンMのみでD1方向からの反射音Aを収音し、D2方向に向けて設置したマイクロホンMのみでD2方向からの反射音Bを収音するのが理想である。しかし、図1に示すように、実際には指向性マイクロホンの指向特性には幅がある。そのため、反射音A、BともマイクロホンM、Mの両方で収音され、図2に示すインパルス応答h(t)、h(t)のような波形となってしまう。つまり、インパルス応答h(t)では、反射音Aより反射音Bの方がレベルは小さく、インパルス応答h(t)では、反射音Bより反射音Aの方がレベルは小さいものの、それぞれのマイクロホンに対応する方向(測定したい方向)以外から到来する反射音も含まれてしまう。
そのため、複数の指向性マイクロホンのそれぞれにより測定されたインパルス応答を使って残響付加を行うと、各マイクロホンに対応する方向(測定したい方向)以外から到来する反射音が複数のスピーカから再生されてしまい、測定空間の印象が変わってしまう可能性がある。そこで、本実施形態のインパルス応答生成装置は、マイクロホンMにより収音された反射音Bや、マイクロホンMにより収音された反射音Aのような、マイクロホンに対応する方向(測定したい方向)以外から到来する反射音を、測定されたインパルス応答から除去し、より正確な方向別のインパルス応答を生成する。
方向別のインパルス応答を生成するため、本実施形態では、まず、複数のマイクロホンを空間内の任意の位置に配置し、インパルス応答を測定する。インパルス応答生成装置は、各マイクロホンにより測定されたインパルス応答を用いて、マイクロホン群に囲まれた任意の位置における、空間内の仮想音源(反射音)の到来方向及び到来時刻を推定する。インパルス応答生成装置は、推定したそれらの情報と、各マイクロホンにより測定されたインパルス応答に含まれる反射音の到来時刻とを照らし合わせる。インパルス応答生成装置は、照らし合わせの結果に基づき、各マイクロホンに対応する方向(測定したい方向)以外から到来する反射音を、そのマイクロホンにより測定されたインパルス応答からの除去対象として特定する。インパルス応答生成装置は、各マイクロホンにより測定されたインパルス応答から、除去対象の任意の反射音を除去し、方向別のインパルス応答を生成する。なお、各マイクロホンにより収音されるべき到来方向は、そのマイクロホンの設置方向に加え、隣接するマイクロホンの設置方向等によっても異なり得る。
図3は、本発明の一実施形態によるインパルス応答生成装置1の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。インパルス応答生成装置1は、例えば、コンピュータ装置により実現することができる。同図に示すように、インパルス応答生成装置1は、記憶部11と、測定情報取得部12と、仮想音源情報推定部13と、比較判定部14と、反射音除去部15とを備えて構成される。
記憶部11は、各マイクロホンにより測定されたインパルス応答など各種情報を記憶する。
測定情報取得部12は、空間内の任意の位置に配置した複数のマイクロホンのそれぞれにより測定されたインパルス応答を取得し、記憶部11に書き込む。以下では、n本のマイクロホンのうちi番目のマイクロホンをM(iは1以上n以下の整数)と記載し、マイクロホンMにより測定されたインパルス応答をh(t)と記載する。また、インパルス応答h(t)に含まれる局所的なピーク(包絡の極大点)における時刻を、時刻順にti1,ti2,…とする。
仮想音源情報推定部13は、各マイクロホンにより測定されたインパルス応答からインテンシティや相互相関係数などを算出することにより、マイクロホン群(マイクロホンM〜M)で囲まれた任意の点における、空間内の仮想音源の情報を推定する。推定の対象は、方向知覚への寄与が大きいと考えられるレベルの仮想音源である。方向知覚への寄与が大きいと考えられるレベルの仮想音源は、主に初期反射音部分、直接音から100ms(ミリ秒)くらいまでの間に受音点に到来する仮想音源である。
比較判定部14は、仮想音源情報推定部13が推定した仮想音源の情報と元のインパルス応答の波形構造とを比較する。比較判定部14は、残響付加の際に、ある反射音が複数のスピーカから重複して再生されないよう、比較結果に基づき、元のインパルス応答から除去すべき反射音(局所的なピーク)を判定する。
反射音除去部15は、元のインパルス応答から、比較判定部14が判定した反射音(局所的なピーク)を除去し、方向別のインパルス応答を生成する。この生成された方向別のインパルス応答を用いて、従来技術により残響付加が行われる。
図4は、インパルス応答測定方法の例を示す図である。インパルス応答の測定空間内に、インパルス応答測定用信号を再生するスピーカと複数のマイクロホンM〜Mとを配置する。ここでは、マイクロホンM〜Mは、単一指向性マイクロホンであるが、全指向性マイクロホンを使用してもよい。スピーカの位置や、マイクロホンの個数及び位置などは、測定空間の広さや残響の使用用途、再生方法に応じて設定する。例えば、22.2マルチチャンネル方式の場合は、24本もしくはLFE(Low Frequency Effect)チャンネルを除いた22本のマイクロホンを使用することが考えられる。そして、適当な位置に設置したスピーカから、TSP信号などのインパルス応答測定用の音響信号を放射し、マイクロホンM〜Mからなるマイクロホン群で録音する。これにより各マイクロホンM、M、M、…、Mのそれぞれにより測定されたインパルス応答h(t)、h(t)、h(t)、…、h(t)が得られる。そして、マイクロホン群で囲まれた空間内の任意の点をPとする。図4(a)では、マイクロホンMの設置位置が点Pであり、図4(b)では、マイクロホンM〜Mのいずれも設置されていない位置が点Pである。
図5は、インパルス応答生成装置1における方向別インパルス応答生成処理のフロー図である。
まず、インパルス応答生成装置1の測定情報取得部12は、各マイクロホンM、M、M、…、Mにより測定されたインパルス応答h(t)、h(t)、h(t)、…、h(t)を取得する(ステップS10)。例えば、測定情報取得部12は、インパルス応答を各マイクロホンM〜Mから受信してもよく、他のコンピュータ装置から受信してもよく、記録媒体から読み出してもよい。測定情報取得部12は、取得したインパルス応答を記憶部11に書き込む。
仮想音源情報推定部13は、記憶部11から読み出したインパルス応答h(t)、h(t)、h(t)、…、h(t)を元に、マイクロホン群で囲まれた任意の点Pにおける、空間内の仮想音源の情報e(r,φ,t)、e(r,φ,t)、…、e(r,φ,t)を予測する(ステップS20)。ここで、rは振幅、θは方位角、φは仰角、tは到来時刻、mは予測された仮想音源の個数であり、r、θ、φ及びtの添え字は、m個の仮想音源のうち何番目の仮想音源であるかを示す。振幅rは仮想音源のレベルを表し、方位角θ及び仰角φは点Pにおける仮想音源の到来方向を表す。方位角θ及び仰角φを表すために用いられる3次元座標空間は任意に設定し得る。ここでは、点Pの位置を原点0とし、x軸をスピーカと点Pとを結ぶ直線、y軸を地面と平行な平面上でx軸と垂直な方向、z軸をxy平面と垂直な方向とする3次元座標空間を用いる。また、ここでは、点PにマイクロホンMを設置した場合を考える。仮想音源情報推定部13は、近接四点法やそれを拡張した方法など任意の既存の手法を用いてインテンシティや各チャンネル間の相互相関を算出することにより、仮想音源情報を予測する。算出手順の詳細については後述する。仮想音源情報推定部13は、予測した仮想音源情報e〜eを記憶部11に書き込む。
次に、比較判定部14は、各インパルス応答h(t)〜h(t)から除去すべき反射音を判定する比較判定処理を行う(ステップS30)。まず、比較判定部14は、記憶部11からインパルス応答h(t)、h(t)、h(t)、…、h(t)及び仮想音源情報e(r,φ,t)、e(r,φ,t)、…、e(r,φ,t)を読み出す。比較判定部14は、仮想音源情報推定部13が推定した、点Pにおける仮想音源の情報e〜eから、各仮想音源の到来時刻(t,t,…,t)を抽出する。比較判定部14は、各仮想音源の到来時刻(t,t,…,t)と、測定されたインパルス応答h(t)、h(t)、…、h(t)のそれぞれに含まれる局所的なピークの到来時刻(t11,t12,…)、(t21,t22,…)、…、(tn1,tn2,…)とを比較する。比較判定部14は、比較結果に基づいて、各インパルス応答から取り除くべき反射音を判定する。取り除くべき反射音とは、あるマイクロホンにより測定されたインパルス応答に含まれる反射音のうち、そのマイクロホンに対応する方向(マイクロホンを向けた方向)とは異なる方向から到来する反射音である。つまり、この取り除くべき反射音とは、その到来方向に向けて配置したマイクロホンだけではなく、その到来方向以外に向けて配置した他のマイクロホンにより測定されたインパルス応答において、重複して測定された反射音である。比較判定部14は、取り除くべき反射音の判定にあたって、点Pから各マイクロホンM、M、…、Mまでの距離に応じた遅延τ、τ、…、τも考慮する。さらに、判定には、測定誤差等も加味する必要がある。そこで、比較判定部14は、ある所定の窓幅wを設定する。比較判定部14は、遅延を考慮した仮想音源の到来時刻と、インパルス応答においてその到来時刻を中心とした窓幅wの時刻範囲内で局所的なピークが生じた時刻とを比較して判定を行う。
反射音除去部15は、各インパルス応答h(t)〜h(t)から比較判定部14が除去すべきと判定した反射音を除去する反射音除去処理を行い、方向別のインパルス応答を生成する(ステップS40)。まず、反射音除去部15は、記憶部11から読み出したインパルス応答h(t)、h(t)、…、h(t)のそれぞれから、比較判定部14によりそのインパルス応答から除去すべきと判定された反射音を除去し、方向別のインパルス応答h’(t)、h’(t)、…、h’(t)を生成する。
以下に、具体例を交えながら、図5のステップS20〜ステップS40の詳細な処理を説明する。
本来、三次元空間内の仮想音源情報を得るためには、同一平面内にない4点以上にマイクロホンを設置する必要があるが、ここでは原理を分かりやすく説明するため、同一平面内に複数のマイクロホンを置いて測定した場合を考える。
図6は、インパルス応答測定方法の例を示す図である。マイクロホンMを中心とし、それを取り囲むようにマイクロホンM〜Mを、マイクロホンMから等距離かつ等間隔に設置する。隣り合うマイクロホンM〜MとマイクロホンMとがなす角度は90度であり、マイクロホンMと各マイクロホンM〜Mとの距離はLである。具体的には、マイクロホンM、M、M、Mは、マイクロホンMを原点とした2次元空間のxy平面上に設置される。マイクロホンM、M、M、M、Mそれぞれの設置方向は、x軸に対してそれぞれ0度、0度、90度、270度、180度である。
そして、スピーカから測定信号を再生し、各マイクロホンM〜Mにより収音された信号からインパルス応答h(t)〜h(t)を算出する。同図に示すように、各インパルス応答h(t)には(iは1以上4以下の整数)、マイクロホンMに対応する方向(マイクロホンを向けた方向)から到来する反射音のレベル(実線)だけでなく、それ以外の方向から到来する反射音のレベル(破線)も含まれてしまう。指向性マイクロホンで測定すれば、全指向性マイクロホンで測定するよりも、マイクロホンに対応する方向(マイクロホンを向けた方向)以外から到来する反射音を抑制することができる。しかしながら、指向性マイクロホンとは言っても、その指向性には幅があるため、隣接する複数のマイクロホンで同じ反射音を拾ってしまう。そこで、インパルス応答生成装置1は、後述する処理によって、マイクロホン群の中心点M(マイクロホンMの位置)における仮想音源情報を推定し、その推定した仮想音源情報を元に、各マイクロホンM〜Mのインパルス応答h(t)〜h(t)から重複する反射音を間引く。
次に、ステップS20において仮想音源情報推定部13が、測定されたインパルス応答から仮想音源情報を推定する処理を説明する。推定には様々な手法が用いられるが、ここでは例として、インテンシティを用いる手法と、相互相関係数を用いる手法とを示す。
まず、インテンシティを用いた仮想音源情報の推定処理を説明する。
図7は、インテンシティを用いた仮想音源情報の推定処理を説明するための図である。
最初に、仮想音源情報推定部13は、インパルス応答h(t)及びインパルス応答h(t)から0−X方向(M−Mの方向)の瞬時インテンシティI(t)を求める。さらに、仮想音源情報推定部13は、インパルス応答h(t)及びインパルス応答h(t)とから0−Y方向(M−Mの方向)の瞬時インテンシティI(t)を求める。
瞬時インテンシティI(t)は、以下の式(1)により求められる。
Figure 0006650245
式(1)において、p(t)、p(t)は、マイクロホンで測定された時刻tにおける音圧であり、それぞれ、インパルス応答h(t)、h(t)を用いる。また、dは、マイクロホン間の間隔であり、マイクロホンMとマイクロホンMの距離Lを用いる。ρは、媒質の密度である。瞬時インテンシティI(t)の値の正負は、x軸方向の到来方向を表す。
瞬時インテンシティI(t)も同様に求められる。p(t)、p(t)には、インパルス応答h(t)、h(t)を用い、dには、マイクロホンMとマイクロホンMの距離Lを用いる。瞬時インテンシティI(t)の値の正負は、y軸方向の到来方向を表す。
なお、瞬時インテンシティI(t)は、x軸上に設置した任意のマイクロホンにより測定されたインパルス応答の組合せ(例えば、インパルス応答h(t)及びh(t))を用いて算出することができる。同様に、瞬時インテンシティI(t)は、y軸上に設置した任意のマイクロホンにより測定されたインパルス応答の組合せ(例えば、インパルス応答h(t)及びh(t))を用いて算出することができる。
続いて、仮想音源情報推定部13は、ヒルベルト変換により瞬時インテンシティI(t)、瞬時インテンシティI(t)それぞれの包絡を取ったエンベロープインテンシティIh(t)、Ih(t)を求める。仮想音源情報推定部13は、エンベロープインテンシティIh(t)、Ih(t)のレベルをベクトル合成し、合成インテンシティのレベルLev_Ih(t)を求める。エンベロープインテンシティIh(t)、Ih(t)のレベルをベクトル合成することにより、時刻tにおける仮想音源の到来方向も得られるが、同図では、レベルの経時的な変化のみを示している。仮想音源情報推定部13は、合成インテンシティレベルLev_Ih(t)の最初のピークレベルLev_Ps(直接音)から任意のレベルLev_Peまでの範囲に表れる局所的なピークP、P、…、Pを検出する。仮想音源情報推定部13は、検出したピークP、P、…、Pにおける合成インテンシティから、室内(測定空間)における仮想音源の情報e(r,φ,t)、e(r,φ,t)、…、e(r,φ,t)を得る。なお、到来時刻t<t<t<…<tとする。仮想音源の情報e〜eを到来時刻によって並べた情報をe(t)とする。
上記は、マイクロホンM〜Mが同一平面(xy平面)上に設置されている例であるため、仮想音源のZ座標は0であり、仰角φ、φ、…、φも0である。z軸上にもマイクロホンを設置した場合、つまり三次元的にマイクロホンを設置した場合は、その設置したマイクロホンにより測定されたインパルス応答の組合せをさらに用いて上記と同様に合成インテンシティを算出することにより、各仮想音源の仰角を算出することができる。つまり、仮想音源情報推定部13は、z軸上に設置した2つのマイクロホンにより測定されたインパルス応答の組合せを用いて、0−Z方向の瞬時インテンシティI(t)の包絡を取ったエンベロープインテンシティIh(t)を算出する。仮想音源情報推定部13は、エンベロープインテンシティIh(t)、Ih(t)、Ih(t)のレベルをベクトル合成し、Lev_PsとLev_Peの範囲に表れる局所的なピークP、P、…、Pを検出する。
次に、相互相関係数を用いた仮想音源情報の推定処理を説明する。
時刻tから時刻t+Δにおける2つの各インパルス応答h(t)、h(t)間の短時間相関係数Sij(τ)は、次式(2)で与えられる。Δは分析窓長であり、τは時間差である。
Figure 0006650245
異なる位置に設置された各マイクロホンに同一の反射音が到達する時刻にはずれがあるため、各マイクロホンにより測定されたインパルス応答には同一の反射音が異なる時刻に表れる。短時間相関係数Sijの値が大きいということは、同一の反射音が時間差τだけずれてh(t)とh(t)に出現することを表す。つまり、同一の反射音がτだけずれてマイクロホンM、マイクロホンMに到達したことを表す。本実施形態では、x軸上、y軸上のそれぞれに設置した任意のマイクロホンにより測定されたインパルス応答の組合せを用いるため、ここでは、i=0,1,2、かつ、j=1,2(i≠j)とする。つまり、(i,j)の組合せには、(0,1)、(0,2)、(1,2)又は(2,1)の3つがある。以下では、i=0,1,2かつj=1,2である場合を例に説明するが、x軸上、y軸上のそれぞれに設置した任意のマイクロホンにより測定されたインパルス応答の組合せ(例えば、i=0,3,4かつj=3,4など)を用いることができる。
図8は、相互相関係数を用いた仮想音源情報推定処理のフロー図である。
まず、仮想音源情報推定部13は、時刻tに初期値を設定する(ステップS110)。初期値は、例えば、インパルス応答h(t)において直接音が検出された時刻である。仮想音源情報推定部13は、各(i,j)の組合せについて、相関係数Sij(τ)に極大値を与える時間差τ=τijを見つける(ステップS120)。仮想音源情報推定部13は、各(i,j)の組合せごとに、相関係数Sij(τ)がある一定の値(例えば、0.8)以上となる時間長(窓幅)Δijを求め、求めた中で最小の値の時間長Δij_minを選択する(ステップS130)。時間長Δij_minは、ある反射音が到達してから、次の反射音が到達するまでの最も短い時間に相当する。時間長Δijの最小値を選択することにより、窓幅の中に次の反射音が含まれないようにする。
次に、仮想音源情報推定部13は、この時間長Δij_min付近で補間処理を行う。ここでは、補間処理として、サンプリング周波数fsを数十倍にあげる。本実施形態では、サンプリング周波数fsを16倍に上げる。仮想音源情報推定部13は、補間処理により得られたインパルス応答h(t)、h(t)を用い、ステップS120と同様の処理を行い、相関係数Sij(τ)に極大値を与え、かつ、より精度の高い時間差τ=hτijを求める(ステップS140)。仮想音源情報推定部13は、求めた時間差hτijを用いて仮想音源の座標及び角度を算出する(ステップS150)。
仮想音源とマイクロホンMの距離は、cを音速、仮想音源が放射された時刻をtとすると、(t−t)×cにより得られる。また、仮想音源とマイクロホンMの距離は、(t+hτ01−t)×cにより、仮想音源とマイクロホンMの距離は、(t+hτ02−t)×cにより得られる。マイクロホンMとx軸上のマイクロホンMとの距離、及び、マイクロホンMとy軸上のマイクロホンM2との距離は既知(距離L)である。よって、これらのマイクロホン間の距離、及び、仮想音源と各マイクロホンM、M、Mとの距離とに基づいて、時刻tにおいて中心点Mに到達した仮想音源の座標(X,Y,Z)が得られ、この座標から方位角及び仰角が得られる。
仮想音源情報推定部13は、時刻tが分析終了の時刻に達していなければ(ステップS160:NO)、分析する窓のスタート地点である時刻tをΔij_minだけずらして(ステップS170)、ステップS120からの処理を行う。仮想音源情報推定部13は、時刻tが分析終了の時刻に達するまで(ステップS160:YES)、次々に仮想音源を検出していく。このような処理により、仮想音源情報推定部13は、マイクロホン群の中心点Mにおける仮想音源情報e(r,φ,t)、e(r,φ,t)、…、e(r,φ,t)を推定することができる。
上記では、マイクロホンM〜Mが同一平面(xy平面)上に設置されているため、仮想音源のZ座標は0となり、従って、仰角φ、φ、…、φも0となる。xy平面上にないz軸上のマイクロホンなど、同一平面上にないマイクロホンにより測定されたインパルス応答をさらに用いて上記と同様の処理を行うことで、各仮想音源のZ座標が求められ、仰角も算出できる。
次に、図5のステップS30における比較判定処理及び図5のステップS40における反射音除去処理を説明する。
図9は、比較判定処理及び反射音除去処理の例を示す図である。ここでは、仮想音源情報推定の結果、4つの仮想音源情報e(r,φ,t)、e(r,φ,t)、e(r,φ,t)、e(r,φ,t)が推定された場合を例に説明する。比較判定部14は、中心点Mにおける仮想音源の情報e〜eから各仮想音源の到来時刻(t,t,t,t)を抽出する。比較判定部14は、各仮想音源の到来時刻(t,t,t,t)と、測定されたインパルス応答h(t)、h(t)、h(t)、h(t)のそれぞれに含まれる局所的なピークの到来時刻(t11,t12,…),(t21,t22,…),(t31,t32,…),(t41,t42,…)とを比較し、取り除くべき反射音を判定する。取り除くべき反射音とは、あるインパルス応答において、そのインパルス応答が測定されたマイクロホンに対応する方向(マイクロホンを向けた方向)以外から到来する反射音である。
判定の流れを下記に示す。なお、ここで、mは予測した仮想音源の数(図9ではm=4)であり、nはマイクロホンの数(図9ではn=4)である。
(手順1)比較判定部14は、仮想音源情報e(kは1以上m以下の整数)ごとに、方位角θに基づいて仮想音源の到来方向に対応するマイクロホンM(iは1以上n以下の整数)を特定し、特定したマイクロホンMにより測定されたインパルス応答h(t)を選択する。具体的には、比較判定部14は、設置方向が方位角θであるマイクロホンにより測定されたインパルス応答を選択する。方位角θが、いずれのマイクロホンM〜Mの設置方向とも一致しない場合、比較判定部14は、下記の(1)又は(2)のいずれかによりインパルス応答を選択する。
(1)比較判定部14は、θ方向の両隣に存在するマイクロホンのうち、設置方向がθに近い方のマイクロホンのインパルス応答を選択する。この場合、図6に示すマイクロホンM、M、M、Mで測定すべき反射音の方向は、例えば、方位角がx軸に対してそれぞれ0〜45及び315〜360度、45〜135度、135〜225度、225〜315度である。
(2)比較判定部14は、θ方向の両隣に存在するマイクロホンのそれぞれにより測定された2つのインパルス応答を選択する。この場合、マイクロホンM、M、M、Mで測定すべき反射音の方向は、0〜90及び270〜360度、0〜180度、90〜270度、180〜360度である。
(手順2)比較判定部14は、手順1により仮想音源情報eについて選択したインパルス応答h(t)において、t−τ−w/2≦t≦t−τ+w/2の範囲内で、局所的なピークが生ずる時刻t=tisを選択する。ここで、tは、中心点Mにおける仮想音源の到来時刻、τは手順1において選択されたマイクロホンMから中心点Mまでの距離Lに応じた遅延、wは窓幅である。なお、窓幅wは予め設定されるが、隣接するマイクロホンとの距離が長い程大きな値とすることが望ましい。また、sは各インパルス応答における局所的なピークのインデックスであり、tisはインパルス応答h(t)の波形構造においてs番目の局所的なピークが生ずる時刻である。
(手順3)比較判定部14は、推定した仮想音源情報ごとに(手順1)及び(手順2)を繰り返し、各インパルス応答において選ばれなかった局所的なピークを、そのインパルス応答から除去すべき反射音であると判定する。反射音除去部15は、各インパルス応答から、そのインパルス応答について比較判定部14が除去すべきと判定した局所的なピークを除去する。
図9に示した例では、まず、比較判定部14は、仮想音源情報e(r,φ,t)の到来方向を表すθがマイクロホンMの設置方向であるため、マイクロホンMにより測定されたインパルス応答h(t)を選択する。比較判定部14は、インパルス応答h(t)において、t−τ−w/2≦t≦t−τ+w/2の範囲内で局所的なピークが生ずる時刻t=t11を選択する。
次に、仮想音源情報e(r,θ,φ,t)の到来方向を表すθは、マイクロホンMの設置方向とマイクロホンMの設置方向の間の方位角であり、仮想音源はマイクロホンMとマイクロホンMの間から到来する。比較判定部14は、マイクロホンMの設置方向よりもマイクロホンMの設置方向のほうがθに近いため、マイクロホンMにより測定されたインパルス応答h(t)を選択する(上記の手順1の(1)を適用)。比較判定部14は、インパルス応答h(t)において、t−τ−w/2≦t≦t−τ+w/2の範囲内で局所的なピークが生ずる時刻t=t22を選択する。
比較判定部14は、仮想音源情報e(r,θ,φ,t)及びe(r,θ,φ,t)についても同様に処理し、インパルス応答h(t)において時刻t=t32、インパルス応答h(t)において時刻t=t44を選択する。
反射音除去部15は、インパルス応答h(t)の時刻t11におけるピークP(t11)、インパルス応答h(t)の時刻t22におけるピークP(t22)、インパルス応答h(t)の時刻t32におけるピークP(t32)、及び、インパルス応答h(t)の時刻t44におけるピークP(t44)以外の局所的なピークを除去する。これより、反射音除去部15は、新たな方向別インパルス応答h’(t),h’(t),h’(t),h’(t)を生成する。
以上説明した実施形態によって、従来の技術よりも、測定音場に近似した方向別のインパルス応答を生成することが可能となる。
なお、平面上にない複数のマイクロホンを使用する場合、比較判定部14は、方位角θだけでなく、仰角φをさらに加えて表される仮想音源の到来方向に基づいて、インパルス応答を選択してもよい。つまり、比較判定部14は、方位角θ及び仰角φにより表される到来方向に主軸を向けたマイクロホン、あるいは、その到来方向の両隣に存在するマイクロホン又はそれらマイクロホンのうち主軸を向けた方向が到来方向に近いマイクロホンを特定し、特定したマイクロホンにより測定されたインパルス応答を選択する。
また、上記で示した例では中心点Mと、それを取り囲むようにマイクロホン群を等間隔に設置しているが、必ずしもその必要はなく、任意のマイクロホン配置から、マイクロホン群で囲まれた空間内の任意の点における仮想音源情報を推定することができる。
上述した実施形態によれば、インパルス応答生成装置1は、空間内の異なる位置に設置された複数のマイクロホンが同一の音響信号を収音して得られた信号それぞれに基づき算出された各インパルス応答を用いて、複数のマイクロホンに囲まれた任意の位置における、空間内の仮想音源の情報を推定する。インパルス応答生成装置1は、仮想音源の情報とインパルス応答との比較に基づいて、任意のインパルス応答において、そのインパルス応答の算出の元となった信号が得られたマイクロホンに対応する方向から到来する反射音を判定する。インパルス応答生成装置1は、インパルス応答から、そのインパルス応答の算出の元となった信号が得られたマイクロホンに対応する方向以外から到来する余計な反射音を間引いて方向別のインパルス応答を生成する。これにより、インパルス応答生成装置1は、従来の手法よりも、測定音場に近い方向別のインパルス応答を生成することができる。
なお、上述のインパルス応答生成装置1は、内部にコンピュータシステムを有している。そして、インパルス応答生成装置1の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1 インパルス応答生成装置
11 記憶部
12 測定情報取得部
13 仮想音源情報推定部
14 比較判定部
15 反射音除去部

Claims (4)

  1. 同一の音響信号を空間内の異なる位置に設置された複数のマイクロホンにより収音して得られた信号それぞれに基づき算出されたインパルス応答を用いて、複数の前記マイクロホンに囲まれた任意の位置における、前記空間内の仮想音源それぞれ到来時刻及び到来方向を推定する仮想音源情報推定部と、
    前記仮想音源情報推定部により推定された前記仮想音源ごとに、複数の前記マイクロホンのうち前記任意の位置からの方向が前記仮想音源の前記到来方向に対応したマイクロホンを選択し、前記仮想音源の前記到来時刻と、当該仮想音源について選択された前記マイクロホンにより収音した前記信号から算出された前記インパルス応答における局所的なピークそれぞれが出現する時刻との差分に基づいて、当該インパルス応答における前記局所的なピークのうち、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音のピーク特定する特定処理を行い、前記特定処理により特定された前記インパルス応答における前記ピークを、当該インパルス応答の算出の元となった前記信号が得られた前記マイクロホンに対応する方向から到来する反射音と判定する比較判定部と、
    前記インパルス応答から、当該インパルス応答における前記ピークのうち前記比較判定部により反射音と判定された前記ピーク以外のピーク除去して方向別のインパルス応答を生成する反射音除去部と、
    を備えることを特徴とするインパルス応答生成装置。
  2. 前記比較判定部は、前記仮想音源ごとの前記特定処理において、複数の前記マイクロホンのうち前記任意の位置からの方向が前記仮想音源の前記到来方向に対応したマイクロホンを選択し、選択した前記マイクロホンにより収音した信号から算出された前記インパルス応答における局所的なピークのうち、選択した前記マイクロホンと前記任意の位置との距離に応じた遅延を前記仮想音源の前記到来時刻から減算した時刻を含んだ所定の時刻範囲内で生じた前記ピークを当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音のピーク特定する
    ことを特徴とする請求項に記載のインパルス応答生成装置。
  3. 前記仮想音源情報推定部は、前記任意の位置からの方向が異なる複数の前記マイクロホンそれぞれにより収音された前記信号に基づき算出された前記インパルス応答と、前記任意の位置に設置された前記マイクロホンにより前記音響信号を収音して得られた信号に基づき算出されたインパルス応答とを用いて算出した瞬時インテンシティに基づいて前記仮想音源の前記到来時刻及び前記到来方向を得る、又は、前記任意の位置からの方向が異なる複数の前記マイクロホンそれぞれにより収音された前記信号に基づき算出された前記インパルス応答と、前記任意の位置に設置された前記マイクロホンにより前記音響信号を収音して得られた信号に基づき算出されたインパルス応答との相関に基づいて前記仮想音源の前記到来時刻及び前記到来方向を得る、
    ことを特徴とする請求項1又は請求項2に記載のインパルス応答生成装置。
  4. コンピュータを、
    同一の音響信号を空間内の異なる位置に設置された複数のマイクロホンにより収音して得られた信号それぞれに基づき算出されたインパルス応答を用いて、複数の前記マイクロホンに囲まれた任意の位置における、前記空間内の仮想音源それぞれ到来時刻及び到来方向を推定する仮想音源情報推定手段と、
    前記仮想音源情報推定手段により推定された前記仮想音源ごとに、複数の前記マイクロホンのうち前記任意の位置からの方向が前記仮想音源の前記到来方向に対応したマイクロホンを選択し、前記仮想音源の前記到来時刻と、当該仮想音源について選択された前記マイクロホンにより収音した前記信号から算出された前記インパルス応答における局所的なピークそれぞれが出現する時刻との差分に基づいて、当該インパルス応答における前記局所的なピークのうち、当該インパルス応答の算出の元となった信号が得られた前記マイクロホンに対応する方向から到来する反射音のピーク特定する特定処理を行い、前記特定処理により特定された前記インパルス応答における前記ピークを、当該インパルス応答の算出の元となった前記信号が得られた前記マイクロホンに対応する方向から到来する反射音と判定する比較判定手段と、
    前記インパルス応答から、前記比較判定手段により当該インパルス応答において反射音と判定された前記ピーク以外の前記ピーク除去して方向別のインパルス応答を生成する反射音除去手段と、
    を具備するインパルス応答生成装置として機能させるためのプログラム。
JP2015209634A 2015-10-26 2015-10-26 インパルス応答生成装置及びプログラム Expired - Fee Related JP6650245B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015209634A JP6650245B2 (ja) 2015-10-26 2015-10-26 インパルス応答生成装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015209634A JP6650245B2 (ja) 2015-10-26 2015-10-26 インパルス応答生成装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017085265A JP2017085265A (ja) 2017-05-18
JP6650245B2 true JP6650245B2 (ja) 2020-02-19

Family

ID=58713318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015209634A Expired - Fee Related JP6650245B2 (ja) 2015-10-26 2015-10-26 インパルス応答生成装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6650245B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366091B (zh) * 2019-08-07 2021-11-02 武汉轻工大学 基于声压的声场重建方法、设备、存储介质及装置
JPWO2023012920A1 (ja) * 2021-08-04 2023-02-09

Also Published As

Publication number Publication date
JP2017085265A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
US10334357B2 (en) Machine learning based sound field analysis
EP3320692B1 (en) Spatial audio processing apparatus
JP6335985B2 (ja) マルチセンサ音源定位
US20180376273A1 (en) System and method for determining audio context in augmented-reality applications
KR101724514B1 (ko) 사운드 신호 처리 방법 및 장치
JP5728094B2 (ja) 到来方向推定から幾何学的な情報の抽出による音取得
KR101591220B1 (ko) 공간적 전력 밀도에 기초하여 마이크 위치 결정을 위한 장치 및 방법
JP5229053B2 (ja) 信号処理装置、および信号処理方法、並びにプログラム
JP2013148576A (ja) 変調された背景音を利用して位置特定を行う携帯装置、コンピュータプログラム、および方法
Compagnoni et al. Localization of acoustic sources through the fitting of propagation cones using multiple independent arrays
US7116788B1 (en) Efficient head related transfer function filter generation
JP6650245B2 (ja) インパルス応答生成装置及びプログラム
JP4652191B2 (ja) 複数音源の分離方法
KR20090128221A (ko) 음원 위치 추정 방법 및 그 방법에 따른 시스템
JP5986966B2 (ja) 音場収音再生装置、方法及びプログラム
JP2013009112A (ja) 収音再生装置、プログラム及び収音再生方法
JP6323901B2 (ja) 収音装置および収音方法、並びにプログラム
Wang et al. Hearing Anything Anywhere
KR101534781B1 (ko) 음원 방향 추정 장치
JP5713933B2 (ja) 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム
KR20100001726A (ko) 음원 위치 추정에 있어 대표 점 선정 방법 및 그 방법을이용한 음원 위치 추정 시스템
JP2017028494A (ja) 音場収音再生装置、その方法及びプログラム
JP6027873B2 (ja) インパルス応答生成装置、インパルス応答生成システム及びインパルス応答生成プログラム
Iida et al. Acoustic VR System
Bianchi et al. Localization of virtual acoustic sources based on the Hough transform for sound field rendering applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6650245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees