JP5867799B2 - 収音再生装置、プログラム及び収音再生方法 - Google Patents
収音再生装置、プログラム及び収音再生方法 Download PDFInfo
- Publication number
- JP5867799B2 JP5867799B2 JP2011139835A JP2011139835A JP5867799B2 JP 5867799 B2 JP5867799 B2 JP 5867799B2 JP 2011139835 A JP2011139835 A JP 2011139835A JP 2011139835 A JP2011139835 A JP 2011139835A JP 5867799 B2 JP5867799 B2 JP 5867799B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- head
- transfer function
- related transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
Description
しかしながら、高い感度を得るにはマイクロホン数を多くする必要があり、それにともなってアレイ自体のサイズが大きくなるだけでなく、扱うデータ量も大きくなるという問題がある。
<1> 1個の参照マイクロホンと2個又は3個の比較マイクロホンを有する音響収音部と、人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースと、前記音響収音部で収音され、時間ごとに区切られた音響信号と前記頭部伝達関数データから2チャネルのバイノーラル信号を合成する信号処理部と、前記2チャネルのバイノーラル信号を音響として再生する音響再生部と、を有し、前記信号処理部は、前記音響信号を逐次周波数分析する周波数分析手段と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出手段と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定手段と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出手段と、前記合成頭部伝達関数を前記基準信号に付加することにより、前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成手段と、を有することを特徴とする収音再生装置。
<2> バイノーラル信号を記録する記録部を有する前記<1>に記載の収音再生装置。
<3> 音響再生部の配置角度の変更を検出し、その変更に係る信号を信号処理部に出力する角度センサを有し、音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する前記<1>から<2>のいずれかに記載の収音再生装置。
<4> 音響収音部が、参照マイクロホン及び2個又は3個の比較マイクロホンを保持するマイクロホン保持部材を有し、前記参照マイクロホン及び前記比較マイクロホンのそれぞれが、相互に1cm〜10cmの距離を隔てた状態で保持される前記<1>から<3>のいずれかに記載の収音再生装置。
<5> 音響収音部が、参照マイクロホン及び2個又は3個の比較マイクロホンを保持するマイクロホン保持部材を有し、前記参照マイクロホン及び前記比較マイクロホンが水中音響収音用のハイドロホンとして構成され、前記各ハイドロホンのそれぞれが、相互に4cm〜50cmの距離を隔てた状態で保持される前記<1>から<3>のいずれかに記載の収音再生装置。
<6> マイクロホン保持部材が、少なくとも耳介部と外耳道部を有し、頭部を模擬しているが、前記頭部に比べて小さい大きさの擬似頭であり、比較マイクロホンのうち少なくとも2個が、各々前記外耳道部に配され、参照マイクロホンが前記比較マイクロホンに対して、距離を隔てて前記擬似頭に配される前記<4>から<5>のいずれかに記載の収音再生装置。
<7> 信号処理部がパーソナルコンピュータで構成される前記<1>から<6>のいずれかに記載の収音再生装置。
<8> 信号処理部において合成されたバイノーラル信号を音響再生部に送信する無線インターフェースを有する前記<1>から<7>のいずれかに記載の収音再生装置。
<9> 前記<7>に記載の収音再生装置に用いられ、信号処理部に対し、バイノーラル信号の合成を実行させることを特徴とするプログラム。
<10> 1個の参照マイクロホンと2個又は3個の比較マイクロホンから音響を収音する音響収音ステップと、前記収音された音響の時間ごとに区切られた音響信号と人の頭部による音のレベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースとから2チャネルのバイノーラル信号を合成する信号処理ステップと、前記2チャネルのバイノーラル信号を音響として再生する音響再生ステップと、を有し、前記信号処理ステップは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行することを特徴とする収音再生方法。
<11> 音響再生ステップを実行する音響再生部の配置角度の変更を検出する角度変更検出ステップを有し、音像方向推定処理は、前記角度変更検出ステップで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する前記<10>に記載の収音再生方法。
本発明の収音再生装置は、音響収音部と、頭部伝達関数データベースと、信号処理部と、音響再生部とを有し、更に必要に応じて、その他の部材を有する。
参照マイクロホン4から収音された音響情報及び比較マイクロホン5a,5bから収音された音響情報は、AD変換された後、それぞれ基準信号及び比較信号として、無線又は有線のインターフェースを介して信号処理部2へ送信される。
信号処理部2は、基準信号、比較信号及び頭部伝達関数データベース6の各情報を用いて2チャネルのバイノーラル信号を合成する。
合成されたバイノーラル信号は、無線又は有線のインターフェースを介して音響再生部3に送信され、DA変換された後、音響再生部3に配されるステレオ受話器7にて、3次元の音空間情報を有する音響として再生される。
なお、本発明の収音再生装置では、少ないデータ量でバイノーラル信号を合成することとし、データの取扱性に難がないため、音響収音部1にて収音された信号を無線通信で信号処理部2に送信すること、及び信号処理部2で合成されたバイノーラル信号を無線インターフェースを介して音響再生部3に送信することについても難がない。
したがって、音源探査を行う現場から離れた遠隔地にいる使用者が現場の3次元音響情報を得ることができ、音源探査装置、遠隔監視装置への応用、ロボットの遠隔操作への活用も期待できる。
音響収音部1は、前述の通り、少なくとも参照マイクロホン4と比較マイクロホン5a、5bとを有し、更に必要に応じて、これらを保持するマイクロホン保持部材を有する。
この距離の最適値は、本発明の用途によって適宜決めればよいが、通常は数cm程度で充分であり、場合によっては1cm未満でも問題ない。
好ましくは、参照マイクロホン4及び比較マイクロホン5a,5bのそれぞれが、相互に1cm〜10cmの距離を隔てた状態で保持される。
例えば、録音用マイクのようなマイクロホンを収容して保持することが可能な筐体や擬似頭の中から、小型で軽量性のものを適宜選択することができる。
したがって、音響収音部1を参照マイクロホン4及び比較マイクロホン5a、5bとを有して構成することとすれば、これらを保持する前記マイクロホン保持部材の小型化及び軽量化が可能となる。
これにより、例えば、前記マイクロホン保持部材を手のひらに乗せて持ち運ぶことができ、人間が入ることのできない配管内や瓦礫の下に挿入し、音源探査させることも可能である。なお、前記擬似頭としても、人の頭部を模擬するものでなくてよく、デザイン性の観点から種々の形状のものを選択することができる。
前記収音再生装置では、単体でバイノーラル信号を再生可能であり、人間の頭部を必要としない。また、前記収音再生装置を話者に対面するように配置すれば、通信端末として使用したとき、遠隔地にいる相手にとっては、自分が話者に対面している状況を擬似体験することになり、効果的である。
頭部伝達関数データベース6は、人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録している。以下、この頭部伝達関数データベース6について説明する。
即ち、前記モノラル信号には、音源からの直接音と、壁、床、天井などから跳ね返ってくる反射音とが含まれており、これらを分離することはできない。現実の環境では、前記反射音は、前記直接音とは異なる方向から耳に到達しているが、前記モノラル信号に前記頭部インパルス応答を畳み込む手法では、前記直接音にも前記反射音にもすべて同じ方向の前記頭部インパルス応答が畳み込まれてしまう。
したがって、この手法で得られる擬似バイノーラル信号は、本来のバイノーラル信号と大きく異なる。
本発明の前記収音再生装置では、音響収音部1を人間の頭部に比べて圧倒的に小さく、軽量化された構成としても、音響収音部1が参照マイクロホン4と比較マイクロホン5a,5bを有する構成とすることで、音響収音部1から収音した信号に基づいて、信号処理部2で擬似的なバイノーラル信号の合成を可能とするものであり、信号処理部2では、あらかじめ実際の人間の頭部あるいは擬似頭を用いて測定された頭部伝達関数データベース6を用いる。
信号処理部2は、音響収音部1で収音された音響信号と頭部伝達関数データベース6に記録された前記頭部伝達関数データから2チャネルの前記バイノーラル信号を合成し、周波数分析手段と、差分算出手段と、音像方向推定手段と、合成頭部伝達関数算出手段と、バイノーラル信号合成手段とを実行する。
この信号処理部2における情報処理の流れを図2に基づいて説明する。
前記周波数分析手段は、前記音響信号を逐次周波数分析する機能を有する手段である。
前記周波数分析手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、音響信号を時間ごとに区切る時間窓と、前記時間窓で区切られた音響信号を位相スペクトルとパワースペクトルの情報に変換する時間軸−周波数軸変換器(FFT)との組合せ回路等の電気回路要素が挙げられる。
なお、前記振幅レベルとは、音響パワーレベル[dB]や音圧レベル[dB]などのスペクトル波形において観測される振幅の値[dB]を示す。
前記差分算出手段は、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する機能を有する手段である。
前記差分算出手段としては、前記機能を有する限り特に制限はなく、例えば、減算器等の電気回路要素が挙げられる。
前記音像方向推定手段は、前記位相差及び振幅レベル差から前記周波数ごとの音像方向を推定する機能を有する手段である。
前記音像方向推定手段としては、前記機能を有する限り特に制限はなく、例えば、前記位相差及び振幅レベル差を角度の情報に変換するデータ変換装置等の電気回路要素が挙げられる。
λ=c÷f (1)
の関係がある。
前記音源から参照マイクロホン4までの伝搬距離と前記音源から比較マイクロホン5aまでの伝搬距離の差をd[mm]とすると、信号の波長λ[mm]と信号間の位相差φ[rad]との関係は、
2π×d÷λ=φ[rad] (2)
と表せる。
したがって、信号間の位相差φ[rad]から信号の伝搬距離の差d[mm]が求められる。
cosθ0=d÷r (3)
なので、
θ0=acos(d÷r) (4)
から、音像の方向θ0[rad]が求められる。ただし、
acos(d÷r)=θ0=−θ0 (5)
なので、前記音源が図中のA方向にあるのかB方向にあるのか区別できない。
したがって、信号間位相差だけでは前方から到来する音と後方から到来する音を区別できなくても、基準信号Scと比較信号Sl及びSrのレベル差が音像方向を推定する手がかりとして利用でき、図中のA方向から来る音とB方向から来る音を区別することが可能となる。
したがって、ここでいう音像方向というのは、複数の音源から到来する音が混じり合った合成音像の音像方向である。
ここでは、f0[Hz]からfn−1[Hz]の各周波数について推定された音像方向を、それぞれ角度θ0からθn−1として処理し、合成音像の音像方向を通常の環境に即して推定する。
前記合成頭部伝達関数算出手段は、前記推定された音像方向にしたがい、前記頭部伝達関数データベースから前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する機能を有する手段である。
前記合成頭部伝達関数算出手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、音像の方向を表す角度値からなる入力信号に対し、その入力信号に対応する周波数ごとの振幅レベル値と位相の値をデータベースから読み出し、これを出力するデータ変換装置と、その出力信号を周波数順に並べ替えるデータ並べ替え器と、並べ替えられたデータを時間軸情報に変換してインパルス応答を得る周波数軸−時間軸変換器(逆FFT)の組合せ回路等の電気回路要素が挙げられる。
一般に頭部伝達関数や頭部インパルス応答は、音が任意の一方向から到来する場合を想定したものだが、本発明の信号処理部で求められるのは周波数ごとに異なる音像方向に基づく頭部インパルス応答ないし頭部伝達関数なので、ここでは、合成頭部インパルス応答ないし合成頭部伝達関数と呼ぶ。
前記収音再生装置は、頭部伝達関数を、周波数ごとの頭部伝達関数である合成頭部伝達関数として算出し、これをもとにバイノーラル信号を合成するため、複数の音源から到来する音響信号のそれぞれに音空間情報を付加して、臨場感に富んだバイノーラル信号を再生することができる。
前記バイノーラル信号合成手段は、前記合成頭部伝達関数(前記合成頭部インパルス応答)を参照マイクロホン4を通じて取得される前記基準信号に付加することにより、前記2チャネルのバイノーラル信号を合成する機能を有する手段である。
前記バイノーラル信号合成手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、畳み込み器等の電気回路要素が挙げられる。
3次元空間において、音が到来する方向は、水平面上の方向に仰角方向を加えたx,y,z座標として表される(図5参照)。しかし、図3に示したように参照マイクロホン4と比較マイクロホン5a及び5bを水平面上に配置する方法では、音像の水平面上の方向しか特定されない。
実環境での音の聞こえ方を、より忠実に再現するには、仰角方向も含めた音像方向を推定することが望ましい。それには、1個の参照マイクロホンに3個の比較マイクロホンを合わせた合計4個のマイクロホンを3次元的に配置するとともに、頭部伝達関数データベース6にも仰角方向を含めた3次元の頭部伝達関数データを用意しておくとよい。
平行ではない2つの面の交差は、直線となる。更に互いに平行ではない3つの面の交差は、長さをもたない点となる。
したがって、正三角形A,B,C,Dのうち、いずれか3個を用いて音像方向を推定すれば、3つの推定結果を同時に満たす方向は、3次元空間において1方向に特定される。つまり、水平面上の方向に加えて仰角方向も特定できることになる。
周波数ごとに推定された3次元の音像方向にもとづき、頭部伝達関数データベース6から、当該周波数かつ当該方向(仰角方向及び水平方向)の頭部伝達関数データ(振幅レベル値及び位相の値)を読み出す。それ以降の処理について、図3についての説明と同じである。
また、比較マイクロホン5aから取得された音響信号についても同様に、時間窓50’で時間ごとに区切られた後、比較信号として時間軸−周波数軸変換器(FFT)51’にて周波数分析され、位相スペクトル及びパワースペクトルの信号として出力される。
基準信号及び比較信号のパワースペクトルの信号は、減算器52にて差分算出され、振幅レベル差の信号としてデータ変換装置53に出力される。
同様に、基準信号及び比較信号の位相スペクトルの信号は、減算器52’にて差分算出され、位相差の信号としてデータ変換装置53に出力される。
データ変換装置53は、入力される振幅レベル差及び位相差の信号を、周波数成分f0[Hz]〜fn−1[Hz]ごとに音像方向の角度θ0[rad]〜θn−1[rad]の情報に変換する。任意の周波数fxにおける音像方向の角度θxの情報は、頭部伝達関数データベース6にあらかじめ記録された音像方向の角度θxにおける頭部伝達関数データ(振幅レベル値及び位相の値)とともに、データ並べ替え器54に出力され、頭部伝達関数データが周波数軸上に並べられた合成頭部伝達関数として出力される。
前記合成頭部伝達関数は、周波数軸−時間軸変換器(逆FFT)55にて、逆フーリエ変換され、観測時間窓における合成頭部インパルス応答として出力される。
比較マイクロホン5bから取得された音響信号についても、比較マイクロホン5aから取得された音響信号と同様の処理により、観測時間窓における合成頭部インパルス応答として出力される。
これらの合成頭部インパルス応答は、畳み込み器56にて参照マイクロホン4にて収音された基準信号に畳み込まれ、前記2チャネルのバイノーラル信号が合成される。
信号処理部2として、このコンピュータを用いた構成とすれば、手持ちのハードウエア資源を有効に活用することができ、安価に前記収音再生装置を構築することができる。
音響再生部3は、前記2チャネルのバイノーラル信号をステレオ音響として再生する。
音響再生部3としては、例えば、前記2チャネルのバイノーラル信号をDA変換して、それぞれの信号を独立して出力するステレオ受話器7を有して構成される(図1参照)。
前記その他の部材としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、記録部、角度センサ等が挙げられる。
前記記録部は、前記バイノーラル信号を記録する。これにより、前記バイノーラル信号を必要に応じて読み出し、その3次元音空間情報を再生することができる。
前記記録部としては、特に制限はなく、目的に応じて適宜選択することができ、公知の記録媒体を適用することができる。
前記収音再生装置としては、前記マイクロホン保持部材の小型化及び軽量化によりハンドリング性に優れるため、前記記録部を更に備えることで、ボイスレコーダ等の携帯記録メディアとしても好適に利用することができる。
前記角度センサは、音響再生部3の配置角度の変更を検出し、その変更に係る信号を信号処理部2に出力する。この時、前記音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する。
しかし、左下段のようにヘッドホン装用者が頭部を右に60度回転させると、仮想音源も頭が回転した方向に動いてしまう。頭外にある音源が聴取者の頭の動きに合わせて動くというのは、現実場面では殆ど考えられないことであり、非常に不自然である。
この方式では、図9に示すように、ヘッドホンの回転を角度センサ11で検出し、テレヘッド12がヘッドホンの回転に追従して回転する。このため、ヘッドホン装用者が頭部を回転させても、頭外にある仮想音像の方向は変化せず、自然な音像定位が実現される。
水中での音速は、およそ1,500m/sであり、空中での音速(約340m/s)の約4.4倍である。これは、同じ周波数の音波の水中における波長が空中に比べて約4.4倍になることを示す。
したがって、水中でバイノーラル録音を行うには、例えば、前記マイクホロン保持部材として擬似頭を用いる場合、標準的な擬似頭の4倍から5倍の大きさの擬似頭を用いる必要がある。この場合、従来法によれば、直径が70cmを超える大きさの擬似頭が必要になる。
即ち、図11に示すように、前記収音再生装置を空中で利用する場合の前記各マイクロホンの配置間隔をn[mm]とするなら、水中で利用する場合、ハイドロホンの間隔は、n×4.4[mm]程度となる。
したがって、前記収音再生装置を水中音響の収音再生に用いる場合、音波の波長が水中では、空中の4倍〜5倍であることに合わせて、参照マイクロホン4及び比較マイクロホン5a,5bからなる各ハイドロホンのそれぞれが、相互に4cm〜50cmの距離を隔てた状態で2次元的に保持されるように構成すればよい(図11参照)。なお、実用上は、前記距離を10cmから20cm程度とすれば十分である。
したがって、低価格にて水中の音を立体的に聞かせることが可能となり、海底探査や転覆した船舶内での音源探査への応用が期待できる。
本発明のプログラムは、前記信号処理部が前記コンピュータで構成される前記収音再生装置に用いられ、前記信号処理部に対し、バイノーラル信号の合成を実行させる。
即ち、前記プログラムは、前記信号処理部としての前記コンピュータに対し、前記音響信号を逐次周波数分析する周波数分析処理と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより、前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成処理を実行させる。
また、前記収音再生装置が前記角度センサを有する場合、前記音像方向推定処理を、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する方向を変更して前記音像方向を推定することとして、前記信号処理部に実行させる。
本発明の収音再生方法は、音響収音ステップと、信号処理ステップと、音響再生ステップとを有し、更に必要に応じて、角度変更検出ステップを有する。
この音響収音ステップとしては、本発明の前記収音再生装置における前記音響収音部により、実施することができる。
具体的には、前記信号処理ステップでは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、前記参照マイクロホンを通じて取得される音響信号を基準信号とし、前記比較マイクロホンから取得される音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及びレベル差を算出する差分算出処理と、前記位相差及びレベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された音像方向にしたがい、前記頭部伝達関数データベースから前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行する。
前記信号処理ステップとしては、本発明の前記収音再生装置における前記信号処理部及び前記頭部伝達関数データベースにより実施することができる。
左方向から提示した音声をステレオ録音した信号のパワースペクトルを図12に示す。全体的に右チャネルに比べて左チャネルの振幅レベルがわずかに高いこと以外、スペクトルの形状に明確な差は認められない。
同じ音声を本発明の収音再生装置による音響収音部にて収音し、収音された信号をもとに信号処理部にて合成したバイノーラル信号のパワースペクトルを図13に示す。頭部伝達関数の影響が加わっているため、単純なステレオ信号(図12)とは明らかにスペクトル形状が異なる。更に、右チャネルと左チャネルの信号に振幅レベル差だけではなく、5kHzから10kHz付近などに、スペクトル形状の差が認められる。これは、左方向から到来する音に対する頭部伝達関数が左右で明確に異なるためであり、図13は、信号処理によってその違いが再現されていることを示すものである。
2 信号処理部
3 音響再生部
4,4’ 参照マイクロホン
5a,5a’ 比較マイクロホン(左)
5b,5b’ 比較マイクロホン(右)
6 頭部伝達関数データベース
7 ステレオ受話器
8 小型擬似頭
9a 耳介(左)
9b 耳介(右)
10 擬似頭
11 角度センサ
12 テレヘッド
50,50’ 時間窓
51,51’ 時間軸−周波数軸変換器(FFT)
52,52’ 減算器
53 データ変換装置
54 データ並べ替え器
55 周波数軸−時間軸変換装置(逆FFT)
56 畳み込み器
Claims (11)
- 1個の参照マイクロホンと2個又は3個の比較マイクロホンとを有する音響収音部と、
人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースと、
前記音響収音部で収音され、時間ごとに区切られた音響信号と前記頭部伝達関数データから2チャネルのバイノーラル信号を合成する信号処理部と、
前記2チャネルのバイノーラル信号を音響として再生する音響再生部と、を有し、
前記信号処理部は、前記音響信号を逐次周波数分析する周波数分析手段と、
前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出手段と、
前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定手段と、
前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出手段と、
前記合成頭部伝達関数を前記基準信号に付加することにより、前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成手段と、を有することを特徴とする収音再生装置。 - バイノーラル信号を記録する記録部を有する請求項1に記載の収音再生装置。
- 音響再生部の配置角度の変更を検出し、その変更に係る信号を信号処理部に出力する角度センサを有し、
音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する請求項1から2のいずれかに記載の収音再生装置。 - 音響収音部が、参照マイクロホン及び2個又は3個の比較マイクロホンを保持するマイクロホン保持部材を有し、
前記参照マイクロホン及び前記比較マイクロホンのそれぞれが、相互に1cm〜10cmの距離を隔てた状態で保持される請求項1から3のいずれかに記載の収音再生装置。 - 音響収音部が、参照マイクロホン及び2個又は3個の比較マイクロホンを保持するマイクロホン保持部材を有し、
前記参照マイクロホン及び前記比較マイクロホンが水中音響収音用のハイドロホンとして構成され、
前記各ハイドロホンのそれぞれが、相互に4cm〜50cmの距離を隔てた状態で保持される請求項1から3のいずれかに記載の収音再生装置。 - マイクロホン保持部材が、少なくとも耳介部と外耳道部を有し、頭部を模擬しているが、前記頭部に比べて小さい大きさの擬似頭であり、
比較マイクロホンのうち少なくとも2個が、各々前記外耳道部に配され、参照マイクロホンが前記比較マイクロホンに対して、距離を隔てて前記擬似頭に配される請求項4から5のいずれかに記載の収音再生装置。 - 信号処理部がパーソナルコンピュータで構成される請求項1から6のいずれかに記載の収音再生装置。
- 信号処理部において合成されたバイノーラル信号を音響再生部に送信する無線インターフェースを有する請求項1から7のいずれかに記載の収音再生装置。
- 請求項7に記載の収音再生装置に用いられ、
信号処理部に対し、バイノーラル信号の合成を実行させることを特徴とするプログラム。 - 1個の参照マイクロホンと2個又は3個の比較マイクロホンから音響を収音する音響収音ステップと、
前記収音された音響の時間ごとに区切られた音響信号と人の頭部による音のレベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースとから2チャネルのバイノーラル信号を合成する信号処理ステップと、
前記2チャネルのバイノーラル信号を音響として再生する音響再生ステップと、を有し、
前記信号処理ステップは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、
前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、
前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、
前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、
前記合成頭部伝達関数を前記基準信号に付加することにより前記2チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行することを特徴とする収音再生方法。 - 音響再生ステップを実行する音響再生部の配置角度の変更を検出する角度変更検出ステップを有し、
音像方向推定処理は、前記角度変更検出ステップで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する請求項10に記載の収音再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139835A JP5867799B2 (ja) | 2011-06-23 | 2011-06-23 | 収音再生装置、プログラム及び収音再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139835A JP5867799B2 (ja) | 2011-06-23 | 2011-06-23 | 収音再生装置、プログラム及び収音再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013009112A JP2013009112A (ja) | 2013-01-10 |
JP5867799B2 true JP5867799B2 (ja) | 2016-02-24 |
Family
ID=47676117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011139835A Active JP5867799B2 (ja) | 2011-06-23 | 2011-06-23 | 収音再生装置、プログラム及び収音再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5867799B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6569945B2 (ja) * | 2016-02-10 | 2019-09-04 | 日本電信電話株式会社 | バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム |
JP2019528626A (ja) * | 2016-08-18 | 2019-10-10 | サウンド6デー エス.アール.エル. | スピーカーを組み込んだヘッド支持体および多次元音響効果を再生するためのシステム |
CN113875265A (zh) * | 2020-04-20 | 2021-12-31 | 深圳市大疆创新科技有限公司 | 音频信号处理方法、音频处理装置及录音设备 |
CN115240678B (zh) * | 2022-09-21 | 2022-12-09 | 深圳市英特飞电子有限公司 | 一种智能语音识别装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03257331A (ja) * | 1990-03-08 | 1991-11-15 | Hitachi Zosen Corp | 音響信号検出装置 |
JP3433513B2 (ja) * | 1994-06-17 | 2003-08-04 | ソニー株式会社 | 回転角度検出機能を備えたヘッドホン装置 |
JPH09191500A (ja) * | 1995-09-26 | 1997-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法 |
JP3435141B2 (ja) * | 2001-01-09 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム |
JP4193041B2 (ja) * | 2002-01-31 | 2008-12-10 | 学校法人 芝浦工業大学 | 3次元インテンシティプローブ、同プローブを用いた3次元音源方向検知装置及び3次元音源方向対面制御装置 |
JP2007221445A (ja) * | 2006-02-16 | 2007-08-30 | Sharp Corp | サラウンドシステム |
JP4670682B2 (ja) * | 2006-02-28 | 2011-04-13 | 日本ビクター株式会社 | オーディオ装置及び指向音生成方法 |
-
2011
- 2011-06-23 JP JP2011139835A patent/JP5867799B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013009112A (ja) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3320692B1 (en) | Spatial audio processing apparatus | |
JP4051408B2 (ja) | 収音・再生方法および装置 | |
US8855341B2 (en) | Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals | |
KR101547035B1 (ko) | 다중 마이크에 의한 3차원 사운드 포착 및 재생 | |
US9237398B1 (en) | Motion tracked binaural sound conversion of legacy recordings | |
KR100606734B1 (ko) | 삼차원 입체음향 구현 방법 및 그 장치 | |
CA2295092C (en) | System for producing an artificial sound environment | |
CN106134223A (zh) | 重现双耳信号的音频信号处理设备和方法 | |
CN104756526A (zh) | 信号处理装置、信号处理方法、测量方法及测量装置 | |
JP2006519406A5 (ja) | ||
CN102325298A (zh) | 音频信号处理装置和音频信号处理方法 | |
JP5867799B2 (ja) | 収音再生装置、プログラム及び収音再生方法 | |
CN110890100A (zh) | 语音增强、多媒体数据采集、播放方法、装置及监控系统 | |
WO2021212287A1 (zh) | 音频信号处理方法、音频处理装置及录音设备 | |
KR101111734B1 (ko) | 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치 | |
JP5163685B2 (ja) | 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 | |
JP2017028494A (ja) | 音場収音再生装置、その方法及びプログラム | |
Fan et al. | Practical implementation and analysis of spatial soundfield capture by higher order microphones | |
Crutchfield et al. | Whales in Space: Experiencing Aquatic Animals in Their Natural Place with the Hydroambiphone | |
JP2006128870A (ja) | 音響シミュレーション装置、音響シミュレーション方法、および音響シミュレーションプログラム | |
WO2021059983A1 (ja) | ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
Geronazzo | Sound Spatialization. | |
JP6027873B2 (ja) | インパルス応答生成装置、インパルス応答生成システム及びインパルス応答生成プログラム | |
Zotkin et al. | Signal processing for Audio HCI | |
JP4956722B2 (ja) | 音空間再合成提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5867799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |