JP7016307B2 - 音響処理装置、音響処理方法およびプログラム - Google Patents
音響処理装置、音響処理方法およびプログラム Download PDFInfo
- Publication number
- JP7016307B2 JP7016307B2 JP2018165175A JP2018165175A JP7016307B2 JP 7016307 B2 JP7016307 B2 JP 7016307B2 JP 2018165175 A JP2018165175 A JP 2018165175A JP 2018165175 A JP2018165175 A JP 2018165175A JP 7016307 B2 JP7016307 B2 JP 7016307B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- sound
- response
- row
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音響処理装置、音響処理方法およびプログラムに関する。
音声認識は、発話音声の内容を特定するための処理であり、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）の要素技術として様々な環境で応用されている。音声認識では、一般的に音声の物理的な特性を示す音響特徴量と発音との間の統計的な関係を示す音響モデルが用いられる。従来は、話者とマイクロホンとの位置関係が固定されている静的環境を前提として、音響モデルの学習が行われてきた。
ＡＩの普及に伴い、音声認識は動的な環境で応用されることがある。例えば、音声認識エンジンがロボットなどの移動体に搭載されることがある。そのような場合には、音声を収音するためのマイクロホンも移動体に設置される。話者とマイクロホンとの位置関係が変化するので、収音される音声の音響特徴量も変化してしまう。そのため、動的環境で音声認識を実行する際、静的環境で学習された音響モデルをそのまま用いると認識率が低下しがちである。
動的な環境のもとで音声認識を実行する際、その環境に応じた音響モデルを用いて認識率を向上させることが期待される。話者とマイクロホンとの位置関係は、その都度変化しうるが、特許文献１に記載の手法では、マイクロホンが静止している場合を前提としている。しかしながら、音響モデルの学習のために現実にマイクロホンの位置、つまり収音位置を変化させながら学習用の音声データを取得することは煩雑である。そこで、収音位置が変化する環境を仮定して、収音される音声データを容易に取得することが期待される。
本発明は上記の点に鑑みてなされたものであり、収音位置が変化する状況で収音される音を容易に取得することを課題とする。
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化部と、音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション部と、を備え、前記シミュレーション部は、前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、前記シミュレーション行列を前記音響信号ベクトルに乗算する音響処理装置である。
（２）本発明のその他の態様は、上述の音響処理装置であって、移動する前記音源位置を所定時間間隔で離散化する音源位置離散化部をさらに備え、前記シミュレーション部は、離散化した前記音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得することを特徴とする。
（３）本発明のその他の態様は、音響処理装置における音響処理方法であって、前記音響処理装置は、移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化過程と、音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション過程と、を有し、前記シミュレーション過程は、前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、前記シミュレーション行列を前記音響信号ベクトルに乗算する音響処理方法である。
（４）本発明のその他の態様は、音響処理装置のコンピュータに、移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化手順と、音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション手順と、を実行させるためのプログラムであって、前記シミュレーション手順は、前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、前記シミュレーション行列を前記音響信号ベクトルに乗算するプログラムである。
本発明の態様（１）、（３）及び（４）によれば、移動する収音部で収音される収音信号に近似する合成信号を容易に取得することができる。また、音源信号に基づく音響信号ベクトルに対する、音源位置と移動する音源位置に対応するインパルス応答の応答係数を要素値として含むインパルス応答行列の乗算により、収音信号ベクトルが得られる。そのため、複雑な演算を要さずに収音信号の信号値を容易に得ることができる。
本発明の態様（２）によれば、移動する音源から発される音に応じて収音される収音信号に近似する合成信号を容易に取得することができる。
本発明の態様（２）によれば、移動する音源から発される音に応じて収音される収音信号に近似する合成信号を容易に取得することができる。
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る音響処理装置１の構成例を示す概略ブロック図である。
音響処理装置１は、音源信号取得部１１、収音位置取得部１２、収音位置離散化部１３、シミュレーション部１４および合成信号生成部１５を含んで構成される。
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る音響処理装置１の構成例を示す概略ブロック図である。
音響処理装置１は、音源信号取得部１１、収音位置取得部１２、収音位置離散化部１３、シミュレーション部１４および合成信号生成部１５を含んで構成される。
音源信号取得部１１は、処理対象の音響信号として音源信号を取得する。音源信号は、所定のサンプリング周波数（例えば、８ｋＨｚ－４８ｋＨｚ）に対応する時間間隔でサンプリングされた時刻ごとの信号値の時系列からなるディジタル音響信号である。各サンプル時刻の信号値は、その時点における音の強度を示す。音源信号取得部１１は、取得した音源信号をシミュレーション部１４に出力する。
音源信号取得部１１は、例えば、マイクロホン（図示せず）から入力されるアナログ音響信号をディジタル音響信号に変換するためのＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ；アナログ・ディジタル）変換器を備える。マイクロホンは、音響処理装置１に内蔵されてもよいし、音響処理装置１とは別体であってもよい。音源信号取得部１１は、自装置とは別個の他機器から音響信号を入力するための入出力インタフェースであってもよい。
また、音源信号取得部１１は、自部に入力される指令（コマンド）で指示される音響信号を格納したデータファイルを、自装置の記憶部（図示せず）から読み出してもよい。音源信号取得部１１に入力される指令は、他機器から入力される指令であってもよいし、操作部（図示せず）から入力される操作信号で伝達される命令であってもよい。
音源信号取得部１１は、例えば、マイクロホン（図示せず）から入力されるアナログ音響信号をディジタル音響信号に変換するためのＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ；アナログ・ディジタル）変換器を備える。マイクロホンは、音響処理装置１に内蔵されてもよいし、音響処理装置１とは別体であってもよい。音源信号取得部１１は、自装置とは別個の他機器から音響信号を入力するための入出力インタフェースであってもよい。
また、音源信号取得部１１は、自部に入力される指令（コマンド）で指示される音響信号を格納したデータファイルを、自装置の記憶部（図示せず）から読み出してもよい。音源信号取得部１１に入力される指令は、他機器から入力される指令であってもよいし、操作部（図示せず）から入力される操作信号で伝達される命令であってもよい。
収音位置取得部１２は、シミュレーションの条件の一つの要素である収音位置を示す収音位置信号を取得する。収音位置は、音を収音する収音部（例えば、マイクロホン）の仮想的な位置である。収音位置は、一般に移動、つまり時間の経過に応じて変動しうる。収音位置取得部１２は、例えば、所定の収音位置の移動パターンを示す収音位置信号を生成する。収音位置取得部１２は、操作部（図示せず）から入力される操作信号で逐次に指示される収音位置を示す収音位置信号を生成してもよい。収音位置取得部１２は、生成した収音位置信号を収音位置離散化部１３に出力する。
収音位置離散化部１３は、収音位置取得部１２から入力される収音位置信号が示す収音位置を所定のサンプリング周波数に対応する時間間隔でサンプリングすることにより離散化する。このサンプリング周波数は、音響信号のサンプリング周波数と等しい周波数である。入力される収音位置信号は、音響信号のサンプリング時刻とは異なる離散化時刻ごとに離散化された収音位置を示すディジタル信号でありうる。その場合には、収音位置離散化部１３は、収音位置信号が示す時刻ごとの収音位置を補間して、そのサンプリング周波数に対応する時間間隔で離散化された時刻ごとに収音位置を算出する。収音位置離散化部１３は、離散化された収音位置信号をシミュレーション部１４に出力する。
シミュレーション部１４には、音源信号取得部１１から音源信号が入力され、収音位置離散化部１３から収音位置信号が入力される。
シミュレーション部１４は、インパルス応答取得部１４２を備える。インパルス応答取得部１４２には、音源位置から収音位置までの音の伝達特性を示すインパルス応答の生成モデルを示すモデルデータを予め設定させておく。また、本実施形態では、音源位置は所定の位置に静止していることを仮定する。
インパルス応答取得部１４２は、モデルデータを用いて、時刻ごとに音源位置から収音位置信号が示す収音位置までのインパルス応答を生成する。個々のインパルス応答は、Ｎ（Ｎは、２以上の整数）個の応答係数を含んで構成される。以下の説明では、個々の応答係数を、第ｎ（ｎは、０からＮ－１までの整数）と呼ぶ。インパルス応答の長さである応答期間は、例えば、シミュレーション対象の音源位置と収音位置を含む空間の残響時間（例えば、０．１ｓ～２．０ｓ）と同じ程度であってもよい。従って、インパルス応答の次数Ｎは、例えば、応答期間をサンプリング間隔で除算して得られる実数値を整数に丸めた値であってもよい。
シミュレーション部１４は、インパルス応答取得部１４２を備える。インパルス応答取得部１４２には、音源位置から収音位置までの音の伝達特性を示すインパルス応答の生成モデルを示すモデルデータを予め設定させておく。また、本実施形態では、音源位置は所定の位置に静止していることを仮定する。
インパルス応答取得部１４２は、モデルデータを用いて、時刻ごとに音源位置から収音位置信号が示す収音位置までのインパルス応答を生成する。個々のインパルス応答は、Ｎ（Ｎは、２以上の整数）個の応答係数を含んで構成される。以下の説明では、個々の応答係数を、第ｎ（ｎは、０からＮ－１までの整数）と呼ぶ。インパルス応答の長さである応答期間は、例えば、シミュレーション対象の音源位置と収音位置を含む空間の残響時間（例えば、０．１ｓ～２．０ｓ）と同じ程度であってもよい。従って、インパルス応答の次数Ｎは、例えば、応答期間をサンプリング間隔で除算して得られる実数値を整数に丸めた値であってもよい。
シミュレーション部１４は、離散化された時刻ｔごとに生成したインパルス応答を用いて音源信号に対して畳み込み演算を行う。ここで、シミュレーション部１４は、現時刻ｔにおける第０応答係数ｈ’ｑ（ｔ）（０）から、現時刻ｔから（Ｎ－１）時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数ｈ’ｑ（ｔ－（Ｎ－１））（Ｎ－１）までのそれぞれを、現時刻ｔにおける音源信号の信号値ｓ（ｔ）から、現時刻ｔから第Ｎ－１時刻前における信号値ｓ（ｔ－（Ｎ－１））に乗算して得られる乗算値の総和を、現時刻ｔにおける収音位置ｑ（ｔ）で収音されうる音の信号値ｘ’（ｔ）として算出する。シミュレーション部１４は、算出した信号値を合成信号生成部１５に出力する。
合成信号生成部１５は、シミュレーション部１４から入力される信号値の時系列を示す合成信号を生成する。合成信号は、シミュレーションによって算出された信号値の時系列を示す。合成信号生成部１５は、例えば、生成した合成信号を他機器に出力する。出力先となる機器は、例えば、音声認識装置、スピーカ（図示せず）などである。音声認識装置は、音響モデル学習部（図示せず）を備え、合成信号生成部１５から入力される合成信号を用いて音響モデルを生成することができる。スピーカは、合成信号生成部１５から入力される合成信号に基づく音を再生する。スピーカにより、移動する収音位置に到来する音が再生される。また、合成信号生成部１５は、生成した合成信号を他機器に出力せずに、自装置の記憶部（図示せず）に記憶してもよい。
（シミュレーション方法）
次に、本実施形態に係るシミュレーション方法について説明する。
図２は、時刻ｔにおけるインパルス応答ｈ’ｑ（ｔ）を例示する。インパルス応答ｈ’ｑ（ｔ）は、音源Ｓｒの位置である音源位置ｐから収音部Ｍｃの位置である収音位置ｑ（ｔ）までの音の伝達特性を示す。時刻ｔにおけるインパルス応答ｈ’ｑ（ｔ）は、第０次の応答係数ｈ’ｑ（ｔ）（０）から第Ｎ－１次の応答係数ｈ’ｑ（ｔ）（Ｎ－１）をそれぞれ要素として有するＮ次元のベクトル[ｈ’ｑ（ｔ）（０），ｈ’ｑ（ｔ）（１），ｈ’ｑ（ｔ）（２），…，ｈｑ（ｔ）（Ｎ－１）]Ｔとして表される。ここで、［…］Ｔは、ベクトルもしくは行列［…］の転置を示す。なお、本願では、ベクトルもしくは行列の最初の行、列を、それぞれ第０行、第０列とする。
次に、本実施形態に係るシミュレーション方法について説明する。
図２は、時刻ｔにおけるインパルス応答ｈ’ｑ（ｔ）を例示する。インパルス応答ｈ’ｑ（ｔ）は、音源Ｓｒの位置である音源位置ｐから収音部Ｍｃの位置である収音位置ｑ（ｔ）までの音の伝達特性を示す。時刻ｔにおけるインパルス応答ｈ’ｑ（ｔ）は、第０次の応答係数ｈ’ｑ（ｔ）（０）から第Ｎ－１次の応答係数ｈ’ｑ（ｔ）（Ｎ－１）をそれぞれ要素として有するＮ次元のベクトル[ｈ’ｑ（ｔ）（０），ｈ’ｑ（ｔ）（１），ｈ’ｑ（ｔ）（２），…，ｈｑ（ｔ）（Ｎ－１）]Ｔとして表される。ここで、［…］Ｔは、ベクトルもしくは行列［…］の転置を示す。なお、本願では、ベクトルもしくは行列の最初の行、列を、それぞれ第０行、第０列とする。
音源位置ｐ、収音位置ｑ（ｔ）ともに静止している場合には、時刻ｔにおいて収音位置ｑ（ｔ）で収音される音響信号の信号値ｘ’ｑ（ｔ）（ｔ）は、従来の手法と同様に音源信号ｓ（ｔ）に対してインパルス応答ｈ’ｑ（ｔ）を畳み込み演算を行って算出される。畳み込み演算は、現時刻ｔよりも所定サンプルτ（τは、１以上Ｎ－１以下の整数）前の過去の時刻ｔ－τにおける音源信号の信号値ｓ（ｔ－τ）の現時刻ｔにおける信号値ｘ’ｑ（ｔ）（ｔ）に対する寄与率を第τ次の応答係数ｈ’ｑ（ｔ）（τ）とする数理モデルとみなすこともできる。
但し、本実施形態では、時刻ｔの経過に伴う収音位置ｑ（ｔ）の変化によりインパルス応答ｈ’ｑ（ｔ）が変化する。そこで、シミュレーション部１４は、畳み込み演算において、過去の時刻ｔ－τにおける音源信号の信号値ｓ（ｔ－τ）の現時刻ｔにおける信号値ｘ’ｑ（ｔ）（ｔ）に対する寄与率として、時刻ｔ－τにおける第τ次の応答係数ｈ’ｑ（ｔ－τ）（τ）を用いる。言い換えれば、シミュレーション部１４は、現時刻ｔにおける第０応答係数ｈｑ（ｔ）（０）から、現時刻ｔから（Ｎ－１）時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数ｈ’ｑ（ｔー（Ｎ－１））（Ｎ－１）までのそれぞれを、現時刻ｔにおける音源信号の信号値ｓ（ｔ）から、現時刻ｔから第Ｎ－１時刻前における信号値ｓ（ｔ－（Ｎ－１））までのそれぞれに乗算して得られる乗算値の総和を、現時刻ｔにおける収音位置ｑ（ｔ）で収音されうる音の信号値ｘ’ ｑ（ｔ）（ｔ）として算出する。
シミュレーション部１４は、式（１）に示すように、音源信号ベクトルｓに、インパルス応答行列Ｈ’ｑ（ｔ）を乗じて合成信号ベクトルｘ’ｑ（ｔ）を算出することができる。
音源信号ベクトルｓは、［ｓ（０），ｓ（１），ｓ（２），…，ｓ（ｔ），…，ｓ（Ｔ－１）］Ｔと表される。つまり、音源信号ベクトルｓは、第ｔ次元の要素として時刻ｔにおける音源信号の信号値ｓ（ｔ）を含むＴ次元の列ベクトルである。Ｔは、計算対象とする音源信号のサンプル数（期間）を示す。Ｔは、インパルス応答の次数Ｎよりも大きい整数である。
合成信号ベクトルｘ’ｑ（ｔ）は、［ｘ’ ｑ（０）（０），ｘ’ ｑ（１）（１），ｘ’ ｑ（２）（２），…，ｘ’ ｑ（ｔ）（ｔ），…，ｘ’ ｑ（Ｔ＋Ｎ－２）（Ｔ＋Ｎ－２）］Ｔと表される。つまり、合成信号ベクトルｘ’ｑ（ｔ）は、第ｔ次元の要素として時刻ｔにおける合成信号の信号値ｘ’ ｑ（ｔ）（ｔ）を含むＴ＋Ｎ－１次元のベクトルである。
インパルス応答行列Ｈ’ｑ（ｔ）は、［ｈ’０，ｈ’１，ｈ’２，…，ｈ’ｔ，…，ｈ’Ｔ＋Ｎ－２］Ｔと表される。つまり、インパルス応答行列Ｈ’ｑ（ｔ）は、第ｔ行の要素としてＴ次元の要素ベクトルｈ’ｔを含むＴ＋Ｎ－１行Ｔ列の行列である。
合成信号ベクトルｘ’ｑ（ｔ）は、［ｘ’ ｑ（０）（０），ｘ’ ｑ（１）（１），ｘ’ ｑ（２）（２），…，ｘ’ ｑ（ｔ）（ｔ），…，ｘ’ ｑ（Ｔ＋Ｎ－２）（Ｔ＋Ｎ－２）］Ｔと表される。つまり、合成信号ベクトルｘ’ｑ（ｔ）は、第ｔ次元の要素として時刻ｔにおける合成信号の信号値ｘ’ ｑ（ｔ）（ｔ）を含むＴ＋Ｎ－１次元のベクトルである。
インパルス応答行列Ｈ’ｑ（ｔ）は、［ｈ’０，ｈ’１，ｈ’２，…，ｈ’ｔ，…，ｈ’Ｔ＋Ｎ－２］Ｔと表される。つまり、インパルス応答行列Ｈ’ｑ（ｔ）は、第ｔ行の要素としてＴ次元の要素ベクトルｈ’ｔを含むＴ＋Ｎ－１行Ｔ列の行列である。
要素ベクトルｈ’ｔは、それぞれ次式で表されるＴ次元の行ベクトルである。
シミュレーション部１４は、次に説明する手順で合成信号の信号値を算出する。
図３は、本実施形態に係る合成信号生成処理の例を示すフローチャートである。
（ステップＳ１０２）シミュレーション部１４は、音源信号の時刻０における信号値ｓ（０）から時刻Ｎ－１における信号値ｓ（Ｎ－１）まで、その順序で配列して音源信号ベクトルｓを構成する。
（ステップＳ１０４）インパルス応答取得部１４２は、予め設定されたモデルデータを用いて、時刻０における収音位置ｑ（０）に対応するインパルス応答ｈ’ｑ（０）から時刻Ｔ＋Ｎ－２における収音位置ｑ（Ｔ＋Ｎ－２）までのインパルス応答ｈ’ｑ（Ｔ＋Ｎ－２）を生成する。
図３は、本実施形態に係る合成信号生成処理の例を示すフローチャートである。
（ステップＳ１０２）シミュレーション部１４は、音源信号の時刻０における信号値ｓ（０）から時刻Ｎ－１における信号値ｓ（Ｎ－１）まで、その順序で配列して音源信号ベクトルｓを構成する。
（ステップＳ１０４）インパルス応答取得部１４２は、予め設定されたモデルデータを用いて、時刻０における収音位置ｑ（０）に対応するインパルス応答ｈ’ｑ（０）から時刻Ｔ＋Ｎ－２における収音位置ｑ（Ｔ＋Ｎ－２）までのインパルス応答ｈ’ｑ（Ｔ＋Ｎ－２）を生成する。
（ステップＳ１０６）シミュレーション部１４は、生成したインパルス応答ｈ’ｑ（０）－ｈ’ｑ（Ｔ＋Ｎ－２）からインパルス応答行列Ｈ’を構成する。インパルス応答行列Ｈ’を構成する際、第０行から第Ｎ－２行までの第ｔ行において、シミュレーション部１４は、時刻ｔにおける第ｔ応答係数ｈ’ｑ（ｔ）（ｔ）から第０応答係数ｈ’ｑ（ｔ）（０）までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０（ゼロ；スカラ値）を各列の要素値として、その順序で配列する。
第Ｎ－１行から第Ｔ－１行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔにおける第Ｎ－１応答係数ｈ’ｑ（ｔ）（Ｎ－１）から第０応答係数ｈ’ｑ（ｔ）（０）までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として、その順序で配列する。第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔにおける第Ｎ－１応答係数ｈ’ｑ（ｔ）（Ｎ－１）から第ｔ－Ｔ＋１応答係数ｈ’ｑ（ｔ）（ｔ－Ｔ＋１）までのＴ＋Ｎ－（ｔ＋１）個の応答係数を、各列の要素値として、その順序で配列する。
（ステップＳ１０８）シミュレーション部１４は、音源信号ベクトルｓにインパルス応答行列Ｈ’を乗算して合成信号ベクトルｘ’ｑ（ｔ）を算出する。シミュレーション部１４は、合成信号ベクトルｘ’ｑ（ｔ）の要素値ｘ’ｑ（ｔ）（ｔ）を時刻ｔにおける合成信号の信号値として合成信号生成部１５に出力する。
第Ｎ－１行から第Ｔ－１行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔにおける第Ｎ－１応答係数ｈ’ｑ（ｔ）（Ｎ－１）から第０応答係数ｈ’ｑ（ｔ）（０）までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として、その順序で配列する。第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔにおける第Ｎ－１応答係数ｈ’ｑ（ｔ）（Ｎ－１）から第ｔ－Ｔ＋１応答係数ｈ’ｑ（ｔ）（ｔ－Ｔ＋１）までのＴ＋Ｎ－（ｔ＋１）個の応答係数を、各列の要素値として、その順序で配列する。
（ステップＳ１０８）シミュレーション部１４は、音源信号ベクトルｓにインパルス応答行列Ｈ’を乗算して合成信号ベクトルｘ’ｑ（ｔ）を算出する。シミュレーション部１４は、合成信号ベクトルｘ’ｑ（ｔ）の要素値ｘ’ｑ（ｔ）（ｔ）を時刻ｔにおける合成信号の信号値として合成信号生成部１５に出力する。
（インパルス応答の生成モデル）
次に、インパルス応答の生成モデルの例について説明する。
インパルス応答の生成モデルとして、音源位置と収音位置（もしくは、音源位置を基準とする収音方向）に応じてインパルス応答を一意に定めることができる数理モデルであれば、いかなる生成モデルも利用可能である。
インパルス応答取得部１４２は、インパルス応答の生成モデルとして、例えば、幾何学的音響伝搬モデルを利用することができる。簡素な音響伝搬モデルのうちの一つとして球面波モデルが利用可能である。球面波モデルは、収音位置ｑにおける音圧が、音源位置から収音位置までの距離ｒに反比例して減衰し、音源位置における時刻から伝搬時間ｔｐだけ遅延することを表すモデルである。伝搬時間ｔｐは、距離ｒを音速ｖで除算して得られる。
次に、インパルス応答の生成モデルの例について説明する。
インパルス応答の生成モデルとして、音源位置と収音位置（もしくは、音源位置を基準とする収音方向）に応じてインパルス応答を一意に定めることができる数理モデルであれば、いかなる生成モデルも利用可能である。
インパルス応答取得部１４２は、インパルス応答の生成モデルとして、例えば、幾何学的音響伝搬モデルを利用することができる。簡素な音響伝搬モデルのうちの一つとして球面波モデルが利用可能である。球面波モデルは、収音位置ｑにおける音圧が、音源位置から収音位置までの距離ｒに反比例して減衰し、音源位置における時刻から伝搬時間ｔｐだけ遅延することを表すモデルである。伝搬時間ｔｐは、距離ｒを音速ｖで除算して得られる。
また、インパルス応答取得部１４２は、予め複数の受音点のそれぞれに対して実測された伝達関数を補間して、収音位置における伝達関数を算出してもよい。周波数領域で算出される伝達関数に対して逆フーリエ変換を行うことにより、時間領域のインパルス応答が得られる。複数の伝達関数を補間する手法として、ＦＤＬＩ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ Ｌｉｎｅａｒ ｏｒ ｂｉ－ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、ＴＤＬＩ（Ｔｉｍｅ Ｄｏｍａｉｎ Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、ＦＴＤＬＩ（Ｆｒｅｑｕｅｎｃｙ Ｔｉｍｅ Ｄｏｍａｉｎ Ｌｉｎｅａｒ ｏｒ ｂｉ－ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法などのいずれの手法が用いられてもよい。ＦＤＬＩ法とは、２以上の受音点間において、それぞれの受音点に対する伝達関数を周波数領域で線形補間して、収音位置に対する伝達関数を算出する手法である。ＴＤＬＩ法とは、時間領域で２以上の受音点間において、それぞれの受音点に対する伝達関数を時間領域で線形補間して、収音位置に対する伝達関数を算出する手法である。ＦＴＤＬＩ法は、時間領域で２以上の受音点間において、それぞれの受音点に対する伝達関数の位相を周波数領域で線形補間し、振幅を時間領域で線形補間する手法である。
また、インパルス応答取得部１４２は、インパルス応答の生成モデルとして、音源位置から放射される音波の伝搬を表す波動方程式から導出されたモデルを用いてもよい。波動方程式から導出されるグリーン関数は、音源位置から収音位置までの伝達特性を示すインパルス応答として利用することができる。Ｈａｂｅｔｓが提案した室内インパルス応答生成法では、直方体の形状を有する室の壁面における音の反射特性を境界条件として導出されるグリーン関数がインパルス応答として採用されている。Ｈａｂｅｔｓが提案した手法については、例えば、次の文献に詳しく記載されている。
Ｈａｂｅｔｓ，Ｅ．Ａ．（２００６）． Ｒｏｏｍ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｇｅｎｅｒａｔｏｒ． Ｔｅｃｈｎｉｓｃｈｅ Ｕｎｉｖｅｒｓｉｔｅｉｔ Ｅｉｎｄｈｏｖｅｎ，Ｔｅｃｈ．Ｒｅｐ．２（２．４），１．
Ｈａｂｅｔｓ，Ｅ．Ａ．（２００６）． Ｒｏｏｍ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｇｅｎｅｒａｔｏｒ． Ｔｅｃｈｎｉｓｃｈｅ Ｕｎｉｖｅｒｓｉｔｅｉｔ Ｅｉｎｄｈｏｖｅｎ，Ｔｅｃｈ．Ｒｅｐ．２（２．４），１．
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下の説明では、第１の実施形態との差異点を主とする。第１の実施形態と共通の処理、構成については、同一の符号を付して、特に断らない限りその説明を援用する。
図４は、本実施形態に係る音響処理装置１の構成を示す概略図である。
音響処理装置１は、音源信号取得部１１、収音位置取得部１２、収音位置離散化部１３、シミュレーション部１４、合成信号生成部１５、音源位置取得部１６および音源位置離散化部１７を含んで構成される。即ち、図４に示す音響処理装置１は、図１に示す音響処理装置１に対して、さらに音源位置取得部１６と音源位置離散化部１７を備える。
次に、本発明の第２の実施形態について説明する。以下の説明では、第１の実施形態との差異点を主とする。第１の実施形態と共通の処理、構成については、同一の符号を付して、特に断らない限りその説明を援用する。
図４は、本実施形態に係る音響処理装置１の構成を示す概略図である。
音響処理装置１は、音源信号取得部１１、収音位置取得部１２、収音位置離散化部１３、シミュレーション部１４、合成信号生成部１５、音源位置取得部１６および音源位置離散化部１７を含んで構成される。即ち、図４に示す音響処理装置１は、図１に示す音響処理装置１に対して、さらに音源位置取得部１６と音源位置離散化部１７を備える。
音源位置取得部１６は、シミュレーションの条件の他の要素である音源位置を示す音源位置信号を取得する。本実施形態では、収音位置の他、音源位置も時間の経過に応じて変動しうる。音源位置取得部１６は、例えば、所定の音源位置の移動パターンを示す音源位置信号を生成する。音源位置取得部１６は、操作部（図示せず）から入力される操作信号で逐次に指示される音源位置を示す音源位置信号を生成してもよい。音源位置取得部１６は、生成した音源位置信号を音源位置離散化部１７に出力する。
音源位置離散化部１７は、音源位置取得部１６から入力される音源位置信号が示す音源位置を所定のサンプリング周波数に対応する時間間隔でサンプリングすることにより離散化する。このサンプリング周波数は、音響信号のサンプリング周波数と等しい周波数である。入力される音源位置信号は、音響信号のサンプリング時刻とは異なる離散化時刻ごとの音源位置を示すディジタル信号でありうる。その場合には、音源位置離散化部１７は、音源位置信号が示す時刻ごとの収音位置を補間して、そのサンプリング周波数に対応する時間間隔で離散化された時刻ごとに収音位置を算出する。音源位置離散化部１７は、離散化された音源位置信号をシミュレーション部１４に出力する。
シミュレーション部１４には、音源信号取得部１１から音源信号が入力され、収音位置離散化部１３から収音位置信号が入力される他、音源位置離散化部１７から音源位置信号が入力される。
インパルス応答取得部１４２は、モデルデータを用いて、離散化された時刻ごとに音源位置から収音位置信号が示す収音位置までのインパルス応答を生成する。本実施形態では、時刻ごとの音源位置、収音位置は、入力された音源位置信号、収音位置信号でそれぞれ指示される。従って、生成されるインパルス応答ｈ”ｑ（ｔ）ｐ（ｔ）は、収音位置ｑ（ｔ）と音源位置ｐ（ｔ）に依存する。
シミュレーション部１４は、後述するシミュレーション方法に従い、時刻ｔごとに生成したインパルス応答を構成する応答係数を用いて、音源信号に対して畳み込み演算を行う。シミュレーション部１４は、畳み込み演算により得られた各時刻ｔで収音位置ｑ（ｔ）において収音されうる音の信号値ｘ”（ｔ）を合成信号生成部１５に出力する。
インパルス応答取得部１４２は、モデルデータを用いて、離散化された時刻ごとに音源位置から収音位置信号が示す収音位置までのインパルス応答を生成する。本実施形態では、時刻ごとの音源位置、収音位置は、入力された音源位置信号、収音位置信号でそれぞれ指示される。従って、生成されるインパルス応答ｈ”ｑ（ｔ）ｐ（ｔ）は、収音位置ｑ（ｔ）と音源位置ｐ（ｔ）に依存する。
シミュレーション部１４は、後述するシミュレーション方法に従い、時刻ｔごとに生成したインパルス応答を構成する応答係数を用いて、音源信号に対して畳み込み演算を行う。シミュレーション部１４は、畳み込み演算により得られた各時刻ｔで収音位置ｑ（ｔ）において収音されうる音の信号値ｘ”（ｔ）を合成信号生成部１５に出力する。
（シミュレーション方法）
次に、本実施形態に係るシミュレーション方法について説明する。
図５は、時刻ｔにおけるインパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）を示す。インパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）は、音源位置ｐ（ｔ）から収音位置ｑ（ｔ）までの音の伝達特性を示す。時刻ｔにおけるインパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）は、第０次の応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（０）から第Ｎ－１次の応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（Ｎ－１）をそれぞれ要素として有するＮ次元のベクトル[ｈ”ｐ（ｔ）ｑ（ｔ）（０），ｈ” ｐ（ｔ）ｑ（ｔ）（１），ｈ” ｐ（ｔ）ｑ（ｔ）（２），…，ｈ” ｐ（ｔ）ｑ（ｔ）（Ｎ－１）]Ｔとして表される。
次に、本実施形態に係るシミュレーション方法について説明する。
図５は、時刻ｔにおけるインパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）を示す。インパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）は、音源位置ｐ（ｔ）から収音位置ｑ（ｔ）までの音の伝達特性を示す。時刻ｔにおけるインパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）は、第０次の応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（０）から第Ｎ－１次の応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（Ｎ－１）をそれぞれ要素として有するＮ次元のベクトル[ｈ”ｐ（ｔ）ｑ（ｔ）（０），ｈ” ｐ（ｔ）ｑ（ｔ）（１），ｈ” ｐ（ｔ）ｑ（ｔ）（２），…，ｈ” ｐ（ｔ）ｑ（ｔ）（Ｎ－１）]Ｔとして表される。
本実施形態では、音源位置ｐ（ｔ）、収音位置ｑ（ｔ）の両者が時間経過により変化しうるため、インパルス応答ｈ”ｐ（ｔ）ｑ（ｔ）も時間経過に伴って変化しうる。収音位置ｑ（ｔ）の変動に対しては、シミュレーション部１４は、畳み込み演算において、過去の時刻ｔ－τにおける音源信号の信号値ｓ（ｔ－τ）の現時刻ｔにおける信号値ｘ”ｑ（ｔ）（ｔ）に対する寄与率として、時刻ｔ－τにおける収音位置ｑ（ｔ－τ）に対する第τ次の応答係数ｈ”ｐ（ｔ）ｑ（ｔ－τ）（τ）を用いればよい。ここで、音源位置ｐ（ｔ）の変動に関しては、各時刻ｔにおける音源位置ｐ（ｔ）に配置された音源Ｓｒが信号値ｓ（ｔ）に基づく音を放射し、その他の時刻ｔ－τにおける音源位置ｐ（ｔ－τ）に配置された音源が音を放射していないと仮定する。
そこで、シミュレーション部１４は、現時刻ｔにおける音源位置ｐ（ｔ）と収音位置ｑ（ｔ）に対応するインパルス応答の第０応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（０）から、現時刻ｔから（Ｎ－１）時刻前の時刻ｔ－Ｎ＋１における音源位置ｐ（ｔ－Ｎ＋１）と現時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第Ｎ－１応答係数ｈ”ｐ（ｔ－Ｎ＋１）ｑ（ｔ））（Ｎ－１）までのＮ個の応答係数のそれぞれを、現時刻ｔにおける音源信号の信号値ｓ（ｔ）から、現時刻ｔから第Ｎ－１時刻前における信号値ｓ（ｔ－Ｎ＋１）までのそれぞれに乗算して得られる乗算値の総和を、現時刻ｔにおける収音位置ｑ（ｔ）で収音されうる音の信号値ｘ” ｑ（ｔ）（ｔ）として算出する。
本実施形態では、シミュレーション部１４は、式（３）に示すように、音源信号ベクトルｓに、インパルス応答行列Ｈ”ｑ（ｔ）を乗じて合成信号ベクトルｘ”ｑ（ｔ）を算出することができる。
合成信号ベクトルｘ”ｑ（ｔ）は、［ｘ” ｑ（０）（０），ｘ” ｑ（１）（１），ｘ” ｑ（２）（２），…，ｘ” ｑ（ｔ）（ｔ），…，ｘ”ｑ（Ｔ＋Ｎ－２）（Ｔ＋Ｎ－２）］Ｔと表される。
インパルス応答行列Ｈ”ｑ（ｔ）は、［ｈ”０，ｈ”１，ｈ”２，…，ｈ”ｔ，…，ｈ”Ｔ＋Ｎ－２］Ｔと表される。
要素ベクトルｈ”ｔは、それぞれ次式で表されるＴ次元の行ベクトルである。
インパルス応答行列Ｈ”ｑ（ｔ）は、［ｈ”０，ｈ”１，ｈ”２，…，ｈ”ｔ，…，ｈ”Ｔ＋Ｎ－２］Ｔと表される。
要素ベクトルｈ”ｔは、それぞれ次式で表されるＴ次元の行ベクトルである。
従って、インパルス応答取得部１４２は、ステップＳ１０４(図３)において、モデルデータを用いて、各時刻ｔ１（ｔ１は、０からＴ－１までの整数）における音源位置ｐ（ｔ１）と各時刻ｔ２（ｔ２は、０からＴ＋Ｎ－２までの整数）における収音位置ｑ（ｔ２）との組にそれぞれ対応するインパルス応答ｈ”ｐ（ｔ１）ｑ（ｔ２）を生成すればよい。
シミュレーション部１４は、ステップＳ１０６（図３において）、生成したインパルス応答ｈ”ｐ（ｔ１）ｑ（ｔ２）からインパルス応答行列Ｈ”を構成する。インパルス応答行列Ｈ”を構成する際、第０行から第Ｎ－２行までの第ｔ行において、シミュレーション部１４は、時刻０における音源位置ｐ（０）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第ｔ応答係数ｈ”ｐ（０）ｑ（ｔ）（ｔ）から時刻ｔにおける音源位置ｐ（ｔ）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第０応答係数ｈ”ｐ（ｔ）ｑ（ｔ）（０）までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として、その順序で配列する。
第Ｎ－１行から第Ｔ－１行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔ－Ｎ＋１における音源位置ｐ（ｔ－Ｎ＋１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第Ｎ－１応答係数ｈ” ｐ（ｔ－Ｎ＋１）ｑ（ｔ）（Ｎ－１）から時刻ｔにおける音源位置ｐ（ｔ）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第０応答係数ｈ” ｐ（ｔ）ｑ（ｔ）（０）までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として、その順序で配列する。
第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行において、シミュレーション部１４は、Ｔ－Ｎ＋１個の０と、時刻ｔ－Ｎ＋１における音源位置ｐ（ｔ－Ｎ＋１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第Ｎ－１応答係数ｈ” ｐ（ｔ－Ｎ＋１）ｑ（ｔ）（Ｎ－１）から時刻Ｔ－１における音源位置ｐ（Ｔ－１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第ｔ－Ｔ＋１応答係数ｈ”ｐ（Ｔ－１）ｑ（ｔ）（ｔ－Ｔ＋１））までのＴ＋Ｎ－（ｔ＋１）個の応答係数を、各列の要素値として、その順序で配列する。
第Ｎ－１行から第Ｔ－１行までの第ｔ行において、シミュレーション部１４は、ｔ－Ｎ＋１個の０と、時刻ｔ－Ｎ＋１における音源位置ｐ（ｔ－Ｎ＋１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第Ｎ－１応答係数ｈ” ｐ（ｔ－Ｎ＋１）ｑ（ｔ）（Ｎ－１）から時刻ｔにおける音源位置ｐ（ｔ）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第０応答係数ｈ” ｐ（ｔ）ｑ（ｔ）（０）までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として、その順序で配列する。
第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行において、シミュレーション部１４は、Ｔ－Ｎ＋１個の０と、時刻ｔ－Ｎ＋１における音源位置ｐ（ｔ－Ｎ＋１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第Ｎ－１応答係数ｈ” ｐ（ｔ－Ｎ＋１）ｑ（ｔ）（Ｎ－１）から時刻Ｔ－１における音源位置ｐ（Ｔ－１）と時刻ｔにおける収音位置ｑ（ｔ）に対応するインパルス応答の第ｔ－Ｔ＋１応答係数ｈ”ｐ（Ｔ－１）ｑ（ｔ）（ｔ－Ｔ＋１））までのＴ＋Ｎ－（ｔ＋１）個の応答係数を、各列の要素値として、その順序で配列する。
（評価実験）
上記の実施形態の音響処理方法の有効性を検証するために出願人は２項目の評価実験を行った。実験１では、合成信号のドップラー効果の再現性について検証した。実験１では、音源となるスピーカと収音部となるマイクロホンの位置関係として、次の移動パターン（ａ）～（ｃ）を設定した。
パターン（ａ） 当初、音源位置から収音位置までの距離を１８．７４ｍに設定しておき、収音位置を静止させたまま、音源位置を収音位置に秒速４０ｍ／ｓの速度で接近させた。
パターン（ｂ） 当初、音源位置から収音位置までの距離を８．５ｍに設定しておき、音源位置を静止させたまま、収音位置を音源位置に秒速４０ｍ／ｓの速度で接近させた。
パターン（ｃ） 当初、音源位置から収音位置までの距離を２６．７４ｍに設定しておき、音源位置と収音位置が互いに接近する方向に、それぞれ秒速４０ｍ／ｓの速度で接近させた。従って、合成信号の生成において、パターン（ａ）、（ｃ）については、第２の実施形態を適用し、パターン（ｂ）については、第１の実施形態を適用した。
合成信号の生成には、期間が０．２ｓの音源信号と長さが０．２５６ｓのインパルス応答を用いた。インパルス応答の生成において、Ｈａｂｅｔｓが提案した手法を用いた。但し、音速３４０ｍ／ｓ、サンプリング周波数８ｋＨｚ、残響時間０．２ｓおよび反射次数０次を仮定した。また、マイクロホンの指向特性として無指向性を仮定した。
検証結果の有効性を評価するために、合成信号の周波数と、収音信号の周波数の理論値とを比較した。ドップラー効果によれば、収音信号の周波数の理論値ｆ’は、式（５）に示すように、音源信号の周波数ｆに対して、音速Ｖと音源位置の移動速度ｖｓとの差に対する音速Ｖと収音位置の移動速度ｖｏとの和の比を乗じて得られる周波数となる。
上記の実施形態の音響処理方法の有効性を検証するために出願人は２項目の評価実験を行った。実験１では、合成信号のドップラー効果の再現性について検証した。実験１では、音源となるスピーカと収音部となるマイクロホンの位置関係として、次の移動パターン（ａ）～（ｃ）を設定した。
パターン（ａ） 当初、音源位置から収音位置までの距離を１８．７４ｍに設定しておき、収音位置を静止させたまま、音源位置を収音位置に秒速４０ｍ／ｓの速度で接近させた。
パターン（ｂ） 当初、音源位置から収音位置までの距離を８．５ｍに設定しておき、音源位置を静止させたまま、収音位置を音源位置に秒速４０ｍ／ｓの速度で接近させた。
パターン（ｃ） 当初、音源位置から収音位置までの距離を２６．７４ｍに設定しておき、音源位置と収音位置が互いに接近する方向に、それぞれ秒速４０ｍ／ｓの速度で接近させた。従って、合成信号の生成において、パターン（ａ）、（ｃ）については、第２の実施形態を適用し、パターン（ｂ）については、第１の実施形態を適用した。
合成信号の生成には、期間が０．２ｓの音源信号と長さが０．２５６ｓのインパルス応答を用いた。インパルス応答の生成において、Ｈａｂｅｔｓが提案した手法を用いた。但し、音速３４０ｍ／ｓ、サンプリング周波数８ｋＨｚ、残響時間０．２ｓおよび反射次数０次を仮定した。また、マイクロホンの指向特性として無指向性を仮定した。
検証結果の有効性を評価するために、合成信号の周波数と、収音信号の周波数の理論値とを比較した。ドップラー効果によれば、収音信号の周波数の理論値ｆ’は、式（５）に示すように、音源信号の周波数ｆに対して、音速Ｖと音源位置の移動速度ｖｓとの差に対する音速Ｖと収音位置の移動速度ｖｏとの和の比を乗じて得られる周波数となる。
パターン（ａ）では、理論値は、１１３３．３３Ｈｚであるのに対し、合成信号の周波数は、１１３３．４２Ｈｚとなった。パターン（ｂ）では、理論値は、１１１７．６５Ｈｚであるのに対し、合成信号の周波数は、１１１７．７１Ｈｚとなった。パターン（ｃ）では、理論値は、１２６６．６７Ｈｚであるのに対し、合成信号の周波数は、１２６６．８４Ｈｚとなった。パターン（ａ）～（ｃ）ともに、合成信号の周波数の理論値との差分は、０．１４Ｈｚ以下に過ぎない。従って、実験１の結果は、音源位置や収音位置の移動に伴う周波数の変化が十分に再現できることを示す。
実験２では、合成信号の音量について検証した。検証において、現実に音源から発した音を収音して得られる収音信号の音量と合成信号の音量とを比較した。音源信号として英文誌ウォールストリートジャーナル（ＷＳＪ：Ｗａｌｌ Ｓｔｒｅｅｔ Ｊｏｕｒｎａｌ）の原稿のうち１０個の文を発話内容とする音声を用いた。
収音信号は、無響室内でスピーカとマイクロホンの一方もしくは両方を移動させながら収録した。無響室の内部は、縦６．２ｍ、横４．８ｍ、高さ５．１ｍの直方体の空間である。スピーカは、無響室の中心部を中心位置とする縦方向に４．0ｍの範囲を経路として移動させた。但し、スピーカを静止させる場合には、その経路の中心位置に静止させた。マイクロホンは、無響室の中心部から横方向に１．０ｍ離れた位置を中心位置とする縦方向に４．０ｍの範囲を経路として移動させた。但し、マイクロホンを静止させる場合には、その経路の中心位置に静止させた。スピーカとマイクロホンの位置関係として、次の移動パターン（ｉ）～（ｖ）を設定した。
収音信号は、無響室内でスピーカとマイクロホンの一方もしくは両方を移動させながら収録した。無響室の内部は、縦６．２ｍ、横４．８ｍ、高さ５．１ｍの直方体の空間である。スピーカは、無響室の中心部を中心位置とする縦方向に４．0ｍの範囲を経路として移動させた。但し、スピーカを静止させる場合には、その経路の中心位置に静止させた。マイクロホンは、無響室の中心部から横方向に１．０ｍ離れた位置を中心位置とする縦方向に４．０ｍの範囲を経路として移動させた。但し、マイクロホンを静止させる場合には、その経路の中心位置に静止させた。スピーカとマイクロホンの位置関係として、次の移動パターン（ｉ）～（ｖ）を設定した。
パターン（ｉ） 音源位置、収音位置をいずれも静止させた。
パターン（ｉｉ） 音源位置を静止させながら、収音位置を経路の一端から他端まで一定速度１．８ｍ／ｓで移動させた。
パターン（ｉｉｉ） 収音位置を静止させながら、音源位置を経路の一端から他端まで一定速度１．８ｍ／ｓで移動させた。
パターン（ｉｖ） 音源位置と収音位置を、同じ方向でそれぞれの経路上を一端から他端まで一定速度で移動させた。但し、音源位置の移動速度を１．８ｍ／ｓとし、収音位置の移動速度を１．７ｍ／ｓとした。
パターン（ｖ） 音源位置と収音位置を、同じ速度でそれぞれの経路上を一定速度１．８ｍ／ｓで移動させた。但し、音源位置と収音位置の移動方向は、互いに逆方向である。音源の移動開始位置はその経路の一端であるのに対し、収音位置の移動開始位置はその経路の他端である。従って、パターン（ｉ）に対する合成信号は、従来の手法と同様に音源位置と収音位置に対するインパルス応答を音源信号に対して畳み込み演算を行って得られる。パターン（ｉｉ）に対する合成信号は、第１の実施形態の手法を実行して得られる。パターン（ｉｉｉ）～（ｖ）に対する合成信号は、第２の実施形態の手法を実行して得られる。
パターン（ｉｉ） 音源位置を静止させながら、収音位置を経路の一端から他端まで一定速度１．８ｍ／ｓで移動させた。
パターン（ｉｉｉ） 収音位置を静止させながら、音源位置を経路の一端から他端まで一定速度１．８ｍ／ｓで移動させた。
パターン（ｉｖ） 音源位置と収音位置を、同じ方向でそれぞれの経路上を一端から他端まで一定速度で移動させた。但し、音源位置の移動速度を１．８ｍ／ｓとし、収音位置の移動速度を１．７ｍ／ｓとした。
パターン（ｖ） 音源位置と収音位置を、同じ速度でそれぞれの経路上を一定速度１．８ｍ／ｓで移動させた。但し、音源位置と収音位置の移動方向は、互いに逆方向である。音源の移動開始位置はその経路の一端であるのに対し、収音位置の移動開始位置はその経路の他端である。従って、パターン（ｉ）に対する合成信号は、従来の手法と同様に音源位置と収音位置に対するインパルス応答を音源信号に対して畳み込み演算を行って得られる。パターン（ｉｉ）に対する合成信号は、第１の実施形態の手法を実行して得られる。パターン（ｉｉｉ）～（ｖ）に対する合成信号は、第２の実施形態の手法を実行して得られる。
評価を行う前に、合成信号に対する増幅率Ａを定める。増幅率Ａは、合成信号全体に対する音量を収音信号全体に対する音量に合わせるためのパラメータである。
増幅率Ａは、式（６）に基づいて計算できる。
増幅率Ａは、式（６）に基づいて計算できる。
ｘｓ（ｆ，ｔ）は、第ｆフレームの時刻ｔにおける合成信号の信号値を示す。ｘｒ（ｆ，ｔ）は、第ｆフレームの時刻ｔにおける収音信号の信号値を示す。Ｆ、Ｎは、それぞれフレーム数、フレーム内のサンプル数を示す。従って、増幅された合成信号全体の音量が収音信号の音量に全体として等しくする増幅率Ａ’が、増幅率Ａとして算出される。
つまり、式（６）に示す増幅率Ａは、式（７）に示す関数Ｃ（Ａ）を最小にするとの条件のもとで与えられる。
関数Ｃ（Ａ）の増幅率Ａに対する導関数は、式（８）で与えられる。
式（８）の両辺を０とおくと、式（９）の関係が得られる。
式（９）を変形すると、式（１０）が得られる。式（１０）を用いて増幅率Ａが算出される。
そして、合成信号ｘｓ（ｆ，ｔ）に増幅率Ａを乗算して、補正合成信号ｘ’ｓ（ｆ，ｔ）を算出する。次に、合成信号と収音信号の音量の類似性の尺度として、式（１１）を用いて距離Ｄｓを算出する。
距離Ｄｓは、合成信号と収音信号の信号値のフレームごとの差の大きさを示す。評価において、距離Ｄｓを音源位置と収音位置の時間変化に伴う両信号間の振幅変化の差の大きさを示す尺度として用いた。
なお、比較のために、式（１２）を用いて原信号ｘ’ｏ（ｆ，ｔ）と収音信号との距離Ｄｏを算出した。
なお、比較のために、式（１２）を用いて原信号ｘ’ｏ（ｆ，ｔ）と収音信号との距離Ｄｏを算出した。
評価において、パターン（ｉ）～（ｖ）のそれぞれについて、距離Ｄｓと距離Ｄｏを算出した。次に、距離Ｄｓと距離Ｄｏの算出例を示す。但し、次に示す算出例は、移動パターンごとの１０回の発話間の平均値である。
距離Ｄsは、パターン（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）のそれぞれについて、０．０１１０、０．０１４７、０．０９６、０．０１２０、０．００８９となった。
距離Ｄoは、パターン（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）のそれぞれについて、０．０１０８、０．０３０２、０．０３３５、０．０１３９、０．０３７２となった。
算出した距離Ｄｓは、パターン（ｖ）、（ｉｉｉ）、（ｉ）、（ｉｖ）、（ｉｉ）の順に大きくなるが、いずれのパターンにかかわらず、約０．０１となり、音源位置と収音位置の相対速度との相関性も認められない。最も相対速度が大きい移動パターン（ｖ）でも距離ＤＳは０．００８９に過ぎない。
他方、距離Ｄoは、パターン（ｉ）、（ｉｖ）、（ｉｉ）、（ｉｉｉ）、（ｖ）の順に大きくなる傾向がある。このことは、相対速度が大きいほど移動に伴う音量の変化が著しいことを裏付ける。パターン（ｉ）では、音源位置と収音位置の相対速度が０となり、移動パターン（ｉｖ）では、音源位置と収音位置の相対速度が０．１ｍ／ｓとなり、移動パターン（ｉｉ）、（ｉｉｉ）では、音源位置と収音位置の相対速度が１．８ｍ／ｓとなり、移動パターン（ｖ）では、音源位置と収音位置の相対速度が３．６ｍ／ｓとなる。移動パターン（ｉ）、（ｉｖ）のように音源位置と収音位置の相対速度が０や０と近い場合に、距離Ｄoと距離Ｄｓが近似するに過ぎない。
従って、実験２の結果は、音源位置と収音位置の間の相対速度が高くなっても、移動に伴う音量の変化を再現できることを示す。
距離Ｄsは、パターン（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）のそれぞれについて、０．０１１０、０．０１４７、０．０９６、０．０１２０、０．００８９となった。
距離Ｄoは、パターン（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）のそれぞれについて、０．０１０８、０．０３０２、０．０３３５、０．０１３９、０．０３７２となった。
算出した距離Ｄｓは、パターン（ｖ）、（ｉｉｉ）、（ｉ）、（ｉｖ）、（ｉｉ）の順に大きくなるが、いずれのパターンにかかわらず、約０．０１となり、音源位置と収音位置の相対速度との相関性も認められない。最も相対速度が大きい移動パターン（ｖ）でも距離ＤＳは０．００８９に過ぎない。
他方、距離Ｄoは、パターン（ｉ）、（ｉｖ）、（ｉｉ）、（ｉｉｉ）、（ｖ）の順に大きくなる傾向がある。このことは、相対速度が大きいほど移動に伴う音量の変化が著しいことを裏付ける。パターン（ｉ）では、音源位置と収音位置の相対速度が０となり、移動パターン（ｉｖ）では、音源位置と収音位置の相対速度が０．１ｍ／ｓとなり、移動パターン（ｉｉ）、（ｉｉｉ）では、音源位置と収音位置の相対速度が１．８ｍ／ｓとなり、移動パターン（ｖ）では、音源位置と収音位置の相対速度が３．６ｍ／ｓとなる。移動パターン（ｉ）、（ｉｖ）のように音源位置と収音位置の相対速度が０や０と近い場合に、距離Ｄoと距離Ｄｓが近似するに過ぎない。
従って、実験２の結果は、音源位置と収音位置の間の相対速度が高くなっても、移動に伴う音量の変化を再現できることを示す。
以上に説明した実施形態に係る音響処理装置１は、移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化部１３と、音源位置から収音位置までの伝達特性を示すインパルス応答を取得するシミュレーション部１４を備える。インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ個の応答係数を含む。シミュレーション部１４は、現時刻ｔにおける第０応答係数から時刻ｔ－（Ｎ－１）までの第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から前記時刻ｔ－（Ｎ－１）における信号値までの信号値を用いて畳み込み演算を行って、収音位置における音響信号である合成信号を示す信号値を算出する。
この構成により、移動する収音部で収音される収音信号に近似する合成信号を容易に取得することができる。
この構成により、移動する収音部で収音される収音信号に近似する合成信号を容易に取得することができる。
また、音響処理装置１は、移動する音源位置を所定時間間隔で離散化する音源位置離散化部１７をさらに備えてもよい。シミュレーション部１４は、離散化した音源位置から収音位置までの伝達特性を示すインパルス応答を取得する。
この構成により、移動する音源から発される音に応じて収音される収音信号に近似する合成信号を容易に取得することができる。
この構成により、移動する音源から発される音に応じて収音される収音信号に近似する合成信号を容易に取得することができる。
また、音響処理装置１は、シミュレーション部１４は、応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列のシミュレーション行列を生成し、シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から時刻ｔにおける収音位置に基づく第０応答係数までの応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含む。シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、Ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から時刻ｔにおける収音位置に基づく第０応答係数までの応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含む。また、シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から時刻ｔにおける収音位置に基づく第ｔ－Ｔ＋１応答係数までの応答係数を各列の要素値として含む。そして、シミュレーション部１４は、時刻０における前記信号値から時刻Ｔ－１における信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、生成したシミュレーション行列を音響信号ベクトルに乗算する。
この構成によれば、音源信号に基づく音響信号ベクトルに対する、音源位置と移動する音源位置に対応するインパルス応答の応答係数を要素値として含むインパルス応答行列の乗算により、収音信号ベクトルが得られる。そのため、複雑な演算を要さずに収音信号の信号値を容易に得ることができる。
この構成によれば、音源信号に基づく音響信号ベクトルに対する、音源位置と移動する音源位置に対応するインパルス応答の応答係数を要素値として含むインパルス応答行列の乗算により、収音信号ベクトルが得られる。そのため、複雑な演算を要さずに収音信号の信号値を容易に得ることができる。
なお、上述した実施形態における音響処理装置１の一部、例えば、収音位置離散化部１３、シミュレーション部１４、合成信号生成部１５および音源位置離散化部１７をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置１に内蔵されたＣＰＵ等の１以上のプロセッサを備えるコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における音響処理装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音響処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態における音響処理装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音響処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、音響処理装置１は、音声認識に用いられる音響モデル学習部（図示せず）の一部として構成されてもよい。音響モデル学習部は、それぞれ音源位置の時系列を示す移動パターンごとに合成信号生成部１５が生成した合成信号を用いて音響モデルを生成する。音響モデル学習部は、生成された合成信号について所定の時間長（例えば、１０～５０ｍｓ）のフレームごとに音響特徴量（例えば、ＭＦＣＣ（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ；メル周波数ケプストラム係数）を算出し、算出した音響信号を用いて、予め生成された既存の音響モデルに対する最大尤度線形回帰法（ＭＬＬＲ：Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ）による更新処理を行う。既存の音響モデルは、例えば、音源位置と収音位置が固定された静的環境下で収音された発話音声を用いて学習された音響モデルとして、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ；混合ガウス分布モデル）、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ；ＨＭＭ）などが適用可能である。これにより、比較的少量の合成信号により、移動パターンごとの音響モデルを取得できる。音声認識装置は、移動パターンごとに生成された音響モデルを音声認識に用いることで、発話者や収音部の移動パターンに応じた発話音声の認識を向上させることができる。
また、音響処理装置１は、仮想的な音響環境における音源位置から収音位置に伝搬する音を示す合成信号を生成ならびに可聴化するための音響シミュレータとして構成されてもよい。
例えば、音響処理装置１は、音声認識に用いられる音響モデル学習部（図示せず）の一部として構成されてもよい。音響モデル学習部は、それぞれ音源位置の時系列を示す移動パターンごとに合成信号生成部１５が生成した合成信号を用いて音響モデルを生成する。音響モデル学習部は、生成された合成信号について所定の時間長（例えば、１０～５０ｍｓ）のフレームごとに音響特徴量（例えば、ＭＦＣＣ（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ；メル周波数ケプストラム係数）を算出し、算出した音響信号を用いて、予め生成された既存の音響モデルに対する最大尤度線形回帰法（ＭＬＬＲ：Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ）による更新処理を行う。既存の音響モデルは、例えば、音源位置と収音位置が固定された静的環境下で収音された発話音声を用いて学習された音響モデルとして、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ；混合ガウス分布モデル）、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ；ＨＭＭ）などが適用可能である。これにより、比較的少量の合成信号により、移動パターンごとの音響モデルを取得できる。音声認識装置は、移動パターンごとに生成された音響モデルを音声認識に用いることで、発話者や収音部の移動パターンに応じた発話音声の認識を向上させることができる。
また、音響処理装置１は、仮想的な音響環境における音源位置から収音位置に伝搬する音を示す合成信号を生成ならびに可聴化するための音響シミュレータとして構成されてもよい。
１…音響処理装置、１１…音源信号取得部、１２…収音位置取得部、１３…収音位置離散化部、１４…シミュレーション部、１５…合成信号生成部、１６…音源位置取得部、１７…音源位置離散化部
Claims (4)
- 移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化部と、
音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、
前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、
現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション部と、を備え、
前記シミュレーション部は、
前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、
前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、
時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、
前記シミュレーション行列を前記音響信号ベクトルに乗算する
音響処理装置。 - 移動する前記音源位置を所定時間間隔で離散化する音源位置離散化部をさらに備え、
前記シミュレーション部は、
離散化した前記音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得することを特徴とする請求項１に記載の音響処理装置。 - 音響処理装置における音響処理方法であって、
前記音響処理装置は、
移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化過程と、
音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、
前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、
現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション過程と、を有し、
前記シミュレーション過程は、
前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、
前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、
時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、
前記シミュレーション行列を前記音響信号ベクトルに乗算する
音響処理方法。 - 音響処理装置のコンピュータに、
移動する収音部の位置である収音位置を所定時間間隔で離散化する収音位置離散化手順と、
音源位置から前記収音位置までの伝達特性を示すインパルス応答を取得し、
前記インパルス応答は、時刻ごとに第０応答係数から第Ｎ－１応答係数までのＮ（Ｎは、１より大きい整数）個の応答係数を含み、
現時刻ｔにおける第０応答係数から、当該現時刻ｔからＮ－１時刻前の時刻ｔ－（Ｎ－１）における第Ｎ－１応答係数までの応答係数と、音源が発する音響信号を前記所定時間間隔で離散化した信号値について、現時刻ｔにおける信号値から時刻ｔ－（Ｎ－１）における信号値までの信号値、を用いて畳み込み演算を行って、前記収音位置における音響信号を示す現時刻ｔにおける信号値を算出するシミュレーション手順と、
を実行させるためのプログラムであって、
前記シミュレーション手順は、
前記応答係数を要素値として含むＴ＋Ｎ－１行Ｔ列（Ｔは、Ｎより大きい整数）のシミュレーション行列を生成し、
前記シミュレーション行列の第０行から第Ｎ－２行までの第ｔ行は、時刻ｔにおける収音位置に基づく第ｔ応答係数から第０応答係数までのｔ＋１個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｎ－１行から第Ｔ－１行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第０応答係数までのＮ個の応答係数と、Ｔ－（ｔ＋１）個の０を各列の要素値として含み、
前記シミュレーション行列の第Ｔ行から第Ｔ＋Ｎ－２行までの第ｔ行は、ｔ－Ｎ＋１個の０と、時刻ｔにおける収音位置に基づく第Ｎ－１応答係数から第ｔ－Ｔ＋１応答係数までのＴ＋Ｎ－（ｔ＋１）個の応答係数を各列の要素値として含み、
時刻０における前記信号値から時刻Ｔ－１における前記信号値までの信号値を各行の要素値として含む音響信号ベクトルを生成し、
前記シミュレーション行列を前記音響信号ベクトルに乗算する
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018165175A JP7016307B2 (ja) | 2018-09-04 | 2018-09-04 | 音響処理装置、音響処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018165175A JP7016307B2 (ja) | 2018-09-04 | 2018-09-04 | 音響処理装置、音響処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020038284A JP2020038284A (ja) | 2020-03-12 |
| JP7016307B2 true JP7016307B2 (ja) | 2022-02-04 |
Family
ID=69737888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018165175A Active JP7016307B2 (ja) | 2018-09-04 | 2018-09-04 | 音響処理装置、音響処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7016307B2 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004317911A (ja) | 2003-04-18 | 2004-11-11 | Chiba Inst Of Technology | 音場シミュレーション装置、音場シミュレーション方法、コンピュータプログラム、プログラム記録媒体 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3258816B2 (ja) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | ３次元音場空間再生装置 |
| JP2006005868A (ja) * | 2004-06-21 | 2006-01-05 | Denso Corp | 車両用報知音出力装置及びプログラム |
| JP2014093697A (ja) * | 2012-11-05 | 2014-05-19 | Yamaha Corp | 音響再生システム |
-
2018
- 2018-09-04 JP JP2018165175A patent/JP7016307B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004317911A (ja) | 2003-04-18 | 2004-11-11 | Chiba Inst Of Technology | 音場シミュレーション装置、音場シミュレーション方法、コンピュータプログラム、プログラム記録媒体 |
Non-Patent Citations (1)
| Title |
|---|
| 山中晋他，頭部伝達関数の補間による音像の滑らかな移動，電子情報通信学会２００１年基礎・境界ソサイエティ大会講演論文集，p.204 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020038284A (ja) | 2020-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Antonello et al. | Room impulse response interpolation using a sparse spatio-temporal representation of the sound field | |
| US8447585B2 (en) | System and method for characterizing, synthesizing, and/or canceling out acoustic signals from inanimate sound sources | |
| JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
| CN111312273A (zh) | 混响消除方法、装置、计算机设备和存储介质 | |
| US9805704B1 (en) | Method and system for artificial reverberation using modal decomposition | |
| Salvati et al. | Adaptive time delay estimation using filter length constraints for source localization in reverberant acoustic environments | |
| US20140224100A1 (en) | Digital aerophones and dynamic impulse response systems | |
| JPH10320008A (ja) | 複合被駆動システムの効率的合成 | |
| Grondin et al. | BIRD: Big impulse response dataset | |
| Han et al. | wav2shape: Hearing the Shape of a Drum Machine | |
| JP2023550434A (ja) | 改良型音響源測位法 | |
| JP7016307B2 (ja) | 音響処理装置、音響処理方法およびプログラム | |
| Sarabia et al. | Spatial LibriSpeech: An Augmented Dataset for Spatial Audio Learning | |
| Antonello et al. | Joint source localization and dereverberation by sound field interpolation using sparse regularization | |
| US11830471B1 (en) | Surface augmented ray-based acoustic modeling | |
| Simionato et al. | A virtual tube delay effect | |
| CN114609493B (zh) | 一种信号数据增强的局部放电信号识别方法 | |
| Nguyen et al. | Location Estimation of Receivers in an Audio Room using Deep Learning with a Convolution Neural Network. | |
| Olgun et al. | Data-driven threshold selection for direct path dominance test | |
| Johnson et al. | Latent gaussian activity propagation: using smoothness and structure to separate and localize sounds in large noisy environments | |
| Buday et al. | Microphone array speech enhancement using LSTM neural network | |
| Ma et al. | Generalized crosspower-spectrum phase method | |
| Okubo et al. | Three-Dimensional Sound Wave Propagation Reproduction by CE-FDTD Simulation Applying Actual Radiation Characteristics | |
| Verma et al. | One-Shot Acoustic Matching Of Audio Signals--Learning to Hear Music In Any Room/Concert Hall | |
| Lankila | Simulation Model for an Active Noise Control System-Development and Validation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220125 |